Un modello linguistico scrive bene anche quando sbaglia. Nella ricerca giuridica questo è il problema centrale: un testo fluido, con citazioni formalmente corrette, può sostenere conclusioni sbagliate. Il paper propone un metodo per usare gli LLM nella ricerca senza confondere la plausibilità con la validità. La regola di fondo è cite-or-silent: ogni affermazione rilevante deve poggiare su una fonte identificabile e verificabile, altrimenti non si fa.
Plausibilità non è validità
Un LLM è un predittore di parole. È addestrato a produrre il testo più probabile, non a distinguere una norma vigente da una abrogata, una ratio decidendi da un obiter dictum, un orientamento consolidato da uno minoritario. Per questo può citare correttamente una massima e applicarla nel contesto sbagliato. Il paper chiama il risultato pseudo-conoscenza: enunciati ben scritti ma deboli sul piano della prova.
Sul piano pratico ci sono altri due limiti:
- la tendenza ad assecondare le premesse della domanda, anche quando sono sbagliate;
- la fiducia che un’interfaccia conversazionale ispira, anche nei professionisti esperti.
Cosa dicono i test
Gli studi indipendenti degli ultimi diciotto mesi convergono:
- buoni risultati su compiti semplici e strutturati;
- calo marcato quando servono ragionamento in più passaggi, contesto normativo denso o il riconoscimento di un overruling.
Anche gli strumenti specializzati, collegati a banche dati proprietarie, producono citazioni errate, irrilevanti o superate in una quota significativa delle risposte. Manca inoltre una metrica condivisa per misurare la precisione giuridica, che non va confusa con l’aderenza lessicale.
Più contesto non significa più ragionamento
Una finestra di contesto ampia trasporta più testo, ma non garantisce che il modello lo tenga insieme. Quando le evidenze sono sparse, gerarchiche o legate da rinvii, la qualità cala. I risultati migliori arrivano da quello che si fa prima di interrogare il modello: selezione, segmentazione e indicizzazione del materiale.
Il metodo: un workflow evidence-first in nove fasi
- Formulazione del quesito e issue spotting, a cura del professionista.
- Raccolta delle fonti su più canali; l’output senza fonte primaria si scarta.
- Esplorazione delle fonti una per una, con richieste vincolate a giurisdizione, data e materia.
- Riassunto e indicizzazione: una base di conoscenza tracciabile, arricchita dal giurista.
- Estrazione di contenuti neutri: norme, fatti, argomenti, citazioni.
- Ragionamento giuridico, solo umano: dai documenti ai blocchi argomentativi validati.
- Confronto con l’LLM sulle contro-tesi e sulle obiezioni possibili.
- Architettura del documento: ogni sezione collegata alle sue fonti.
- Stesura e controllo: ogni citazione verificata, il giurista resta l’autore.
Il principio è costruire intelligenza, non chiederla. L’LLM accelera la lettura, l’organizzazione e la scrittura. Qualificare e validare restano compiti del professionista.
Chi fa cosa
Il paper distribuisce i compiti per fase:
- l’impostazione della ricerca è interamente umana;
- la raccolta e l’organizzazione delle fonti sono una collaborazione;
- la valutazione interpretativa resta al giurista;
- nella redazione l’LLM ha funzioni ancillari: coerenza interna, obiezioni, stile.
Cosa trovate nel paper completo
- Il quadro teorico: competenza apparente, inferenza probabilistica, giustificazione normativa.
- I risultati dei test indipendenti, con riferimenti bibliografici.
- I nove passaggi del workflow, con appendici operative.
- I criteri di validità ex ante (idoneità e copertura delle fonti) ed ex post (replicabilità, controllo degli errori, accountability).