Con la conclusione del semestre autunnale, Andrew Heiss, professore associato nel Dipartimento di Public Management and Policy dell’Andrew Young School of Policy Studies della Georgia State University, stava correggendo i lavori dei suoi studenti quando ha notato qualcosa di allarmante.
Come ormai accade a molti docenti, Heiss stava verificando le citazioni presenti negli elaborati per assicurarsi che rimandassero a fonti reali — e non a riferimenti inventati da un chatbot di intelligenza artificiale. Naturalmente, ha colto alcuni studenti a usare l’intelligenza artificiale generativa per copiare: non solo questi strumenti possono aiutare a scrivere i testi ma, se interrogati, sono in grado di fornire presunte prove a sostegno delle tesi, attribuendo risultati a articoli già pubblicati. Ma, proprio come è accaduto ad avvocati sorpresi a redigere memorie legali con l’aiuto dell’IA sulla base di precedenti giuridici inesistenti, anche gli studenti possono ritrovarsi con note a piè di pagina dall’aria credibile che rimandano a riviste accademiche e studi che in realtà non esistono.
Questo, di per sé, non era una novità. Ciò che Heiss ha compreso, però, mentre passava al vaglio questi elaborati, è che le citazioni generate dall’IA hanno ormai infestato anche il mondo della ricerca accademica professionale. Ogni volta che cercava di rintracciare una fonte fasulla su Google Scholar, scopriva che decine di altri articoli pubblicati facevano riferimento ai risultati di variazioni minime degli stessi studi e delle stesse riviste inventate.
«Ci sono stati molti articoli generati dall’intelligenza artificiale, e in genere vengono individuati e ritirati rapidamente», racconta Heiss a Rolling Stone. Cita uno studio ritirato all’inizio di questo mese, che ipotizzava la possibilità di migliorare la diagnosi dell’autismo attraverso un modello di IA e includeva un’infografica priva di senso, anch’essa realizzata con un sistema di text-to-image. «Ma questa storia delle riviste “allucinate” è leggermente diversa», spiega.
Il problema, infatti, è che gli articoli che contengono riferimenti a ricerche inesistenti — quelli che non vengono segnalati e ritirati per l’uso improprio dell’IA — finiscono per essere citati in altri lavori accademici, “ripulendo” di fatto le loro citazioni errate. In questo modo, studenti e ricercatori (e anche i modelli linguistici a cui eventualmente chiedono aiuto) finiscono per considerare quelle “fonti” come affidabili, senza verificarne mai l’esistenza. Più queste citazioni false vengono ripetute acriticamente da un articolo all’altro, più si rafforza l’illusione della loro autenticità. Le citazioni inventate sono diventate un incubo per i bibliotecari universitari, che secondo alcune stime arrivano a sprecare fino al 15 per cento del loro tempo di lavoro per rispondere a richieste di documenti inesistenti evocati da ChatGPT o Google Gemini.
Heiss ha inoltre notato che le note generate dall’IA possono risultare convincenti per chi legge perché includono i nomi di accademici realmente esistenti e titoli molto simili a quelli della letteratura scientifica autentica. In alcuni casi, racconta, la citazione lo ha condotto a un autore reale, ma il titolo dell’articolo e la rivista erano entrambi inventati — semplicemente ricordavano lavori pubblicati in precedenza da quell’autore e periodici reali che trattano argomenti affini. «Le cose generate dall’IA finiscono per propagarsi in altri contenuti reali: gli studenti le vedono citate in testi autentici e danno per scontato che siano vere, poi non capiscono perché perdono punti per aver usato fonti false quando anche altre fonti reali le citano», spiega Heiss. «Tutto sembra legittimo, tutto sembra in regola».
Da quando i modelli linguistici di grandi dimensioni sono diventati strumenti di uso comune, molti accademici avvertono che rischiano di minare la nostra capacità di comprendere e valutare i dati, inondando il campo di contenuti fraudolenti. La psicologa e scienziata cognitiva Iris van Rooij ha sostenuto che la diffusione dello “slop” dell’IA nelle risorse accademiche preannuncia niente meno che «la distruzione della conoscenza». A luglio, lei e altri studiosi di settori affini hanno firmato una lettera aperta in cui invitavano le università a resistere all’hype e al marketing per «tutelare l’istruzione superiore, il pensiero critico, la competenza, la libertà accademica e l’integrità scientifica». Secondo i firmatari, molti atenei avrebbero “costretto” i docenti a usare l’IA o ad ammetterne l’uso nei corsi, chiedendo invece un’analisi più rigorosa e complessiva su quale ruolo utile — se esiste — questa tecnologia possa avere nell’educazione.
Anthony Moser, ingegnere informatico e tecnologo, è tra coloro che avevano previsto come i chatbot potessero finire per svuotare dall’interno le istituzioni educative. «Mi immagino un docente da qualche parte che prepara un corso di studi con ChatGPT, assegnando letture tratte da libri che non esistono», scriveva in un post su Bluesky nel 2023, meno di un anno dopo l’uscita del modello. «Ma gli studenti non se ne accorgono, perché chiedono a ChatGPT di riassumere il libro o di scrivere il tema». Questo mese, Moser ha ricondiviso quel post, commentando: «Avrei voluto che ci volesse più tempo prima che diventasse letteralmente vero».
Moser racconta a Rolling Stone US che persino parlare di LLM che “allucinano” pubblicazioni fittizie fraintende la minaccia che essi rappresentano per la nostra comprensione del mondo, perché il termine «implica che sia diverso dalla normale percezione corretta della realtà». Ma i chatbot «stanno sempre allucinando», dice. «Non è un malfunzionamento. Un modello predittivo prevede del testo: magari è accurato, magari no, ma il processo è lo stesso in ogni caso. In altre parole: gli LLM sono strutturalmente indifferenti alla verità».
«Gli LLM sono perniciosi perché inquinano di fatto l’ecosistema informativo a monte», aggiunge Moser. «Le citazioni inesistenti compaiono in ricerche superficiali o disoneste, e da lì finiscono in altri articoli che le citano, poi in articoli che citano quegli articoli, e così via: diventano parte dell’acqua», spiega, paragonando questo contenuto a sostanze chimiche nocive e durature: «Difficili da tracciare e da filtrare, anche quando cerchi di evitarle». Moser definisce il problema «un esito completamente prevedibile di scelte deliberate», con chi sollevava obiezioni «ignorato o sopraffatto».
Ma l’IA non può prendersi tutta la colpa. «La cattiva ricerca non è una novità», sottolinea Moser. «Gli LLM hanno amplificato enormemente il problema, ma esisteva già una pressione enorme a pubblicare e produrre, e c’erano molti articoli scadenti basati su dati discutibili o falsi, perché l’istruzione superiore è stata organizzata attorno alla produzione di oggetti conoscitivi misurati in citazioni, conferenze e finanziamenti».
Craig Callender, professore di filosofia all’Università della California a San Diego e presidente della Philosophy of Science Association, concorda con questa valutazione, osservando che «l’apparenza di legittimità delle riviste inesistenti è come il risultato logico finale di tendenze già esistenti». Esistono già riviste, spiega, che accettano articoli spuri a scopo di lucro o ricerche ghost-written parziali destinate a favorire l’industria che le produce. «Il “pantano” della pubblicazione scientifica sta crescendo», dice. «Molte pratiche rendono legittime riviste o articoli che in realtà non lo sono. Quindi il passo verso riviste inesistenti è orribile, ma non troppo sorprendente».
Aggiungere l’IA al mix significa che quel “pantano” cresce rapidamente, osserva Callender. «Per esempio, tutto questo viene amplificato in modo quasi irreversibile dalle ricerche su Google assistite dall’IA. Queste ricerche rafforzeranno solo l’apparenza che queste riviste esistano, proprio come attualmente rafforzano molte informazioni false».
Tutto ciò contribuisce alla sensazione, tra i ricercatori, di essere sepolti da una valanga di “slop”, con capacità limitata di setacciare il materiale. «È stato incredibilmente scoraggiante per i docenti, credo in maniera piuttosto universale, specialmente quando contenuti falsi vengono accidentalmente inseriti nei database di ricerca pubblici», dice Heiss. «È difficile risalire alla catena delle citazioni per capire da dove provengono le affermazioni».
Naturalmente, molti non ci provano nemmeno — ed è per questo che il materiale fasullo si è diffuso così ampiamente. È quasi come se l’adozione acritica e ingenua dell’IA ci avesse resi più creduloni e avesse indebolito il pensiero critico nel momento preciso in cui dovremmo essere vigili contro i suoi danni in evoluzione. Anzi, qualcuno potrebbe star lavorando proprio ora a uno studio (vero) su questo fenomeno.