Un esperimento con ChatGPT e DeepSeek evidenzia i limiti nella creazione autonoma di materiali per il JLPT

Introduzione. In questo articolo vorrei documentare un tentativo sistematico di utilizzare modelli di Intelligenza Artificiale generativa (AI), soprattutto ChatGPT e DeepSeek, per creare materiali di studio strutturati per il JLPT (Japanese-Language Proficiency Test). Nello specifico, la sperimentazione ha riguardato materiali di livello N3 con funzione didattica, destinati al ripasso e utilizzabili anche per l’insegnamento. L’obiettivo era duplice: 1) creare una lista esaustiva e coerente di vocaboli e verbi di livello N3; 2) creare una lista strutturata delle principali strutture grammaticali dello stesso livello. Gli standard del JLPT sono, sotto questo aspetto, in parte problematici, poiché non vengono pubblicati elenchi ufficiali e completi dei vocaboli e delle strutture grammaticali corrispondenti ai singoli livelli. Comunque, l’esperimento ha prodotto risultati talmente insoddisfacenti da meritare un’analisi approfondita, utile a chiunque stia considerando l’AI come strumento per la creazione di materiale didattico o anche semplicemente come supporto al proprio studio.

Ho ipotizzato l’utilizzo da parte di uno studente di livello intermedio o di un docente che necessitasse di materiale didattico, nello specifico, di una lista unica e ben organizzata di vocaboli e verbi N3, da utilizzare come foglio di lavoro per il ripasso sistematico, e di liste grammaticali parallele con le strutture chiave del livello. Il tutto avrebbe dovuto garantire coerenza e attendibilità delle informazioni, nonostante l’assenza di una lista ufficiale del JLPT. Esistono infatti diverse pubblicazioni che presentano queste caratteristiche.

L’obiettivo implicito era anche quello di verificare se l’AI potesse sostituire, o almeno integrare efficacemente, il lavoro di un insegnante umano o di un editore specializzato.

La richiesta all’AI. È stato chiesto a ChatGPT\DeepSeek di generare una lista esaustiva di vocaboli e verbi di livello N3. Le richieste sono state reiterate più volte, con diverse formulazioni, come: «Elencami tutti i verbi e sostantivi di livello N3 per il JLPT», «Creami una lista completa e ben organizzata di vocaboli N3», «Rimuovi i duplicati e riordina la lista», spiegando in modo anche approfondito la finalità del materiale e dando direttive sulla sua strutturazione.

In una seconda fase, la lista generata, inizialmente composta da oltre 3.000 voci, è stata sottoposta a controlli di coerenza interna (assenza di duplicati esatti), di pertinenza rispetto al livello N3 (attraverso il confronto con fonti attendibili, comprese liste pubblicate da siti specializzati) e di struttura logica (organizzazione tematica e progressione didattica).

Parallelamente, sono state richieste liste di strutture grammaticali N3, sempre con diverse formulazioni, allo scopo di verificare la consistenza delle risposte.

Lista vocaboli/verbi: un “disastro” documentato. La lista finale, dopo numerosi tentativi di correzione, presentava i seguenti problemi.

Duplicati esatti. La stessa voce appariva più volte con identica grafia e significato. (i casi ammontavano a parecchie decine sul totale di 3.000 voci)

Artefatti da fusione di fonti. La lista mostrava evidenti segnali di una composizione non armonizzata di materiale eterogeneo, con forme linguisticamente simili accostate senza un criterio didattico riconoscibile.

Ripetizione ossessiva e insensata. Centinaia di voci in coda presentavano strutture artificialmente ripetitive. Il caso più grave riguardava oltre 200 voci inizianti per 「新たな」, concentrate tra le posizioni 2589 e 2982, completamente estranee alla funzione che avrebbe dovuto avere un elenco di verbi e sostantivi di base.

Mancanza di organizzazione logica. Non emergeva una progressione tematica o didattica riconoscibile. Verbi elementari come 食べる e 飲む, appartenenti a livelli precedenti, risultavano mescolati a vocaboli più avanzati, senza che fosse chiaro il criterio di selezione.

Inflazione numerica. La lista finale rivista arrivava a 2.982 voci, un numero difficilmente conciliabile con quello delle liste N3 normalmente utilizzate a fini didattici. Come accennato, poiché non esiste un inventario ufficiale del JLPT, non è possibile stabilire un numero “corretto” di vocaboli N3; tuttavia, l’ampiezza della lista era chiaramente incompatibile con l’obiettivo di ottenere uno strumento di ripasso selettivo e didatticamente gestibile. Quando l’AI è stata sollecitata a ricondurre il materiale a una dimensione più plausibile sulla base delle stime comunemente utilizzate nella manualistica didattica, ha fornito proposte numeriche diverse e contraddittorie.

Le cause del fallimento. I modelli linguistici di grandi dimensioni (LLM) non funzionano come un dizionario o un database dotato di un inventario verificato delle conoscenze. Generano testo sulla base di rappresentazioni apprese durante l’addestramento e di procedure probabilistiche di generazione. Questo permette loro di produrre testi estremamente plausibili e complessi, ma non garantisce che ogni informazione prodotta sia corretta, né che il modello disponga di un criterio indipendente e infallibile per verificarla.

Questa caratteristica li rende vulnerabili alle cosiddette “allucinazioni”, la produzione di contenuti plausibili ma falsi o inaccurati. Possono inoltre riprodurre pattern ricorrenti in modo inappropriato, duplicare informazioni, confondere categorie o livelli linguistici e fallire nel mantenere la coerenza di un compito molto lungo.

È importante sottolineare che il problema non consiste semplicemente nel fatto che l’AI “non conosca il giapponese”. Al contrario, i modelli possono possedere una conoscenza linguistica molto ampia e produrre spiegazioni ed esempi eccellenti. Il problema emerge soprattutto quando viene loro affidato il compito di costruire autonomamente un inventario esaustivo, coerente e didatticamente fondato, senza una base dati di riferimento sufficientemente precisa e definita.

Si può indicare, inoltre, una causa ulteriore della bassa qualità del materiale prodotto, la citata assenza di una lista ufficiale e completa dei vocaboli del JLPT. Di conseguenza, qualsiasi tentativo di ricostruire automaticamente una lista N3 deve confrontarsi con una pluralità di fonti, criteri e liste elaborate da terzi. Una discrezionalità che manda in confusione l’AI.

Questo rende inevitabilmente più difficile stabilire una distinzione netta fra N5, N4, N3 e N2. L’AI può quindi produrre un insieme quantitativamente ampio, ma non necessariamente qualitativamente coerente.

L’assenza di un’architettura didattica. I buoni materiali didattici non sono semplici elenchi di informazioni, ma sono progettati secondo una progressione graduale dalle strutture più semplici a quelle più complesse, e possono essere organizzati secondo criteri tematici, funzionali o semantici, per esempio attraverso aree come “viaggi”, “salute” o “lavoro”.

L’AI può certamente contribuire alla progettazione di una simile struttura e, se adeguatamente guidata, può persino produrre sequenze didattiche efficaci. Il problema è che non garantisce autonomamente che i criteri adottati siano pedagogicamente validi, né che le informazioni di partenza siano corrette. Se la base informativa è incoerente, anche una struttura apparentemente ordinata può risultare didatticamente inaffidabile.

Questo aspetto è particolarmente importante nell’uso individuale. Quando l’AI fornisce una risposta sbagliata, lo studente deve essere in grado di riconoscere l’errore e verificarlo attraverso fonti affidabili. Ma se proprio quella verifica richiede competenze che lo studente non possiede ancora, si crea un problema circolare, ovvero che lo strumento che dovrebbe facilitare l’apprendimento richiede già una competenza sufficiente per controllarlo.

Conclusioni. La prima conclusione, la più ovvia, è che l’AI non si è dimostrata uno strumento affidabile per la creazione autonoma di materiale didattico strutturato per l’apprendimento del giapponese, almeno nel tipo di compito qui sperimentato.

I suoi output possono essere quantitativamente sovrabbondanti ma qualitativamente disomogenei; possono contenere errori, duplicazioni e artefatti, e possono mancare di un’organizzazione didattica coerente. La necessità di una verifica umana molto approfondita finisce per ridurre, almeno in questo caso, il vantaggio iniziale offerto dall’automazione.

Una parte del problema deriva anche dalla natura stessa del JLPT e la più volte citata assenza di un inventario ufficiale, situazione che rende particolarmente difficile chiedere a un modello di produrre una lista “completa” e contemporaneamente “corretta”.

Le alternative più affidabili per lo studio strutturato del giapponese in funzione del JLPT rimangono quindi, sulla base dell’esperienza e della documentazione didattica disponibile, i prodotti dell’editoria specializzata e le risorse digitali analogamente sottoposte a revisione, come app e siti didattici affidabili. Il loro principale vantaggio non è necessariamente il formato, cartaceo o digitale, ma la presenza di una selezione, di una progressione e di un controllo editoriale.

Questo, naturalmente, non significa che l’AI debba essere demonizzata. Può essere uno strumento estremamente utile se impiegato con le dovute cautele. Può, per esempio, essere utilizzata per generare frasi di esempio, esercizi, variazioni lessicali o simulazioni di conversazione, purché l’utente disponga di strumenti adeguati per verificare gli output quando l’accuratezza è importante.

Attualmente, il materiale migliore per l’apprendimento strutturato di una lingua rimane quello progettato, scritto e revisionato da esseri umani competenti. La carta, il digitale o il web sono soltanto supporti, ciò che conta è la presenza di un’architettura didattica pensata e di un controllo editoriale rigoroso.

L’AI è una tecnologia utilisssima e innovativa, ma non è, almeno in questo tipo di impiego, un sostituto automatico di un insegnante, di un editore o di un curatore. Chi la utilizza per creare materiale di studio deve essere consapevole dei suoi limiti e agire di conseguenza.

L’esperimento descritto in questo articolo va naturalmente considerato per ciò che è, vale a dire un caso di studio, non una dimostrazione definitiva dell’incapacità dell’AI di creare materiale didattico. Il suo valore sta piuttosto nell’aver evidenziato, attraverso un’esperienza concreta, i problemi che possono emergere quando a un modello viene affidata la costruzione autonoma di materiale didattico strutturato, in assenza di una base dati verificata e di un controllo editoriale umano.