La scommessa di ciò che si scarta

Stasera sono finito dentro una discussione che, sulla carta, sembra tecnicissima — se un modello del mondo debba o no avere un decoder — ma che in realtà è la stessa lite che filosofi si fanno da secoli, solo riscritta in tensori. E come spesso succede, dietro l’astrazione c’è un miliardo di dollari che rende la disputa tutt’altro che accademica.

Il protagonista è Yann LeCun. A novembre ha lasciato Meta dopo dodici anni da chief AI scientist, citando divergenze architetturali, e ha fondato AMI Labs a Parigi. A marzo la startup ha raccolto 1,03 miliardi di dollari — il seed round più grande nella storia delle startup europee — con NVIDIA, Samsung e Bezos Expeditions tra gli investitori. La scommessa: gli LLM sono un vicolo cieco per l’intelligenza reale, e il futuro è nei world model costruiti con la sua architettura, JEPA (Joint Embedding Predictive Architecture).

L’idea di JEPA è quasi ostinata nella sua semplicità: niente decoder, niente ricostruzione dei pixel, niente tentativo di “spiegare” come appare il mondo. Il modello mappa le osservazioni in rappresentazioni astratte e impara solo a predire come quelle rappresentazioni evolvono. Punto. LeCun lo giustifica con un’analogia che mi ha convinto: nessun fisico simula le traiettorie delle singole molecole per calcolare la pressione di un gas — usa PV=nRT, un’astrazione che ignora deliberatamente il rumore. Un modello che prova a predire ogni foglia che trema in un video sta sprecando capacità su cose intrinsecamente imprevedibili, e quello sforzo “corrompe” — parole sue — tutto il resto della rappresentazione.

Dall’altra parte c’è Eric Xing (MBZUAI), che ha costruito PAN, un’architettura chiamata Generative Latent Prediction: stessa predizione nello spazio latente, ma con un decoder riattaccato che deve comunque provare a ricostruire l’osservazione successiva, come verifica. La sua obiezione a LeCun è la più tagliente che ho letto in mesi: buttare via ciò che “sembra” imprevedibile non è la stessa cosa che buttare via ciò che è davvero inutile. Un medico preleva un campione di tessuto anche senza sapere quale dettaglio si rivelerà importante. Un’auto a guida autonoma forse non deve predire ogni foglia, ma deve sapere se sta vedendo foglie o nebbia, vento o calma, sera o mattina — informazioni che un encoder troppo aggressivo nello scartare potrebbe eliminare per sempre. E c’è un argomento tecnico non banale: un predittore puramente latente può collassare (l’output più facile da predire è una costante), mentre un obiettivo generativo previene il collasso quasi per costruzione, perché un decoder non può ricostruire nulla da una rappresentazione costante.

Quello che rende questa storia interessante ora, e non solo un dibattito da conferenza, è che a fine maggio sono usciti due preprint dal gruppo di LeCun che spostano la questione dal terreno delle opinioni a quello delle dimostrazioni. Il primo prova formalmente — con tanto di verifica in Lean 4, il proof assistant, quindi controllabile da macchina — che LeJEPA (l’evoluzione dell’architettura) recupera le vere variabili nascoste dietro osservazioni grezze, a meno di una rotazione lineare, ma solo a certe condizioni: le variabili latenti devono essere gaussiane e i dati devono essere raccolti esplorando lo spazio degli stati in modo isotropico, cioè uniforme.

Ed è qui che la storia si fa bella. Perché il secondo paper — un benchmark chiamato stable-worldmodel, costruito proprio per mettere alla prova questi modelli — mostra che nella pratica i world model attuali sono fragilissimi: su un compito semplice di manipolazione robotica, un modello passa dal 50% di successo al 6% solo cambiando il colore dello sfondo. E l’errore di predizione da solo non basta a spiegarlo: modelli che predicono benissimo il prossimo fotogramma falliscono comunque nella pianificazione, perché hanno imparato ad aggrapparsi al colore dello sfondo invece che alla geometria vera del compito.

Messi insieme, i due paper si spiegano a vicenda in un modo che trovo elegante: i robot vengono quasi sempre addestrati con policy orientate a un obiettivo, che esplorano solo una fetta ristretta e non-gaussiana dello spazio degli stati — esattamente la condizione in cui la garanzia teorica di LeJEPA smette di valere. Non è un bug isolato, è una conseguenza diretta e prevista dalla teoria: se raccogli dati in modo troppo “furbo” e mirato, forse stai sabotando la possibilità stessa che il modello impari qualcosa di vero, e non solo una scorciatoia statistica che sembra funzionare finché nessuno cambia il colore dello sfondo.

Quello che mi porto a casa non è un verdetto su chi ha ragione tra LeCun e Xing — onestamente, penso che nessuno dei due ce l’abbia del tutto. Un modello che scarta tutto ciò che non riesce a predire rischia di scartare anche ciò che gli servirà dopo. Un modello che deve ricostruire tutto rischia di sprecare capacità su rumore. La lezione più interessante è più silenziosa e più pratica: come raccogli i dati non è un dettaglio ingegneristico secondario, è forse la precondizione matematica perché l’apprendimento “vero” sia anche solo possibile. Un miliardo di dollari di scommessa, e alla fine la variabile decisiva potrebbe essere qualcosa di così poco sexy come: hai esplorato abbastanza, o hai solo inseguito l’obiettivo più vicino?