Phi-4 alla riscossa?

Le conclusioni dell’articolo su Phi-4 mi avevano lasciato di sasso. Come era possibile che un modello come Phi-4 Reasoning Plus, che dispone della bellezza di 14.7 miliardi di parametri a 4 bit e che è stato addestrato su problemi di tipo scientifico ed in particolare di matematica, potesse aver fallito così miseramente?

LLM a confronto

La domanda che avevo fatto a Phi-4 Reasoning Plus era di logica di base, uno scolaro di quarta elementare avrebbe potuto (e dovuto) rispondere in 10 secondi. ChatGPT non aveva avuto problemi, e aveva ragionato proprio come ci aspetterebbe dal malcapitato scolaro.¹

Anche Deepseek R1 Distill Qwen 7B se la cava bene. Fa un ragionamento preciso su quello che succede al momento della decapitazione, concludendo che Maria Antonietta è deceduta immediatamente.

Lo stesso vale per Gemma 3 12B Instruct e Qwen3 14B, di cui non ho ancora parlato ma che sono installati in LM Studio. Anzi, secondo me la risposta di Qwen3 14B è la migliore del mucchio, la più precisa, la più decisa, senza inutili giri di parole.

MLX o GGUF, questo è il problema

E allora, se le cose stanno così, perché Phi-4 Reasoning Plus non riesce a dare una risposta sensata?

Non dovrebbe trattarsi di un problema legato alle dimensioni dei modelli usati, che si aggirano tutte intorno agli 8 GB, tranne Deepseek che pesa circa la metà. Nemmeno il numero di bit di quantizzazione sembra essere un fattore discriminante, dato che sia Phi-4 Reasoning Plus che gli altri modelli che ho provato utilizzano tutti la quantizzazione a 4 bit.

C’è chi afferma che il formato MLX sia meno accurato del GGUF ma, dato che non ho trovato niente che lo dimostri in modo inequivocabile, è necessario verificarlo.

Per farlo, scarico la versione community in formato GGUF del modello Phi-4 Reasoning Plus, che metterò a confronto con la versione ufficiale Microsoft in formato MLX. Entrambe le versioni sono quantizzate a 4-bit.

Provo allora a ripetere la solita domanda:

alla quale Phi-4 Reasoning Plus MLX (cioè Il modello originale Microsoft che ho usato finora) risponde in modo corretto, ma solo dopo quasi sette minuti di ragionamenti altalenanti (che vi risparmio), durante i quali controlla e ricontrolla i dati storici e si chiede più volte se la domanda non nasconde un trucco.

Dopo aver chiuso e ricaricato LM Studio (per partire da uno stato iniziale il più possibile ripetibile), carico la versione GGUF delle stesso modello e… anche questa risposta arriva solo dopo quasi sette minuti.

La risposta è precisa, ma dietro c’è un ragionamento contorto e altalenante, durante il quale anche la versione GGUF del modello continua a chiedersi se c’è un trucco, e a controllare e a ricontrollare la data di esecuzione.²

Tutto sommato, direi che le versioni MLX e GGUF del modello si comportano in modo equivalente.

Cos’è un seno?

Finora ho rivolto a Phi-4 un’unica domanda di logica molto elementare. Per rispondere, il modello esegue dei ragionamenti contorti che si prolungano quasi all’infinito. Se volessi testare tutte le sfaccettature del modello dovrei provare con molte altre domande, verificando ogni volta al qualità delle risposte.

Ma, visto il livello dei suoi pensieri, sono sicuro che non otterrei delle risposte più veloci o più sicure, per cui lascio perdere e passo alla matematica pura e semplice. Chiedo quindi a Phi-4 Reasoning Plus (versione GGUF) cos’è una funzione seno (che è una delle funzioni più usate in matematica).

Phi-4 ci mette cinque minuti per rispondermi! La risposta è corretta, non dico di no, ma un modello locale che risponde in modo così lento ad una domanda banale è di fatto inusabile. Se uno fosse davvero interessato a sapere cos’è un seno (matematico) farebbe prima non solo a rivolgersi a Wikipedia, ma perfino a consultare una enciclopedia cartacea (ammesso che ce ne siano ancora nelle nostre case).

Un’altra cosa curiosa è che le istruzioni interne di Phi-4 gli impongono – chissà perché – di rispondere esclusivamente in formato testuale, a meno di non ricevere una richiesta esplicita di usare LaTeX, Markdown o quant’altro.

Se gli chiedo con gentilezza di usare LaTeX, Markdown e qualunque altro strumento che possa essere utile per rispondere al meglio, Phi-4 lo fa senza problemi, anzi genera pure un breve programma in Python che produce il grafico della funzione \( seno \) fra \( -2 \pi \) e \( 2 \pi \). Ma è strano che, ad un modello dichiaratamente ottimizzato per la matematica (e la scienza in generale), venga impedito di default di utilizzare LaTeX per scrivere le equazioni in modo decente.

Phi-4 Mini Reasoning

Fra i modelli Phi-4 ufficiali disponibili per LM Studio c’è anche Phi-4 Mini Reasoning, che è stato progettato e testato specificatamente per il ragionamento matematico. La differenza si vede subito. Se gli faccio la solita domanda su Maria Antonietta mi risponde in pochi secondi che:

e il suo ragionamento questa volta è preciso e senza inutili esitazioni.

Sulla funzione seno ci pensa un po’ di più (un minuto), ma la risposta è ineccepibile ed è formattata correttamente in LaTeX senza che abbia dovuto chiederglielo esplicitamente.

Non ha problemi anche quando gli faccio domande appena un po’ più complicate di matematica. Ma con la fisica si inventa letteralmente le risposte,

perché se è vero che l’effetto Josephson si presenta quando una supercorrente fluisce fra due superconduttori connessi da uno strato isolante molto sottile, non è affatto vero che è stato scoperto da Bardeen, Cooper e Feynndel (quest’ultimo personaggio non esiste nemmeno). In realtà, e come indica il nome, l’effetto Josephson è stato scoperto da Brian D. Josephson (e non da un certo John Richard Josephson), che ha descritto tutte le conseguenze del fenomeno (e non solo una), vincendo pochi anni dopo il premio Nobel per la Fisica. Anche altri dettagli della risposta completa sono in parte inventati, ma sono buono e ve li risparmio.

Anche la risposta alla solita richiesta di riassumere il mio articolo introduttivo a LM Studio è inventata di sana pianta.

Ma l’ultima chicca è davvero inaspettata.

a cui Phi-4 Mini Reasoning risponde sputando fuori decine e decine di righe di nonsense

che sembrano andare avanti all’infinito, con piccoli cambiamenti apparentemente casuali. Dopo un po’ mi stanco e blocco la generazione.

Non è nemmeno una questione di aver usato l’apice (^) per indicare il quadrato, come si fa in Fortran o in LaTeX. Perché se provo sostituirlo con il simbolo ** utilizzato da Python o da JavaScript, la risposta non migliora affatto. A seconda di come gli gira, Phi-4 ci può dire che la radice quadrata di \(( 2*+2 \)) ha che fare con gli scacchi,

o con il rapporto fra pi greco e il numero di Eulero \( e \approx 2.71828 \),

oppure, magari per caso, ci può persino dare la risposta giusta (anche se, diciamolo, eseguire prima la radice e poi il quadrato è una aberrazione).

Conclusioni

Lo scopo di questo articolo (e di quello precedente) non era quello di capire quanto fosse bravo Phi-4 nel ragionamento scientifico e matematico, né di confrontarlo con altri modelli concorrenti. Per quello ci sono i benchmark più o meno standard, e comunque questo è un lavoro che richiede molto tempo e moltissimo impegno.

Quello che volevo invece capire era se è possibile usare un modello come Phi-4 in modalità locale, per le cose che servono ogni giorno, in questo caso specifico per la soluzione di problemi logico-matematici. Dai risultati ottenuti con le mie poche, semplici domande un po’ stupide, mi pare che non ci siamo proprio.

Phi-4 Reasoning Plus, dopo essersi macerato nel dubbio risponde in modo corretto, ma è troppo lento per essere davvero utile. Phi-4 Mini Reasoning è molto più veloce e dà l’impressione di essere più preciso, ma poi si incarta su domande banali come la radice quadrata di 2 al quadrato. Oppure inventa di sana pianta nomi e fatti su argomenti scientifici ben noti, come l’effetto Josephson, dove non si tratta di ragionare, ma semplicemente di richiamare le informazioni contenute nelle centinaia e centinaia di testi su cui il modello è stato addestrato.

Se non possiamo fidarci al 100% delle risposte a domande così basilari, come possiamo fidarci di Phi-4 per cose appena appena più complicate?

Siamo cresciuti in un mondo nel quale le fonti di informazione erano considerate sostanzialmente affidabili. Una enciclopedia cartacea, un libro, Wikipedia, i risultati di un motore di ricerca tradizionale restituivano contenuti e dati su cui si poteva fare affidamento. Certo, poteva capitare qualche errore qui e là (vero Wikipedia?), ma nessuno pensava che quelle informazioni potessero essere totalmente inventate.

Con gli LLM, i chatbot, i risultati delle ricerche costruiti dalla cosiddetta intelligenza artificiale, ci stiamo abituando ad ottenere dei risultati falsi. E quel che è peggio, se le cose non cambiano, sarà presto quasi impossibile verificare la qualità dei risultati ottenuti.

Il tema è complesso e non ha molto senso continuare a parlarne qui. Per ora, può bastare non perdere altro tempo con Phi-4.