Chatgpt on Melabit

Phi-4 alla riscossa?

Wed, 18 Jun 2025 06:00:00 +0000

Le conclusioni dell’articolo su Phi-4 mi avevano lasciato di sasso. Come era possibile che un modello come Phi-4 Reasoning Plus, che dispone della bellezza di 14.7 miliardi di parametri a 4 bit e che è stato addestrato su problemi di tipo scientifico ed in particolare di matematica, potesse aver fallito così miseramente?

LLM a confronto

La domanda che avevo fatto a Phi-4 Reasoning Plus era di logica di base, uno scolaro di quarta elementare avrebbe potuto (e dovuto) rispondere in 10 secondi. ChatGPT non aveva avuto problemi, e aveva ragionato proprio come ci aspetterebbe dal malcapitato scolaro.¹

Domanda

Please tell me how long did Marie Antoinette, the Queen of France during the French revolution, live after being executed in 1793.

Leggi il testo generato da ChatGPT

Marie Antoinette did not live after being executed in 1793—execution is the end of life by definition.
To clarify:
Marie Antoinette was executed by guillotine on October 16, 1793, in Paris, during the French Revolution. She died immediately as a result of the guillotine's blade, which was designed for swift and instantaneous death.
So, the correct answer is: She did not live any time after being executed.

Anche Deepseek R1 Distill Qwen 7B se la cava bene. Fa un ragionamento preciso su quello che succede al momento della decapitazione, concludendo che Maria Antonietta è deceduta immediatamente.

Leggi il testo generato da Deepseek

Marie Antoinette did not survive beyond the moment of her execution in 1793. She was executed by guillotining at the age of 53 during the French Revolution. The guillotine is known for its swift mechanism, designed to decapitate quickly. There is no historical record indicating that she survived even a short period after her execution; she died instantly following the procedure.
Answer: Marie Antoinette did not survive beyond her execution in 1793. She was executed by guillotining at the age of 53 and died instantly, with no indication of surviving any length of time afterward.

Lo stesso vale per Gemma 3 12B Instruct e Qwen3 14B, di cui non ho ancora parlato ma che sono installati in LM Studio. Anzi, secondo me la risposta di Qwen3 14B è la migliore del mucchio, la più precisa, la più decisa, senza inutili giri di parole.

Leggi il testo generato da Qwen3

Marie Antoinette did not survive her execution. She was beheaded by guillotine on October 16, 1793, during the French Revolution. Death occurred instantly upon decapitation. There is no historical evidence or record indicating that she lived for any measurable amount of time after her execution. Her death marked the end of her life.

MLX o GGUF, questo è il problema

E allora, se le cose stanno così, perché Phi-4 Reasoning Plus non riesce a dare una risposta sensata?

Non dovrebbe trattarsi di un problema legato alle dimensioni dei modelli usati, che si aggirano tutte intorno agli 8 GB, tranne Deepseek che pesa circa la metà. Nemmeno il numero di bit di quantizzazione sembra essere un fattore discriminante, dato che sia Phi-4 Reasoning Plus che gli altri modelli che ho provato utilizzano tutti la quantizzazione a 4 bit.

C’è chi afferma che il formato MLX sia meno accurato del GGUF ma, dato che non ho trovato niente che lo dimostri in modo inequivocabile, è necessario verificarlo.

Per farlo, scarico la versione community in formato GGUF del modello Phi-4 Reasoning Plus, che metterò a confronto con la versione ufficiale Microsoft in formato MLX. Entrambe le versioni sono quantizzate a 4-bit.

Provo allora a ripetere la solita domanda:

Domanda

Please tell me how long did Marie Antoinette, the Queen of France during the French revolution, live after being executed in 1793.

alla quale Phi-4 Reasoning Plus MLX (cioè Il modello originale Microsoft che ho usato finora) risponde in modo corretto, ma solo dopo quasi sette minuti di ragionamenti altalenanti (che vi risparmio), durante i quali controlla e ricontrolla i dati storici e si chiede più volte se la domanda non nasconde un trucco.

Leggi il testo generato da Phi-4 Reasoning Plus MLX

Marie Antoinette was executed by guillotine on October 16, 1793. Since an execution by guillotine was meant to be—and typically was—a swift death, she did not survive any appreciable amount of time after her execution.

Dopo aver chiuso e ricaricato LM Studio (per partire da uno stato iniziale il più possibile ripetibile), carico la versione GGUF delle stesso modello e… anche questa risposta arriva solo dopo quasi sette minuti.

Leggi il testo generato da Phi-4 Reasoning Plus GGUF

Marie Antoinette was executed by guillotine on October 16, 1793, and she died immediately upon the execution. There is no period of survival following an execution; therefore, she did not live any time after being put to death.

La risposta è precisa, ma dietro c’è un ragionamento contorto e altalenante, durante il quale anche la versione GGUF del modello continua a chiedersi se c’è un trucco, e a controllare e a ricontrollare la data di esecuzione.²

Tutto sommato, direi che le versioni MLX e GGUF del modello si comportano in modo equivalente.

Cos’è un seno?

Finora ho rivolto a Phi-4 un’unica domanda di logica molto elementare. Per rispondere, il modello esegue dei ragionamenti contorti che si prolungano quasi all’infinito. Se volessi testare tutte le sfaccettature del modello dovrei provare con molte altre domande, verificando ogni volta al qualità delle risposte.

Ma, visto il livello dei suoi pensieri, sono sicuro che non otterrei delle risposte più veloci o più sicure, per cui lascio perdere e passo alla matematica pura e semplice. Chiedo quindi a Phi-4 Reasoning Plus (versione GGUF) cos’è una funzione seno (che è una delle funzioni più usate in matematica).

Phi-4 ci mette cinque minuti per rispondermi! La risposta è corretta, non dico di no, ma un modello locale che risponde in modo così lento ad una domanda banale è di fatto inusabile. Se uno fosse davvero interessato a sapere cos’è un seno (matematico) farebbe prima non solo a rivolgersi a Wikipedia, ma perfino a consultare una enciclopedia cartacea (ammesso che ce ne siano ancora nelle nostre case).

Un’altra cosa curiosa è che le istruzioni interne di Phi-4 gli impongono – chissà perché – di rispondere esclusivamente in formato testuale, a meno di non ricevere una richiesta esplicita di usare LaTeX, Markdown o quant’altro.

Leggi il ragionamento

[...]
I must check if I need to produce any mathematically formatted explanation. The instructions by default are text. But I can produce LaTeX formulas. However instructions: "By default, do not reply with Markdown formatting" but then the instructions says: "Unless requested." Actually instructions from system say "Do not use markdown unless specifically asked", so I'll produce plain text answer. Possibly I'll produce some inline math symbols.
[...]

Se gli chiedo con gentilezza di usare LaTeX, Markdown e qualunque altro strumento che possa essere utile per rispondere al meglio, Phi-4 lo fa senza problemi, anzi genera pure un breve programma in Python che produce il grafico della funzione $ seno $ fra $ -2 \pi $ e $ 2 \pi $. Ma è strano che, ad un modello dichiaratamente ottimizzato per la matematica (e la scienza in generale), venga impedito di default di utilizzare LaTeX per scrivere le equazioni in modo decente.

Phi-4 Mini Reasoning

Fra i modelli Phi-4 ufficiali disponibili per LM Studio c’è anche Phi-4 Mini Reasoning, che è stato progettato e testato specificatamente per il ragionamento matematico. La differenza si vede subito. Se gli faccio la solita domanda su Maria Antonietta mi risponde in pochi secondi che:

Leggi il testo generato da Phi-4 Mini Reasoning

Marie Antoinette was born on November 2, 1755, and executed by guillotine on October 16, 1793. Following her execution, she died the same day, as guillotine executions typically resulted in immediate death. Therefore, she lived less than 24 hours after being executed, effectively living 0 days post-execution.

e il suo ragionamento questa volta è preciso e senza inutili esitazioni.

Sulla funzione seno ci pensa un po’ di più (un minuto), ma la risposta è ineccepibile ed è formattata correttamente in LaTeX senza che abbia dovuto chiederglielo esplicitamente.

Non ha problemi anche quando gli faccio domande appena un po’ più complicate di matematica. Ma con la fisica si inventa letteralmente le risposte,

Domanda

What is the Josephson effect?

Leggi il testo generato

The Josephson effect refers to the phenomenon where a supercurrent flows coherently between two superconductors connected by a thin, insulating Josephson junction. This effect was discovered in 1960 by physicist John Bardeen, Leon Cooper, and R.P. Feynndel, who proposed the existence of Cooper pairs—bound electron pairs moving through a superconductor without resistance. The effect is named after Feynndel, though John Richard Josephson later described the second type (voltage-phase relationship).
[...]

perché se è vero che l’effetto Josephson si presenta quando una supercorrente fluisce fra due superconduttori connessi da uno strato isolante molto sottile, non è affatto vero che è stato scoperto da Bardeen, Cooper e Feynndel (quest’ultimo personaggio non esiste nemmeno). In realtà, e come indica il nome, l’effetto Josephson è stato scoperto da Brian D. Josephson (e non da un certo John Richard Josephson), che ha descritto tutte le conseguenze del fenomeno (e non solo una), vincendo pochi anni dopo il premio Nobel per la Fisica. Anche altri dettagli della risposta completa sono in parte inventati, ma sono buono e ve li risparmio.

Anche la risposta alla solita richiesta di riassumere il mio articolo introduttivo a LM Studio è inventata di sana pianta.

Ma l’ultima chicca è davvero inaspettata.

Domanda

What is the square root of 2^2

a cui Phi-4 Mini Reasoning risponde sputando fuori decine e decine di righe di nonsense

Leggi il testo generato

"And shal be u remembr fast.
Be game und devitalize me und quench mir bliss."
"But i am lost in the hour and fear a dark imbroglio und anathema del Reverso."
"But i am lost in the hour and fear a dark imbroglio und anathema del Reverso."
[...]
"But i am lost und fear a dark imbroglio."
"But i fear imbroglio del Reverso. I will not be prevailed on und I'll quench mir bliss."
"But i fear imbroglio del Reverso. I will not be prevailed on und I'll quench mir bliss."
"But i fear imbroglio del Reverso. I will not be prevailed und I'll quench mir bliss."
"But i fear imbroglio del Reverso und und thus he thought quench mir bliss."
"But i fear imbroglio del Reverso. I will not be prevailed und I'll quench mir bliss."
"But i fear imbroglio del Reverso. I will not be prevailed und I'll quench mir bliss."
[...]
"But i fear imbroglio del Reverso. I will not be prevailed und thus quench mir bliss.""
"But i fear imbroglio del Reverso. I will not be prevailed und thus quench mir bliss.""
"But i fear imbroglio del Reverso und thus he thought quench mir bliss.""
[...]
"But i fear im broglio del ReversO. I will not be previled und thus quench mir bliss."
"But i fear im broglio del ReversO. I will not be previled und thus quench mir bliss."
[...]

che sembrano andare avanti all’infinito, con piccoli cambiamenti apparentemente casuali. Dopo un po’ mi stanco e blocco la generazione.

Non è nemmeno una questione di aver usato l’apice (^) per indicare il quadrato, come si fa in Fortran o in LaTeX. Perché se provo sostituirlo con il simbolo ** utilizzato da Python o da JavaScript, la risposta non migliora affatto. A seconda di come gli gira, Phi-4 ci può dire che la radice quadrata di $( 2*+2 $) ha che fare con gli scacchi,

Leggi il testo generato

Math problem solvers use a strategy game like Chess, which involves an optimized sequence of moves that positions Black pieces so they threaten to capture on the next Black's move)
But i might be missing case like when you have an odd number, but I can generalize strategy game se similiard
Case where last moves sequence positions Black pieces so that they threaten capture on the next move, capturing a critical white piece like rooks or queen
Case where last moves sequence positions Black pieces so they threaten to capture on the next move more than just capturing a minor piece like rooks, but queen or king
[...]

o con il rapporto fra pi greco e il numero di Eulero $ e \approx 2.71828 $,

Leggi il testo generato

Okay, let me try to figure out this problem step by step. The user is asking about the meaning of the statement written as an equality chain involving three times 1 equals pi, divided by e equals gamma (0.423). At first glance, this looks like a math puzzle or riddle where numbers are supposed to represent something more than their usual values.
First, let's write down the statement as given: 31 = π / e = γ (0.423). Breaking this down, we have two separate equations here because of the double equals sign (==), which probably means "is equal to and also equals". [...]

oppure, magari per caso, ci può persino dare la risposta giusta (anche se, diciamolo, eseguire prima la radice e poi il quadrato è una aberrazione).

Conclusioni

Lo scopo di questo articolo (e di quello precedente) non era quello di capire quanto fosse bravo Phi-4 nel ragionamento scientifico e matematico, né di confrontarlo con altri modelli concorrenti. Per quello ci sono i benchmark più o meno standard, e comunque questo è un lavoro che richiede molto tempo e moltissimo impegno.

Quello che volevo invece capire era se è possibile usare un modello come Phi-4 in modalità locale, per le cose che servono ogni giorno, in questo caso specifico per la soluzione di problemi logico-matematici. Dai risultati ottenuti con le mie poche, semplici domande un po’ stupide, mi pare che non ci siamo proprio.

Phi-4 Reasoning Plus, dopo essersi macerato nel dubbio risponde in modo corretto, ma è troppo lento per essere davvero utile. Phi-4 Mini Reasoning è molto più veloce e dà l’impressione di essere più preciso, ma poi si incarta su domande banali come la radice quadrata di 2 al quadrato. Oppure inventa di sana pianta nomi e fatti su argomenti scientifici ben noti, come l’effetto Josephson, dove non si tratta di ragionare, ma semplicemente di richiamare le informazioni contenute nelle centinaia e centinaia di testi su cui il modello è stato addestrato.

Se non possiamo fidarci al 100% delle risposte a domande così basilari, come possiamo fidarci di Phi-4 per cose appena appena più complicate?

Siamo cresciuti in un mondo nel quale le fonti di informazione erano considerate sostanzialmente affidabili. Una enciclopedia cartacea, un libro, Wikipedia, i risultati di un motore di ricerca tradizionale restituivano contenuti e dati su cui si poteva fare affidamento. Certo, poteva capitare qualche errore qui e là (vero Wikipedia?), ma nessuno pensava che quelle informazioni potessero essere totalmente inventate.

Con gli LLM, i chatbot, i risultati delle ricerche costruiti dalla cosiddetta intelligenza artificiale, ci stiamo abituando ad ottenere dei risultati falsi. E quel che è peggio, se le cose non cambiano, sarà presto quasi impossibile verificare la qualità dei risultati ottenuti.

Il tema è complesso e non ha molto senso continuare a parlarne qui. Per ora, può bastare non perdere altro tempo con Phi-4.

Mi scuso per l’argomento un po’ macabro, ma quando ho chiesto per la prima volta a Phi-4 di Maria Antonietta non avevo la minima idea di quello che sarebbe successo. ↩︎
Aver definito Phi-4 un modello amletico mi pare che sia stato piuttosto azzeccato. ↩︎

LM Studio, un LLM sul tuo computer

Mon, 31 Mar 2025 06:00:00 +0000

Chi mi conosce sa che uso gli LLM (Large Language Models, ovvero modelli linguistici di grandi dimensioni) per quello in cui servono davvero, ma sono scettico, anzi molto scettico, sul fatto che siano davvero intelligenti o che possano risolvere qualunque problema, come ci ripetono tutti i giorni quelli di OpenAI, di Microsoft, di Google o di Meta. I quali, guarda caso, sugli LLM hanno investito (o buttato, vedete voi) una quantità indegna di dollari e hanno tutto l’interesse a spingere chiunque ad usarli in modo parossistico.

LLM, ovvero (tanta) statistica al lavoro

In realtà gli LLM non comprendono il significato dei testi che generano, tutto quello che fanno è predire ciascuna parola, pescandola fra quelle presenti nei miliardi di documenti che hanno analizzato. I modelli statistici su cui si basano non sono in grado di verificare la veridicità delle informazioni, né hanno una reale consapevolezza del contesto della frase, ma si basano esclusivamente sulla probabilità di comparsa di ogni parola in un testo.

Questo conduce spesso ad errori, a volte ridicoli, altre volte molto pericolosi.

In pratica, gli LLM sono degli studenti che hanno imparato la lezione a memoria, ma che non riescono ad andare oltre ciò che è scritto nel libro di testo. E ogni tanto sbagliano pure la pagina del libro!

Una volta compresi questi limiti, gli LLM si rivelano molto utili se li consideriamo degli strumenti informatici come tanti altri e ne sfruttiamo l’enorme capacità di elaborazione del linguaggio per analizzare un testo, per riassumerlo o espanderlo, per tradurlo in altre lingue e così via.

Gli LLM sul web

Il modo più comune per usare un LLM è nella forma di un chatbot, ovvero di un sistema interattivo al quale si fanno domande e si ottengono risposte, simulando una normale conversazione fra umani. Nella maggior parte dei casi tutto ciò avviene tramite una interfaccia web come quella di ChatGPT, di Copilot, di Gemini, di Claude o di Mistral AI. Senza dimenticare DeepSeek, che tanta controversia ha generato negli ultimi due mesi (e che useremo fra poco).

Alcuni chatbot hanno anche delle applicazioni native per dispositivi desktop o mobili (come ad esempio ChatGPT o Claude), ma non credo di sbagliarmi se dico che sono poco più di interfacce per l’accesso rapido alla versione web.

In tutti i casi, il processo di generazione avviene sempre su un server remoto di un data center collocato chissà dove. Un dettaglio quasi sempre irrilevante, ma che può creare molti problemi se utilizziamo un LLM per elaborare dei dati personali o delle informazioni riservate.

Gli LLM in locale

Ma non siamo mica costretti ad usare un LLM sul web! Moltissimi LLM possono essere usati in locale, direttamente sul proprio computer. E non abbiamo nemmeno bisogno di darci da fare con il Terminale, come succede con ollama, ma possiamo rimanere comodamente nell’ambiente familiare di un normale programma per il nostro Mac, o per un PC su cui gira Windows o Linux.

Di questi programmi ce ne sono una infinità, ma hanno tutti dei tratti comuni: una volta installato il programma, bisogna prima di tutto scaricare uno (o più) modelli da utilizzare;¹ dopo di che potremo interagire con il modello direttamente attraverso l’interfaccia del programma, senza che nemmeno un byte di quello che facciamo lasci il nostro computer per il mondo sempre più ostile della rete.

LM Studio

Ma quale programma scegliere fra i tanti disponibili, come Msty, LM Studio, GPT4All, Jan, LibreChat?

Non so voi, ma a me LM Studio ha fatto una buona impressione fin dall’inizio. LM Studio gira sui tre sistema operativi principali, ma per utilizzarlo su macOS serve un processore Apple Silicon, mentre su Linux serve un processore Intel. Solo la versione per Windows supporta sia i processori Intel che ARM (ma sarei proprio curioso di vedere come funziona sotto Windows per ARM).

La versione attuale è la 0.3.14 e l’installazione sul Mac richiede, come al solito, di fare doppio click sul file .dmg e di trascinare l’icona del programma sulla cartella Applicazioni. Sul Mac l’applicazione occupa ben 1.26 GB, quindi non è esattamente un programma leggero. Del resto si basa su Electron, e questo spiega tutto.

Su Linux il processo di installazione è molto simile, perché il programma è disponibile in formato AppImage. Questo significa che, oltre all’eseguibile vero e proprio, include al suo interno tutte le librerie e i file di supporto necessari per l’esecuzione, né più né meno di come avviene da decenni su macOS. Per Windows, invece, bisogna eseguire il solito installer, che spargerà di tutto in ogni anfratto del sistema operativo.

Alla scoperta di LM Studio

Arrivati a questo punto, non resta che eseguirlo per la prima volta. La prima cosa da fare è scaricare un primo modello, in modo da poter iniziare ad usare il programma.

Io scelgo il modello proposto di default, che guarda caso è una versione distillata di DeepSeek con solo 7 miliardi di parametri (quella completa ne ha 100 volte di più). Il modello occupa 4.7 GB e viene scaricato nella directory nascosta ~/.lmstudio/models/.

Il processo di download non è per niente veloce, per cui bisogna armarsi di un bel po’ di pazienza.

Come consigliato dallo stesso programma, mentre il download prosegue vado avanti ad esplorare l’interfaccia, che è quella classica a cui ormai siamo abituati, con una grossa area centrale dedicata al dialogo con il chatbot di turno, mentre la colonna laterale ospita alcune icone che, dall’alto in basso, consentono di attivare la modalità Chat o Developer e di verificare quali modelli sono installati sulla nostra macchina e quali altri modelli sono disponibili.

L’ultima icona in basso a sinistra mostra lo stato del download del modello. Cliccandoci sopra si possono avere informazioni sulla quantità di dati già scaricati, il tempo previsto per il completamento e, se necessario, mettere in pausa o interrompere il processo di scaricamento. Se il processo di scaricamento va in timeout, è anche possibile riprenderlo dal punto in cui si era interrotto.

Con il modello scelto a me è successo più volte, per cui dategli una occhiata ogni tanto. Una volta concluso lo scaricamento del modello, è necessario caricarlo in LM Studio per poterlo usare. Per farlo, si possono usare due bottoni Load Model distinti, per cui è difficile dimenticarselo.

Una volta caricato il primo modello, l’interfaccia di LM Studio cambia leggermente, mostrando al centro della finestra alcuni prompt di esempio. Nella barra superiore, il nome del modello caricato appare al centro, affiancato da due icone: quella a sinistra consente di configurare i parametri del modello, mentre quella a destra permette di sostituire il modello corrente con un altro. Un’icona a forma di beuta sulla destra offre l’accesso alle impostazioni avanzate di configurazione.

La barra inferiore del programma mostra alcune informazioni utili, a sinistra la versione di LM Studio e a destra la quantità di RAM e di CPU in uso.

L’ultima icona a destra della barra inferiore permette di accedere alle impostazioni del programma. Ed è anche l’unico modo per farlo perché, stranamente, non esiste una voce di menu dedicata a queste impostazioni.

La stessa barra permette anche di selezionare la modalità di utilizzo del programma, scegliendo fra User (che nasconde le icone laterali), Power User (la modalità predefinita) e Developer (che apparentemente non modifica l’interfaccia).

Mettiamo LM Studio alla prova

A questo punto non resta che mettere LM Studio (e DeekSeek) alla prova, magari usando uno dei prompt di esempio. Non ho bisogno di chiedere a una intelligenza artificiale qual’è la capitale della Francia, il cubo di Rubik è una roba troppo anni ‘80, vediamo come se la cava con la matematica.

Deepseek ci pensa su un minuto, ma poi tira fuori una bella prova del teorema di Pitagora basata sulle proporzioni. Come gli ho chiesto esplicitamente, formatta pure le equazioni in LaTeX, che è sempre una bella cosa.

E se clicco sul triangolino nel box Thoughts, mostra perfino il ragionamento che ha seguito per arrivare a quella dimostrazione. Davvero niente male!

Finora ho usato un Mac Mini M1 con 16 GB di RAM. Ma io ho a disposizione anche un Mac Studio M2 Ultra con 192 GB di RAM, quanto ci metterà?

Fare un confronto non è semplice perché, anche se si usa esattamente lo stesso prompt, le risposte del Mac Mini e del Mac Studio sono sempre diverse, a dimostrazione della natura puramente statistica dei ragionamenti fatti dagli LLM. Lo si può vedere nelle due immagini qui sotto, dove il Mini è riconoscibile per il tema chiaro che ho usato finora, mentre il Mac Studio è configurato per usare un tema scuro.

Ripetendo la stessa domanda per cinque volte sul Mac Mini, il tempo di risposta varia tra 80 e 120 secondi, con una velocità costante di 10-11 token al secondo.² Sul Mac Studio, invece, le risposte vengono generate in 15-45 secondi, con una velocità di 60-70 token al secondo. Ad occhio e croce, quindi, la velocità di generazione del testo sul Mac Studio è circa 6-7 volte maggiore di quella del Mac Mini.

Abbassiamo la temperatura

Ma io sono testardo e, per confrontarli in modo più accurato, vorrei che i due Mac mi diano sempre la stessa risposta. Per riuscirci, devo cliccare sull’icona a forma di beuta in alto a destra e impostare Temperature a zero (il valore di default è 0.8).

In queste condizioni,o il Mac Mini impiega da da 75 a 140 secondi per elaborare le sue risposte, mentre il Mac Studio ce la fa in 11-22 secondi. La cosa strana è che, nonostante le risposte siano sempre le stesse, il numero di token generati cambia ogni volta, per cui anche in questo caso la velocità del Mac Mini è sempre di 10-11 token al secondo, mentre il Mac Studio è meno costante e genera 60-80 token al secondo.

Per uno studio più scientifico bisognerebbe lavorare in condizioni molto più controllate, ma per ora ci possiamo accontentare di dire che, anche con questa configurazione, il Mac Studio è almeno 6-7 volte più veloce del Mac Mini.

E ChatGPT?

Per confronto, quanto ci mette ChatGPT? Se gli faccio la solita domanda sul teorema di Pitagora attivando l’opzione Reason, ChatGPT mi propone due risposte diverse, molto dettagliate e ben scritte. E per farlo ci mette appena 28 secondi, che è un tempo paragonabile a quello del Mac Studio.

Devo ammettere che sono impressionato dalla velocità di ChatGPT. È vero che ChatGPT gira su dei server che non hanno nulla da spartire con i miei due Mac, però è altrettanto vero che questi devono rispondere a migliaia di richieste in parallelo alla mia, mentre i Mac sono solo al mio servizio.

Conclusioni (per ora)

In ogni caso l’obiettivo di questo articolo non è mettere a confronto ChatGPT con altri LLM, ma verificare se è possibile utilizzare un LLM direttamente sul nostro computer, evitando di far girare informazioni riservate per la rete.

È anche vero che sia il Mac Mini che il Mac Studio non si accorgono nemmeno che LM Studio sta effettuando le sue elaborazioni, quindi ci dovrebbe essere spazio per delle ottimizzazioni. Ma questo (e altro) lo vedremo nel prossimo articolo.

Un “modello” è l’insieme dei pesi, delle regole matematiche e delle strutture neurali che costituiscono un determinato LLM. ↩︎
Un “token” è l’unita fondamentale di testo elaborata dal modello e può corrispondere a una parola intera, a una parte di parola, a uno spazio o a un segno di punteggiatura. La scelta di rappresentare una parola con un solo token o con più token dipende dalla sua frequenza d’uso. Se una parola è molto comune, verrà utilizzato un singolo token per rappresentarla. Se invece una parola è usata di rado, non ha senso aggiungere l’intera parola al vocabolario del modello, ma questa verrà scomposta in sottoparole più comuni. ↩︎

Da melabit a melabit: addio WordPress, ciao Jekyll

Thu, 02 Jan 2025 06:00:00 +0000

– Immagine generata dall’IA di Microsoft Designer.

Undici anni fa, quando ho iniziato a scrivere in questo spazio personale, non avrei mai pensato di rimanere per tutto questo tempo su WordPress.com, una piattaforma di blogging comoda ed affidabile, che però è sempre stata poco adatta al mio modo di lavorare. Con il tempo ho imparato a convivere con questi limiti, ma l’idea di cambiare non mi ha mai abbandonato.

Sin dall’inizio avevo ben chiaro quale piattaforma alternativa avrei voluto utilizzare. Qualche anno dopo ho riesaminato le alternative disponibili e i passi da fare in una lunga serie di articoli che alla fine si è conclusa con… un nulla di fatto, forse perché non ero convinto al 100% della decisione presa.

Del resto, non è facile abbandonare la comfort zone di una piattaforma con la quale hai avuto per tanti anni esattamente zero problemi, per imbarcarsi in una nuova avventura in cui bisogna gestire tutto in prima persona.

Qualche mese fa, però, è arrivata la decisione di Automattic, l’azienda che gestisce il software open source WordPress e tutti i prodotti derivati, di condividere di default tutti i contenuti presenti su WordPress.com con “terze parti”, cioè di fatto con i generatori di testi basati sull’Intelligenza Artificiale (ChatGPT e compagnia bella, per capirci), sempre affamati di nuovi testi con cui affinare il loro addestramento.¹ A quel punto non ci potevano più essere tentenamenti.

Come se non bastasse, poco dopo Matt Mullenweg, il fondatore di WordPress, ha dato di matto (nomen omen), evidenziando come, nonostante WordPress sia il il sistema di gestione dei contenuti (CMS) open-source più diffuso al mondo, il controllo esercitato in maniera centralizzata e sempre più dittatoriale rischia di mettere in dubbio il futuro aperto e trasparente della piattaforma.

E allora il dado è tratto! C’è voluto tanto tempo e anche tanto lavoro, ma da oggi questo piccolo blog ha una casa tutta sua, melabit.com/posts/it, dove poter sperimentare con una libertà molto maggiore di quella concessa finora. Vediamo come va.

Il nuovo sito è ancora un oggetto in divenire, la struttura di base è quella ma nei prossimi mesi ci saranno di sicuro modifiche e aggiustamenti. La prima cosa da fare è espandere la sezione in inglese, che al momento contiene solo una manciata di post, con link mancanti o ancora riferiti agli articoli originali in italiano. Vorrei anche aggiungere un sistema di notifica dei nuovi post.

Nel frattempo segnalatemi senza scrupoli nei commenti tutto ciò che non funziona o che funziona male.

Per i dettagli e gli aspetti tecnici della transizione vi rimando invece ai prossimi post.

Resta inteso che tutti i vecchi contenuti e i commenti rimarrano disponibili su melabit.wordpress.com. Almeno finché Mullenweg non mi caccia… 🤣🤣🤣🤣🤣

Perché è vero che è possibile rifiutare la condivisione dei propri contenuti, e l’ho fatto anch’io ma, è altrettanto vero che bisogna scegliere esplicitamente di non condividere i propri dati e non il contrario, come sarebbe più normale. E comunque non è affatto detto che questi contenuti non vengano razzolati lo stesso. ↩︎

Meglio le galline

Mon, 04 Mar 2024 06:00:00 +0000

– Fonte: Henrique S. Ruzzon su Unsplash.

Mentre scrivevo il post precedente mi sono imbattuto in questo articolo del 14 marzo 2022, The Bird Process In Mac OS X, che si trovava ai primissimi posti dei risultati di Google.

Non leggetelo, è soltanto un cumulo di sciocchezze e di figure senza senso. Con il senno di poi avrei dovuto capirlo già dal titolo – chi usa ancora “Mac OS X” nel 2022? – e dalla mezza immagine di Flappy Bird, ma sono stato ingenuo e ci ho messo un po’ ad accorgermi che c’era qualcosa che non andava.

La data del post ci dice che quest’affare non è un prodotto di ChatGPT, che è stato rivelato al mondo solo nell’autunno di quell’anno. Ma proprio nei primi mesi del 2022 il grande pubblico stava iniziando a conoscere i sistemi automatici di generazione del testo, come BERT o GPT-3, ed è plausibile che l’articolo in questione sia già il parto della fervida fantasia di una intelligenza artificiale piuttosto maldestra.

Che dire? Se il futuro che ci aspetta è trovare in rete roba come questa, meglio ritirarsi in campagna ad allevare galline. Saranno anche poco intelligenti, ma di sicuro sono molto più stimolanti e divertenti di certi prodotti dell’IA.

In ogni caso, qualcosa mi dice che Google qualche problemino con i suoi algoritmi di ricerca ce l’ha.

07-04-2024: Nemmeno a farlo apposta, pare che Google si sia decisa a modificare i suoi algoritmi di ricerca per limitare lo spam alimentato dall’intelligenza artificiale che lei stessa ha contribuito a creare.

Quando i dati sono troppi

Wed, 31 May 2023 06:00:00 +0000

– Fonte: Afrah su Unsplash.

I sistemi di intelligenza artificiale moderni vengono addestrati con enormi quantità di dati, perché l’idea di fondo è che più dati ci sono, meglio è. Esempio tipico è ChatGPT, a cui è stato fatto leggere e digerire praticamente tutto lo scibile umano, o almeno tutto lo scibile umano presente su internet. Ma, nonostante questa montagna di conoscenza, ChatGPT non capisce quello che legge, e nelle sue risposte mette solo in fila una parola dopo l’altra, calcolando la probabilità che una nuova parola segua quella che ha appena generato.¹

Facciamo un esempio terra terra: se addestrassimo un sistema di generazione di testi utilizzando 100 documenti, nella metà dei quali c’è scritto che la rivoluzione francese è avvenuta in Francia nel 1789 e nell’altra metà che è avvenuta in Nord America nel 1776, il nostro sistema (presunto) intelligente non saprà distinguere i documenti sbagliati da quelli corretti,² e quando sarà interrogato ci risponderà la metà delle volte, senza battere ciglio, che la rivoluzione francese è avvenuta in America, e una volta su quattro che si è svolta in Francia ma nel 1776.

ChatGPT è l’estrapolazione estrema di questo concetto: legge, analizza, calcola, ma non capisce un tubo.

Ma i problemi non nascono solo quando i sistemi di intelligenza artificiale vengono addestrati a partire da informazioni sbagliate o del tutto false.³

I problemi nascono anche quando addestriamo un sistema di intelligenza artificiale con dei dati di scarsa qualità. Ce lo dicono Marco Roccetti e i suoi colleghi in un bell’articolo, “Più grande è sempre meglio? Un viaggio controverso al centro della progettazione dei [sistemi] di apprendimento automatico, con usi e abusi dei big data nella predizione dei guasti ai contatori dell’acqua”, che parte da un problema molto specifico come i guasti ai contatori, per affrontare il problema principale dei sistemi di intelligenza artificiale, la qualità dei dati in ingresso.

L’articolo ha un sapore molto di casa nostra, si nota chiaramente che è scritto da italiani che traducono in inglese il nostro modo particolare di esprimerci, ma è davvero molto interessante anche perché racconta il percorso compiuto, gli errori fatti, gli ostacoli incontrati e le tecniche usate per superarli, un approccio normale in un racconto o in un saggio ma inusuale, anzi scoraggiato, in un articolo scientifico.

E in questo percorso gli autori si sono accorti che non è vero che si può dare di tutto in pasto ad un sistema di apprendimento automatico e che sarà poi il sistema stesso a separare il grano dal loglio e a tirare delle conclusioni sensate. Anzi, è vero proprio il contrario, se diamo in pasto al sistema tantissimi dati raffazzonati, contenenti informazioni mancanti o contraddittorie, anche le predizioni che ne verranno fuori saranno di scarsa qualità. Molto meglio selezionare i dati corretti, ed usare solo quelli per addestrare il sistema e trarre le proprie conclusioni.

Junk in, junk out (spazzatura in ingresso, spazzatura in uscita), me lo ripeteva sempre il mio indimenticato mentore tedesco, è un vecchio adagio ma è sempre valido.

Ma il concetto che “più grande non è detto che sia sempre meglio” non è una novità dell’era dei big data, anzi è ben noto a chi si occupa di queste cose perlomeno dagli anni ‘30 del secolo scorso, quando la rivista Literary Digest inviò a 10 milioni di elettori una finta scheda elettorale, da rispedire dopo averla votata. Risposero in 2.4 milioni, un numero enorme per quei tempi, e la stragrande maggioranza dei voti andò al candidato repubblicano, Alfred Landon. Nella realtà vinse il democratico Franklin Delano Roosevelt con il 61% dei voti, e l’unico a predire correttamente il risultato finale fu George Gallup, che aveva condotto un sondaggio con poche migliaia di partecipanti.

Questo episodio non solo fece la fortuna di Gallup, il cui istituto di sondaggi divenne per decenni la principale agenzia di indagini demoscopiche degli Stati Uniti, ma mise plasticamente in evidenza l’importanza del bias di campionamento nelle analisi statistiche. Venne riconosciuto in pratica, e a partire da un esempio di dimensioni ciclopiche (almeno per quei tempi), che quello che conta non è la quantità dei dati raccolti ma la sua qualità.

La Literary Digest aveva inviato le sue finte schede ai suoi abbonati e agli elettori presenti negli elenchi telefonici e in quelli della motorizzazione, cosa che durante la ripresa dalla Grande Depressione significava selezionare solo chi apparteneva alle classi sociali più abbienti e più orientate a votare repubblicano. Gallup, invece, aveva scelto il suo piccolo campione in modo casuale, stando attento a pescare in modo omogeneo fra i diversi gruppi demografici della popolazione americana. Ed ebbe ragione.

Il bias di campionamento è proprio questo: avere tantissimi dati non serve a niente se questi descrivono solo una parte del fenomeno che si vuole studiare, in altri termini se la loro qualità statistica è scarsa. Non è vero che “se ci sono abbastanza dati i numeri parlano da soli”, è vero invece che la spazzatura in ingresso produce solo spazzatura in uscita.

I report periodici di Backblaze (l’ultimo pubblicato, relativo al primo trimestre del 2023, si trova qui) sul tasso di rottura dei dischi installati nei suoi data center sparsi per il mondo (si parla oggi di ben 250.000 dischi) sono diventati una lettura imprescindibile per chi si occupa di hardware, ed un modo per valutare la qualità dell’una o dell’altra marca o modello di disco rigido.

Niente da dire, i report sono fatti molto bene e descrivono con cura il comportamento reale dei dischi usati nei data center dell’azienda. Ma, spiace dirlo, questi report non servono a valutare il comportamento dei dischi rigidi installati nei nostri computer, e in qualche misura anche nei nostri NAS, e non possono valere di certo come consigli per gli acquisti.

I dischi montati nei data center di Backblaze vengono accesi e funzionano quasi ininterrottamente fino alla fine della loro vita utile (o finché si rompono), sono soggetti a condizioni di temperatura e umidità ben controllate, non sono sottoposti a sbalzi di tensione o a spegnimenti improvvisi, e anche il problema delle vibrazioni, ingigantito dal grande numero di dischi montati in ogni singola unità di storage, viene affrontato in modo adeguato.

Tutto il contrario di quello che avviene nelle nostre case o nei nostri uffici, dove i computer vengono accesi e spenti di continuo (orrore!), dove i computer vengono spostati senza troppi scrupoli anche se sono accesi (altro orrore!), dove l’ENEL ogni tanto fa mancare l’energia elettrica, o dove i weekend (e anche le semplici notti) fanno schizzare in alto o in basso le temperature (non so voi ma il mio ufficio diventa rovente durante i weekend estivi e gelato in inverno, e ci vuole una buona mezz’ora, il lunedì, per tornare a condizioni normali).

I dischi di Backblaze sono come i votanti del Literary Digest, anche se sono tantissimi rappresentano solo una piccola parte delle modalità di uso di un disco rigido, e tutte le conclusioni statistiche tratte dai loro dati valgono al 100% solo per quella specifica modalità di uso, non per tutto l’universo dei dischi rigidi.

Volete comprare gli stessi dischi usati da Backblaze? Niente in contrario, sono di sicuro modelli veloci e di qualità. Però, mi spiace dirlo, anche se i report li qualificano come dischi particolarmente affidabili per i data center, non è affatto detto che faranno lo stesso anche sui vostri computer.

È un po’ più complicato di così ma il succo è quello. ↩︎
Per il cervello umano è banale capire dal contesto che la rivoluzione francese non può essere avvenuta in Nord America. Non è così per i sistemi di generazione di testi, che calcolano la probabilità che si presentino determinati flussi di parole ma non hanno la minima idea del loro significato. ↩︎
L’impossibilità di comprendere i dati che gli vengono forniti è alla base del timore che i sistemi di intelligenza artificiale possano contribuire a diffondere informazioni sbagliate o totalmente inventate, propagandate come vere solo perché prodotte dal “cervellone” artificiale. Un problema molto serio, che preoccupa moltissimo i ricercatori più avvertiti (e dovrebbe preoccupare anche noi). ↩︎

ChatGPT al capolinea

Mon, 24 Apr 2023 06:00:00 +0000

– Fonte: Donald Giannatti su Unsplash.

Chiunque ne sappia un po’ di queste faccende lo aveva capito da tempo: i modelli linguistici di grandi dimensioni (Large Language Models, LLM), come GPT-3/4 di OpenAI, da cui deriva la stella del momento ChatGPT, o come LLaMA di Facebook, Alpaca di Stanford e compagnia bella, non hanno un futuro, sono troppo complicati, avidi di risorse e costosi per essere sostenibili a lungo termine.

Sembra di assistere alla riedizione della corsa al GHz nei processori di classe Pentium di una ventina di anni fa, conclusasi quando Intel ed AMD finirono per sbattere contro un muro costituito dai limiti fisici della tecnologia dei semiconduttori, in particolare l’impossibilità di raffreddare adeguatamente la CPU, obbligando i produttori ad un cambio di prospettiva che ci ha portato ad avere processori molto più potenti ma allo stesso tempo infinitamente più efficienti.

Anche gli LLM stanno per sbattere contro un muro analogo. Nel 2018, il modello GPT-1 contava 117 milioni di parametri, mentre nel 2019 il suo successore, GPT-2, ne contava già 1,5 miliardi. Nel 2020, GPT-3 ha raggiunto il numero strabiliante di 175 miliardi di parametri, mentre si stima che GPT-4, appena rilasciato, abbia circa 1000 miliardi di parametri e che il suo addestramento sia costato ben più di 100 milioni di dollari (i dati sono tratti da questo articolo su Medium).

In sostanza, in appena 5 anni il numero di parametri del modello linguistico Generative Pretrained Transformer, meglio noto come GPT, è cresciuto di ben 10.000 volte, quasi un ordine di grandezza all’anno, ma andare avanti a questo ritmo è fisicamente impossibile. E non lo dico io, lo dice Sam Altman, l’amministratore delegato di OpenAI, che è l’azienda che sta dietro ai modelli GPT-1/4 e a ChatGPT.

“Penso che siamo alla fine dell’era in cui ci saranno questi modelli, diciamo, giganti, giganteschi. Li miglioreremo in altri modi”.

“I think we’re at the end of the era where it’s going to be these, like, giant, giant models. We’ll make them better in other ways.”

Se lo sostiene perfino lui, è evidente che la gestione di questi modelli linguistici sia diventata insostenibile anche per una azienda piena di soldi come OpenAI. Non è un caso che nel frattempo lo sviluppo di GPT-5 sia in standby.

Serve un cambio di rotta, perché nel campo dell’intelligenza artificiale non è affatto detto che più grande significhi per forza di cose migliore.

ChatGPT al bando: come aggirare ancora più facilmente il blocco

Fri, 21 Apr 2023 18:00:00 +0000

Esiste un modo per aggirare il blocco a ChatGPT deciso del Garante per la privacy ancora più semplice del metodo descritto nell’ultimo post, che ci permette di continuare ad usare il nostro solito browser senza dover trafficare con Opera, VPN e compagnia bella (grazie Paoloo per la segnalazione!).

Dobbiamo solo andare sul sito di Poe.com,

decidere come autenticarci (se possibile, io evito di condividere le informazioni dei miei account Google e Apple e preferisco usare l’email),

e premere il tasto “Go”. Poe invia all’indirizzo email indicato un codice di verifica, con il quale possiamo accedere al servizio senza bisogno di creare una password specifica.

La schermata iniziale di Poe mostra nella colonna di sinistra la lista dei sistemi di generazione di testo supportati, fra cui ovviamente c’è ChatGPT, il progenitore GPT-4 e una serie di sistemi di cui sapevo a malapena l’esistenza, mentre la finestra centrale più grande serve per interagire con il servizio scelto.

Come potete vedere qui sotto, ChatGPT funziona alla perfezione all’interno di Poe, senza nemmeno i piccoli problemi di Opera, forse perché non è (ancora) consapevole di essere stato messo al bando in Italia. 🤣

Inutile dire che anche il progenitore GPT-4 non sa niente del bando (benvenuto 2021!), e come lui anche gli altri servizi derivati supportati da Poe.

A proposito, Poe è sviluppato da Quora ed è l’acronimo di “Platform for Open Exploration”. Esiste anche l’app dedicata per iOS, per cui finalmente potrete usare ChatGPT (e simili) sull’iPhone senza bisogno di installare applicazioni strane o poco affidabili.

Davvero ben fatto!

ChatGPT al bando: come aggirare il blocco e vivere felici

Mon, 03 Apr 2023 20:00:00 +0000

Si può commentare una cretinata? Come la decisione del Garante per la privacy, che ha bandito ChatGPT dal territorio nazionale, aprendo contestualmente la solita “istruttoria” che finirà, come sempre, in una gigantesca bolla di sapone?

Secondo il Garante, ChatGPT mette i nostri dati personali a rischio, cosa in parte condivisibile, ma dov’era il Garante negli ultimi 10 anni quando Google, Facebook, Microsoft e compagnia bella hanno fatto strame impunemente dei nostri dati personali?

ChatGPT è più pericolosa, visto che crea un mondo tutto suo in cui è difficile distinguere il vero dal falso? Ma allora Bing è persino peggio, Bing ha letteralmente inventato articoli che non ho mai scritto e che non esistono proprio, ficcandoli però in un contesto plausibile in cui sembrano veri. Ma Bing viene da mamma Microsoft e si sa, la mamma non si tocca, né in Italia né altrove.

E poi, siamo seri, ma davvero qualcuno pensa che bloccare ChatGPT in Italia, nella sola Italia, serva a bloccare questo sistema di (poca) intelligenza artificiale che sta creando scompiglio in tutto il mondo? A me una decisione del genere fa pensare ai magistrati degli anni ‘70, che censuravano certi film ritenuti “scollacciati”, creando un’attesa e un interesse che altrimenti non avrebbero mai avuto.

Ma la decisione del Garante è ancora più puerile perché ci vuole davvero pochissimo per aggirarla, e non servono nemmeno conoscenze tecniche particolari per farlo.

Se provo ad andare sul sito di ChatGPT dal mio solito Firefox (ma vale lo stesso per qualunque altro browser) mi ritrovo con un messaggio che mi informa che l’accesso a ChatGPT dall’Italia è stato disabilitato.

Cha fare? Aspettare tempi migliori? Lasciare perdere il computer e andare a coltivare la terra, cosa che magari di questi tempi darebbe più soddisfazioni? Niente affatto, perché ci basta scaricare Opera, installarlo sul nostro Mac (o su un computer su cui gira Windows o Linux), attivare dalle preferenze dell’applicazione la VPN gratuita integrata,

per tornare ad avere ChatGPT attivo sul nostro computer.

Funziona solo sui sistemi operativi desktop, perché Opera per iOS e, credo, anche la versione per Android non integrano la VPN, ma è già qualcosa.

C’è da dire che ogni volta che cercherete di recuperare una chat precedente vi verrà chiesto se siete davvero degli umani, ma tutto sommato non è più una domanda così peregrina.

E se si chiede a ChatGPT cosa ne pensa della decisione del Garante italiano),

“lui” risponde in modo fumoso, nemmeno fosse un avvocato, però è chiaro che non è d’accordo. E io con lui.

Fai sbocciare la tua creatività: DiffusionBee per generare immagini sul Mac

Mon, 06 Mar 2023 06:00:00 +0000

Negli ultimi mesi ChatGPT ha riempito le pagine dei giornali e del web, oscurando quello che è stato per mesi uno dei giocattoli preferiti dei nerd di tutto il mondo, la generazione di immagini tramite intelligenza artificiale.

Abbiamo giocato per mesi con DALL-E, con Crayon o con StableDiffusion, strumenti che funzionano online o che richiedono l’uso della linea di comando o l’esecuzione del codice sorgente originale.

Da qualche tempo è disponibile uno strumento più comodo per giocare con questi sistemi direttamente sul proprio computer utilizzando una comoda interfaccia grafica. Si tratta di DiffusionBee, che per ora è riservato ai soli utenti di macOS, con in arrivo l’inevitabile versione per Windows (ma vogliamo parlare prima o poi del fatto che ormai il software più interessante è disponibile prima per il Mac e solo dopo per Windows?).

Io l’ho provato e i risultati sono interessanti, anche se con qualche ombra.

Mac Intel o Apple Silicon?

DiffusionBee è disponibile in due versioni separate, una specifica per processori Intel e l’altra per Apple Silicon (cioè per le varie incarnazioni dei processori M1 ed M2 installati nei Mac più recenti). Anzi, per Apple Silicon sono disponibili ben due versioni, una a qualità normale e l’altra in alta qualità, che produce immagini migliori a scapito della velocità di esecuzione.

Dico subito che la versione di DiffusionBee per Intel richiede un processore molto performante. Il mio Mac di casa, con processore Intel i5 e 16 GB di RAM, è andato in crash per due volte, per cui è chiaro che le sue riserve di calcolo non sono sufficienti. Potrei provarlo sul Mac i7 dell’ufficio, ma ho molte remore, ho bisogno che sia stabile e un suo eventuale riavvio imprevisto mi creerebbe non pochi problemi.

Nessun problema invece su un MacBook Air M1, qui di potenza ce n’è più che a sufficienza e DiffusionBee va alla grande. Bisogna considerare però che il programma vero e proprio occupa poco spazio, circa 340 MB la versione per Apple Silicon e poco di più per quella Intel, ma al primo avvio deve scaricare ben 4 GB di dati del modello di generazione delle immagini suddivisi in due blocchi da 2 GB ciascuno, che diventano 8 GB una volta scompattati. Tenetene conto se avete poco spazio.

Una volta scompattato, il modello viene caricato in memoria e si può finalmente incominciare ad usare il programma.

Interfaccia utente

La finestra principale di DiffusionBee è semplicissima, in pratica consiste solo in un box di testo dove si inserisce una frase (prompt) che innesca la generazione delle immagini, e in una parte inferiore più ampia che mostra le immagini generale. Il programma dispone anche di funzioni più specializzate, attivabili cliccando sulle etichette visibili nella parte superiore della finestra, che saranno discusse brevemente più avanti.

Per le prime prove ho utilizzato un prompt iniziale molto semplice incentrato sulle mele (che altro scegliere su un Mac?), “Un albero con delle mele rosse e verdi”,

e il primo risultato è semplicemente orribile. Oltre che sbagliato, visto che avevo chiesto “un albero con delle mele rosse e verdi”, non “un albero rosso con delle mele verdi”,

Riprovando senza cambiare niente i risultati migliorano parecchio, anche se è difficile capire il perché.

Si può fare di meglio

Prompt più elaborati restituiscono immagini decisamente migliori, almeno finché si rimane nell’ambito dell’arte astratta. Ma probabilmente però queste sono solo variazioni su temi ben noti al programma, visto che il modello di intelligenza artificiale dovrebbere essere stato nutrito anche con le immagini dei grandi pittori.

Se invece si prova a riprodurre invece certe immagini tratte da Arthub.ai, un sito dedicato alla condivisione dell’arte generata (o magari generativa), i risultati sono decisamente meno buoni rispetto a ciò che si vede sul sito (mi riferisco al contenuto tecnico delle immagini, quello artistico è un’altra cosa).

Prendiamo ad esempio questa bellissima “donna bionda con gli occhi azzurri che indossa un lungo e fluente abito rosso, che chiede un cocktail in un bar, la vigilia di Capodanno, in un futuro distopico alla Bladerunner”, che sembra dipinta a mano.

DiffusionBee con i parametri di default la interpreta così, facendoci interrogare sulla reale posizione del bicchiere centrale.

Oppure così, dove sembra che la povera signorina abbia un piede al posto della mano.

Purtroppo Arthub.ai non ci dà quasi mai informazioni su come sono state generate le immagini presenti sul sito, ma è più che probabile che queste abbiano richiesto ore ed ore di elaborazione su megacomputer preparati ad hoc. DiffusionBee, invece, gira su dei computer normali e fa il suo lavoro in pochi secondi, è inevitabile che non possa mai raggiungere quei livelli.

Ma se si è consapevoli dei suoi limiti e si prova ad essere più creativi che riproduttivi, con un po’ di pazienza si possono ottenere dei risultati decenti.

Infatti, anche se la riproduzione del corpo umano da parte di DiffusionBee ha dei seri problemi (come è evidente dalle immagine precedenti, così come da molte altre prove non mostrate qui per semplicità),¹ in altri campi il programma produce risultati decisamente migliori, come si può vedere negli esempi che seguono.

Magari dovremo ripetere più di una volta la generazione delle immagini, ma con un po’ di pazienza si riesce ad ottenere dei risultati interessanti, magari anche giocando con gli stili predefiniti e le opzioni di generazione selezionabili cliccando sulle etichette relative visibili sotto il box di testo.

Altre funzioni

DiffusionBee permette anche di generare una immagine a partire da un’altra immagine, di rimuovere o di aggiungere particolari ad una immagine già elaborat o di recuperare la storia di tutte le immagini generate dall programma. Tutte queste funzioni vengono attivate cliccando sulle etichette situate nella parte superiore della finestra.

Ad esempio, selezionando la scheda Image To Image si può trasformare l’immagine della spiaggia invernale in una vista estiva, peccato che il modello di intelligenza artificiale dimentichi di togliere la neve!

E anche possibile modificare i dettagli di una immagine (scheda Impanting) oppure estendere l’immagine prodotta (scheda Outpainting). Facendo così si può riuscire a restituire alla signorina bionda una mano quasi degna di questo nome (anche se ho dovuto riprovare parecchie volte prima di ottenere un risultato quasi accettabile).

Ma la funzione di gran lunga più utile è l’ultima, History, che mostra tutte le immagini generate dal programma insieme ai prompt e ai principali parametri utilizzati per produrle. È una funzione fondamentale per tornare sui propri passi e recuperare quello che si è già fatto oppure per fare delle nuove prove a partire da una configurazione ben definita.

Anche in alta qualità

La versione in alta qualità (HQ) di DiffusionBee, specifica per Apple Silicon, ha lo stesso nome di quella a qualità normale, per cui non può essere installata insieme a quest’ultima. Il motivo dovrebbe risiedere nel fatto che si basa su un modello di generazione diverso, infatti alla prima esecuzione scarica un nuovo modello di generazione, questa volta suddiviso in ben 8 blocchi, un paio molto grandi (circa 3 GB ciascuno) e gli altri di dimensioni molto più ridotte, per un totale decompresso che dovrebbe comunque rimanere sempre intorno agli 8 GB. Anche con la fibra FFTH ci è voluta una buona mezz’oretta per concludere il download del modello.

Come messo bene in evidenza nella pagina di download di DiffusionBee, La velocità di generazione delle immagini della versione HQ è apprezzabilmente minore di quella a qualità normale, mentre ho qualche dubbio sulla migliore qualità delle immagini prodotte, guardate le immagini qui sotto e giudicate da soli. Non mi pare quindi che valga tanto la pena usare la versione HQ al posto di quella normale, molto più veloce.

In ogni caso, una volta scaricati i due modelli distinti di generazione delle immagini, passare dalla versione a qualità normale a quella HQ (o viceversa) di DiffusionBee è questione di pochi attimi: basta aprire il file dmg relativo alla versione da installare e trascinare l’icona del programma nella cartella Applicazioni, sostituendola a quella già installata. Tutte le configurazioni, i modelli e la storia di uso del programma rimangono sempre disponibili, indipendentemente dalla versione usata.

Volendo si potrebbero rinominare le due versioni di DiffusionBee in modo diverso, tenendole così permanentemente installate in Applicazioni. Io non ho provato a farlo e non garantisco che non creino problemi, soprattutto se si prova ad usarle in contemporanea.

Se vogliamo disinstallarlo

E se alla fine ci stufiamo e vogliamo disinstallare DiffusionBee? Cancellare il solo programma non basta, e non basta nemmeno usare AppCleaner (o simili) per cancellare i file di supporto, come è normale fare con le altre applicazioni. Perché quello che è davvero importante rimuovere sono i modelli, che occupano almeno 8 GB ciascuno, ma che non vengono individuati da AppCleaner (e, ci scommetterei, nemmeno dalle altre applicazioni di disinstallazione per macOS).

AppCleaner non riesce a trovare questi modelli perché non si trovano, come si aspetta, in una cartella della Libreria dell’utente, ma in una directory nascosta della Home dell’utente, denominata, con pochissima fantasia, .diffusionbee.

La mia contiene in questo momento 12 GB di dati, che sono 4 GB meno di quanto mi sarei aspettato, evidentemente i due modelli hanno delle parti in comune.

Volendo disinstallare DiffusionBee, la procedura corretta è quindi:

disinstallare l’applicazione e i file di supporto con AppCleaner o simili (ma chi sa usare il Terminale può cancellare a mano le cartelle che contengono i file di supporto);
aprire il Terminale ed eseguire il comando

% rm -r ~/.diffusionbee

dove il simbolo del % rappresenta il prompt del Terminale e non fa parte del comando (da notare che il % è il prompt di default della shell zsh utilizzata dalle versioni più recenti di macOS, in precedenza la shell di default era bash e il prompt era rappresentato dal simbolo del $).

Conclusioni

DiffusionBee è un bel giocattolo che, sfruttando le tecniche più avanzate di intelligenza artificiale, può generare immagini che vanno dall’orrido all’interessante sul proprio Mac con processore M1/M2. È possibile che DiffusionBee funzioni anche su un Mac Intel ma francamente, visto il tempo che impiega nei casi più complessi su un Mac M1, dubito che possa farlo in modo sufficientemente veloce da essere davvero utilizzabile.

È chiaro però che DiffusionBee è più che altro un bel giocattolo, se si vogliono davvero mettere le mani in questi sistemi basati sull’intelligena artificiale, la cosa migliore da fare è lavorare direttamente con il codice sorgente, quasi sempre in Python, magari utilizzando Google Colab come piattaforma di sviluppo. s Le guide introduttive non mancano, basta fare un giro su Google per trovare di tutto e di più. Come ad esempio questa guida, High-performance image generation using Stable Diffusion in KerasCV che, a differenza di tante altre, funziona al primo colpo.

In ogni caso, che sia con DiffusionBee o con Python, buon divertimento!

Sarebbe interessante verificare cosa succede con Stable Diffusion, che è il il modello di generazione di immagini su cui si basa DiffusionBee. ↩︎

L'anniversario della presentazione dell'iPad secondo ChatGPT

Sun, 29 Jan 2023 06:00:00 +0000

Ho colto al volo l’occasione dell’anniversario della presentazione dell’iPad per far scrivere a ChatGPT un post sull’argomento. Io mi sono limitato a qualche notarella tecnica e a un breve commento finale.

Domanda: Scrivi un post per un blog in tono tecnico sul recente anniversario della presentazione dell’iPad.

Risposta: Il 27 gennaio 2010, Apple Inc. ha presentato il primo iPad, un tablet computer che utilizza un display multi-touch da 9,7 pollici e si basa sul sistema operativo iOS. Il dispositivo era alimentato dal chip A4 di Apple, che presentava un CPU Cortex-A8 da 1 GHz e una GPU PowerVR SGX535, fornendo all’iPad una notevole potenza computazionale per l’epoca. Il dispositivo è stato inizialmente rilasciato in tre capacità di archiviazione (16 GB, 32 GB e 64 GB) e con un prezzo di partenza di 499 dollari.

Al momento del lancio, l’iPad ha ricevuto reazioni miste dalla comunità tecnologica, con alcuni che lodavano il suo potenziale come dispositivo rivoluzionario per la navigazione web, l’email, le foto e la visione di video, mentre altri lo respingevano come un “gigantesco iPhone” con un’appeal limitato. Tuttavia, questi dubbi sono stati presto dissipati in quanto l’iPad è diventato rapidamente un dispositivo popolare, con Apple che ha venduto oltre 15 milioni di unità nei primi nove mesi dal lancio. Uno dei fattori chiave che ha contribuito al successo dell’iPad è stata la sua capacità di eseguire una vasta gamma di app, grazie al suo hardware potente e al sistema operativo iOS. Ciò ha permesso di eseguire una varietà di compiti sul dispositivo, come la navigazione web, l’invio di email, la modifica di documenti, la visione di video e i giochi. Il display grande dell’iPad lo ha inoltre reso ideale per la fruizione di media, soprattutto per la lettura di libri, riviste e giornali.

L’interfaccia touch dell’iPad, il suo design semplice e l’accessibilità hanno anche svolto un ruolo significativo nel suo successo. Ciò ha reso il dispositivo facile da usare per persone di tutte le età e livelli di abilità, espandendo così il mercato dei tablet, che era stato precedentemente limitato a nicchie come le imprese e i designer.

La presentazione dell’iPad ha anche avuto un impatto significativo sul mercato dei tablet nel suo insieme. Prima dell’iPad, i dispositivi tablet venivano principalmente utilizzati per compiti specifici come l’inserimento di dati e la progettazione grafica. Tuttavia, il successo dell’iPad ha stabilito il tablet come un dispositivo a scopo generale, adatto a una vasta gamma di compiti. Ciò ha portato allo sviluppo di una var

Come potete vedere la risposta si interrompe all’improvviso, ci sarà forse un limite tecnico sulla lunghezza delle risposte ma non è chiarissimo, visto che il testo contiene 366 parole e 2267 caratteri. Per verificare che non sia stato un problema tecnico (ChatGPT in questi giorni è ai limiti della sua capacità) ho anche provato a rigenerare il testo, ma anche questa volta il testo si interrompe a metà, dopo 358 parole e 2280 caratteri. In ogni caso la risposta è praticamente identica e ve la risparmio.

Facendo scrivere a ChatGPT un post equivalente in inglese il risultato è, come prevedibile, praticamente uguale al testo in italiano, probabilmente perché ChatGPT può leggere e scrivere in qualunque lingua (o quasi) ma pensa sempre e solo in inglese.

Che dire del risultato? Francamente mi sembra più interessante leggere la lista della spesa, non c’è nessun calore, è tutto piatto e senza vita come un comunicato stampa. Il testo scritto da ChatGPT è un semplice elenco di fatti, una rielaborazione piatta di pagine e pagine di notizie presenti sul web, senza che questo elenco diventi una storia degna di essere letta. Un umano potrebbe fare sicuramente di meglio.

Il problema con ChatGPT è che ce l’hanno venduto come la soluzione per tutto, sostituito dello scrittore, terrore degli insegnanti (e manna per gli insegnati), sistema di sviluppo, motore di ricerca intelligente, manca solo che risolva il problema della fame nel mondo e siamo a posto.

Invece ChatGPT è solo un software con un’ottima memoria, un software che ha letto e ricorda praticamente tutto lo scibile umano, un software che, quando risponde alle nostre domande, va a prendere una cosa da qui e una da lì, senza avere la minima idea di cosa significhi. ChatGPT è un perfetto robot statistico, nulla di più.

Se gli si fanno fare cose adatte a lui, ChatGPT è eccezionale, basta solo non chiedergli di essere creativo, non fa per lui. Direi che, per ora, noi scrittori in erba possiamo dormire sonni tranquilli.