The Sunday Prompt #12 – 11/6/2023
Il tema della costruzione dei prompt (prompt engineering) è fondamentale quando si interagisce con LLM generativi. Anche una sola parola diversa, infatti, può produrre differenti risultati ed alcune volte “allucinazioni” vere e proprie del modello.
Recentemente è stato presentato un paper dai ricercatori di Google in cui si propone (e si testa) un diverso approccio chiamato Chain-of-Tought Prompting (CoT).
L’obiettivo è quello di far esplicitare i vari passaggi che il modello segue per arrivare ad una risposta. Vediamo come funziona.
Spesso quando interagiamo con i sistemi come ChatGPT utilizziamo i cd. zero-shot prompt, ossia inseriamo un prompt che non fa parte dei dati di addestramento, ma che il modello comunque riesce a trattare e per i quali genera una risposta.
Tale risposta è normalmente contenuta in un paragrafo e non fornisce indicazioni sui passaggi che il modello ha svolto per arrivare alla soluzione che ci viene presentata.
Prendiamo un semplice problema aritmetico. Il calcolo del costo della benzina per un viaggio in macchina:
Come si può vedere la risposta contiene alcune indicazioni sulla successione dei passi, ma molto brevi e poco comprensibili.
Il metodo della Chain of Thought consiste semplicemente nel fornire un’ulteriore istruzione al termine del prompt principale, indicando al sistema di “procedere passo per passo”.
Ecco cosa succede:
Adesso il “ragionamento” che ha portato alla soluzione (analoga a quella precedente) viene esplicitato in una catena di passi, appunto, descritti nella risposta.
Il CoT, quindi, incoraggia il sistema a rappresentare l’approccio graduale che ha adottato per la risoluzione del compito, fornendo un certo grado di trasparenza rispetto al suo operato (trasparenza che ovviamente si riferisce alla costruzione della risposta e non al funzionamento delle reti neurali sottostanti né dei pesi probabilistici che hanno assunto i loro parametri).
Facciamo un altro test, questa volta utilizzando un testo e chiedendo a ChatGPT di spiegarlo. Siamo al famosissimo Canto XXVI dell’Inferno:
Il risultato appare comunque apprezzabile per sintesi e chiarezza. Vediamo adesso cosa succede usando la CoT:
La risposta appare più dettagliata ed esaustiva, e contiene alcune indicazioni di approfondimento che mancavano nella precedente.
Nei vari test che sono stati eseguiti dai ricercatori di Google è emerso in generale che i risultati ottenuti con l’utilizzo della metodologia di CoT Prompting sono più estesi, e l’ordinamento dei vari passaggi che viene effettuato dal modello fornisce una maggiore comprensione dei vari passaggi che lo stesso svolge per fornire la risposta.
Il paper ha analizzato le performance di vari LLM testando appunto l’efficacia della metodologia CoT in ognuno di essi.
Le conclusioni sono che il Chain of Toughts Prompting è efficiente quando
(1) il compito è impegnativo e richiede un ragionamento in più passaggi,
(2) viene utilizzato un modello di linguaggio ampio (ossia con molti parametri);
(3) nei casi in cui la metodologia standard di prompting ha una curva di crescita piatta, ossia non si assiste a miglioramenti significativi all’aumentare del numero dei prompt, utilizzare la CoT porta ad incrementare notevolmente la qualità degli stessi.
La CoT, quindi, può essere un utile metodo per riuscire ad ottenere migliori risultati nelle interazioni con i LLM. Oltre a ciò riesce a fornire anche un maggior grado di trasparenza nei passaggi che il modello segue per la creazione dell’output, così anche rendendo più facile per noi che utilizziamo questi sistemi verificare la correttezza dei risultati che ci propongono.
Non dobbiamo dimenticare, infatti, che i modelli generativi sono delle “fabbriche di parole”, che in alcuni casi “Inventano” (con le loro allucinazioni) sulla base di approssimazioni statistiche.
Rendere più trasparenti e verificabili i passaggi che seguono per arrivare al risultato consente anche di poterli utilizzare in modo più consapevole e responsabile.
👋🏻 Happy Prompting!
