#The Sunday Prompt #42 – 22/09/2024
Le caratteristiche di o1
Dopo poco più di una settimana dal lancio del nuovo modello o1 da parte di OpenAi possiamo andare a fondo su come funziona e sui suggerimenti per utilizzarlo al meglio.
Come è stato riportato da più parti i nuovi modelli sono stati addestrati per “ragionare”, ossia per seguire una serie di passi di ragionamento prima di fornire le risposte all’utente.
In effetti affermare che questo modello “ragione” appare un pò eccessivo, dato che la principale novità introdotta da OpenAI è volta ad automatizzare la “Chain of Thought” all’interno del sistema, in modo che, soprattutto per le richieste le cui risposte richiedono di procedere in maniera sequenziale (come il coding o la risoluzione di probelmi matematici).
Il nuovo modello si presenta in due versioni:
- o1-preview: che utilizza l’addestramento di GPT-4o.
- o1-mini: una versione più veloce ed economica di o1, particolarmente adatta a compiti di coding, matematica e scienze in cui il dataset di addestramento è stato ristretto per tali compiti specifici.
E’ bene evidenziare che la stessa OpenAI sottolinea che questi nuovi modelli non sono destinati a sostituire GPT-4o in tutti i casi d’uso, mentre sono ottimali per applicazioni che possono sopportare tempi più lunghi di risposta e processi complessi.
Il nuovo modello è in fase di test, e alcune funzionalità saranno rilasciate nel corso delle prossime settimane, come il supporto per le immagini, i parametri di temperatura regolabili, i messaggi di sistema, etc.
Come funziona
Il nuovo modello utilizza dei “token di ragionamento”. Ossia tra l’input generato dall’utente e l’output che costituisce la risposta fornita dal modello vengono inseriti dei token che introducono la possibilità di considerare approcci diversi per fornire la risposta. Una volta prodotto l’output questi token di ragionamento vengono scartati (tali token comunque sono inseriti nel contesto e, quindi, sono inclusi nei costi per l’utilizzo del modello tramite API).
I nuovi modelli offrono una finestra di contesto di 128.000 token. Ogni volta che viene generato un output questo deve rispettare il limite massimo che, come si è accennato, conteggia al proprio interno anche i “token di ragionamento”.
Tale limite massimo è:
- o1-preview: fino a 32.768 token
- o1-mini: fino a 65.536 token
In tal senso diventa rilevante tenere in considerazione che nella finestra di contesto vi sia spazio sufficiente per i token di ragionamento, considerando che a seconda della complessità del problema da risolvere il modello può generare da poche centinaia a decine di migliaia di questa tipologia di token.
Questo significa che in realtà la lunghezza del testo di output sarà più limitata rispetto a quella di GPT-4o, proprio perché nel conteggio totale massimo saranno ricompresi tale tipologia di token.
Gestione dei costi e dello spazio
Per controllare i costi gli utenti che utilizzano le API o il Playground possono limitare il numero totale dei token generati tramite un apposito parametro, ricordando che con i nuovi modelli il numero di quelli generati può superare quello dei token visibili, dato che, come sopra accennato, i “token di ragionamento” vengono creati in automatico senza darne evidenza all’utente.
Per avere un controllo completo esistono altri parametri che possono essere utilizzati per riservare dello spazio ai token di ragionamento. Sarà in tal senso regolare il parametro max_completion_tokens a un valore più alto, riservando almeno 25.000 token per quelli di ragionamento.
Le indicazioni di OpenAI sui prompt
Proprio per la nuova caratteristica di “incorporare” gli step di ragionamento OpenAi suggerisce di scrivere dei prompt semplici. Addirittura tecniche come la CoT (Chain of Thoughts) o il few-shot prompting potrebbero peggiorare la affidabilità dei risultati, questo proprio perché il modello “incorpora” già questi approcci al proprio interno.
I suggerimenti di OpenAI sono quindi:
- Mantenere le istruzioni semplici e dirette: il modello comprende e risponde ad istruzioni brevi senza che vi sia la necessità di dettagliare eccessivamente la richiesta.
- Evitare la Chain of Thoughts: come si è già detto questo tipo di ragionamento è già “incluso” nel nuovo modello. Non sarà quindi necessario fornire istruzioni del tipo “procedi passo dopo passo” perchè sono automaticamente eseguite.
- Usare i delimitatori: in verità si tratta di un consiglio che vale sempre: usare delimitatori, come virgolette triple, titoli di sezioni, linee di demarcazione, tag XML aiuta sempre a favorire una maggior comprensione dell’input che stiamo inserendo e aumenta l’efficienza del modello a fornire le risposte.
- Limitare il contesto nella RAG: Quando si inseriscono documenti o contesti aggiuntivi, viene suggerito di includere solamente le informazioni più importanti, ciò per evitare che la risposta del modello risulti eccessivamente complessa.
Il prompt della settimana
Continua il nostro esame degli acronimi di tecniche di prompting metodologie di prompting
T-A-G (Task – Action – Goal)
Questa tecnica riassume una costruzione di un prompt in cui si definisce il task da svolgere, si dichiara l’azione che il modello deve eseguire e infine si chiarisce il risultato che si vuole ottenere.
Ecco qui sotto un esempio:
| TASK | ACTION | GOAL |
| definisci il task | dichiara l’azione | chiarisci il risultato |
| Il task è quello di valutare le performance dei membri del team dello studio | valuta i punti di forza e di debolezza dei membri del team, indicando alcuni fattori da tenere in considerazione | l’obiettivo è quello di incrementare l’efficienza e le performance del team in modo che la soddisfazione dei clienti aumenti di almeno 2 punti nel prossimo quadrimestre |
Per ricevere la newsletter via email, di diverso contenuto con strumenti e tool – massimo 4 a settimana – che possono essere utilizzati e che usano l’AI per ottimizzare il lavoro iscrivetevi su https://the-sunday-prompt.ck.page/f260e8dd80
Happy Prompting! 👋🏻
