The Sunday Prompt #24 – 3/12/2023
📰 Lo confesso: sono stato troppo preso da quello che è successo in queste due settimane (che sono sembrate 10 anni) per poter scrivere qualcosa. La vicenda di Sam Altman (Games of GPT) ha tenuto banco. Molti l’hanno paragonata alla cacciata di Steve Jobs da Apple, ma evidentemente visti i tempi eccezionali con cui Altman è rientrato a capo di OpenAI quest’ultimo aveva qualche cartuccia in più da sparare. 🎯
🚀 Sicuramente il suo rientro segna la definitiva “commercializzazione” di OpenAI, che già sta annunciando importanti novità per questo mese e conferma il sempre maggior “oligopolio” che si sta creando nel settore della AI.
🤔 Detto questo il fatto che sia rientrato in sella non toglie che il nostro Altman abbia i suoi grattacapi. Nella settimana in cui il nostro Garante per la protezione dei dati personali ha annunciato un’indagine sulle attività di scraping sui siti internet (volta a verificare che i proprietari dei siti abbiano posto in essere le necessarie precauzioni per salvaguardare i dati personali da questa attività), un gruppo di ricercatori, provenienti principalmente da Google e varie università, ha pubblicato un paper che fa impallidire gli appassionati di thriller tecnologici. 🕵️♂️
🔍 Il paper, che si può trovare qui https://not-just-memorization.github.io/extracting-training-data-from-chatgpt.html
svela come con un investimento di circa 200 dollari (meno del costo di un buon smartphone), si possano estrarre diversi megabyte di dati dall’addestramento di ChatGPT. I ricercatori stanno già pensando in grande: immaginano di poter estrarre fino a un gigabyte di dati, dimostrando che anche le intelligenze artificiali possono avere dei segreti ben custoditi. 💡
🧐 L’attacco messo in atto dai ricercatori è di una semplicità disarmante: hanno indotto ChatGPT a ripetere ossessivamente la parola “poesia”, come un moderno mantra digitale. Questa tecnica ha provocato una sorta di “lapsus elettronico”, portando il modello a svelare dati reali come indirizzi email e numeri di telefono. In alcuni casi, più del 5% dell’output era una copia carbone del suo set di dati di addestramento.
⚠️ Gli autori del paper non perdono l’occasione per lanciare un monito: è cruciale testare i modelli di intelligenza artificiale, sia nella loro forma base che nelle versioni più sofisticate. Sottolineano che le patch agli exploit possono essere efficaci, ma a volte rappresentano soluzioni temporanee che non risolvono i problemi alla radice.
🤖 L’aspetto forse più inquietante è che, nonostante l’uso diffuso di ChatGPT, nessuno sembrava essersi accorto di questa tendenza del modello a rivelare i propri segreti fino a questo studio. Questo solleva interrogativi non solo sulla sicurezza di ChatGPT, ma anche sulla difficoltà di distinguere tra sistemi realmente sicuri e quelli che solo sembrano tali.
💡 La ricerca solleva preoccupazioni significative sulla sicurezza e la privacy dei modelli di intelligenza artificiale e suggerisce che potrebbero essere necessari sforzi maggiori per garantire che i sistemi di apprendimento automatico siano veramente sicuri.
🚀 Fine-Tuning dei Modelli Linguistici: Il Tocco Magico nell’IA
Per rimanere sul tema dei LLM e delle tecniche di loro utilizziamo vediamo insieme l’affascinante mondo del fine-tuning. Con l’uso crescente di questi giganti digitali in vari settori, il fine-tuning è diventato un argomento 🔥 bollente.
Tecniche di adattamento LLM a confronto
Per sfruttare al massimo i potenti strumenti che sono gli LLM è essenziale adattarli alle nostre esigenze specifiche. Molti non sanno che sono oramai definite alcune tecniche semplici ma efficaci:
1. Prompt Engineering: Progettare prompt di input specifici che guidino il modello verso soluzioni pertinenti al compito specifico. È come parlare la lingua dell’IA! 🗣️
2. Apprendimento few shots o zero shots: Queste tecniche si basano sulle conoscenze pre-addestrate del modello, un po’ come dire “Impara sul campo!” Il segreto consiste nell’inserire nel prompt alcuni esempi di risposta in modo da contestualizzare meglio la domanda e istruire il modello sulla tipologia di risposta che ci aspettiamo 🧠
3. Chain-of-Thought (CoT): Un approccio dettagliato che invita il modello a “pensare ad alta voce”. Ne abbiamo parlato in dettaglio in un numero precedente.
4. Retrieval-Augmented Generation (RAG): Questa architettura combina la potenza degli LLM con la flessibilità di aggiornare dati personalizzati.
5. Fine-tuning: Qui si entra nel vivo, con un addestramento supplementare su un set di dati specifico, per allineare meglio il modello ai requisiti del compito. Un vero e proprio allenamento su misura! 💪
Quando il fine-tuning è la chiave
Nonostante la semplicità di alcune tecniche, in alcuni casi il fine-tuning è l’unica strada percorribile, soprattutto quando si tratta di:
- Conoscenza del dominio altamente specializzata: come in campo medico, legale o tecnico.
- Vocabolario o gergo personalizzato: nel mondo della scienza e delle tecnologie di nicchia. 📚
- Stili o formati unici: per documenti legali, accademici o stili letterari particolari. 📜✍️
- Coerenza con i dati legacy: per allinearsi a dati storici o sistemi esistenti. 📊🗂️
- Settori altamente regolamentati: come quelli finanziario, sanitario o legale, dove la precisione è tutto. 🏦💉⚖️
- Dati sensibili o riservati: per mantenere la sicurezza in scenari delicati. 🔒
- Logica decisionale o per la risoluzione dei problemi personalizzata: specialmente in ambito tecnico o scientifico. 💡🧮
In questi scenari, il fine-tuning brilla per la sua capacità di calibrare il modello in modo preciso, affrontando sfide specifiche che altri metodi non possono gestire.
👋🏻 Happy Prompting!
