The Sunday Prompt #33 – 5/05/2024
Benvenuti a questo nuovo numero della newsletter “The Sunday Prompt”. Oggi vorrei parlarvi di un tema molto attuale e interessante: i vantaggi dell’installazione in locale di modelli di intelligenza artificiale generativa (GenAI) e di grandi modelli linguistici (LLM).
Negli ultimi anni abbiamo assistito ad una vera e propria rivoluzione nel campo dell’intelligenza artificiale, con lo sviluppo di modelli sempre più avanzati e potenti in grado di generare testi, immagini, audio e video in modo sorprendentemente realistico e creativo.
Tuttavia, l’accesso a queste tecnologie avviene solitamente tramite API messe a disposizione dalle aziende che hanno addestrato i modelli, come OpenAI, Anthropic, Google, Meta, ecc. Ciò implica inviare i propri dati a server remoti gestiti da queste aziende, con tutto ciò che ne consegue in termini di privacy, sicurezza, costi, disponibilità del servizio.
Installare i modelli di GenAI e LLM direttamentesul proprio computer (o server) presenta notevoli vantaggi. Vediamone alcuni:
Privacy e confidenzialità dei dati
Processando i dati in locale, si ha la garanzia che questi non vengano condivisi con terze parti.
Sicurezza e controllo
Mantenere il sistema sul proprio dispositivo consente anche di avere il pieno controllo dell’ambiente di esecuzione dei modelli, del codice, delle politiche di utilizzo. Si possono effettuare tutte le personalizzazioni necessarie per adattarli alle proprie esigenze specifiche.
Disponibilità e resilienza
Facendo girare i modelli di AI sui propri sistemi, si evita di dipendere dalla disponibilità e continuità dei servizi forniti da operatori esterni. Problemi come interruzioni, malfunzionamenti, modifiche dei termini di servizio o addirittura cessazione dell’attività da parte del provider (si pensi al recente caso della chiusura di Stability AI) non impattano sul proprio business.
Prestazioni e tempi di risposta
Uno dei vantaggi più evidenti dell’elaborazione in locale è l’eliminazione della latenza di rete. Invece di inviare richieste e attendere risposte da server remoti, si hanno tempi di elaborazione molto più rapidi, quasi in tempo reale.
Costi e modello di business
Utilizzare API di AI generativa ha costi variabili in base all’utilizzo, di solito tariffati in base al numero di token/caratteri o di immagini elaborati, oppure tramite il modello “abbonamento”
Con modelli in locale, invece, a patto di avere un PC o un Mac abbastanza potenti, il costo diventa un investimento iniziale che poi viene ammortizzato nel tempo. All’aumentare dell’utilizzo, il costo marginale è praticamente nullo. Non si pagano fee ricorrenti a fornitori esterni.
Personalizzazione e addestramento specifico
I grandi modelli linguistici disponibili come API sono addestrati su enormi quantità di dati generici per fornire capacità di base applicabili a molti domini. Tuttavia, le prestazioni e l’accuratezza aumentano notevolmente se il modello viene poi specializzato su un dominio specifico (es. medico, legale, finanziario) utilizzando tecniche di transfer learning e fine-tuning.
Avendo i modelli in locale, si possono addestrare su dati e casi d’uso particolari, insegnandogli la terminologia, le convenzioni, le conoscenze specifiche del proprio settore, azienda o progetto. Ciò consente di ottenere output molto più pertinenti, accurati e in linea con le proprie esigenze rispetto a quelli di un modello generico.
Inoltre, si possono integrare nell’addestramento regole, vincoli e filtri specifici per allineare il comportamento del modello con le proprie policy aziendali, i valori etici, i requisiti legali e di compliance.
Integrazione con sistemi e workflow esistenti
Un altro grande vantaggio di avere modelli di AI on-premise è la possibilità di integrarli con le proprie applicazioni, database, repository documentali, sistemi gestionali e flussi di lavoro già in uso..
Sperimentazione e innovazione continua
Infine, avere un’infrastruttura di AI generativa installata in locale consente di creare un vero e proprio laboratorio di ricerca e innovazione.
Come installare in locale i modelli
Innanzitutto è bene precisare che per utilizzarli in locale è necessario avere un computer abbastanza potente.
Ad esempio LLMStudio pone i seguenti requisiti:
- Apple Silicon Mac (M1/M2/M3) with macOS 13.6 or newer
- Windows / Linux PC with a processor that supports AVX2 (typically newer PCs)
- 16GB+ of RAM is recommended. For PCs, 6GB+ of VRAM is recommended
- NVIDIA/AMD GPUs supported
Inoltre esistono alcune soluzioni che semplificano il processo:
LLMStudio
Consente di installare i modelli open-source più diffusi (LLama3, Mistral e Phi, e tanti altri) scaricandoli anche da HuggingFace.
Molto comodo perchè ha anche l’interfaccia grafica. Ricordate che per usare un modello in chat è necessario scaricare quelli “instruct”
LLama C++
https://github.com/ggerganov/llama.cpp
Moltissimi modelli scaricabili. Non c’è un’interfaccia grafica ma bisogna procedere da riga di comando.
Ollama
Anche Ollama ha moltissimi modelli disponibili (compreso gemma di Google). Anche in questo caso per interagire con il modello bisogna usare la riga di comando, quindi è bene leggere la documentazione
GPT4all
Grande varietà di modelli ed interfaccia grafica per poter interagire. Uno dei tool più diffusi per utilizzare in locale la GenAI.
Se volete provare a testare in locale le possibilità della GenAI queste sono ottime soluzioni (e oltretutto sono gratis).
Provatele e fatemi sapere che ne pensate.
👋🏻 Happy prompting!
