The Sunday Prompt #29 – 3/03/2024
E’ possibile capire se un testo è stato generato con ChatGPT e modelli analoghi?
La domanda è sempre più attuale visto anche che da più parti si alzano gli allarmi sui possibili usi dell’AI generativa per la creazione di fake news o considerate le problematiche di copyright che stanno emergendo (oltre alle espresse previsioni dell’AI Act in merito alla trasparenza).
D’altra parte, i modelli generativi non hanno una comprensione di ciò che scrivono, ma limitandosi a prevedere la probabilità che appaia una parola successiva in una determinata frase possono effettivamente creare testi ripetitivi e riconoscibili.
In alcuni casi, però, tali testi non solo sono poco originali, ma contengono anche delle inesattezze così da far annunciare a Stack Overflow di introdurre il divieto di utilizzare risposta generate tramite LLM
Ma come faranno i redattori del sito a capire quali sono i contenuti “artificiali” e quelli “originali”?
I tool di rilevamento
Esistono diversi tool che sono stati realizzati per individuare un testo scritto dalla GenAI.
Questi tool esaminano la fluidità del testo, la frequenza con cui compaiono delle parole, l’esistenza di schemi nella punteggiatura o nella lunghezza delle frasi.
Alcuni parole tendono infatti a comparire in un maggior numero di volte all’interno di un testo generato dalla AI, questo perchè gli LLM prevedendo la parola successiva tendono a utilizzare nella generazione parole comuni (come “il”, “esso”, “è”) piuttosto che termini più rari.
Pur se non sono al 100% efficaci (soprattutto su testi non lunghi come email o conversazioni in chatbot) questo un elenco dei tool che possono essere utilizzati.
GPZero
E stato creato per aiutare gli insegnanti a identificare i contenuti generati da ChatGPT, GPT4, Bard, LLaMa e altri modelli AI.
AI Copyleaks
https://copyleaks.com/ai-content-detector
Secondo Copyleaks, il rilevatore è in grado di individuare il testo generato dall’intelligenza artificiale con una precisione del 99,1%.
Ai Classifier
https://openai.com/blog/new-ai-classifier-for-indicating-ai-written-text
Creato da OpenAi in realtà ha una capacità limitata di riconoscimento.
Undetectable AI
Un tool dei tool, dato che consente di scegliere quale utilizzare per rilevare se il testo è originale o meno.
I segnali che un testo è generato con l’AI
In realtà è possibile comprendere quando un testo è generato dall’intelligenza artificiale facendo attenzione ad alcuni indicatori che emergono dalla lettura:
- Nessuna sorpresa: i testi scritti da essere umani normalmente contengono differenti stili, toni, espressioni per coinvolgere il lettore. l’AI text invece è sempre molto coerente e prevedibile.
- Genericità delle informazioni: il testo artificiale non contiene approfondimenti, statistiche, fatti, o espressioni riferite a vicende a supporto di argomentazioni. Si tratta, se non si utilizzano i prompt giusti, spesso di informazioni generiche ed in alcuni casi ripetitive che richiedono vari passaggi per essere approfondite.
- Scrittura impeccabile: nessun errore di battitura o grammaticale fa ingresso nei testi artificiali. Un errore di battitura in un testo è quindi un ottimo indicatore che è stato scritto da un essere umano
Il problema dovrebbe essere superato con i cd. watermarks su cui stanno lavorando varie società (ed anche OpenAI), ma anche questa soluzione non potrebbe essere sufficiente dato che comunque è sempre possibile utilizzare modelli che non applicano questo tipo di tecnologia.
Molto probabilmente ci dovremo allenare ad individuare i segnali presenti nelle frasi scritte dall’intelligenza artificiale.
Sono stati realizzati degli strumenti come il GLTR (Giant Language Model Test Room) che dovrebbe supportarci evidenziando i passaggi di un testo che potrebbero essere artificiali.Nel frattempo, in attesa che tali strumenti migliorino, è possibile allenarsi con un gioco “Real or Fake Text” per mettersi alla prova e aumentare la capacità di riconoscere i fake text!
Se avete suggerimenti, consigli o volete integrare con qualche informazione particolare vi invito a lasciare un commento
👋🏻 Happy Prompting!!
