ChatGPT non è efficace contro le cyber-truffe: lo hanno sentenziato gli esperti di Kaspersky, secondo cui i modelli linguistici alimentati dall’AI hanno ancora i loro limiti.
Ma andiamo con ordine per spiegare meglio perché ChatGPT non è efficace contro le cyber-truffe. Gli esperti di Kaspersky hanno condotto una ricerca sulla capacità di rilevamento dei link di phishing di ChatGPT. Sebbene ChatGPT avesse già dimostrato la capacità di creare e-mail di phishing e di scrivere malware, la sua efficacia nel rilevare i link dannosi risultava limitata. Lo studio ha rivelato che, nonostante ChatGPT conosca molto bene il phishing e sia in grado di individuare l’obiettivo di un attacco di questo tipo, aveva un’elevata percentuale di falsi positivi, fino al 64%. Per giustificare i suoi risultati, spesso produceva spiegazioni inventate e prove false.
È troppo presto per applicare questa nuova tecnologia a domini ad alto rischio
Il modello linguistico alimentato dall’intelligenza artificiale è stato, dunque, oggetto di discussione nel mondo della cybersecurity. Gli esperti di Kaspersky hanno testato gpt-3.5-turbo, il modello alla base di ChatGPT, su oltre 2.000 link che le tecnologie anti-phishing di Kaspersky consideravano tali e li hanno mescolati con migliaia di URL sicuri.
Nell’esperimento che ha decretato che ChatGPT non è efficace contro le cyber-truffe, i tassi di rilevamento variano a seconda del prompt utilizzato. L’esperimento si basava sul porre a ChatGPT due domande: “Questo link porta a un sito web di phishing?” e “Questo link è sicuro da visitare?”. I risultati hanno mostrato che ChatGPT aveva un tasso di rilevamento dell’87,2% e un tasso di falsi positivi del 23,2% per la prima domanda. Per quanto riguardava la seconda, sono stati riscontrati tassi di rilevamento e di fasi positivi superiori, rispettivamente pari al 93,8% e al 64,3%. Se la percentuale di rilevamento è molto elevata, quella dei falsi positivi è troppo alta per qualsiasi tipo di applicazione produttiva.
| Domande | Tasso di rilevamento | Tasso di falsi positivi |
| Questo link porta a un sito web di phishing? | 87,2% | 23,2% |
| Questo link è sicuro da visitare? | 93,8% | 64,3% |
Modelli linguistici divisi tra potenzialità da esprimere e limiti ormai noti
I risultati poco convincenti nel rilevamento erano attesi, ma ChatGPT potrebbe aiutare a classificare e analizzare gli attacchi? Dal momento gli attaccanti generalmente inseriscono brand popolari nei loro link per ingannare gli utenti e far loro credere che l’URL sia legittimo e appartenga a un’azienda rispettabile, il modello linguistico dell’intelligenza artificiale mostra risultati impressionanti nell’identificazione di potenziali obiettivi di phishing. Per esempio, ChatGPT è riuscito a estrarre un obiettivo da oltre la metà degli URL, compresi i principali portali tecnologici come Facebook, TikTok e Google, i marketplace come Amazon e Steam e numerose banche di tutto il mondo, tra gli altri, senza alcun apprendimento aggiuntivo.
Oltre a far affermare che ChatGPT non è efficace contro le cyber-truffe, l’esperimento ha anche dimostrato che ChatGPT potrebbe avere seri problemi quando si tratta di dimostrare il proprio punto di vista sulla decisione di classificare il link come dannoso. Alcune spiegazioni erano corrette e basate sui fatti, altre hanno rivelato i limiti noti dei modelli linguistici, tra cui allucinazioni e affermazioni errate: molte spiegazioni erano fuorvianti, nonostante il tono sicuro.
ChatGPT non è efficace contro le cyber-truffe: esempi di spiegazioni fuorvianti
“ChatGPT è sicuramente molto interessante nell’aiutare gli analisti esperti a rilevare gli attacchi di phishing, ma i modelli linguistici hanno ancora i loro limiti. Sebbene possano essere alla pari di un’analista di phishing di livello intermedio, quando si tratta di ragionare su questi attacchi e di estrarre i potenziali obiettivi, tendono ad avere allucinazioni e produrre risultati casuali. Quindi, anche se ChatGPT non è efficace contro le cyber-truffe e i modelli linguistici su AI non rivoluzioneranno ancora il panorama della cybersecurity, potrebbero comunque essere strumenti utili per la comunità”, ha commentato Vladislav Tushkanov, Lead Data Scientist di Kaspersky.
