L’intelligenza artificiale (AI) open source, quindi liberamente disponibile per l’uso, lo studio, la modifica e la condivisione, è ormai da diverso tempo al centro dell’interesse di addetti ai lavori e semplici cittadini. Nelle ultime settimane l’attenzione sul tema è esponenzialmente aumentata, con i timori per gli ultimi aggiornamenti di DeepSeek e il moderato entusiasmo per il lancio di OpenEuroLLM, il progetto con cui l’Europa tenta di rispondere ai modelli cinesi e statunitensi. A livello italiano, Almawave ha invece recentemente presentato Velvet, una famiglia di Large Language Model sviluppata integralmente dall’azienda nel Bel Paese su architettura propria, e addestrata sul supercalcolatore Leonardo gestito da Cineca.
Sebbene l’emergere di nuovi player nel mercato rafforzi alcune complessità già esistenti, legate ad esempio alla qualità e alla protezione delle informazioni che gli stessi utilizzano, Denodo, realtà specializzata nella gestione dei dati, ha individuato alcuni vantaggi che l’attuale fermento verso l’AI open source porta con sé – e che le aziende sono chiamate a riconoscere.
Tre vantaggi dell’AI open source…
Ma quali sono, nel dettaglio, i possibili benefici dell’AI open source?
- Riduzione dei costi. Sebbene la GenAI abbia un potenziale di trasformazione enorme, i suoi costi di sviluppo e di gestione hanno, finora, frenato molte organizzazioni dall’utilizzarla. In questo scenario, qualsiasi progresso tecnico che consenta di semplificarne l’adozione e contenere le spese ad essa correlate, dovrebbe essere considerato come vantaggioso per le aziende interessate ad implementarla e, più in generale, per la società.
- Maggiore efficienza. Negli ultimi 10 anni la domanda di elettricità è cresciuta del 14% e si prevede che, sulla spinta dell’AI, nel 2026 i consumi elettrici dei Data Center saranno il doppio di quelli del 2022 (dati International Energy Agency). Il tema della sostenibilità dell’intelligenza artificiale non è insomma secondario. Rispetto a soluzioni più consolidate, DeepSeek ha un forte focus sull’efficienza ed è basato sull’architettura MoE, Mixture-of-Experts: questo consente di attivare solo un sottoinsieme dei suoi parametri durante i calcoli, contenendo di conseguenza i consumi senza compromettere la qualità delle prestazioni.
- Progresso tecnologico. Per chi ha fiducia nell’innovazione, un altro dei vantaggi della corsa all’AI open source è la democratizzazione del progresso tecnologico: per esempio, grazie all’open-sourcing del codice R1 LLM, DeepSeek ha permesso ulteriori miglioramenti al modello da parte di ingegneri ed AI scientist di tutto il mondo. Del resto, il codice sorgente del modello R1 LLM è ad oggi già disponibile presso diversi altri provider, tra cui AWS e Azure.
… e tre sfide (legate ai dati) ancora da affrontare
Nel contesto appena delineato, non mancano però le complessità – specialmente quelle legate alla gestione delle informazioni. In particolare, secondo un recente studio di Gartner, il 30% dei progetti di GenAI sarà abbandonato entro la fine del 2025 proprio a causa della scarsa qualità dei dati e di altri fattori, come controlli dei rischi inadeguati, costi crescenti o valore aziendale poco chiaro.
Quali sfide restano quindi da risolvere?
- Rendere i dati pronti per l’AI. Per molte organizzazioni, disporre di informazioni AI-ready continua a rivelarsi complesso. Tecnologie come il retrieval augmented generation (RAG) forniscono però una soluzione completa a questo problema. La maggior parte delle implementazioni RAG prevede però l’aggregazione di tutti i dati rilevanti e la loro memorizzazione in formato vettoriale di facile accesso per i LLM. Tuttavia, questa modalità è dispendiosa in termini economici e di tempo, oltre a produrre risposte aggiornate solo al momento del caricamento più recente dei dati nel database. L’approccio da seguire è invece conosciuto come “Query RAG”: i metadati, e non i dati stessi, vengono vettorializzati e l’LLM accede successivamente a questi metadati per generare query (in linguaggi come SQL) per recuperare i dati corretti dalle fonti originali. Questo garantisce risposte accurate e aggiornate in tempo reale, senza significativi overhead di replicazione e vettorizzazione dei dati.
- Bilanciare tempi di risposta e precisione. Con l’aumento delle dimensioni dei set di metadati, i modelli di ragionamento iniziano generalmente a funzionare meglio e a fornire risposte più accurate e pertinenti. Tuttavia, i tempi di generazione delle query si allungano in maniera direttamente proporzionale. Questo non è un limite intrinseco di modelli come DeepSeek R1, ma dell’applicazione dell’approccio Query RAG a qualunque modello di ragionamento. È quindi cruciale, per le aziende attratte dall’AI open source, trovare il giusto compromesso tra latenza e accuratezza per i propri casi d’uso specifici.
- Garantire sicurezza e privacy. Molte organizzazioni non nascondono le proprie perplessità verso l’utilizzo di applicazioni client DeepSeek, poiché si connettono a server gestiti dalla stessa o da altre entità cinesi: ad esempio, le agenzie governative statunitensi ne hanno vietato l’uso. Una strategia per superare questa criticità può essere quella di non utilizzare applicazioni client, ma riprodurre completamente l’R1 LLM all’interno dei propri ambienti di esecuzione protetti. In linea generale, indipendentemente dalla scelta del modello, è fondamentale assicurarsi che l’ambiente di esecuzione di un LLM soddisfi i requisiti di sicurezza e di conformità alla privacy, come del resto è necessario fare con qualsiasi tipo di software o servizio SaaS che acceda ai dati o ai metadati sensibili.
Dichiarazioni
“A prescindere dal proprio livello di maturità rispetto all’adozione dell’AI, le organizzazioni dovrebbero essere consapevoli dei nuovi scenari che le più recenti evoluzioni nel settore stanno delineando”, commenta Andrea Zinno, Data Evangelist di Denodo. “Nella nostra visione, stante l’ampissimo potenziale dell’intelligenza artificiale generativa, gli sviluppi che ne estendono e facilitano l’implementazione vanno accolti con positività”.
