Nell’articolo che condividiamo di seguito, Marco Zacchello, Global Principal – Global Solution Architecture EMEA Equinix, mostra come un’infrastruttura edge interconnessa consente di ottimizzare la distribuzione e l’aggregazione dei dati, favorendo un approccio ibrido e distribuito all’Intelligenza Artificiale (AI).
Buona lettura!
Latency Tax: come l’elaborazione centralizzata ostacola l’AI
La velocità e la prossimità di elaborazione dei dati al punto in cui vengono generati e utilizzati stanno diventando sempre più cruciali. L’avvento di nuovi casi d’uso dell’AI, come i veicoli a guida autonoma, il monitoraggio continuo della salute e le analisi delle frodi in tempo reale, insieme alle crescenti preoccupazioni su privacy e sovranità, amplifica ulteriormente l’importanza di prossimità e velocità.
Ciò fa sì che un numero crescente di aziende riconosca il valore delle soluzioni edge all’interno della propria architettura IT.
I limiti dei modelli centralizzati
Oggi, le aziende che puntano su modelli centralizzati, come il cloud o i data center on-premise, si stanno scontrando con i limiti di questi approcci nel gestire i carichi di inferenza AI sensibili alla latenza.
Nel cloud, il controllo sui dati è limitato, con conseguenti difficoltà di conformità e costi crescenti dovuti al trasferimento delle informazioni dentro e fuori dalle piattaforme. I data center proprietari invece, pur offrendo un maggiore controllo, non eliminano il problema: la latenza resta elevata, la rete può risultare congestionata e la loro scalabilità non è sempre in grado di reggere il ritmo di crescita del volume dei dati.
In entrambi i casi, la distanza che i dati devono percorrere tra il punto di generazione e quello di elaborazione rappresenta un ostacolo, con impatti significativi su tempi, prestazioni e costi complessivi, tanto da assorbire una parte rilevante dei budget destinati all’AI.
La soluzione migliore è quindi adottare un approccio distribuito all’AI, in cui alcune fasi chiave del flusso di lavoro, come l’inferenza dell’AI, il fine-tuning e alcune attività di addestramento specifiche, vengono gestite nell’edge, mentre altre, come l’addestramento dei Large Language Models (LLM), si svolgono in data center centralizzati. Questo approccio richiede lo sfruttamento di un’infrastruttura ibrida interconnessa che integri hub digitali all’edge.
Perché la latenza è importante per l’AI
La latenza rappresenta uno degli aspetti più critici per le applicazioni di AI, poiché determina la velocità con cui i dati vengono acquisiti, elaborati e trasformati in azioni o decisioni. In pratica, essa dipende dal tempo necessario per trasferire i dati dall’oggetto che li genera al nodo di inferenza, dal tempo che quest’ultimo impiega per processarli con il modello addestrato e, infine, dal tempo di risposta verso il dispositivo o il sistema che deve agire.
La bassa latenza è particolarmente rilevante per l’inferenza perché può influire negativamente sulla user experience, sui costi aziendali e persino sulla vita e sulla sicurezza delle persone.
Basti pensare ai veicoli a guida autonoma che devono reagire istantaneamente a un ostacolo imprevisto; ai sistemi di ambulanze connesse che utilizzano nodi edge per elaborare i parametri vitali in tempo reale durante il trasporto; alle aziende energetiche e di servizi pubblici che devono reagire rapidamente ai cambiamenti meteorologici; e ai casi di automazione industriale in cui i modelli AI all’edge analizzano istantaneamente i dati dei sensori e delle telecamere per individuare difetti o anomalie. In tutti questi casi, le organizzazioni non possono permettersi la latenza che comporta l’elaborazione centralizzata o basata sul cloud.
L’inferenza dell’AI deve essere gestita nell’edge
A differenza dell’addestramento dell’AI, che non è particolarmente sensibile alla latenza, l’inferenza deve avvenire in prossimità dei dati. Distribuendo nodi di inferenza nelle diverse sedi operative, le aziende possono infatti implementare modelli specializzati, come i Domain Specific Language Model (DSLM), che essendo capaci di operare su set di dati più ristretti, possono essere addestrati più rapidamente.
Inoltre, l’AI all’edge riduce i costi di banda e migliora la privacy, trasmettendo solo i risultati essenziali. In ambito medico questi modelli possono supportare la diagnosi attraverso l’analisi di immagini; negli aeroporti, abilitano analisi in tempo reale per la sicurezza; mentre nell’automazione industriale, possono eliminare i ritardi dell’elaborazione e garantire che le decisioni vengano prese in tempo reale.
Un’infrastruttura edge interconnessa
Nuove tecnologie di rete, come il Remote Direct Memory Access (RDMA), stanno emergendo come elementi rivoluzionari poiché permettono lo scambio diretto di dati tra le memorie di sistemi diversi senza passare per la CPU, riducendo drasticamente la latenza e migliorando la produttività complessiva. Inoltre, se combinata con l’edge computing, questa tecnologia consente di ottimizzare la distribuzione e l’aggregazione dei dati, favorendo un approccio ibrido e distribuito all’AI.
Nell’era dell’intelligenza basata sui dati, l’edge computing è pertanto un must, specie per il successo dell’AI, che dipende in ultima analisi dalla collaborazione tra addestramento centralizzato e inferenza locale. Per raggiungere questo obiettivo serve un’infrastruttura edge interconnessa, nelle sedi giuste, vicino alle fonti dei dati e agli utenti finali e connessa a cloud, provider di servizi SaaS e ad altri partner all’interno del proprio ecosistema AI.
L’edge connette persone, dati e dispositivi in modi che il cloud non potrebbe mai eguagliare. Colmando il divario tra sistemi centralizzati e potenza di elaborazione più vicina al luogo in cui i dati vengono generati si permette alle aziende di essere leader in un panorama aziendale in rapida evoluzione. Le soluzioni edge di oggi saranno i motori del valore di domani.
di Marco Zacchello, Global Principal – Global Solution Architecture EMEA Equinix
