Nell’articolo che condividiamo di seguito, Walter Sun, Senior Vice President e Head of AI di SAP analizza il nuovo panorama dell’Intelligenza Artificiale (AI), dominato oggi dall’AI agentica e cerca di spiegare come le aziende possono affrontare sfide e rischi in modo responsabile.
Buona lettura!
Dall’AI assistiva all’AI agentica: rischi, responsabilità e la strada da percorrere
Il panorama dell’AI sta evolvendo a una velocità esponenziale. In precedenza, i sistemi di AI erano principalmente assistivi e reattivi, offrendo consigli o eseguendo task predefiniti quando richiesto. Ora stiamo entrando nell’era dell’AI agentica: sistemi che operano autonomamente, si adattano in tempo reale e collaborano come se fossero dei colleghi digitali.
Ma man mano che l’AI diventa più indipendente, emergono nuovi rischi. Quindi, come possiamo affrontare questa prossima frontiera in modo responsabile? Questa è una domanda che in SAP non lasciamo al caso.
Dagli strumenti ai colleghi del team
Immaginate di comprare un’auto. Ci si aspetta che soddisfi tutti gli standard di sicurezza, indipendentemente da dove vengono prodotte le componenti o come viene assemblata. Il processo dietro le quinte non cambia la vostra aspettativa di sicurezza. Lo stesso vale per l’AI agentica.
I sistemi di AI agentica sono più che strumenti; sono agenti intelligenti che pianificano, imparano dall’esperienza, si autoregolano e collaborano. Sono in grado di orchestrare processi complessi, prendere decisioni e persino interagire con altri agenti o esseri umani per raggiungere un obiettivo. Tuttavia, con questo balzo in avanti arriva un nuovo livello di complessità e rischio.
Funzionalità e rischi principali dell’AI agentica
I sistemi di AI agentica offrono potenti funzionalità come la pianificazione, la riflessione e la collaborazione, che permettono di affrontare task complessi in modo autonomo. Possono mappare le strategie, imparare dagli errori, utilizzare strumenti esterni e coordinarsi con le persone e altri agenti.
Tuttavia, ogni punto di forza comporta dei rischi. Ad esempio, una pianificazione difettosa può causare inefficienze, la riflessione può rafforzare comportamenti non etici, l’utilizzo di strumenti può portare a instabilità quando i sistemi interagiscono in modo imprevedibile, e una collaborazione non chiara può causare incomprensioni. Bilanciare queste capacità con adeguate misure di sicurezza è essenziale per un’implementazione sicura ed etica.
Gestire l’autonomia: bilanciare libertà e controllo
Una delle sfide più urgenti con l’AI agentica è la gestione della sua autonomia. Lasciati incontrollati, questi sistemi possono deviare dalla rotta, interpretare male il contesto o introdurre rischi sottili senza un rilevamento immediato. Per affrontare questo problema, le organizzazioni devono trovare un attento equilibrio tra libertà e controllo.
Abbiamo imparato che la supervisione dovrebbe essere calibrata in base al rischio. I settori con un alto intervento “umano”, come l’assistenza sanitaria o la gestione HR, richiedono una solida supervisione da parte delle persone, mentre i compiti di routine a basso rischio possono tollerare una maggiore autonomia. Inoltre, il monitoraggio continuo è essenziale; i sistemi di AI agentica, come qualsiasi tecnologia complessa, richiedono controlli regolari per garantire qualità, conformità e affidabilità.
Un elemento chiave di questa supervisione è il mantenimento di un approccio “human in the loop”, in cui il giudizio umano è integrato in punti decisionali critici, garantendo che le azioni automatizzate rimangano allineate ai valori delle persone e agli scopi dell’organizzazione.
Questo principio è stato al centro dell’approccio etico di SAP all’AI fin dall’inizio, rispecchiando la nostra convinzione che l’AI dovrebbe aumentare, non sostituire, il processo decisionale umano. A tal fine, SAP ha introdotto revisioni etiche obbligatorie per tutti i casi di utilizzo dell’AI agentica, assicurandosi che ogni implementazione sia analizzata per rilevare eventuali implicazioni etiche e rimanga allineata ai nostri principi di AI responsabile.
Rafforzare la trasparenza e la responsabilità
La trasparenza non è solo una parola d’ordine; è un requisito fondamentale per creare fiducia nell’AI agentica. Fin dall’inizio, durante la fase di progettazione, è fondamentale classificare i sistemi AI in base alla complessità e al rischio dei compiti che svolgono. Questa classificazione guida le decisioni sulle garanzie necessarie e garantisce che i meccanismi di intervento umano siano integrati fin dall’inizio.
In fase di esecuzione, la trasparenza viene mantenuta attraverso la spiegabilità e la tracciabilità. Gli sviluppatori e gli utenti finali devono essere in grado di capire cosa sta facendo il sistema e perché. Fondamentalmente, la responsabilità deve sempre essere affidata alle persone o alle entità legali, mai all’AI stessa.
Ripensare la governance e la regolamentazione
L’emergere dell’AI agentica non è stata accompagnata dallo sviluppo di nuove normative specifiche. Le leggi e i framework esistenti come il GDPR continuano ad applicarsi e forniscono una solida base per la governance. Tuttavia, ciò che è cambiato è il livello di rigore tecnico necessario per rimanere conformi ed eticamente corretti. Le organizzazioni ora devono adottare processi più solidi. Devono analizzare i casi di utilizzo con maggiore precisione, applicare controlli basati sul rischio che corrispondano al potenziale impatto dell’AI e garantire che gli standard etici e legali siano rispettati attraverso pratiche di progettazione migliorate e test continui.
Progettare con i valori umani al centro
L’AI agentica non può essere una scusa per abbassare gli standard. In SAP, la posizione è inequivocabile: anche nei sistemi autonomi, l’AI deve soddisfare i più alti benchmark etici. Ciò significa incorporare principi come equità, trasparenza e intervento umano direttamente nel design.
In definitiva, tutti gli utenti dovrebbero essere dotati degli strumenti e della comprensione di cui hanno bisogno per supervisionare e, quando necessario, intervenire nel comportamento del sistema AI.
Costruire la fiducia in un mondo di scatole nere
La fiducia nell’AI non avviene per impostazione predefinita; deve essere costruita intenzionalmente e continuamente rinforzata. Uno dei modi più efficaci per farlo è fornire alle parti interessate la giusta quantità di informazioni. Troppi dettagli possono essere controproducenti mentre troppo poco potrebbe favorire la fiducia cieca o la paura dell’ignoto. La chiave sta nel comunicare chiaramente le capacità, i rischi, le limitazioni e l’uso appropriato del sistema. Consentire agli utenti di valutare criticamente il comportamento dell’AI e sapere quando intervenire è fondamentale per creare un ambiente AI sicuro, protetto e affidabile.
Ripensare i KPI nell’ambiente di lavoro potenziato dall’AI
Mentre i sistemi agentici, come i nostri Agenti Joule, iniziano a gestire più compiti, i ruoli delle persone si evolveranno naturalmente. Per stare al passo con questo cambiamento, le organizzazioni devono ripensare il modo in cui definiscono e misurano il successo. Questo inizia investendo nella gestione del cambiamento e nei programmi di aggiornamento delle competenze che preparano i dipendenti a lavorare efficacemente insieme all’AI. Richiede inoltre di ridefinire le metriche di produttività, andando oltre il completamento dei task per concentrarsi sul livello di collaborazione tra esseri umani e agenti AI. Il successo dovrebbe essere misurato in base all’efficienza con cui i team sfruttano l’AI per sbloccare nuovi livelli di insight e innovazione.
Costruire un’AI che crea fiducia
L’AI agentica non rappresenta solo un’altra fase, è una trasformazione. Ma come qualsiasi tecnologia trasformativa, il successo dipende da come viene costruito, governato e utilizzato.
L’AI agentica amplifica le capacità umane, accelera l’innovazione e aiuta ad affrontare sfide una volta considerate troppo complesse. Ma richiede anche un nuovo livello di diligenza, supervisione e riflessione etica.
Il futuro non riguarda solo la creazione di agenti più intelligenti, ma anche la costruzione di agenti responsabili.
di Walter Sun, senior vice president e head of AI, SAP
