Si parla di lavoro che cambia con l’Intelligenza Artificiale Generativa (GenAI), con professionisti “potenziati” da questo strumento, capaci di scrivere codici più velocemente e riassumere documenti in modo istantaneo. Ma può questa tecnologia aiutare le persone a rispondere alle crescenti e mutevoli richieste del loro lavoro? BCG Henderson Institute ha recentemente condotto un altro esperimento su 480 consulenti BCG, in collaborazione con BCG X ed Emma Wiles della Boston University, per esplorare cosa succede quando le persone utilizzano la GenAI non solo per migliorare le proprie competenze attuali, ma per affrontare compiti al di fuori delle proprie capacità.
Come raccontato nel report “GenAI Doesn’t Just Increase Productivity. It Expands Capabilities“, i consulenti hanno svolto due compiti a scelta tra tre task che simulano le attività quotidiane di un data scientist: scrivere codice Python per unire e pulire dataset, costruire un modello predittivo e validare analisi statistiche generate da ChatGPT. Questi compiti sono stati pensati come una sfida significativa per qualsiasi consulente, non potendo essere interamente automatizzati dallo strumento GenAI. Per valutare i risultati, le performance dei consulenti sono state confrontate con quelle di 44 data scientist di BCG, che hanno svolto gli stessi compiti senza l’ausilio della GenAI.
“I risultati indicano che i lavoratori che usano la GenAI sono in grado di gestire efficacemente nuovi compiti, anche quando al di fuori delle proprie competenze, se coperti dalle funzionalità dello strumento”, ha dichiarato Paola Scarpa, Managing Director e Partner di BCG X. “Questo mi ha fatto riflettere su cosa significa davvero avere una expertise oggi: un concetto che va inevitabilmente ridefinito a livello aziendale, per identificare le competenze chiave da sviluppare, al fine di attrarre e mantenere i talenti a lungo termine.”
Espansione immediata delle proprie competenze su nuove attività
Grazie all’uso della GenAI, i consulenti coinvolti nello studio hanno potuto espandere immediatamente le proprie capacità: anche in assenza di esperienze pregresse in ambito di programmazione o statistica, i consulenti con accesso alla GenAI sono riusciti a scrivere codici, applicare correttamente modelli di machine learning e correggere processi statistici errati. L’espansione più significativa è stata registrata nel campo della programmazione: i partecipanti, testati sulla loro capacità di scrivere codice in Python, hanno raggiunto un punteggio medio pari all’86% del benchmark fissato dai data scientist, con un miglioramento di 49 punti percentuali rispetto a coloro che non hanno utilizzato la GenAI. Inoltre, il gruppo supportato dalla GenAI ha completato il compito circa il 10% più velocemente rispetto ai data scientist.
Il ruolo della GenAI nel brainstorming
Nel compito di analisi predittiva, i partecipanti hanno affrontato una sfida complessa: né loro né lo strumento GenAI possedevano una competenza avanzata in questo ambito. L’analisi predittiva si è rivelata il compito in cui i consulenti aiutati dalla GenAI erano meno propensi a eguagliare le prestazioni dei data scientist, indipendentemente dalla loro esperienza in coding o statistica. Infatti, la GenAI tende a interpretare in modo errato le richieste di controllo della validità, richiedendo diversi tentativi e riformulazioni delle domande. Di conseguenza, i partecipanti con accesso alla GenAI sono risultati più inclini a commettere errori rispetto ai loro colleghi non supportati dallo strumento.
Tuttavia, la GenAI si è dimostrata utile per il brainstorming. I partecipanti hanno potuto combinare le proprie conoscenze con quelle dello strumento per scoprire nuove tecniche di modelling e identificare i passaggi corretti per risolvere i problemi. I consulenti coadiuvati dalla GenAI hanno registrato il 15% di probabilità in più di scegliere e applicare correttamente i metodi di machine learning rispetto ai colleghi che non utilizzavano l’AI.
“Fare le cose con la GenAI” non equivale a impararle
Il reskilling, ovvero l’acquisizione di nuove competenze che permettono di cambiare lavoro o settore, è stato un argomento chiave dello studio. La ricerca ha dimostrato che i lavoratori che hanno usato la GenAI sono stati, in un certo senso, “riqualificati” poiché hanno acquisito nuove capacità che né l’essere umano né la GenAI avrebbero potuto sviluppare da soli. Tuttavia, la GenAI ha agito solo come “esoscheletro”: gli esseri umani non subiscono automaticamente una maggiore formazione, poiché l’uso della GenAI non corrisponde necessariamente all’apprendimento automatico e autonomo di un compito.
Tutti i partecipanti, dopo aver completato solo due dei tre esercizi, hanno sostenuto un test finale che includeva domande su tutti e tre i livelli, al fine di valutare quanto appreso. Sorprendentemente, i partecipanti che hanno svolto il compito di coding hanno ottenuto lo stesso punteggio di quelli che non lo hanno svolto, dimostrando che la semplice esecuzione delle attività di data science non ha migliorato la loro conoscenza intrinseca. Va notato che i partecipanti non sono stati avvisati che sarebbero stati testati, ed è probabile che, con ripetizione e apprendimento intenzionale, vi sarebbe stato un progresso.
Inoltre, i consulenti con esperienza moderata in programmazione, aiutati dalla GenAI, hanno ottenuto risultati migliori del 10-20% in tutti e tre i compiti rispetto ai colleghi meno esperti, anche quando la codifica non era direttamente coinvolta. In due dei tre compiti, i consulenti con una moderata esperienza in programmazione si sono allineati completamente alle prestazioni dei data scientist, dimostrando che l’esperienza pregressa gioca un ruolo chiave nel successo delle attività svolte con l’AI.
[1] Enterprise ChatGPT con GPT-4 e la sua funzione Advanced Data Analysis.
