Le regole del gioco prima della partita: la governance come spazio di libertà nei progetti di AI

Nel 2023 l'AI generativa è diventata accessibile a chiunque e ha iniziato a modificare le abitudini quotidiane prima ancora dei processi aziendali. Il passaggio successivo, quello dell'integrazione nei processi, procede però con tempi e modalità differenti. Una delle ragioni è che i sistemi probabilistici introducono un margine di incertezza che molte organizzazioni faticano ancora a ricondurre ai propri modelli di controllo.

In questa conversazione, Marta Cavalleri, Manager dell'Artificial Intelligence Center of Excellence di Fastweb, ci racconta il suo punto di vista.

Per anni abbiamo parlato di automazione, oggi di sistemi autonomi e agenti AI. Qual è il polso della situazione, in questo momento?

Da un punto di vista di evoluzione tecnologica si sono fatti salti veramente importanti, come avanzamento, distribuzione, capacità e performance dei modelli stessi. Le cose procedono alla velocità della luce. Quello che è avvenuto nel 2023, però, è un cambiamento anche sociale: l’AI generativa è diventata user friendly, a portata di tutti e utilizzata quotidianamente. Tra il diventare un cambiamento sociale ed entrare nei processi aziendali c'è però un altro step importante, ed è quello che le aziende stanno facendo adesso.

Che cosa rende quello step così impegnativo?

Ci sono ancora molte organizzazioni che non si sentono pronte ad adottare pienamente soluzioni di Artificial Intelligence. Una delle ragioni è che si tratta di sistemi probabilistici: la possibilità di errore, per quanto contenuta, rappresenta un elemento di complessità che molte aziende faticano a integrare nei propri modelli di controllo.

Per questo si tende spesso a preferire soluzioni standardizzate, già consolidate e ampiamente testate. L'AI, invece, richiede quasi sempre un lavoro progettuale costruito attorno a uno specifico contesto, perché interviene direttamente sui processi aziendali.

In un'automazione tradizionale è possibile definire con precisione input, passaggi e risultati attesi. In un sistema agentico basato sull'AI entra invece in gioco una componente probabilistica che rende necessario osservare e verificare il percorso seguito dal sistema, non soltanto l'output finale.

Tutti riconoscono che si tratta di una trasformazione inevitabile e che le opportunità sono significative. Allo stesso tempo, molte organizzazioni stanno procedendo con cautela, alla ricerca di modelli di governance, strumenti e riferimenti che consentano di affrontare il cambiamento con maggiore sicurezza.

Guardando avanti, quale capacità dell'AI oggi non immaginiamo pienamente? E che rischio comporta questa prudenza?

Probabilmente il fatto che prima o poi un po' tutti i sistemi, e adesso solo alcuni molto specializzati, avranno una certa memoria nel tempo. Io interagirò con l'AI, condividerò anche le mie informazioni personali, e l’AI si ricorderà quello che ho condiviso. Sarà un impatto abbastanza forte anche sul singolo, quasi più che sull'azienda.

Per le aziende, invece, il rischio di andare troppo piano è di perdere efficienza: ci sono attività che iniziano a essere abbastanza semplici da implementare a livello tecnologico e che portano tanta efficienza nel rapporto con i clienti. Il rischio di non salire a bordo di un'innovazione è di rimanere indietro e poi di non sapersi adeguare ai tempi. Adesso, se parli di qualcosa di due anni fa, è vecchio.

Molte aziende dichiarano di voler mantenere l'essere umano "nel loop". Cosa significa in concreto?

Non bisogna aspettarsi che lo human sia ovunque, perché l'AI ha una capacità tecnologica e di scala non raggiungibile da un essere umano. Sulla scala non possiamo competere, non possiamo neanche pensare di mettere l’umano a supervisionare tutto, e non dovrebbe essere così: l'operatore umano non deve approvare ogni decisione dell'AI, non avrebbe alcun senso e non coglieremmo correttamente le opportunità e il valore che l’AI può portare in azienda. Il punto è capire quando inserirlo, per esempio quando la confidenza scende sotto un certo livello e quando il contesto diventa ad alto impatto sugli utenti finali del sistema. In questi casi l'umano interviene per gestire le eccezioni e mantenere il controllo del processo.

Il vero rischio? Abbassare la guardia

Il paradosso è che, proprio quando un sistema funziona bene, l'essere umano tende progressivamente ad abbassare il livello di vigilanza.

Se l'operatore umano incaricato della supervisione verifica che gli output dell'AI risultano corretti nel 90% dei casi, con il tempo tende inevitabilmente a fidarsi del sistema e a ridurre il livello di attenzione. Non è pigrizia: è un meccanismo naturale.

Il rischio maggiore è quindi proprio l'abbassamento della soglia di vigilanza sulla parte che dovremmo continuare a presidiare noi esseri umani. Per questo il tema della responsabilità di chi governa e supervisiona uno strumento di intelligenza artificiale non deve essere sottovalutato.

Per quanto riguarda invece la porzione lasciata all'autonomia del sistema, i rischi possono essere mitigati rendendo il processo il più trasparente possibile. Non basta fornire una risposta: occorre progettare sistemi che consentano di verificare quali fonti sono state utilizzate e come il modello è arrivato a una determinata conclusione.

La governance viene spesso percepita come un vincolo. Può diventare invece un fattore di accelerazione?

Il framework di governance dovrebbe accompagnare l'intero ciclo di vita di un progetto di AI. Se viene introdotto solo alla fine, come una checklist da completare prima della messa in produzione, finisce spesso per rallentare il processo, perché costringe a rivedere requisiti e controlli quando molte scelte sono già state fatte.

Se invece viene integrato fin dall'inizio, diventa un fattore di accelerazione. Conoscere le regole del gioco — in termini di data policy, qualità del dato, responsabilità e sicurezza — significa sapere entro quali confini ci si può muovere. Una volta stabilito il campo, si può innovare con molta più libertà.

La governance, quindi, non limita l'innovazione: crea le condizioni perché possa crescere e scalare in modo responsabile, affidabile e sostenibile nel tempo

Con gli agenti la domanda non riguarda più soltanto il funzionamento del modello. Come cambia la misurazione?

Con il machine learning tradizionale era relativamente semplice misurare le performance: si confrontavano gli output con il risultato atteso e si poteva stimare con buona precisione il livello di accuratezza del sistema.

Con l'AI generativa e, ancora di più, con i sistemi agentici, il tema si complica. Non stiamo più valutando una singola risposta, ma una sequenza di azioni e decisioni che si influenzano a vicenda. Per questo la misurazione non può fermarsi all'output finale: bisogna capire come il sistema ci è arrivato.

È qui che entrano in gioco tracciabilità e governance. Quando parliamo di "ragionamento" dell'agente, in realtà dovremmo concentrarci sul percorso che ha seguito: quali informazioni ha utilizzato, quali passaggi ha compiuto e quali decisioni ha preso lungo il processo. Più che un ragionamento nel senso umano del termine, è un flusso operativo che deve poter essere osservato, verificato e ricostruito.

Se questo percorso è tracciabile, possiamo valutarne la correttezza e mantenere il controllo del sistema. Se non lo è, rischiamo di perdere visibilità su uno strumento che, proprio per la sua autonomia, può avere un impatto crescente sui processi aziendali.

Quali caratteristiche dovrebbe avere un partner tecnologico per essere un punto di riferimento nel governo di sistemi AI e agentici?

Un partner tecnologico dovrebbe innanzitutto avere esperienza diretta dei progetti e delle difficoltà che inevitabilmente emergono quando si passa dalla sperimentazione all'adozione su larga scala. Oggi sviluppare una soluzione basata sull'AI può richiedere tempi relativamente brevi; la vera complessità risiede in tutto ciò che le ruota attorno: dati, governance, integrazione nei processi, monitoraggio e gestione del cambiamento.

Per questo non basta conoscere la tecnologia. Serve la capacità di aiutare le organizzazioni a individuare criticità, valutare alternative e prendere decisioni consapevoli lungo tutto il percorso.

Inoltre, è fondamentale una visione end-to-end. Un progetto di AI non può essere considerato in modo isolato: bisogna comprenderne l'impatto sul processo complessivo in cui si inserisce. Solo così è possibile creare soluzioni che generino valore in modo stabile e scalabile, anziché limitarsi a risolvere un singolo problema.

Un solo elemento indispensabile perché l'AI guadagni fiducia?

La trasparenza. Un sistema di AI deve essere comprensibile: bisogna poter capire quali informazioni ha utilizzato e come è arrivato a una determinata conclusione. Non è semplice, ma è una condizione fondamentale per costruire fiducia.

Accanto alla trasparenza c'è poi il tema della responsabilità. Si parla molto di human in the loop, un'espressione ormai quasi inflazionata, che però richiama un principio essenziale: deve sempre esserci qualcuno che si assume la responsabilità del sistema e delle sue decisioni. Questa responsabilità non riguarda solo chi lo utilizza, ma anche chi lo sviluppa, lo mantiene e ne garantisce l'operatività nel tempo.

Le soluzioni di AI, infatti, non sono strumenti che si possono implementare e dimenticare: richiedono manutenzione, aggiornamenti e supervisione continua. Qualcuno ci deve mettere la testa... e la propria parte di responsabilità.

Oltre il modello: processi, responsabilità e governance

Dalla conversazione con Marta Cavalleri emerge uno spostamento di prospettiva: non basta più chiedersi come funziona un modello, ma come si comporta un sistema nel tempo all'interno di processi che restano di responsabilità umana.

È un cambiamento che coinvolge la misurazione delle performance, la tracciabilità delle decisioni, la definizione delle soglie che richiedono un intervento umano e le competenze necessarie per governare questi sistemi.

Restano aperti due fronti. Il primo riguarda il metodo: procedere in modo incrementale, costruendo passo dopo passo, anziché affidarsi a un approccio "big bang" che rischia di richiedere continue correzioni. Il secondo riguarda i costi e la capacità di portare i progetti in produzione su larga scala.

Portare l'AI dentro i processi aziendali richiede tempo, investimenti e capacità di governo. E il tema centrale emerso dall'intervista è forse proprio questo: il successo dell'AI dipende sempre meno dalle capacità dei modelli e sempre più dalle scelte di chi progetta, supervisiona e gestisce i processi in cui quei modelli operano.

15 settembre 2026