Quando l’intelligenza artificiale va in tilt, ecco gli esseri umani

Centinaia di acquirenti in fila per isolati in attesa di acquistare rifornimenti presso un Costco a causa dell’epidemia globale di coronavirus a Garden Grove, California, Stati Uniti, 14 marzo 2020. REUTERS/Mike Blake/File Photo

OAKLAND, California, 13 ottobre (Reuters) — Utilizzato da due terzi delle 100 banche più grandi del mondo per aiutare le decisioni di prestito, il gigante del credit scoring Fair Isaac Corp (FICO.N) e il suo software di intelligenza artificiale possono scatenare il caos se qualcosa va storto.

Questa crisi si è quasi verificata all’inizio della pandemia. Come FICO ha raccontato a Reuters, gli strumenti di intelligenza artificiale dell’azienda di Bozeman, Montana, per aiutare le banche a identificare le frodi sulle carte di credito e di debito, hanno concluso che un’impennata dello shopping online significava che i truffatori erano più attivi del solito.

Il software di intelligenza artificiale ha detto alle banche di negare milioni di acquisti legittimi, in un momento in cui i consumatori erano alla ricerca di carta igienica e altri beni di prima necessità.

Secondo FICO, però, alla fine i consumatori hanno dovuto affrontare pochi dinieghi. L’azienda ha dichiarato che un gruppo globale di 20 analisti che monitorano costantemente i suoi sistemi ha raccomandato aggiustamenti temporanei che hanno evitato il blocco delle spese. Il team viene allertato automaticamente in caso di attività di acquisto insolite che potrebbero confondere l’IA, a cui si affidano 9.000 istituti finanziari per rilevare le frodi su 2 miliardi di carte.

Questi team aziendali, che fanno parte dell’emergente specializzazione delle operazioni di apprendimento automatico (MLOps), sono insoliti. In indagini separate condotte lo scorso anno, FICO e la società di consulenza McKinsey & Co hanno rilevato che la maggior parte delle organizzazioni intervistate non monitora regolarmente i programmi basati sull’IA dopo averli lanciati.

Il problema è che, secondo gli scienziati che gestiscono questi sistemi, gli errori possono abbondare quando le circostanze del mondo reale si discostano, o in gergo tecnologico «si allontanano», dagli esempi utilizzati per addestrare l’IA. Nel caso di FICO, il software si aspettava più acquisti di persona che virtuali e il rapporto invertito ha portato a una quota maggiore di transazioni segnalate come problematiche.

Variazioni stagionali, cambiamenti nella qualità dei dati o eventi epocali, come la pandemia, possono portare a una serie di previsioni sbagliate dell’intelligenza artificiale.

Immaginate un sistema che consiglia i costumi da bagno agli acquirenti estivi, senza rendersi conto che le chiusure COVID hanno reso più adatti i pantaloni della tuta. O un sistema di riconoscimento facciale che diventa difettoso perché il mascheramento è diventato popolare.

La pandemia deve essere stata un «campanello d’allarme» per chiunque non abbia monitorato attentamente i sistemi di intelligenza artificiale, perché ha indotto innumerevoli cambiamenti comportamentali, ha dichiarato Aleksander Madry, direttore del Center for Deployable Machine Learning del Massachusetts Institute of Technology.

Affrontare la deriva è un problema enorme per le organizzazioni che sfruttano l’IA. «È questo che attualmente ci impedisce di realizzare il sogno che l’IA rivoluzionerà tutto».

Ad accrescere l’urgenza per gli utenti di affrontare il problema, l’Unione Europea prevede di approvare una nuova legge sull’IA già l’anno prossimo, che richiede un certo monitoraggio. Anche la Casa Bianca, questo mese, nelle nuove linee guida sull’IA, ha chiesto un monitoraggio per garantire che «le prestazioni del sistema non scendano al di sotto di un livello accettabile nel tempo». continua a leggere

Essere lenti a notare i problemi può costare caro. Unity Software Inc (U.N), il cui software pubblicitario aiuta i videogiochi ad attirare i giocatori, a maggio ha stimato che quest’anno perderà 110 milioni di dollari in vendite, pari a circa l’8% del fatturato totale previsto, dopo che i clienti si sono ritirati quando il suo strumento di intelligenza artificiale che determina a chi mostrare gli annunci ha smesso di funzionare bene come un tempo. La colpa è stata anche del suo sistema di intelligenza artificiale che apprendeva da dati corrotti, ha dichiarato l’azienda.

Unity, con sede a San Francisco, ha rifiutato di commentare al di là delle dichiarazioni in occasione delle telefonate sugli utili. I dirigenti hanno dichiarato che Unity sta implementando strumenti di allerta e di recupero per individuare più rapidamente i problemi e hanno ammesso che l’espansione e le nuove funzionalità hanno avuto la precedenza sul monitoraggio.

Lo scorso novembre il mercato immobiliare Zillow Group Inc (ZG.O) ha annunciato una svalutazione di 304 milioni di dollari sulle case acquistate — sulla base di un algoritmo di previsione dei prezzi — per importi superiori a quelli a cui potevano essere rivendute. L’azienda di Seattle ha dichiarato che l’IA non era in grado di tenere il passo con le rapide e inedite oscillazioni del mercato e ha abbandonato l’attività di compravendita.

NUOVO MERCATO

L’IA può andare male in molti modi. Il più noto è che i dati di addestramento, distorti per motivi razziali o di altro tipo, possono dare luogo a previsioni ingiustamente distorte. Secondo i sondaggi e gli esperti del settore, molte aziende controllano i dati in anticipo per evitare che ciò accada. In confronto, poche aziende considerano il pericolo di un modello dalle buone prestazioni che poi si rompe, dicono le stesse fonti.

«È un problema urgente», ha dichiarato Sara Hooker, responsabile del laboratorio di ricerca Cohere For AI. «Come si fa ad aggiornare i modelli che diventano stantii man mano che il mondo cambia?».

Negli ultimi due anni diverse startup e giganti del cloud computing hanno iniziato a vendere software per analizzare le prestazioni, impostare allarmi e introdurre correzioni che insieme intendono aiutare i team a tenere sotto controllo l’IA. IDC, un ricercatore di mercato globale, stima che la spesa per gli strumenti per le operazioni di IA raggiungerà almeno 2 miliardi di dollari nel 2026, rispetto ai 408 milioni di dollari dello scorso anno.

L’anno scorso gli investimenti di venture capital in società di sviluppo e operazioni di IA sono saliti a quasi 13 miliardi di dollari e quest’anno ne sono stati investiti 6 miliardi, secondo i dati di PitchBook, una società di Seattle che segue i finanziamenti.

Arize AI, che ha raccolto 38 milioni di dollari dagli investitori il mese scorso, consente il monitoraggio per clienti come Uber, Chick-fil-A e Procter & Gamble. La Chief Product Officer Aparna Dhinakaran ha raccontato di aver faticato, presso un precedente datore di lavoro, a individuare rapidamente le previsioni dell’AI che si rivelavano sbagliate e che amici di altri paesi le hanno parlato dei loro ritardi.

«Il mondo di oggi non sa che c’è un problema fino a quando non c’è un impatto sull’azienda due mesi dopo», ha detto.

PUNTEGGI DI FRODE

Alcuni utenti dell’IA hanno costruito le proprie capacità di monitoraggio ed è questo che FICO ha dichiarato di aver salvato all’inizio della pandemia.

Gli allarmi sono scattati quando sono aumentati gli acquisti online, quelli che il settore chiama «carta non presente». Storicamente, molte di queste spese tendono a essere fraudolente e l’impennata ha spinto le transazioni più in alto nella scala da 1 a 999 di FICO (più è alta, più è probabile che si tratti di frode), ha dichiarato Scott Zoldi, chief analytics officer di FICO.

Zoldi ha detto che le abitudini dei consumatori stavano cambiando troppo velocemente per riscrivere il sistema di intelligenza artificiale. FICO ha quindi consigliato ai clienti statunitensi di rivedere e rifiutare solo le transazioni con punteggio superiore a 900, da 850, ha detto. Questo ha evitato ai clienti di rivedere il 67% delle transazioni legittime al di sopra della vecchia soglia e ha permesso loro di concentrarsi sui casi veramente problematici.

I clienti hanno individuato il 25% in più di frodi totali negli Stati Uniti durante i primi sei mesi della pandemia rispetto a quanto ci si sarebbe aspettato e il 60% in più nel Regno Unito, ha dichiarato Zoldi.