Lo stato dell'intelligenza artificiale nel 2019: innovazioni nell'apprendimento automatico, nell'elaborazione del linguaggio naturale, nei giochi e nei grafici della conoscenza

L'intelligenza artificiale è uno dei settori in più rapida crescita oggi. Monitorare e valutare lo sviluppo dell'intelligenza artificiale richiede non solo un'attenzione costante, ma anche la capacità di analizzare e valutare da più dimensioni. Questo è esattamente ciò che fanno Nathan Benaich, fondatore di Air Street Capital e RAAIS, e Ian Hogarth, un angel investor in intelligenza artificiale e professore ospite presso l'IIPP dell'University College di Londra.

Anche: Intelligenza artificiale attraverso le neuroscienze ZDNet YouTube

In una presentazione di 136 slide intitolata "Rapporto sullo stato dell'intelligenza artificiale 2019", pubblicata il 28 giugno, Benaich e Hogarth hanno introdotto in modo esaustivo vari aspetti dell'intelligenza artificiale: le innovazioni tecnologiche e le loro potenzialità, l'offerta, la domanda e la concentrazione dei talenti nel settore, le grandi piattaforme attuali e future per l'innovazione basata sull'intelligenza artificiale, i finanziamenti e le aree di applicazione, i temi politici dell'intelligenza artificiale e l'intelligenza artificiale in Cina.

Benaich e Hogarth sono molto più che semplici venture capitalist: entrambi vantano una vasta esperienza nell'intelligenza artificiale e hanno partecipato a numerosi progetti di intelligenza artificiale, dalla ricerca alle startup. Inoltre, si sono avvalsi dell'esperienza di figure di spicco come François Chollet, ricercatore di Google sull'intelligenza artificiale e responsabile del framework di deep learning Keras, Kai-Fu Lee, leader di pensiero nel settore del capitale di rischio e dell'intelligenza artificiale, e Sebastian Riedel, ricercatore di Facebook sull'intelligenza artificiale.

Questo lavoro collettivo riunisce un patrimonio di competenze, esperienze e conoscenze. Dopo aver scoperto e letto il rapporto, abbiamo contattato Benaich e abbiamo avuto un'intervista approfondita con lui. Abbiamo condensato il rapporto e le intuizioni di Benaich in una serie in due parti, esplorando prima le innovazioni e le capacità tecnologiche, e poi il loro impatto e le implicazioni politiche dell'intelligenza artificiale.

Decodificare l'intelligenza artificiale

Se siete interessati all'intelligenza artificiale, questo probabilmente non è il primo rapporto sull'intelligenza artificiale che leggete. Molti conoscono "The Data and AI Landscape" di FirstMark (scritto da Matt Turck e Lisa Xu) e "The State of AI: The Divergence" di MMC Ventures. Gli aggiornamenti di questi tre rapporti sono stati pubblicati più o meno contemporaneamente. Sebbene ciò possa creare confusione a causa delle evidenti sovrapposizioni, esistono anche differenze di contenuto, metodologia e formato.

Il report di FirstMark è più approfondito e copre tutti gli aspetti, dall'infrastruttura dati all'intelligenza artificiale. Il report analizza anche l'evoluzione dal panorama dei Big Data a quello dei dati e dell'intelligenza artificiale. Come abbiamo sottolineato in precedenza, l'evoluzione dai Big Data all'intelligenza artificiale è un processo naturale. La visione di MMC Ventures è diversa perché più astratta e forse più adatta al livello dirigenziale. I due report presentano prospettive diverse e non mirano a schierarsi: ognuno ha le sue caratteristiche uniche.

Innanzitutto, abbiamo chiesto a Benaich perché lo facessero: perché condividere conoscenze indubbiamente preziose, impegnarsi al massimo e apparentemente gratuitamente?

Benaich ha affermato di credere che l'intelligenza artificiale sarà un moltiplicatore del progresso tecnologico nel nostro mondo sempre più digitale e basato sui dati. Questo perché tutto ciò che ci circonda oggi, dalla cultura ai prodotti di consumo, è un prodotto dell'intelligenza:

Riteniamo che vi sia una crescente necessità di comprendere lo stato attuale dell'IA in diversi campi (ricerca, industria, talenti, politica e Cina) in modo accessibile, dettagliato e accurato. Il nostro obiettivo con la pubblicazione del rapporto è promuovere una discussione più approfondita sullo sviluppo dell'IA e sul suo impatto sul futuro.

Il rapporto raggiunge gli obiettivi stabiliti da Benaich nella sua risposta. Le prime 40 pagine del rapporto sono presentate sotto forma di slide, incentrate sui progressi della ricerca sull'IA: innovazioni tecnologiche e relative potenzialità. Le aree trattate includono l'apprendimento per rinforzo, le applicazioni di gioco e le direzioni future, le innovazioni nell'elaborazione del linguaggio naturale, il deep learning in medicina e l'AutoML.

Inoltre: L'IA aliena verrà a trovarci? ZDNet YouTube

Apprendimento per rinforzo, giochi e apprendimento nel mondo reale

L'apprendimento per rinforzo è un'area del machine learning che ha ricevuto molta attenzione da parte dei ricercatori negli ultimi dieci anni. Benaich e Hogarth lo definiscono come "un agente software che apprende comportamenti orientati a un obiettivo attraverso tentativi ed errori in un ambiente che fornisce ricompense o penalità in base alle azioni (chiamate "politiche") intraprese dall'agente per raggiungere i propri obiettivi".

Gran parte dei progressi compiuti nel campo dell'apprendimento per rinforzo è stata correlata all'addestramento dell'IA a giocare a videogiochi per raggiungere o superare le prestazioni umane. StarCraft II, Quake III: Arena e Montezuma's Revenge sono solo alcuni di questi.

Più importante del sensazionalismo "l'IA batte gli umani", tuttavia, è il modo in cui l'apprendimento per rinforzo è in grado di raggiungere questi risultati: l'apprendimento guidato dal gioco, la combinazione di simulazione e mondo reale e l'esplorazione guidata dalla curiosità. Possiamo addestrare l'IA giocando?

Da bambini, apprendiamo abilità e comportamenti complessi imparando e praticando varie strategie e comportamenti in modi a basso rischio (come il gioco). Utilizzando il concetto di gioco supervisionato, i ricercatori hanno fornito ai robot capacità di controllo che consentono loro di affrontare le interferenze meglio di quando vengono addestrati tramite dimostrazioni supervisionate da esperti.

Nell'apprendimento per rinforzo, gli agenti apprendono i compiti per tentativi ed errori. Devono trovare un equilibrio tra esplorazione (provare nuovi comportamenti) e sfruttamento (ripetere comportamenti efficaci). Nel mondo reale, le ricompense sono difficili da codificare esplicitamente. Una possibile soluzione è quella di memorizzare le osservazioni dell'agente di apprendimento per rinforzo sul suo ambiente e premiarlo quando raggiunge un'osservazione che "non esiste in memoria".

Le idee citate nel rapporto sopra sembrano altrettanto valide e naturali. Quindi, sfruttare queste idee può rappresentare la direzione futura dell'intelligenza artificiale? Benaich ha sottolineato che i giochi sono un terreno fertile per l'addestramento, la valutazione e il miglioramento di vari algoritmi di apprendimento, ma ha anche sollevato alcune domande:

I dati generati in ambienti virtuali sono solitamente più economici e più ampiamente disponibili, il che è molto vantaggioso per gli esperimenti. Inoltre, durante lo sviluppo del modello, la complessità dell'ambiente di gioco può essere adattata in base agli obiettivi sperimentali.

Tuttavia, la maggior parte dei giochi non simula accuratamente il mondo reale e le sue ricche sfumature. Ciò significa che rappresentano un buon punto di partenza, ma non un fine in sé.

Inoltre: Comprendere l'IA nella catena di fornitura ZDNet YouTube

Elaborazione del linguaggio naturale e ragionamento di buon senso

Come sottolineano Benaich e Hogarth, questo è stato un anno importante per l'elaborazione del linguaggio naturale (NLP): BERT e Transformer di Google AI, ELMo dell'Allen Institute, Transformer di OpenAI, ULMFiT di Ruder e Howard e MT-DNN di Microsoft hanno dimostrato che i modelli linguistici pre-addestrati possono migliorare significativamente le prestazioni in una varietà di attività di NLP.

L'apprendimento di funzionalità sia di alto che di basso livello attraverso modelli pre-addestrati ha rivoluzionato la visione artificiale, in gran parte grazie a ImageNet, un dataset di oltre 20.000 categorie. Una categoria tipica, come "palloncino" o "fragola", è composta da centinaia di immagini annotate.

Dal 2010, il progetto ImageNet organizza una competizione software annuale, l'ImageNet Large Scale Visual Recognition Challenge (ILSVRC), in cui i programmi software competono per classificare e rilevare correttamente oggetti e scene. La sfida si basa su un elenco "sottile" di un migliaio di categorie non sovrapposte ed è diventata una forza trainante nel graduale miglioramento della tecnologia di visione artificiale.

ImageNet.jpg

ImageNet è un insieme di set di dati di addestramento per la visione artificiale accuratamente selezionati che ha guidato l'attuale stato dell'arte. Fonte immagine: Nvidia

L'anno scorso, simili progressi empirici sono stati raggiunti nel pre-addestramento di modelli linguistici su grandi corpora di testo per apprendere le caratteristiche del linguaggio di alto e basso livello. A differenza di ImageNet, questi modelli linguistici vengono solitamente addestrati su grandi quantità di testo pubblicamente disponibile, ovvero non etichettato, proveniente dal web.

Questo approccio può essere ulteriormente esteso per generare vantaggi nelle attività di NLP e sbloccare molte nuove applicazioni commerciali, proprio come il transfer learning di ImageNet ha favorito un maggior numero di utilizzi industriali della visione artificiale.

Benaich e Hogarth evidenziano la competizione GLUE, che fornisce un benchmark unico per valutare le prestazioni dei sistemi di NLP in una vasta gamma di attività come logica, comprensione del senso comune e semantica lessicale.

Per dimostrare il ritmo dei progressi nell'elaborazione del linguaggio naturale (NLP), aggiungono che il punteggio GLUE all'avanguardia è migliorato da 69 a 88 in 13 mesi. Il valore di base per l'uomo è 87. Il progresso è stato molto più rapido del previsto ed è stato lanciato un nuovo benchmark, SuperGLUE.

Tuttavia, il linguaggio è una caratteristica peculiare della cognizione umana. È strettamente correlato al ragionamento di buon senso. Anche il ragionamento di buon senso ha fatto progressi. Abbiamo visto un recente studio di Salesforce migliorare lo stato dell'arte del 10%.

I ricercatori della New York University hanno dimostrato che, addestrando in modo generativo sulla conoscenza del ragionamento a partire da un set di dati, i modelli neurali possono acquisire semplici capacità di buon senso e ragionare su eventi precedentemente inosservati. Questo approccio estende lavori come il progetto di knowledge base Cyc, iniziato negli anni '80 e noto come il progetto di intelligenza artificiale più longevo al mondo.

Anche: Tendenze nell'apprendimento automatico e nell'intelligenza artificiale ZDNet YouTube

La via da seguire: combinare deep learning e conoscenza di dominio?

Abbiamo chiesto a Benaich un parere sulla combinazione di deep learning con la conoscenza di dominio per l'elaborazione del linguaggio naturale (NLP), poiché esperti come David Talbot di Yandex la considerano una direzione promettente. Benaich concorda sul fatto che combinare deep learning con la conoscenza di dominio sia un percorso fruttuoso da esplorare:

"Soprattutto quando l'obiettivo di un progetto di intelligenza artificiale è risolvere problemi del mondo reale, piuttosto che costruire un agente intelligente generale che dovrebbe imparare a risolvere problemi di tabula rasa. La conoscenza di dominio può aiutare efficacemente un sistema di deep learning a guidare la comprensione dei problemi codificando primitive, piuttosto che costringere il modello ad apprendere questi problemi da zero utilizzando dati (potenzialmente costosi e scarsi)".

Benaich sottolinea anche l'importanza dei grafi di conoscenza per il ragionamento di buon senso nelle attività di elaborazione del linguaggio naturale (NLP). Cyc è un noto grafo di conoscenza, o base di conoscenza (il termine originale). Tuttavia, aggiunge che è improbabile che il ragionamento di buon senso possa essere risolto utilizzando il testo come unica modalità.

Altri punti salienti del rapporto includono i progressi nella privacy dei dati con l'apprendimento federato, TensorFlow Privacy di Google e TF-Encrypted di Dropout Labs, e i numerosi casi d'uso del deep learning in campo medico. Questi casi d'uso includono alcune imprese fantascientifiche, come la decodifica delle onde cerebrali e il ripristino del controllo degli arti nelle persone disabili.

Per decifrare tutti i contenuti del rapporto, come AutoML, GAN, i progressi dei deepfake e della sintesi vocale (che avevamo previsto diversi anni fa) richiedono uno studio molto approfondito. Anche solo sfogliare questo rapporto richiederebbe un po' di tempo, ma c'è davvero molto da imparare.