O estado da IA ​​em 2019: Avanços na aprendizagem automática, processamento de linguagem natural, jogos e gráficos de conhecimento

A inteligência artificial é uma das áreas que mais cresce atualmente. Acompanhar e avaliar o desenvolvimento da inteligência artificial exige não só uma atenção constante, mas também a capacidade de analisar e avaliar a partir de múltiplas dimensões. É exatamente isso que fazem Nathan Benaich, fundador da Air Street Capital e da RAAIS, e Ian Hogarth, investidor-anjo em IA e professor visitante do IIPP da University College London.

Também: Inteligência Artificial através da Neurociência ZDNet YouTube

Numa apresentação de 136 diapositivos intitulada "Relatório do Estado da Inteligência Artificial de 2019", divulgada a 28 de junho, Benaich e Hogarth apresentaram de forma abrangente vários aspetos da inteligência artificial: avanços tecnológicos e as suas capacidades, oferta, procura e concentração de talentos na área, grandes plataformas atuais e futuras para a inovação impulsionada pela IA, áreas de financiamento e aplicação, tópicos de política de IA e IA na China.

Benaich e Hogarth são mais do que simples capitalistas de risco: ambos têm uma vasta experiência em IA e participaram em inúmeros projetos de IA, desde investigação a startups. Além disso, basearam-se na perícia de figuras notáveis como François Chollet, investigador de IA da Google e chefe da estrutura de aprendizagem profunda Keras, Kai-Fu Lee, líder de pensamento em capital de risco e IA, e Sebastian Riedel, investigador de IA do Facebook.

Este trabalho coletivo reúne uma riqueza de expertise, experiência e conhecimento. Depois de descobrirmos e lermos o relatório, contactámos Benaich e tivemos uma sessão de perguntas e respostas aprofundada com ele. Reunimos o relatório e os insights de Benaich numa série de duas partes, primeiro explorando os avanços e as capacidades tecnológicas e, em seguida, explorando o seu impacto e as implicações políticas da IA.

Descodificando a IA

Se está interessado em IA, provavelmente este não é o primeiro relatório sobre IA que encontra. Muitos estão familiarizados com o The Data and AI Landscape (escrito por Matt Turck e Lisa Xu) da FirstMark e o The State of AI: The Divergence da MMC Ventures. As atualizações destes três relatórios foram lançadas quase ao mesmo tempo. Embora isto possa causar alguma confusão, dado que existe uma sobreposição evidente, também existem diferenças no conteúdo, na metodologia e no formato.

O relatório da FirstMark é mais completo, abrangendo participantes em todos os setores, desde a infraestrutura de dados à IA. O relatório analisa também a evolução do cenário de Big Data para o cenário de Dados e IA. Como já salientámos anteriormente, a evolução do Big Data para a IA é um processo natural. A visão da MMC Ventures é diferente, pois é mais abstrata e talvez mais adequada ao nível executivo. Os dois relatórios têm perspetivas diferentes e não se trata de tomar partido – cada relatório tem as suas próprias características únicas.

Em primeiro lugar, perguntámos a Benaich por que razão o fizeram: por que razão partilhariam conhecimento inquestionavelmente valioso, se esforçariam ao máximo para o obter e, aparentemente, gratuitamente?

Benaich disse que acreditam que a IA será um multiplicador do progresso tecnológico no nosso mundo cada vez mais digital e orientado por dados. Isto porque tudo o que nos rodeia hoje, desde a cultura aos produtos de consumo, é produto da inteligência:

Acreditamos que existe uma necessidade crescente de as pessoas compreenderem o estado atual da IA em diversos campos (investigação, indústria, talento, política e China), de forma acessível, detalhada e precisa. O nosso objetivo ao publicar o relatório é promover uma discussão mais aprofundada sobre o desenvolvimento da IA e o seu impacto no futuro.

O relatório atinge os objetivos definidos por Benaich na sua resposta. As primeiras 40 páginas do relatório são apresentadas em diapositivos, com foco no progresso da investigação em IA — os avanços tecnológicos e as suas capacidades. As áreas abordadas incluem a aprendizagem por reforço, aplicações em jogos e direções futuras, avanços no processamento de linguagem natural, aprendizagem profunda na medicina e AutoML.

Também: A IA alienígena virá visitar-nos? ZDNet YouTube

Aprendizagem por reforço, jogos e aprendizagem no mundo real

A aprendizagem por reforço é uma área da aprendizagem automática que tem recebido muita atenção por parte dos investigadores na última década. Benaich e Hogarth definem-no como "um agente de software que aprende comportamentos orientados para objetivos através da tentativa e erro num ambiente que oferece recompensas ou penalizações com base nas ações (chamadas "política") que o agente realiza para atingir os seus objetivos".

Grande parte do progresso alcançado no campo da aprendizagem por reforço está relacionado com o treino da IA para jogar jogos que atinjam ou superem o desempenho humano. StarCraft II, Quake III: Arena e Montezuma's Revenge são apenas alguns deles.

Mais importante do que o sensacionalismo de que "a IA vence os humanos", no entanto, é a forma como a aprendizagem por reforço consegue alcançar estes resultados: a aprendizagem orientada por jogos, a combinação da simulação e do mundo real e a exploração orientada pela curiosidade. Podemos treinar a IA a jogar?

Enquanto crianças, aprendemos competências e comportamentos complexos aprendendo e praticando diversas estratégias e comportamentos de formas de baixo risco (como a brincadeira). Utilizando o conceito de jogos supervisionados, os investigadores dotaram os robôs de competências de controlo que lhes permitem lidar melhor com a interferência do que quando treinados através de demonstrações supervisionadas de competências especializadas.

Na aprendizagem por reforço, os agentes aprendem tarefas por tentativa e erro. Devem encontrar um equilíbrio entre a exploração (tentar novos comportamentos) e a exploração (repetir comportamentos eficazes). No mundo real, as recompensas são difíceis de codificar explicitamente. Uma solução possível é armazenar as observações do ambiente do agente de aprendizagem por reforço na memória; e recompensá-lo quando atingir uma observação que "não existe na memória".

As ideias citadas no relatório acima parecem igualmente boas e naturais. Assim, explorar estas ideias pode ser a direção futura da inteligência artificial? Benaich salientou que os jogos são um terreno fértil para treinar, avaliar e melhorar vários algoritmos de aprendizagem, mas também levantou algumas questões:

Os dados gerados em ambientes virtuais são geralmente mais baratos e mais amplamente disponíveis, o que é muito benéfico para as experiências. Além disso, durante o desenvolvimento do modelo, a complexidade do ambiente de jogo pode ser ajustada de acordo com os objetivos experimentais.

No entanto, a maioria dos jogos não simula com precisão o mundo real e as suas ricas nuances. Isto significa que são um bom ponto de partida, mas não um fim em si mesmos.

Também: Compreender a IA na Cadeia de Abastecimento ZDNet YouTube

Processamento de Linguagem Natural e Raciocínio do Senso Comum

Como Benaich e Hogarth observam, este tem sido um grande ano para o processamento de linguagem natural (PLN): o BERT e o Transformer da Google AI, o ELMo do Allen Institute, o Transformer da OpenAI, o ULMFiT da Ruder and Howard e o MT-DNN da Microsoft demonstraram que os modelos de linguagem pré-treinados podem melhorar significativamente o desempenho numa variedade de tarefas de PLN.

A aprendizagem de recursos de alto e baixo nível através de modelos pré-treinados revolucionou a visão computacional, em grande parte graças ao ImageNet, um conjunto de dados com mais de 20.000 categorias. Uma categoria típica, como "balão" ou "morango", consiste em centenas de imagens anotadas.

Desde 2010, o projeto ImageNet realiza uma competição anual de software, o ImageNet Large Scale Visual Recognition Challenge (ILSVRC), na qual os programas de software competem para classificar e detetar corretamente objetos e cenas. O desafio utiliza uma lista "fina" de mil categorias não sobrepostas e tornou-se uma força motriz no aperfeiçoamento gradual da tecnologia de visão computacional.

ImageNet. jpg

O ImageNet é um conjunto de dados de treino em visão computacional cuidadosamente selecionados que impulsionaram o estado da arte atual. Fonte da imagem: Nvidia

No ano passado, foram alcançados avanços empíricos semelhantes no pré-treino de modelos de linguagem em grandes corpora de texto para aprender características linguísticas de alto e baixo nível. Ao contrário do ImageNet, estes modelos de linguagem são geralmente treinados em grandes quantidades de texto disponível publicamente, ou seja, não rotulado, da web.

Esta abordagem pode ser ainda mais estendida para gerar benefícios em tarefas de PLN e desbloquear muitas novas aplicações comerciais, tal como a aprendizagem por transferência do ImageNet impulsionou a utilização mais industrial da visão computacional.

Benaich e Hogarth destacam a competição GLUE, que fornece um benchmark único para avaliar o desempenho dos sistemas de PLN numa variedade de tarefas, como a lógica, a compreensão do senso comum e a semântica lexical.

Para demonstrar o ritmo do progresso no processamento de linguagem natural (PLN), acrescentam que a pontuação GLUE de última geração melhorou de 69 para 88 em 13 meses. A linha de base humana é 87. O progresso foi muito mais rápido do que o esperado, e foi lançado um novo benchmark, o SuperGLUE.

No entanto, a linguagem é especial na cognição humana. Está intimamente relacionada com o raciocínio de senso comum. O raciocínio de senso comum também progrediu. Vimos um estudo recente da Salesforce melhorar o estado da arte em 10%.

Investigadores da Universidade de Nova Iorque demonstraram que, ao treinar generativamente o conhecimento do raciocínio a partir de um conjunto de dados, os modelos neurais podem adquirir capacidades simples de senso comum e raciocinar sobre eventos nunca antes vistos. Esta abordagem amplia trabalhos como o projeto de base de conhecimento Cyc, que começou na década de 80 e é conhecido como o projeto de IA mais antigo do mundo.

Também: Tendências em Aprendizagem Automática e IA ZDNet YouTube

O caminho a seguir: combinar aprendizagem profunda e conhecimento de domínio?

Pedimos a Benaich a sua opinião sobre a combinação de aprendizagem profunda com conhecimento de domínio para PLN, dado que especialistas como David Talbot, da Yandex, veem esta como uma direção promissora. Benaich concorda que combinar a aprendizagem profunda com o conhecimento do domínio é um caminho frutífero a explorar:

“Especialmente quando o objetivo de um projeto de IA é resolver problemas do mundo real, em vez de construir um agente inteligente geral que deve aprender a resolver problemas de tabula rasa. O conhecimento de domínio pode efetivamente ajudar um sistema de aprendizagem profunda a orientar a sua compreensão de problemas codificando primitivas, em vez de forçar o modelo a aprender esses problemas do zero usando dados (potencialmente caros e escassos).”

Benaich destaca ainda a importância dos grafos de conhecimento para o raciocínio de senso comum em tarefas de processamento de linguagem natural (PLN). Cyc é um grafo de conhecimento bem conhecido, ou base de conhecimento (o termo original). No entanto, acrescenta que é improvável que o raciocínio de senso comum seja resolvido com o texto como única modalidade.

Outros destaques do relatório incluem os avanços na privacidade de dados com aprendizagem federada, o TensorFlow Privacy da Google e o TF-Encrypted da Dropout Labs, para além dos vários casos de utilização de aprendizagem profunda na área médica. Estes casos de utilização incluem alguns feitos de ficção científica, como a descodificação de ondas cerebrais e a restauração do controlo dos membros em pessoas com deficiência.

Para decifrar tudo o que está no relatório, como o AutoML, o GAN e o progresso dos deepfakes e da síntese de voz (que já prevíamos há vários anos), é necessário um estudo muito aprofundado. Uma simples leitura rápida deste relatório levaria algum tempo, mas há, de facto, muito a aprender.