Relatório sobre as tendências em inteligência artificial, aprendizagem automática e engenharia de dados

Principais Conclusões

A IA generativa, impulsionada por modelos de grande linguagem (LLMs), como o GPT-3 e o GPT-4, ganhou destaque na indústria da IA e da aprendizagem automática e está a ser amplamente adotada por tecnologias como o ChatGPT.

Grandes empresas tecnológicas, como a Google e a Meta, anunciaram os seus próprios modelos de IA generativa, demonstrando o compromisso da indústria com o avanço destas tecnologias.

As bases de dados vetoriais e o armazenamento incorporado têm recebido atenção pelo seu papel no melhoramento da observabilidade em aplicações de IA generativa.

Há uma preocupação crescente com a IA responsável e ética, com apelos a medidas de segurança mais rigorosas para modelos de grande linguagem e ênfase na melhoria da vida de todos através da IA.

A engenharia de dados moderna está a caminhar para abordagens descentralizadas e flexíveis, com conceitos como as grelhas de dados que defendem plataformas de dados federadas e particionadas entre domínios.

Os relatórios de tendências fornecem aos leitores uma visão geral de alto nível dos temas a que acreditamos que os arquitetos e líderes tecnológicos devem prestar atenção. Além disso, ajudam a equipa editorial a concentrar-se na redação de notícias e no recrutamento de redatores para cobrir tecnologias inovadoras.

Neste relatório anual, os editores exploram o estado atual da IA, ML e engenharia de dados, bem como as tendências emergentes às quais deve prestar atenção como engenheiro de software, arquiteto ou cientista de dados. Organizamos a discussão numa curva de adoção de tecnologia e fornecemos comentários complementares para o ajudar a compreender para onde as coisas estão a caminhar.

Para o podcast deste ano, a equipa editorial convidou a convidada externa Sherin Thomas, engenheira de software da Chime, para participar na discussão. A secção seguinte do artigo resume algumas destas tendências e onde as diferentes tecnologias se enquadram na curva de adoção de tecnologia.

IA Generativa

A IA Generativa, incluindo modelos de grande linguagem (LLMs) como o GPT-3, GPT-4 e ChatGPT, tornou-se uma força importante no setor da IA e da aprendizagem automática. Estas tecnologias têm recebido muita atenção, especialmente tendo em conta o progresso que fizeram no último ano. Observamos uma ampla adoção destas tecnologias pelos utilizadores, impulsionada principalmente pelo ChatGPT. Diversas empresas, como a Google e a Meta, anunciaram os seus próprios modelos de IA generativa.

Esperamos que o próximo passo seja um maior foco nos LLMOps para operar estes grandes modelos de linguagem em ambientes empresariais. Atualmente, estamos divididos sobre se a engenharia de dicas será um tópico importante no futuro ou se as suas aplicações serão tão generalizadas que todos possam contribuir com as dicas utilizadas.

Bases de Dados de Vetores e Armazenamentos de Embedding

Com o surgimento da tecnologia LLM, as bases de dados de vetores e os armazenamentos de embedding estão a ganhar cada vez mais atenção. Uma aplicação interessante que tem vindo a ganhar cada vez mais atenção é a utilização de embeddings de frases para melhorar a observabilidade das aplicações de IA generativa.

A necessidade de bases de dados de pesquisa vectorial decorre das limitações dos grandes modelos de linguagem, que possuem um histórico lexical limitado. As bases de dados de vetores podem armazenar resumos de documentos como vetores de características gerados por estes modelos de linguagem, o que pode produzir milhões ou até mais vetores de características. Utilizando bases de dados tradicionais, à medida que o conjunto de dados cresce, torna-se cada vez mais difícil encontrar documentos relevantes. As bases de dados de pesquisa vetorial permitem pesquisas por similaridade eficientes, permitindo aos utilizadores encontrar os vizinhos mais próximos de um vetor de consulta, melhorando assim o processo de pesquisa.

Uma tendência notável é o aumento do financiamento destas tecnologias, indicando o reconhecimento da sua importância por parte dos investidores. No entanto, a adoção destas tecnologias por parte dos programadores tem sido lenta, mas espera-se que acelere nos próximos anos. Bases de dados de pesquisa vetorial como Pinecone, Milvus e soluções de código aberto como Chroma estão a ganhar força. A escolha da base de dados depende do cenário de aplicação específico e da natureza dos dados pesquisados.

As bases de dados vetoriais demonstraram o seu potencial em diversos campos, incluindo a observação da Terra. Por exemplo, a NASA utiliza técnicas de aprendizagem autossupervisionada e de busca vetorial para analisar imagens de satélite da Terra e ajudar os cientistas a rastrear alterações a longo prazo em fenómenos climáticos, como os furacões.

Robótica e tecnologia de drones

O custo dos robôs está a baixar. Os robôs de equilíbrio com pernas costumavam ser difíceis de comprar, mas agora existem alguns modelos que custam cerca de 1.500 dólares. Isto permite que mais utilizadores utilizem a robótica nas suas aplicações. O Sistema Operativo de Robôs (ROS) continua a ser a principal estrutura de software neste campo, mas empresas como a VIAM também estão a desenvolver soluções de middleware para facilitar a integração e a configuração de plugins para o desenvolvimento de robôs.

Esperamos que os avanços na aprendizagem não supervisionada e nos modelos fundamentais se traduzam em características mais poderosas. Por exemplo, a integração de modelos de linguagem de grande dimensão à parte de planeamento de trajetórias de um robô permitirá o planeamento utilizando linguagem natural.

IA responsável e ética

À medida que a IA começa a afetar toda a humanidade, as pessoas estão cada vez mais interessadas na IA responsável e ética. Houve pedidos de medidas de segurança mais rigorosas em modelos de linguagem de grande dimensão e frustração com a produção destes modelos, lembrando os utilizadores das medidas de segurança existentes.

Os engenheiros ainda precisam de ter em mente a necessidade de melhorar a vida de todos, e não apenas de alguns. Esperamos que a regulamentação da IA tenha um impacto semelhante ao do Regulamento Geral sobre a Proteção de Dados (RGPD) de há alguns anos.

Já observámos algumas falhas na IA devido a dados incorretos. A descoberta, a manipulação, a linhagem, a rotulagem e as boas práticas de desenvolvimento de modelos de dados tornar-se-ão um foco. Os dados são essenciais para a interpretabilidade.

Engenharia de Dados

O estado da engenharia de dados moderna é que está a migrar para uma abordagem mais descentralizada e flexível para gerir o crescente volume de dados. Um novo conceito, a malha de dados, surgiu para fazer face aos desafios das equipas centralizadas de gestão de dados, que se tornam estrangulamentos para as operações de dados. Defende uma plataforma de dados federada entre partições de domínio que trata os dados como um produto. Isto permite que os proprietários de domínios tenham propriedade e controlo sobre os seus produtos de dados, reduzindo a dependência das equipas centrais. Embora promissora, a adoção da malha de dados pode enfrentar barreiras relacionadas com a perícia e requer ferramentas e infraestruturas avançadas para permitir as capacidades de self-service.

A observabilidade de dados tornou-se crítica na engenharia de dados, semelhante à observabilidade de sistemas na arquitetura de aplicações. A observabilidade é fundamental a todos os níveis, incluindo a observabilidade dos dados, especialmente na área da aprendizagem automática. A confiança nos dados é fundamental para o sucesso da IA, e as soluções de observabilidade de dados são essenciais para monitorizar a qualidade dos dados, o desvio do modelo e a análise exploratória de dados para garantir resultados fiáveis de aprendizagem automática. Esta mudança de paradigma na gestão de dados e a integração da observabilidade entre pipelines de dados e aprendizagem automática refletem a evolução do panorama moderno da engenharia de dados.

Atualizações na Curva Explicativa

Este relatório de tendências inclui também um gráfico atualizado que mostra as nossas previsões para o estado atual de algumas tecnologias. As categorias são baseadas no livro Crossing the Chasm, de Geoffrey Moore. Concentramo-nos nas categorias que ainda não atravessaram o abismo.

De inovadores a pioneiros, uma atualização notável é o "Assistente de Codificação de IA". Embora tenha sido lançado no ano passado e quase ninguém o esteja a utilizar, vemos cada vez mais empresas a oferecê-lo como um serviço aos seus colaboradores para os tornar mais eficientes. Não é um componente padrão de todas as tecnologias, e ainda estamos a explorar como utilizá-lo de forma mais eficaz, mas acreditamos que a sua taxa de adoção continuará a crescer.

Acreditamos que a área que está atualmente a atravessar o abismo é o Processamento de Linguagem Natural. Isto não é surpreendente, uma vez que, após o enorme sucesso do ChatGPT, muitas empresas estão a tentar incorporar recursos de IA Generativa nos seus produtos. Por isso, decidimos deixá-lo atravessar o abismo e entrar na categoria de Maioria Inicial. Ainda existe muito potencial de crescimento nesta área, e o tempo dirá mais sobre as melhores práticas e características desta tecnologia.

Existem algumas categorias a observar que não apresentaram qualquer movimento. Estas tecnologias incluem a geração de dados sintéticos, interfaces cérebro-computador e robótica. Todas estas tecnologias parecem ter ficado presas na categoria dos Inovadores. O mais promissor neste sentido é o tópico da geração de dados sintéticos, que tem recebido mais atenção recentemente com o hype da GenAI. Vemos cada vez mais empresas a falar em gerar mais dados de formação, mas não vimos aplicações suficientes a utilizar esses dados na sua pilha para os mover para a categoria de Adotantes Iniciais. A robótica está em evidência há muitos anos, mas a sua taxa de adoção é ainda demasiado baixa para garantirmos que irá mudar.

Introduzimos também algumas novas categorias no gráfico. Uma notável é a das Bases de Dados de Procura de Vetores, que é um subproduto da febre da GenAI. À medida que a nossa compreensão de como representar conceitos como vetores continua a melhorar, a necessidade de armazenamento e recuperação eficientes de vetores aumentou. Também adicionámos a IA Explicável à categoria de Inovadores. Acreditamos que a capacidade dos computadores de explicar porque tomaram uma decisão específica é essencial para a aplicação generalizada no combate a alucinações e outros perigos. No entanto, atualmente não vemos resultados de investigação suficientes no setor para o promover a uma categoria superior.

Conclusão

As áreas de inteligência artificial, aprendizagem automática e engenharia de dados estão em expansão ano após ano. Tanto as capacidades técnicas como as potenciais aplicações continuam em expansão. Para os editores, é entusiasmante estar tão perto deste progresso e estamos ansiosos por continuar a cobri-lo no próximo ano. No podcast, fizemos algumas previsões para o próximo ano, que vão desde "A inteligência artificial geral deixará de existir" a "Os agentes autónomos tornar-se-ão uma realidade".