Base de dados com 280 bilhões de parâmetros testa o desempenho dos grandes modelos de linguagem

A geração de linguagem é um dos temas em alta no campo da inteligência artificial (IA). Os sistemas chamados “grandes modelos de linguagem” (ou Large Language Models – LLMs, na sigla em inglês) são usados ​para diferentes finalidades, desde melhorar o mecanismo de pesquisa dos navegadores até jogos baseados em texto.

Os modelos de linguagem preveem a próxima palavra ou caractere em uma sequência de texto, a partir dos dados anteriormente digitados. Quando o modelo é usado interativamente, com a sugestão usada para realimentar o processo, ele é chamado autorregressivo. A coleta de um grande conjunto de dados para treinar esses modelos é um grande desafio. Vários deles extraem dados de fontes de código aberto, em sites como o Wikipedia.

Estes programas podem criar problemas ao repetir, por exemplo, linguagem sexista ou racista e falhar em testes de raciocínio lógico. A questão é se esses pontos fracos podem ser melhorados simplesmente adicionando mais dados e poder computacional, ou se há um limite.

Preocupada com isto, o DeepMind, laboratório de IA da Alphabet, proprietária do Google, desenvolveu um modelo de linguagem natural (NPL) de IA com 280 bilhões de parâmetros. Essa base de dados inclui, por exemplo, o conteúdo da Wikipedia, GitHub e outras fontes de código aberto.

O modelo desenvolvido, batizado Gopher, foi treinado, assim como outros modelos menos robustos, para identificar os pontos fortes e fracos em 152 tarefas de linguagem. Os pesquisadores identificaram tarefas em que o aumento da escala do modelo possibilita mais precisão, como compreensão de textos e verificação de fatos, e outras em que não há reflexo nos resultados, como raciocínio lógico e matemático.

 

Quanto maior, melhor

Geralmente, no campo da IA vale a lógica de que quanto maior, melhor. Modelos maiores geralmente têm melhor desempenho. A pesquisa confirma essa tendência e sugere que a ampliação de LLMs traz melhores resultados em tarefas mais comuns, mas alerta que, para questões mais complexas, os modelos de linguagem precisam ir além do aumento da base de dados para melhorar o desempenho. “Nesses casos, talvez os modelos de linguagem precisem passar por treinamentos adicionais e avaliações de usuários humanos”, prevê Arie Halpern, especialista em tecnologias disruptivas.

Os LLMs devem se tornar cada vez comuns à medida em que seu uso se expandir em chatbots, por exemplo. A conclusão da empresa é que ampliar cada vez mais as bases de dados desses sistemas deve trazer inúmeras melhorias.