O modelo de inteligência artificial (IA) Amália tem melhor desempenho em português europeu face a outros modelos abertos, de acordo com o relatório técnico da equipa de investimento e desenvolvimento a que Lusa teve acesso.
“Os resultados mostram que o AMALIA-DPO [Direct
Preference Optimization] atinge o melhor desempenho entre os modelos totalmente
abertos por uma margem considerável, obtendo mesmo os melhores resultados entre
todos os modelos em lexicologia e semântica, demonstrando um domínio robusto
das competências linguísticas específicas” do português de Portugal em diversas
categorias.
O LLM [Large Language Model ou, traduzindo, grande modelo
de linguagem] português Amália tem estado em constante evolução pelo consórcio
de universidades portuguesas que lidera o seu desenvolvimento.
De acordo com o relatório técnico, em avaliação
aprofundada de português europeu, o Amália apresenta vantagens claras face a
outros modelos abertos.
Nos exames nacionais portugueses (questões de resposta
longa de português), o Amália “obtém a melhor pontuação entre todos os modelos
totalmente ‘open source’, demonstrando uma boa compreensão de enunciados
complexos e produção de texto coerente, com gramática e registo adequados”.
Neste relatório, “apresentamos um LLM que prioriza a
língua portuguesa europeia e o seu contexto cultural”, lê-se no documento, que
refere que o Amália utiliza dados do arquivo.pt e dados pós-treino preparados
especificamente para o português europeu.
O documento indica que o LLM foi treinado com estratégias
de modelação de linguagem e ajuste de instruções.
“Um desafio fundamental no desenvolvimento deste modelo
foi a falta de ‘benchmarks’ [referências] para monitorizar o progresso
do desempenho do modelo”, é apontado no relatório.
Para mitigar esta limitação, “utilizámos exames nacionais
PT-PT, criámos um ‘benchmark’ linguístico e traduzimos vários conjuntos
de dados” com um modelo de tradução automática (MT) dedicado de alta qualidade.
“A avaliação mostrou que o Amália supera todos os modelos
de código aberto anteriores no PT-PT e muitos modelos ‘open-weight’ [que
partilham os pesos (parâmetros treinados)]”, conclui o relatório técnico.
“As experiências em ‘benchmarks’ de compreensão e
inferência de linguagem mostram resultados de última geração ou comparáveis, enquanto
em ‘benchmarks’ de geração de linguagem o modelo destaca-se na qualidade
do texto gerado. As experiências de segurança mostram também que o modelo está
alinhado com o estado da arte”, lê-se no relatório.
No futuro, “iremos explorar outros métodos de
aprendizagem por reforço e desenvolveremos novas combinações de dados de treino
para melhorar as capacidades de raciocínio no PT-PT”.
Ou seja, na prática estes resultados indicam que o Amália
está a tornar-se fiável como assistente em português europeu.
O relatório é elaborado por João Magalhães (UNL) e André
Martins (IST), coordenadores, e uma equipa de cerca de 20 pessoas da
Universidade de Lisboa e Universidade Nova de Lisboa.
O modelo Amalia é desenvolvido por uma equipa composta
pela Universidade Nova de Lisboa, o Instituto Superior Técnico, a Universidade
de Coimbra, a Universidade do Porto, a Universidade do Minho e a Fundação para
a Ciência e Tecnologia.
O processo de criação do Amália começou com a recolha e
processamento de dados em português europeu em larga escala, os quais foram
filtrados com base na sua relevância e qualidade linguística. Para este efeito,
recorreu-se ao Arquivo da Web portuguesa. O modelo foi pré-treinado com estes
dados e posteriormente afinado em outros conjuntos de dados para seguir
instruções, raciocinar e resolver problemas.
Para levar a cabo o treino dos
modelos, foi utilizada infraestrutura computacional em grande escala, através
de supercomputadores nacionais (Mare Nostrum 5 e Deucalion) e europeus (através
da rede EuroHPC). In “Mundo Lusíada” – Brasil com “Lusa”
