Drummond: por que treinamos um modelo aberto de raciocínio em português

O Drummond-1b1-Instruct é um modelo de linguagem aberto, em português do Brasil, com 1,1 bilhão de parâmetros, treinado para escrever o raciocínio antes da resposta. É um projeto de pesquisa da CORRE: pequeno, publicado com código e dados, e ainda longe do que se usaria em produção.

O que é

O repositório no GitHub o descreve como o primeiro modelo grande de linguagem com raciocínio 100% aberto do Brasil, e o modelo está no Hugging Face. No site da CORRE, ele aparece na frente de P&D, ao lado do Open CORRE, com a descrição: um modelo de IA aberto, em português, para qualquer pessoa usar e adaptar.

Como foi treinado

Fonte: repositório do GitHub e cartão do modelo no Hugging Face.

O modelo foi treinado para produzir uma cadeia de raciocínio antes da resposta final, usando os tokens especiais do formato ChatML. Um modelo base pequeno recebe um conjunto pequeno de exemplos de raciocínio em português, e a pergunta é o que muda no comportamento dele.

Por que um modelo aberto, em português

Três razões práticas tornam um modelo assim interessante para quem trabalha com impacto social:

1. Idioma. A maior parte dos modelos abertos é treinada principalmente em inglês, e o português do Brasil, com os seus gêneros textuais, pede atenção própria.
2. Auditabilidade. Com código, dados e pesos abertos, dá para ver como foi feito e o que foi usado, o que não acontece com um serviço fechado.
3. Adaptação. Um modelo pequeno e aberto pode ser ajustado para um vocabulário específico, como o de um programa ou o de uma política pública, sem pedir permissão a ninguém.

Isso é um argumento para o desenvolvimento aberto, e não uma promessa sobre o Drummond em particular.

O que os testes mostram

O repositório publica resultados na avaliação em português com o LM-Evaluation-Harness, com contexto de 2.048 tokens:

Os números são baixos. O ENEM, por exemplo, tem cinco alternativas por questão, e 20,71% de acerto está perto do que um palpite ao acaso daria. Um modelo de 1,1 bilhão de parâmetros com mil exemplos de ajuste não deve ser lido como um assistente confiável. O cartão do modelo no Hugging Face não traz números de avaliação nem uma seção de limitações. Quem for usar deve fazer os próprios testes.

O que ele não é

• Não é um modelo para produção.
• Não é um agente: não decide nem age sozinho. Nos projetos da CORRE, a IA é um bloco com função definida, como transcrever, classificar ou resumir, e a equipe revisa o que ela escreve.

Como testar

O modelo carrega com a biblioteca Transformers, usando AutoModelForCausalLM e trust_remote_code=True, e o repositório traz um exemplo de inferência e um caderno no Colab. Se você estudar, adaptar ou encontrar um problema, o repositório do GitHub é o lugar para contar. Veja também o Open CORRE, com recursos livres de tecnologia social.