A alemã Aleph Alpha publicou em 3 de outubro, data da reunificação alemã, o Kolibri: um modelo de mistura de especialistas com 78 bilhões de parâmetros totais e cerca de 3 bilhões ativos por token, janela de contexto de até 1 milhão de tokens e pesos completos no Hugging Face sob licença Apache 2.0. O alvo declarado é trabalho crítico em área regulada, com administração pública, indústria e aeroespacial citadas pelo nome, e o argumento de venda é soberania: a empresa diz ter construído o modelo na Alemanha, treinado em infraestrutura na Alemanha e na Finlândia, sob lei europeia e alemã, com controle de toda a cadeia, da curadoria de dados até a avaliação final. O treino rodou em 768 GPUs B200, em três etapas que somam perto de 24 trilhões de tokens, sendo 20 trilhões na etapa principal, concluída em 21 dias.
A parte mais instrutiva do relato não é a arquitetura, é a contabilidade do dado. A equipe calculou, em modelos pequenos de teste, que o ponto ótimo ficava perto de 20% de alemão, o que exigia cerca de 4 trilhões de tokens no idioma para um treino de 20 trilhões. As bases públicas em alemão, depois de deduplicação e filtragem, entregaram 390 bilhões de tokens, menos de um décimo do necessário. O buraco foi fechado de três formas. A primeira foi curar alemão do Common Crawl com um pipeline próprio, o que rendeu 1,3 trilhão de tokens de web orgânica em alemão. A segunda foi reescrever documentos alemães que a empresa já tinha, pedindo a um modelo que os reapresentasse como verbete de enciclopédia, diálogo de perguntas e respostas ou passagem de texto, preservando o conteúdo: rendeu cerca de 1 trilhão de tokens e virou a maior fonte isolada de alemão do modelo. A terceira foi tradução, usada apenas no modelo anterior da casa. No fim, o alemão entrou como um acervo único de 2,4 trilhões de tokens, 80% dele curado ou gerado pela própria empresa, e o modelo o viu em 21,3% dos tokens de pré-treino, cerca de 4,3 trilhões por repetição controlada, com cada token visto 1,8 vez em média.
Por que traduzir o inglês não resolve, segundo quem tentou
O texto apresenta dois achados práticos que valem mais que qualquer tabela. O primeiro é sobre filtro: um filtro comum em pipeline de dados remove documentos com palavras longas demais, e a prosa administrativa alemã passa rotineiramente do limite calibrado para o inglês, de modo que a configuração padrão apagava silenciosamente justamente o registro em que a administração pública escreve. Foi preciso recalibrar os parâmetros de filtragem para o idioma antes de conseguir dado utilizável, e só então o pipeline devolveu 1,3 trilhão de tokens. O segundo é sobre tradução. Além do que a empresa chama de tradução literal de expressões idiomáticas, o problema maior é que contexto cultural não atravessa: um corpus traduzido do inglês herda a distribuição geográfica, demográfica e institucional da web em inglês, e o modelo treinado nele fala o idioma local sobre um mundo que parece americano. A reescrita, pelo contrário, parte de documento que já é alemão, então o assunto e a afinidade cultural permanecem: chanceler, e não presidente.
Um corpus traduzido do inglês herda a distribuição geográfica, demográfica e institucional da web em inglês.
Há também um ganho que aparece na conta de quem paga pelo uso. A Aleph Alpha treinou um tokenizador bilíngue de 128 mil entradas sobre o próprio conjunto de dados e mede, na sua comparação, 4,90 bytes por token em web alemã, contra 4,35 do tokenizador do GPT-5, 4,13 do Gemini, 3,72 do DeepSeek V4 e 3,28 do Kimi K3. Mais texto por token significa menos token por tarefa, ou seja, resposta mais curta de faturar e mais rápida de gerar. Convém dizer o que esses números são: medição da própria fabricante, com arcabouço de avaliação da própria casa, inclusive na tabela de benchmarks que compara o Kolibri a modelos maiores. Até haver medição independente, é alegação do fornecedor, não resultado verificado.
A lição que serve para o português do Brasil
O Kolibri não fala português: é um modelo inglês e alemão, e nada do que ele pontua se transfere para cá. O que se transfere é o roteiro do problema, e ele descreve a situação brasileira com precisão incômoda. Quem quiser treinar um modelo que realmente funcione em português do Brasil vai encontrar a mesma escassez de acervo aberto e vai ser tentado pelo mesmo atalho da tradução em massa do inglês, que é barato e produz um modelo que conjuga certo e erra o país: fala de presidente onde a vida acontece na prefeitura, e desconhece o vocabulário de quem escreve edital, parecer e despacho. Os dois achados técnicos têm tradução direta: um filtro calibrado em inglês tende a descartar a prosa oficial brasileira, que também é longa e empilhada, e um tokenizador treinado sem português cobra mais token pelo mesmo texto, o que vira custo em toda chamada de API feita do Brasil. A Aleph Alpha gastou 768 GPUs e meses de pipeline para concluir que capacidade em um idioma vem de texto orgânico naquele idioma, e publicou o caminho sob Apache 2.0. Para qualquer iniciativa brasileira de modelo soberano, essa conta já está feita e é de graça.
