A Anthropic anunciou em 15 de outubro que começou a dar acesso de funcionário a uma equipe da METR, organização sem fins lucrativos que avalia modelos de fronteira. São seis pessoas da METR com equipamento da empresa, lugar no escritório e acesso a ferramentas e sistemas internos em nível aproximadamente igual ao das próprias equipes de avaliação de risco da Anthropic. Fora de um conjunto restrito de categorias definidas de antemão, como dados de clientes, informação protegida por sigilo entre advogado e cliente e detalhes de arquitetura dos modelos, os funcionários da Anthropic são orientados a compartilhar informação com eles como fariam com um colega que trabalha em risco de alinhamento.
O compromisso que muda o jogo é o de publicação. A METR vai publicar sua análise sobre os níveis de risco, os incidentes e as práticas da Anthropic, e a empresa escreve que não pode vetar essa publicação. Pode exigir que trechos sejam ocultados, desde que caiam nas categorias estreitas combinadas antes, e a METR fica livre para dizer publicamente que houve ocultação e se considera a ocultação justificada, sem revelar o conteúdo ocultado. O acordo vale para um time pequeno, sob contratos com força executória, e o restante da METR fica apartado desse trabalho, incluindo pesquisadores que colaboram com a Anthropic em outros projetos.
Três camadas de acesso, e só uma chegou ao topo
A empresa descreve um desenho em três níveis. No primeiro, o avaliador faz investigações de escopo estreito, a Anthropic decide o que liberar e a publicação depende de aprovação dela. No segundo, o avaliador publica sem aprovação e vê mais informação, com a mesma possibilidade de exigência de corte e o mesmo direito de comentar os cortes. O terceiro é o arranjo da METR, com acesso de funcionário e direito de publicação equivalente ao do segundo nível. Outros nomes aparecem em estágios mais atrasados: a SecureBio está revisando o capítulo de armas químicas e biológicas do relatório de risco de agosto, depois de ter publicado uma revisão piloto do relatório anterior, e a Accenture e a Faculty trabalham numa parceria de avaliação e teste adversarial. A Anthropic diz estar em conversas iniciais com várias outras organizações, entre elas o Hugging Face.
O item do Hugging Face merece atenção, e a razão está nos critérios que a própria Anthropic lista no mesmo texto. Ela escreve que um avaliador precisa de independência, e define: não deve ter participação societária na empresa avaliada nem depender dela financeira ou operacionalmente. O Hugging Face, porém, não é mais uma organização solta no ecossistema. Em 3 de setembro, a NVIDIA anunciou o acordo de compra da plataforma por US$ 12,93 bilhões, valor que Jensen Huang escreveu dígito a dígito no anúncio, e que esta redação noticiou na época. Quem avaliaria modelos de fronteira passaria a ser, nesse caso, um ativo da empresa que vende a maior parte do silício em que esses modelos são treinados. O critério de independência da Anthropic fala de dependência em relação à empresa avaliada, não ao fornecedor de hardware, mas a pergunta sobre quem audita quem fica de pé, e o anúncio não a enfrenta.
A analogia é bancária, mas falta o banco central
A comparação é escolhida pela própria empresa: bancos conhecem o próprio risco melhor que qualquer um de fora, e por isso reguladores instalam examinadores residentes dentro das instituições maiores. A analogia descreve bem o mecanismo e esconde a diferença que importa. O examinador bancário está ali por lei, com mandato, poder de sanção e sem prazo combinado com o fiscalizado. A METR está ali por contrato, a convite, com escopo e categorias de corte negociados com quem ela audita, e o convite pode ser retirado. A Anthropic é explícita ao dizer que faz isso de forma voluntária, e que acredita que toda empresa de fronteira deveria fazer o mesmo. É um avanço real sobre não ter ninguém olhando, e não é supervisão pública.
Para o Brasil, o parágrafo relevante é o que não existe em nenhuma das três camadas: não há instituição brasileira citada, nem em conversa inicial. A lista de quem olha por dentro os modelos que chegam ao mercado brasileiro é formada por uma organização americana sem fins lucrativos, um instituto de biossegurança, duas consultorias e, talvez, uma plataforma comprada por uma fabricante de chips. Capacidade de avaliação se concentra onde existe instituição montada para isso, e o país que não tem a sua lê o relatório que os outros escreverem, quando escreverem.
