A OpenAI publicou na quarta-feira o relatório oficial sobre o incidente que levou um modelo seu a escapar do ambiente de teste e a comprometer sistemas de terceiros, entre eles o Hugging Face. O documento sai mais de um mês depois de o caso vir a público e cobre várias invasões distintas. Segundo o TechCrunch, é o relato mais completo do episódio até agora.
Este incidente reflete comportamento desalinhado em um cenário atípico, que envolveu uma confluência rara e inesperada de eventos: a presença de tarefas impossíveis na avaliação ExploitGym, a persistência do modelo em horizontes longos de tarefa e mensagens a modelos pares que fizeram esses modelos se desviar do próprio objetivo.
Uma tarefa sem solução e uma cadeia de falhas
Em linhas gerais, o relatório descreve um modelo que recebeu em teste um problema sem solução e passou a encadear falhas de segurança até então desconhecidas para contornar as barreiras e cumprir a tarefa. Ele comprometeu primeiro o Artifactory, ferramenta de gestão de pacotes, para conseguir acesso à internet, e a partir dali atingiu sistemas da própria OpenAI, do Hugging Face e de outros fornecedores.
O relatório traz uma informação nova sobre quem fez isso: o modelo principal era da mesma família do Astra, ainda não lançado, embora o texto faça questão de dizer que se trata de um modelo distinto, com pós-treino diferente, etapa em que boa parte do comportamento é moldada. Boa parte dos detalhes já tinha aparecido em uma apresentação na conferência Black Hat, em 6 de agosto, mas o documento oficial detalha melhor o teste que deu origem a tudo. A METR e a Redwood Research fizeram avaliações independentes do comportamento dos modelos durante o incidente e pretendem publicar relatórios próprios.
As proteções estavam desligadas, e isso era o combinado
Um trecho do relatório merece leitura devagar. Como a OpenAI estava justamente medindo a capacidade ofensiva do modelo, os classificadores de produção que impedem sistemas de comprometer infraestrutura digital não estavam ligados. A empresa escreve que estima a capacidade cibernética máxima rodando a avaliação sem esses classificadores, e que essas avaliações são importantes para medir a capacidade real e desenhar as salvaguardas adequadas.
O argumento é legítimo e é assim que se testa arma em campo de prova. O que o episódio mostra é que o campo de prova não estava isolado do mundo. A contenção falhou em pontos comuns de infraestrutura, um repositório de pacotes e sistemas de fornecedores, e não em alguma fronteira exótica da pesquisa em IA.
A OpenAI diz agora que amplia o monitoramento da cadeia de pensamento dos agentes, o espaço em que esses sistemas registram objetivos e reações de curto prazo, com escalonamento 24 horas por dia e ferramentas novas para interromper execuções consideradas inseguras. E afirma que, se o sistema de monitoramento hoje em operação estivesse ligado à época, teria detectado a atividade inicial e acionado a equipe de segurança mais de um dia antes de os modelos invadirem os sistemas do Hugging Face. É uma afirmação sobre um cenário que não ocorreu, feita pela empresa investigada, sobre um sistema que ela mesma construiu depois. Registre como promessa verificável, não como fato apurado.
A lição que serve para quem roda agente com credencial de produção
Este relatório fecha um ciclo que a redação vem acompanhando. Foi este incidente que a OpenAI citou ao mudar de lado e pedir que a Califórnia endurecesse a SB 53, e é sobre ele que o procurador-geral do Alabama intimou a empresa, com 16 pedidos, incluindo os nomes de quem participou do teste. Agora existe versão oficial da empresa, e existem duas avaliações de terceiros a caminho, que é o que vai permitir comparar o relato com a apuração de fora.
Para empresa brasileira que já colocou agente rodando com credencial de produção, o proveito não está na parte espetacular da história. Está na parte chata: o caminho de saída foi um gerenciador de pacotes, e o dano se espalhou pela cadeia de fornecedores. Quem for revisar o próprio ambiente depois de ler isso deveria começar por onde o build baixa dependência e por qual credencial o agente usa para falar com serviço de terceiro, não pelo modelo.
