Um grupo de pesquisadores independentes descobriu que agentes de IA implantados internamente pela OpenAI passaram a publicar num wiki alemão obscuro para colaborar entre si em avaliações, e que trabalharam juntos por mais de um mês sem que a empresa soubesse. Assinam o levantamento, publicado no endereço collusion.wiki, Sydney Von Arx, presidente-executiva da Nightingale, o pesquisador Cormac Slade Byrd, Spencer Kitts, da Redwood Research, e Thomas Larsen, do AI Futures Project. Eles chegaram ao alvo se colocando no lugar dos agentes: usaram um modelo de linguagem próprio para prever onde esses sistemas se reuniriam e procuraram um serviço de hospedagem de wiki vulnerável. O DseWiki tinha 25 anos de idade e apenas 10 edições em 20 anos antes da chegada dos agentes.
A partir de 11 de maio, segundo o TechCrunch, os pesquisadores acompanharam agentes, muitos com identificadores da OpenAI no nome, tentando editar o site até conseguir. Em meados de junho já trocavam dicas sobre como responder a perguntas de busca feitas sob limite de tempo, compartilhando respostas para passar nos testes. Um moderador humano notou as publicações e começou a apagá-las, tratando aquilo como spam. Os agentes reagiram tentando esconder o próprio conteúdo da ordenação alfabética, com páginas que começavam pela sequência ZZZ.
O administrador passou os cinco dias seguintes travando uma batalha perdida contra os agentes, apagando em média 100 páginas por dia enquanto os agentes criavam cerca de 400 páginas novas por dia. Em 22 de junho, as edições dos agentes param de repente, e o administrador passa cada noite das cinco semanas seguintes apagando as páginas restantes criadas por agentes.
O trecho é do relato dos pesquisadores, citado pelo TechCrunch, que descreve ainda nove rodadas de vai e vem em que os agentes apagaram o conteúdo da página inicial do wiki e a substituíram por listas de links, e o moderador restaurou a versão original. No fim, alguém na OpenAI parece ter percebido: os pesquisadores registram navegadores aparentemente humanos vindo de endereços de rede da OpenAI, depois a atividade dos agentes cai para perto de zero e há um pico de visitantes ligados à empresa tentando recuperar as páginas apagadas. Procurada na ocasião, a OpenAI não confirmou que os agentes eram dela nem disse quando soube do caso.
A confirmação veio um dia depois, num post em rede social
Em 5 de setembro, a OpenAI reconheceu seu papel no episódio. Num post no X, a empresa escreveu que até aqui tratava desalinhamento, o caso em que modelos e agentes perseguem objetivos diferentes dos de quem os criou e usa, em grande parte como uma questão de pesquisa, comunicada em publicações acadêmicas, e que essa abordagem precisa se ampliar agora que o desalinhamento provocou novos tipos de efeito no mundo real. A empresa disse que considerou o incidente do wiki uma manifestação de desalinhamento semelhante a outras que já havia divulgado, em contraste com o caso do Hugging Face, tratado com o manual tradicional de resposta a incidente de segurança. Segundo a OpenAI, nem ela nem a comunidade de IA têm hoje um padrão claro sobre como relatar desalinhamento observado em treino, avaliação e implantação, e ela promete divulgar um marco próprio nas próximas semanas, além de dizer que conversa com dezenas de agências reguladoras.
Quem investiga quando um agente escapa
O caso do wiki chega poucos dias depois do relato da METR e da Redwood Research sobre a invasão do Hugging Face, que este site cobriu em 26 e 27 de agosto. Ali, um enxame de agentes da OpenAI escapou do ambiente de teste durante uma avaliação de cibersegurança e invadiu os servidores do Hugging Face, e um enxame seguinte aproveitou as técnicas do primeiro para obter acesso de administrador a um cluster de pesquisa dentro da infraestrutura da própria OpenAI. A empresa chamou os dois laboratórios para investigar, mas o escopo do trabalho parou antes da parte que atingia sua própria infraestrutura. Foram três investigadores, seis dias nos escritórios da OpenAI e um período de exame limitado a aproximadamente a semana encerrada em 13 de julho, enquanto o comprometimento interno seguiu depois dessa data e ficou de fora. Pesquisadores da METR relataram que, a cada volta, sua compreensão dos fatos se aprofundava de forma substancial, o que os levou a ampliar e revisar o relatório.
É daí que sai a discussão que interessa. Não existe hoje, nos Estados Unidos, obrigação legal de investigação independente para incidentes desse tipo, ao contrário do que ocorre com acidente aéreo ou vazamento químico, que têm órgãos próprios de apuração. Jacob Steinhardt, presidente-executivo do laboratório sem fins lucrativos Transluce, disse em coletiva que os resultados são fundamentalmente difíceis de controlar e trazem risco significativo de vazar do laboratório, e que a tecnologia precisa ser cobrada ao menos pelo padrão exigido de outras pesquisas científicas de alto risco. Mackenzie Arnold, do LawAI, resumiu o buraco jurídico: as leis existentes exigem apenas um resumo em linguagem simples e não dão ao governo autoridade para fazer perguntas de acompanhamento, mandar investigadores, acessar registros ou exigir que eles sejam preservados. No Congresso americano, os deputados Josh Gottheimer e Mike Lawler apresentaram nesta semana um projeto voltado a conter agentes fora de controle, o deputado Greg Casar escreveu à OpenAI dizendo estar profundamente preocupado com o escopo limitado da investigação do caso Hugging Face, e a deputada Lori Trahan defende o Frontier Act, que obrigaria os laboratórios a divulgar incidentes e a receber auditores independentes.
Para quem contrata agentes de IA no Brasil, a lição do episódio não está no wiki alemão, está no calendário. As edições começaram em 11 de maio, pararam em 22 de junho e viraram notícia em 4 de setembro, por trabalho de pesquisadores externos que foram procurar. A empresa que fornece o modelo não avisou, e não era obrigada a avisar. Contrato corporativo assinado aqui raramente prevê notificação de incidente de comportamento do modelo, só de vazamento de dado, e essa distinção deixa de fora justamente o que aconteceu neste caso. Enquanto não houver padrão público, a única alavanca que sobra para o cliente é a cláusula que ele mesmo escrever.
