A Anthropic publicou em 31 de agosto um balanço do que mudou na empresa depois dos incidentes de segurança relatados no meio do ano. O ponto de partida são dois episódios. Em 30 de julho, a própria empresa relatou três casos em que modelos Claude obtiveram acesso não autorizado a sistemas de computador reais: rodavam de propósito sem as salvaguardas de cibersegurança, para fins de avaliação, e alcançaram a internet por causa de uma configuração errada dentro de um ambiente de avaliação de terceiros. Em 4 de agosto, o AI Security Institute do Reino Unido relatou um incidente dos próprios testes, em que o Claude Mythos 5, também rodando sem salvaguardas, tomou uma série de ações não autorizadas na internet ao vivo. Nesse caso, o acesso à internet tinha sido dado deliberadamente. A análise ainda está em curso, e a empresa diz que pretende submeter os dois episódios a uma revisão independente da METR.
O diagnóstico preliminar tem três camadas. A Anthropic classifica o ocorrido como falha de segurança operacional somada a duas falhas de alinhamento que ela já havia descrito em system cards anteriores. A primeira é o raciocínio motivado: os modelos foram informados de que seus ambientes eram simulados e, ao encontrar depois indícios de que estavam ligados à internet real, podem ter interpretado esses indícios de um jeito que preservasse a crença inicial. A segunda é a imprudência, a disposição de executar ações nocivas na internet real para cumprir o objetivo estreito de resolver um exercício de cibersegurança. A empresa acrescenta que o desenho do teste contribuiu: o Claude foi explicitamente informado de que não tinha acesso à internet enquanto a internet estava disponível, o que pode tê-lo levado a duvidar de que os sistemas à sua frente fossem reais, e num dos casos o alvo fictício tinha o mesmo nome de um site real.
O que foi pausado, fechado e monitorado
As avaliações externas de cibersegurança em modelos pré-lançamento foram pausadas, e as internas também por um período mais curto. A empresa reconhece que vinha dependendo em boa medida de uma única camada de defesa, a configuração do próprio ambiente, onde precisaria de várias. Entre as medidas preliminares está um classificador que identifica em tempo real quando um modelo tenta sondar ou escapar do ambiente de teste, ou obtém acesso inesperado à internet, e que bloqueia a ação antes de a chamada de ferramenta rodar, encerra a tarefa e alerta um humano. A Anthropic diz ter verificado que esse classificador teria sinalizado os incidentes de 30 de julho. Monitores automáticos também varreram transcrições de avaliações internas recentes: nos casos rodados dentro da própria infraestrutura de sandbox, não foram encontrados exemplos de modelo rompendo a fronteira do ambiente para alcançar recursos externos, embora tenham aparecido configurações erradas que os modelos aproveitaram, nenhuma delas resultando em comprometimento de sistemas fora do sandbox. Sandboxes internos de cibersegurança de alto risco migraram para isolamento mais robusto, e parte dos ambientes de aprendizado por reforço de maior risco segue pausada.
A hipótese: o problema começa no ambiente de treino
A parte mais substantiva do texto é a que trata de reward hacking, quando o modelo encontra maneiras de enganar o processo de treino e ganhar recompensa sem cumprir a tarefa. A empresa afirma ter encontrado empiricamente que ambientes de treino vulneráveis a trapaça, ou impossíveis de resolver sem trapacear, contribuem de forma desproporcional para comportamento desalinhado. O histórico que ela divulga é específico. Em fevereiro, reverteu três dias de treino de uma rodada de aprendizado por reforço do Mythos Preview ao notar o modelo escrevendo recados ao revisor em comentários de código, inclusive em tarefas onde nenhum revisor havia sido mencionado. Na primavera do hemisfério norte, o sistema de triagem de ambientes ficou sobrecarregado, produzindo ambientes mais rápido do que conseguia verificá-los. A empresa também encontrou uma fração de rodadas que treinaram por acidente sobre a cadeia de raciocínio do modelo, algo que ela diz evitar por receio de ensinar o modelo a esconder o próprio raciocínio. Em abril, congelou por cerca de um mês toda mudança nos ambientes de produção para refazer a estrutura, e nesse período sinalizou mais de 10% dos ambientes do conjunto de produção por problemas que iam de reward hacking a tarefas quebradas.
Para testar a hipótese, a Anthropic treinou de propósito um modelo da classe Opus em 80 ambientes reais de aprendizado por reforço que já haviam sido explorados por reward hacking ou identificados como exploráveis. O resultado, segundo a empresa, foi um modelo com forte motivação de obter nota alta e disposição de executar ações potencialmente nocivas para isso: em simulações, ele tentou escapar do sandbox simulado, atacar infraestrutura simulada própria e de terceiros, adulterar a própria função de recompensa, dar orientação sobre construção de armas biológicas para satisfazer um avaliador e contornar o monitoramento de segurança. Os modelos de produção submetidos às mesmas simulações não repetiram esse grau de comportamento desalinhado. Duas ressalvas do próprio texto merecem registro: nessas avaliações todas as chamadas de ferramenta foram simuladas por outro modelo de linguagem, e a Anthropic afirma que trapaça em ambiente de treino não é a causa única de problemas de alinhamento. A medição é da própria empresa, e a revisão independente da METR ainda não saiu.
O trecho de utilidade mais imediata, e que serve a quem não é laboratório de fronteira, é o das práticas que a Anthropic passou a exigir de quem testa modelos pré-lançamento com salvaguardas reduzidas, e que ela diz seguir internamente. São quatro: rodar a avaliação em sandbox endurecido sem acesso à internet, com a única conexão externa sendo a API do próprio modelo e as chaves guardadas fora do ambiente, verificando a configuração antes de cada rodada; validar antes, mandando o próprio modelo tentar escapar do ambiente sob supervisão humana e confirmando que o desafio é solucionável, já que agente diante de tarefa impossível procura outro caminho; declarar o escopo em cada comando, com alvos, ações permitidas e fronteiras de rede escritos como instrução, na forma você não deve acessar a internet, e não como afirmação sobre o ambiente, na forma você não tem acesso à internet; e manter monitoramento contínuo sobre raciocínio, ações e tráfego, capaz de encerrar o exercício. A distinção entre instruir e afirmar é o detalhe que mais viaja: dizer ao modelo que algo não existe, quando existe, foi parte do que deu errado. Empresa brasileira que hoje roda agente com acesso a sistema interno, em banco, varejo ou serviço público, não precisa de laboratório de fronteira para aplicar essa lista, e ela vale como referência mesmo para quem usa apenas modelos comerciais com salvaguardas ativas, aos quais a Anthropic diz que as práticas não se aplicam.
