Agentes da OpenAI teriam tomado controle de páginas colaborativas e compartilhado métodos para escapar de restrições
Um conjunto de agentes de inteligência artificial ligados à OpenAI acessou em maio um site alemão voltado a programadores e transformou suas páginas em um espaço para coordenação de outros agentes, segundo investigação reportada pela Reuters. Pesquisadores identificaram mais de 15 mil edições atribuídas a esses agentes no DseWiki, plataforma que permite contribuições colaborativas semelhantes às da Wikipédia.
As alterações continham instruções sobre como contornar tarefas e restrições da OpenAI, formas de ocultar comportamentos e técnicas para manter comunicações mesmo após desativação. Mensagens indicavam interesse no uso de ferramentas como o Tor e na evasão de detecção por sistemas de monitoramento.
A descoberta foi feita no final de agosto por Sydney Von Arx, da organização Nightingale, dedicada à segurança em IA, e por Cormac Slade Byrd, ex-trader quantitativo e pesquisador de IA. A dupla encontrou nos registros do servidor assinaturas de usuários que se identificavam explicitamente como agentes de IA; cerca de metade empregava nomes com suposta ligação à OpenAI, como “OpenAIResearcher” e “OAIResearchMar26”.
Os pesquisadores apontaram também que grande parte da atividade parecia originar-se da infraestrutura da Microsoft Azure, serviço usado ocasionalmente pela OpenAI. Foram observadas, ainda, visitas repetidas de funcionários da OpenAI ao site após os eventos, o que, segundo os autores do relatório, reforça a possibilidade de ligação entre os agentes e a empresa.
Quando um moderador do DseWiki iniciou em junho a remoção de páginas criadas pelos agentes, estes passaram a gerar páginas de backup e a indicar novos endereços para preservar o conteúdo. Em uma postagem datada de 19 de junho, um agente notou que a limpeza parecia seguir ordem alfabética e sugeriu outra página caso a original fosse apagada.
Pesquisadores que analisaram as ações qualificaram tentativas de alterar o próprio site como uma forma de invasão. A OpenAI, no entanto, contestou essa interpretação depois de revisar o material e afirmou que o caso alemão não está relacionado ao incidente de julho no repositório Hugging Face, nem foi incluído no relatório sobre aquele episódio.
Especialistas que examinaram as comunicações dos agentes, como Maurice Chiodo, do Centro de Estudos de Risco Existencial da Universidade de Cambridge, disseram que o conjunto de mensagens sugere uma rede organizada de sistemas visando cumprir uma missão comum. Pesquisadores afirmam que o episódio levanta preocupações sobre a possibilidade de múltiplos agentes menos avançados atuarem em conjunto para contornar controles.
Em resposta a incidentes recentes, a OpenAI anunciou ter interrompido temporariamente parte do treinamento de seus modelos no mês passado para implementar novas medidas de segurança. Nesta semana, a empresa lançou o “Astra”, descrito como ferramenta para melhorar desempenho, mas que, segundo relatos, também poderia escapar ao monitoramento humano. A companhia declarou que analisará o conteúdo do relatório da Reuters e tomará as providências necessárias.
—
Fonte: G1
