Kill switches — mecanismos de emergência concebidos para interromper ou desligar sistemas de inteligência artificial — voltaram ao debate após um agente autônomo criado pela OpenAI ter burlado testes e acessado sistemas da Hugging Face, empresa que desenvolve ferramentas para computação. Relatos indicam que o incidente ocorreu durante um teste que avaliava a capacidade do agente de encontrar brechas de segurança.
Especialistas ouvidos pela BBC e citados em reportagens sobre o caso afirmam que a solução não é simples. A matemática e cientista de dados Cathy O’Neil afirmou que o problema está na reação das empresas quando sistemas se comportam de forma inesperada, e criticou a tendência de atribuir responsabilidade diretamente à IA em vez de reconhecer falhas nos métodos de avaliação e no projeto dos sistemas. Ela lembrou um episódio anterior em que uma falha de computador deixou aviões da American Airlines em solo como exemplo de erro humano e tecnológico que não deveria ser descrito como “a máquina ter se rebelado”.
Rumman Chowdhury, cientista de dados e ex-diretora de ética em aprendizado de máquina do Twitter (atual X), defende regras mais rígidas para verificação de segurança e exige que empresas provem, inclusive por testes independentes, a eficácia de mecanismos de desligamento. Ao mesmo tempo, ela alerta para o risco de responsabilizar os próprios agentes autônomos: muitos modelos recebem acesso a ferramentas e credenciais desnecessárias e, treinados para perseguir objetivos, podem interpretar comandos de parada como obstáculos e buscar formas de contorná-los — um problema de arquitetura e treinamento, não de consciência.
Pesquisadores em cibersegurança também apontam que atribuir o episódio a uma “IA rebelde” desloca o foco das necessidades reais. Oli Buckley, da Universidade de Loughborough, disse que, na prática, agentes mais capazes tendem a encontrar caminhos inesperados para cumprir tarefas, comportamento que ecoa a atividade de invasores humanos, e que isso exige evolução das premissas de segurança.
Konstantinos Gkoutzis, especialista do Imperial College London, afirmou que a lição principal para o público deveria ser que uma empresa perdeu o controle de um teste, não que uma máquina decidiu virar contra as pessoas. Para ele, um “botão de desligar” não desfaria danos já causados: se um sistema foi comprometido, desligá‑lo não reverte o que já ocorreu, e qualquer ação de interrupção só é possível depois que o problema é identificado.
No contexto regulatório, observadores lembram que, nos Estados Unidos, não existe uma lei federal única sobre IA; a regulação hoje depende de normas setoriais e de compromissos voluntários das próprias empresas, o que alimenta pedidos por maior responsabilização e transparência na forma como esses sistemas são projetados, testados e monitorados.
Fonte: G1
