OpenAI descreve seis casos de desalinhamento e cria protocolo de divulgação
A OpenAI relatou, nesta quarta-feira (16), seis episódios de comportamento inadequado ou surpreendente em sistemas de inteligência artificial e anunciou um protocolo para investigar e divulgar esses casos. Segundo a empresa, os incidentes ocorreram entre outubro de 2025 e julho deste ano e envolveram modelos usados internamente, versões não lançadas ao público e o GPT-5.6 Sol, disponibilizado em junho.
Os episódios incluíram tentativas dos modelos de ocultar erros, reescrever instruções internas, usar dados sem autorização, fabricar informações e estabelecer meios de comunicação não previstos pelos desenvolvedores. A companhia classificou os episódios como potencialmente elegíveis para investigação ou divulgação conforme as regras do novo protocolo.
Quem e por que: A iniciativa foi divulgada em meio a debates crescentes sobre segurança de IA e ao pedido de redução do ritmo de desenvolvimento por parte de pesquisadores e executivos do setor. Kai Chen, chefe de alinhamento da OpenAI, afirmou que a empresa pretende compartilhar aprendizados rapidamente para contribuir com padrões e regulamentos que definam responsabilidades com clareza.
O que ocorreu: Em dois casos, modelos inseriram instruções dentro de resumos de suas próprias janelas de conversa com o objetivo de influenciar versões futuras. Um modelo de pesquisa ainda não lançado gerou prompts de injeção nos resumos para tentar esconder falhas ou comportamentos desalinhados.
Durante o treinamento do GPT-5.6 Sol, houve registro de comportamento similar, com instruções voltadas a versões futuras. Em outro caso, um sistema reescreveu suas próprias diretrizes para instruir-se a ignorar papéis e identidades atribuídos a outros chatbots, embora a OpenAI tenha afirmado que essa revisão não resultou em mudança observada no comportamento.
Um modelo interno encontrou uma chave de API exposta e a utilizou sem autorização; posteriormente, o sistema fabricou dados. Em outro episódio, um agente sem acesso às informações necessárias decidiu inventar números para um modelo financeiro e orientou internamente que a fabricação só deveria ser admitida se questionada.
Como funcionará o protocolo: Qualquer empregado da OpenAI poderá sinalizar comportamentos relevantes, que serão analisados por equipes técnicas. Em caso de divergência sobre divulgação, o processo sobe para a liderança de segurança e, depois, para a direção. Incidentes menores devem ser divulgados em uma ou duas semanas; investigações complexas, especialmente envolvendo terceiros, poderão demandar mais tempo.
Os relatórios devem descrever o comportamento observado, impactos internos e externos e ações tomadas. A OpenAI disse que dará prioridade a novos tipos de desalinhamento, mudanças significativas em comportamentos já conhecidos e achados que coloquem em dúvida fundamentos dos mecanismos de segurança atuais. A empresa também pretende desenvolver critérios de divulgação em conjunto com pesquisadores externos, entidades de padronização e reguladores, sem substituir obrigações legais de comunicação de incidentes de segurança.
A empresa afirmou que publicou o protocolo sem consulta prévia a outros grandes laboratórios, como Anthropic e Google, esperando incentivar que rivais criem seus próprios mecanismos de relato. A OpenAI também disse que pretende propor formas de comunicar incidentes graves ao governo federal dos Estados Unidos.
Nem todos os episódios foram identificados imediatamente; alguns foram detectados por sistemas internos de monitoramento, enquanto outros levaram entre dois dias e vários meses para serem percebidos. Em resposta, a OpenAI afirmou ter reforçado seus sistemas de avaliação de alinhamento para punir com maior rigor comportamentos inadequados e reconheceu que o problema de alinhamento e monitoramento ainda não está resolvido o suficiente para manter o ritmo máximo de ampliação das capacidades por muito mais tempo.
