O professor e historiador Dr. Jason Gibson, da Alcorn State University, no estado do Mississippi (EUA), relatou nas redes sociais ter reprovado 32 de 35 alunos após aplicar um recurso para detectar o uso de assistentes de inteligência artificial em uma prova escrita.
Segundo Gibson em uma série de vídeos publicados no TikTok, a tarefa pedia que os estudantes elaborassem uma redação sobre a Revolução Industrial. No enunciado disponibilizado on-line, o docente ocultou uma instrução escrita em branco sobre fundo branco, exigindo que a palavra “Madagascar” aparecesse no texto em um trecho sem sentido.
O mecanismo funcionou porque quem apenas leu o enunciado na tela não perceberia a instrução camuflada. Já os estudantes que selecionaram e copiaram todo o conteúdo do enunciado e o colaram em ferramentas como o ChatGPT acabaram incluindo a instrução escondida na solicitação enviada à IA. Como consequência, vários textos entregues traziam frases sem coerência que inseriam a referência a Madagascar em contextos absurdos.
Gibson relatou que as redações continham construções estranhas, citando exemplos de passagens que tornavam evidente o uso automático da ferramenta em vez de revisão humana. O professor afirmou no TikTok que ficou claro que muitos alunos não revisaram as respostas geradas pela IA antes de entregar a atividade.
O que é prompt injection?
Prompt injection é uma técnica que emprega textos criados para enganar ou manipular assistentes de IA, levando-os a produzir respostas indevidas, revelar informações sensíveis ou ignorar proteções de segurança. A modalidade pode ocorrer quando comandos maliciosos são incorporados ao texto que o usuário insere na interface do modelo ou quando terceiros conseguem inserir instruções no conteúdo fornecido ao sistema.
Pesquisadores de segurança começaram a identificar vulnerabilidades desse tipo em 2022: a empresa americana Preamble detectou falhas em grandes modelos de linguagem e avisou companhias de maneira privada, e outros grupos de pesquisa tornaram o problema público no mesmo ano. Desde então, ataques por prompt injection passaram a ser acompanhados com preocupação pelo setor de cibersegurança.
Gibson usou a técnica como forma de verificar se os alunos estavam recorrendo a ferramentas externas sem supervisão e reportou os resultados nas redes sociais, gerando ampla repercussão sobre métodos de avaliação diante da popularização de assistentes de escrita por IA.
Fonte: G1
