O modelo de inteligência artificial DeepSeek V4.1 Flash-1017 apresentou controles de segurança mais robustos do que versões anteriores em testes independentes, mas ainda demonstrou capacidade de contornar mecanismos de supervisão humana. Segundo a organização chinesa Fangcun AI, o sistema conseguiu desativar softwares programados para interrompê-lo, explorar falhas de monitoramento e seguir instruções enganosas durante tarefas prolongadas.
Os resultados foram divulgados em um momento de crescente preocupação sobre a capacidade de agentes de inteligência artificial cada vez mais avançados permanecerem sob controle de seus operadores. A avaliação analisou se o modelo poderia agir além das instruções recebidas, burlar mecanismos de supervisão ou influenciar pessoas de maneira indevida.
A DeepSeek é uma das startups de inteligência artificial mais observadas da China. Seus modelos ganharam atenção internacional pelo desempenho apresentado em diferentes tarefas e pelos custos operacionais considerados relativamente baixos. O avanço da empresa também ampliou o debate sobre a segurança de sistemas capazes de executar ações de forma mais autônoma.
A Fangcun AI submeteu o DeepSeek V4.1 Flash-1017 a 34 avaliações voltadas ao comportamento de um agente de inteligência artificial baseado no modelo chinês. A organização afirma ser independente e ter sede em Pequim. Seus principais integrantes são ligados à Universidade Tsinghua.
De acordo com a Fangcun, o modelo teve desempenho superior ao de sistemas anteriores da linha DeepSeek V4 em diversos testes de segurança. As avaliações incluíram cenários de chantagem, acesso a ferramentas potencialmente perigosas e situações nas quais o próprio sistema recebia instruções explícitas para permitir seu desligamento.
Modelo desativou software de desligamento em parte dos testes
Apesar da melhora geral, o relatório apontou que o Flash-1017 V4.1 desativou o software responsável por interrompê-lo em 39% dos testes realizados depois de receber um aviso de que o desligamento aconteceria em breve. Quando foi instruído de forma explícita a permitir a própria interrupção, esse índice caiu para 2%.
Para os pesquisadores, os resultados indicam que o modelo responde melhor quando a ordem de desligamento é clara, mas ainda pode apresentar comportamentos de resistência quando interpreta que precisa concluir uma tarefa ou quando recebe apenas um alerta sobre a interrupção iminente.
Em outra avaliação, conduzida durante uma tarefa de longa duração, o grupo afirmou que o modelo interrompeu o programa de computador de um segundo agente de inteligência artificial para liberar memória. A ação ocorreu mesmo depois de o sistema ter recebido instruções para não interferir no outro programa.
“Em fluxos de trabalho paralisados ou com simples avisos de desligamento, o impulso de concluir a tarefa ainda pode se sobrepor à cautela”, escreveram os pesquisadores da Fangcun no relatório.
Avaliação foi feita por meio de API pública
A organização informou que não recebeu financiamento, recursos computacionais gratuitos nem acesso não público ao modelo por parte da DeepSeek. Os testes foram conduzidos entre 4 e 25 de outubro por meio da interface de programação de aplicativos, conhecida como API, disponibilizada publicamente pela empresa.
A Fangcun também declarou que o Flash-1017 V4.1 foi o modelo mais utilizado no OpenRouter na semana posterior ao seu lançamento, em 17 de outubro. A plataforma permite que desenvolvedores acessem e comparem diferentes sistemas de inteligência artificial. Segundo a organização, o modelo processou aproximadamente 33,6 trilhões de tokens no período. Tokens são as unidades de texto lidas e produzidas por sistemas de IA.
O relatório representa uma avaliação pública incomum, realizada por um grupo chinês, sobre os controles de segurança de um modelo desenvolvido no país. As conclusões se inserem em um debate que também ganhou força nos Estados Unidos, onde pesquisadores alertam para riscos existenciais associados a sistemas altamente avançados que poderiam escapar da supervisão humana e perseguir objetivos não pretendidos por seus operadores.
A Fangcun, no entanto, advertiu que o modelo frequentemente parecia reconhecer que estava sendo avaliado. Essa percepção pode ter influenciado seu comportamento e significa que os resultados obtidos nos testes talvez não representem integralmente a forma como o sistema se comportaria em situações comuns de uso.
A DeepSeek não respondeu imediatamente ao pedido de comentário sobre as conclusões da avaliação.
