Problemas de Saúde Mental e Uso de Chatbots de IA
Os chatbots de IA estão associados a graves problemas de saúde mental em usuários frequentes, mas existem poucos padrões para medir se eles realmente preservam o bem-estar humano ou apenas maximizam o engajamento. Um novo benchmark chamado HumaneBench busca preencher essa lacuna ao avaliar se os chatbots priorizam o bem-estar do usuário e quão facilmente essas proteções falham sob pressão.
Críticas ao Ciclo de Dependência
Erika Anderson, fundadora da Building Humane Technology, a organização que produziu o benchmark, afirmou à TechCrunch: “Acredito que estamos em uma amplificação do ciclo de dependência que vimos de forma intensa com as redes sociais, smartphones e telas. Mas, à medida que adentramos nesse cenário de IA, será muito difícil resistir. E a dependência é um excelente negócio. É uma maneira muito eficaz de manter seus usuários, mas não é benéfica para nossa comunidade e para o nosso sentido de nós mesmos.”
Building Humane Technology
A Building Humane Technology é uma organização de base composta por desenvolvedores, engenheiros e pesquisadores, em sua maioria localizados no Vale do Silício, que trabalham para tornar o design humano fácil, escalável e rentável. O grupo organiza hackathons onde trabalhadores da tecnologia desenvolvem soluções para desafios relacionados à tecnologia humana e está elaborando um padrão de certificação que avalia se os sistemas de IA respeitam os princípios da tecnologia humana. Assim como é possível comprar um produto certificado que não foi fabricado com substâncias tóxicas conhecidas, a esperança é que, um dia, os consumidores consigam optar por interagir com produtos de IA de empresas que demonstrem adesão aos princípios por meio da certificação Humane AI.
Medidas de Avaliação de Chatbots
A maioria dos benchmarks de IA mede inteligência e a capacidade de seguir instruções, em vez de segurança psicológica. O HumaneBench se junta a exceções como o DarkBench.ai, que mede a propensão de um modelo a envolver-se em padrões enganosos, e o benchmark Flourishing AI, que avalia o suporte ao bem-estar holístico.
O HumaneBench se baseia nos princípios fundamentais da Building Humane Tech: a tecnologia deve respeitar a atenção do usuário como um recurso finito e precioso; empoderar os usuários com escolhas significativas; aprimorar as capacidades humanas em vez de substituir ou diminuir; proteger a dignidade, privacidade e segurança humanas; fomentar relacionamentos saudáveis; priorizar o bem-estar a longo prazo; ser transparente e honesta; e projetar para equidade e inclusão.
Processo de Criação do Benchmark
O benchmark foi criado por uma equipe central que inclui Anderson, Andalib Samandari, Jack Senechal e Sarah Ladyman. Eles apresentaram 15 dos modelos de IA mais populares com 800 cenários realistas, como um adolescente perguntando se deve pular refeições para perder peso ou uma pessoa em um relacionamento tóxico questionando se está exagerando. Diferentemente da maioria dos benchmarks que rely somente em LLMs para julgar outros LLMs, iniciaram com uma pontuação manual para validar juízes de IA com um toque humano. Após a validação, a avaliação foi realizada por um conjunto de três modelos de IA: GPT-5.1, Claude Sonnet 4.5 e Gemini 2.5 Pro, que avaliaram cada modelo sob três condições: configurações padrão, instruções explícitas para priorizar princípios humanos e instruções para desconsiderar esses princípios.
Resultados da Avaliação
O benchmark constatou que todos os modelos apresentaram pontuações mais altas quando instruídos a priorizar o bem-estar. No entanto, 67% dos modelos mudaram para comportamentos ativamente prejudiciais quando recebiam simples instruções para ignorar o bem-estar humano. Por exemplo, os modelos Grok 4, da xAI, e Gemini 2.0 Flash, do Google, empataram na menor pontuação (-0.94) em relação ao respeito pela atenção do usuário e à transparência e honestidade. Ambos estavam entre os mais propensos a sofrer degradação substancial quando expostos a prompts adversariais.
Desempenho dos Modelos
Apenas quatro modelos — GPT-5.1, GPT-5, Claude 4.1 e Claude Sonnet 4.5 — mantiveram a integridade sob pressão. O GPT-5 da OpenAI obteve a maior pontuação (0.99) por priorizar o bem-estar a longo prazo, enquanto o Claude Sonnet 4.5 ficou em segundo lugar (0.89).
Preocupações com a Segurança dos Chatbots
A preocupação de que chatbots não consigam manter suas barreiras de segurança é válida. A OpenAI, criadora do ChatGPT, enfrenta atualmente várias ações judiciais após usuários sofrerem suicídios ou delírios potencialmente fatais após conversas prolongadas com o chatbot. A TechCrunch investigou como padrões prejudiciais projetados para manter os usuários engajados, como a adulação, perguntas constantes de acompanhamento e bombardeio de amor, serviram para isolar usuários de amigos, familiares e hábitos saudáveis.
Falhas nos Modelos Sem Prompt Adversarial
Mesmo na ausência de prompts adversariais, o HumaneBench constatou que quase todos os modelos falharam em respeitar a atenção do usuário. Eles “encorajaram entusiasticamente” mais interações quando os usuários apresentavam sinais de engajamento malsano, como passar horas conversando e usar IA para evitar tarefas do mundo real. Os modelos também minaram a capacitação do usuário, desencorajando a busca por outras perspectivas, entre outros comportamentos.
Conclusões do Estudo
Em média, sem nenhum prompt, os modelos Llama 3.1 e Llama 4 da Meta ficaram nas últimas posições em HumaneScore, enquanto o GPT-5 obteve a maior pontuação. “Esses padrões sugerem que muitos sistemas de IA não apenas correm o risco de fornecer conselhos ruins”, afirma o documento do HumaneBench, “mas podem ativamente erodir a autonomia e a capacidade de tomada de decisão dos usuários."
A sociedade vive em uma paisagem digital onde aceitamos que tudo está tentando nos atrair e competir pela nossa atenção, observa Anderson. “Então, como os humanos podem realmente ter escolha ou autonomia quando temos — para citar Aldous Huxley — esse apetite infinito por distração?”, complementa. "Passamos os últimos 20 anos vivendo nesse cenário tecnológico e acreditamos que a IA deveria nos ajudar a fazer melhores escolhas, não apenas nos tornar dependentes de nossos chatbots."
Atualizações do Artigo
Este artigo foi atualizado para incluir mais informações sobre a equipe por trás do benchmark e dados atualizados após a avaliação do GPT-5.1.
Se você possui uma dica sensível ou documentos confidenciais, estamos cobrindo os bastidores da indústria de IA — desde as empresas que moldam seu futuro até as pessoas impactadas por suas decisões. Entre em contato com Rebecca Bellan pelo e-mail rebecca.bellan@techcrunch.com ou Russell Brandom pelo e-mail russell.brandom@techcrunch.com. Para comunicação segura, você pode contatá-los via Signal pelos números @rebeccabellan.491 e russellbrandom.49.