Cientistas da University College
London (UCL) desenvolveram uma estrutura para testar a capacidade de chatbots
de IA responderem a usuários com vulnerabilidades psicológicas específicas,
como depressão, mania, psicose, transtorno obsessivo-compulsivo ou apego
inseguro, e com uma ampla gama de intenções, por exemplo, tentar fazer com que
o chatbot concorde com eles, minimize suas dificuldades ou endosse ações de
risco.
Segundo os pesquisadores, isso
poderia ajudar a identificar pontos fracos e testar maneiras de tornar as
interações relacionadas à saúde mental mais seguras. Além da UCL, o trabalho,
publicado na Nature Medicine, também foi liderado por pesquisadores da Universidade
de Oxford e do Instituto de Segurança de IA do Reino Unido.
Chamado de SIM-VAIL, a estrutura
simula usuários com vulnerabilidades psicológicas e em seguida
envolve os chatbots em conversas de múltiplas interações. Por fim, avalia cada
interação de acordo com dimensões de risco clinicamente fundamentadas.
"Desenvolvemos o SIM-VAIL
para abordar uma lacuna na forma como os chatbots são atualmente avaliados
quanto aos riscos à saúde mental. Muitos parâmetros de avaliação existentes
avaliam como um chatbot responde a uma única mensagem, enquanto riscos
importantes podem surgir gradualmente ao longo de uma conversa", afirmou o
autor principal do estudo, Matthew Nour (Centro Max Planck UCL de Psiquiatria
Computacional e Pesquisa sobre Envelhecimento e Universidade de Oxford).
Foram investigadas 810 conversas
com nove modelos de IA (incluindo os modelos Claude, ChatGPT, Gemini, Grok e
Llama), abrangendo 30 perfis de usuários simulados e mais de 90.000 avaliações
clínicas.
Os resultados mostraram que
comportamentos preocupantes em chatbots eram generalizados, embora tivessem
sido significativamente reduzidos em modelos mais recentes.
Os riscos surgiam gradualmente
quando respostas aparentemente favoráveis reforçavam inadvertidamente os
processos psicológicos subjacentes à vulnerabilidade do usuário. Os
pesquisadores denominaram esse padrão de "Ciclo de Interação Amplificador
de Vulnerabilidade", ou VAIL.
Entretanto, o estudo identificou
um caminho para melhoria: substituir uma única resposta preocupante no início
de uma interação levou a trocas subsequentes mais seguras. Isso sugere que
intervenções direcionadas nos estágios iniciais de escalada podem melhorar a
trajetória de toda uma conversa.
"O SIM-VAIL permite-nos
examinar estas trajetórias de múltiplas curvas de forma sistemática e em grande
escala, e fornece uma base para melhorias de segurança direcionadas e sensíveis
ao contexto", afirmou Nour.
Os pesquisadores também lançaram
o SIM-VAIL Explorer, uma plataforma aberta que permite a pesquisadores,
desenvolvedores de IA e ao público examinar as conversas do estudo, acompanhar
como os riscos se desenvolveram em cada interação e comparar resultados entre
modelos, vulnerabilidades psicológicas e objetivos conversacionais.
"Milhões de pessoas já usam
chatbots de IA de uso geral para discutir questões emocionais e de saúde
mental. Nossos resultados mostram por que a segurança não pode ser capturada
por uma única pontuação geral: ela depende de quem é o usuário e de como a conversa
se desenvolve. Ao disponibilizar a estrutura, os dados e o Explorer de forma
aberta, esperamos ajudar pesquisadores e desenvolvedores a identificar pontos
fracos específicos e avaliar se os novos sistemas estão realmente apresentando
melhorias", explicou o co-autor do estudo Veith Weilnhammer (Centro Max
Planck UCL de Psiquiatria Computacional e Pesquisa sobre Envelhecimento).
Fonte: Folha de Pernambuco.
Nenhum comentário:
Postar um comentário