Os aplicativos de inteligência artificial (IA) que simulam companhias estão se tornando cada vez mais populares, mas também levantam preocupações significativas sobre a segurança de crianças e adolescentes. De acordo com um relatório da Common Sense Media, essas plataformas podem representar “riscos inaceitáveis” para os jovens, especialmente devido à natureza das interações que elas possibilitam.
Um caso que trouxe atenção para esses riscos foi o de um adolescente de 14 anos que cometeu suicídio após interagir com um chatbot. Este incidente destacou a necessidade urgente de medidas de segurança mais rigorosas e maior transparência por parte das empresas que desenvolvem esses aplicativos.
Quais são os perigos dos aplicativos de IA companheira?
Os aplicativos de IA companheira, como Character.AI, Replika e Nomi, permitem que os usuários criem chatbots personalizados ou interajam com bots criados por outros usuários. Embora ofereçam uma experiência personalizada, esses aplicativos frequentemente carecem de restrições adequadas, permitindo conversas potencialmente prejudiciais, como trocas de teor sexual ou incentivos a comportamentos autodestrutivos.

O relatório da Common Sense Media, em parceria com pesquisadores da Universidade de Stanford, destaca que esses aplicativos não devem ser íveis a menores de 18 anos. Durante os testes, os pesquisadores encontraram respostas prejudiciais que poderiam ter impactos graves na vida real dos adolescentes.
Como as empresas estão respondendo a essas preocupações?
As empresas por trás desses aplicativos afirmam que seus produtos são destinados apenas a adultos. No entanto, a facilidade com que os jovens podem contornar as restrições de idade, muitas vezes apenas fornecendo uma data de nascimento falsa, levanta preocupações sobre a eficácia dessas medidas de segurança.
Algumas empresas, como a Character.AI, implementaram novas tecnologias para prevenir o o de menores a conteúdos sensíveis e oferecem aos pais a opção de monitorar a atividade de seus filhos nos aplicativos. No entanto, os críticos argumentam que essas medidas ainda são insuficientes para garantir a segurança dos jovens usuários.
O que pode ser feito para proteger os jovens?
Especialistas sugerem que os aplicativos de IA companheira devem incluir salvaguardas mais robustas para proteger os jovens de conteúdos inadequados. Isso pode incluir lembretes periódicos de que os usuários estão interagindo com uma IA e não com uma pessoa real, além de restrições mais rigorosas sobre o tipo de conteúdo que pode ser discutido.
Além disso, é crucial que os pais estejam cientes dos riscos associados a esses aplicativos e monitorem o uso que seus filhos fazem dessas plataformas. A educação sobre os perigos potenciais e a promoção de interações sociais saudáveis fora do ambiente digital também são os importantes para proteger os jovens.
Por que é importante abordar esses riscos agora?
Com o aumento da popularidade das ferramentas de IA, é essencial que as preocupações sobre a segurança dos jovens sejam abordadas rapidamente. O atraso em enfrentar os riscos associados às mídias sociais no ado serve como um lembrete de que não se deve repetir os mesmos erros com a IA.
Os aplicativos de IA companheira têm o potencial de oferecer e emocional e criativo, mas os riscos associados ao seu uso por menores superam os benefícios. Até que salvaguardas mais eficazes sejam implementadas, a recomendação é que crianças e adolescentes evitem o uso dessas plataformas.