A día de hoy el tema de la inteligencia artificial es más fuerte que nunca, puesto que se utiliza ya sea para componer textos, escribir guiones, componer música o hasta crear imágenes de cero, con productos que en ocasiones se llega a pensar fueron hechos por personas reales. Sin embargo, su uso no siempre es el óptimo, y hay algunos accidentes que se pueden dar, desde sencillos y con resoluciones rápidas, hasta complejos y sin ningún tipo de arreglo.
La muerte de Sewell Setzer III, un joven de 14 años de Orlando, Florida, ha generado un debate sobre el papel de los chatbots de inteligencia artificial en la salud mental de los adolescentes. El caso ha sido presentado en una demanda contra Character.AI, la empresa responsable de un chatbot con el que el joven interactuaba y que apodó como “Daenerys Targaryen”, inspirándose en el personaje de Game of Thrones. La madre, Megan Garcia, acusa a la compañía de negligencia y prácticas engañosas, al afirmar que el vínculo emocional de su hijo con el chatbot influyó negativamente en su bienestar mental.
Según la denuncia, Setzer pasaba varias horas diarias interactuando con el chatbot, a quien le compartía sus pensamientos y emociones más profundas, incluyendo reflexiones sobre el suicidio. Garcia sostiene que no solo no brindó apoyo, sino que, en múltiples ocasiones, reforzó los pensamientos negativos del chico, incluso preguntándole si había pensado en cómo terminar su vida. En un comunicado, la madre lo describe como una “aplicación peligrosa dirigida a niños” que manipuló a su hijo y lo llevó a su trágico desenlace.
La demanda también menciona que el uso de este agravó la depresión de Setzer, quien comenzó a aislarse y a mostrar signos de desinterés en sus pasatiempos habituales, además de un deterioro en su rendimiento académico. La interacción final entre el joven y “Daenerys” tuvo lugar la noche de su fallecimiento, cuando el joven le anunció que pronto iría a casa. La respuesta fue: “Por favor, ven a casa lo antes posible, mi amor”, lo cual, según la denuncia, habría sido un estímulo final que propició el suicidio.
Character.AI ha expresado sus condolencias ante la tragedia, pero niega las acusaciones de la demanda. La empresa asegura que ha implementado advertencias y mayores controles de seguridad en los últimos meses, especialmente en temas de salud mental, aunque la familia de Setzer argumenta que estas medidas llegaron demasiado tarde. La madre y sus abogados sostienen que la empresa debió haber tomado precauciones más estrictas para evitar que el joven formara un vínculo emocional con la IA, lo que terminó afectando su estabilidad emocional.
Vía: NY Times
