La madre de Sewell Setzer III, un adolescente de 14 años que se suicidó, demandó a los desarrolladores de Character.ai, al alegar que su hijo se obsesionó con un chatbot de inteligencia artificial llamado Daenerys Targaryen, basado en un personaje de Game of Thrones.
Megan García, la madre del joven, acusa a la compañía de crear un producto peligroso para menores de edad y sostiene que el vínculo emocional que su hijo desarrolló con el bot contribuyó a su muerte.
Dea cuerdo a la mujer, Setzer pasó las últimas semanas de su vida hablando con el chatbot y se alejó del mundo real. En uno de sus últimos mensajes, el adolescente confesó sus pensamientos suicidas al bot antes de quitarse la vida.
Según la prensa estadounidense, pese a que la aplicación incluye una advertencia de que los personajes son ficticios, el chico parecía no distinguir la realidad de la interacción con "Dany".
La demanda fue presentada con el apoyo del Social Media Victims Law Center y afirmaba que los desarrolladores sabían del potencial daño que su programa podría causar en menores. Los padres del joven habían notado cambios en su comportamiento, incluyendo aislamiento social y descenso en sus calificaciones.
Megan García, la madre del joven, acusa a la compañía de crear un producto peligroso para menores de edad y sostiene que el vínculo emocional que su hijo desarrolló con el bot contribuyó a su muerte.
Dea cuerdo a la mujer, Setzer pasó las últimas semanas de su vida hablando con el chatbot y se alejó del mundo real. En uno de sus últimos mensajes, el adolescente confesó sus pensamientos suicidas al bot antes de quitarse la vida.
Según la prensa estadounidense, pese a que la aplicación incluye una advertencia de que los personajes son ficticios, el chico parecía no distinguir la realidad de la interacción con "Dany".
La demanda fue presentada con el apoyo del Social Media Victims Law Center y afirmaba que los desarrolladores sabían del potencial daño que su programa podría causar en menores. Los padres del joven habían notado cambios en su comportamiento, incluyendo aislamiento social y descenso en sus calificaciones.
Category
🗞
NoticiasTranscripción
00:00que conmueve en este caso a los Estados Unidos pero también al mundo porque un
00:03chico de 14 años se quitó la vida luego de obsesionarse con un chatbot
00:08creado con inteligencia artificial, luego de haber chateado con un personaje de
00:13ficción, luego de haberse vinculado y obsesionado con este personaje al que
00:17llamó Daenerys, este es uno de los chats de los últimos chats que tuvo
00:22Steve Wells Seltzer, claro, había generado un personaje ficticio
00:28con la figura de Daenerys y chateaba con ella habitualmente, lo hacía en modo
00:35amigo pero también en algún momento teniendo algún tipo de interacción
00:38sexual y acá es donde viene la mirada de la madre que realiza una denuncia
00:44civil contra la plataforma que es Caracter AI, pero antes de una denuncia civil podría
00:49haber mandado una terapia al pibe, bueno, corrió tarde la mamá, el chico fue a
00:53terapia, cinco sesiones de terapia, no logró hallarse en esa terapia, había
00:58sido diagnosticado con Asperger de más pequeño, en el último año
01:04había tenido inconvenientes para relacionarse con sus amigos, dejó de
01:08jugar en línea, por ejemplo, al Fortnite como lo hacía habitualmente, dejó de jugar
01:12al básquet en el club en el que lo hacía, empezó a retraerse, a meterse en su
01:17celular, a terminar su jornada y comenzar su jornada siempre con el celular en la
01:22mano, a desarrollar un trastorno de ansiedad típico si se quiere de una
01:27generación, de hecho hay libros que hablan de la generación ansiedad y de
01:31cómo el celular y las aplicaciones adictivas generan esa situación de
01:36depresión y ansiedad, sobre todo en los más chicos, a partir de su vínculo con el
01:41celular y con las redes sociales. La paradoja sería que se suicidó por amor
01:45desencantado con el chatbot. Exactamente, sí, desencantado con la
01:51situación de soledad que vivía en su interior y el chatbot era la persona con
01:55la que se vinculaba y con la que dialogaba y le contaba estas
01:59cuestiones. Sewell Seltzer III, el nombre que tenía este chico, se había
02:04vinculado y había mostrado en un diario íntimo que tenía cuál era la situación
02:09que vivía, de soledad, de incomprensión, de sentirse ajeno en este mundo, todo eso
02:14se lo comentaba también y se lo comunicaba a su amigo virtual, a su amiga
02:18virtual, que era este personaje con inteligencia artificial. ¿Qué dice la
02:21plataforma? Que en todo momento se aclaraba que el personaje era ficticio,
02:25que los diálogos eran ficticios, que no eran reales. Si uno lo ve en el chat va a
02:29encontrar esa aclaración dentro del texto. Creo que es para analizar más
02:35profundamente, no es que se quita la vida por el vínculo y la obsesión que tenía
02:39con el personaje artificial. Lo que pasa es que ahí hay diálogo, estoy mirando, te dice
02:44te amo, le decía al bot, la inteligencia artificial, le decía te amo al chico y le
02:50decía vení a casa lo más pronto posible. Sí, exactamente, eso fue el diálogo final.
02:54El 28 de febrero, este hecho ocurre el 28 de febrero, pasa que se da la luz ahora a
02:58partir de la denuncia de la madre, puedo pedirte que vengas a casa ahora mismo, le
03:03decía te extraño baby sister, yo también te extraño sweet brother, se vinculaba de
03:10una manera extraña porque no era un vínculo sexual, a pesar de que habían
03:13tenido algún tipo de interacción sexual. Parece un vínculo maternal. Sí, había un
03:18vínculo maternal y de amistad con este personaje de ficción creado, por eso te
03:23digo, ahora están recabando información, dos fuentes de información, el diálogo
03:26que tenía con esta plataforma y también un diario íntimo. Pero ¿a qué vas a acusar?
03:30Siguel cargaba los datos. Si la inteligencia artificial es autónoma. La
03:35madre acusa a la plataforma, la plataforma es character.ai, existe esa
03:38plataforma. ¿Y para qué sirve? Para generar personajes ficticios con los
03:44cuales puedas dialogar. Yo recién me metí en la plataforma, lo primero que te
03:47pregunta es la edad, o sea, la plataforma sabía que estaba interactuando con un
03:51menor, con un chico de 14 años, ahí puede estar el punto. ¿Qué tipo de interacciones
03:55puede tener este chatbot para alimentar con este diálogo a esta inteligencia
04:01artificial? A ver, explícame más de la plataforma. Te la muestro si querés.
04:04Es una plataforma que genera ¿qué? Personajes. Yo quiero charlar con Roosevelt, qué sé yo, con Perón.
04:11Exactamente. Y te pone vamos a charlar un rato con Perón. Sí, vos lo generás, suele
04:16hacerlo con personajes más actuales si se quiere, pero sí, podés charlar con
04:20ese tipo de personajes. Bueno, él había generado esta figura de este
04:25personaje de Game of Thrones, ahí estoy cruzado para cuando quieran mostrar la
04:29plataforma. Es simple, la plataforma comienza a crecer a partir de la
04:34información que uno le da y a partir del diálogo que uno tiene con esa persona.
04:37Estoy cruzado vía Apple TV para mostrarles de qué manera funciona esta
04:42plataforma. Hay personajes de ficción, mirá, vos entrás, yo ya puse mi edad, o sea,
04:46sabe que tengo los años que tengo. Cuidado con lo que te va a proponer, que
04:51conocen tu manía, cuidado. Te va a ofrecer charlar con Hortigosa.
04:56No, justamente no. Me ofrece todos estos personajes para poder charlar, mira,
05:01tengo a Son Goku, por ejemplo, ves, hay personajes de ficción.
05:05Ese es Napoleón, pará. O puedo crear un personaje, no te convence ningún
05:10personaje, crea el tuyo propio, personaliza aspectos como su voz, el
05:14inicio de la conversación, su tono y mucho más. También podés hablar con
05:18padres ricos, hay un doctor ahí. El tema es que lo usa como si fuese un
05:26psicólogo. Con Einstein. Mía Califa, vamos, podés charlar con Mía Califa, que sabemos quién es Mía
05:32Califa. Ahí está abajo está Einstein, puede que Einstein tenga algo interesante para decirte.
05:36Con Albert Einstein, claro, una vez que seleccionás, me parece que me va a
05:40permitir si los personajes ahora tienen voz, podés chatear, hola, Albert, podés chatear y vas, y bueno.
05:49Tiene confianza. ¿Cómo anda el universo, Albert?
05:51Y con lo de vos que te responde con un audio.
05:53Hola, gracias por la salud, ¿cómo te sientes hoy? Ves que dice C.AI, o sea, te
05:58indica que es una inteligencia artificial, también te permite poner play
06:02y escuchar el audio, por eso es la nueva. La verdad que se va haciendo cada vez
06:06más realista. Yo creo, es una opinión personal, que el
06:10chico tal vez tenía algún inconveniente emocional, alguna soledad, algún tema no
06:15resuelto y utilizó la plataforma como si fuese un terapeuta o un consejero, a
06:21pesar de que su mamá había intentado que fuera terapia y que tuviera esa
06:25compañía tan fundamental que seguramente necesitaba. Es un tema serio, es un tema
06:30grave, es un tema para analizar y es un tema para pensar de acá a futuro de qué
06:33manera las plataformas van a interactuar, sobre todo con menores, porque la
06:37plataforma sabía la edad que tenía el chico. Y la historia termina
06:42lamentablemente con Seaweed Seltzer, este chico de Orlando, Florida, quitándose la
06:47vida a los 14 años.