⚠️ ESCÁNDALO EN SAN MARTÍN: DESNUDABA A SUS COMPAÑERAS CON IA Y VENDÍA LAS FOTOS
Un estudiante de 15 años generó controversia al utilizar inteligencia artificial para crear y vender imágenes falsas de sus compañeras, desatando la preocupación entre padres y autoridades. La fiscalía investiga el caso para determinar posibles delitos, mientras se busca identificar a los compradores de las imágenes.
Category
🗞
NoticiasTranscripción
00:00Un verdadero escándalo se presentó allí en una escuela de San Martín donde un estudiante
00:07convirtió fotos reales de sus compañeras pero con la inteligencia artificial logró
00:14desnudarlas y vender las fotos.
00:17Exacto, la inteligencia artificial nos viene sorprendiendo a todos y a muchos también
00:21les preocupa.
00:22Lo cierto es que tanto es así que por estos momentos la misma justicia se está debatiendo
00:28qué tipo de delito se le podría enmarcar a este joven, en realidad es un adolescente
00:33de 15 años que tomó las fotografías de algunas de sus compañeras y les puso el cuerpo
00:40de otras mujeres obviamente ¿no?
00:42Y las vendió, empezó a venderlas.
00:44Bueno este chico en este colegio obviamente lo que ha hecho es provocar un escándalo
00:51con los padres que han hecho la denuncia correspondiente, ha intervenido la policía pero en realidad
00:55la denuncia se hizo directamente la fiscalía porque se trata obviamente de menores, la
01:00policía bonaerense lo único que hizo es certificar que había una denuncia con estas características
01:06y nada más.
01:07El chico por supuesto no ha quedado detenido porque es inimputable y lo que se está haciendo
01:12es justamente analizar por estas horas si configura y qué tipo de delito, si bien obviamente
01:19todo está enmarcado en esta cuestión, por acá no hay una extorsión, no es que le decía
01:24a alguna de sus compañeras mira si no me das plata yo empiezo a difundir estas fotos,
01:29no al revés, lo que hacía era lucrar con esas fotos.
01:32Claro ahí hay un tema que puede ser extorsivo.
01:35Acá no se enmarcaría, no se enmarcaría porque lo que hizo con eso es hacer dinero
01:42pero no en base a una extorsión para no publicarlo, sino como una venta digamos, una venta de
01:47fotografía que obviamente eran falsas ¿no?
01:51Falsas en cuanto al cuerpo, no falso en cuanto al rostro de algunas de las chicas que eran
01:56sus propias compañeras.
01:57Bueno, voy a saludar a Luciana que está en San Martín, Lu ¿cómo te va?
02:02¿Cómo andas?
02:03Hola Facu, ¿qué tal?
02:05Muy buenos días y claro acaban de terminar las clases por lo menos el primer turno, el
02:10turno mañana acá en este colegio Agustiniano justamente de la localidad de San Andrés
02:17en San Martín.
02:18En un día normal de clases te diría, a pesar de toda esta situación que ustedes acaban
02:23de relatar y de las dificultades que hay para estas 22 familias, porque recordemos hay 5
02:28denuncias oficiales pero son por lo menos 22 las víctimas respecto de esta situación,
02:35en este momento lo que está haciendo la justicia puntualmente, la fiscal Verónica Novoa es
02:41tratar de dar con los compradores de estas fotografías adulteradas a través de la inteligencia
02:48artificial, ¿por qué?
02:49Porque hay un dato importante vinculado con una billetera virtual, ¿qué sucedió?
02:54Un compañero justamente de las chicas, ¿qué hizo?
02:58Bueno, lo que hizo fue, Facu, justo salían los chicos y bueno, obviamente hacen comentarios,
03:05lo que hizo este joven, un estudiante también, compañero de alguna de las chicas, al enterarse
03:10de esta situación fue hacerse pasar por un comprador y así pudo obtener el nombre de
03:17la persona, del joven, del adolescente, en realidad era de 15 años, y una billetera
03:22virtual.
03:23A partir de ese dato es que la fiscal está trabajando para tratar de dar, como ustedes
03:28bien señalaban, se conoce la identidad del adolescente, pero con quien quieren dar es
03:35con los compradores de estas fotografías adulteradas, porque bueno, evidentemente
03:40ese es el canal que la justicia tiene que seguir.
03:43Mientras tanto, como les decía, acá hay clases normalmente, pero pudimos hablar hoy
03:48justamente con papás de algunas de las chicas afectadas y lo cierto es que, claro, el chico
03:54sigue viniendo en forma normal a clase, porque la escuela lo que dice es que todo esto sucedió
04:00por fuera del horario de clase, por fuera de la institución y entonces no parecieran
04:06estar tomando medidas concretas, por lo menos hasta el momento, habrá que ver si después
04:11hacen algún tipo de reunión o se hace encargo de algún tipo de vínculo con la comunidad
04:17educativa, porque es una cuestión que excede, digamos, que haya sucedido o no dentro de
04:22la escuela.
04:23Afecta inevitablemente a la comunidad educativa y particularmente a estas dos familias, estas
04:2822 chicas, pero habrá que ver qué es lo que hacen respecto a eso.
04:32Lo cierto es que las clases están funcionando normalmente, el chico sigue asistiendo, pero
04:36como te decía, hoy hablamos con familias.
04:39Lo más interesante es ver qué curso toma esa causa penal que mencionaba recién Javi,
04:45tratar de descubrir cuál va a ser el delito.
04:48Está Hernán Navarro con nosotros, que es presidente de Grummin Argentina.
04:52Hernán, ¿cómo te va?
04:53¿Cómo andás?
04:54Bien, ahora quiero pensar un poco eso.
04:55Y está Alexander Titzen, que es presidente de Sociedad Argentina de Inteligencia Artificial.
05:01¿Cuánto para hablar de ese tema, no?
05:04¿Hay delito para vos, Hernán?
05:06Bueno, varias consideraciones.
05:07Desde el punto de vista jurídico, primero partir de la base que planteaba Javier, donde
05:12este adolescente es inimputable, 15 años de edad, desde el punto de vista del análisis
05:18de la figura, cuando las imágenes...
05:21Primero existe una anomia en la Argentina, es decir, un vacío legal en la Argentina
05:24respecto de la normativa cuando se ve mediante la inteligencia artificial.
05:30Ahí surgen dos instancias.
05:33Cuando el rostro y el cuerpo sean falseados de base, no habría delito, según la falta
05:44normativa de la Argentina.
05:45Ahora, cuando el rostro sea de una persona que existe y el cuerpo no necesariamente,
05:52se podría, que sería este el caso, la justicia tendría herramientas para poder encuadrarlo
05:58dentro de los términos previstos en el artículo 128 del Código Penal.
06:02Que si bien no hay extorsión, no hay coacción, existe la producción, la distribución y
06:08la comercialización de imágenes de contenido sexual de personas menores de edad.
06:13Quiero ir al principio.
06:14¿Qué es esto, Alexander?
06:16Porque no todo el mundo que nos ve está obligado a saber qué es esta historia de la inteligencia
06:20artificial, ¿no?
06:22Bueno, claramente es una herramienta que le permite a alguien que no tiene conocimientos
06:26técnicos, que no tiene grandes habilidades, de hacer una imagen que engañe al ojo humano.
06:32Y ese es el nuevo mundo en el que entramos.
06:34Perdón, perdón.
06:35Entonces, repetirlo porque es muy interesante como lo planteás.
06:38La inteligencia artificial de movida permite engañar al ojo humano.
06:43Claramente.
06:44Y le abre esa posibilidad a gente que no hizo un máster en el MIT, sino a un pibe que aprendió
06:52a usar algunas herramientas, ya puede generar una imagen que engaña, tal vez, a un comprador
06:57que dice, oh, mirá, por ahí se cuelga la historia.
06:59Cualquiera puede acceder a hacer esto.
07:02O sea, al día de mañana la inteligencia artificial puede hacer que yo diga lo que
07:05no estoy diciendo.
07:06Exactamente.
07:07Y es fácil hacerlo.
07:08Hoy mismo.
07:09Hoy mismo pasa.
07:10Está pasando.
07:11Sí, sí, ahí.
07:12Hoy mismo está pasando.
07:13Ya están saliendo videos de líderes mundiales dando discursos que en realidad nunca dieron.
07:17Entonces, Alexander, te hago la pregunta más filosófica.
07:20¿Dónde queda entonces la verdad y la mentira?
07:22Es el mundo en el que estamos entrando y hay una conversación nueva para dar.
07:25Es la profundidad de la era de la posverdad, digamos, ¿no?
07:30Esto de no distinguir qué es real, qué es mentira, digamos, se va a agudizar cada vez
07:34más.
07:35Bueno, ahí yo creo que tenemos que ir a nuestros líderes a decirles, bueno, si el problema
07:40era agudo, ahora ya directamente no lo podemos postargar, encontremos alguna manera de que
07:46este chico de alguna manera reciba algún castigo, que ese castigo sea ejemplar y que
07:49nadie, ningún vivo, no te conozca, se le ocurra hacer lo mismo, porque las herramientas
07:52están y cada vez...
07:53Si no hay legislación, ¿qué castigo puede recibir?
07:56No, y a la vez agrego, hoy estamos viendo adolescentes que están siendo funcionales
08:01a las redes de pedofilia, digamos...
08:03¿Cómo es eso?
08:04Claro, adolescentes que están siendo funcionales a las redes de pedofilia.
08:08Mirá, Facundo, la pedofilia, nosotros venimos perdiendo la guerra contra la pedofilia.
08:13Niños de 8 años, de 9, de 7, de 10, con stickers de violencia sexual extrema, desnudando
08:18compañeras de colegio para comercializar.
08:21Este tipo de situaciones incentiva, en el marco de la oferta y de la demanda, las situaciones
08:26de pedofilia, las situaciones de desnudez, que se eternalizan, que se perpetúan.
08:32Hoy las imágenes de desnudez de niñas, niños y adolescentes se perpetúan, se eternalizan.
08:37Por eso aparece la darweb, por eso aparece la dipweb.
08:40Y en este caso hay adultos que aparentemente han comprado esas imágenes que produjo este
08:46chico.
08:47Muchos.
08:49En la figura, digamos, de cuello para abajo, de una mujer adulta o mayor de edad, el rostro
08:56es de una niña, de una nena de 15, 16 años.
08:59A ver, es lo que decía, justamente, respecto del tema de la figura, figura jurídica.
09:08Existe, por supuesto que existe, y en todo puede enmarcarse.
09:11Siendo mayor de edad sería distinto.
09:14Lo estaría detenido, probablemente, salvo que tenga algún impedimento o algún vínculo
09:19con redes de pedofilia o haya buscado justamente esto.
09:22Pero hay, digamos, el vacío legal está porque esto es nuevo, entonces tiene que reconfigurarlo.
09:28Ahora, este chico teniendo 15 años puede haber hecho un daño psicológico muy grande
09:33con esto.
09:34Sí.
09:35Porque...
09:36Eso es reinteresante, Javier.
09:37De hecho, ¿sabes qué?
09:38Recordaba, el año pasado tuvimos un caso en una escuela, se me acercan cuatro adolescentes
09:43que querían hablar conmigo.
09:44Una me muestra una foto de ella desnuda soplando las velitas del cumpleaños.
09:49Rápidamente interpreté que era un mecanismo de deepfake, este mecanismo de montaje.
09:55Una de ellas, ¿sabes lo que dijo?
09:57Dijo, yo tuve que ir, dijo, yo también soy víctima y tuve que ir a la galería de mi
10:03teléfono para ver si la de la imagen era yo y me la había sacado yo esa imagen.
10:09O sea, es tan real lo que crea Alexander la inteligencia artificial.
10:13Correcto.
10:14Y además quiero corregir algo.
10:15Este delito se podía acometer antes de la inteligencia artificial, el tema que requería
10:18mucha más habilidad, mucho más tiempo, mucho más esfuerzo.
10:21O Photoshop, por ejemplo.
10:22No quería nombrar el programa pobre de la gente de Adobe que encima son sponsors en
10:27Sciacom.
10:28Pero a ver, todas estas herramientas, ¿por qué tengo que decirlo?
10:31Está hecho para el bien, para mejorar cosas, no para empeorarlas, lo que pasa es que depende
10:36quién la utiliza.
10:37Es el caso, obvio.
10:38Si alguien mata a una persona con un cuchillo de cocina, ¿qué vamos a hacer, prohibir
10:42las cocinas?
10:43No, por supuesto.
10:44Obviamente, ¿no?
10:45Es el mismo discurso.
10:46Lo que tenemos que hacer es, ya nos dormimos con la era de Photoshop, ahora no hay tiempo
10:48de dormirse.
10:49Encontremos alguna manera de castigar rápido.
10:51¿Cuál podría ser?
10:52¿Legilar?
10:53Bueno, las policías ya tienen un departamento de ciberdelito, por un lado, y después por
10:58el otro.
10:59Y trabaja muy bien el departamento de la Ciudad de Buenos Aires, ¿eh?
11:01La Ciudad de Buenos Aires trabaja muy bien, de hecho hay muchas provincias que también
11:05trabajan muy bien.
11:07El tema está en que miramos a la justicia, pero poco miramos al legislador, que es el
11:12que tiene que promover normativo, acorde, para que la justicia pueda investigar.
11:16Acá hablamos de situaciones que verdaderamente no existe marco normativo, y de hecho cuando
11:22uno analiza las distintas figuras en términos de delitos informáticos, en términos de
11:27ciberdelitos, hablamos de la ley de delitos informáticos, la 26.388, es del año 2008.
11:34¿Estamos discutiendo la inteligencia artificial con leyes de delitos informáticos del año
11:382009?
11:39Lo que pasa es que se puede utilizar, reitero, para hacer el bien, otros lo utilizan para
11:43el mal, y otros para hacer algo divertido, que no ofenda, sino que lo que haga es mostrar
11:50habilidades con este tipo de inteligencia.
11:52Perdóname, yo le mandé a la producción a ver si lo podemos poner para mostrarles a
11:56propósito de lo que habló justamente Alex, respecto de los líderes internacionales.
12:03Vos ya sabés a lo que hablo, me imagino, ¿no?
12:05Sí, sí.
12:06Lo que quiero decir, a ver, no tenerle miedo, pero saber que esto pasa.
12:11Y con esto que le vamos a mostrar ahora, de los líderes internacionales, es para mostrar
12:15que se pueden hacer cosas divertidas, pero a la vez preocupantes, porque así como lo
12:21hacen para mostrar algo realmente innovador, novedoso, muy habilidoso y con mucho detalle,
12:31mirá, podés transformar a alguien, no que no existe, sino que existe, mirá lo que hicieron.
12:37Mirá, sacále el grafo, Diré, por favor, mirá.
12:40Un desfile con inteligencia artificial de los principales líderes mundiales, ¿sí?
12:47La reina Elizabeth, ¿ven?
12:49Cualquiera puede decir, bueno, pero se notan, pero mirá cómo lo hicieron, Vladimir Putin,
12:55Xi Jinping, de Corea del Norte, después hay algunos en los que ellos aparecen, Kamala
13:00Harris.
13:01En su edad real.
13:02Claro.
13:03Fue lo más peligroso.
13:04También, pero digo, esto también se hace como para, bueno, nada, la inteligencia artificial
13:09sirve para hacer algo divertido también.
13:12Sí, se está viendo mucho también, Alexander, fotos que de repente se animan, ¿no?
13:18Que cambia, por supuesto, la manera de mirar un retrato antiguo que ahora tiene movimiento.
13:25Algo que estaría muy bueno y que tenemos que dar la conversación, y por eso nosotros
13:30desde la sociedad argentina hacemos eventos de debate como la conferencia del jueves 31,
13:35en los que se va a hablar, es empezar a generar una sociedad que demande que los canales por
13:39los que circula todo esto empiecen a generar herramientas para detectar y que vos veas
13:44un video y te diga, bueno, cuidado, esto fue generado por IA, ¿no?
13:47Para empezar, para poder empezar a discernir.
13:49Y por el otro lado, por supuesto, como todo en internet es trazable y como tenemos policía
13:54de ciberdelito, lo que necesitamos son mejores leyes, como decía Hernán.
13:57Entonces ese es el esquema de todo lo que tenemos que hacer, pero no nos metamos con
14:00una herramienta que nos va a traer muchísimos beneficios.
14:03Quiero poner al aire un informe de televisión española, porque esto que pasó en San Martín,
14:08y ahora vuelvo un minutito si es necesario con Lu, para ver cómo sigue la comunidad
14:12educativa, de alguna manera se anticipó en España, mirá esto.
14:18Las fotografías de sus hijas menores de edad desnudas gracias a la inteligencia artificial
14:23corren por WhatsApp.
14:24A ver, ¿dónde iban a llegar esas imágenes?
14:26Si tú no conoces a la niña, ¿te crees que está así?
14:28No la que se ni ve, porque eso era tan real y tan horroroso y tan horrible.
14:31La policía civil investiga a cinco jóvenes, algunos de ellos menores, por crear y difundir
14:35imágenes de 20 chicas menores, también modificadas con inteligencia artificial y distribuidas
14:40a través de una aplicación de mensajería instantánea.
14:43Los jóvenes conocieron a las víctimas y los padres de una de ellas han denunciado
14:48los hechos.
14:49Mis hijas, con un disgusto tremendo, miran lo que me han hecho y resulta que le han hecho
14:57con una aplicación, han cogido una foto suya y la han puesto como si estuviera desnuda.
15:03Y esto se lo han hecho a mi hija y por lo visto a decenas de niñas más.
15:07Aplicaciones como la que han utilizado son de fácil acceso, apenas tienen controles
15:12y todavía falta una legislación que regule el uso de la inteligencia artificial.
15:15Alteradas mediante un software de inteligencia artificial, modificando imágenes de chicas
15:20menores de edad para que aparecieran sin ropa, siendo posteriormente distribuidas a través
15:25de una famosa aplicación de mensajería.
15:28El realismo de las imágenes generaba una gran dificultad para distinguir entre aquellas
15:33que eran auténticas y las que habían sido modificadas.
15:36Desnuda a una chica gratis es el reclamo de una de las aplicaciones de inteligencia artificial
15:41para crear imágenes sexuales falsas, una tecnología, el deepfake al alcance de cualquiera.
15:46Este tipo de tecnologías en realidad no son nuevas, llevan bastante tiempo funcionando.
15:51Hemos visto en las redes a mujeres adultas llorando.
15:54Imagínate lo que es esto para un adolescente.
15:57Lo que empezó como un juego.
15:59Un grupo de niños que se dan cuenta con la inteligencia artificial desnudamos a quien
16:03nos da la gana.
16:04Acabado como delito contra la intimidad, como mínimo.
16:07La represalia hay que echársela, quien lo haya hecho que lo pague.
16:10Que sin saberlo están haciendo pornografía infantil.
16:13Ellas no tienen culpa ninguna y que los que han hecho mal son ellos.
16:17Ellos, niños menores de su propio instituto, han utilizado sus fotos que han cogido de
16:22Instagram para crear desnudos con inteligencia artificial.
16:26¿Esto es un delito?
16:27Es delito crearlas y reenviarlas y en algunos casos incluso se han utilizado para extorsionarlas.
16:34Pidiéndole dinero.
16:36Mi hija se niega y acto seguido él le manda la fotografía del fotomontaje.
16:41Por favor, yo no lo quiero ni pensar.
16:43Porque las fotos pueden no ser reales.
16:46Incluso se ve que la he tenido que mirar dos veces.
16:48Porque yo conozco a mi hija, pero cualquier persona que vea eso piensa que es ella desnuda.
16:52Pero las consecuencias sí lo son.
16:54Hay niñas que lo están pasando muy mal porque se están metiendo con ellas en el colegio.
16:58Es una rabia, es una impotencia, es un dolor.
17:01Ahora tienen miedo del uso que puedan tener los montajes.
17:04Es que me da un miedo a otros que salgan en páginas pornográficas, que estén en redes sociales.
17:11Son más de 20 madres denunciantes.
17:13El caso está ya en manos de la Fiscalía de Menores.
17:18Bueno, ahí se intervino y se intervino de forma severa.
17:21Que es lo que un poco, a modo de cierre, se pretende que suceda acá, ¿no?
17:25Sí, este caso particular reúne similares características con el caso de San Martín en El Mendralejo.
17:30Sí, 25 víctimas.
17:33Por eso planteamos, a ver, lo digo con mucha preocupación,
17:37para que podamos dimensionar como sociedad esto que estamos viendo.
17:40Hoy la pedofilia tiene en su poder la posibilidad de fabricar el contenido
17:45y tiene la herramienta de coacción, tiene la herramienta para poder decirle a la víctima
17:51esta sos vos y si no me mandás más fotos como esta, la que yo ya tengo en mi poder la voy a compartir.
17:57Esta es la gravedad de lo que estamos planteando con mucha preocupación.
17:59Alexander Tucciarbe.
18:01Bueno, claramente tenemos que demandar un mayor compromiso de las redes por las que se viraliza esto,
18:08que pongan un corte.
18:10Tenemos que hacer una cooperación internacional para ir a buscar estas aplicaciones y bajarlas.
18:15Haces un mal uso de la inteligencia artificial, chau.
18:17Ojo que a este pibe le hallaron la casa, la policía le incautó, a distancia obviamente de la fiscal,
18:26una computadora con la CPU, una notebook y obviamente el material de almacenamiento,
18:33todos los equipos de almacenamiento.
18:34Ahí llegaste tarde.
18:35Ahí llegaste tarde.
18:36Está todo hecho.
18:37El tema es que ese pibe ya tuvo acceso a una aplicación que le hizo todo esto fácil.
18:41Esa aplicación que mostrábamos recién, que veíamos recién en el video,
18:45no puede llegar a la mano de nadie.
18:47Hay que ir para cerrar.
18:48Una vez que lo pusiste, no sabés a dónde va.
18:53Pero por eso digo que se eternaliza la violencia, se perpetúa.
18:56Un dato me parece interesante resaltar, la actitud de los compañeros de colegio
19:01que pudieron discriminar este tipo de situaciones, pedir ayuda,
19:04porque esto lo estamos viendo mucho en los colegios,
19:06al punto tal de que estamos comenzando a trazar hipótesis en términos de vasos comunicantes
19:13donde estamos encontrando la adicción, los delitos que se dan en términos financieros,
19:21con el crimen sexual, la necesidad de dinero, por eso desnudan a las compañeras
19:26por un rédito económico.
19:27Estamos empezando a trazar estas dos figuras.
19:30¿Cómo haces para detectarlo?
19:31¿Hay algún elemento que puedas detectarlo?
19:34¿Decir, bueno, aplico esta, o meto esta aplicación y veo a ver si es verdadera?
19:39No hay manera hoy.
19:41No, no, yo a lo que me refiero es que ahí decían que había una aplicación
19:44que decía desnuda a cualquier cuerpo.
19:46Yo digo al revés.
19:47¿Esto es verdad o es falso?
19:49¿Esto que dijo este presidente o este diputado es verdad o es inteligencia artificial?
19:55Mirá, no quiero entrar mucho en detalles, pero ¿sabés una técnica, por ejemplo,
19:59para detectar un fake?
20:00Hay un algoritmo que ve más allá del ojo humano que detecta los pequeños cambios
20:06que hay en la cara cuando pasa sangre del latido.
20:08Eso vos no lo ves, el ojo no tiene la sensibilidad para hacerlo,
20:12pero un algoritmo que específicamente va a buscar eso te dice enseguida
20:15cuando un video es falso.
20:16Eso es una de mil técnicas.
20:17Claro, para parar.
20:19Para detectar.
20:20¿Pero eso es una app pública, digamos?
20:22No, no, eso es una técnica que se podría aplicar, por ejemplo, en WhatsApp.
20:25Entonces vos viralizás un video, si lo querés vender a alguien,
20:27WhatsApp dice, esto es un deepfake, listo, chao,
20:29junto a la comunicación, le digo a la ICAN o a Interpol,
20:33le digo, che, mirá, acá, por favor, investiga a esta persona.
20:36O sea, hay cosas para hacer.
20:37Técnicamente la solución está, hay que favorecer la conversación,
20:41necesitamos leyes más ágiles y necesitamos poner esto sobre la agenda,
20:45en la mesa.
20:45Sí, fundamentalmente en materia educativa que seguimos hablando
20:48de los dinosaurios en las escuelas y no estamos hablando de esto.
20:51De hecho, la ausencia de políticas públicas tendientes al reconocimiento
20:55de la educación digital, o sea, los chicos no saben cómo configurar
20:59hoy un WhatsApp, un docente está invalidado de poder explicarlo,
21:03de esto no se habla en casa, la falacia de los dos mundos,
21:06el mundo digital versus el mundo físico, digamos.
21:09Estamos tomando a fuerza, lamentablemente, estos casos,
21:14situaciones gravísimas que, como en el círculo de la violencia,
21:18una vez que trasciende, digamos, no hay vuelta atrás.