Imágenes falsas de menores creadas con IA: ¿Cómo deben actuar los colegios ante estos casos?
Un estudiante de un colegio en Argentina generó controversia al crear y vender imágenes pornográficas falsas de sus compañeras utilizando inteligencia artificial. Aunque las imágenes eran ficticias, incluían los rostros reales de las menores, lo que ha llevado a denuncias y una causa judicial. Este caso resalta la falta de regulación sobre el uso de IA y evidencia digital en el país, así como la necesidad urgente de abordar estas cuestiones legales y éticas.
Category
🗞
NoticiasTranscripción
00:00Hernán Navarro, que es el fundador y director ejecutivo de Grummin en Argentina.
00:06Hay una noticia que te voy a pedir vos, Gravia, que me la cuentes,
00:09que tiene que ver con este alumno de un colegio que vendió imágenes...
00:13Sí, en realidad lo que hizo es tomar imágenes de sus compañeras del colegio
00:19y después, por intermedio de inteligencia artificial,
00:23crear imágenes falsas de desnudos de ellas y poner...
00:27Imágenes pornográficas de menores.
00:29Sí, chicas de menor edad.
00:30De menores, pero imágenes falsas. A ver, para que se entienda.
00:34Creó imágenes falsas, pero con la cara de sus compañeras.
00:39La cara que es verdadera.
00:40Claro, y a partir de ahí, empezó como un juego,
00:44después terminó vendiendo o ofreciendo ese tipo de imágenes en las redes sociales.
00:51Fue un escándalo, ¿no?
00:52Por eso es un escándalo, por eso hay denuncias, por eso hay una causa judicial.
00:55Pero hay dos problemas.
00:57Encierra muchas problemas.
00:58No, pero hay dos problemas.
00:59El primero, que supongo que es Hernán, el especialista,
01:02que tiene que ver con cómo se regula judicialmente
01:05el tema de la inteligencia artificial, que estamos a años luz en Argentina.
01:08Y el segundo tema es que además era menor de edad, con lo cual...
01:12Sé que es inimputable.
01:13Olvidate.
01:14Al ser menor de edad y en un delito de estas características,
01:18va a ser un cursito para mejorar su performance social, no mucho.
01:25El tema nos preocupa a todos, el avance de la inteligencia artificial.
01:29Puede ser muy bien usada o no, como en este caso.
01:32Pero te pregunto, Hernán, a vos te contactaron las familias de las damnificadas.
01:35A ver, hablamos en una primera instancia con una de las familias,
01:39tratamos de aconsejar para preservar.
01:42Acá hay algo importante, que es la preservación de la evidencia digital.
01:45La sociedad no tiene información de cómo preservar la evidencia digital,
01:48cómo denunciar, cuál es la comisaría en Internet, a quién recurro.
01:52No, no sabemos nada.
01:54De hecho, estas chicas deben estar muy afectadas en lo personal.
01:57Porque aunque no sean ellas, aunque no sea su cuerpo, aunque no sea real,
02:01te sentís horrible.
02:03No quieren volver, porque se sienten avergonzadas.
02:06Es que logramos, como sociedad, relativizar el impacto de lo que sucede en Internet.
02:13Y por eso seguimos pensando a Internet como un mundo virtual,
02:17cuando en realidad algo virtual es algo de existencia aparente.
02:21Lo que nos pasa en Internet realmente...
02:24Lo que decía Gustavo me parece reinteresante, y trato de resumirlo en 10 segundos.
02:28Falta normativa, no existe normativa tendiente a la regulación de la evidencia digital en la Argentina.
02:34Cara real, cuerpo inexistente, se podría encuadrar dentro del delito
02:41que mal conocemos o mal llamamos como pornografía infantil,
02:44dentro del artículo 128 del Código Penal.
02:47Cara falsa, cuerpo falso no existe, no hay nada, no se puede hacer nada.
02:51El tema está en... Nosotros lo venimos viendo con los adolescentes en las escuelas.
02:55El año pasado tuvimos un caso, una chica me dice
02:59Hernán, tuve que ir a la galería de mi teléfono
03:03para ver si la de la foto efectivamente me la había sacado yo.
03:06La puso en duda la inteligencia artificial,
03:08esto es un mecanismo que se llama Deepfake,
03:10que es suplantar los datos biométricos de una persona en otro cuerpo inexistente.
03:16Es una tecnología muy común hoy en día en Hollywood,
03:18salvo que hace un par de años era medio impensable tener la mano de todos
03:21y con la inteligencia artificial de repente cualquiera puede poner la cara de cualquiera en cualquier imagen.
03:25Se usaba para los memes.
03:27Hay aplicaciones que uno puede cambiar.
03:30Hoy el 90% de las Deepfakes son sexuales.
03:35El tema acá de fondo en línea con lo que plantea Gustavo es
03:39tenemos adolescentes que están siendo funcionales a las redes de pedofilia.
03:45¿Y por qué no regulamos de una vez por todas?
03:47Le decimos a los diputados, a los senadores, chicos vamos despertando.
03:50Es algo internacional.
03:52Pero te pregunto Hernán, porque como viene el avance en la tecnología
03:55hasta que se junten nuestros diputados.
03:58Pero emergencia, pame.
04:00Este es un tema donde no podemos...
04:03Lo planteo al revés, Pablo, lo planteo al revés.
04:06En la Argentina no existen políticas públicas tendientes a la educación digital.
04:12Hoy los docentes hablan de los dinosaurios en las aulas con un pizarrón
04:17del mismo modo que se hacía hace siglo pasado
04:20y no le hablamos ni siquiera a los chicos de cómo configurar Whatsapp.
04:24Es que sabemos de la problemática, Pablo.
04:26Pero ante la emergencia, pame, vemos este caso.
04:29¿Quién se va a oponer a legislar para decir que no pase esto?
04:32¿Y quienes instalan fake news?
04:35Dos grupos muy particulares.
04:37Los mentirosos y los pervertidos.
04:39Para mí no les interesa cuando hay un manejo claro de las noticias falsas.
04:43Exacto, un mundo de mentiras.
04:45¿Cómo les va a interesar que se legisle esto si lo están usando?
04:49Eso es interesante, pame.
04:51Es la profundización de la era de la posverdad.
04:56En meses no va a ser distinguible.
05:04¿Podemos bajar a tierra?
05:06Yo pienso esto, ¿no?
05:07El chico tiene 15 años.
05:08¿Qué pasa con los padres de esos chicos?
05:10¿Hablaron alguna vez?
05:11Porque ¿en qué cabeza cabe que vos le bajes?
05:13Los padres intentaron encubrirlo de entrada.
05:15No quiero juzgar a este caso.
05:18Quiero pensar en general qué pasa con nosotros, los padres,
05:22y la educación y las charlas que no damos en la casa con los adolescentes.
05:27Porque está mal que vos te metas con la intimidad de una persona
05:30aunque no sea real.
05:31Total.
05:32Es un cuerpo desnudo.
05:33¿En qué cabeza cabe que vos vas a andar repartiendo, vendiendo?
05:36No importa qué.
05:37Un padre que intentó decir que le habían hackeado a su hijo
05:42la computadora y el teléfono.
05:44Sí, lo que se van a cubrir.
05:45Entonces...
05:46Pero yo voy en general.
05:48No voy a responsabilizar al colegio.
05:50Lo van a echar, no lo van a echar.
05:52Más allá del padre, el caso particular, en general,
05:55entiende lo que dice Pamela,
05:56es cómo estamos reaccionando frente a estas cuestiones.
06:00Estamos naturalizando que pase.
06:01Es que pensemos.
06:03Un padre hoy le pregunta al hijo cómo le fue en el deporte, en fútbol.
06:07Le pregunta cómo le fue en la escuela.
06:09Nunca le pregunta cómo le fue en Internet.
06:11Porque seguimos pensando en clave física, pero nunca en clave digital.
06:15No estamos reconociendo...
06:16No entiendo.
06:17Voy de nuevo.
06:18No, es que el padre piensa...
06:19Claro, como sociedad, como mundo adulto,
06:21pensamos que Internet es inocuo.
06:23Que es algo...
06:24Tenemos una mirada sesgada.
06:26Que no existe.
06:27Claro, exacto.
06:28Entonces, vos como mamá le preguntás,
06:30che, ¿cómo te fue en la escuela?
06:32Bien, mal.
06:33¿Cómo te fue en fútbol?
06:34Bien, mal.
06:35Le preguntamos, ¿cómo le fue en Internet hoy?
06:37¿Le podría poner en palabras?
06:39Claro.
06:40Yo le puedo preguntar, ¿cómo te fue en las redes sociales?
06:42Y él me dice, no, me hicieron bullying cuatro, tres veces.
06:45No, no, no.
06:48No, no, no.
06:49No te voy a contar, papá, lo que me están diciendo en Instagram
06:51o lo que mandé.
06:52Mandé un mensaje, me encaré una mina por Internet.
06:54No te voy a contar eso.
06:55No, porque ¿sabés cómo se traducen los datos?
06:57Los datos nos muestran en la Argentina
06:58que ocho de cada diez niñas, niños y adolescentes
07:00refieren que saben más de tecnología que sus padres.
07:03Hasta ahí alguien dirá, bueno...
07:05O sea que no nos van a responder, nos van a...
07:07Claro, pero ¿sabés cuál es el metamensaje de ese resultado
07:10que nos muestra los datos?
07:13Es que un chico no va a poder, tal vez, acudir a papá o a mamá
07:16porque siente o piensa que no lo van a poder ayudar.
07:18No lo van a poder entender.
07:19Que no va a entender.
07:20Exacto.
07:21Entonces...
07:22Bueno, esto es políticas públicas, esto es educación,
07:26esto es trabajo en casa, esto es articulación
07:29entre la familia, la escuela.
07:30Fijate el debate que se genera en este caso.
07:32Yo quiero aprender.
07:33Como madre quiero estar a la altura.
07:34Siento que estoy...
07:35Bueno.
07:36Años luz de lo nuevo, de la IA.
07:38¿Ustedes como madres les molestaría?
07:40A veces siento que si vos educás a tu hijo y charlás,
07:44tu hijo nunca va a caer en hacer eso.
07:46Absolutamente.
07:47Porque ya antes de hacerlo...
07:48Educar es la confianza.
07:49Ya sabe que está violando la intimidad de otra persona.
07:51Absolutamente.
07:52Entonces, me parece que está violando la intimidad en casa.
07:54Pero Nati, están ignorando las parafilias sexuales,
07:58están ignorando un montón de cosas que componen a una persona
08:00y que lo calienta.
08:01No importa cuánto eduques a alguien,
08:03un flaco que tiene una atracción sexual a los hombres,
08:06a las mujeres, a lo que sea, no va a cambiar su atracción sexual.
08:09No.
08:10No importa cuánto le expliques, cuánto le eduques.
08:12Pero por eso, capaz este chico,
08:14la única forma en la que recibe placer sexual,
08:17es haciendo este tipo de asquerosidades.
08:18Y ahora un padre no puede entrar a decir,
08:20y no hagas eso, porque está atado a la cabeza
08:22el porno que tienen todos en el celular, todo el tiempo.
08:25Lo digo porque lo vi.
08:26Lo digo porque lo vi.
08:28Desde los 10 años que tengo porno en la computadora,
08:31me doy cuenta que es una cosa que daña,
08:33no solamente el libido, la capacidad de tener sexo.
08:36Pero tengo computadora desde que tengo 4 años yo.
08:40Hablemos de datos.
08:41Los datos muestran hoy que en la Argentina y en el mundo,
08:44los chicos acceden a páginas pornográficas
08:48de entre los 6 y los 11 años.
08:51Pero ¿y eso no se puede controlar?
08:53Cuando tu hijo está navegando,
08:55¿no hay manera de controlarlo?
08:57Sí.
08:58Y listo.
08:59De hecho, nosotros los padres podemos tener un control parental,
09:02que generalmente no lo usás,
09:04porque así como tenés las plataformas...
09:06Tiene un límite ese control parental.
09:07Pero el control parental es un paliativo, es un placebo.
09:09Al padre le aporta una falsa percepción de la seguridad.
09:12Descansa en una herramienta que el chico va a saber eludir muy bien.
09:15Porque hay que hablar claro.
09:17Una cosa es educar en la confianza, estoy absolutamente de acuerdo.
09:20En la casa.
09:21Para mí son dos temas diferentes.
09:23Es una cosa que consumen pornografía,
09:25y otra cosa es que violen la intimidad
09:27y creen imágenes de compañeras y las vendan.
09:29Eso es un delito.
09:31Por eso digo que lo más importante es la educación en tu casa.
09:33Porque vos podés consumir pornografía,
09:35pero si vos educás bien a tu hijo
09:37y le enseñás los valores que tiene que tener,
09:39quiero creer,
09:41que un hijo bien educado
09:43no te va a violar la intimidad y va a vender fotos
09:45de ejes artificial de un compañero.
09:47Pero no sabés.
09:49Sí, porque la educación va por casa.
09:51Yo estoy de acuerdo.
09:53El tema está en que de estos temas en casa no se hablan.
09:55De estos temas en la escuela no se habla.
09:57En el caso de la escuela no se habla.
09:59En el caso de la escuela no se habla.
10:01Y también está la pertenencia de los chicos.
10:03Si son un grupo donde en una casa se habla,
10:05pero en los otros ocho no se habla,
10:07seguramente siga al resto,
10:09porque lo hablamos siempre,
10:11la pertenencia en sí.
10:13No tener conciencia de lo que hizo el menor.
10:15Desconozco.
10:17Somos padres que quieren encubrir.
10:19Pero lo que voy a decir,
10:21este caso nos sirve para hablar en general.
10:23Igual no tiene ocho.
10:25Y en los mundos de hoy,
10:27un chico de quince años ya tenía crecimiento
10:29y nosotros teníamos mucho más.
10:31Tampoco pensamos que es un nenito.
10:33Sin contexto, en mi secundaria a la que yo iba
10:35hubo un caso con una persona,
10:37en un grado más, no me acuerdo si era más grande o más chico que yo,
10:39que le encontraron en la computadora,
10:41en el Google Drive, una carpeta llena de fotos
10:43de todas las compañeras que tenía,
10:45de diferentes ángulos. Entre fotos que sacaba de las redes,
10:47fotos de lejos que sacaba él.
10:49Esto es una cosa que pasa con la gente...
10:51Pero no las vendía.
10:53No las tenía para él, obvio, pero no importa si lo vende o no.
10:55No importa que lo venda o no.
10:57Acá hay algo más grave.
10:59Acá hay algo más grave.
11:01La gravedad radica en que
11:03hoy cambia el paradigma de la violencia
11:05sexual de las niñas, niños y adolescentes.
11:07Lo voy a explicar llanamente.
11:09Cambia el paradigma
11:11de la producción del material
11:13a la fabricación del material.
11:15Hoy se fabrican las imágenes
11:17de desnudez y hoy un pedófilo,
11:19lo llevo al plano del delito,
11:21puede tener en su poder
11:23la posibilidad
11:25de coaccionar a la víctima
11:27fabricando la imagen.
11:29Entendemos la gravedad.
11:31Es un montón.
11:33Mucho más cuando te das cuenta
11:35que la inteligencia artificial en las redes
11:37se usa principalmente para recrear
11:39niños, bebés y animales.
11:41Son las tres cosas que más se ven.
11:43¿Qué te dice eso? Que la inteligencia artificial
11:45aprende más de las cosas que más se le da.
11:47Perdón, perdón.
11:49Lo que pasa es que si es lo que vos decís,
11:51sí existe la posibilidad
11:53de demandarlo.
11:55Ya sea por grooming,
11:57por coerción,
11:59por coacción.
12:01Acá en la Ciudad de Buenos Aires está
12:03la fiscal específica de delitos informáticos
12:05que básicamente se está ocupando
12:07de todo lo que tiene que ver
12:09la doctora Dupuy
12:11que trabaja sobre eso.
12:13El problema es que acá
12:15además se suma que es un menor.
12:17Por lo cual nos da doble alerta.
12:19Primero la legislación sobre el tema
12:21y segundo es
12:23qué está pasando por la cabeza de nuestros menores.
12:25Pero algo para destacar.
12:27Lo que vos estás diciendo Gus
12:29es que hay alguien que se maneja muy bien
12:31cuando se trata de menores
12:33se actúa de manera inmediata
12:35pero lo que queda establecido es que no pasa nada.
12:37Que cualquier invento una noticia falsa
12:39dice lo que quiere
12:41en las redes sociales.
12:43No hay consecuencias porque si intentan regularla
12:45hasta dicen censura.
12:47¿Qué hicimos Chiquito?
12:49¿Le podés pedir la guía?
12:51¿Cómo podemos
12:53combatir?
12:55Tenemos que hacer la pregunta correcta.
12:57¿Cómo solucionaríamos la problemática
12:59del uso de imágenes
13:01prohibidas a menores de edad?
13:03Nos comunicamos otra vez de Meta.
13:05Que es la más popular actualmente
13:07que por cierto es la que todos...
13:09Yo quería hacer una pregunta.
13:11¿Qué rol cumple el colegio en estos casos?
13:13¿O qué rol debería cumplir?
13:15Bueno, buena pregunta.
13:17Hay una puja de responsabilidades
13:19entre la familia, el colegio, el colegio y la familia.
13:21Hoy lo que entiendo que
13:23la comunidad educativa no comprende de fondo
13:25es que las violencias
13:27son un loop.
13:29Porque hoy un chico con la posibilidad de tener
13:31un dispositivo móvil propio
13:33el mejor ejemplo es el bullying.
13:35El histórico bullying.
13:37Hoy el bullying se convierte en ciberbullying
13:39las 24 horas. Hoy las víctimas
13:41son víctimas las 24 horas.
13:43Esto te puede explotar
13:45intramuros del colegio
13:47o te explota en casa pero te termina
13:49explotando de vuelta en el colegio.
13:51Hay que trabajar en conjunto.
13:53Yo creo que yo como mamá lo digo.
13:55Estoy lejos, quiero aprender.
13:57El colegio probablemente esté lejos y deba aprender.
13:59Y tenemos que todos
14:01informarnos con especialistas, con vos,
14:03con grupos, aprender a hacerlo.
14:05Y fuimos a la IA a preguntar cómo se puede resolver esto.
14:07¿Qué preguntaste Chiquito?
14:09Le pedí soluciones para
14:11encarar el tema de la realización
14:13de imágenes a través de la inteligencia artificial.
14:15Le pedí un resumen porque la verdad que es muy extendido
14:17y me da 5 puntos.
14:19Primero, legislación y regulación.
14:21Actualizar leyes y regulaciones.
14:23Hasta ahí no existe.
14:25No tenemos ni el paso 1.
14:27Lo que es tecnología
14:29generar herramientas de detección
14:31y eliminación automática.
14:33Eso lo tienen que hacer las empresas.
14:35Lo que es educación,
14:37la figura de los colegios,
14:39conciencia sobre la explotación infantil.
14:41Bueno, nada de esto.
14:43Tenemos la ESI
14:45que se limita
14:47al uso preservativo.
14:49Desde el punto de vista reproductivo.
14:51Sí, pero es importante.
14:53Es muy importante
14:55la educación sexual.
14:57Pero se incorporó en un momento
14:59en el año 2006
15:01donde no existían las redes sociales.
15:03Por lo tanto, le falta
15:05la perspectiva digital.
15:07Le falta la perspectiva digital.
15:09Agrega 3 temas.
15:11Colaboración internacional, acuerdos y cooperación
15:13entre países.
15:15Pero eso existe siempre
15:17a nivel
15:19de redes de pornografía
15:21internacional.
15:23Es más difícil cuando a vos te pasa
15:25el caso
15:27de un nene.
15:29Yo entiendo que a los 15 años
15:31no son nuestros 15 años de hace 40.
15:33Pero para la legislación sigue siendo menos.
15:35Por eso, Gustavo, en un paréntesis,
15:37en este caso puntual, me parece interesante destacar
15:39el rol de los chicos que se animaron a hablar,
15:41que se lo contaron.
15:43Es tan importante como en el bullying el rol del espectador.
15:45Pero qué bien que no naturalicen eso.
15:47Me hizo una joda.
15:49El próximo punto que hice
15:51a referencia a eso, protección de víctimas,
15:53apoyo y privacidad.
15:55En la condición de la persona que habla.
15:57Y responsabilidad empresarial.
15:59Políticas efectivas
16:01y de colaboración.
16:03Políticas públicas.
16:05Políticas públicas es lo primero que dijiste, que no sucede.
16:07Políticas públicas...
16:09¿Dónde tenemos el alcance? ¿Qué se podría hacer?
16:11Vuelvo a decir...
16:13Hablando de Argentina.
16:15Esto debe pasar a nivel mundial.
16:17Pero es tan difícil para las empresas.
16:19A las grandes empresas de Internet no les pedimos nada.
16:21Y hacen lo que quieren.
16:23Es tan difícil decirles...
16:25Chucky me decía...
16:27Si sos mayor de 18, ponés sí, tenés 8 años
16:29y podés ver todo.
16:31Ponés no solo el documento.
16:33El documento con el número que abajo tiene
16:35en nuestro país.
16:37Yo no lo tiene nadie.
16:39Lo tenés vos en la parte de atrás del documento.
16:41Me tenés que robar el documento para poder
16:43acceder a eso.
16:45No les sirve.
16:47Algo tendrían que hacer.
16:49Meta y todas esas empresas.
16:51O por lo menos ser responsables.
16:53Claro.
16:55¿Sabés qué siento? Que le queremos dar
16:57la responsabilidad a un niño y a un adulto.
16:59Si mi hijo a los 7 años
17:01entra a una página porno,
17:03la responsabilidad es mía.
17:05No llega a ese lugar porque yo
17:07o estoy cocinando o estoy mirando la tele
17:09y no estoy prestando atención a lo que está haciendo mi hijo.
17:11Quizás está jugando al Counter Strike y le aparece eso.
17:13Controlar el acceso
17:15que tiene en Internet.
17:17¿Qué página ven? ¿Cuánto tiempo las dejo positivos?
17:19Cuando yo estoy navegando...
17:21¿La publicidad erótica te aparece
17:23si estás en un sitio erótico o pornográfico?
17:25¿Puedo plantear un debate?
17:27No, no, no.
17:29Lo que sí te aparece...
17:31Lo que tratamos de buscar son soluciones.
17:33En la red social Twitter está lleno
17:35de contenido de publicidad de porno
17:37y de porno hubo una controversia
17:39con la cantante Taylor Swift.
17:41Hicieron un montón de fotos y ella fue la primera
17:43artista en demandar a base
17:45de esta cosa que salió.
17:47Vamos a cerrar el tema
17:49pero Hernán propone un nuevo debate.
17:51Un nuevo debate que me parece central.
17:53Hay una edad cronológica inicial
17:55para que un chico tenga y asuma
17:57una identidad digital en una red social
17:59cualquiera sea que son los 13 años.
18:01Pero podés tener Instagram a los 12, ¿no?
18:0313 años todas las redes sociales.
18:05Si la mayoría de los niños y de las niñas
18:07tienen redes sociales pero primero
18:09identidades digitales asumidas por debajo
18:11de los 13 años, ¿con qué criterio ético
18:13y moral miramos a los ojos a nuestros hijos
18:15y les pedimos que no nos mientan?
18:17Siendo que la primera persona que le crea
18:19una cuenta falsa es el propio padre.
18:21Es como darle una licencia para manejar a los 13
18:23y decir, bueno, no choques.
18:25No, no, no, enseñame a manejar.
18:27Porque también las empresas promueven
18:29los mecanismos de seguridad de los 3 a los 17.
18:31Pero si el niño tiene 9 y para la empresa
18:33tiene 40...
18:35¡Laburen en la casa!