El Dr. Irvin Hussein López Nava, investigador por México adscrito al CICESE, expuso que actualmente no existen herramientas para detectar contenidos violentos en tiempo real en redes sociales, sino que se detectan ya que fueron publicados. En ocasiones pasan horas antes de que el contenido nocivo se elimine.

Ante esta necesidad e incentivado por el evento IberLEF, una campaña de evaluación de sistemas de procesamiento de lenguaje natural que se organiza a partir de tareas específicas, Esteban Ponce León, egresado de la maestría en Ciencias de la Computación del CICESE, participó en la competencia DA-VINCIS durante su etapa como estudiante del posgrado.

La competencia se dividió en dos tareas. La primera consistió en diseñar algoritmos para detectar eventos violentos por medio del análisis de textos de redes sociales, y en la segunda tarea los algoritmos debían ser capaces de clasificar el tipo de violencia detectada (robo, secuestro, etc.).

En la primera tarea Esteban obtuvo el segundo lugar y en la segunda obtuvo el primer lugar, resultados que se reflejan en su tesis de maestría titulada "Detección de eventos violentos en publicaciones de redes sociales", codirigida por Hussein López.

El objetivo de la investigación de Esteban fue diseñar un método para clasificar publicaciones de eventos violentos en la plataforma X, antes Twitter, combinando texto e imágenes y aplicando técnicas de aumento de datos.

Hussein López explicó que uno de los principales retos es que en los métodos de detección usando lenguaje natural y aprendizaje de máquina, técnicas de IA, intervienen aspectos subjetivos en el uso del idioma que pueden confundir al algoritmo.

"Por ejemplo, alguien puede decir 'este partido de fútbol fue un robo total', y si se programó un algoritmo para identificar la palabra 'robo' la va a detectar como evento violento cuando no es así, entonces importa mucho el contexto", comentó.

Para sortear este reto, agregó Hussein, se usan modelos de aprendizaje profundo que, alimentados con un gran volumen de datos, llegan a ser capaces de analizar el contexto de las palabras y ser más precisos al clasificar.

Enseñarle a una máquina qué es sexismo

Como una segunda fase de la investigación, Martha Paola Jiménez Martínez, estudiante de la maestría en Ciencias de la Computación del CICESE, realiza su tesis sobre detección automática de sexismo en redes sociales. Este trabajo también es codirigido por Hussein López y por el Dr. Manuel Montes, investigador del Instituto Nacional de Astrofísica Óptica y Electrónica (INAOE).

Para este proyecto el equipo también participó en una competencia internacional, denominada EXIST, que se centra en identificar y clasificar sexismo en texto e imágenes de publicaciones de la plataforma X, y obtuvieron el primer lugar en la categoría de memes.

Antes de automatizar la detección de sexismo en textos de publicaciones de Twitter, Martha Paola está estudiando las subjetividades que existen alrededor de este concepto y cómo varía de acuerdo a la edad y el género de los usuarios.

Hussein López consideró que este reto se puede sortear si se cuenta con un volumen significativo de ejemplos para entrenar a la máquina y agregando el análisis del contexto en el que se está diciendo.

Aun con los avances obtenidos, el investigador reconoció que todavía falta camino por recorrer para lograr una detección completamente automatizada, pero competencias como DA-VINCIS y EXIST buscan dar un impulso en el desarrollo de estas tecnologías.

"Se están dando pasos importantes. Lo relevante es que hay mucho interés de grupos de investigación en seguir trabajando en el área, incluso de estudiantes que se meten a este tipo de proyectos, y mientras exista este interés se irá avanzando poco a poco", auguró.