Las fallas en el sistema de moderación de contenido: el estudio de caso de Medio Oriente

Por Eliza Campbell y Spandana Singh para Middle East Institute (MEI)

[Ozan Kose/Getty]

Durante las últimas dos décadas, cuando se diseñaron y lanzaron las principales plataformas de redes sociales fue poco probable que los involucrados pudieran haber predicho el enorme poder que estas herramientas llegarían a ejercer. Habría sido difícil imaginar un mundo en el que, por ejemplo, el bienestar y la supervivencia de un hombre gay que vive en Egipto esté relacionado con la capacidad de una empresa de redes sociales estadounidense para marcar, rastrear con sensibilidad y responder a casos de discursos de odio violentos en su plataforma. Esto, junto con otros innumerables ejemplos, demuestra la centralidad de plataformas tecnológicas como Facebook, Twitter, YouTube y Google en cuestiones de libertad de expresión, gobernanza y derechos humanos en Medio Oriente. En particular, la cuestión de la moderación del contenido (cómo las plataformas crean y aplican políticas que determinan qué tipos de contenido generado por el usuario son o no permitidos en sus servicios) se convirtió en un punto focal de estas discusiones.

[Se prohíbe expresamente la reproducción total o parcial, por cualquier medio, del contenido de esta web sin autorización expresa y por escrito de El Intérprete Digital]

Las empresas de tecnología están desde hace mucho tiempo en el centro de atención en Medio Oriente, tanto para bien como para mal. Estas plataformas atrajeron las miradas por albergar y amplificar contenido extremista, por desempeñar un papel en la facilitación de movimientos de resistencia popular antes, durante y después de la Primavera Árabe; y por servir como un salvavidas para periodistas y activistas asediados cuando los medios de comunicación tradicionales a menudo son inaccesibles o censurados. En muchos sentidos, Medio Oriente es un microcosmos de cómo las políticas de moderación de contenido contemporáneas, y las plataformas de redes sociales que las crean e implementan, pueden influir críticamente en la libertad de expresión y los derechos humanos, y producir resultados positivos o catastróficamente negativos.

Algunos desarrollos nuevos sobre tendencias políticas de larga data en la región vuelven más importantes a las cuestiones de moderación de contenido. La región tiene algunos de los peores registros del mundo en cuestiones de libertad de expresión. Muchos gobiernos regionales son líderes en la búsqueda de formas innovadoras de controlar el discurso y acallar a la oposición digital. Recientemente, Turquía comenzó a imponer sanciones en virtud de una nueva ley de redes sociales. La normativa obliga a las plataformas, entre otras cosas, a nombrar a un representante de moderación de contenido local con el poder de bloquear o eliminar contenido que el gobierno considere inaceptable. Esta ley tiene implicaciones críticas para la relación transformadora entre las plataformas tecnológicas y los países que las utilizan, particularmente en el caso de Estados no democráticos o parcialmente democráticos. La manera en que las plataformas dan forma e implementan sus políticas de moderación de contenido tiene, por tanto, enormes consecuencias para Medio Oriente y sus ciudadanos.

Programas de moderación de contenido

Para mitigar la propagación de contenido dañino, como violencia gráfica y contenido extremista en sus servicios, las plataformas de Internet establecieron programas de moderación de contenido masivo. Estos se basan tanto en moderadores humanos como en herramientas automatizadas. Los primeros, trabajadores capacitados por contrato de bajo salario en equipos masivos pasan horas al día revisando y marcando contenido que viole las políticas de contenido de las empresas de tecnología, y realizan una gran parte de esta tarea. Pero la difícil y a menudo traumatizante naturaleza del trabajo, así como la necesidad de escalar las operaciones de moderación de contenido, también empujó a las empresas a desarrollar e implementar inteligencia artificial (IA) y herramientas basadas en aprendizaje automático (N.d.T.: machine learning en el original) para la moderación de contenido.

Las plataformas de Internet a menudo promocionan estas herramientas algorítmicas como soluciones mágicas para los problemas de moderación de contenido. Su argumento consiste en que pueden ayudar a las empresas a escalar y mejorar sus operaciones de moderación de contenido con confiabilidad y precisión. Sin embargo, este enfoque no considera las limitaciones de estas herramientas automatizadas. En particular, aunque las herramientas automatizadas se implementan cada vez más con fines de moderación y curación de contenido, tienen una capacidad limitada para emitir juicios precisos en situaciones donde las definiciones en torno a una categoría de contenido son vagas y poco claras. Por ejemplo, cuando las empresas moderan el material de abuso sexual infantil (denominado CSAM, por sus siglas en inglés), que se considera ilegal a nivel mundial, tienen más facilidad para distinguir qué tipo de contenido entra y cuál no dentro de dicha categoría. Como resultado, es mucho más fácil desarrollar herramientas automatizadas para detectar y eliminar dicho contenido con precisión. Sin embargo, cuando se trata de moderar categorías con delineaciones más fluidas, como la propaganda extremista y el discurso de odio, desarrollar herramientas que puedan detectar y eliminar tal contenido con precisión es un desafío enorme.

Además, estas herramientas automatizadas están aún más limitadas en su capacidad para detectar y marcar contenido que requiere un juicio subjetivo o contextual para su comprensión. Uno de los casos más conocidos de esto se dio cuando YouTube comenzó a eliminar por error contenido publicado por organizaciones de derechos humanos y de monitoreo que buscaban documentar atrocidades en Siria. Su contenido fue confundido con propaganda extremista. Las eliminaciones fueron el resultado de la adopción por parte de Google de una nueva tecnología de aprendizaje automático diseñada para detectar contenido extremista. Sin embargo, tuvo como resultado la eliminación errónea de contenido compartido por grupos, incluida la organización de monitoreo Airwars, el sitio de investigación de código abierto Bellingcat, el medio de noticias en línea Middle East Eye y Syrian Archive, una plataforma de código abierto que verifica y recopila documentación sobre violaciones de derechos humanos en Siria. A pesar de estas limitaciones, las plataformas de Internet no garantizan la transparencia y la responsabilidad adecuadas sobre cómo utilizan estas herramientas para la moderación del contenido y cuáles son los riesgos para la expresión del usuario. Cuando las plataformas comparten información, rara vez es específica de una región, lo que dificulta que los usuarios de regiones como Medio Oriente comprendan cómo exactamente su discurso se ve afectado por las políticas y prácticas de estas empresas. Por esta razón, es vital que proporcionen a los usuarios afectados un aviso adecuado y un proceso de apelación oportuno que ofrezca a los usuarios un mecanismo de reparación y respuesta si su contenido o cuentas fueron marcados o eliminados erróneamente. Algunas plataformas, como Facebook, Twitter y Google, ofrecen estos procesos de apelación. Pero más empresas necesitan invertir para proporcionar esta infraestructura en el futuro, a fin de salvaguardar los derechos de los usuarios en todo el mundo.

Falta de transparencia

Las empresas también fallan continuamente en brindar transparencia sobre cómo se crean, usan y refinan las herramientas automatizadas que utilizan para la moderación de contenido, y qué tan precisas son. Por ejemplo, en su último Informe de Cumplimiento de Estándares Comunitarios (CSER, por sus siglas en inglés), Facebook reveló que sus herramientas algorítmicas pueden detectar de forma proactiva el 94,5% de los discursos de odio antes de que un usuario lo informe a la plataforma. Sin embargo, la plataforma no ha publicado la tasa de éxito de los algoritmos de idiomas individuales, lo que dificulta discernir si la cifra del 94,5% oculta las tasas de éxito más bajas en ciertos idiomas. Según Facebook, la empresa opera clasificadores de incitación al odio en más de 40 idiomas en todo el mundo, incluidos inglés y árabe. Pero, estos algoritmos se entrenan utilizando amplios conjuntos de datos y, a menudo, los datos sólidos no están disponibles en los idiomas menos hablados. Como resultado, el contenido dañino que se difunde en estos idiomas, que a menudo se dirige a las comunidades minoritarias, debe ser marcado manualmente por los usuarios que regularmente son víctimas del propio discurso dañino. Esto crea daños desproporcionados para los grupos ya marginados.

Aunque empresas como Facebook afirman que no tienen conjuntos de datos sólidos para los idiomas menos hablados con los que entrenar sus algoritmos, la empresa demostró que con suficiente compromiso e impulso, puede mejorar de hecho sus tecnologías de moderación para abordar mejor las preocupaciones de los grupos minoritarios y los idiomas. Por ejemplo, tras el genocidio de los rohingya y la difusión del discurso de odio en línea dirigido a la comunidad rohingya en lengua birmana, Facebook invirtió importantes recursos para desarrollar un clasificador de discurso de odio en birmano. Para esto contrató 100 moderadores de contenido de habla birmana que desarrollaron manualmente un conjunto de datos del discurso de odio birmano que la empresa utilizó para entrenar su algoritmo. No obstante, sin datos más granulares sobre cómo las empresas entrenan sus herramientas y cuán precisas son estas herramientas en diferentes vectores regionales, culturales y lingüísticos, es difícil comprender completamente qué comunidades y voces son socavadas durante el proceso de moderación de contenido y dónde. Las plataformas necesitan invertir más tiempo y recursos para mejorar estos sistemas.

Mantener a un humano en el circuito

Debido a que las herramientas automatizadas tienen una capacidad limitada para tomar decisiones precisas en situaciones contextuales y subjetivas complejas, particularmente en idiomas distintos del inglés, es vital que las plataformas mantengan a un revisor humano informado al moderar el contenido. Esto es particularmente significativo en el caso de Medio Oriente, donde el idioma predominante es el árabe. El árabe también es parte del idioma de culto de los 1.800 millones de musulmanes del mundo, tanto dentro como fuera de Medio Oriente. Por lo tanto, contiene muchos casos de uso complejos más allá del habla cotidiana. También es importante señalar que el idioma árabe, un idioma diglósico que utiliza un dialecto escrito estandarizado junto a una gran variedad de dialectos coloquiales hablados, presenta otro desafío para una moderación eficaz y justa del contenido. Aunque Facebook, por ejemplo, incluye el árabe estándar moderno como uno de los cinco idiomas utilizados para entrenar sus herramientas de moderación de contenido, la complejidad de la diglosia en el habla árabe en la esfera digital es difícil de explicar, y lo más probable es que la IA no la capture o analice con tanta precisión con los modelos utilizados para marcar y eliminar contenido. Esto subraya la necesidad de que un humano se mantenga informado, en particular, un hablante nativo con un sólido conocimiento cultural y experiencia que le permita discernir adecuadamente entre los diferentes tipos de uso del lenguaje.

Desafortunadamente, las preocupaciones sobre precisión y transparencia en la moderación de contenido en diferentes regiones también se extiende a la revisión humana. Hoy en día, plataformas como Google y Facebook invierten mucho en contratar y capacitar a miles de moderadores de contenido internos, externos y subcontratados. Sin embargo, una vez más, existe una falta fundamental de transparencia sobre cómo se capacitan estos moderadores y en qué regiones, culturas e idiomas son competentes. También hay pocos datos públicos sobre la rapidez con la que se aborda el contenido marcado en diferentes idiomas. A medida que se siguen documentando eliminaciones erróneas de contenido y cuentas que pertenecen a activistas, periodistas y usuarios promedio en plataformas como Facebook y Twitter, es evidente que las empresas deben invertir más para garantizar que los usuarios de regiones como Medio Oriente no vean sus derechos de libre expresión socavados rutinaria y erróneamente debido a brechas en las políticas y procedimientos de la plataforma.

Las complejidades lingüísticas de Medio Oriente, así como los casos de mayor vigilancia digital y de represión a la libertad de información, sugieren que muchos países de la región se encuentran en un punto de inflexión con respecto a la moderación del contenido y los límites del discurso en línea en general. Como se describió, las políticas y prácticas de moderación de contenido que crean y despliegan las principales plataformas de Internet de Estados Unidos pueden tener consecuencias importantes en Medio Oriente. Como resultado, un enfoque de estudios regionales para la moderación y la gobernanza del contenido, que tiene en cuenta las sensibilidades culturales y lingüísticas locales, es crucial para responsabilizar a los gigantes tecnológicos, en particular, a medida que se expanden sus roles como guardianes del habla digital. La creación e identificación de léxicos de discursos de odio específicos para la región en idiomas menos utilizados, por ejemplo, es un paso que haría posible este enfoque de base regional y local. El Medio Oriente puede, en este sentido, servir como un caso de prueba crucial de cómo un enfoque regional para la moderación del contenido en las plataformas de redes sociales del mundo será fundamental, para las políticas públicas más amplias de esas empresas. Esto tendrá consecuencias significativas para el futuro de la libertad de expresión, periodismo y más.

Eliza Campbell posee un título de Bachiller en Ciencia Política por la Universidad Brigham Young y una Máster en Estudios Árabes por la Universidad de Georgetown. Además es Codirectora del Programa Cibernético de MEI.

Spandana Singh es Analista de Políticas en el New America’s Open Technology Institute y vicepresidenta de Internet Law and Policy Foundry.

[Se prohíbe expresamente la reproducción total o parcial, por cualquier medio, del contenido de esta web sin autorización expresa y por escrito de El Intérprete Digital]

N.d.T.: El artículo original fue publicado el 17 de noviembre de 2020 por MEI.