Facebook siempre ha dejado claro que quiere que la inteligencia artificial maneje más tareas de moderación en sus plataformas. Ahora anunció su último paso hacia ese objetivo: poner a la máquina de aprendizaje a cargo de su cola de moderación.
Así es como funciona la moderación en Facebook. Los mensajes que se cree que violan las reglas de la compañía (que incluyen todo, desde el spam hasta el discurso de odio y el contenido que «glorifica la violencia») son marcados, ya sea por los usuarios o por los filtros de aprendizaje automático. Algunos casos muy claros son tratados automáticamente (las respuestas podrían implicar la eliminación de un post o el bloqueo de una cuenta, por ejemplo) mientras que el resto van a una cola para ser revisados por moderadores humanos.
Facebook emplea a unos 15.000 de estos moderadores en todo el mundo, y ha sido criticado en el pasado por no dar a estos trabajadores suficiente apoyo, empleándolos en condiciones que pueden llevar a un trauma. Su trabajo es clasificar los mensajes marcados y tomar decisiones sobre si violan o no las diversas políticas de la compañía.
En el pasado, los moderadores revisaban los puestos más o menos cronológicamente, tratándolos en el orden en que fueron reportados. Ahora, Facebook dice que quiere asegurarse de que las publicaciones más importantes se vean primero, y está usando el aprendizaje automático para ayudar. En el futuro, una amalgama de varios algoritmos de aprendizaje automático se usará para ordenar esta cola, priorizando las publicaciones en base a tres criterios: su viralidad, su severidad y la probabilidad de que estén rompiendo las reglas.
No está claro cómo se ponderan estos criterios, pero Facebook dice que el objetivo es tratar primero las publicaciones más dañinas. Por lo tanto, cuanto más viral sea una publicación (cuanto más se comparta y se vea) más rápido será tratado. Lo mismo ocurre con la severidad de una publicación. Facebook dice que clasifica las publicaciones que involucran daños en el mundo real como las más importantes. Eso podría significar contenido que involucra terrorismo, explotación infantil o daño autoinfligido. Los posts como el spam, mientras tanto, que son molestos pero no traumáticos, son clasificados como los menos importantes para revisión.
«Todas las violaciones de contenido seguirán recibiendo una revisión humana sustancial, pero usaremos este sistema para priorizar mejor [ese proceso]», dijo Ryan Barnes, gerente de producto del equipo de integridad comunitaria de Facebook, a los reporteros durante una conferencia de prensa.
Facebook ha compartido algunos detalles sobre cómo sus filtros de aprendizaje automático analizan las publicaciones en el pasado. Estos sistemas incluyen un modelo llamado «WPIE», que significa «whole post integrity embedings» y adopta lo que Facebook llama un enfoque «holístico» para evaluar el contenido.
Esto significa que los algoritmos juzgan varios elementos en cualquier publicación en conjunto, tratando de averiguar lo que la imagen, el pie de foto, el póster, etc., revelan juntos. Si alguien dice que está vendiendo un «lote completo» de «golosinas especiales» acompañadas de una imagen de lo que parecen ser productos horneados, ¿están hablando de cuadrados de Rice Krispies o de comestibles? El uso de ciertas palabras en la leyenda (como «potente») podría inclinar el juicio de una manera u otra.
El uso de la IA en Facebook para moderar sus plataformas ha sido objeto de escrutinio en el pasado, con los críticos señalando que la inteligencia artificial carece de la capacidad de un humano para juzgar el contexto de una gran cantidad de comunicación en línea. Especialmente con temas como la desinformación, la intimidación y el acoso, puede ser casi imposible para una computadora saber lo que está mirando.
Chris Parlow de Facebook, un ingeniero de software en el equipo de integridad de la interacción de la compañía, estuvo de acuerdo en que la IA tenía sus límites, pero dijo a los reporteros que la tecnología todavía podía jugar un papel en la eliminación de contenido no deseado. «El sistema se trata de casar a la IA con revisores humanos para cometer menos errores totales», dijo Palow. «La IA nunca será perfecta».
Cuando se le preguntó qué porcentaje de las publicaciones de los sistemas de aprendizaje automático de la compañía se clasifican incorrectamente, Palow no dio una respuesta directa, pero señaló que Facebook sólo permite que los sistemas automatizados funcionen sin supervisión humana cuando son tan precisos como los revisores humanos. «El listón para la acción automatizada es muy alto», dijo. Sin embargo, Facebook está agregando constantemente más IA a la mezcla de moderación.
Fuente: TheVerge
