En el contexto del creciente mercado de deepfakes personalizados, Civitai ha emergido como un actor destacado, permitiendo a los usuarios comprar y vender herramientas para la creación de contenidos generados por inteligencia artificial. Sin embargo, la reciente investigación está levantando preocupaciones sobre la naturaleza de dicho contenido, señalando que, a pesar de las afirmaciones de que ciertos tipos de deepfakes están prohibidos en su plataforma, muchos de estos se producen y comercializan. El análisis, liderado por académicos de renombre de Stanford y la Universidad de Indiana, revela un patrón alarmante: la gran mayoría de estos requests se dirigen a mujeres, alimentando no solo la cultura de la objetivación femenina, sino también contribuyendo a un entorno donde el consentimiento se vuelve cada vez más irrelevante.
El estudio evidenció que, entre 2023 y 2024, el 90% de las recompensas pedidas en Civitai se centraron en la generación de deepfakes de mujeres, incluidas celebridades como Charli D’Amelio y Gracie Abrams. Estas solicitudes no solo exigían calidad visual, sino también una sorprendente atención al detalle, como la precisión en los tatuajes o la posibilidad de modificar características físicas. Las implicaciones son claras: hay una demanda significativa por la representación sexualizada y personalizada de estas mujeres en línea, aunque ello podría considerarse una violación de su privacidad y una clara explotación de su imagen.
A pesar de las supuestas reglas de la plataforma, Civitai ha creado un ecosistema donde los usuarios están incentivados a generar y comercializar deepfakes, incluso aquellos que pueden considerarse éticamente cuestionables. La plataforma ofrece recursos para que sus usuarios aprendan a manejar estos procedimientos, lo que plantea interrogantes sobre su responsabilidad en el fomento de este tipo de contenido. expertas y expertos coinciden en que Civitai no ha realizado un esfuerzo adecuado para resguardar la integridad de las figuras públicas, y se muestra más como un facilitador de actividades potencialmente ilícitas que como un guardián de la ética en el uso de tecnologías de IA.
El cambio en la política de Civitai, anunciado en mayo de 2025, que permitió la venta de deepfakes no sexualmente explícitos, también ha suscitado críticas. Aunque la empresa afirma que clasifica y etiqueta estos contenidos de manera responsable, se rehúsa a implementar un sistema de moderación proactiva efectivo, lo que sugiere una profunda indiferencia hacia las consecuencias de sus acciones. Además, el método de monetización a través de la moneda interna Buzz, convierte la creación de deepfakes en un negocio lucrativo que aún cuenta con una escasa regulación.
En este marco de creciente preocupación sobre la integridad y la legalidad, expertos legales como Ryan Calo advierten que la responsabilidad de plataformas como Civitai podría estar a un hilo del incumplimiento de la ley, puesto que la Sección 230 de la Ley de Decencia en las Comunicaciones no protege a las empresas de facilitar actividades ilegales intencionalmente. A pesar de las inversiones millonarias de firmas como Andreessen Horowitz, el manejo de contenido para adultos parece ser una grieta en la que muchas de estas plataformas navegan con inquietante tolerancia, dejando unas soluciones efectivas en manos de un sistema que no garantiza la protección necesaria para las víctimas de esta nueva realidad digital.
