A inteligência artificial transformou a forma como consumimos e produzimos conteúdo digital. Mas junto com avanços impressionantes, surgiram ameaças sofisticadas que afetam principalmente mulheres ao redor do mundo. Na Coreia do Sul, um grupo exclusivo de detetives digitais está na linha de frente dessa batalha, usando a própria IA para combater um dos crimes cibernéticos que mais crescem globalmente: os deepfakes pornográficos.
Em um pequeno escritório no centro de Seul, decorado com faixas que carregam mensagens de apoio às vítimas de violência sexual, trabalham as chamadas "detetives da web". Esse grupo, criado pelo governo sul-coreano em 2018, é composto inteiramente por mulheres encarregadas de rastrear e eliminar conteúdos sexuais ilícitos da internet — incluindo vídeos e fotos manipulados por inteligência artificial sem o consentimento das vítimas.
O Surgimento de uma Crise Digital
A necessidade de criar esse centro ficou evidente em 2018, quando tens de milhares de mulheres sul-coreanas foram às ruas em protestos massivos contra câmeras escondidas (spy cams) usadas para filmá-las em situações íntimas. O movimento evidenciou uma crise de crimes sexuais digitais que o país enfrentava antes mesmo do boom da inteligência artificial generativa.
Desde então, os crimes evoluíram. Em 2020, o escândalo do "Nth Room" revelou que homens estavam explorando dezenas de mulheres e meninas em "salas de sextorsão" pagas, onde as chamavam de "escravas". Mais recentemente, em 2024, investigadores descobriram redes de Telegram compartilhando conteúdo sexual gerado por IA de mulheres comuns — colegas de trabalho, colegas de classe, conhecidas e até parentes — frequentemente criado a partir de fotos retiradas diretamente das redes sociais das vítimas.
As Detetives que Lutam Diariamente Contra o Abuso
O Centro Nacional de Resposta a Crimes Sexuais Digitais atualmente conta com 23 mulheres trabalhando em sua sede em Seul, além de 17 agências regionais espalhadas pelo país. Em 2025, o gruporemoveu impressionantes 318 mil vídeos e fotos — incluindo deepfakes, conteúdo de câmeras escondidas e imagens íntimas compartilhadas sem consentimento — em nome de 10.600 pessoas, sendo que 75% eram mulheres e meninas.
Kim Hyojung, líder da equipe, explica o funcionamento do centro:
"A maioria das vítimas nos procura depois que um ente querido lhes diz que um vídeo delas está circulando na internet. Contamos com um programa de inteligência artificial que detecta as republicações desse mesmo vídeo na internet, o que nos permite remover esses conteúdos tanto nas redes sociais quanto em sites pornográficos."
Desde sua fundação, o centro já atendeu mais de 53 mil pessoas e removeu da internet mais de um milhão de conteúdos sexuais ilícitos — um trabalho essencial que, frequentemente, encontra obstáculos desafiadores.
A Tecnologia de IA Usada para Combater a Própria IA
O que torna o centro sul-coreano uma referência mundial é o uso estratégico de ferramentas de inteligência artificial para enfrentar a mesma tecnologia que alimenta os crimes. O centro desenvolveu seus próprios sistemas de monitoramento, incluindo um programa capaz de detectar material exploratório e mensagens direcionadas a crianças.
Kim Yun-hee, especialista em remoção de conteúdo de 31 anos, descreve a missão:
"Desde o ano passado, vimos cada vez mais deepfakes de mulheres e meninas comuns — com imagens ficando muito mais sofisticadas do que antes e vítimas ficando cada vez mais jovens."
Entre 2019 e 2023, a circulação global de deepfakes disparou 550%, segundo dados da empresa de segurança web Security Hero. Impressionantemente, quase 98% desse conteúdo era pornografia gerada por IA de mulheres, com mais da metade das vítimas na Coreia do Sul.
Resultados e Reconhecimento Internacional
A abordagem sul-coreana está atraindo atenção global. A professora Clare McGlynn, especialista em abuso sexual baseado em imagens da Universidade de Durham, no Reino Unido, afirma que Seul está "liderando o caminho" em serviços de apoio holísticos e investimentos em tecnologia de ponta para reduzir os danos.
"A abordagem da Coreia do Sul oferece um exemplo para o resto do mundo", declarou McGlynn à AFP.
No campo legal, o país também avançou. A pornografia por deepfake é ilegal na Coreia do Sul, com posse punível com até três anos de prisão e criadores enfrentando até sete anos. As penalidades foram endurecidas em 2024, precisamente após a descoberta das redes de Telegram com deepfakes.
O Custo Humano do Trabalho das Detetives
O sucesso do centro, no entanto, tem um lado sombrio. As profissionais que revisam diariamente conteúdo pornográfico — às vezes violento, incluindo pornografia infantil — enfrentam enorme carga emocional.
Uma analista, que pediu para manter o anonimato, descreve o impacto:
"Todas nós somos bastante afetadas emocional e psicologicamente por essa atividade. Pela experiência de colegas com quem já trabalhei, algumas desenvolveram insônia, outras começaram a chorar ao ver certas publicações ou perderam o apetite a ponto de pular refeições."
Para apoiar as 23 mulheres responsáveis pela remoção de conteúdo, o centro implementou acompanhamento psicológico contínuo, com consultas individuais uma ou duas vezes por mês para prevenir o esgotamento profissional.
O que motiva as detetives a continuarem é o retorno das vítimas. "Quando recebemos mensagens de agradecimento das pessoas afetadas, dizendo que isso as ajudou a retomar sua vida cotidiana, sinto que, mesmo que de forma modesta, pude contribuir para que essas pessoas superassem uma provação tão difícil em suas vidas", relata uma das profissionais.
Desafios e Limitações
Apesar dos avanços, o centro enfrenta obstáculos significativos. A maioria dos vídeos está hospedada em sites ilegais, cujos provedores não aprovam pedidos de remoção. Nesses casos, a polícia precisa intervir para fazer o fechamento dos sites.
Outro desafio são os conteúdos hospedados no exterior. Kim Hyojung explica:
"Também existe o problema dos sites hospedados no exterior, mas, em 80% dos casos, eles estão nos Estados Unidos, e as autoridades norte-americanas colaboram conosco para remover esses conteúdos hospedados em seu território."
Uma vítima de 33 anos, que pediu para ser identificada apenas pelo sobrenome Kim, relata que deepfakes seus foram compartilhados em 2024 em aplicativos criptografados além do alcance dos especialistas do centro. Ainda assim, ela reconhece a importância do serviço:
"O centro pode não ser perfeito, mas pode fazer uma enorme diferença para vítimas que passam por esse pesadelo sozinhas."
A Raiz do Problema: Cultura ou Tecnologia?
Embora a tecnologia e os serviços de resposta sejam essenciais, ativistas alertam que a causa fundamental do problema permanece intocada. Kim Yeo-jin, presidente do Korea Cyber Sexual Violence Response Center, enfatiza que o problema online precisa de uma solução offline.
"A menos que enfrentemos essa causa fundamental promovendo mais igualdade de gênero na sociedade em geral e fortalecendo a educação sobre igualdade de gênero nas escolas, nenhum esforço de remoção será suficiente."
A tensão entre o uso benéfico e malicioso da inteligência artificial nunca foi tão evidente. Enquanto modelos de linguagem e geradores de imagem prometem revolucionar industries, casos como os deepfakes sexuais mostram o lado sombrio dessa tecnologia nas mãos erradas.
O Que o Mundo Pode Aprender com a Coreia do Sul
A experiência sul-coreana oferece lições valiosas para outros países que começam a enfrentar essa crise:
- Resposta rápida governamental: O centro foi criado em 2018, antes do boom dos deepfakes, mostrando visão preventiva
- Uso estratégico de IA: A própria tecnologia é usada para combater crimes que ela mesma facilita
- Apoio integral às vítimas: Além da remoção de conteúdo, o centro oferece apoio psicológico e jurídico
- Equipe especializada: Profissionais dedicadas exclusivamente a essa missão, com acompanhamento psicológico próprio
- Cooperação internacional: Parceria com autoridades estrangeiras, especialmente dos EUA
Conclusão: A Batalha Contínua
A história das detetives da web sul-coreanas é um exemplo poderoso de como sociedades estão respondendo à crise dos deepfakes. Com mais de um milhão de conteúdos removidos e 53 mil vítimas atendidas, o modelo de Seul demonstra que é possível lutar contra essa tecnologia de manipulação — usando a própria tecnologia a seu favor.
Porém, como alertam os especialistas, a remoção de conteúdo é apenas parte da solução. Enquanto a cultura patriarcal que objetifica mulheres persistir, a demanda por esse tipo de material continuará. O verdadeiro combate aos deepfakes pornográficos exige não apenas ferramentas tecnológicas avançadas, mas também mudanças profundas na sociedade.
Para as vítimas, o centro sul-coreano oferece um recado claro: você não está sozinha. E para o resto do mundo, a mensagem é de urgência: a ameaça dos deepfakes é real, crescente e exige resposta coordenada — antes que a tecnologia avance ainda mais rápido que nossa capacidade de protegê-la.