Barnpornografi ökar snabbt genom användning av AI-verktyg, enligt barnrättsorganisationen Ecpat. Tidigare var detta nästan obefintligt, men nu ser Ecpat det dagligen, säger Thomas Andersson, ansvarig för Ecpats tipslinje. Det blir allt svårare för analytiker att avgöra om material kommer från verkliga övergrepp eller om det är datorskapat, och det kan till och med vara så att AI-genererad barnpornografi nu misstas för verkliga videor. Ecpat har upptäckt diskussionstrådar på darknet där personer samarbetar för att lura AI-system och skapa barnpornografi som bryter mot riktlinjer. De samarbetar också för att träna verktygen att skapa mer realistiska bilder. På ett av forumen skrev 80% av användarna att de redan använder AI för att generera övergreppsmaterial, eller att de vill lära sig. Detta skapar flera problem, inklusive svårigheten för Ecpat och polisen att upptäcka pågående övergrepp när resurser krävs för att sålla bort material som skapats med AI. Ecpat har också sett att utsatta barn blir utnyttjade igen när deras bilder används som grund för AI-genererat material. För att bekämpa AI-genererad barnpornografi kräver Ecpat att plattformar som lagrar bilder och filmer online har obligatoriska verktyg för att upptäcka, rapportera och ta bort övergreppsmaterial, oavsett om det är fotat, filmat eller AI-genererat. Thomas Andersson anser att det också är viktigt att stoppa det i produktionsledet och att det ligger mycket ansvar på AI-verktygens tillverkare.
