Sexualiserande AI “Deep-fakes” är verkliga övergrepp på barn – och måste få ett slut

Barn i Sverige och världen utsätts just nu för en snabbt växande form av digitalt våld. Med hjälp av AI-verktyg kan helt vanliga bilder förvandlas till sexuellt material – utan barnets vetskap eller att det ens har haft kontakt med förövaren.

En ny studie från UNICEF, ECPAT och Interpol visar att minst 1,2 miljoner barn i 11 undersökta länder fått sina bilder manipulerade och sexualiserade bara det senaste året. I vissa länder motsvarar det 1 av 25 barn – alltså ett barn i varje skolklass.

I flera av de undersökta länderna oroar sig upp till två tredjedelar av barnen för att deras bilder kan användas för att skapa sexuellt material genom AI.

Konsekvenserna av detta är långtgående – för det drabbade barnet och samhället i stort. För även när barnet inte går att identifiera bidrar detta till att normalisera sexualisering av barn, samtidigt som rättsväsendet får svårare att hitta de barn som är i akut behov av skydd.

Barn har rätt att skyddas från alla former av våld och övergrepp – även på nätet.

Men i takt med den snabba AI‑utvecklingen blir det allt enklare att skapa mer autentiskt material som sprids snabbare än någonsin. Alltför många AI‑system släpps i dag utan tillräckliga skyddsmekanismer och riskerna ökar ytterligare när dessa verktyg byggs in direkt i sociala plattformar.

Detta är en utveckling vi måste stoppa. Barn måste skyddas från våld och övergrepp oavsett var i världen de befinner sig – inte minst när detta ofta sker över landsgränser genom internet.

• Alla länder måste säkerställa att lagstiftningen fullt ut omfattar även AI-genererat övergreppsmaterial.

• Alla aktörer i AI‑kedjan, från dataleverantörer till AI-utvecklare, måste ta sitt ansvar. Säkerhet behöver byggas in från start och testas innan lansering. Risker för missbruk måste förebyggas. Digitala plattformar har ett särskilt ansvar för att snabbt förhindra och stoppa spridning innan den tar fart.

• Vuxenvärlden måste hänga med. Rättsväsendet, skolor, socialtjänst och föräldrar behöver förstå barns utsatthet, våga prata om riskerna och fortsätta lyssna på barnen för att kunna agera och ge rätt stöd i takt med teknikens utveckling.

AI-genererade sexuella övergrepp mot barn är verkliga övergrepp. Skadan de orsakar är allt annat än fejk. Barn kan inte vänta på att lagar ska komma ikapp tekniken. Deras rätt till skydd gäller nu.

// Lulu Li – sakkunnig barns rättigheter i digitala miljöer - UNICEF Sverige

Läs mer om studien och UNICEFs krav på åtgärder här.