De nieuwste kunstmatige intelligentie van Facebook detecteert niet alleen deepfakes, maar weet ook waar ze vandaan komen

zelfs in Deep Tom Cruise Aangenomen wordt dat deze nieuwere generatie digitaal gefabriceerde gezichten uit de bovennatuurlijke vallei is gekomen en is overgestapt op fotorealisme. Hoewel de mogelijkheden voor entertainment met behulp van deze technologie onbeperkt zijn, kunnen deepfake-video’s het vertrouwen van het publiek in de overheid en gekozen functionarissen verstoren, zelfs het vermogen om onze ogen te geloven. Op woensdag hebben Facebook en Michigan State University een nieuwe methode uitgerold om niet alleen deepfakes te detecteren, maar ook om het generatieve model te ontdekken dat het produceerde door de afbeelding zelf te reverse-engineeren.

Veel huidige detectiesystemen kunnen u niet alleen vertellen of een afbeelding nep is of niet, maar kunnen ook zien of een afbeelding is gegenereerd in een model dat het systeem tijdens zijn training heeft gezien – ook wel de classificatie “convergente groep” genoemd. Het probleem is dat als het beeld werd gegenereerd door een generatief model waarin het detectorsysteem niet was getraind, het systeem niet de eerdere ervaring zou hebben om het nepbeeld te kunnen detecteren.

Het team legde woensdag in een blogpost uit dat de reverse engineering-technologie van FB-MSU, hoewel het geen geavanceerde methodologie is, “vertrouwt op het detecteren van de unieke patronen achter het AI-model dat wordt gebruikt om een ​​enkel diep nepbeeld te creëren.”

“We beginnen met de toekenning van de afbeelding en gaan vervolgens aan de slag om de eigenschappen te ontdekken van het model dat is gebruikt om de afbeelding te maken”, vervolgt het team. “Door beeldverwijzing te generaliseren naar open herkenning, kunnen we meer informatie afleiden over het generatieve model dat wordt gebruikt om diepe vervalsingen te maken, zonder te beseffen dat het nog niet eerder is gezien.”

Bovendien kan dit systeem overeenkomsten tussen een reeks diepe nepbeelden vergelijken en volgen, waardoor onderzoekers groepen nepbeelden kunnen herleiden tot één enkele bron, waardoor moderators van sociale media gecoördineerde desinformatiecampagnes beter kunnen volgen.

Om deze detectietechniek te implementeren, hebben FB-MSU-onderzoekers eerst een reeks diepe nepbeelden door een vingerafdrukschattingsnetwerk geleid. FEN’s kunnen de exacte patronen onderscheiden die op de afbeeldingen zijn afgedrukt door het specifieke apparaat waarmee ze zijn gemaakt. Voor digitale foto’s is elk van deze stijlen uniek vanwege verschillen in de fabricage van hun camera. Hetzelfde geldt voor diepe imitaties – elk generatief model heeft zijn eigen kenmerken die op hun creaties worden afgedrukt en die kunnen worden gebruikt om de identiteit van het model te onthullen op basis van het beeld zelf.

Omdat er een onbeperkt aantal generatieve modellen in de wildernis van internet zijn, moesten de onderzoekers hun zoektocht naar deze beeldvingerafdrukken veralgemenen. “We hebben vingerafdrukken geschat met verschillende beperkingen op basis van algemene vingerafdrukkenmerken, waaronder vingerafdrukgrootte, repetitieve aard, frequentieband en consistente frequentierespons”, legt het team uit. Deze beperkingen werden vervolgens opnieuw ingevoerd in de FEN, “om vingerafdrukken af ​​te dwingen die zijn gegenereerd om deze gewenste eigenschappen te verkrijgen.”

Zodra het systeem de originele vingerafdrukken consequent kon scheiden van de diepe vervalsingen, nam het al die valse vingerafdrukken en gooide ze in een analysemodel om hun verschillende hyperparameters te extraheren. De hyperparameters van een generatief model zijn de variabelen die het gebruikt om het zelfleerproces te sturen. Dus als je kunt achterhalen wat de verschillende hyperparameters zijn, kun je uitzoeken welk model ze heeft gebruikt om die afbeelding te maken. Het Facebook-team vergelijkt dit met het kunnen identificeren van de verschillende motorcomponenten van een auto door er gewoon naar te luisteren terwijl ze stationair draaien.

Aangezien het FB-MSU-team met deze studie de onbekende onderzoekswateren aanpakt, is er geen definitieve basis om hun testresultaten mee te vergelijken. Dus in plaats daarvan creëerde het team zijn eigen correlatie en vond “een veel sterkere, algemene correlatie tussen de gegenereerde afbeeldingen en de inbeddingsruimte voor zinvolle struct-hyperparameters en verliesfunctietypen, vergeleken met een willekeurige vector van dezelfde lengte en distributie.” Dus eigenlijk kunnen ze niet objectief zeggen hoe goed hun systeem is, omdat er geen ander onderzoek is om het mee te vergelijken, maar ze weten dat het effectiever is dan blind geluk.