Maandag introduceerde Intel FakeCatcher, waarvan wordt gezegd dat het de eerste real-time detector van deepfakes is, dat wil zeggen synthetische media waarin een persoon in een bestaande afbeelding of video wordt vervangen door de gelijkenis van iemand anders.
Intel beweert dat het product een nauwkeurigheidspercentage van 96% heeft en werkt door de subtiele “bloedstroom” in videopixels te analyseren om resultaten in milliseconden te retourneren.
Ilke Demir, senior stafonderzoeker bij Intel Labs, ontwierp FakeCatcher in samenwerking met Umur Ciftci van de State University of New York in Binghamton. Het product maakt gebruik van hardware en software van Intel, draait op een server en communiceert via een webgebaseerd platform.
De deepfake-detector van Intel is gebaseerd op PPG-signalen
In tegenstelling tot de meeste op deep learning gebaseerde deepfake-detectoren, die naar onbewerkte gegevens kijken om onechtheid vast te stellen, is FakeCatcher gefocust op aanwijzingen in daadwerkelijke video’s. Het is gebaseerd op fotoplethysmografie, of PPG, een methode om de hoeveelheid licht te meten die wordt geabsorbeerd of gereflecteerd door bloedvaten in levend weefsel. Wanneer het hart bloed pompt, gaat het naar de aderen, die van kleur veranderen.
“Je kunt het niet met je ogen zien, maar het is rekenkundig zichtbaar”, vertelde Demir aan VentureBeat. “PPG-signalen zijn bekend, maar ze zijn nog niet eerder toegepast op het deepfake-probleem.”
Met FakeCatcher worden PPG-signalen verzameld van 32 locaties op het gezicht, legde ze uit, en vervolgens worden PPG-kaarten gemaakt op basis van de temporele en spectrale componenten.
“We nemen die kaarten en trainen een convolutioneel neuraal netwerk bovenop de PPG-kaarten om ze te classificeren als nep en echt,” zei Demir. “Dankzij Intel-technologieën zoals [het] Deep Learning Boost-framework voor inferentie en Advanced Vector Extensions 512, kunnen we het in realtime en tot 72 gelijktijdige detectiestromen uitvoeren.”
Detectie wordt steeds belangrijker in het licht van toenemende dreigingen
Deepfake-detectie is steeds belangrijker geworden naarmate deepfake-bedreigingen opdoemen, volgens een recent onderzoeksdocument van Eric Horvitz, de chief science officer van Microsoft. Deze omvatten interactieve deepfakes, die de illusie wekken met een echt persoon te praten, en compositorische deepfakes, waarbij slechte acteurs veel deepfakes creëren om een ‘synthetische geschiedenis’ samen te stellen.
En in 2020 voorspelde Forrester Research dat de kosten in verband met deepfake-zwendel meer dan $ 250 miljoen zouden bedragen.
Meest recent is het nieuws over deepfakes van beroemdheden enorm toegenomen. Er is de Wall Street Journal-verslaggeving over Tom Cruise, Elon Musk en Leonardo DiCaprio-deepfakes die ongeoorloofd in advertenties verschijnen, evenals geruchten over Bruce Willis die de rechten op zijn deepfake-gelijkenis tekende (niet waar).
Aan de andere kant zijn er veel verantwoorde en geautoriseerde use-cases voor deepfakes. Bedrijven zoals Hour One en Synthesia bieden deepfakes aan voor bedrijfsomgevingen, bijvoorbeeld voor training van werknemers, onderwijs en e-commerce. Of er kunnen deepfakes worden gemaakt door gebruikers, zoals beroemdheden en bedrijfsleiders, die willen profiteren van synthetische media om ze te ‘uitbesteden’ aan een virtuele tweeling. In die gevallen is er hoop dat er een manier zal ontstaan om volledige transparantie en herkomst van synthetische media te bieden.
Demir zei dat Intel onderzoek doet, maar dat het zich nog maar in de beginfase bevindt. “FakeCatcher maakt deel uit van een groter onderzoeksteam bij Intel genaamd Trusted Media, dat werkt aan gemanipuleerde inhouddetectie – deepfakes – verantwoorde generatie en media-herkomst”, zei ze. “Op de kortere termijn is detectie eigenlijk de oplossing voor deepfakes – en we ontwikkelen veel verschillende detectoren op basis van verschillende authenticiteitsaanwijzingen, zoals blikdetectie.”
De volgende stap daarna is brondetectie, of het vinden van het GAN-model dat achter elke deepfake zit. over wat nep is en wat echt is.”