Den nya sårbarheten särskiljer sig från tidigare angreppsmetoder då förövaren inte längre behöver styra hela dialogen med AI-modellen. Det räcker istället med att manipulera det audiomaterial som systemet analyserar, vilket exempelvis kan ske via röstsamtal, videor eller musiksekvenser.
Attacker lyckas ofta
Genom att manipulera ljudet kan angripare få AI-verktygen att utföra externa åtgärder, såsom att genomföra sökningar på internet, hämta filer från servrar som kontrolleras av hackarna, eller skicka vidare filer som innehåller känslig användardata. Forskarna rapporterar att attackerna lyckas i 79 till 96 procent av fallen.
Kunde replikeras
Metoden har utvärderats mot totalt 13 skilda AI-modeller, däribland kommersiella röstplattformar från aktörer som Mistral och Microsoft. Även om teknikerna primärt togs fram för att träffa öppna källkodsmodeller, visade det sig att sårbarheten i vissa scenarier även kunde replikeras på stängda, kommersiella system som delar en snarlik teknisk uppbyggnad.
Sverige
