Den nye sårbarhed adskiller sig fra tidligere angrebsmetoder ved, at gerningspersonen ikke længere behøver at styre hele dialogen med AI-modellen. Det er i stedet tilstrækkeligt at manipulere det lydmateriale, som systemet analyserer, hvilket eksempelvis kan ske via telefonsamtaler, videoer eller musiksekvenser.
Angreb lykkes ofte
Ved at manipulere lyden kan angribere få AI-værktøjerne til at udføre eksterne handlinger, såsom at foretage internetsøgninger, hente filer fra servere kontrolleret af hackerne eller videresende filer, der indeholder følsomme brugerdata. Forskerne rapporterer, at angrebene lykkes i 79 til 96 procent af tilfældene.
Kunne reproduceres
Metoden er blevet testet mod i alt 13 forskellige AI-modeller, herunder kommercielle stemmeplatforme fra Mistral AI og Microsoft. Selvom teknikkerne primært blev udviklet til at ramme open source-modeller, viste det sig, at sårbarheden i visse tilfælde også kunne reproduceres på lukkede, kommercielle systemer med en tilsvarende teknisk opbygning.
Sverige
