Telefon przemówił po chińsku? Szykuj się na kłopoty

Na czym dokładnie polega podatność?

Gemini regularnie analizuje kontekst z przychodzących powiadomień, aby lepiej asystować użytkownikowi. Niestety modele sztucznej inteligencji mają problem z odróżnieniem zwykłych wiadomości od ukrytych poleceń (tzw. prompt injection). Badacz ds. bezpieczeństwa, Or Yair, udowodnił, że odpowiednio spreparowana wiadomość tekstowa potrafiła zmusić asystenta do wykonania złośliwej komendy. Co najbardziej przerażające, atak ten nie wymagał instalowania na telefonie żadnego dodatkowego złośliwego oprogramowania.

Google naturalnie wymaga od użytkowników zatwierdzania groźnych akcji (np. zmiany ustawień), ale Yair ominął to zabezpieczenie za pomocą sprytnego triku. Spreparowane powiadomienie sprawiało, że Gemini prosiło o zgodę na wykonanie akcji w niezrozumiałym, obcym języku (np. po chińsku), po czym asystent błyskawicznie wracał do języka angielskiego z niewinnym pytaniem: „Czy to wszystko, czego potrzebujesz?”.

Gdy zdezorientowany użytkownik odpowiadał na głos „Tak”, system traktował to jako autoryzację dla ukrytej w chińskim tekście komendy. Inna wersja ataku polegała na schowaniu instrukcji w wyciszonym linku. Asystent informował głosowo o drobnym błędzie, a odpowiadający mu użytkownik nieświadomie akceptował wyświetlaną w tle niebezpieczną operację.

Co na to Google?

Konsekwencje ewentualnego wykorzystania tej luki mogły być opłakane. W trakcie testów badacze przejęli zdalną kontrolę nad sprzętem Smart Home, zmusili telefon do łączenia się z cudzymi wideokonferencjami na Zoomie oraz stworzyli harmonogram pobierania prywatnych wiadomości w środku nocy. Co gorsza, luka pozwalała na tzw. "zatruwanie pamięci" - asystent trwale przyswajał fałszywe fakty od hakera i posługiwał się nimi na wszystkich urządzeniach ofiary przypisanych do jej konta.