W dzisiejszym świecie cyberbezpieczeństwa coraz większym wyzwaniem staje się zabezpieczenie sztucznej inteligencji (AI) przed różnego rodzaju zagrożeniami i manipulacjami, które mogą wpłynąć na jej działanie. Badacze z Google DeepMind podjęli się analizy i klasyfikacji tzw. „pułapek na AI”, które mogą dotyczyć różnych funkcji agentów AI, czyli programów autonomicznych wykonujących zadania w oparciu o określone algorytmy i dane.
Jednym z kluczowych zagrożeń jest technika „wstrzykiwania treści”, polegająca na umieszczaniu złośliwych instrukcji dla AI w niewidocznych dla użytkowników miejscach, takich jak kod HTML czy CSS. Takie instrukcje mogą być też przemycane przy użyciu formatowania w językach takich jak Markdown czy LaTeX. Te ataki, określane jako Web-Standard Obfuscation czy Syntactic Masking, często omijają ochronę, ponieważ są parsowane przez agenty AI, podczas gdy dla użytkowników pozostają ukryte.
Równie niebezpieczne są „manipulacje semantyczne”, polegające na zmienianiu percepcji AI, aby wpływać na jej wnioskowanie. Poprzez zastosowanie języka nacechowanego emocjonalnie lub poprzez zakamuflowanie złośliwych treści mogą prowadzić AI do błędnych wniosków. Tego typu manipulacje mogą zatem wpływać nie tylko na sposób, w jaki AI przetwarza dane, ale także jak interpretuje intencje stojące za komunikatami.
Ciekawe w tym kontekście są również ataki na „stan poznawczy” agentów AI, wykorzystujące zjawisko zatruwania wiedzy, szczególnie w systemach opartych na Retrieval-Augmented Generation (RAG). Systemy te często bardziej ufają dokumentom zewnętrznym niż swojej wyuczonej wiedzy, co stanowi lukę bezpieczeństwa, którą mogą wykorzystać napastnicy. Przykładowo, umieszczając fałszywe dane w repozytoriach, które AI indeksuje, można wpłynąć na to, jak AI interpretuje i przekazuje informacje.
Manipulacje mogą dotyczyć również „kontroli behawioralnej” agentów AI. Techniki takie jak osadzone sekwencje jailbreak wykorzystują zewnętrzne zasoby, by wprowadzać do AI polecenia, które omijają wbudowane mechanizmy bezpieczeństwa. Skutecznie taki atak może przełamać ograniczenia AI i przeformułować zasady, według których działa.
Nie mniej istotne są „pułapki systemowe”, które koncentrują się na środowiskach łączących wiele różnych agentów AI. Skutki ataków na takie systemy mogą być znacznie bardziej dotkliwe ze względu na wzajemne interakcje i zależności między agentami. Nawet jeśli pojedyncza jednostka AI działa nieprawidłowo, efekt kaskadowy może prowadzić do większych zakłóceń.
Ostatnia kategoria, „pułapki na człowieka”, dotyczy działań wymierzonych w ludzi odpowiedzialnych za nadzór nad systemami AI. Celem takich ataków jest dostarczanie błędnych wskazówek lub instrukcji, które mogą prowadzić do podejmowania decyzji działających na korzyść napastników.
To, co łączy te różnorodne zagrożenia, to wykorzystanie coraz bardziej zaawansowanych form manipulacji, które są trudne do wykrycia i mogą prowadzić do poważnych konsekwencji. Obecnie wyzwaniem dla specjalistów ds. cyberbezpieczeństwa jest nie tylko identyfikowanie tych pułapek, ale także tworzenie zabezpieczeń, które mogłyby skutecznie przeciwdziałać takim atakom. Jak wskazuje analiza Google DeepMind, potrzebne są wielowarstwowe systemy ochrony, które uwzględniają różnorodność potencjalnych zagrożeń oraz integrują różne techniki zabezpieczeń, aby skutecznie chronić AI zarówno podczas jej trenowania, jak i codziennego funkcjonowania.
