Znak wodny w AI miał chronić przed oszustwami. Badania pokazują, że ułatwia ataki

Czy niewidoczny znak wodny może sprawić, że model AI chętniej wykona szkodliwe polecenie?. Fot. Unknown authorUnknown author (Franz Konrad confessed to taking some of the photographs, the rest was probably taken by photographers from Propaganda Kompanie nr 689.[1][2]), Wikimedia Commons, Public domain

Unia Europejska nakazuje właśnie znakowanie treści tworzonych przez sztuczną inteligencję. Technologia SynthID-Text, opracowana przez Google i udostępniona jako open source, miała rozwiązać problem - niewidoczny znak wodny pozwala rozpoznać, czy tekst wyszedł spod algorytmu. Tyle że nowe badanie ujawnia niepokojący paradoks: to samo zabezpieczenie potrafi czynić model AI bardziej podatnym na manipulację i chętniej wykonuje on szkodliwe polecenia.

Turniej słów pod tajnym kluczem

→ Czytaj też: 40 tysięcy artykułów miesięcznie. Czy sztuczna inteligencja właśnie zabiła arXiv?

SynthID-Text nie dopisuje znaku wodnego do gotowego tekstu. Wplata go w sam proces generowania kolejnych słów. Model językowy, zamiast losowo wybierać następny token, przeprowadza coś na kształt turnieju - tournament sampling. Pary kandydatów na kolejne słowo rywalizują ze sobą, a o zwycięstwie decyduje ukryty klucz kryptograficzny. Kto go zna, może później sprawdzić ciąg wyrazów i z wysokim prawdopodobieństwem stwierdzić, że tekst powstał przy użyciu danego modelu.

Dla czytelnika różnica jest niezauważalna - „pochmurny” może zamienić się na „zachmurzony”, sens zdania pozostaje ten sam. Andrea Siposova, badaczka bezpieczeństwa AI z firmy Lasso Security, postanowiła sprawdzić, co dzieje się pod powierzchnią. „Znak wodny ma być niewidoczny dla odbiorcy, ale wiemy, że każda zmiana w tym, co generuje model, powoduje pewne kompromisy - gdzieś musi się to ujawnić” - tłumaczy w rozmowie z Ars Technica.

Gdy zabezpieczenie otwiera furtkę

→ Czytaj też: Odchodzi z OpenAI i bije na alarm. „Kultura bezpieczeństwa jest zepsuta”

Siposova przetestowała sześć modeli open-weight, wykorzystując implementację SynthID-Text dostępną w repozytorium Hugging Face. Do każdego z nich wysyłała szkodliwe zapytania - raz z włączonym znakowaniem wodnym, raz bez niego. Wyniki okazały się alarmujące. Znakowanie zmieniało sposób, w jaki modele reagowały na niebezpieczne polecenia, szczególnie gdy stosowano technikę prompt injection, czyli podrzucania ukrytych instrukcji w pozornie niewinnym tekście.

„Znak wodny zmienia zachowanie modelu przy zwykłych szkodliwych żądaniach, ale efekt jest znacznie silniejszy, gdy to samo żądanie połączymy z wstrzyknięciem złośliwego promptu” - pisze badaczka. W kilku przypadkach model, który normalnie odmówiłby wykonania niebezpiecznej akcji, po dodaniu znaku wodnego posłusznie ją realizował. To zjawisko Siposova nazwała sampling drift - dryfem próbkowania, który wpływa nie tylko na słowa, ale i na decyzje podejmowane przez algorytm.

Agent AI z niebezpiecznym dryfem

Konsekwencje wykraczają poza sam tekst. Współczesne systemy AI coraz częściej działają jako agenci - nie tylko odpowiadają na pytania, ale też wywołują zewnętrzne narzędzia, przeszukują bazy danych czy wykonują operacje na plikach. Dryf próbkowania może spowodować, że agent sięgnie po niewłaściwe narzędzie albo przekaże mu niebezpieczne argumenty. „Na poziomie agenta te same próbkowane tokeny decydują o tym, które narzędzie zostanie wywołane i z jakimi parametrami” - ostrzega Siposova.

Eksperyment ujawnił jeszcze jedną zastanawiającą prawidłowość: zachowanie modelu zmieniało się w zależności od użytego klucza kryptograficznego. Niektóre klucze zwiększały podatność na szkodliwe instrukcje, inne ją zmniejszały. Tym samym samo wdrożenie znaku wodnego wprowadza nowy, trudny do przewidzenia wymiar ryzyka - bezpieczeństwo systemu zaczyna zależeć od detalu technicznego, który miał być przejrzysty dla użytkownika.

Co dalej z niewidzialną pieczęcią?

Badanie nie testowało bezpośrednio modeli Claude od Anthropic, które jako pierwsze mają dostać SynthID-Text w produkcyjnym wydaniu. Siposova korzystała z ogólnodostępnej implementacji na modelach open-weight, co oznacza, że wyniki są sygnałem ostrzegawczym, a nie ostatecznym werdyktem. Mimo to wniosek jest jasny: każda ingerencja w proces generowania tekstu - nawet tak subtelna jak turniejowe próbkowanie - odbija się na bezpieczeństwie całości.

Unijne przepisy wymuszają znakowanie treści AI, ale badanie opublikowane przez Ars Technica pokazuje, że droga do bezpiecznego wdrożenia prowadzi przez rygorystyczne testy red-teamingowe. Niewidoczny znak wodny nie może stać się niewidoczną luką. Producenci modeli będą musieli udowodnić, że ich zabezpieczenie nie otwiera nowych dróg ataku - zanim regulatorzy i użytkownicy uznają technologię za godną zaufania.