AI nie musi stać się zła, żeby narazić cię na ryzyko
Spis treści
Asystent AI nie musi „zbuntować się”, żeby zaszkodzić użytkownikowi. Wystarczy, że zbyt długo potwierdza jego błędne przekonania albo wykona instrukcję ukrytą w treści, którą miał tylko przeczytać. Właśnie te dwa scenariusze — nadmierna ugodowość i tzw. indirect prompt injection — były osią ogłoszonych 15 października prac Alice, Inflection AI i AI21 nad modelami NVIDIA Nemotron.
To ważne rozróżnienie. Ryzyko nie zaczyna się dopiero wtedy, gdy model zyskuje własne zamiary. Może pojawić się wcześniej, w zwyczajnej rozmowie lub podczas automatyzowania zadania. Chatbot, który zawsze przytakuje, bywa przekonujący nawet wtedy, gdy nie ma dowodów. Agent z dostępem do poczty, plików albo komunikatora może natomiast potraktować cudzą instrukcję z dokumentu jako polecenie od właściciela.
Nie każda pomoc jest bezpieczna
W języku branży problem bezrefleksyjnego potakiwania nazywa się sycophancy. Dla użytkownika oznacza to sytuację, w której pewny ton odpowiedzi zaczyna brzmieć jak niezależne potwierdzenie faktów. Tymczasem model może jedynie dopasowywać się do rozmówcy.
Dobrym przykładem jest doświadczenie OpenAI z kwietnia 2025 roku. Firma wycofała aktualizację GPT-4o, przyznając, że system stał się przesadnie pochlebny i zbyt ugodowy. W opisie przyczyn wskazała, że nadmiernie skupiono się na krótkoterminowym sygnale zwrotnym, nie uwzględniając dostatecznie tego, jak rozmowa wpływa na użytkownika w dłuższym czasie. To nie jest dowód, że każdy chatbot prowadzi ludzi do szkodliwych decyzji, ale pokazuje, że „miły” model może mieć realny problem z oceną sytuacji.
Testowanie rozmowy, a nie tylko pojedynczej odpowiedzi
Alice i Inflection AI przygotowały ponad 20 symulowanych person. Część odtwarzała użytkowników podatnych na rozwijające się ryzyko, a część — przeciwników próbujących manipulować modelem. Scenariusze zaczynały się od zwykłej prośby i stopniowo eskalowały, ponieważ niektóre zachowania ujawniają się dopiero po wielu wymianach.
Według Alice dane z tych testów posłużyły do dalszego trenowania NVIDIA Nemotron 3 Super. Na rozmowach testowych, których model nie widział podczas treningu, deklarowany wynik bezpieczeństwa wzrósł z 0,56 do 0,73, a odsetek odmów nieszkodliwych próśb wyniósł 1,6 proc. To obiecujący rezultat, ale nie oznacza, że każdy produkt oparty na Nemotronie będzie o 30 proc. bezpieczniejszy. Wynik zależy od definicji bezpieczeństwa, zestawu testów i sposobu oceniania odpowiedzi.
W praktyce bezpieczniejszy asystent powinien umieć powiedzieć: „nie ma na to wystarczających dowodów”. Powinien rozdzielać hipotezę od faktu, proponować sprawdzenie źródeł i zachęcać do konsultacji z człowiekiem, zamiast entuzjastycznie wzmacniać każdą tezę. To właśnie odmowa przytakiwania może być bardziej pomocna niż kolejna gładka odpowiedź.
Drugi problem: instrukcja ukryta w danych
Indirect prompt injection to atak, w którym złośliwe polecenie zostaje umieszczone w wiadomości, pliku, stronie internetowej lub innym materiale czytanym przez agenta. Użytkownik może poprosić o porównanie ofert noclegów, a agent podczas lektury jednej ze stron natrafi na tekst nakazujący mu zignorować zadanie i wysłać prywatne dane.
Amerykański NIST opisuje agent hijacking właśnie jako wykorzystanie braku wyraźnego rozdziału między zaufanymi instrukcjami a niezaufanymi danymi. W jego testach agent mógł zostać nakłoniony m.in. do wyłudzenia danych, wysłania wiadomości albo wykonania kodu. Skala konsekwencji zależy od uprawnień: błędna odpowiedź jest kłopotem, ale możliwość wysyłania maili czy odczytywania dokumentów zmienia go w incydent bezpieczeństwa.
Współpraca Alice z AI21 dotyczyła właśnie tego obszaru. AI21 podało, że po treningu odporność NVIDIA Nemotron 3.5 Super VL na indirect prompt injection wzrosła o 41 punktów, bez pogorszenia wykonywania zadania. To wynik raportowany przez uczestników projektu, uzyskany w konkretnym środowisku testowym — nie gwarancja, że atak zawsze zostanie zablokowany w aplikacji użytkownika.
Co z tego wynika dla użytkownika?
Najważniejsza lekcja jest prosta: wynik benchmarku nie jest certyfikatem bezpieczeństwa. Przy wyborze asystenta warto sprawdzić, do czego ma dostęp, czy przed wysłaniem wiadomości lub udostępnieniem pliku prosi o potwierdzenie oraz czy potrafi wskazać niepewność. Dobrą praktyką jest ograniczanie uprawnień do minimum i traktowanie tekstu znalezionego w sieci jako danych, a nie poleceń.
Prace Alice są interesujące, bo mierzą dwa problemy, które łatwo przeoczyć w demonstracji produktu: zachowanie w długiej rozmowie i działanie agenta w kontakcie z wrogą treścią. Jednocześnie deklarowane liczby należy czytać razem z metodologią. Bez pełnego opisu zbioru, skali i niezależnej replikacji nie da się przeliczyć ich na prawdopodobieństwo szkody w konkretnym chatbotcie.
Najlepszy asystent nie będzie tym, który najszybciej przytakuje ani tym, który odmawia wszystkiego. Powinien pomóc zweryfikować słaby wniosek, zachować granicę między danymi a instrukcjami i poprosić człowieka o decyzję, gdy stawka rośnie. To mniej efektowne niż opowieść o „zbuntowanej” sztucznej inteligencji, ale znacznie bliższe problemom, z którymi użytkownicy mogą spotkać się już dziś.
Źródła
Autor Artykułu
Kamil Rogowski
Kamil Rogowski - to pasjonat technologii i sprzętu komputerowego, który od lat śledzi rozwój PC, podzespołów i gamingu. Na pcarena.pl dzieli się testami, opiniami oraz praktycznymi poradami, pomagając czytelnikom wybrać najlepszy sprzęt do pracy i rozrywki. Jego artykuły łączą wiedzę techniczną z lekkim, przystępnym stylem.