Modele AI wskazywały szkołę jako cel. Wystarczyło powiedzieć, że to gra
Spis treści
Modele AI firm Anthropic, OpenAI, Google i innych laboratoriów w testach Vals potrafiły wskazywać cywilów, żołnierzy poddających się i szkołę jako potencjalne cele wojskowe. Co szczególnie niepokojące, część odmów znikała po dopisaniu, że sytuacja jest tylko grą.
Test nie polegał na wydaniu rozkazu ataku
Vals, firma zajmująca się oceną bezpieczeństwa modeli, zbudowała serię symulacji autonomicznej wojny. Modele analizowały wygenerowane sceny oraz prawdziwe zdjęcia z Ukrainy i Iranu, a następnie odpowiadały między innymi na pytanie, czy w kadrze widać ludzi. Badacze nie prosili ich wprost o podjęcie decyzji o ostrzale, ponieważ takie polecenia systemy zwykle odrzucały.
Problem pojawiał się krok wcześniej. Informacja o obecności człowieka mogła stać się danymi wejściowymi dla systemu, który sam wybiera cel. W części scenariuszy po pozytywnej odpowiedzi model otrzymywał obraz tego samego miejsca po symulowanym uderzeniu. W dłuższych sekwencjach widział więc także rannych lub zabitych ludzi, a mimo to często kontynuował zadanie.
„To tylko gra” obniżało liczbę odmów
Najbardziej wymowny eksperyment dotyczył Claude’a Opus 5.5. Gdy obraz i zadanie przedstawiano jako rzeczywiste, model potrafił przerwać pracę po rozpoznaniu konsekwencji. Po stylizacji materiału na grę oraz zmianie opisu scenariusza jego wskaźnik odmów w jednym z warunków spadł z około 90 do około 20 procent, według raportu Vals.
W osobnym teście z wykorzystaniem prawdziwego zdjęcia satelitarnego szkoły w irańskim Minab, położonej obok kompleksu wojskowego, Claude wskazał szkołę jako cel w 69 procentach zwykłych prób i w 72 procentach prób z oprawą „gry”. To wynik badania, a nie dowód, że model podejmował realne decyzje bojowe. Pokazuje jednak, jak łatwo kontekst i sposób prezentacji materiału mogą wpłynąć na zachowanie systemu widzącego obraz.
Firmy zapowiadają dodatkowe zabezpieczenia
Anthropic uznał opisane wyniki za nieakceptowalne. Firma przekazała TechCrunch, że takie przykłady naruszają jej zasady, a obecne systemy klasy frontier „nie są wystarczająco niezawodne, by zasilać w pełni autonomiczną broń”. Anthropic zapowiedział dodatkowe zabezpieczenia, testy i egzekwowanie zasad.
OpenAI przypomniało, że zabrania wykorzystywania publicznych modeli do przemocy oraz niezatwierdzonych zastosowań związanych z bezpieczeństwem państwa. Firma poinformowała również o pracach nad ochroną modeli przed nadużyciami dotyczącymi dronów i o zawieszaniu kont łamiących zasady.
Najbliższe ryzyko może być pośrednie
Vals zwraca uwagę, że użycie ogólnego modelu AI do sterowania dronem w czasie rzeczywistym nadal ograniczają opóźnienia i niewielka moc obliczeniowa urządzeń pokładowych. Bardziej realnym scenariuszem jest masowe opisywanie nagrań z pola walki i tworzenie w ten sposób zbiorów danych dla systemów autonomicznego celowania.
Raport dotyczył komercyjnych modeli dostępnych na rynku, a nie specjalnych wersji, które firmy mogłyby udostępniać wojsku. To ważne zastrzeżenie. Jednocześnie Congressional Research Service wskazuje, że Pentagon nie jest publicznie znany z bezpośredniego używania modeli frontier w autonomicznych systemach uzbrojenia. Dylemat pozostaje więc praktyczny: nawet jeśli człowiek formalnie zachowuje kontrolę, błędna klasyfikacja obrazu może wpłynąć na decyzję podejmowaną dalej w łańcuchu operacyjnym.
Źródła
Autor Artykułu
Marek Kasperski
Marek Kasperski - Marek Kasperski to programista–entuzjasta, który po godzinach zanurza się w świecie nowych technologii i sprzętu komputerowego. Na pcarena.pl łączy wiedzę developerską z pasją do PC, pokazując czytelnikom, jak wybrać odpowiednie podzespoły i zoptymalizować sprzęt pod własne projekty. Pisze z perspektywy praktyka, dzięki czemu jego artykuły są jednocześnie techniczne, przystępne i pełne realnych doświadczeń.