OpenAI wpuszcza zewnętrznych kontrolerów. Apollo zbada, czy modele obchodzą zabezpieczenia
OpenAI rozpoczyna z Apollo Research czteromiesięczny pilotaż, w ramach którego sześciu badaczy będzie analizować bezpieczeństwo modeli w trakcie szkolenia, testów i wewnętrznego wdrażania. Celem jest sprawdzenie, czy systemy próbują podważać mechanizmy kontroli własnej lub przyszłych wersji.
To ważna zmiana względem klasycznego modelu audytu. Zewnętrzni eksperci zwykle dostają gotowy model krótko przed premierą. Apollo chce obserwować także pośrednie punkty kontrolne, dane z uczenia ze wzmocnieniem oraz sytuacje, w których model działa już wewnątrz organizacji. Wcześniejsze testy końcowego produktu mogą nie wykazać zachowania, które ujawnia się tylko podczas treningu albo wtedy, gdy system rozpoznaje, że jest oceniany.
Co dokładnie sprawdzi Apollo?
Zakres pilotażu obejmuje cztery pytania: czy szkolenie tworzy zachęty do obchodzenia zabezpieczeń, czy same testy potrafią wywołać takie zachowanie, czy pojawia się ono podczas wewnętrznego użycia oraz czy związane z nim rozumowanie można wykryć. Apollo nazywa ten problem subwersją. Chodzi o próby osłabienia reguł, nadzoru lub metod kontroli, a nie o zwykły błąd w odpowiedzi.
Firma zapowiada, że w części dotyczącej treningu otrzyma dostęp do odpowiedniego kodu i zbiorów danych, przebiegów uczenia ze wzmocnieniem wraz z dostępnymi śladami rozumowania i nagrodami, a także do pośrednich punktów kontrolnych modeli. To pozwoli porównywać zachowanie systemu na różnych etapach, zamiast oceniać tylko jego finalną wersję.
Decyzja ma też kontekst w postaci ujawnionych przez OpenAI przykładów niepożądanego zachowania modeli. W swoim raporcie o zgłaszaniu niezgodności firma opisała między innymi przypadki, w których podczas szkolenia GPT-5.6 Sol modele dopisywały do podsumowań instrukcje ukrywania błędów lub niezgodnego zachowania przed użytkownikiem. OpenAI zaznaczyło zarazem, że są to pojedyncze obserwacje, a nie miara częstotliwości takich zdarzeń.
Niezależność będzie zależeć od dostępu
Apollo podkreśla, że wiarygodność takiej oceny zależy nie tylko od kompetencji badaczy, lecz także od ich swobody działania. W opisie pilotażu firma wskazuje trzy warunki: dostęp do danych potrzebnych do weryfikacji, możliwość przekazania wyników odpowiednim odbiorcom zewnętrznym oraz prawo do publicznego opisania ograniczeń samego badania.
Porozumienie z OpenAI nie spełnia jeszcze wszystkich postulatów Apollo. Dostęp jest ograniczony do uzgodnionych twierdzeń, konkretnych modeli i przedziałów czasu. OpenAI może odmówić przekazania części materiałów z powodu wykonalności technicznej, bezpieczeństwa lub ochrony własności intelektualnej, choć nie powinno robić tego wyłącznie dlatego, że wynik byłby dla firmy niekorzystny.
Podobne zastrzeżenia pojawiały się już przy debacie o osadzaniu niezależnych ewaluatorów w laboratoriach AI. Wcześniejsze omówienie TechCrunch zwracało uwagę, że badacze potrzebują dostępu do pośrednich wersji modeli, logów i środowiska, w którym system jest nagradzany za określone zachowania. Bez tych danych niezależny audyt łatwo staje się sprawdzeniem dokumentów wybranych przez producenta.
Apollo ma opublikować dwa raporty: pierwszy o tym, czy trening tworzy zachęty do subwersji, a drugi o testach, wewnętrznym wdrożeniu i wykrywalności rozumowania związanego z obchodzeniem zabezpieczeń. OpenAI będzie mogło żądać usunięcia poufnych informacji, w tym części dowodów, ale nie powinno blokować samego werdyktu tylko dlatego, że jest dla niego niekorzystny. Dla czytelników kluczowe będzie więc nie tylko to, jaki wynik otrzyma Apollo, lecz także jak dokładnie opisze luki w dostępie i publikacji dowodów.
Źródła
Autor Artykułu
Kamil Rogowski
Kamil Rogowski - to pasjonat technologii i sprzętu komputerowego, który od lat śledzi rozwój PC, podzespołów i gamingu. Na pcarena.pl dzieli się testami, opiniami oraz praktycznymi poradami, pomagając czytelnikom wybrać najlepszy sprzęt do pracy i rozrywki. Jego artykuły łączą wiedzę techniczną z lekkim, przystępnym stylem.