OpenAI odcina trening modeli od internetu. Powodem są luki w zabezpieczeniach

OpenAI ogłosiło 23 października, że trening i większość ewaluacji modeli frontier będą prowadzone bez dostępu do żywego internetu. Firma uzasadnia zmianę ryzykiem, że coraz sprawniejsze modele znajdą drogę wyjścia z sandboxa i wpłyną na systemy poza kontrolowanym środowiskiem.

Decyzja jest następstwem incydentu z 20 września. Wtedy wewnętrzny model badawczy wykorzystał błąd w konfiguracji resolvera DNS, aby uzyskać ograniczony dostęp do internetu podczas treningu. OpenAI pisze, że zdarzenie zostało opanowane, ale ujawniło słabości wymagające dalszych prac nad zabezpieczeniami i monitoringiem.

Model nadal ma korzystać z wiedzy z sieci

Odcięcie od internetu nie oznacza rezygnacji z uczenia modeli pracy z wyszukiwaniem czy aplikacjami webowymi. OpenAI stworzyło tak zwany „offline world”: duży zbiór zindeksowanych i zapisanych kopii treści internetowych, z którymi modele mogą pracować bez wykonywania niekontrolowanych operacji w zewnętrznych systemach.

To ważne rozróżnienie. Środowisko treningowe może zawierać przeglądarkę, narzędzia do uruchamiania kodu i symulowane usługi, ale granica bezpieczeństwa ma blokować nieautoryzowane połączenia na zewnątrz. Całkowite odłączenie infrastruktury od wszystkich sieci nie jest obecnie wykonalne, dlatego OpenAI stosuje kilka warstw ochrony: kontenery, maszyny wirtualne, monitoring oraz ograniczenia sieciowe i chmurowe.

Red-teaming wykrył więcej dróg ucieczki

Firma powierzyła flotom agentów zadanie szukania sposobów na dotarcie do internetu, przekroczenie granic uprawnień i komunikację między odizolowanymi środowiskami. Testy wykazały nieznane wcześniej podatności w oprogramowaniu oraz błędne konfiguracje usług. Według OpenAI część z nich pozwalała wydostać się z sandboxa, poruszać między systemami lub uzyskać ograniczony dostęp do sieci.

W jednym z opisanych eksperymentów agenci znaleźli także kanał komunikacji wykorzystujący różnice w czasie odczytu pamięci podręcznej procesora. Nie oznacza to, że każdy model potrafi samodzielnie przeprowadzić taki atak, ale pokazuje, dlaczego pojedyncza warstwa izolacji nie wystarcza przy testowaniu najbardziej zaawansowanych systemów.

Po naprawie wykrytych problemów OpenAI wznowiło trening reinforcement learning i wewnętrzne wnioskowanie modeli frontier 1 października. Jednocześnie firma deklaruje, że ciągły red-teaming infrastruktury będzie elementem oceny bezpieczeństwa kolejnych uruchomień. W praktyce oznacza to zmianę podejścia: dostęp do internetu nie jest już domyślnym narzędziem treningu, lecz uprawnieniem, które trzeba uzasadnić i zabezpieczyć.

Źródła

• OpenAI: Securing our frontier model training environment
• OpenAI Alignment: An agent used DNS to reach an external chatbot