OpenAI proponuje nowy hamulec dla rozwoju AI. Kluczowa ma być perplexity
Spis treści
OpenAI proponuje, by tempo rozwoju najbardziej zaawansowanych modeli AI mierzyć nie tylko ich wynikami w testach, lecz także perplexity, czyli miarą tego, jak dobrze przewidują kolejne tokeny. Jakub Pachocki, główny naukowiec firmy, uważa, że taki wspólny wskaźnik mógłby pomóc laboratoriom ustalać granice rozwoju do czasu, aż powstaną lepsze metody rozumienia i monitorowania zachowania modeli.
Pomysł pojawia się w momencie, gdy branża coraz głośniej dyskutuje o tempie prac nad sztuczną inteligencją. Dario Amodei, szef Anthropic, opowiada się za „dawkowaniem” rozwoju AI tak, aby praktyki bezpieczeństwa nadążały za możliwościami modeli. W opublikowanym przez Anthropic opisie pomiarów tempa prac znalazły się trzy obszary: udział AI w tworzeniu kolejnych systemów, skuteczność nadzoru nad agentami oraz zasoby wykorzystywane do rozwoju modeli.
Perplexity ma mierzyć fundament, nie gotową aplikację
Perplexity mierzy, jak dobrze model przewiduje następny token, a niższa wartość oznacza lepsze przewidywania. W praktyce OpenAI śledzi przede wszystkim logarytm tej miary, nazywany też stratą entropii krzyżowej, na wydzielonych zbiorach danych. Pachocki twierdzi, że taki pomiar pretreningu pozostaje użyteczny dłużej niż popularne benchmarki, które po kolejnych generacjach szybko przestają rozróżniać modele.
Według danych przedstawionych przez Pachockiego GPT-3.5 osiągało około 0,99 log-perplexity na głównym zbiorze ewaluacyjnym OpenAI, GPT-4 około 0,91, a najnowsze modele zeszły poniżej 0,8. Autor łączy te poziomy z pojawieniem się kolejnych możliwości, między innymi produktywnego użycia rozumowania łańcuchowego, a później zastosowań w matematyce i cyberbezpieczeństwie. Zastrzega przy tym, że nie były to z góry przewidywalne progi: nowe zdolności mogą pojawiać się emergentnie.
Wspólny próg, ale nie jeden magiczny numer
Propozycja nie sprowadza się do ogłoszenia jednej liczby, po której firmy miałyby automatycznie zatrzymać trening. OpenAI chce raczej, aby laboratoria uzgodniły wspólny sposób pomiaru i nie przekraczały kolejnych progów bez konkretnych postępów w monitorowaniu modeli, na przykład następcy monitorów śledzących łańcuchy rozumowania.
To właśnie tutaj zaczynają się najważniejsze zastrzeżenia. Różne firmy korzystają z innych zbiorów ewaluacyjnych i mieszanek danych, więc ich wyniki nie są od razu porównywalne. Perplexity nie opisuje też bezpośrednio tego, czy model dobrze radzi sobie z konkretnym zadaniem. Nie uwzględnia ponadto wszystkich usprawnień po pretreningu, w tym metod rozumowania, które mogą znacząco zwiększyć możliwości bez obniżania samego wyniku.
Dlatego pomysł Pachockiego jest raczej propozycją wspólnego języka dla branży niż gotowym regulatorem. Jeśli laboratoria uzgodnią dane, metodologię i niezależny nadzór, perplexity może stać się jednym z sygnałów ostrzegawczych. Samodzielnie nie odpowie jednak na pytanie, czy konkretny model jest bezpieczny do wdrożenia.
Źródła
Autor Artykułu
Paweł Lisowski
Paweł Lisowski - pasjonat technologii, komputerów i internetu. Od wielu lat śledzi rozwój sprzętu i oprogramowania, testuje nowe rozwiązania i dzieli się wiedzą z czytelnikami. Zafascynowany wpływem technologii na codzienne życie, tworzy praktyczne poradniki i inspiruje do świadomego korzystania z cyfrowego świata.