OpenAI udostępnia Decisions API. Modele decyzyjne mają działać szybciej i taniej

OpenAI udostępniło szerzej Decisions API — usługę przeznaczoną do szybkiego wybierania jednej z wcześniej określonych opcji. Firma chce w ten sposób wejść na rynek modeli decyzyjnych, które mają zastępować duże modele językowe w zadaniach wymagających częstych, prostych i tanich decyzji.

Decisions API zostało zapowiedziane podczas DevDay 29 września 2026 r. Oficjalna dokumentacja opisuje je jako narzędzie do klasyfikowania danych, routingu żądań i wyboru działania spośród zdefiniowanych odpowiedzi. To inny sposób użycia AI niż generowanie długiej odpowiedzi: aplikacja przekazuje modelowi zestaw możliwości, a model zwraca decyzję oraz — zależnie od konfiguracji — jej prawdopodobieństwo lub poziom pewności. Dokumentacja OpenAI pokazuje też, że interfejs korzysta z ustrukturyzowanych wyników, dzięki czemu łatwiej włączyć go do istniejącego kodu.

Od sekund do setek milisekund

Według informacji przekazanych TechCrunch przez Nikunja Handę, odpowiedzialnego za produkty API OpenAI, zespół skonfigurował model ChatGPT Luna tak, aby ograniczyć opóźnienia i koszt wnioskowania. W testach przywołanych przez firmę czas odpowiedzi miał spaść z około jednej–trzech sekund do mniej więcej 100–180 milisekund. Tak krótki czas reakcji może mieć znaczenie przy filtrowaniu zdarzeń, wyborze kolejnego kroku w automatyzacji, obsłudze głosowej albo kierowaniu żądań do właściwego narzędzia.

OpenAI twierdzi, że w pierwszych wdrożeniach Box, Datadog, Ramp i Speak używały usługi do zwiększenia przepustowości. Andrew Hsu, CTO platformy językowej Speak, podał, że odstęp między kolejnymi działaniami skrócił się z 1,4 sekundy do 0,13 sekundy. Są to dane pochodzące z wypowiedzi cytowanych przez TechCrunch, a nie niezależny test porównawczy, dlatego nie należy traktować ich jako uniwersalnej obietnicy dla każdego zastosowania.

Konkurencja i problem z benchmarkami

Impuls dla tej kategorii dał model Jev firmy TypeSafe. W założeniu pełni on rolę „superklasyfikatora”: szybko wybiera opcję z podanego zbioru i określa pewność decyzji. Zainteresowanie takimi modelami rośnie, bo w części procesów nie potrzeba pełnej, konwersacyjnej odpowiedzi LLM-a. Wystarczy poprawne wskazanie: zaakceptować czy odrzucić, przekazać do człowieka czy automatyzować, użyć narzędzia A czy B.

Porównywanie modeli decyzyjnych jest jednak trudniejsze niż sprawdzenie jednego wyniku na popularnym teście. Liczą się jednocześnie jakość decyzji, kalibracja pewności, koszt, szybkość i rodzaj obciążenia. Ranking dobrze radzący sobie z klasyfikacją tekstu może nie oddawać zachowania przy obrazach lub przy ciągłym strumieniu krótkich zdarzeń. Dlatego nawet twórcy Jev zalecają testowanie modeli na własnych danych. W dostarczonym materiale jako przykłady nietypowych testów wymieniono indeksy AIM System One i Artificial Analysis Decision oraz benchmark JevMan, w którym modele sterują Pac-Manem.

Obrazy, głos i następny etap

Jedną z przewag Decisions API ma być multimodalność. Handa wskazuje, że Luna może być szczególnie przydatna przy klasyfikacji obrazów i kalibracji wyników, a użytkownicy chcieliby także większej elastyczności w generowaniu obrazów jako rezultatu decyzji. OpenAI rozwija ponadto obsługę głosu i wizji w publicznej wersji usługi oraz rozmieszcza zasoby obliczeniowe bliżej użytkowników, aby ograniczać opóźnienia w różnych regionach.

Jeśli czas odpowiedzi rzeczywiście zbliży się do około 60 milisekund, nowe zastosowania mogą obejmować analizę niemal każdej klatki filmu, sterowanie interfejsem w czasie rzeczywistym czy filtrowanie zdarzeń z urządzeń brzegowych. Najważniejsze pytanie nie brzmi więc, czy model decyzyjny zastąpi LLM-a wszędzie, lecz gdzie wystarczy mniejsza i szybsza decyzja, a gdzie nadal potrzebne jest rozumowanie oraz swobodna odpowiedź. Ta różnica będzie decydowała o opłacalności wdrożeń.

Źródła

• TechCrunch
• OpenAI DevDay 2026
• dokumentacja OpenAI Decisions API