Flint chce przenieść kodowanie AI na laptopa. Recursive pokazuje model z 2,5 mld aktywnych parametrów
By Paweł Lisowski
Spis treści
Recursive udostępniło Flint, otwarto-wagowy model AI do kodowania, który ma działać lokalnie zamiast wysyłać kod do chmury. Firma twierdzi, że w powstaniu modelu pomogła jej Eureka Machine, czyli zautomatyzowany system badawczy rozwijający i testujący kolejne pomysły. Flint jest dostępny bez opłat na Hugging Face, ale określenie „model na laptopa” wymaga doprecyzowania: wiele zależy od wersji wag, pamięci i użytego silnika.
Flint: duży model, który aktywuje tylko część parametrów
Flint to architektura mixture of experts. Ma około 39,8 mld parametrów w całym modelu, lecz przy generowaniu pojedynczego tokenu aktywnych jest około 2,5 mld. Taka konstrukcja ogranicza ilość obliczeń potrzebnych przy każdym kroku i jest kluczowa dla lokalnego uruchamiania.
Oficjalna karta modelu wymienia zastosowania typowe dla agenta programistycznego: analizowanie repozytoriów, naprawianie błędów, implementowanie funkcji i pisanie testów. Flint obsługuje też wieloetapową pracę z narzędziami. W praktyce nie oznacza to jednak, że każdy laptop uruchomi pełną wersję bez dodatkowej konfiguracji. Recursive publikuje osobne, skwantyzowane warianty dla sprzętu Apple i kart NVIDIA, a wersja INT4 dla Apple Silicon zajmuje około 22,6 GB.
Lokalnie, offline i na licencji Apache 2.0
Najważniejszą różnicą względem wielu płatnych asystentów programistycznych jest miejsce wykonywania obliczeń. Flint może pracować na komputerze użytkownika, dzięki czemu kod nie musi trafiać na zewnętrzny serwer. To przydatne przy pracy z prywatnymi repozytoriami, a także wtedy, gdy liczy się brak opłat naliczanych za liczbę przetworzonych tokenów.
Wagi modelu są dostępne na Hugging Face na licencji Apache 2.0. Pozwala ona używać i modyfikować model na szerokich zasadach, choć trzeba osobno sprawdzić wymagania konkretnego narzędzia do uruchamiania oraz warunki usług ewentualnego dostawcy hostowanej inferencji.
Wyniki wyglądają obiecująco, ale to deklaracje producenta
Recursive podaje, że Flint uzyskał 74,2 proc. w SWE-bench Verified, czyli teście naprawiania rzeczywistych błędów w oprogramowaniu, oraz 89,7 proc. w SWE-bench Pro v2. Karta modelu wymienia również 54,9 proc. w Terminal-Bench 2.1. Firma zaznacza, że wyniki zależą od konfiguracji testu, agenta i parametrów próbkowania, a część porównań pochodzi od twórców ocenianych modeli. Nie należy więc traktować tych liczb jako niezależnego rankingu całego rynku.
W testach Recursive Flint miał generować ponad 125 tokenów na sekundę na MacBooku Pro z układem M4 Pro oraz ponad 150 tokenów na sekundę na karcie NVIDIA RTX Spark z 64 GB pamięci przy krótkim kontekście. OpenHands, które ogłosiło wsparcie dla Flinta od dnia premiery, podkreśla, że rzeczywista szybkość zależy między innymi od kwantyzacji, długości kontekstu, sprzętu i silnika inferencji.
Eureka Machine jako część eksperymentu
Wokół Flinta najwięcej uwagi skupia nie sama premiera, lecz sposób jego budowy. Recursive twierdzi, że Eureka Machine proponowała pomysły, wdrażała eksperymenty, mierzyła rezultaty i wybierała kierunki dalszej pracy. System miał pomagać przy danych, recepturach treningowych, architekturze, kwantyzacji oraz wyspecjalizowanych kernelach dla Apple Silicon i RTX Spark. Niewielki zespół ludzi i agentów miał zbudować model od podstaw w mniej niż cztery miesiące.
To jeszcze nie jest pełna rekurencyjna samodoskonaląca się sztuczna inteligencja. Na obecnym etapie ludzie nadal nadzorują proces, wybierają obiecujące wyniki i odpowiadają za decyzje. Flint jest raczej publicznym testem tezy, że automatyzacja badań może skrócić drogę od pomysłu do działającego modelu.
Co warto wiedzieć przed pobraniem
Flint może być interesujący dla programistów, którzy chcą zachować kod lokalnie i zaakceptują konfigurację narzędzi takich jak llama.cpp, Ollama, LM Studio, vLLM lub SGLang. Przy trudniejszych zadaniach Recursive zaleca dzielenie pracy na mniejsze kroki i wydawanie precyzyjnych poleceń. Model może generować błędny kod albo niebezpieczne wywołania narzędzi, dlatego każdą zmianę trzeba testować, a operacje w repozytorium wykonywać z ograniczonymi uprawnieniami.
Źródła
Autor Artykułu
Paweł Lisowski
Paweł Lisowski - pasjonat technologii, komputerów i internetu. Od wielu lat śledzi rozwój sprzętu i oprogramowania, testuje nowe rozwiązania i dzieli się wiedzą z czytelnikami. Zafascynowany wpływem technologii na codzienne życie, tworzy praktyczne poradniki i inspiruje do świadomego korzystania z cyfrowego świata.