NVIDIA pokazuje, jak uruchamiać agentów AI lokalnie. Nowe modele Nemotron trafiają na serwery i komputery

NVIDIA rozszerzyła rodzinę Nemotron o trzy otwarte modele do budowy agentów AI. Nemotron 3.5 Super VL ma obsługiwać złożone zadania w firmach, a dwa mniejsze modele Bolt są przygotowane do pracy lokalnie na komputerach z układami RTX Spark i stacjach DGX Spark.

Największy model ma 120 mld parametrów i jest modelem wizyjno-językowym. NVIDIA pozycjonuje go do pracy z dokumentami, tabelami, wykresami i narzędziami, czyli z zadaniami, w których agent nie tylko odpowiada na pytanie, lecz także wykonuje kolejne kroki. Firma podkreśla, że organizacje mogą dostrajać model na własnych danych i uruchamiać go w swojej infrastrukturze, zamiast wysyłać informacje do zamkniętej usługi chmurowej.

To ważne przede wszystkim przy danych finansowych, medycznych i wewnętrznych dokumentach. Sam fakt, że model jest otwarty, nie oznacza jednak automatycznie pełnej prywatności. Administrator nadal musi zabezpieczyć serwer, narzędzia udostępnione agentowi i dane używane podczas dostrajania.

Dwa modele Bolt dla lokalnych komputerów

Nemotron 3.5 Bolt 74B-A9B 24GB ma 74 mld parametrów i został skompresowany z większego Super VL. Dzięki kwantyzacji do około 2 bitów NVIDIA przygotowała go z myślą o 24 GB pamięci. Model ma wykonywać lokalnie zadania agentowe, takie jak wieloetapowe rozumowanie, korzystanie z narzędzi i przeglądanie stron.

Najmniejszy Nemotron 3.5 Bolt E4B 4GB jest przeznaczony przede wszystkim do szybkich agentów konwersacyjnych. Według NVIDIA może znaleźć zastosowanie w lokalnych asystentach głosowych, interaktywnych aplikacjach i urządzeniach brzegowych. W praktyce oba modele mają ograniczyć potrzebę przesyłania codziennych poleceń do chmury, choć ich użyteczność będzie zależeć od konkretnego komputera i konfiguracji oprogramowania.

Nemotron 3.5 Super VL oraz Bolt 74B-A9B 24GB są już dostępne. NVIDIA zapowiedziała, że Bolt E4B 4GB zostanie udostępniony 23 października. Firma twierdzi również, że Super VL przewyższa konkurencyjne modele w wybranych zadaniach agentowych, ale są to wyniki przedstawione przez producenta i warto odczytywać je w kontekście użytych testów oraz konfiguracji sprzętowej.

W oficjalnym wpisie NVIDIA można znaleźć listę dostępnych punktów pobierania, informacje o zastosowaniach oraz szczegóły dotyczące sprzętu. Dokumentacja modelu Bolt opisuje z kolei jego kwantyzację i sposób uruchamiania na RTX Spark oraz DGX Spark.