Google pokazuje dwa nowe TPU. Jeden ma chronić dane, drugi mieścić większy kontekst
Spis treści
Google rozszerza ósmą generację własnych akceleratorów AI o dwa wyspecjalizowane systemy. TPU 8tx ma chronić dane i wagi modeli także podczas obliczeń, a TPU 8i Max zwiększa zasoby pamięci potrzebne przy bardzo długim kontekście i dużych zadaniach.
Oba rozwiązania są rozwinięciem układów TPU 8t i TPU 8i pokazanych w kwietniu. Google podkreśla, że tym razem chodzi nie tylko o sam krzem, lecz o kompletne systemy łączące akceleratory, pamięć, sieć i zabezpieczenia. Firma twierdzi, że po raz pierwszy w jednym roku wprowadziła cztery systemy TPU tej generacji.
TPU 8tx ma zabezpieczać dane w trakcie pracy
TPU 8tx bazuje na tym samym krzemie co TPU 8t i korzysta z hostów z procesorami AMD EPYC piątej generacji. Połączenie akceleratora z mechanizmami poufnego przetwarzania ma chronić dane, wagi modeli i wyniki pośrednie również wtedy, gdy są używane przez działający system. To ważne przede wszystkim dla firm regulowanych i instytucji, które chcą uruchamiać modele na prywatnych danych w chmurze.
Google połączyło tu moc obliczeniową układu treningowego z niskolatencyjną siecią znaną z TPU 8i. W praktyce jeden system ma obsługiwać zarówno dostrajanie modeli na poufnych danych, jak i wnioskowanie. Otwiera to drogę do distylacji dużych modeli do mniejszych oraz trenowania agentów bez przenoszenia wrażliwych danych między oddzielnymi klastrami. AMD potwierdza, że jego procesory EPYC tworzą warstwę hosta dla TPU 8tx i współpracują z zabezpieczeniami opartymi na AMD SEV.
TPU 8i Max podwaja zasoby w jednym pakiecie
Druga nowość odpowiada na inne ograniczenie: pamięć. TPU 8i Max łączy dwa układy TPU 8i w jednym pakiecie, dzięki czemu ma oferować dwukrotnie większą moc obliczeniową, dwukrotnie więcej pamięci SRAM i dwa razy większą przepustowość HBM niż pojedynczy TPU 8i. Google kieruje ten system do zadań, w których model analizuje bardzo długi kontekst, na przykład duże repozytoria kodu, wiele narzędzi współpracujących z agentem albo długie materiały wideo.
Taki układ nie zmienia zasad działania modelu, ale ogranicza ryzyko, że obliczenia będą czekały na dane. Podwojenie zasobów w tej samej przestrzeni szafy może też zwiększyć gęstość obliczeń w centrum danych. To właśnie pamięć i komunikacja między układami coraz częściej stają się równie ważne jak surowa liczba operacji na sekundę.
Google buduje alternatywę dla dominacji Nvidii
Rozbudowa TPU wpisuje się w szerszy wyścig o infrastrukturę dla sztucznej inteligencji. Najwięksi dostawcy chmury rozwijają własne akceleratory, bo chcą lepiej kontrolować koszty, dostępność sprzętu i oprogramowanie potrzebne do obsługi modeli. Google dodatkowo otwiera stos TPU na użytkowników PyTorch i rozwija narzędzia do obsługi wnioskowania, co ma zmniejszać barierę wejścia dla zespołów pracujących dotąd głównie z GPU.
Nowe systemy nie oznaczają końca współpracy Google z Nvidią. Pokazują jednak, że rynek odchodzi od jednego uniwersalnego akceleratora. 8t ma obsługiwać trening, 8i szybkie rozumowanie, 8tx poufne obliczenia, a 8i Max zadania z ogromnym kontekstem. Taki podział może być dla klientów chmurowych ważniejszy niż sama nazwa układu, bo pozwala dobrać infrastrukturę do konkretnego etapu pracy modelu.
Źródła
Autor Artykułu
Piotr Tchórz
Redaktor naczelny PC Arena. Łączy doświadczenie redakcyjne z zainteresowaniem komputerami, nowymi technologiami i sztuczną inteligencją. Pisze o tym, co zmienia się w świecie PC - od sprzętu i oprogramowania po praktyczne zastosowania AI.