"Mamy AI w domu". Nvidia uważa, że jesteśmy gotowi na lokalne modele
Szef działu rozwoju produktów AI w firmie Nvidia wypowiadał się ostatnio na temat lokalnych modeli AI. Uważa, że są one przyszłością, na którą jesteśmy już gotowi i zmieni to sposób, w jaki pracujemy z tą technologią.
Mamy AI w domu
Adel El Hallak rozmawiał ostatnio z portalem Tom's Guide o przyszłości AI. Pracownik Nvidii jest ogromnym fanem lokalnych modeli i posiada minikomputer DGX Spark, który jest w stanie je uruchamiać. Przez sam fakt posiadania lokalnego modelu na wyciągnięcie ręki, El Hallak czuje poczucie winy, jeśli zapomni ustawić jakiegoś zadania na noc przed pójściem spać, bo "i tak ma włączony sprzęt" - powiedział w wywiadzie z redaktorką Amandą Caswell.
Jednym wnioskiem z tego wywiadu jest bodziec do produktywności, aby zmaksymalizować swoje wykorzystanie czasu i zdelegować obowiązki w czasie, gdy śpimy. Inna strona medalu to bezpieczeństwo i kontrola nad danymi. W tym momencie wszystkie nasze dane przechodzą przez ogromne serwery AI, a następnie wraca do nas odpowiedź. Nasze informacje zawsze przesiadują na infrastrukturze stron trzecich. Z kolei jeśli chodzi o lokalne modele, El Hallak twierdzi, że są coraz lepsze, a jeśli dany model jest odpalony na własnym sprzęcie i nasze dane nigdy nie wychodzą poza nasz PC. Dodatkowo nie musimy też martwić się miesięczną subskrypcją.
Jednak dużą barierą w tym wszystkim jest cena - najtańsze komputery z DGX Spark to koszt rzędu 22 tys. zł. Subskrypcja ChatGPT Plus czy Claude to około 80 zł miesięcznie, a więc niecały 1000 zł rocznie. Z drugiej strony - nie "posiadamy" tych danych w prawdziwym sensie, jesteśmy ograniczeni ilością zapytań i musimy mieć stały dostęp do internetu.
Trudno oczywiście sądzić, że każdy się rzuci na DGX Spark, bo poza deweloperami oprogramowania, naukowcami i badaczami, mało kto mógłby sobie na to pozwolić, w sposób, który realnie też pomoże w zarabianiu na siebie. Kropla jednak drąży skałę. Ekosystem usług wokół lokalnych AI się rozwija, a np. Perplexity uruchomiło Portable Computer, czyli serwis udostępniający lokalny model AI, narzędzia dla agentów oraz infrastrukturę oprogramowania do podpinania aplikacji, uruchamiania piaskownicy itp. Oczywiście wymaga on DGX Spark. El Hallak z Nvidii widzi to jako wyłaniający się trend.
W upowszechnianiu się lokalnych modeli AI mogą pomóc laptopy RTX Spark, które ukażą się już jesienią 2026 r. od m.in Dell, HP, Lenovo, Asus, MSI, Acera, a wkrótce potem także od Microsoftu w ramach marki Surface. Ich ujednolicona pula pamięci 128 GB powinna być wystarczająca do dużych modeli językowych, a przy okazji to normalne produkty konsumenckie, na których można pograć w gry itp. Tak duża ilość pamięci również sprzyja temu, by wykonywać różne zadania w tle, a zajmować się rozrywką w tym samym czasie.
Pracownik Nvidii zwraca uwagę na jeden istotny czynnik we wdrażaniu lokalnych modeli - koszty. "Był pewien okres, gdy w firmach chwalono się ile używano tokenów. Potem gdy przyszły rachunki - [wszystko przerodziło się] w optymalizację kosztów."Ostatecznie lokalne modele mogą wprowadzić poczucie własności danych, jak i niezależność oraz stabilność wynikającą z braku zmartwień o to, czy tokeny skończą się w kluczowym momencie.
