Wywiad z Devvretem Rishim, CEO i współzałożycielem Predibase

Rozwój Sztucznej Inteligencji: Wywiad z Devvretem Rishi, CEO Predibase

Devvret Rishi to współzałożyciel i CEO Predibase, firmy, której misją jest demokratyzacja głębokiego uczenia. Przed założeniem Predibase, Devvret zdobywał doświadczenie jako lider produktu w dziedzinie uczenia maszynowego w Google, gdzie pracował nad takimi projektami jak Firebase, Google Research, Google Assistant oraz Vertex AI. Był także pierwszym liderem produktu Kaggle, globalnej społeczności nauki o danych i uczenia maszynowego z ponad 8 milionami użytkowników. W wywiadzie z Asifem Razzaq, CEO Marktechpost Media, Devvret opowiada o inspiracjach stojących za założeniem Predibase oraz o ewolucji branży uczenia maszynowego.

Początki i Misja Predibase

W 2021 roku Devvret i jego współzałożyciele założyli Predibase z misją demokratyzacji dostępu do zaawansowanego głębokiego uczenia. W tamtym okresie duże firmy technologiczne, takie jak Google, Apple czy Uber, w których pracowali założyciele Predibase, wykorzystywały już modele neuronowe, aby tworzyć zaawansowane systemy rekomendacyjne oraz przetwarzać dane nieustrukturyzowane, takie jak teksty i obrazy. Jednak większość firm nadal polegała na przestarzałych metodach, takich jak regresja liniowa czy modele drzew decyzyjnych.

Predibase zbudowano na podstawie otwartoźródłowego projektu, który jeden z współzałożycieli, Piero, rozwijał podczas pracy w Uberze. Początkowo zespół wierzył, że demokratyzacja głębokiego uczenia odbędzie się za pośrednictwem platform takich jak ich własna. Jednak szybki rozwój modeli o ogromnej liczbie parametrów, takich jak transformatory, zmienił zasady gry. Modele te, skalowane do setek lub tysięcy razy większych, zyskały nowe, generatywne właściwości. Dzięki temu inżynierowie mogli pracować z nimi, korzystając z prostych zapytań, bez potrzeby wstępnego szkolenia.

Kluczowe Innowacje Predibase

Predibase oparło swoje rozwiązania o technologię Low-Rank Adaptation (LoRA), która zrewolucjonizowała sposób trenowania modeli. Zamiast trenować model od zera i modyfikować wszystkie parametry, LoRA pozwala na modyfikację jedynie niewielkiej ich części (zwykle mniej niż 1%), co pozwala osiągnąć podobne rezultaty z o wiele mniejszym nakładem zasobów. Dzięki temu trenowanie modeli stało się bardziej efektywne i mniej kosztowne.

Wielu klientów Predibase zakłada, że trenowanie modeli zajmuje dni i kosztuje dziesiątki tysięcy dolarów. Jednak dzięki platformie Predibase można dostroić większość modeli w ciągu 30 minut do godziny, za jedyne 20-200 złotych, co znacznie obniża próg wejścia w tworzenie niestandardowych modeli.

Wydajność i Koszty

Predibase wprowadziło ponad 50 optymalizacji do swojej technologii dostrajania modeli. Dzięki tym innowacjom możliwe jest trenowanie modeli przy minimalnych zasobach, a proces ten zajmuje minuty, a nie dni, i kosztuje zaledwie od 20 do 200 złotych. Optymalizacja procesów wnioskowania (inference) jest kluczowa dla organizacji, które alokują większość swoich zasobów na ten etap. Predibase zautomatyzowało skalowanie GPU, co sprawia, że klienci płacą tylko za wykorzystane zasoby obliczeniowe. Infrastruktura LoRAX, opracowana przez Predibase, pozwala na jednoczesne uruchamianie wielu dostrojonych modeli na jednym GPU, co dodatkowo obniża koszty.

Bezpieczeństwo Danych i IP

Bezpieczeństwo danych i ochrona własności intelektualnej to priorytety dla dużych przedsiębiorstw, szczególnie w sektorach regulowanych, takich jak finanse czy ochrona zdrowia. Predibase oferuje możliwość wdrożenia swojej platformy w prywatnej chmurze klienta, co zapewnia pełną kontrolę nad danymi i spełnia wszystkie wymogi bezpieczeństwa, w tym zgodność z SOC II Type II. Dzięki temu firmy mogą bez obaw dostrajać i wdrażać modele, mając pewność, że ich dane są chronione.

Łatwość Użycia i Wydajność

Jednym z głównych celów Predibase było uproszczenie procesu dostrajania modeli. Platforma umożliwia rozpoczęcie pracy zaledwie z 10 liniami kodu, a inżynierowie i naukowcy danych mogą skorzystać z interfejsu webowego lub SDK, aby szybko załadować dane, wybrać model i rozpocząć proces trenowania. Dzięki temu zespoły mogą skupić się na wynikach, zamiast spędzać czas na zarządzaniu infrastrukturą.

Wydajność wnioskowania ma kluczowe znaczenie w wielu przypadkach użycia, dlatego Predibase wprowadziło Turbo LoRA, które zwiększa przepustowość nawet czterokrotnie, oraz kwantyzację FP8, która zmniejsza zapotrzebowanie na pamięć o połowę, co przyspiesza procesy przetwarzania. Dzięki temu platforma dostarcza szybkie, efektywne kosztowo modele, które mogą obsługiwać obciążenia w czasie rzeczywistym.

Różnica w Stosunku do Konkurencji

Predibase wyróżnia się na tle innych dostawców dostrajania modeli dzięki kompleksowej platformie, która działa bezproblemowo. Dzięki ponad 50 optymalizacjom wbudowanym w infrastrukturę, platforma zapewnia wydajne i stabilne dostrajanie modeli bez problemów z brakiem pamięci czy spadkami wydajności. LoRAX umożliwia efektywne uruchamianie setek dostrojonych modeli na jednym GPU, co w połączeniu z Turbo LoRA, FP8 i automatycznym skalowaniem GPU sprawia, że Predibase oferuje najszybsze i najbardziej opłacalne wdrożenia modeli na rynku.

Przyszłość Branży

Devvret przewiduje, że przyszłość generatywnej sztucznej inteligencji będzie opierać się bardziej na małych, dostrojonych do konkretnych zadań modelach, niż na dużych, ogólnych modelach. Choć w 2023 roku rynek skupiał się na jak największych modelach, firmy wchodzące w produkcję zaczynają zwracać większą uwagę na koszty, jakość i opóźnienia. Zmniejszanie rozmiarów modeli pozwala na lepsze dopasowanie kosztów do zwrotu z inwestycji.

Predibase również zauważa rosnące znaczenie otwartoźródłowych modeli w porównaniu do komercyjnych rozwiązań. W miarę jak firmy przechodzą z etapu prototypowania na produkcję, otwarte rozwiązania zyskują na popularności, co sprzyja dalszemu rozwojowi branży.

Największe Niewykorzystane Możliwości

Devvret podkreśla, że największą niewykorzystaną możliwością w branży jest stworzenie systemów, które automatycznie uczą się i poprawiają w miarę użytkowania. Obecnie wiele firm osiąga 70% dokładności przy pomocy inżynierii zapytań, ale dalsze ulepszenia są marginalne. Devvret widzi ogromny potencjał w budowaniu systemów, które będą automatycznie poprawiać swoją dokładność, wykorzystując dane produkcyjne do iteracyjnego dostrajania modeli.

Podsumowanie

Predibase to platforma, która zmienia zasady gry w dostrajaniu modeli uczenia maszynowego. Dzięki innowacjom takim jak LoRA, Turbo LoRA czy LoRAX, Predibase umożliwia szybkie, tanie i efektywne dostrajanie modeli, co pozwala firmom na tworzenie niestandardowych rozwiązań z minimalnym nakładem zasobów. W obliczu rosnącego zapotrzebowania na bardziej precyzyjne i tańsze modele, Predibase staje się kluczowym graczem w transformacji rynku generatywnej sztucznej inteligencji.