Zarządzanie Budżetem Wnioskowania w Dużych Modelach Językowych za pomocą Ograniczonej Optymalizacji Polityki

Nowa metoda optymalizacji procesów rozumowania w modelach językowych

Wyzwania w rozumowaniu modeli językowych

Modele językowe o dużej skali (LLM – Large Language Models) wykazują imponujące zdolności w rozwiązywaniu skomplikowanych problemów matematycznych i programistycznych. Badania wskazują, że długość łańcuchów rozumowania ma bezpośredni wpływ na dokładność wyników. Jednak pojawia się istotne wyzwanie – dłuższe ścieżki rozumowania mogą prowadzić do nieefektywnych rozwiązań. Obecne systemy często generują nadmiernie rozbudowane wyjaśnienia nawet dla prostych zapytań, które mogłyby zostać rozwiązane szybciej i bardziej bezpośrednio. Takie podejście prowadzi do niepotrzebnego zużycia zasobów obliczeniowych oraz zmniejsza praktyczną użyteczność modeli w rzeczywistych zastosowaniach.

Nowe podejścia do poprawy efektywności

W celu zwiększenia zdolności rozumowania modeli LLM opracowano różne metody, spośród których jedną z najbardziej podstawowych jest Chain-of-Thought (CoT). Technika ta polega na rozbijaniu procesu rozumowania na odrębne kroki, co poprawia dokładność odpowiedzi. Na bazie tej metody powstały bardziej zaawansowane techniki, takie jak rozszerzone CoT, mechanizmy autorefleksji, wieloetapowe rozumowanie czy systemy debat pomiędzy wieloma agentami AI.

Najświeższe osiągnięcia w tej dziedzinie koncentrują się na wydłużaniu długości rozumowania, czego przykładem są modele OpenAI-o1 oraz DeepSeek-R1. Niestety, generują one długie łańcuchy rozumowania niezależnie od poziomu skomplikowania problemu, co prowadzi do nieefektywnego wykorzystania mocy obliczeniowej oraz wyższych kosztów eksploatacyjnych. Dodatkowo, takie podejście zwiększa ślad węglowy, co staje się coraz bardziej istotnym problemem w kontekście zrównoważonego rozwoju.

Nowatorskie rozwiązanie naukowców

W odpowiedzi na te wyzwania badacze z Meta AI oraz Uniwersytetu Illinois w Chicago opracowali nową metodologię, która automatycznie dostosowuje długość ścieżki rozumowania do poziomu skomplikowania zapytania. W przeciwieństwie do poprzednich, heurystycznych metod optymalizacji długości odpowiedzi, nowa technologia bazuje na uczeniu ze wzmocnieniem (RL – Reinforcement Learning).

Zamiast ręcznie modelować długość odpowiedzi lub równoważyć nagrody wewnętrzne i zewnętrzne, badacze zastosowali metodę grupowania odpowiedzi. Dzięki temu podzielili zakres możliwych rozwiązań na odrębne kategorie, co pozwala na efektywne zarządzanie przestrzenią odpowiedzi i minimalizację zużycia zasobów.

Struktura nowego systemu

Nowa metoda wykorzystuje system notacji sekwencyjnej, który upraszcza analizę przejściowych stanów oraz nagród pośrednich. Każda odpowiedź traktowana jest jako pełna jednostka, co redukuje skomplikowanie obliczeń.

Architektura systemu dzieli odpowiedzi na dwie główne grupy:

1. Standardowe odpowiedzi w ramach Chain-of-Thought – krótsze, bardziej zwięzłe rozwiązania problemów o umiarkowanej złożoności.
2. Rozszerzone odpowiedzi – dłuższe, bardziej szczegółowe rozumowania wykorzystywane w bardziej skomplikowanych przypadkach.

Każda z tych grup ma różne koszty obliczeniowe, a system działa w ramach dwupoziomowego modelu optymalizacji. Proces ten polega na definiowaniu ograniczeń alokacji zasobów w ramach określonego wielokąta wypukłego, który kontroluje rozkład masy obliczeniowej między poszczególne grupy. Co więcej, algorytm stosuje podejście iteracyjne – górny poziom problemu jest rozwiązywany za pomocą aktualizacji gradientowych, podczas gdy niższy poziom optymalizowany jest w każdej iteracji.

Wyniki badań

Eksperymenty wykazały znaczącą poprawę efektywności nowego podejścia. W szczególności testy metod SVSFT oraz ASV-SFT-1 wykazały lepsze wyniki w metryce pass@1, choć kosztem większych wymagań obliczeniowych.

Największą efektywność osiągnęła wersja ASV-IuB-q+, w której zastosowano różne poziomy parametrów:

– Przy ustawieniu na 50% udało się zredukować koszty o 4,14%, przy jednoczesnym zwiększeniu efektywności 2,16-krotnie.
– Natomiast przy 75% oszczędności sięgnęły 5,74%, a efektywność wzrosła 4,32 razy.

Co istotne, osiągnięte wyniki dorównują skuteczności SCoRe, czyli jednej z najwydajniejszych metod samokorekty opartych na uczeniu ze wzmocnieniem.

Jednocześnie wyniki badań wskazują na ograniczenia metod opartych na podpowiedziach (prompting) oraz nadzorowanym dostrajaniu (SFT). W obu przypadkach nie udało się osiągnąć tak wysokiej poprawy efektywności jak w metodach RL, co sugeruje, że samokorygujące się modele działają najlepiej w oparciu o uczenie ze wzmocnieniem.

Podsumowanie i przyszłe kierunki badań

Nowa metoda optymalizacji procesów rozumowania w modelach językowych pozwala na znaczne zwiększenie efektywności obliczeniowej przy zachowaniu wysokiej dokładności odpowiedzi. Kluczowym elementem tej technologii jest IBPO – ograniczone podejście do optymalizacji polityki, które implementuje mechanizm ważonej aktualizacji Supervised Fine-Tuning.

System ten określa optymalne wagi za pomocą rozwiązania w oparciu o całkowitoliczbowe programowanie liniowe w każdej iteracji, bazując na istniejącym frameworku CGPO. Dzięki temu zapewnia dynamiczną alokację zasobów obliczeniowych oraz skuteczne przestrzeganie ograniczeń w zadaniach matematycznych.

Ograniczenia wynikające z dostępności zasobów obliczeniowych mogą być rozwiązane poprzez akumulację próbek w wielu krokach, co otwiera nowe możliwości dalszego doskonalenia systemu. W przyszłości badacze zamierzają rozszerzyć zastosowanie tej metody na różne dziedziny związane z modelami językowymi oraz przeprowadzić szerzej zakrojone testy, aby sprawdzić jej skuteczność w różnych kontekstach.