Salesforce AI Research prezentuje Moirai-MoE: Model bazowy MoE do analizy szeregów czasowych, który automatycznie dostosowuje się do specjalizacji na poziomie tokenów

Prognozowanie szeregów czasowych odgrywa kluczową rolę w wielu branżach, takich jak finanse, opieka zdrowotna, meteorologia oraz zarządzanie łańcuchem dostaw. Jego głównym celem jest przewidywanie przyszłych wartości danych na podstawie historycznych obserwacji. Proces ten jest jednak niezwykle skomplikowany ze względu na złożoną i zmienną naturę danych czasowych. Najnowsze osiągnięcia w dziedzinie uczenia maszynowego, a zwłaszcza rozwój modeli bazowych, zrewolucjonizowały ten obszar, umożliwiając tworzenie uogólnionych modeli zdolnych do obsługi różnych szeregów czasowych bez potrzeby specjalistycznego, dostosowanego do danych szkolenia. Mimo to, różnorodność cech danych czasowych, takich jak zmienność w częstotliwości, sezonowość czy ukryte wzorce, nadal stanowi wyzwanie dla skutecznego szkolenia ujednoliconych modeli.

Wyzwania związane z różnorodnością danych czasowych

Jednym z głównych problemów w prognozowaniu szeregów czasowych jest skuteczne radzenie sobie z heterogenicznością danych. Dane czasowe pochodzące z różnych źródeł mogą się znacznie różnić pod względem częstotliwości, rozkładu czy struktury. Obecne modele prognozowania często opierają się na ręcznie definiowanych specjalizacjach opartych na częstotliwości, aby poradzić sobie z tą różnorodnością. Jednak sama częstotliwość nie jest wiarygodnym wskaźnikiem wzorca szeregu czasowego, ponieważ dane o podobnych częstotliwościach mogą wykazywać zupełnie różne zachowania. Z drugiej strony, dane o różnych częstotliwościach mogą prezentować podobne wzorce. Takie podejście nie zawsze jest w stanie uchwycić złożoność i różnorodność rzeczywistych szeregów czasowych. Dodatkowo, niestacjonarna natura danych czasowych, w której właściwości statystyczne zmieniają się z czasem, sprawia, że modelowanie staje się jeszcze trudniejsze.

Obecne metody i ich ograniczenia

Obecne metody prognozowania szeregów czasowych starają się radzić sobie z różnorodnością danych na różne sposoby. Na przykład modele takie jak TEMPO i UniTime wykorzystują podpowiedzi językowe, aby pomóc modelowi rozróżniać różne źródła danych, osiągając ograniczoną specjalizację na poziomie zbioru danych. Inne modele, takie jak TimesFM, wprowadzają słowniki osadzeń specyficznych dla częstotliwości, aby pomóc w rozróżnianiu typów danych. Niemniej jednak, wiele modeli, w tym powszechnie uznana seria Chronos, preferuje ogólną strukturę bez specjalnych modułów, co zwiększa złożoność modeli oraz zapotrzebowanie na dużą liczbę parametrów. Problemem tych metod jest ich niezdolność do pełnego uchwycenia zróżnicowanej natury danych czasowych, ponieważ sama częstotliwość nie zawsze koreluje z ukrytymi wzorcami danych, co prowadzi do mniejszej efektywności i obniżonej dokładności modelu.

Innowacyjne podejście MOIRAI-MoE

Zespół badawczy z Salesforce AI Research, we współpracy z National University of Singapore oraz Hong Kong University of Science and Technology, zaproponował nowatorski model o nazwie MOIRAI-MoE. MOIRAI-MoE wykorzystuje rzadką mieszankę ekspertów (MoE) w architekturze Transformera, co umożliwia specjalizację na poziomie tokena bez potrzeby stosowania ręcznie definiowanych heurystyk opartych na częstotliwości. To podejście oparte na danych minimalizuje zależność od wcześniej zdefiniowanych warstw opartych na częstotliwości i wykorzystuje pojedynczą warstwę projekcji wejścia/wyjścia, co pozwala modelowi na automatyczne wychwytywanie i reprezentowanie różnorodnych wzorców. Dzięki osiągnięciu specjalizacji na poziomie tokena, MOIRAI-MoE zapewnia bardziej elastyczne i skuteczne rozwiązanie, które lepiej odzwierciedla unikalne cechy różnorodnych danych czasowych, eliminując konieczność używania odrębnych modeli dla każdej kategorii częstotliwości.

Architektura MOIRAI-MoE

Architektura MOIRAI-MoE wykorzystuje funkcję bramkującą, która przypisuje każdy token do odpowiedniego eksperta w warstwach Transformera na podstawie klastrów tokenów utworzonych przez wstępnie wytrenowany model. Proces klastrowania opiera się na odległości euklidesowej od centroidów, co pozwala na przetwarzanie tokenów o podobnych wzorcach przez tego samego eksperta, podczas gdy bardziej zróżnicowane tokeny są obsługiwane przez specjalnych ekspertów. MOIRAI-MoE korzysta z 32 sieci eksperckich, z których każda koncentruje się na unikalnych cechach szeregów czasowych, co skutecznie redukuje obciążenie obliczeniowe, jednocześnie zwiększając zdolność modelu do generalizacji w różnych typach danych. Dzięki temu podejściu MOIRAI-MoE doskonale radzi sobie z niestacjonarnymi danymi czasowymi, dynamicznie dostosowując się do zmian wzorców w danych.

Wyniki testów i przewaga MOIRAI-MoE

Rozległe testy przeprowadzone na 39 zestawach danych wykazały wyższość MOIRAI-MoE w prognozowaniu zarówno w środowisku wewnątrzdystrybucyjnym, jak i w scenariuszach prognozowania bez wcześniejszego szkolenia (zero-shot). W prognozowaniu wewnątrzdystrybucyjnym model MOIRAI-MoE przewyższył swojego gęstego odpowiednika o nawet 17%, jednocześnie wykorzystując do 65 razy mniej aktywowanych parametrów niż inne wiodące modele, takie jak TimesFM i Chronos. W scenariuszach zero-shot, gdzie model był testowany na zestawach danych, które nie były uwzględnione w danych treningowych, MOIRAI-MoE również wykazał się wyższą wydajnością niż tradycyjne modele. W tych testach MOIRAI-MoE osiągnął 3-14% poprawę w wyniku ciągłego rankingu prawdopodobieństwa (CRPS) oraz 8-16% poprawę w średnim absolutnym błędzie skalowanym (MASE) w porównaniu do wcześniejszych modeli. Wyniki te podkreślają zdolność modelu do skutecznej generalizacji bez potrzeby specjalistycznego szkolenia.

Kluczowe wnioski z badań:

1. Specjalizacja oparta na danych: Dzięki tokenizacji na poziomie eksperta, MOIRAI-MoE przełamuje ograniczenia związane z ręcznie definiowaną specjalizacją częstotliwościową, umożliwiając bardziej precyzyjną reprezentację różnorodnych szeregów czasowych.

2. Efektywność obliczeniowa: Dzięki rzadkiej aktywacji ekspertów, model znacząco redukuje obciążenia obliczeniowe, aktywując nawet 65 razy mniej parametrów, jednocześnie utrzymując wysoką dokładność.

3. Zyski wydajności: Testy na zróżnicowanych zestawach danych potwierdziły, że MOIRAI-MoE przewyższa modele gęste oraz modele bazowe, takie jak TimesFM i Chronos, osiągając nawet 17% poprawę w porównaniu do modeli gęstych w testach wewnątrzdystrybucyjnych.

4. Skalowalność i generalizacja: MOIRAI-MoE wykazuje silną wydajność w scenariuszach zero-shot, co czyni go niezwykle przydatnym w rzeczywistych zadaniach prognozowania, bez potrzeby specjalistycznego szkolenia dla każdego zastosowania, co jest kluczowe w takich dziedzinach jak finanse, opieka zdrowotna czy modelowanie klimatyczne.

Podsumowanie

MOIRAI-MoE stanowi znaczący krok naprzód w prognozowaniu szeregów czasowych, wprowadzając elastyczne podejście oparte na danych, które pokonuje ograniczenia związane z tradycyjną specjalizacją opartą na częstotliwości. Dzięki swojej architekturze opartej na rzadkiej mieszance ekspertów, MOIRAI-MoE skutecznie radzi sobie z różnorodnymi i niestacjonarnymi danymi czasowymi, jednocześnie osiągając znaczne korzyści w zakresie efektywności obliczeniowej i wydajności. To nowatorskie podejście podkreśla potencjał specjalizacji na poziomie tokena, otwierając drogę do przyszłych usprawnień w modelach bazowych szeregów czasowych oraz rozszerzając zastosowanie prognozowania zero-shot w różnych branżach i aplikacjach.