LogLLM: Wykorzystanie dużych modeli językowych do skuteczniejszego wykrywania anomalii w logach

Wykrywanie anomalii w logach za pomocą zaawansowanych modeli językowych (LLM) staje się coraz bardziej popularne w celu poprawy niezawodności systemów oprogramowania. Tradycyjne metody oparte na głębokim uczeniu często mają trudności z interpretacją semantycznych szczegółów zawartych w logach, które zazwyczaj zapisane są w języku naturalnym. Modele LLM, takie jak GPT-4 i Llama 3, wykazują znaczny potencjał w radzeniu sobie z tymi wyzwaniami dzięki zaawansowanej zdolności do rozumienia języka. Obecnie stosowane metody wykrywania anomalii oparte na LLM obejmują inżynierię promptów, która wykorzystuje LLM w konfiguracjach zero/few-shot, oraz fine-tuning, który dostosowuje modele do specyficznych zestawów danych. Mimo licznych zalet, te podejścia napotykają trudności związane z dostosowywaniem precyzji wykrywania oraz zarządzaniem efektywnością pamięci.

Przegląd metod wykrywania anomalii w logach

W artykule omówiono różne podejścia do wykrywania anomalii w logach, koncentrując się na metodach głębokiego uczenia, zwłaszcza tych wykorzystujących wstępnie wytrenowane modele LLM. Tradycyjne techniki obejmują metody rekonstrukcyjne, takie jak autoenkodery oraz Generative Adversarial Networks (GANs), które polegają na trenowaniu modeli w celu rekonstrukcji normalnych sekwencji logów i wykrywania anomalii na podstawie błędów rekonstrukcji. Z kolei metody klasyfikacji binarnej, zazwyczaj nadzorowane, wykrywają anomalie, klasyfikując sekwencje logów jako normalne lub anormalne. Modele LLM, takie jak BERT czy modele oparte na GPT, są wykorzystywane w dwóch głównych strategiach: inżynieria promptów, która korzysta z wewnętrznej wiedzy LLM, oraz fine-tuning, który dostosowuje modele do specyficznych zestawów danych, by poprawić wydajność wykrywania anomalii.

LogLLM: Nowoczesne podejście do wykrywania anomalii

Naukowcy z Uniwersytetu SJTU w Szanghaju opracowali LogLLM – nowoczesne narzędzie do wykrywania anomalii w logach, które wykorzystuje LLM. W przeciwieństwie do tradycyjnych metod, które wymagają parserów logów, LogLLM przetwarza logi przy użyciu wyrażeń regularnych. Model ten korzysta z BERT-a do wydobywania wektorów semantycznych oraz z Llama, dekodera transformatorowego, do klasyfikacji sekwencji logów. Aby zachować spójność semantyczną pomiędzy wektorami generowanymi przez BERT-a i Llama, wykorzystywany jest projektor wektorów, który wyrównuje ich przestrzenie.

LogLLM stosuje innowacyjny trzyetapowy proces szkolenia, który zwiększa jego wydajność i elastyczność. Eksperymenty przeprowadzone na czterech publicznych zbiorach danych wykazały, że LogLLM przewyższa dotychczasowe metody, skutecznie wykrywając anomalie nawet w niestabilnych logach z ewoluującymi szablonami.

Proces działania LogLLM

LogLLM wykorzystuje trójstopniowe podejście do wykrywania anomalii: preprocessing (wstępne przetwarzanie), architekturę modelu oraz trening. Na początku logi są przetwarzane przy użyciu wyrażeń regularnych, aby zastąpić dynamiczne parametry stałym tokenem, co upraszcza proces trenowania modelu. Architektura modelu łączy BERT-a, który wyodrębnia wektory semantyczne, projektor wyrównujący przestrzenie wektorowe oraz Llama, który klasyfikuje sekwencje logów.

Proces szkolenia obejmuje oversampling klasy mniejszościowej w celu przeciwdziałania niezbalansowaniu danych, fine-tuning Llama pod kątem szablonów odpowiedzi, trenowanie BERT-a oraz projektora w celu tworzenia osadzeń logów, a na końcu fine-tuning całego modelu. W celu minimalizacji zużycia pamięci przy jednoczesnym zachowaniu wydajności, wykorzystywana jest technika QLoRA, która umożliwia efektywne dostrajanie modelu.

Wyniki testów i porównania z innymi metodami

Wydajność LogLLM została oceniona przy użyciu czterech rzeczywistych zbiorów danych: HDFS, BGL, Liberty oraz Thunderbird. LogLLM został porównany z kilkoma metodami półnadzorowanymi, nadzorowanymi oraz nienadzorowanymi, w tym DeepLog, LogAnomaly, PLELog i RAPID. Do oceny skuteczności wykorzystano takie wskaźniki, jak precyzja, recall oraz F1-score. Wyniki pokazują, że LogLLM osiąga lepsze wyniki we wszystkich zbiorach danych, uzyskując średni F1-score o 6,6% wyższy niż najlepsza alternatywa – NeuralLog. Metoda ta skutecznie równoważy precyzję i recall, przewyższając inne techniki w wykrywaniu anomalii.

Podsumowanie

LogLLM to zaawansowane narzędzie do wykrywania anomalii w logach, które wykorzystuje modele LLM, takie jak BERT i Llama. BERT wydobywa wektory semantyczne z wiadomości logów, podczas gdy Llama klasyfikuje sekwencje logów. Projektor jest wykorzystywany do wyrównania przestrzeni wektorowych obu modeli, zapewniając spójność semantyczną. W przeciwieństwie do tradycyjnych metod, LogLLM przetwarza logi przy użyciu wyrażeń regularnych, eliminując potrzebę stosowania parserów logów. Framework ten jest trenowany przy użyciu nowatorskiej, trójfazowej procedury, która poprawia jego wydajność i elastyczność. Wyniki eksperymentów przeprowadzonych na czterech publicznych zbiorach danych wykazują, że LogLLM przewyższa istniejące metody, skutecznie wykrywając anomalie nawet w niestabilnych danych logów.

Zakończenie

LogLLM to narzędzie, które z powodzeniem łączy zaawansowane modele językowe z wykrywaniem anomalii, oferując nowoczesne rozwiązania dla coraz bardziej złożonych systemów oprogramowania. Dzięki wykorzystaniu technologii takich jak BERT, Llama oraz QLoRA, framework ten stanowi znaczący krok naprzód w dziedzinie automatycznego wykrywania anomalii w logach.