Anomáliaészlelő algoritmusok valós idejű naplóadatok nagy léptékű elemzéséhez

A. Horváth et al., ‘Anomaly Detection Algorithms for Real-Time Log Data Analysis at Scale,’ in IEEE Access, vol. 13, pp. 136288–136311, 2025, doi: 10.1109/ACCESS.2025.3594469.

A MIKK kutatója, Pintér Attila társszerzője a fenti tanulmánynak. A cikkben bemutatásra kerül, hogyan lehet valós, nagyvállalati környezetben – régi, örökölt rendszerektől kezdve a modern saját felhőszolgáltatásokban futó szolgáltatásokban – valós időben kiszúrni a rendellenes működést naplóadatok alapján, akkor is, amikor az adatfolyam óriási, folyamatosan változik, és a reagálási idő kritikus. Az úgynevezett AIOps, vagyis az IT üzemeltetésre alkalmazott mesterséges intelligencia egyre fontosabb szerepet kap az üzemeltetési problémák automatikus felismerésében és kezelésében, különösen az anomáliadetektálásban. Ez nem kényelmi kérdés: ha egy szolgáltatás rendellenesen viselkedik, az percek alatt több ezer vagy akár millió felhasználót is érinthet, tehát az észlelés nem történhet utólagosan, kézi logelemzéssel vagy a felhasználók hibabejelentése alapján. Ehelyett skálázható, gyors, megbízható algoritmusokra van szükség, amelyek azonnal jelzik, ha valami eltér a megszokott működéstől. 

A szakirodalom több anomáliadetektáló megközelítést javasolt korábban, de a legtöbbjük laboratóriumi, jól kontrollált környezetre készült, és nem igazán kezeli a felhőalapú, elosztott rendszerek hatalmas mennyiségű naplóüzenetét, illetve azt, hogy egy nagyvállalatnál egyszerre sok, egymástól akár különböző infrastruktúrát kell megfigyelni. Emiatt a gyakorlatban az átültetésük nehézkes vagy egyszerűen túl drága. A publikációban egyrészt szisztematikusan végig vették a már létező technikákat, hogy melyeket lehet közülük alkalmazni éles rendszerfelügyeletben. Másrészt bemutattak négy saját fejlesztésű anomáliadetektáló eljárást, amelyeket kifejezetten nagy léptékű naplóadatok valós idejű elemzésére terveztek. 

Használtak nagy nyelvi modellt a logok szövegkörnyezetének megértésére, második megközelítésük a logsorokat hasonlóság alapján klaszterezi és a „kilogó” csoportokat gyanúsként jelzi. Harmadik módszerük mély neurális hálózatra épül, amely megtanulja, mi számít „megszokott” viselkedésnek és ehhez képest emeli ki az eltéréséket. Negyedik módszerük a klasszikus statisztikai, klaszterező megközelítés, amely az adatok eloszlását és a tipikus mintázatokat használja viszonyítási alapként. Ez az utóbbi terület volt Pintér Attila kutató kifejezett hozzájárulása, ahol a neurális modellekhez képest jól értelmezhető szabályokra és klaszterezésre támaszkodik. 

Nagyon fontos eredményük, hogy nem azt üzenik: „minél bonyolultabb a modell, annál jobb”. A négy algoritmust négy különböző naplókészleten tesztelték (két belső, ipari környezetből származó adathalmazon és két publikus benchmark adatkészleten), és a kutatók azt látták, hogy bár a mélytanulásos megoldások hozzák a legmagasabb pontosságot, bizonyos helyzetekben a jóval egyszerűbb, statisztikai jellegű megközelítés is elég jó, sőt üzemszerűen praktikusabb lehet. Ez azért kulcs, mert egy nagyvállalati üzemeltetőnek nem csak az számít, hogy maximális legyen a pontosság, hanem az is, hogy az algoritmus skálázható legyen, ne terhelje túl a rendszert, gyorsan újrakonfigurálható legyen, és az eredményét az emberi ügyeletes mérnök is megértse. Tehát az üzemeltető igénye szerint lehetséges módszer választani: ha magasabb pontosság kell, rendelkezésre állnak a mélytanuló neurális modellek vagy a kisebb pontosságú, de kevesebb erőforrás igényű statisztikai módszerek.