Zachytávanie anomálií je štatistická technika, ktorú Spravodajstvo Analytics používa na identifikáciu odchýlok v údajoch časových období pre danú metriku a anomálií v rámci segmentu v rovnakom čase.
Identifikácia anomálií v metrikách v priebehu času
Spravodajstvo aplikuje na historické údaje Bayesov priestorovo-časový model stavu s cieľom vytvoriť prognózu hodnoty najaktuálnejšieho dátového bodu v časovom období. Model vytvorí predpokladaný dopyt a spoľahlivý interval, ktorý používame na hodnotenie pozorovanej metriky.
Pomocou historických údajov predpokladá Spravodajstvo Analytics hodnotu metriky v aktuálnom časovom období a označí dátový bod ako anomáliu, ak skutočná hodnota spadá mimo spoľahlivého intervalu. Na zachytávanie hodinových anomálií sa používa obdobie nácviku 2 týždne. Na zachytávanie denných anomálií sa používa obdobie nácviku 90 dní. Na zachytávanie týždenných anomálií sa používa obdobie nácviku 32 týždňov.
Identifikovanie anomálií v rámci segmentu v rovnakom čase
Zachytávanie anomálií na základe časových období síce používa historické údaje na označenie jednej metriky v rámci jednej hodnoty dimenzie, umožňujeme však zachytávať aj anomálie súbežne v rámci niekoľkých hodnôt metrík a dimenzií v danom čase.
Pri tomto prístupe používame analýzu základných komponentov (principal components analysis, PCA) na využitie štruktúry korelácie metrík spolu s krížovým overením na označenie anomálií.
Najprv identifikujeme skupinu dimenzií a metrík, ktoré sa podrobia analýze PCA. Na základe všetkých možných hodnôt dimenzií vytvoríme viaceré segmenty a potom každú metriku normalizujeme podľa počtu používateľov v rámci určitého segmentu. Ďalej spustíme analýzu PCA pre tieto segmenty a normalizované metriky. Ak vykazuje akýkoľvek konkrétny segment anomálne správanie v rámci ľubovoľnej metriky a toto správanie sa týka aspoň 0,05 % používateľov v danom vlastníctve, tieto segmenty zobrazíme ako anomálie. V súčasnosti vykonávame túto analýzu každý týždeň.