Deteksi Anomali adalah teknik statistik yang digunakan Intelijen Analytics untuk mengidentifikasi anomali dalam data deret waktu untuk metrik tertentu, dan anomali dalam segmen pada titik waktu yang sama.
Mengidentifikasi anomali dalam metrik dari waktu ke waktu
Intelijen menerapkan model deret waktu state space Bayes ke data historis untuk memprediksi nilai poin data terbaru dalam deret waktu. Model ini menghasilkan prediksi dan interval kredibel yang kami gunakan untuk mengevaluasi metrik yang diamati.
Dengan menggunakan data historis, Intelijen Analytics memprediksi nilai metrik pada jangka waktu saat ini dan menandai poin data sebagai anomali jika nilai sebenarnya berada di luar interval kredibel. Untuk deteksi anomali per jam, periode pelatihannya adalah 2 minggu. Untuk deteksi anomali harian, periode pelatihannya adalah 90 hari. Untuk deteksi anomali mingguan, masa pelatihannya adalah 32 minggu.
Mengidentifikasi anomali dalam segmen pada titik waktu yang sama
Meskipun deteksi anomali berbasis deret waktu menggunakan data historis untuk menandai satu metrik dalam satu nilai dimensi, kami juga menyediakan deteksi anomali secara bersamaan pada beberapa metrik dan nilai dimensi, pada satu titik waktu.
Dalam pendekatan ini, kami menggunakan analisis komponen utama (PCA) untuk memanfaatkan struktur korelasi metrik bersama dengan validasi silang untuk menandai anomali.
Pertama, kami mengidentifikasi kumpulan dimensi dan metrik yang akan menjalani PCA. Berdasarkan semua kemungkinan nilai dimensi, kami membuat beberapa segmen, lalu menormalkan setiap metrik menurut jumlah pengguna dalam suatu segmen. Selanjutnya, kami menjalankan PCA untuk metrik yang dinormalisasi dan segmen tersebut. Jika segmen tertentu menunjukkan perilaku anomali pada metrik mana pun dan terdiri dari setidaknya 0,05% pengguna pada properti tersebut, kami akan memunculkan segmen tersebut sebagai anomali. Saat ini kami melakukan analisis ini setiap minggu.