Il rilevamento di anomalie è una tecnica statistica utilizzata da Analytics Intelligence per identificare irregolarità che appaiono allo stesso momento nei dati della serie temporale per una data metrica e all'interno di un segmento.
Identificare anomalie nelle metriche nel tempo
Intelligence applica ai dati storici un modello bayesiano di serie spazio-temporali, al fine di prevedere il valore del punto di dati più recente nella serie temporale. Il modello produce una previsione e un intervallo di credibilità che utilizziamo per valutare la metrica osservata.
Con i dati storici, Analytics Intelligence prevede il valore della metrica nel periodo di tempo corrente e contrassegna il datapoint come un'anomalia se il valore effettivo non rientra nell'intervallo di credibilità. Per il rilevamento di anomalie orarie, il periodo di addestramento è di 2 settimane. Per il rilevamento di anomalie quotidiane, il periodo di addestramento è di 90 giorni. Per il rilevamento di anomalie settimanali, il periodo di addestramento è di 32 settimane.
Identificare le anomalie all'interno di un segmento nello stesso momento
Mentre il rilevamento di anomalie basato su serie temporali utilizza i dati storici per segnalare un'unica metrica all'interno di un singolo valore di dimensione, forniamo anche allo stesso tempo il rilevamento delle anomalie su più metriche e valori delle dimensioni, in un determinato momento.
In questo approccio utilizziamo l'analisi delle componenti principali (PCA) per sfruttare la struttura di correlazione delle metriche insieme alla convalida incrociata per segnalare le anomalie.
In primo luogo, identifichiamo il set di dimensioni e metriche che verranno sottoposte all'analisi. Sulla base di tutti i possibili valori di dimensione, creiamo più segmenti e normalizziamo ogni metrica in relazione al numero di utenti all'interno di un segmento. Eseguiamo poi l'analisi di tali segmenti e applichiamo le metriche normalizzate. Se un determinato segmento mostra un comportamento anomalo in tutte le metriche e comprende almeno lo 0,05% degli utenti di tale proprietà, viene mostrato come anomalia. Al momento eseguiamo questa analisi ogni settimana.