Phát hiện hoạt động bất thường là một kỹ thuật thống kê mà Analytics Thông minh sử dụng để xác định các hoạt động bất thường trong dữ liệu chuỗi thời gian cho một chỉ số nhất định và những hoạt động bất thường trong một phân đoạn tại cùng một thời điểm.
Xác định các hoạt động bất thường trong các chỉ số theo thời gian
Analytics Thông minh sẽ áp dụng Mô hình chuỗi thời gian theo không gian trạng thái Bayesian cho dữ liệu lịch sử để dự đoán giá trị của điểm dữ liệu gần đây nhất trong chuỗi thời gian. Mô hình này cung cấp thông tin dự đoán và khoảng tin cậy mà chúng tôi sử dụng để đánh giá chỉ số quan sát được.
Bằng cách sử dụng dữ liệu lịch sử, Analytics Thông minh dự đoán giá trị của chỉ số ở khoảng thời gian hiện tại và gắn cờ điểm dữ liệu là hoạt động bất thường nếu giá trị thực nằm ngoài khoảng tin cậy. Để phát hiện các hoạt động bất thường hằng giờ, thời gian huấn luyện là 2 tuần. Để phát hiện các hoạt động bất thường hằng ngày, thời gian huấn luyện là 90 ngày. Để phát hiện điều bất thường hàng tuần, thời gian đào tạo là 32 tuần.
Xác định các hoạt động bất thường trong một phân đoạn tại cùng một thời điểm
Trong khi tính năng phát hiện hoạt động bất thường dựa trên chuỗi thời gian sử dụng dữ liệu trong quá khứ để gắn cờ một chỉ số trong một giá trị thứ nguyên, chúng tôi cũng đồng thời cung cấp tính năng phát hiện hoạt động bất thường cho một vài chỉ số và giá trị thứ nguyên tại một thời điểm nào đó.
Trong cách tiếp cận này, chúng tôi sử dụng bản phân tích thành phần chính (PCA) để tận dụng cấu trúc tương quan của các chỉ số cùng với tính năng xác thực chéo để gắn cờ hoạt động bất thường.
Đầu tiên, chúng tôi xác định các thứ nguyên và chỉ số sẽ có trong PCA. Dựa trên tất cả các giá trị thứ nguyên có thể có, chúng tôi tạo nhiều phân đoạn, sau đó chuẩn hóa từng chỉ số theo số lượng người dùng trong một phân đoạn. Tiếp theo, chúng tôi chạy PCA cho các phân đoạn đó và chỉ số đã chuẩn hóa. Nếu bất kỳ phân đoạn cụ thể nào cho thấy hoạt động bất thường trên bất kỳ chỉ số nào và bao gồm ít nhất 0,05% người dùng trên thuộc tính đó, chúng tôi sẽ hiển thị các phân đoạn đó là hoạt động bất thường. Hiện tại, chúng tôi thực hiện việc phân tích này mỗi tuần.