การตรวจจับความผิดปกติ

การตรวจจับความผิดปกติคือเทคนิคทางสถิติที่ Analytics อัจฉริยะใช้ในการระบุความผิดปกติในข้อมูลอนุกรมเวลาของเมตริกหนึ่งๆ และความผิดปกติภายในกลุ่มในช่วงเวลาเดียวกัน

การระบุความผิดปกติในเมตริกเมื่อเวลาผ่านไป

Analytics อัจฉริยะใช้แบบจำลองอนุกรมเวลาปริภูมิสถานะของ Bayes กับข้อมูลย้อนหลังเพื่อคาดการณ์ค่าของจุดข้อมูลล่าสุดในอนุกรมเวลา แบบจำลองนี้จะสร้างการคาดการณ์และระยะเวลาที่น่าเชื่อถือซึ่งเราใช้ในการประเมินเมตริกที่สังเกตการณ์

Analytics อัจฉริยะใช้ข้อมูลที่ผ่านมาในการคาดการณ์ค่าของเมตริกในช่วงเวลาปัจจุบัน และจะแจ้งว่าจุดข้อมูลเป็นค่าผิดปกติหากค่าจริงอยู่นอกระยะเวลาที่น่าเชื่อถือ สำหรับการตรวจจับความผิดปกติรายชั่วโมง ระยะเวลาการฝึกอบรมคือ 2 สัปดาห์ สำหรับการตรวจจับความผิดปกติรายวัน ระยะเวลาการฝึกอบรมจะอยู่ที่ 90 วัน สำหรับการตรวจจับความผิดปกติรายสัปดาห์ ระยะเวลาการฝึกอบรมจะอยู่ที่ 32 สัปดาห์

การระบุความผิดปกติภายในกลุ่มในช่วงเวลาเดียวกัน

แม้ว่าการตรวจจับความผิดปกติตามอนุกรมเวลาจะใช้ข้อมูลย้อนหลังในการแจ้งเมตริกเดียวภายในค่ามิติข้อมูลเดียว แต่เรายังมีการตรวจจับความผิดปกติพร้อมกันสำหรับเมตริกและค่ามิติข้อมูลหลายรายการ ณ เวลาหนึ่งๆ ด้วย

สำหรับวิธีนี้ เราใช้การวิเคราะห์องค์ประกอบหลัก (Principal Components Analysis หรือ PCA) เพื่อใช้ประโยชน์จากโครงสร้างความสัมพันธ์ของเมตริกร่วมกับการทำ Cross-Validation เพื่อแจ้งความผิดปกติ

ขั้นแรก เราจะระบุชุดมิติข้อมูลและเมตริกที่จะนำมาทำ PCA เราสร้างกลุ่มหลายๆ กลุ่มจากค่ามิติข้อมูลที่เป็นไปได้ทั้งหมด แล้วจึงทำการนอร์มัลไลเซชันให้กับเมตริกแต่ละรายการตามจำนวนผู้ใช้ภายในกลุ่ม จากนั้น เราจึงทำ PCA กับกลุ่มและเมตริกที่ทำการนอร์มัลไลเซชันเหล่านั้น หากกลุ่มใดแสดงลักษณะที่ผิดปกติในเมตริกใดๆ และมีผู้ใช้อย่างน้อย 0.05% ในพร็อพเพอร์ตี้นั้นจะถือว่ากลุ่มเหล่านั้นเป็นความผิดปกติ ปัจจุบันเราทำการวิเคราะห์นี้ทุกสัปดาห์