Mở đầu. Nội dung chương này sẽ trình bày động lực nghiên cứu, mục đích, đối tượng và phạm vi nghiên cứu. Chương 2: Tổng quan. Phần này trình bày định nghĩa bắt thường, tình trạng các sự kiện bat thường ở Việt Nam, phát biéu bài toán, các thách thức, những đóng góp của khóa luận, hướng tiếp cận và bộ dt liệu liên quan đến bài toán.
Chương 3: Nghiên cứu thực nghiệm Trình bày ý tưởng của các phương pháp được sử dụng. Chương 4: Xây dựng bộ dữ liệu phát hiện bat thường trong video tại Việt Nam. Giải thích lí do xây dựng bộ dữ liệu mới — UIT—Anomaly, đồng thời mô tả toàn bộ quá trình xây dựng bộ dữ liệu. Sau đó, phân tích và thống kê các số liệu liên quan đến bộ dữ liệu.
Chương 5: Thực nghiệm và đánh giá. Trình bày cách cài đặt thực nghiệm, các thông số và đánh giá kết quả thu được dựa vào độ đo ROC-AUC. Phân tích các trường hợp đạt kết quả tốt và không tốt. Miêu tả chương trình minh họa.
Chương 6: Kết luận và hướng phát triển. Tổng hợp các kết quả đạt được sau khi thực hiện đề tài và từ đó đề ra hướng phát triển trong tương lai. Cac nghiên cứu liên quan 2. Cac hướng tiếp cận Có thé hiểu nhiệm vụ phát hiện bat thường là nhiệm vụ phân loại hai lớp bình thường và bất thường.
Tuy nhiên, do các lớp bất thường không nhất quán và trong cùng một lớp bất thường, không thể đoán trước được hành vi bất thường đó sẽ diễn ra như thế nào nên việc thu thập một bộ dữ liệu đa dạng chứa tất cả các loại bất thường trong thực tế là điều nan giải. Thế nên việc phát hiện bất thường được giám sát đầy đủ được xem là không thực tế [7]. Ngoài ra, khác với những bài toán triển khai trên dữ liệu quen thuộc và có số lượng lớn, phát hiện bất thường phải đối mặt với vấn đề mắt cân bằng trong dữ liệu. Cả số lượng và thời lượng sự kiện bất thường đều chiếm tỉ lệ thấp hơn hoặc có thể nói là bị lan át hoàn toàn bởi sự kiện bình thường do tính chất sự kiện bất thường là những sự kiện hiểm gặp trong thực tế.
Do đó, nhiệm vụ phát hiện bat thường đòi hỏi các cách xử lý và tiép cận khác với các bài toán phân loại khác. 10 Tùy thuộc vào cách gán nhãn của dit liệu huấn luyện, các phương pháp phát hiện bất thường trong video được phân loại theo 3 hướng tiệp cận: không giám sát, có giám sát và giám sát yếu [8]. Hướng tiếp cận không giám sát Như đã nói trên, thách thức của bài toán phát hiện bất thường là việc thiếu dữ liệu, các sự kiện bất thường diễn ra với tần suất thấp trong thực tế, điều này gây khó khăn cho việc thu thập một bộ dữ liệu chứa đầy đủ các hành vi này. Trái lại, SỐ lượng video bình thường lại vô cùng dồi dao và dé dang thu thập.
Do đó, các phương pháp thuộc hướng tiếp cận không giám sát chỉ học những video không chứa hành vi bat thường trong quá trình huấn luyện. Điều này giúp tiết kiệm rất nhiều thời gian và công sức trong việc xây dựng bộ dữ liệu vì tập huấn luyện chỉ có video bình thường nên không cần gán nhãn. Cùng với đó, những video có chứa sự kiện bất thường sẽ được thu thập dé phuc vu cho muc dich kiém tra. Nhóm các phương pháp thuộc hướng tiếp cận này tập trung tìm hiểu đặc trưng của các khung hình bình thường trong tập huấn luyện và sau đó dự đoán các khung hình trong tập kiểm tra có chứa sự kiện bất thường hay không dựa vào hàm tính độ lỗi tái tạo hoặc dự đoán của mô hình.
Hướng tiếp cận này được cho rằng có khả năng tông quát hóa các hành vi bat thường tốt, nghĩa là không chỉ có thé phát hiện các hành vi bất thường đã biết mà còn cả các loại bất thường mới [7]. Tuy nhiên, các mô hình trong hướng tiếp cận này có thé hoạt động không hiệu quả khi dữ liệu bình thường có phân phối phức tạp [7], điều này ảnh hưởng không tốt đến khả năng dự đoán và làm tăng tỉ lệ cảnh báo giả của mô hình. Tdi tạo đặc trưng Những phương pháp tái tạo đặc trưng tập trung vào việc học cách tái tạo lại một khung hình trong các video huấn luyện. Đối với nhóm phương pháp này, tập huấn luyện chỉ gồm những video bình thường và với cách học tái tạo khung hình sẽ giúp mô hình học được những đặc trưng quan trọng của các sự kiện bình thường.
Những đặc trưng bình thường mà mô hình học được sẽ được đưa vào module phân loại. lãi Theo [9], autoencoder (Hình 2—4) là một loại mạng nơ-ron nhân tạo được huấn luyện dé học cách tái câu trúc dit liệu gần giống với đầu vào ban đầu của nó hiệu qua theo cách không giám sát. Autoencoder network bao gồm 2 phan: encoder và decoder, 2 thành phần này bao gồm các lớp fully connected layers. Hàm encoder có nhiệm vụ giảm số chiều đặc trưng nhỏ hơn số chiều ban đầu của khung hình đầu vào dé tránh việc tái tao lại khung hình một cách hoàn hảo.
Sau đó, mục đích của hàm decoder là cố gang tái tạo lại khung hình từ những đặc trưng đã giảm chiều càng giống với khung hình đâu vào của nó càng tôt. Input Y Output Hình 2-4: Kiến trúc mang co ban của mang Autoencoder. Trong nhiém vu phat hién bat thường, mang Autoencoder được huấn luyện dựa trên các khung hình bình thường, với mục tiêu trước tiên là giảm chiều đặc trưng khung hình đầu vào và sau đó tái tạo lại các khung hình đó ở đầu ra. Trong quá trình giảm chiều dữ liệu, mạng phải học cách ưu tiên những đặc trưng có ích và có thé tái tạo chúng trở lai gần giống với khung hình đầu vào ở đầu ra.
Y tưởng chính của mạng là khi áp dụng mô hình trên dữ liệu tương lai không giống với dữ liệu đầu vào để mô hình có thê nhận ra dữ liệu bất thường, tức là dữ liệu trông khác với dữ liệu đầu vào. Một khung hình có biểu hiện bất thường sẽ ảnh hưởng đến quá trình tái tạo, khi điều này xảy ra, lỗi tái tạo sẽ gia tăng khi cấu trúc lại khung hình đầu vào. Băng cách theo 12 dõi lỗi tái tạo, mô hình có thê dự đoán được khung hình nào có khả năng là bất thường. Weixin Luo và cộng sự [10] đã đề xuất framework ConvLSTM-AE (Hình 2-5), là sự kết hợp của FCN (Fully Convolution Network) và LSTM với Auto Encoder (AE).
Dé xem xét có sự xuất hiện của bat thường hay không, mô hình không chỉ tái tao khung hình hiện tại mà còn tái tạo những khung hình trong quá khứ, nắm bắt sự phụ thuộc thời gian, để tính lỗi tái tạo về sự thay đôi ngoại hình hoặc chuyền động của sự kiện bình thường. Điều này giúp nâng cao hiệu suất của phương pháp tái tạo đặc trưng. Tuy nhiên, những phương pháp theo hướng này thường gặp phải vấn đề quá khớp, có khả năng tái tạo tốt ở cả khung hình bình thường và bất thường với độ lỗi tái tạo nhỏ, dẫn đến khó phát hiện khung hình bất thường. -HïI "I " x Hình 2-5: Kiến trúc phương pháp ConvLSTM-—AE [10].
Dự đoán khung hình Nhóm phương pháp dự đoán khung hình tập trung tìm hiểu cách dự đoán các khung hình hiện tại dựa vào các đặc trưng của các khung hình trước đó. Sau đó, khung hình vừa được dự đoán sẽ được so sánh với khung hình thực tế và dựa vào hàm lỗi để so sánh sự khác nhau giữa chúng để xác định khung hình đó là bình thường hay bất thường. Ngoài tái tạo đặc trưng, nhóm phương pháp dự đoán khung hình cũng thu hút được nhiều sự quan tâm trong phát hiện bất thường không giám sát. 13 Future Frame Prediction (FFP) [11] là thuật toán điển hình trong hướng tiếp cận này.
Từ điểm yếu của hướng tái tạo đặc trưng, tác giả của FFP đã đề xuất thay đổi đầu vào của khung hình hiện tại như trong AE bằng các khung hình đứng trước khung hình đang xét dé tránh trường hợp tái tạo quá tốt, vì thế phương pháp này được gọi là dự đoán thay vì tái tạo. Vì vậy phương pháp này vừa đảm bảo khung hình hiện tại có thé mang những đặc điểm về hình dáng và chuyển động từ những khung hình liền trước nó, vừa có thê hạn chế vấn đề quá khớp vì dự đoán khung hình không sử dụng khung hình hiện tại làm đầu vào. Ý tưởng về GAN (Generative Adversarial Network) [12] được tác gia sử dung cho phương pháp nay. GAN bao gồm Generator có nhiệm vụ tạo ra các khung hình thật nhất và giống nhất có thể với khung hình dự đoán nhất va Discriminator có vai trò phân biệt khung hình được tạo ra là giả hay thật.
Ngoài ra, Liu và cộng sự [11] đã đề xuất mạng Flownet dé trích xuất đặc trưng chuyển động (optical flow) trong các chuỗi ảnh và bổ sung bộ tạo ảnh U-Net trong Generator dé trích xuất đặc trưng ngoại hình tốt hơn, nhằm cải thiện khả năng dự đoán khung hình trong mang GAN của mình. Quá trình huấn luyện FFP được mô tả trong Hình 2-6. Ie | Se Flownet Ea Ị IN Optical } Discriminator âm Flow Loss Hail Ty, lạ,., Ï; | Real or Fake Intensity Loss and (U-Net) Fy’ Gradient Loss Hình 2-6: Quá trình huấn luyện phương pháp FFP [11]. Hướng tiếp cận có giám sát Đối với hướng tiếp cận này, tất cả video trong tập huấn luyện và kiểm tra của bộ dir liệu đều cần phải gán nhãn mức khung hình (frame-level), nghĩa là xác định một khung hình là bình thường hay bat thường.
Ngoài ra, vì bản chat các sự kiện bat thường là những sự kiện hiếm khi xảy ra và không thé dự đoán trước được cách mà những sự kiện này sẽ diễn ra như thé nào, do đó việc thu thập day đủ các thé hiện của 14 hành vi bất thường trong thực tế sẽ là điều vô cùng khó khăn hay thậm chí là không khả thi. Điều này đã khiến hướng tiếp có giám sát mất nhiều thời gian và công sức hơn so với hai hướng tiếp cận còn lại trong quá trình xây dựng bộ dữ liệu. Đối với các công trình phát hiện bất thường trong giao thông như [13], [14] đã tiếp cận theo hướng có giám sát, các mô hình được huấn luyện trên video được gán nhãn mức khung hình, tức biết được thời gian bắt đầu và kết thúc các sự kiện bất thường có trong video. Một cách giải quyết phổ biến của hướng tiếp cận này là tận dụng những kiến thức biết trước liên quan đến sự kiện bất thường đang quan tâm dé giải quyết van đề.