Phát Hiện Bất Thường Trong Video Tại Việt Nam Bằng Học Tập Giám Sát Yếu

Luận văn tốt nghiệp nghiên cứu tốt nghiệp khoa học dữ liệu phát hiện bất thường trong video tại việt nam theo cách tiếp cận giám, điều tra thực trạng, phân tích số liệu, đề xuất

Chuyên ngành

Khoa học dữ liệu

Người đăng

Ẩn danh

Thể loại

khóa luận tốt nghiệp

2022

89
4
0

Phí lưu trữ

30 Point

Mục lục chi tiết

LỜI CẢM ƠN

1. MỞ ĐẦU

1.1. Động lực nghiên cứu

1.2. Mục tiêu và phạm vi nghiên cứu

2. TỔNG QUAN

2.1. Bất thường

2.2. Tình trạng các sự kiện bất thường ở Việt Nam

2.3. Phát biểu bài toán

2.4. Thách thức của bài toán

2.5. Đóng góp của nghiên cứu

2.6. Hướng tiếp cận

2.7. Bộ dữ liệu liên quan đến bài toán

4. XÂY DỰNG BỘ DỮ LIỆU PHÁT HIỆN BẤT THƯỜNG TRONG VIDEO TẠI VIỆT NAM

4.1. Lí do xây dựng bộ dữ liệu

4.2. Thu thập và tiền xử lý

4.2.1. Thu thập dữ liệu

4.2.2. Tiền xử lý dữ liệu

4.2.3. Quy tắc và tổ chức gán nhãn dữ liệu

4.2.4. Quy trình thu thập và gán nhãn

4.3. Phân tích bộ dữ liệu

5. TRÌNH BÀY, ĐÁNH GIÁ BÀN LUẬN VỀ KẾT QUẢ

5.1. Dữ liệu thực nghiệm

5.1.1. Mô tả cơ bản

5.1.2. Mô tả chi tiết

5.1.3. Mô tả quy trình thực nghiệm

5.2. Cấu hình thực nghiệm

5.3. Phương pháp đánh giá — ROC—AUC

5.4. Kết quả thực nghiệm và đánh giá

5.4.1. Kết quả thực nghiệm

5.4.2. Trực quan hóa kết quả

5.5. Danh mục kết quả

5.5.1. Chương trình minh họa

5.5.2. Mô tả cách hoạt động của chương trình

6. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Phát Hiện Bất Thường Trong Video Tại Việt Nam

Phát hiện bất thường trong video là một lĩnh vực nghiên cứu quan trọng, đặc biệt trong bối cảnh an ninh ngày càng được chú trọng tại Việt Nam. Với sự gia tăng của các camera giám sát, việc phát hiện các hành vi bất thường trở nên cần thiết hơn bao giờ hết. Nghiên cứu này tập trung vào việc áp dụng các phương pháp học tập giám sát yếu để phát hiện các sự kiện bất thường trong video, từ đó nâng cao hiệu quả của hệ thống an ninh.

1.1. Định Nghĩa Bất Thường Trong Video

Bất thường được định nghĩa là những mẫu dữ liệu không tuân theo hành vi bình thường. Trong video, bất thường có thể là các hành vi như đánh nhau, cướp giật, hay tai nạn giao thông.

1.2. Tình Trạng Bất Thường Tại Việt Nam

Tình trạng các sự kiện bất thường tại Việt Nam đang gia tăng, với hàng chục ngàn vụ phạm tội xảy ra mỗi năm. Điều này đặt ra thách thức lớn cho các cơ quan chức năng trong việc phát hiện và xử lý kịp thời.

II. Thách Thức Trong Phát Hiện Bất Thường Từ Video

Phát hiện bất thường trong video gặp nhiều thách thức do tính hiếm gặp của các sự kiện này. Các phương pháp hiện tại thường không thể tổng quát hóa cho tất cả các hành vi bất thường, dẫn đến khó khăn trong việc phát hiện chính xác.

2.1. Khó Khăn Trong Việc Gán Nhãn Dữ Liệu

Việc gán nhãn cho từng khung hình trong video là một công việc tốn thời gian và công sức. Điều này làm giảm hiệu quả của quá trình huấn luyện mô hình.

2.2. Chất Lượng Video Thấp

Nhiều video được ghi lại từ camera an ninh có chất lượng thấp, điều này ảnh hưởng đến khả năng phát hiện bất thường của các mô hình học máy.

III. Phương Pháp Học Tập Giám Sát Yếu Để Phát Hiện Bất Thường

Học tập giám sát yếu là một phương pháp hiệu quả trong việc phát hiện bất thường mà không cần gán nhãn chi tiết cho từng khung hình. Phương pháp này giúp tiết kiệm thời gian và nguồn lực trong quá trình thu thập dữ liệu.

3.1. Robust Temporal Feature Magnitude RTFM

RTFM là một phương pháp tiên tiến giúp phát hiện bất thường bằng cách phân tích các đặc trưng tạm thời trong video. Phương pháp này đã cho thấy hiệu quả cao trong các thử nghiệm thực tế.

3.2. Multiple Instance Learning MIL

MIL cho phép mô hình học từ nhiều ví dụ mà không cần gán nhãn chi tiết, giúp cải thiện khả năng phát hiện bất thường trong video.

IV. Ứng Dụng Thực Tiễn Của Phát Hiện Bất Thường Trong Video

Việc phát hiện bất thường trong video có nhiều ứng dụng thực tiễn, từ an ninh công cộng đến giám sát trong các khu vực nhạy cảm. Các hệ thống này giúp cảnh báo kịp thời và hỗ trợ điều tra.

4.1. Ứng Dụng Trong An Ninh Công Cộng

Hệ thống phát hiện bất thường giúp các cơ quan chức năng nhanh chóng phát hiện và xử lý các tình huống khẩn cấp, từ đó bảo vệ an toàn cho cộng đồng.

4.2. Hỗ Trợ Điều Tra Tội Phạm

Các video ghi lại hành vi bất thường có thể được sử dụng làm bằng chứng trong các vụ án, giúp quá trình điều tra trở nên hiệu quả hơn.

V. Kết Luận Và Hướng Phát Triển Tương Lai

Phát hiện bất thường trong video là một lĩnh vực đầy tiềm năng và thách thức. Nghiên cứu này mở ra hướng đi mới cho việc ứng dụng công nghệ AI trong an ninh. Tương lai của lĩnh vực này sẽ phụ thuộc vào việc cải thiện các phương pháp hiện tại và phát triển các công nghệ mới.

5.1. Tiềm Năng Của Công Nghệ AI

Công nghệ AI có khả năng cải thiện đáng kể hiệu quả của các hệ thống phát hiện bất thường, từ đó nâng cao an ninh cho xã hội.

5.2. Hướng Nghiên Cứu Tương Lai

Cần tiếp tục nghiên cứu và phát triển các phương pháp mới, đồng thời thu thập thêm dữ liệu để cải thiện độ chính xác của các mô hình phát hiện bất thường.

10/07/2025
Khóa luận tốt nghiệp khoa học dữ liệu phát hiện bất thường trong video tại việt nam theo cách tiếp cận giám sát yếu

Trích đoạn nội dung tài liệu

Mở đầu. Nội dung chương này sẽ trình bày động lực nghiên cứu, mục đích, đối tượng và phạm vi nghiên cứu. Chương 2: Tổng quan. Phần này trình bày định nghĩa bắt thường, tình trạng các sự kiện bat thường ở Việt Nam, phát biéu bài toán, các thách thức, những đóng góp của khóa luận, hướng tiếp cận và bộ dt liệu liên quan đến bài toán.

Chương 3: Nghiên cứu thực nghiệm Trình bày ý tưởng của các phương pháp được sử dụng. Chương 4: Xây dựng bộ dữ liệu phát hiện bat thường trong video tại Việt Nam. Giải thích lí do xây dựng bộ dữ liệu mới — UIT—Anomaly, đồng thời mô tả toàn bộ quá trình xây dựng bộ dữ liệu. Sau đó, phân tích và thống kê các số liệu liên quan đến bộ dữ liệu.

Chương 5: Thực nghiệm và đánh giá. Trình bày cách cài đặt thực nghiệm, các thông số và đánh giá kết quả thu được dựa vào độ đo ROC-AUC. Phân tích các trường hợp đạt kết quả tốt và không tốt. Miêu tả chương trình minh họa.

Chương 6: Kết luận và hướng phát triển. Tổng hợp các kết quả đạt được sau khi thực hiện đề tài và từ đó đề ra hướng phát triển trong tương lai. Cac nghiên cứu liên quan 2. Cac hướng tiếp cận Có thé hiểu nhiệm vụ phát hiện bat thường là nhiệm vụ phân loại hai lớp bình thường và bất thường.

Tuy nhiên, do các lớp bất thường không nhất quán và trong cùng một lớp bất thường, không thể đoán trước được hành vi bất thường đó sẽ diễn ra như thế nào nên việc thu thập một bộ dữ liệu đa dạng chứa tất cả các loại bất thường trong thực tế là điều nan giải. Thế nên việc phát hiện bất thường được giám sát đầy đủ được xem là không thực tế [7]. Ngoài ra, khác với những bài toán triển khai trên dữ liệu quen thuộc và có số lượng lớn, phát hiện bất thường phải đối mặt với vấn đề mắt cân bằng trong dữ liệu. Cả số lượng và thời lượng sự kiện bất thường đều chiếm tỉ lệ thấp hơn hoặc có thể nói là bị lan át hoàn toàn bởi sự kiện bình thường do tính chất sự kiện bất thường là những sự kiện hiểm gặp trong thực tế.

Do đó, nhiệm vụ phát hiện bat thường đòi hỏi các cách xử lý và tiép cận khác với các bài toán phân loại khác. 10 Tùy thuộc vào cách gán nhãn của dit liệu huấn luyện, các phương pháp phát hiện bất thường trong video được phân loại theo 3 hướng tiệp cận: không giám sát, có giám sát và giám sát yếu [8]. Hướng tiếp cận không giám sát Như đã nói trên, thách thức của bài toán phát hiện bất thường là việc thiếu dữ liệu, các sự kiện bất thường diễn ra với tần suất thấp trong thực tế, điều này gây khó khăn cho việc thu thập một bộ dữ liệu chứa đầy đủ các hành vi này. Trái lại, SỐ lượng video bình thường lại vô cùng dồi dao và dé dang thu thập.

Do đó, các phương pháp thuộc hướng tiếp cận không giám sát chỉ học những video không chứa hành vi bat thường trong quá trình huấn luyện. Điều này giúp tiết kiệm rất nhiều thời gian và công sức trong việc xây dựng bộ dữ liệu vì tập huấn luyện chỉ có video bình thường nên không cần gán nhãn. Cùng với đó, những video có chứa sự kiện bất thường sẽ được thu thập dé phuc vu cho muc dich kiém tra. Nhóm các phương pháp thuộc hướng tiếp cận này tập trung tìm hiểu đặc trưng của các khung hình bình thường trong tập huấn luyện và sau đó dự đoán các khung hình trong tập kiểm tra có chứa sự kiện bất thường hay không dựa vào hàm tính độ lỗi tái tạo hoặc dự đoán của mô hình.

Hướng tiếp cận này được cho rằng có khả năng tông quát hóa các hành vi bat thường tốt, nghĩa là không chỉ có thé phát hiện các hành vi bất thường đã biết mà còn cả các loại bất thường mới [7]. Tuy nhiên, các mô hình trong hướng tiếp cận này có thé hoạt động không hiệu quả khi dữ liệu bình thường có phân phối phức tạp [7], điều này ảnh hưởng không tốt đến khả năng dự đoán và làm tăng tỉ lệ cảnh báo giả của mô hình. Tdi tạo đặc trưng Những phương pháp tái tạo đặc trưng tập trung vào việc học cách tái tạo lại một khung hình trong các video huấn luyện. Đối với nhóm phương pháp này, tập huấn luyện chỉ gồm những video bình thường và với cách học tái tạo khung hình sẽ giúp mô hình học được những đặc trưng quan trọng của các sự kiện bình thường.

Những đặc trưng bình thường mà mô hình học được sẽ được đưa vào module phân loại. lãi Theo [9], autoencoder (Hình 2—4) là một loại mạng nơ-ron nhân tạo được huấn luyện dé học cách tái câu trúc dit liệu gần giống với đầu vào ban đầu của nó hiệu qua theo cách không giám sát. Autoencoder network bao gồm 2 phan: encoder và decoder, 2 thành phần này bao gồm các lớp fully connected layers. Hàm encoder có nhiệm vụ giảm số chiều đặc trưng nhỏ hơn số chiều ban đầu của khung hình đầu vào dé tránh việc tái tao lại khung hình một cách hoàn hảo.

Sau đó, mục đích của hàm decoder là cố gang tái tạo lại khung hình từ những đặc trưng đã giảm chiều càng giống với khung hình đâu vào của nó càng tôt. Input Y Output Hình 2-4: Kiến trúc mang co ban của mang Autoencoder. Trong nhiém vu phat hién bat thường, mang Autoencoder được huấn luyện dựa trên các khung hình bình thường, với mục tiêu trước tiên là giảm chiều đặc trưng khung hình đầu vào và sau đó tái tạo lại các khung hình đó ở đầu ra. Trong quá trình giảm chiều dữ liệu, mạng phải học cách ưu tiên những đặc trưng có ích và có thé tái tạo chúng trở lai gần giống với khung hình đầu vào ở đầu ra.

Y tưởng chính của mạng là khi áp dụng mô hình trên dữ liệu tương lai không giống với dữ liệu đầu vào để mô hình có thê nhận ra dữ liệu bất thường, tức là dữ liệu trông khác với dữ liệu đầu vào. Một khung hình có biểu hiện bất thường sẽ ảnh hưởng đến quá trình tái tạo, khi điều này xảy ra, lỗi tái tạo sẽ gia tăng khi cấu trúc lại khung hình đầu vào. Băng cách theo 12 dõi lỗi tái tạo, mô hình có thê dự đoán được khung hình nào có khả năng là bất thường. Weixin Luo và cộng sự [10] đã đề xuất framework ConvLSTM-AE (Hình 2-5), là sự kết hợp của FCN (Fully Convolution Network) và LSTM với Auto Encoder (AE).

Dé xem xét có sự xuất hiện của bat thường hay không, mô hình không chỉ tái tao khung hình hiện tại mà còn tái tạo những khung hình trong quá khứ, nắm bắt sự phụ thuộc thời gian, để tính lỗi tái tạo về sự thay đôi ngoại hình hoặc chuyền động của sự kiện bình thường. Điều này giúp nâng cao hiệu suất của phương pháp tái tạo đặc trưng. Tuy nhiên, những phương pháp theo hướng này thường gặp phải vấn đề quá khớp, có khả năng tái tạo tốt ở cả khung hình bình thường và bất thường với độ lỗi tái tạo nhỏ, dẫn đến khó phát hiện khung hình bất thường. -HïI "I " x Hình 2-5: Kiến trúc phương pháp ConvLSTM-—AE [10].

Dự đoán khung hình Nhóm phương pháp dự đoán khung hình tập trung tìm hiểu cách dự đoán các khung hình hiện tại dựa vào các đặc trưng của các khung hình trước đó. Sau đó, khung hình vừa được dự đoán sẽ được so sánh với khung hình thực tế và dựa vào hàm lỗi để so sánh sự khác nhau giữa chúng để xác định khung hình đó là bình thường hay bất thường. Ngoài tái tạo đặc trưng, nhóm phương pháp dự đoán khung hình cũng thu hút được nhiều sự quan tâm trong phát hiện bất thường không giám sát. 13 Future Frame Prediction (FFP) [11] là thuật toán điển hình trong hướng tiếp cận này.

Từ điểm yếu của hướng tái tạo đặc trưng, tác giả của FFP đã đề xuất thay đổi đầu vào của khung hình hiện tại như trong AE bằng các khung hình đứng trước khung hình đang xét dé tránh trường hợp tái tạo quá tốt, vì thế phương pháp này được gọi là dự đoán thay vì tái tạo. Vì vậy phương pháp này vừa đảm bảo khung hình hiện tại có thé mang những đặc điểm về hình dáng và chuyển động từ những khung hình liền trước nó, vừa có thê hạn chế vấn đề quá khớp vì dự đoán khung hình không sử dụng khung hình hiện tại làm đầu vào. Ý tưởng về GAN (Generative Adversarial Network) [12] được tác gia sử dung cho phương pháp nay. GAN bao gồm Generator có nhiệm vụ tạo ra các khung hình thật nhất và giống nhất có thể với khung hình dự đoán nhất va Discriminator có vai trò phân biệt khung hình được tạo ra là giả hay thật.

Ngoài ra, Liu và cộng sự [11] đã đề xuất mạng Flownet dé trích xuất đặc trưng chuyển động (optical flow) trong các chuỗi ảnh và bổ sung bộ tạo ảnh U-Net trong Generator dé trích xuất đặc trưng ngoại hình tốt hơn, nhằm cải thiện khả năng dự đoán khung hình trong mang GAN của mình. Quá trình huấn luyện FFP được mô tả trong Hình 2-6. Ie | Se Flownet Ea Ị IN Optical } Discriminator âm Flow Loss Hail Ty, lạ,., Ï; | Real or Fake Intensity Loss and (U-Net) Fy’ Gradient Loss Hình 2-6: Quá trình huấn luyện phương pháp FFP [11]. Hướng tiếp cận có giám sát Đối với hướng tiếp cận này, tất cả video trong tập huấn luyện và kiểm tra của bộ dir liệu đều cần phải gán nhãn mức khung hình (frame-level), nghĩa là xác định một khung hình là bình thường hay bat thường.

Ngoài ra, vì bản chat các sự kiện bat thường là những sự kiện hiếm khi xảy ra và không thé dự đoán trước được cách mà những sự kiện này sẽ diễn ra như thé nào, do đó việc thu thập day đủ các thé hiện của 14 hành vi bất thường trong thực tế sẽ là điều vô cùng khó khăn hay thậm chí là không khả thi. Điều này đã khiến hướng tiếp có giám sát mất nhiều thời gian và công sức hơn so với hai hướng tiếp cận còn lại trong quá trình xây dựng bộ dữ liệu. Đối với các công trình phát hiện bất thường trong giao thông như [13], [14] đã tiếp cận theo hướng có giám sát, các mô hình được huấn luyện trên video được gán nhãn mức khung hình, tức biết được thời gian bắt đầu và kết thúc các sự kiện bất thường có trong video. Một cách giải quyết phổ biến của hướng tiếp cận này là tận dụng những kiến thức biết trước liên quan đến sự kiện bất thường đang quan tâm dé giải quyết van đề.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ

Tài liệu có tiêu đề "Phát Hiện Bất Thường Trong Video Tại Việt Nam Bằng Học Tập Giám Sát Yếu" khám phá các phương pháp phát hiện bất thường trong video thông qua kỹ thuật học tập giám sát yếu. Bài viết nhấn mạnh tầm quan trọng của việc áp dụng công nghệ này trong việc nhận diện các hành vi không bình thường, từ đó giúp cải thiện an ninh và giám sát trong nhiều lĩnh vực khác nhau. Độc giả sẽ tìm thấy những lợi ích rõ ràng từ việc áp dụng các phương pháp này, bao gồm khả năng phát hiện sớm các sự cố và giảm thiểu rủi ro.

Để mở rộng kiến thức của bạn về chủ đề này, bạn có thể tham khảo thêm tài liệu Hệ thống phát hiện bất thường trong mạng sử dụng khai phá dữ liệu, nơi cung cấp cái nhìn sâu sắc về các hệ thống phát hiện bất thường trong mạng. Ngoài ra, tài liệu Phát hiện bất thường từ video sử dụng kỹ thuật học sâu sẽ giúp bạn hiểu rõ hơn về các kỹ thuật học sâu trong việc phân tích video. Những tài liệu này sẽ là cơ hội tuyệt vời để bạn khám phá thêm và nâng cao kiến thức của mình trong lĩnh vực phát hiện bất thường.