Luận văn: Phát hiện bất thường từ video sử dụng kỹ thuật học sâu

Luận văn về phát hiện bất thường từ video sử dụng kỹ thuật học sâu. Tìm hiểu phương pháp tiếp cận mới, ứng dụng tiềm năng và kết quả nghiên cứu chi tiết.

• Tác giả: Hắc Tiến Thành
• Người hướng dẫn: TS. Nguyễn Thị Oanh
• Trường học: Trường Đại học Bách khoa Hà Nội
• Chuyên ngành: Khoa học máy tính
• Đề tài: Phát hiện bất thường từ video sử dụng kỹ thuật học sâu
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2022
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT NỘI DŨNG LUẬN VĂN
• MỤC LỤC
• DANH MỤC HÌNH ẢNH
• DANH MỤC BẢNG
• DANH MỤC TỪ VIẾT TẮT VÀ THUẬT NGỮ
• 1. CHƯƠNG I: TỔNG QUAN BÀI TOÁN PHÁT HIỆN CÁC SỰ KIỆN BẤT THƯỜNG TỪ VIDEO
• 1.1. Một số khái niệm. Khái niệm bất thường trong phân tích dữ liệu. Các kiểu bất thường. Phát hiện bất thường từ video
• 1.2. Định nghĩa bài toán. Khung làm việc tổng quát của một hệ thống phát hiện bất thường
• 1.3. Một số vấn đề thường gặp của phát hiện bất thường
• 1.4. Một số kỹ thuật phát hiện bất thường từ video dựa trên học sâu
• 1.5. Mục tiêu, phạm vi của luận văn và phương pháp nghiên cứu. Mục tiêu của luận văn
• 1.6. Phạm vi nghiên cứu của luận văn. Phương pháp nghiên cứu đề xuất và các đóng góp khoa học
• 1.7. Cấu trúc luận văn
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Giới thiệu chung về mạng nơ-ron tích chập. Mạng nơ-ron tích chập ba chiều
• 2.2. Mạng Long Short
• 2.3. Cơ chế chú ý trong kiến trúc giải mã-mã hóa
• 2.4. Một số nghiên cứu về bài toán phát hiện bất thường dựa trên nhãn yếu
• 3. CHƯƠNG 3: MÔ HÌNH PHÁT HIỆN BẤT THƯỜNG
• 3.1. Mô hình C3D kết hợp học đa thể hiện.1 Mô hình kiến trúc mạng CT2
• 3.2. Mô hình Deep MIL, Ranking. Xử lý vấn đề lấy mẫu tràn video. Giải pháp cải tiến đề xuất. Sử dụng cơ chế chủ ý dựa trên clip (clip attention). Sử dụng thuật toán phân cụm để tạo nhãn giả (pseudo label)
• 4. CHƯƠNG 4: THỰC NGHIỆM
• 4.1. Dữ liệu thực nghiệm.3 Triển khai thực nghiệm
• 4.2. Huấn luyện các mô hình. Kết quả thực nghiệm
• 5. CHƯƠNG 5: KẾT LUẬN
• 5.1. Kết quả đạt được
• 5.2. Định hướng phát triển của đề tài
• Tài liệu tham khảo

Tóm tắt

I. Tổng Quan Về Phát Hiện Bất Thường Video Bằng Học Sâu

Phát hiện bất thường trong video là một lĩnh vực nghiên cứu quan trọng, thu hút sự quan tâm lớn từ cộng đồng khoa học và công nghiệp. Ứng dụng của nó trải rộng trên nhiều lĩnh vực, bao gồm an ninh giám sát, y tế, giao thông, và sản xuất. Mục tiêu chính là xác định các sự kiện hoặc hành vi không tuân theo quy luật thông thường, giúp phát hiện sớm các vấn đề tiềm ẩn hoặc các hành vi xâm phạm. Các hệ thống camera giám sát ngày càng được sử dụng rộng rãi tại các địa điểm công cộng như đường phố, ngã tư, ngân hàng, trung tâm mua sắm. Việc phát hiện các hành vi bất thường trong video từ các hệ thống này giúp tăng cường an toàn và an ninh cho cộng đồng. Tuy nhiên, bài toán này đối mặt với nhiều thách thức, bao gồm sự đa dạng của các loại bất thường, sự mất cân bằng dữ liệu (số lượng video chứa sự kiện bất thường thường ít hơn nhiều so với video bình thường), và việc thiếu nhãn chi tiết cho các phân đoạn video.

1.1. Định nghĩa bài toán phát hiện bất thường video deep learning

Bài toán phát hiện bất thường video có thể được định nghĩa như việc xác định các sự kiện hoặc hành vi trong video không phù hợp với mô hình hoạt động thông thường đã được học từ dữ liệu huấn luyện. Khung làm việc tổng quát bao gồm các bước: trích xuất đặc trưng từ video, xây dựng mô hình học bất thường, và đánh giá khả năng phát hiện. Một số vấn đề thường gặp là: độ phức tạp của dữ liệu video, sự thay đổi môi trường (ánh sáng, góc quay), và sự thiếu hụt dữ liệu huấn luyện có nhãn. Theo tài liệu, luận văn tập trung giải quyết bài toán phát hiện bất thường từ video giám sát liên quan đến một hoặc nhiều người. Đây là bài toán có tính ứng dụng thực tiễn cao.

1.2. Ứng dụng thực tế của phát hiện dị thường video deep learning

Ứng dụng học sâu trong phát hiện bất thường có tiềm năng to lớn trong nhiều lĩnh vực. Trong an ninh giám sát, nó giúp phát hiện các hành vi đáng ngờ như trộm cắp, ẩu đả, hoặc xâm nhập trái phép. Trong y tế, nó có thể hỗ trợ phân tích video phẫu thuật hoặc theo dõi bệnh nhân để phát hiện sớm các dấu hiệu bất thường về sức khỏe. Trong giao thông, nó giúp phát hiện các vi phạm luật giao thông hoặc tai nạn. Trong sản xuất, nó có thể giúp phát hiện các lỗi trong quá trình sản xuất hoặc các hành vi không an toàn của công nhân. Luận văn này tập trung giải quyết bài toán phát hiện bất thường từ video giám sát an ninh.

II. Thách Thức Giải Pháp Phát Hiện Bất Thường Video Học Sâu

Bài toán phát hiện bất thường từ video đối diện với nhiều thách thức đáng kể. Sự đa dạng của các loại sự kiện bất thường, từ hành vi đơn giản đến các tình huống phức tạp, đòi hỏi các mô hình phải có khả năng học và khái quát hóa tốt. Sự mất cân bằng dữ liệu, với số lượng video chứa bất thường thường ít hơn nhiều so với video bình thường, gây khó khăn cho việc huấn luyện mô hình. Việc thiếu nhãn chi tiết cho các phân đoạn video, đặc biệt là nhãn thời gian chính xác, là một rào cản lớn. Các giải pháp thường tập trung vào việc sử dụng các kỹ thuật học sâu, như mạng nơ-ron tích chập (CNN) và mạng nơ-ron hồi quy (RNN), kết hợp với các phương pháp học không giám sát hoặc bán giám sát.

2.1. Vấn đề nhãn yếu và cách xử lý trong phát hiện bất thường

Một trong những thách thức lớn nhất trong phát hiện bất thường video là việc thiếu nhãn chi tiết. Thông thường, chỉ có nhãn ở cấp độ video (ví dụ, video có chứa sự kiện bất thường hay không), mà không có nhãn cho từng khung hình hoặc phân đoạn trong video. Kỹ thuật học đa thể hiện (MIL) được nghiên cứu và ứng dụng để giải quyết vấn đề gán nhãn yếu của dữ liệu. Các phương pháp học bán giám sát, sử dụng một lượng nhỏ dữ liệu có nhãn kết hợp với một lượng lớn dữ liệu không nhãn, cũng được áp dụng. Theo luận văn, cơ chế chú ý (attention mechanism) và kỹ thuật phân cụm (K-means) được áp dụng để khai thác các thông tin tương quan giữa các phân đoạn trong cùng một video. K-means giúp tạo nhãn giả cho các phân đoạn trong video, khắc phục cho vấn đề nhãn yếu.

2.2. Mất cân bằng dữ liệu và các kỹ thuật khắc phục phát hiện bất thường

Sự mất cân bằng dữ liệu là một vấn đề phổ biến trong phát hiện bất thường. Số lượng video chứa sự kiện bất thường thường ít hơn nhiều so với video bình thường. Điều này có thể dẫn đến việc mô hình bị thiên vị và hoạt động kém hiệu quả trên các video chứa bất thường. Các kỹ thuật như lấy mẫu quá mức (oversampling) hoặc lấy mẫu dưới mức (undersampling) có thể được sử dụng để cân bằng dữ liệu. Các phương pháp dựa trên hàm mất mát (loss function) cũng có thể được điều chỉnh để tăng trọng số cho các mẫu bất thường.

III. Phương Pháp C3D Học Đa Thể Hiện Phát Hiện Dị Thường

Luận văn này tập trung vào việc sử dụng mạng nơ-ron tích chập 3 chiều (C3D) kết hợp với học đa thể hiện (MIL) để giải quyết bài toán phát hiện bất thường từ video. Mạng C3D có khả năng trích xuất các đặc trưng không gian và thời gian từ video một cách hiệu quả. Học đa thể hiện (MIL) là một kỹ thuật học máy được thiết kế để làm việc với dữ liệu có nhãn yếu. Thay vì cung cấp nhãn cho từng mẫu dữ liệu, MIL cung cấp nhãn cho một tập hợp các mẫu (gọi là "bag"), và chỉ biết rằng ít nhất một mẫu trong bag đó là tích cực nếu bag đó được gán nhãn tích cực.

3.1. Ưu điểm của mạng C3D trong phân tích video học sâu

Mạng C3D có ưu điểm vượt trội trong việc trích xuất đặc trưng không gian và thời gian từ video. Khác với các mạng CNN 2D truyền thống, C3D có thể xử lý trực tiếp các khối video (video clips) và học các mối quan hệ thời gian giữa các khung hình. Kiến trúc mạng CT2 trong luận văn được đề cập là một ví dụ về ứng dụng C3D.

3.2. Ứng dụng học đa thể hiện MIL giải quyết nhãn yếu

Học đa thể hiện (MIL) là một kỹ thuật hữu ích để giải quyết vấn đề nhãn yếu trong phát hiện bất thường video. Trong MIL, mỗi video được coi là một "bag" và mỗi phân đoạn video được coi là một "instance". Thay vì có nhãn cho từng instance, chỉ có nhãn cho bag. Mục tiêu là học một mô hình có thể dự đoán nhãn của bag dựa trên các instance trong bag.

3.3. Mô hình Deep MIL Ranking trong phát hiện bất thường video

Mô hình Deep MIL, Ranking là một phương pháp tiếp cận hiệu quả để xử lý vấn đề lấy mẫu tràn video. Bằng cách kết hợp các đặc trưng trích xuất từ mạng C3D với kỹ thuật xếp hạng (ranking), mô hình có thể học cách phân biệt giữa các phân đoạn bình thường và bất thường trong video.

IV. Cải Tiến Phát Hiện Bất Thường Video Cơ Chế Chú Ý K means

Luận văn đề xuất các giải pháp cải tiến để nâng cao hiệu quả phát hiện bất thường video. Một trong số đó là sử dụng cơ chế chú ý (attention mechanism) dựa trên clip. Cơ chế này cho phép mô hình tập trung vào các phân đoạn video quan trọng nhất, từ đó cải thiện khả năng phát hiện bất thường. Ngoài ra, thuật toán phân cụm K-means được sử dụng để tạo nhãn giả (pseudo label) cho các phân đoạn video, giúp khắc phục vấn đề nhãn yếu.

4.1. Cơ chế chú ý attention trên clip Tập trung phân đoạn quan trọng

Sử dụng cơ chế chú ý (attention) dựa trên clip cho phép mô hình tập trung vào các phân đoạn video quan trọng nhất. Thay vì xử lý tất cả các phân đoạn video một cách đồng đều, cơ chế chú ý sẽ gán trọng số cao hơn cho các phân đoạn có khả năng chứa bất thường. Điều này giúp mô hình cải thiện khả năng phát hiện bất thường và giảm thiểu ảnh hưởng của các phân đoạn không liên quan.

4.2. Thuật toán K means tạo nhãn giả phát hiện sự kiện bất thường

Sử dụng thuật toán phân cụm K-means để tạo nhãn giả (pseudo label) cho các phân đoạn video. K-means giúp phân loại các phân đoạn video thành các cụm dựa trên các đặc trưng của chúng. Các cụm này có thể được sử dụng để tạo nhãn giả cho các phân đoạn video, giúp mô hình học tốt hơn.

V. Thực Nghiệm Đánh Giá Mô Hình Phát Hiện Bất Thường Video

Phương pháp đề xuất được đánh giá thực nghiệm trên CSDL UCF-Crime, bao gồm 1900 video với 13 loại sự kiện bất thường và các hoạt động bình thường được ghi lại bằng camera giám sát. Kết quả thực nghiệm cho thấy cơ chế chú ý cho phép cải thiện khả năng phát hiện bất thường của hệ thống tổng thể so với việc chỉ thực hiện trích chọn đặc trưng và học đa thể hiện.

5.1. Bộ dữ liệu UCF Crime Tiêu chuẩn đánh giá phát hiện bất thường

Bộ dữ liệu UCF-Crime là một bộ dữ liệu phổ biến được sử dụng để đánh giá các mô hình phát hiện bất thường video. Nó bao gồm 1900 video với 13 loại sự kiện bất thường và các hoạt động bình thường được ghi lại bằng camera giám sát. Việc sử dụng UCF-Crime cho phép so sánh kết quả của mô hình đề xuất với các mô hình khác đã được công bố.

5.2. Kết quả thực nghiệm So sánh các mô hình phát hiện bất thường

Kết quả thực nghiệm cho thấy rằng cơ chế chú ý (attention) cho phép cải thiện đáng kể khả năng phát hiện bất thường của hệ thống tổng thể so với việc chỉ thực hiện trích chọn đặc trưng và học đa thể hiện (MIL). Điều này chứng tỏ tính hiệu quả của cơ chế chú ý trong việc tập trung vào các phân đoạn video quan trọng nhất.

VI. Kết Luận Hướng Phát Triển Luận Văn Phát Hiện Bất Thường

Luận văn đã trình bày một phương pháp hiệu quả để phát hiện bất thường từ video sử dụng mạng C3D, học đa thể hiện (MIL), cơ chế chú ý, và thuật toán K-means. Phương pháp này đã đạt được kết quả tốt trên bộ dữ liệu UCF-Crime. Hướng phát triển tiếp theo có thể tập trung vào việc cải thiện khả năng khái quát hóa của mô hình, xử lý các video có độ phân giải thấp, và phát triển các phương pháp học không giám sát để giảm sự phụ thuộc vào dữ liệu có nhãn.

6.1. Đóng góp chính của luận văn phát hiện bất thường video

Luận văn đã đóng góp vào lĩnh vực phát hiện bất thường video bằng cách đề xuất một phương pháp hiệu quả kết hợp mạng C3D, học đa thể hiện, cơ chế chú ý, và thuật toán K-means. Phương pháp này đã đạt được kết quả tốt trên bộ dữ liệu UCF-Crime và có tiềm năng ứng dụng trong nhiều lĩnh vực.

6.2. Hướng nghiên cứu tiếp theo phát hiện bất thường video học sâu

Hướng nghiên cứu tiếp theo có thể tập trung vào việc cải thiện khả năng khái quát hóa của mô hình, xử lý các video có độ phân giải thấp, và phát triển các phương pháp học không giám sát để giảm sự phụ thuộc vào dữ liệu có nhãn. Ngoài ra, việc nghiên cứu các phương pháp kết hợp thông tin từ nhiều nguồn khác nhau (ví dụ, âm thanh, văn bản) cũng là một hướng đi đầy hứa hẹn.

Trích đoạn nội dung tài liệu

CHƯƠNG I: TONG QUAN BAITOAN PHAT HIEN CAC SU KIÊN BAT THUONG 'TỪ VIDEO - - 12 11. Một số khái mệm. Khải niềm bất thường trong phân tích đữ liệu. Cáo kiểu bấtthường.

Phải hiện bất thường lừ viẩso 14 1.1, Định nghĩa bải toán. Khung làm việc tổng quát của một hệ thông phát hiện bất thường, 16 1. M6t 36 van để thường gặp của phát hiện bất thường 1? 1. Một số kỹ thmật phát hiện bất thường từ vidco đựa trên học sâu.

Mục tiêu, phạm vi của luân văn và phương pháp nghiền củu. Mue liêu của luẫn vẫn - 2L 1. Phạm vi nghiên cứu của luận vẫn. Phuơng pháp nghiên cứu đề xuất và các đóng góp khoa học 21 15.

Ti cục luận văn 22 CHUONG2: CO SO LY THUYET. Giới thiêu chung về mạng nơ-ron tích chập. Mang no-ron tich chap ba chiều 24 2. Mang Long Short.

Cơ chế chủ ý trong kiến trúc giải mã-mã hóa. Một số nghiên cửu về bài toán phát hiện bất thưởng đựa trên nhãn yểu ? CHƯƠNG3: MÔ HÌNH PHÁT HIỆN BÁT THƯỜNG. Mô hình C3D kết hợp học đa thể hện.1 Mô hình kiến trắc mạng CT2 3L 3.2 Mô hình Deep MIL, Ranking. Xử lý vẫn đẻ lấy mẫu trăn viđeo.

Giải pháp cải tiến để xuất. Sử dụng cơ chế chủ ý đựa trên clip (clip attention). Sử dụng thuậttoán phân cụm để tao nhan gia (pseudo label) 37 CHƯƠNG4: THỰC NGHIỆM. Dữ liệu thực nghiệm.3 Triển khai thực nghiệm " - 43 443.1 Huấn luyện các mô hình.

Kết quả thưc nghiệm. - 47? GIHƯƠNG5: KẾT LUẬN. Kết quả dạt được. Dinh hương phát triển cita dé tai.

eccsessseesseesseeeseemrenmieetieessessensnsen ee 3S Tải liệu tham khảo. Giải pháp cải tiến để xuất. Sử dụng cơ chế chủ ý đựa trên clip (clip attention). Sử dụng thuậttoán phân cụm để tao nhan gia (pseudo label) 37 CHƯƠNG4: THỰC NGHIỆM.

Dữ liệu thực nghiệm.3 Triển khai thực nghiệm " - 43 443.1 Huấn luyện các mô hình. Kết quả thưc nghiệm. - 47? GIHƯƠNG5: KẾT LUẬN. Kết quả dạt được.

Dinh hương phát triển cita dé tai. eccsessseesseesseeeseemrenmieetieessessensnsen ee 3S Tải liệu tham khảo. _- 57 Iình 30: Giá trị hàm mắt mát thành phần KMeans_Loss theo lô trong mô hình C3D- ATT-CLT-MIL. - 47 Hình 31: 8o sảnh dường cong ROC nưức Khung hình.

40 Hinh 32: So sánh đường cong ROC múc cHp 16-khung hình 50 Hình 33: So sánh độ chính xác AUC (%) mic Khung hinh thoo Lừng tứp bất thường của các thực nghiệm. HH H HH or eeireiriirorrairoeooSD 1Tình 34: So sánh kết quả đự đoán bắt thường của các thực nghiệm tai video Vandalism036 - - SI Hinh 35: So sinh kết quả đự đoàn bắt thường của các thực nghiệm tại video Robbery048 SI ITình 36: So sánh kết quả dự đoán bất thường của các thực nghiêm tại video Assault006 Hinh 37: 5o sành kết quá dự đoán bắt thường của cáo thực nghiệm tại video Abuse030 nhe, 52, Hình 38: So sánh kết quả dự đoán bất thường của các thực nghiệm tai video Assault006 3 Hình 39: Minh họa một phân đoạn gêm cỏ 4 clip và lrợng số cho mỗi clip 5 LỜI CẢM ƠN Dâu tiên, em xin gửi lời cảm ơn chân thành đến TS. Nguyễn Thị Oanh và PGS.TS Trần Thị Thanh Hải đã hướng dẫn ân cần, tận tình, và kiên nhẫn với em và laa động lực cho em trong khoảng thời gian thực hiện luận văn thạc sĩ này. Bim xin chân thành cẩm ơn Viện Nghiên cứu Quốc tê MICA đã cho ern một môi trường thuận lợi để học tập và nghiên cứu.

lim xin cảm ơm đến tắt cả các thầy cô 'Viện Công nghệ thông tin nói riêng và các thây oô Trường Đại học Bách khoa Hà Nội nởi ghumg trong suất thời giản học trên giảng đường đá truyền đạt cho em những kiến thức cần thiết. Cuối củng, em xâm gửi lời cẩm on đến gia đỉnh đã luôn quan tâm, ủng hộ hết lòng về vật chất và tình thân trong suốt thời gian qua cũng như tất cả các bạn củng lớp đã đồng hành trong suốt thời gian học và làm việc Do thời gian vả kiến thúc có hạn nên không luận văn không tránh khỏi những thiếu sét nhật định, em rat mong nhận được sự đóng góp quý báu của thấy cỗ và các bạn. Tà Nội, ngày. năm 2022 Học viên LỜI CẢM ƠN Dâu tiên, em xin gửi lời cảm ơn chân thành đến TS.

Nguyễn Thị Oanh và PGS.TS Trần Thị Thanh Hải đã hướng dẫn ân cần, tận tình, và kiên nhẫn với em và laa động lực cho em trong khoảng thời gian thực hiện luận văn thạc sĩ này. Bim xin chân thành cẩm ơn Viện Nghiên cứu Quốc tê MICA đã cho ern một môi trường thuận lợi để học tập và nghiên cứu. lim xin cảm ơm đến tắt cả các thầy cô 'Viện Công nghệ thông tin nói riêng và các thây oô Trường Đại học Bách khoa Hà Nội nởi ghumg trong suất thời giản học trên giảng đường đá truyền đạt cho em những kiến thức cần thiết. Cuối củng, em xâm gửi lời cẩm on đến gia đỉnh đã luôn quan tâm, ủng hộ hết lòng về vật chất và tình thân trong suốt thời gian qua cũng như tất cả các bạn củng lớp đã đồng hành trong suốt thời gian học và làm việc Do thời gian vả kiến thúc có hạn nên không luận văn không tránh khỏi những thiếu sét nhật định, em rat mong nhận được sự đóng góp quý báu của thấy cỗ và các bạn.

Tà Nội, ngày. năm 2022 Học viên DANIIMỤC BẢNG Bang 1: Số lượng viđoo của từng lớp Hong tập đữ liệu huần luyện Al Bang 2: Théng ké số khung hinh bình thường và bất thưởng trong tập đữ liệu đành giá 4 Bang 3: Bang tong hop các ham số lựa chọn trong hàm imal mat trinh bay trong chương, Bang 4: Cac két quả thực nghiêm trên bộ đữ liệu L:CT-Crime 48 Băng 5: Minh họa cách tính trọng số cho clip trong cơ chế chủ ÿ.Š4 Iình 30: Giá trị hàm mắt mát thành phần KMeans_Loss theo lô trong mô hình C3D- ATT-CLT-MIL. - 47 Hình 31: 8o sảnh dường cong ROC nưức Khung hình. 40 Hinh 32: So sánh đường cong ROC múc cHp 16-khung hình 50 Hình 33: So sánh độ chính xác AUC (%) mic Khung hinh thoo Lừng tứp bất thường của các thực nghiệm.

HH H HH or eeireiriirorrairoeooSD 1Tình 34: So sánh kết quả đự đoán bắt thường của các thực nghiệm tai video Vandalism036 - - SI Hinh 35: So sinh kết quả đự đoàn bắt thường của các thực nghiệm tại video Robbery048 SI ITình 36: So sánh kết quả dự đoán bất thường của các thực nghiêm tại video Assault006 Hinh 37: 5o sành kết quá dự đoán bắt thường của cáo thực nghiệm tại video Abuse030 nhe, 52, Hình 38: So sánh kết quả dự đoán bất thường của các thực nghiệm tai video Assault006 3 Hình 39: Minh họa một phân đoạn gêm cỏ 4 clip và lrợng số cho mỗi clip 5 TOM TAT NOI DUNG LUAN VAN Luận van nay tap trung giải quyết bái toán phát hiện bất thưởng từ video giám sat am nình liên quan đến một hoặc nhiều người. Đây là một bài toán có tỉnh ứng dụng: thực tiến cao trong các hệ thông camera giám sát, dang ngảy càng dược sử dụng, đường phổ, ngã tư, ngân hàng, trung tâm mua sắm, v.v nhằm tăng tính an toàn nơi công cộng. Tuy nhiên, bài toán này có rất nhiễu thách thức do sự đa đạng của bật thường cũng như sự mất cân bằng đữ liệu và thường không được gán nhãn phân. đoạn chính xác vẻ mặt thời gian.

Taiận văn giải quyết bài toán phát hiện bắt thường dua trên phân lớp nhỉ phân với các kỹ thuật học sâu dựa trên huần luyện dữ liệu nhấn yếu. Phương pháp đề xuất trong luận văn gồm các bước chỉnh sau. mang no-ron tich chap 3 chiéu (C3D — 3D convolutional neural network) duro ap dụng để trích chợn các đặc trưng không gian và thời gien từ một ii video. Sau dó, học da thể hiện (MIL) duge nghiên cứu và ứng dụng dễ giải quyết vấn dé gan.

nhãn yếu của đữ liệu. Cuối cùng, cơ chế chú ý (attentien mechanism) và kỹ thuật phên cụm (K-mears) được áp dụng dễ khai thác các thông tín lương quan giữa gác phân đoạn trong củng một video. K-means giúp tạo nhấn giá cho các phân đoạn trong video, khắc phục cho vấn để nhãn yếu — chỉ có nhấn ở mức độ video ma không có nhấn của các khung hình trong video. Phương pháp dễ xuất được dành.

giá thực nghiệm trên CSDL UCF-Crime gồm 1900 video với 13 sự kiện bất thường, và các hoạt động bình thường được phi lại bằng camera giám sát. Kết quả thực nghiệm chơ thấy cơ chế clú ý cho phép cải thiện khả năng phát hiện bất thường của hệ thếng tổng thể so với việc chỉ thực hiện trích chọn đặc trung và học đa thể hiện. Hà Nội, ngày. năm 2022 HỌC VIÊN DANH MỤC HÌNH ẢNH Hình 1: Một ví dụ đơn giản về sự bãi thường trong bộ đữ liệu 2 chiêu [S] 12 Hinh 2: Sự kháe biệt giữa nhiễu và bắt thưởng [6{.18 Llinh 3: Minh họa hệ thống phát hiện bất thường 15 Hình 4 Minh họa gói (bag) và thể hiện Gnstanee) [4] 15 Hinh 5: Minh hoa phin doan trong mét video[4] .- „16 Linh 6: Khurg làm việc tổng quát của ruột hệ thống phát hiện bat throng 1? Hinh 7: So sảnh thuật các toán trên học sâu và các thuật toán truyền thông [7].0 Hình 8 : Kiến trúc chững của mạng nơ-ron tỉch chập.23 Hinh 9 : Phép toán tích chập 3 chiêu [12] 25 Hình 10: Kién inte mang LSTM [T6} 26 Hinh 11: Kiển trúc mã hỏa giải mã với cơ chế chủ ý]17 Hinh 12: Sơ để luỗng phát hiện hất thường trong [4| 28 Hình 13: Tổng quan mé hinh trong [1] 28 Hình 14: Phương pháp đề xuất trong |2|.o 0o sc se seetsrtrrreecece.

„31 Hinh 18: Số lượng tham số trong các tầng của modal C312.- Tĩnh 19: Mô hình để sử đụng cơ chế chủ ý đựa trên chịp 36 Hinh 20: Cơ chế chủ ý đựa trên clip. „37 Hinh 2I: Mô hình cái tiến sử đụng cơ chế chú ý và thuật toán K-means 38 Vinh 22: Cac sir kign bit thirimg khac nhan tit cac video tndn luyén va video kiérn thir trong tập bộ dữ liệu UCF-Crime „40 Hinh 23: Kích thước của các video trong tập dữ liệu kiểm thư. 42 Linh 24: 1ï 18 bat thường trong các video trong tập đít liệu kiếm thư 4 Hình 25: Giá trị hàm mất mắt theo lô trong mô hình CAD-MTI, Ad Hinh 26: Giả trị hàm mắt mát theo 16 trong m8 hinh C3D-ATT-MIL. "_-- [linh 27: Gid tri him mat mat tong hop (MIL_Loss | MSE_Loss ! Kmeans_Loss) theo 16 trong mnô hình C3D-ATT-CLT-MIL.

45 Hinh 28: Giá trị ham mat mát thành phần MIL,_L.oss theo lô trong mmô hình C31-ATT- GLT-MII. 46 Hình 29: Giá trị hàm mắt mát thành phần MSE Loss theo lô trong mô hình C3D-ATT- 8 314. Giải pháp cải tiến để xuất.