Khóa Luận Tốt Nghiệp: Phát Hiện Bất Thường Trong Video Giám Sát Sử Dụng Deep Learning

Khóa luận tốt nghiệp khoa học máy tính tập trung phát hiện bất thường trong video giám sát bằng công nghệ deep learning, ứng dụng hiệu quả trong an ninh.

• Tác giả: Vũ Ngọc Tú
• Người hướng dẫn: TS. Nguyễn Tấn Trần Minh Khang
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh - Trường Đại học Công nghệ Thông tin
• Chuyên ngành: Khoa học máy tính
• Đề tài: Phát hiện bất thường trong video giám sát tại đường phố Việt Nam sử dụng phương pháp học sâu
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2021
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN ĐỀ TÀI
• 1.1. Động lực nghiên cứu
• 1.2. Phát biểu bài toán. Các thách thức
• 1.3. Mục tiêu và phạm vi nghiên cứu
• 1.4. Đóng góp của khóa luận
• 1.5. Cấu trúc báo cáo khóa luận
• 2. CHƯƠNG 2: CÁC NGHIÊN CỨU LIÊN QUAN
• 2.1. Phát hiện bất thường
• 2.2. Phân loại
• 2.3. Các bộ dữ liệu hiện có cho bài toán phát hiện bất thường
• 2.3.1. Bộ dữ liệu đơn cảnh
• 2.3.2. Bộ dữ liệu đa cảnh
• 2.4. Các hướng tiếp cận hiện tại cho bài toán phát hiện bất thường
• 2.4.1. Hướng tiếp cận dựa trên đặc trưng handcrafted
• 2.4.2. Mô-đun trích xuất đặc trưng truyền thống
• 2.4.3. Hướng tiếp cận dựa trên học sâu
• 2.4.4. Hướng tiếp cận học không giám sát
• 3. CHƯƠNG 3: XÂY DỰNG BỘ DỮ LIỆU CHO BẤT THƯỜNG TẠI ĐƯỜNG PHỐ TRONG VIỆT NAM
• 3.1. Lý do xây dựng bộ dữ liệu
• 3.2. Thu thập và tiền xử lý
• 3.2.1. Thu thập dữ liệu
• 3.2.2. Tiền xử lý dữ liệu
• 3.3. Quy tắc tổ chức và gán nhãn dữ liệu
• 3.3.1. Quy trình thu thập và gán nhãn
• 3.4. Phân tích bộ dữ liệu
• 4. CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ
• 4.1. Dữ liệu thực nghiệm
• 4.1.1. Mô tả cơ bản
• 4.1.2. Mô tả chi tiết
• 4.2. Mô tả thực nghiệm
• 4.2.1. Mô tả quá trình thực nghiệm
• 4.2.2. Cấu hình thực nghiệm
• 4.2.3. Phương pháp đánh giá
• 4.3. Kết quả thực nghiệm và đánh giá
• 4.3.1. Kết quả thực nghiệm
• 4.3.2. Trực quan hóa kết quả
• 4.3.3. Đánh giá kết quả
• 5. CHƯƠNG 5: ĐỀ XUẤT PHƯƠNG PHÁP CẢI TIẾN, THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ
• 5.1. Cải tiến đề xuất để cải thiện kết quả phát hiện bất thường trên video giám sát
• 5.2. Đề xuất hàm độ lỗi cho phương pháp Future Frame Prediction
• 5.3. Phương pháp phát hiện bất thường cơ sở của phương pháp
• 5.4. Đề xuất chỉnh sửa phương pháp phát hiện bất thường
• 5.5. Đánh giá kết quả đề xuất
• 5.6. Trực quan kết quả
• 6. CHƯƠNG 6: CHƯƠNG TRÌNH MINH HỌA
• 6.1. Xây dựng ứng dụng demo cho bài toán phát hiện bất thường
• 6.2. Cách sử dụng hệ thống
• 7. CHƯƠNG 7: HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO
• PHỤ LỤC A: BÀI BÁO
• DANH MỤC HÌNH
• DANH MỤC BẢNG
• DANH MỤC TỪ VIẾT TẮT

Tóm tắt

I. Giới thiệu và động lực nghiên cứu

Khóa luận tập trung vào phát hiện bất thường trong video giám sát sử dụng Deep Learning, một lĩnh vực quan trọng trong Khoa học máy tính. Nghiên cứu này xuất phát từ nhu cầu thực tế trong việc xây dựng thành phố thông minh tại Việt Nam, nơi các hệ thống giám sát thông minh đang được triển khai rộng rãi. Phát hiện bất thường trong video giám sát giúp nhận diện các sự kiện như đánh nhau, trộm cắp, cướp giật, từ đó hỗ trợ công tác quản lý và an ninh. Với sự gia tăng dân số và các hoạt động đa dạng tại các đô thị, việc tự động hóa quá trình này là cần thiết để giảm chi phí nhân công và nâng cao hiệu quả.

1.1. Bài toán phát hiện bất thường

Bài toán phát hiện bất thường trong video giám sát đặt ra nhiều thách thức do sự đa dạng trong hành vi con người và góc quay của camera. Nghiên cứu này nhằm xây dựng một mô hình dựa trên Deep Learning để tự động phát hiện các sự kiện bất thường, đồng thời xây dựng bộ dữ liệu về các sự kiện này tại Việt Nam.

II. Phương pháp và kỹ thuật sử dụng

Khóa luận sử dụng các kỹ thuật học sâu như mạng nơ-ron tích chập (CNN) và mạng tự mã hóa (Autoencoder) để trích xuất đặc trưng từ video. Các phương pháp tiên tiến như Future Frame Prediction (FFP) và Memory-guided Normality for Anomaly Detection (MNAD) được áp dụng để cải thiện độ chính xác của mô hình. Nghiên cứu cũng đề xuất các cải tiến trong hàm độ lỗi và quy trình phát hiện bất thường để tối ưu hóa hiệu suất.

2.1. Trích xuất đặc trưng và mô hình học sâu

Các kỹ thuật trích xuất đặc trưng như HOG và SIFT được sử dụng để phân tích hành vi trong video. Mạng nơ-ron tích chập (CNN) và mạng tự mã hóa (Autoencoder) được triển khai để học các đặc trưng phức tạp từ dữ liệu video.

2.2. Cải tiến phương pháp phát hiện bất thường

Nghiên cứu đề xuất các cải tiến trong hàm độ lỗi của Future Frame Prediction (FFP) và quy trình phát hiện bất thường của MNAD để nâng cao độ chính xác và hiệu quả của mô hình.

III. Kết quả và đánh giá

Khóa luận đã xây dựng bộ dữ liệu VNAnomaly gồm 217 video giám sát từ các camera tại Việt Nam. Các mô hình FFP, MNAD, và MLEP được thử nghiệm trên bộ dữ liệu này, cho kết quả khả quan với độ chính xác cao. Nghiên cứu cũng đề xuất các cải tiến giúp tăng hiệu suất của mô hình, đồng thời phát triển một ứng dụng demo để minh họa quá trình phát hiện bất thường.

3.1. Bộ dữ liệu VNAnomaly

Bộ dữ liệu VNAnomaly được thu thập từ các camera giám sát tại Việt Nam, bao gồm các sự kiện bất thường như đánh nhau, cướp giật. Dữ liệu được tiền xử lý và gán nhãn để phục vụ cho việc huấn luyện mô hình.

3.2. Đánh giá kết quả thực nghiệm

Các mô hình FFP, MNAD, và MLEP được đánh giá dựa trên các chỉ số như ROC-AUC và confusion matrix. Kết quả cho thấy các mô hình này có khả năng phát hiện bất thường hiệu quả trên bộ dữ liệu VNAnomaly.

IV. Ứng dụng và hướng phát triển

Nghiên cứu này có tiềm năng ứng dụng cao trong các hệ thống giám sát thông minh tại Việt Nam, đặc biệt trong bối cảnh xây dựng thành phố thông minh. Các kết quả đạt được đã được công bố tại các hội nghị quốc gia và quốc tế, mở ra hướng phát triển mới trong lĩnh vực phân tích video và an ninh.

4.1. Ứng dụng thực tế

Mô hình phát hiện bất thường có thể được tích hợp vào các hệ thống camera giám sát để tự động cảnh báo các sự kiện bất thường, giúp giảm thiểu chi phí nhân công và nâng cao hiệu quả quản lý.

4.2. Hướng phát triển tương lai

Nghiên cứu đề xuất hướng phát triển tiếp theo là mở rộng bộ dữ liệu và cải tiến các mô hình học sâu để tăng độ chính xác và khả năng ứng dụng trong các tình huống thực tế phức tạp hơn.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh xây dựng đô thị thông minh (smart city) thời kỳ công nghệ 4.0 tại Việt Nam, hệ thống camera giám sát được triển khai rộng rãi nhằm phục vụ công tác điều hành giao thông, giám sát an ninh trật tự và quản lý khu dân cư từ xa, đặc biệt là trong giai đoạn phòng chống dịch bệnh Covid-19. Tuy nhiên, khối lượng camera giám sát tăng nhanh dẫn đến sự quá tải về nhân lực và thời gian xử lý thủ công. Thực tế này đặt ra yêu cầu cấp thiết về một công cụ tự động phát hiện các hành vi bất thường như âu đả, trộm cắp và cướp giật trên các luồng video giám sát.

Bài toán phát hiện bất thường trong video giám sát được phát biểu dưới dạng bài toán phân lớp nhị phân theo từng khung hình (frame-level binary classification): với đầu vào là một chuỗi khung hình liên tiếp trích xuất từ video, mô hình dự đoán nhãn tương ứng cho từng khung hình với quy ước nhãn 0 là bình thường và nhãn 1 là bất thường.

Nghiên cứu chỉ ra các thách thức kỹ thuật lớn của bài toán:

• Thách thức ngoại cảnh: Chất lượng video giám sát thường bị giảm sút do độ phân giải thấp, hình ảnh mờ nhòe, rung lắc do gió tác động lên giá đỡ camera, sự che khuất giữa các đối tượng (occlusion) và bóng che (shadow), cũng như vùng diễn ra bất thường chỉ chiếm tỷ lệ diện tích rất nhỏ trong khung hình.
• Thách thức nội tại: Tính đa dạng của ngữ cảnh, sự thay đổi của góc quay và thời điểm ghi hình (ban ngày, ban đêm có màu hoặc hồng ngoại). Đặc biệt, định nghĩa về bất thường có tính nhập nhằng cao và phụ thuộc hoàn toàn vào ngữ cảnh thực tế; ví dụ, việc điều khiển xe máy trên đường phố là bình thường nhưng di chuyển trên làn đường dành cho người đi bộ lại được xác định là hành vi bất thường.
• Thách thức về dữ liệu: Bản chất sự kiện bất thường rất hiếm khi xuất hiện trong đời sống, khiến việc thu thập dữ liệu bất thường thực tế gặp nhiều khó khăn. Hầu hết các bộ dữ liệu công bố trên thế giới đều quay tại khuôn viên nước ngoài, thiếu vắng các tập dữ liệu đặc thù cho điều kiện đường phố nhiều ngõ hẻm và ánh sáng phức tạp tại Việt Nam.

Nhiệm vụ nghiên cứu được xác định qua 7 mục tiêu cụ thể:

1. Tìm hiểu tổng quan về bài toán phát hiện bất thường trong camera giám sát dựa trên những nghiên cứu có sẵn.
2. Tìm hiểu tổng quan các kỹ thuật học sâu và trình bày các phương pháp phát hiện bất thường dựa trên phương pháp học sâu tiên tiến nhất.
3. Khảo sát các bộ dữ liệu phục vụ cho bài toán đã được công bố trên thế giới, từ đó xây dựng bộ dữ liệu video thu thập từ các camera giám sát tại Việt Nam.
4. Cài đặt thực nghiệm các phương pháp phát hiện bất thường gồm Future Frame Prediction, MNAD và MLEP trên bộ dữ liệu được xây dựng.
5. Nghiên cứu và đề xuất các kỹ thuật cải tiến nhằm nâng cao độ chính xác của kết quả phát hiện bất thường, từ đó đánh giá so sánh với phiên bản mặc định.
6. Lựa chọn mô hình đạt hiệu quả tốt để xây dựng ứng dụng phần mềm minh họa (demo).
7. Tổng hợp kết quả, phân tích đánh giá mô hình và hoàn thiện báo cáo khóa luận.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Các kỹ thuật rút trích đặc trưng không gian - thời gian, các kiến trúc học sâu phát hiện bất thường trong video và các bộ dữ liệu thực nghiệm.
• Phạm vi nghiên cứu: Đề tài giới hạn không gian khảo sát tại đường phố Việt Nam, tập trung vào 3 sự kiện bất thường phổ biến trong đời sống: đánh nhau, hành hung và cướp giật; phương pháp tiếp cận tập trung vào nhóm mô hình học không giám sát (unsupervised learning). Thời gian thực hiện từ tháng 09/2021 đến tháng 12/2021.

Cơ sở lý thuyết và phương pháp

Khóa luận dựa trên khung lý thuyết của bài toán phát hiện bất thường (Anomaly Detection - AD) trong thị giác máy tính. Do dữ liệu bất thường cực kỳ khan hiếm và không thể bao quát toàn bộ các kịch bản tiêu cực trong thực tế, tác giả lựa chọn hướng tiếp cận học không giám sát. Trong hướng tiếp cận này, mô hình chỉ được huấn luyện hoàn toàn trên các khung hình bình thường nhằm học các khuôn mẫu chuẩn (normal patterns) về ngoại hình và chuyển động; các khung hình bất thường chỉ xuất hiện trong tập kiểm thử (testing).

Các mô hình và công nghệ học sâu nền tảng được tác giả khảo sát và vận dụng bao gồm:

• Bộ tự mã hóa (Autoencoder - AE) và Bộ tự mã hóa tích chập (Convolutional Autoencoder - CAE): Sử dụng tầng tích chập (Convolutional layer) để học các đặc trưng cục bộ, giảm số lượng tham số thông qua chia sẻ trọng số và vùng nhận thức cục bộ (local receptive fields); kết hợp tầng tích chập chuyển vị (Transpose Convolution/Deconvolution) để tái tạo khung hình.
• Mạng nơ-ron bộ nhớ dài-ngắn hạn tích chập (ConvLSTM): Kết hợp khả năng trích xuất không gian của CNN và nắm bắt đặc trưng phụ thuộc thời gian của LSTM nhằm lưu trữ thông tin từ các khung hình lịch sử.
• Mạng đối nghịch tạo sinh (Generative Adversarial Networks - GAN) và kiến trúc Unet: Sử dụng các kết nối tắt (skip connections) nhằm khắc phục hiện tượng suy giảm đạo hàm (Gradient Vanishing) trong quá trình lan truyền ngược, đồng thời giữ lại các chi tiết không gian quan trọng phục vụ quá trình tái tạo hoặc dự đoán.

Khóa luận đi sâu vào cơ chế hoạt động của 3 phương pháp học sâu tân tiến (State-of-the-Art):

• Future Frame Prediction (FFP): Thay vì tái tạo khung hình hiện tại (dễ dẫn đến hiện tượng mạng chỉ sao chép nguyên trạng đầu vào), FFP sử dụng kiến trúc Unet để dự đoán khung hình tương lai từ chuỗi 4 khung hình quá khứ liên tiếp. Quá trình huấn luyện ràng buộc bởi tổ hợp các hàm lỗi: lỗi cường độ điểm ảnh (Intensity Loss), lỗi góc cạnh/đạo hàm không gian (Gradient Loss), lỗi luồng quang học (Optical Flow Loss) trích xuất qua mạng tiền huấn luyện Flownet 2 và lỗi đối nghịch (Adversarial Loss).
• Memory-guided Normality for Anomaly Detection (MNAD): Sử dụng kiến trúc bộ nhớ (Memory Module) kết hợp mô-đun mã hóa - giải mã (Encoder-Decoder) dựa trên Unet. Mô-đun bộ nhớ lưu trữ các mẫu đặc trưng chuẩn của sự kiện bình thường thông qua hai thao tác "read" (đối chiếu vector truy vấn query từ encoder với các vector mẫu) và "update" (cập nhật trọng số của khối nhớ theo dữ liệu huấn luyện).
• Margin Learning Embedded Prediction (MLEP): Sử dụng bộ dự đoán Autoencoder kết hợp ConvLSTM và Cycle-GAN, loại bỏ Discriminator truyền thống để thay thế bằng mô-đun học lề (Margin Learning). Trong phiên bản không giám sát, mô hình tối thiểu hóa sai lệch giữa đặc trưng của khung hình dự đoán và khung hình bình thường thực tế.

Phương pháp đánh giá và độ đo: Để xác định khung hình có bất thường hay không, mô hình tính toán sự sai lệch giữa khung hình thực tế $I_t$ và khung hình dự đoán $\hat{I}_t$ thông qua sai số toàn phương trung bình (MSE), từ đó suy ra tỷ số tín hiệu cực đại trên nhiễu (PSNR):

$$\text{PSNR}(I_t, \hat{I}t) = 10 \log{10} \left( \frac{\max(I_t)^2}{\text{MSE}(I_t, \hat{I}_t)} \right)$$

Điểm bất thường (Abnormality score) được tính bằng cách chuẩn hóa min-max giá trị PSNR trên từng video giám sát riêng biệt:

$$S(t) = 1 - \frac{\text{PSNR}(I_t, \hat{I}t) - \min{P \in \mathcal{B}} \text{PSNR}}{\max_{P \in \mathcal{B}} \text{PSNR} - \min_{P \in \mathcal{B}} \text{PSNR}}$$

Hiệu năng phát hiện trên toàn tập dữ liệu được đo lường bằng ma trận nhầm lẫn (Confusion Matrix), đường cong đặc trưng hoạt động của bộ thu nhận (ROC) và diện tích dưới đường cong ROC (ROC-AUC).

Nguồn dữ liệu nghiên cứu: Khóa luận khảo sát các bộ dữ liệu chuẩn trên thế giới và đối chiếu với bộ dữ liệu VNAnomaly do nhóm tác giả tự xây dựng:

Bộ dữ liệu	Tổng số khung hình	Khung hình huấn luyện	Khung hình kiểm thử	Sự kiện bất thường	Số cảnh	Độ phân giải	Dung lượng	Năm công bố
UMN	6.450	N/A	N/A	3	3	240 x 320	N/A	2006
Subway Entrance	144.246	20.000	124.246	66	1	384 x 512	9,5 GB	2008
Subway Exit	38.940	4.500	34.440	19	1	384 x 512	4,7 GB	2008
Avenue	N/A	N/A	N/A	47	1	480 x 856	N/A	2013
ShanghaiTech Campus	315.306	274.515	40.791	130	13	480 x 856	30 GB	2018
VNAnomaly (Đề xuất)	588.941	578.609	75.214	110	36	340 x 672	50 GB	2021

Nội dung chính theo từng chương

Chương 1. Tổng quan đề tài

Chương 1 thiết lập cơ sở khoa học cho nghiên cứu. Tác giả trình bày động lực nghiên cứu bắt nguồn từ bài toán xây dựng thành phố thông minh và nhu cầu tự động hóa giám sát an ninh trật tự trong điều kiện thiếu hụt nhân sự giám sát thủ công. Chương này phát biểu mô hình toán học của bài toán phát hiện bất thường nhị phân theo chuỗi thời gian, phân tích có hệ thống các yếu tố thách thức bên trong (nhập nhằng ngữ cảnh, khan hiếm dữ liệu) và bên ngoài (chất lượng hình ảnh, độ phân giải thấp, camera rung lắc). Chương này cũng công bố cấu trúc khóa luận, đối tượng, phạm vi nghiên cứu tập trung vào 3 loại bất thường và danh sách 7 mục tiêu thực hiện.

Chương 2. Các nghiên cứu liên quan

Chương 2 tổng quan toàn diện các công trình nghiên cứu phát hiện bất thường trên thế giới. Tác giả so sánh hai hướng tiếp cận chính: học không giám sát và học giám sát yếu (Weakly supervised learning - sử dụng các mạng C3D, I3D). Chương phân tích sự suy giảm hiệu quả của các đặc trưng truyền thống tự thiết kế (handcrafted features như HOG, SIFT, SURF, MBH, Dense Trajectory kết hợp SVM, GMM, MRF) trong môi trường nhiều vật thể chuyển động phức tạp. Tiếp đó, chương phân tích chuyên sâu các kiến trúc học sâu tiêu biểu: Autoencoder, Convolutional Autoencoder, ConvLSTM-AE, Future Frame Prediction (FFP), MNAD và MLEP, chỉ rõ ưu điểm của hướng tiếp cận dự đoán khung hình tương lai so với hướng tái tạo khung hình truyền thống.

Chương 3. Xây dựng bộ dữ liệu cho bất thường tại đường phố trong Việt Nam

Chương 3 trình bày chi tiết quy trình xây dựng bộ dữ liệu VNAnomaly nhằm giải quyết sự thiếu hụt dữ liệu camera giám sát tại Việt Nam. Tác giả mô tả chi tiết:

• Lý do xây dựng: Đặc thù đường phố Việt Nam có nhiều ngõ nhỏ, mật độ phương tiện cao, đối tượng thường xuyên bị che khuất và điều kiện chiếu sáng ban đêm phức tạp.
• Quy trình thu thập và tiền xử lý: Thu thập 217 video từ hệ thống camera giám sát thực tế, thực hiện cắt lọc, chuẩn hóa độ phân giải về 340 x 672 điểm ảnh.
• Quy tắc tổ chức và gán nhãn: Thiết lập nhãn chi tiết ở mức khung hình. Tác giả xây dựng định dạng nhãn theo file văn bản (.txt) và cấu trúc tệp JSON chứa hai khối thuộc tính chính: khối danh mục ("categories") xác định loại sự kiện và khối chú thích ("annotations") lưu trữ tọa độ thời gian, nhãn bất thường tương ứng với từng khung hình. Bộ dữ liệu đạt quy mô 588.941 khung hình, bao gồm 110 sự kiện bất thường phân bố trên 36 góc cảnh khác nhau.

Chương 4. Thực nghiệm và đánh giá kết quả

Chương 4 mô tả quy trình thiết lập môi trường thực nghiệm, cấu hình tham số phần cứng và phần mềm cho các mô hình cơ sở FFP, MNAD và MLEP trên bộ dữ liệu VNAnomaly. Tác giả trình bày luồng xử lý thực nghiệm chi tiết của mô hình MNAD, phương pháp tính toán độ đo ROC-AUC và phân tích ma trận nhầm lẫn. Kết quả định lượng được thống kê và trực quan hóa qua biểu đồ đường cong ROC, biểu đồ phân bố điểm bất thường theo thời gian và hình ảnh trực quan hóa các khung hình bị mô hình dự đoán sai lệch lớn. Qua đó, chương này chỉ ra các điểm nghẽn của các mô hình gốc khi xử lý dữ liệu video thực tế tại Việt Nam.

Chương 5. Đề xuất phương pháp cải tiến, thực nghiệm và đánh giá kết quả

Dựa trên các hạn chế ghi nhận từ Chương 4, Chương 5 công bố hai đóng góp cải tiến chính:

1. Đề xuất hàm độ lỗi mới cho mô hình Future Frame Prediction: Bổ sung thêm các thành phần ràng buộc nhằm tối ưu hóa khả năng dự đoán khung hình trong điều kiện video bị rung lắc hoặc thiếu sáng.
2. Hiệu chỉnh thuật toán tính điểm bất thường cho mô hình phát hiện cơ sở MNAD: Tinh chỉnh cơ chế so sánh sai số trong giai đoạn kiểm thử nhằm giảm thiểu tỷ lệ báo động giả (false positive). Chương này cung cấp các bảng dữ liệu thực nghiệm so sánh chi tiết giữa mô hình gốc và mô hình cải tiến về chỉ số ROC-AUC cũng như bảng đo lường thời gian chạy thực nghiệm (tốc độ khung hình trên giây - FPS).

Chương 6. Chương trình minh họa

Chương 6 trình bày việc hiện thực hóa kết quả nghiên cứu thành một phần mềm minh họa hoàn chỉnh trên giao diện web. Tác giả hướng dẫn chi tiết quy trình vận hành hệ thống: khởi tạo giao diện, tải video giám sát cần kiểm tra lên hệ thống, kích hoạt luồng xử lý của mô hình học sâu và hiển thị trực quan kết quả phát hiện bất thường cùng biểu đồ điểm số biến thiên tương ứng theo từng khung hình.

Chương 7. Hướng phát triển

Chương 7 tổng kết toàn bộ các kết quả đạt được của khóa luận và đề xuất các hướng nghiên cứu mở rộng trong tương lai, bao gồm việc mở rộng quy mô bộ dữ liệu VNAnomaly, phát hiện bất thường ở mức vùng không gian (Spatial Anomaly Detection) và tối ưu hóa tốc độ xử lý hướng tới triển khai thời gian thực trên các thiết bị biên.

Thiết kế và triển khai

Hệ thống được thiết kế theo luồng xử lý dữ liệu đầu cuối (end-to-end pipeline) nhằm phục vụ bài toán giám sát an ninh:

• Mô-đun tiền xử lý: Tiếp nhận video giám sát đầu vào, tiến hành tách video thành chuỗi khung hình liên tiếp và chuẩn hóa kích thước khung hình về chuẩn 340 x 672 điểm ảnh.
• Mô-đun dự đoán khung hình: Vận dụng mạng nơ-ron sâu (kiến trúc Unet kết hợp khối nhớ Memory Module hoặc khối tích chập chuyển vị Deconvolutional layers) để dự đoán khung hình kế tiếp $\hat{I}_t$ từ chuỗi khung hình quá khứ.
• Mô-đun tính toán sai số và phát hiện bất thường: Sử dụng hàm tính toán khoảng cách Euclid để trích xuất sai số MSE giữa khung hình thực tế và khung hình dự đoán, chuyển đổi sang giá trị PSNR và chuẩn hóa thành điểm bất thường $S(t)$. Một ngưỡng quyết định được áp dụng để gán nhãn nhị phân cho từng khung hình.
• Ứng dụng Web Demo: Hệ thống được đóng gói với giao diện người dùng trực quan trên nền tảng web. Giao diện cung cấp chức năng chọn tệp video từ máy tính, nút bấm kích hoạt mô hình dự đoán, màn hình trình chiếu video gốc song song với biểu đồ hiển thị trực quan biến thiên của điểm bất thường theo thời gian thực, đồng thời đánh dấu cảnh báo màu tại các phân đoạn phát hiện hành vi đánh nhau, hành hung hoặc cướp giật.

Kết quả và đóng góp

Khóa luận đạt được các kết quả cụ thể sau:

• Xây dựng thành công bộ dữ liệu VNAnomaly: Đây là bộ dữ liệu đa cảnh phục vụ bài toán phát hiện bất thường trên video giám sát đầu tiên tại Việt Nam, bao gồm 217 video, tổng cộng 588.941 khung hình (578.609 khung hình huấn luyện bình thường và 75.214 khung hình kiểm thử), ghi nhận 110 sự kiện bất thường thuộc 4 nhóm phân loại tại 36 bối cảnh đường phố khác nhau, dung lượng lưu trữ 50 GB.
• Triển khai và đánh giá thực nghiệm 3 kiến trúc học sâu SOTA: Cung cấp số liệu đối sánh toàn diện về hiệu năng phát hiện (thông qua chỉ số ROC-AUC) và tốc độ tính toán (thời gian xử lý) của các mô hình Future Frame Prediction, MNAD và MLEP trên dữ liệu thực tế tại Việt Nam.
• Đề xuất hai cải tiến thuật toán: Đề xuất hàm độ lỗi kết hợp mới cho phương pháp FFP và hiệu chỉnh thuật toán tính điểm bất thường trong giai đoạn kiểm thử cho mô hình MNAD, mang lại hiệu quả nâng cao độ chính xác phát hiện bất thường trên tập dữ liệu VNAnomaly.
• Xây dựng hoàn chỉnh ứng dụng web demo: Hiện thực hóa mô hình nghiên cứu thành phần mềm ứng dụng thực tế có khả năng nhận diện bất thường từ video tải lên và trực quan hóa cảnh báo cho người vận hành.
• Công bố 02 bài báo khoa học tại các hội nghị chuyên ngành:
  1. Bài báo "VNAnomaly: A novel Vietnam surveillance video dataset for anomaly detection" được chấp nhận đăng tại Hội nghị Quốc tế NAFOSTED lần thứ 8 về Thông tin và Khoa học Máy tính (NICS 2021).
  2. Bài báo "Một hàm lỗi cho bài toán phát hiện bất thường trên video giám sát" được chấp nhận đăng tại Hội nghị Quốc gia lần thứ 24 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT 2021).

Hạn chế và hướng nghiên cứu tiếp

Khóa luận xác định các hạn chế nội tại dựa trên phạm vi nghiên cứu:

• Phạm vi dữ liệu: Bộ dữ liệu chỉ tập trung vào 3 nhóm sự kiện bất thường phổ biến (đánh nhau, hành hung, cướp giật) trong bối cảnh đường phố, chưa bao quát được các dạng bất thường đa dạng khác tại nơi công cộng hoặc trong nhà.
• Cấp độ phát hiện: Mô hình chỉ giải quyết bài toán phát hiện ở mức khung hình (frame-level binary detection), chưa cung cấp tọa độ hộp giới hạn (bounding box) để định vị chính xác vị trí không gian xảy ra bất thường, cũng như chưa phân loại chi tiết loại hành vi bất thường cụ thể.
• Yếu tố môi trường: Độ chính xác của mô hình vẫn chịu ảnh hưởng khi gặp các điều kiện thời tiết khắc nghiệt, camera bị rung lắc quá mạnh hoặc các góc quay có mức độ che khuất đối tượng quá cao.

Hướng nghiên cứu tiếp theo (trình bày tại Chương 7):

• Nâng cấp mô hình phát hiện bất thường kết hợp cả không gian và thời gian (Spatio-temporal Anomaly Detection) nhằm định vị chính xác vùng bất thường trong khung hình.
• Mở rộng quy mô bộ dữ liệu VNAnomaly với nhiều góc quay, điều kiện ánh sáng và bổ sung thêm các loại hành vi bất thường khác.
• Tối ưu hóa kiến trúc mạng để giảm thiểu độ trễ tính toán, nâng cao tốc độ xử lý khung hình (FPS) nhằm đáp ứng tốt yêu cầu xử lý thời gian thực trên các hệ thống giám sát thực tế.

Giá trị tham khảo

Báo cáo khóa luận có giá trị tham khảo thiết thực đối với:

• Sinh viên, học viên cao học và nghiên cứu sinh thuộc các ngành Khoa học máy tính, Công nghệ thông tin, Trí tuệ nhân tạo và Thị giác máy tính: Tài liệu cung cấp cơ sở lý thuyết chi tiết về các kiến trúc Autoencoder, ConvLSTM, GAN, Unet và các phương pháp phát hiện bất thường không giám sát hiện đại.
• Các nhóm nghiên cứu xây dựng dữ liệu thị giác máy tính: Chương 3 cung cấp quy trình bài bản từ khâu thu thập, tiền xử lý, cấu trúc định dạng gán nhãn tệp văn bản và tệp JSON cho dữ liệu video đa cảnh.
• Kỹ sư phát triển phần mềm và hệ thống thông minh: Cung cấp giải pháp kỹ thuật, mã nguồn cấu hình thực nghiệm và quy trình tích hợp mô hình học sâu vào ứng dụng web demo phục vụ bài toán an ninh đô thị.

Câu hỏi thường gặp

1. Bộ dữ liệu VNAnomaly có quy mô như thế nào và được phân chia huấn luyện - kiểm thử ra sao?
Bộ dữ liệu VNAnomaly bao gồm 217 video camera giám sát thực tế tại Việt Nam với tổng số 588.941 khung hình (độ phân giải 340 x 672, dung lượng 50 GB). Dữ liệu được chia thành: tập huấn luyện gồm 578.609 khung hình hoàn toàn bình thường từ 36 cảnh; tập kiểm thử gồm 75.214 khung hình chứa 110 sự kiện bất thường thuộc các nhóm hành vi đánh nhau, hành hung và cướp giật.

2. Tại sao khóa luận lựa chọn hướng tiếp cận học không giám sát thay vì học có giám sát?
Do trong thực tế, các sự kiện bất thường diễn ra với tần suất rất thấp, dữ liệu bình thường áp đảo hoàn toàn dữ liệu bất thường và không thể thu thập đầy đủ mọi kịch bản bất thường có thể xảy ra. Do đó, hướng tiếp cận học không giám sát (chỉ huấn luyện mô hình học các khuôn mẫu bình thường rồi phát hiện bất thường thông qua sai số dự đoán) là giải pháp tối ưu và khả thi hơn so với phân loại có giám sát truyền thống.

3. Khóa luận tập trung nghiên cứu những loại hành vi bất thường cụ thể nào trên đường phố Việt Nam?
Nhóm tác giả giới hạn phạm vi nghiên cứu vào 3 sự kiện bất thường phổ biến có tính chất xâm hại an ninh trật tự trên đường phố Việt Nam, bao gồm: đánh nhau, hành hung và cướp giật.

4. Hai cải tiến thuật toán chính được tác giả đề xuất tại Chương 5 là gì?
Tác giả đề xuất: (1) Bổ sung hàm độ lỗi mới cho mô hình Future Frame Prediction nhằm nâng cao chất lượng dự đoán khung hình trong điều kiện phức tạp; (2) Hiệu chỉnh thuật toán tính điểm bất thường trong giai đoạn kiểm tra (testing) của mô hình MNAD nhằm tối ưu hóa ngưỡng phân lớp và giảm tỷ lệ cảnh báo sai.

5. Kết quả của khóa luận đã được công bố tại những hội thảo khoa học nào?
Kết quả nghiên cứu của khóa luận được chấp nhận đăng tại 02 hội nghị khoa học chuyên ngành trong năm 2021: Hội nghị Quốc tế NAFOSTED lần thứ 8 về Thông tin và Khoa học Máy tính (NICS 2021) với bài báo giới thiệu bộ dữ liệu VNAnomaly, và Hội nghị Quốc gia lần thứ 24 về Điện tử, Truyền thông và Công nghệ Thông tin (REV-ECIT 2021) với bài báo về hàm độ lỗi cho bài toán phát hiện bất thường trên video giám sát.

Kết luận

Khóa luận tốt nghiệp của tác giả Vũ Ngọc Tú và Đinh Thanh Toàn đã giải quyết trọn vẹn bài toán phát hiện bất thường trên camera giám sát đường phố Việt Nam bằng phương pháp học sâu không giám sát. Nghiên cứu đã đóng góp bộ dữ liệu đa cảnh thực tế VNAnomaly quy mô 588.941 khung hình, đồng thời đề xuất cải tiến hàm độ lỗi và thuật toán tính điểm bất thường cho các mô hình SOTA như FFP và MNAD. Các kết quả nghiên cứu đã được bảo chứng thông qua hai bài báo khoa học công bố tại hội nghị NICS 2021 và REV-ECIT 2021, cùng sản phẩm ứng dụng web demo có tính ứng dụng thực tiễn cao cho các đô thị thông minh.

Trích đoạn nội dung tài liệu

Chương 1. TONG QUAN DE TÀI. Động lực nghiên cứu 1. Phát biểu bài toán.

Các thách thức 1. Mục tiêu và phạm vi nghiên cứu. Đóng góp của khóa luận. Cấu trúc báo cáo khóa luận.eeezetteeErtEEreEEeerrerrrereerreereer Chương 2.

CÁC NGHIÊN CUU LIÊN QUAN. Phát hiện bất thường. Giới thê TR. Aer ete teem vssssccccenesseotforoorsesesenzfeseeccerenseonsssoorsenessnsssnasorerensees 2.

Phanloaift Pare EL, 10 2. Các bộ dữ liệu hiện có cho bai toán phat hiện bat thường. Bộ dữ liệu đơn cảnh. Bộ dữ liệu đa cảnh.

Các hướng tiếp cận hiện tại cho bài toán phát hiện bất thường. Hướng tiếp cận dựa trên đặc trưng handcrafted. Mô-đun trích xuất đặc trưng truyền thống. Hướng tiếp cận dựa trên học sâu.

Hướng tiếp cận học không giám sát.sssssssssssssssesssssesesssesesssesssssesssssesssssssssssessessessessssseeseessseceeesceseeseeeeseeeseeses (i) Tổng quan kiến trúc. Hướng tiếp cận giám sát yéu. XÂY DUNG BO DU LIEU CHO BAT THƯỜNG TAI DUONG PHO TRONG VIET NAM 1077. Lý do xây dựng bộ dữ liệu.

Thu thập và tiền xử lý. Thu thập dữ liệu. Tiền xử lý dữ liệu. Quy tắc tổ chức và gán nhãn dữ liệu.

Quy trình thu thập va gan nhãn. Phân tích bộ dữ liệu. THỰC NGHIEM VÀ DANH GIA KET QUẢ. Dữ liệu thực nghiệm.

Mô tả cơ bản. Mô tả chỉ tiết. Mô tả thực nghiệm. Mô tả quá trình thực nghiệm.

Cấu hình thực nghiệm. Phương pháp đánh giá. Receiver operating Characteristic CuTVe.4, Kết quả thực nghiệm và đánh giá. Kết quả thực nghiệm.

Trực quan hóa kết quả. Đánh giá kết quả. DE XUẤT PHƯƠNG PHÁP CẢI TIEN, THỰC NGHIEM VÀ ĐÁNH GIÁ KẾT QUẢ. -- 5c ©Ss St 2E11221121112115 11 11 1T1 11 TH HH1 ng 53 5.

Cải tiến đề xuất dé cải thiện kết qua phát hiện bất thường trên video giám "`. Đề xuất hàm độ lỗi cho phương pháp Future Frame Prediction 53 5. Phương pháp phát hiện bất thường cơ sở của phương pháp 5. Dé xuất chỉnh sửa phương pháp phát hiện bất thường.

Đánh giá kết quả dé xuất. Kết quả đề xuất. Trực quan kết quả. Đánh giá kết quả.---ecceeseeeerrrrrrrirrrrrrrrrrerrrov DO) Chương 6.

CHƯƠNG TRINH MINH HỌA. Xây dựng ứng dung demo cho bài toán Phát hiện bat thường. Cách sử dụng hệ thống.---ecerrreeerrrreeerrreeeerr OL Chương 7. Hướng phát triển.

eo OD TÀI LIỆU THAM KHẢO. PHU LUC A — BÀI BÁO. ¿- 2+2 121112111211121111 T1 11 tán nên72 DANH MỤC HÌNH Hình 1-1: Bài toán phát hiện bắt thường trong camera. Với đầu vào là video giám sát.

Còn dau ra là nhãn bắt thường tương ứng với từng khung hin Hình 1-2: Một số ví dụ minh họa về tinh da dạng của ngữ cảnh trong camera giám sát. Hình 2-1: Phân biệt bài toán phát hiện bat thường với bài toán phân loại. Hình 2-2: Một vài mẫu bao gồm khung hình bình thường và bat thường trong bộ dữ liệu một khung cảnh. Hình 2-3: Một vài mẫu biểu diễn của bộ dữ liệu đa cảnh.

Hình 2-4: Mô tả đặc trưng handerafied HOG và SIFT. Hình 2-5: Kiến trúc cơ bản của mạng Autoencoder. Hình 2-6: Kiến trúc của mang CAE. Hình 2-7: Ý tưởng Local receptive fields trong mô hình CNN.

Hình 2-8: Hình ảnh trực quan hóa các bước thực hiện của phép tính tích chập chuyến vi. Hình 2-10: Mô hình hóa phương pháp tdi tạo frame. Hình 2-11: Kiến trúc của phương pháp Conv LSTM-AE [31] Hình 2-12: Quá trình phát hiện bắt thường cua FFP [7] Hinh 2-13: Qua trinh hudn luyện của FFP [7]. Hình 2-14: Kiến trúc của mạng Unet được sử dụng trong phương pháp Future Frame Prediction.

Hình 2-15: Kiến trúc của phương pháp MNAD [6]. Hình 2-16: Kiến trúc của phương pháp MLEP. Hình 2-17: Tổng quan quá trình xử ly của hướng tiếp cận giám sát yếu [12]. 32 Hình 3-1: Một vài mẫu trong bộ dữ liệu VNAnomah Hình 3-2: Mô tả quy trình thu thập gan nhãn bộ dữ liệu VNAnomaly.

Hình 4-1: Mô tả phân bố của frame trong tập dữ liệu. Hình 4-2: Luéng xử lý quá trình cài đặt, chạy thực nghiệm với mô hình MNAD.46 Hình 4-3: Ví dụ trực quan của đường ROC và điển ROC-AUC. Hình 4-4: Bảng confusion matrix kết hợp với phương pháp tính các độ do. Hình 4-5: Biểu do kết quả với AUCH am Hình 4-6: Biểu đô kết quả với AUC=0.

Hình 4-7: Biểu đ kết qua với AUC=0. Hình 4-8: Biểu đồ kết qua với AUC=0. Hình 4-9: Trực quan hóa kết quá của mô hình. Hình 5-1: Trực quan hóa dé xuất bồ sung vào hàm độ lỗi của Future Frame Prediction.

Hình 5-2: Trực quan hóa điêm bat thường trong video. Hình 5-3: Trực quan hóa thuật toán phát hiện bat thường điều chỉnh. Hình 5-4: Trực quan hóa điểm của thuật toán phát hiện bắt thường so với các phương pháp cơ sở. Hình 5-5: Trực quan hóa diém của thuật toán phat hiện bat thường các phương pháp cơ sở.

Hình 6-1: Giao điện khởi tạo của chương trình minh họa. Hình 6-2: Kết quả trả về của chương trình. DANH MỤC BẢNG Bang 2-1: Tóm tắt thông tin của các bộ dữ liệu khảo sát. Bảng 3-1: Mô tả ý nghĩa giá trị các thuộc tinh trong file annotations định dạng VNAnomaly ( .txt) Bang 3-2: Mô tả ý nghĩa giá trị các thuộc tinh trong khôi “categories” (json) .40 Bang 3-3: Mô tả ý nghĩa giá trị các thuộc tính trong khối “annotations” (json) .41 Bảng 4-1: Bảng kết quả thực nghiệm với thông số mặc định trên các phương pháp phát hiện đối tượng hiện có.

Kết quả tốt nhất được in đậm Bang 5-1: Bang kết quả thực nghiệm với thông số mặc định trên hàm độ Kết quả tốt nhất được in đậm. Bảng 5-2: Bảng kết quả thực nghiệm với phương pháp MNAD có chỉnh sửa so với phương pháp cơ sở và các phương pháp. Kết quả tốt nhất được in đậm. Bảng 5-3: Bảng thời gian chạy thực nghiệm với thông số mặc định trên các phương pháp phát hiện bắt thường đề xuất.

Bảng 5-4: Bảng kết quả thực nghiệm trên từng video với thông só mặc định trên các phương pháp phát hiện bắt thường hiện có (3⁄4). DANH MỤC TỪ VIET TAT STT Từ viết tắt Ý nghĩa ol AD Bài toán phát hiện bat thường — Anomaly Detection 02 AE Bộ tự mã hóa — AutoEncoder 03 AI Trí tuệ nhân tạo — Artificial Intelligence Mô hình mạng nơ ron nhân tạo — 04 ANNNN Artificial Neural Network/Neural Network 05 CAE Convolutional AutoEncoder Mô hình mang tích chập — 06 CNN Convolution Neural Network 04 cv Xử lý ảnh — Computer Vision Mô hình mạng bộ nhớ dài ngắn hạn tích chập — Convolutional ConvLSTM Long Short Term Memory 05 CUDA Compute Unified Device Architecture 06 DAE Bộ tự mã hóa học sâu — Deep AutoEncoder 07 DL Học sâu — Deep Learning 07 FCN Tầng nói kín - Fully-connected layer Độ đo về tốc độ xử lý 1 khung hình trên 1 giây — FPS Frame per second 08 FFP Future Frame Prediction 09 GAN Mang đói nghịch tạo sinh = Generative Adversarial Networks 10 HOG Histogram of oriented gradients 11 LSTM Long-Short Term Memory Mô hình phát hiện bat thường không giám sát Margin Learning 12 MLEP Embedded Prediction Mô hình phát hiện bat thường không giám sat Learning Memory- 13 MNAD guided Normality for Anomaly Detection PSNR Điểm ti số tin hiệu cực dai trên nhiễu - Peak signal-to-noise ratio Đường cong đặc trưng hoạt động của bộ thu nhận — Receiver 14 ROC operating characteristic 15 ROC - AUC Diện tích dưới của đường ROC — Area under the ROC curve 16 SIFT Scale-invariant feature transform 17 SOTA Các phương pháp tân tiến nhất — State of the Art TOM TAT KHÓA LUẬN Ở Việt Nam, việc xây dựng thành phố thông minh (smart city) trong thời đại công nghệ 4.0 đang được tiến hành tại nhiều tinh/ thành phố với nhiều hệ thống giám sát thông minh được nghiên cứu và áp dụng trong nhiều lĩnh vực: giao thông — vận tải, môi trường, an ninh — quốc phong,. Với số lượng người ngày càng gia tăng tại các thành phố lớn, các hoạt động của con người diễn ra ở nhiều nơi gồm cả trong nhà và các nơi công cộng đã đặt ra những bài toán rất nan giải, ví dụ: phát hiện và nhận dạng hoạt động/ sự kiện bình thường/ bất thường của nhóm người, sự tương tác giữa người và đối tượng liên quan,. để đưa ra các cảnh báo phục vụ công tác quản lý, điều hành và giám sát của các cơ quan, tô chức và doanh nghiệp.

Trong khi đó, nhân lực còn thiếu, đặt ra nhu cầu cần phải một công cụ tự động phát hiện những hoạt động bat thường của đám đông trong trong video giám sát như: âu da, trộm cắp, cướp giật dé giảm chi phí nhân công và tiết kiệm thời gian xử lý. Trong nghiên cứu này, chúng tôi giới thiệu bộ dữ liệu VNAnomaly — bộ dữ liệu video gồm các video được thu thập từ camera giám sát trong nước. Chúng tôi thu thập thu thập 217 video giám sát từ các camera giám sát khác nhau ở Việt Nam. Ngoài ra, chúng tôi tìm hiểu, nghiên cứu và tiến hành chạy thực nghiệm các phương pháp phát hiện bất thường dựa trên học sâu tiên tiến nhất gồm Future Frame Prediction, MNAD, MLEP trên bộ dữ liệu xây dựng được dé giải quyết bài toán và đánh giá toàn diện về bộ dữ liệu.

Qua kết quả thu được từ việc chạy thực nghiệm, chúng tôi đưa ra đánh giá đầy đủ, chỉ tiết về bộ dữ liệu cũng như các phương pháp đã thực hiện. Từ quá trình quan sát kết quả thực nghiệm, chúng tôi đề xuất thêm các mô hình mở rộng với sự thay đổi hàm Loss để cải thiện độ chính xác cho mô hình mặc định. Bên cạnh đó, chúng tôi cũng đề xuất một chỉnh sửa cho quá trình phát hiện bất thường của mô hình. Đóng góp cho nghiên cứu của chúng tôi hiện đã được nhận đăng tại Hội nghị Quốc tế “The 8th NAFOSTED Conference on Information and Computer Science (NICS 2021).” và Hội nghị Quốc gia lần thứ 24 về Điện tử, Truyền thông và Công nghệ Thông tin’— REV-ECIT'2021.

TONG QUAN DE TÀI Mục tiêu: Chương này sẽ trình bày khái niệm, động lực nghiên cứu, phát biểu về bài toán, các thách thức cua bài toán, mục tiêu, phạm vi và những đóng góp chính của khóa luận. Định nghĩa Dựa trên [1], [2] sự kiện bất thường là những mẫu dữ liệu có đặc điểm (pattern) không phù hợp với định nghĩa có sẵn của sự kiện bình thường. Bên cạnh đó, theo định nghĩa của [3], đây là những sự kiện hiếm khi xuất hiện trong thực tế. Những sự kiện này xuất hiện trong dữ liệu vì nhiều lí do, như là cho mục đích trục lợi, phá hoại như lừa đảo thẻ tín dụng, lừa đảo tài chính, xâm nhập mạng nội bộ, thiết bị cá nhân trái phép,.

Rõ ràng rằng những sự kiện bat thường được gây ra cho mục đích xấu sẽ gây ra những hậu quả to lớn cho không chỉ cho cá nhân mà cho các tổ chức.