Chương 1. TONG QUAN DE TÀI. Động lực nghiên cứu 1. Phát biểu bài toán.
Các thách thức 1. Mục tiêu và phạm vi nghiên cứu. Đóng góp của khóa luận. Cấu trúc báo cáo khóa luận.eeezetteeErtEEreEEeerrerrrereerreereer Chương 2.
CÁC NGHIÊN CUU LIÊN QUAN. Phát hiện bất thường. Giới thê TR. Aer ete teem vssssccccenesseotforoorsesesenzfeseeccerenseonsssoorsenessnsssnasorerensees 2.
Phanloaift Pare EL, 10 2. Các bộ dữ liệu hiện có cho bai toán phat hiện bat thường. Bộ dữ liệu đơn cảnh. Bộ dữ liệu đa cảnh.
Các hướng tiếp cận hiện tại cho bài toán phát hiện bất thường. Hướng tiếp cận dựa trên đặc trưng handcrafted. Mô-đun trích xuất đặc trưng truyền thống. Hướng tiếp cận dựa trên học sâu.
Hướng tiếp cận học không giám sát.sssssssssssssssesssssesesssesesssesssssesssssesssssssssssessessessessssseeseessseceeesceseeseeeeseeeseeses (i) Tổng quan kiến trúc. Hướng tiếp cận giám sát yéu. XÂY DUNG BO DU LIEU CHO BAT THƯỜNG TAI DUONG PHO TRONG VIET NAM 1077. Lý do xây dựng bộ dữ liệu.
Thu thập và tiền xử lý. Thu thập dữ liệu. Tiền xử lý dữ liệu. Quy tắc tổ chức và gán nhãn dữ liệu.
Quy trình thu thập va gan nhãn. Phân tích bộ dữ liệu. THỰC NGHIEM VÀ DANH GIA KET QUẢ. Dữ liệu thực nghiệm.
Mô tả cơ bản. Mô tả chỉ tiết. Mô tả thực nghiệm. Mô tả quá trình thực nghiệm.
Cấu hình thực nghiệm. Phương pháp đánh giá. Receiver operating Characteristic CuTVe.4, Kết quả thực nghiệm và đánh giá. Kết quả thực nghiệm.
Trực quan hóa kết quả. Đánh giá kết quả. DE XUẤT PHƯƠNG PHÁP CẢI TIEN, THỰC NGHIEM VÀ ĐÁNH GIÁ KẾT QUẢ. -- 5c ©Ss St 2E11221121112115 11 11 1T1 11 TH HH1 ng 53 5.
Cải tiến đề xuất dé cải thiện kết qua phát hiện bất thường trên video giám "`. Đề xuất hàm độ lỗi cho phương pháp Future Frame Prediction 53 5. Phương pháp phát hiện bất thường cơ sở của phương pháp 5. Dé xuất chỉnh sửa phương pháp phát hiện bất thường.
Đánh giá kết quả dé xuất. Kết quả đề xuất. Trực quan kết quả. Đánh giá kết quả.---ecceeseeeerrrrrrrirrrrrrrrrrerrrov DO) Chương 6.
CHƯƠNG TRINH MINH HỌA. Xây dựng ứng dung demo cho bài toán Phát hiện bat thường. Cách sử dụng hệ thống.---ecerrreeerrrreeerrreeeerr OL Chương 7. Hướng phát triển.
eo OD TÀI LIỆU THAM KHẢO. PHU LUC A — BÀI BÁO. ¿- 2+2 121112111211121111 T1 11 tán nên72 DANH MỤC HÌNH Hình 1-1: Bài toán phát hiện bắt thường trong camera. Với đầu vào là video giám sát.
Còn dau ra là nhãn bắt thường tương ứng với từng khung hin Hình 1-2: Một số ví dụ minh họa về tinh da dạng của ngữ cảnh trong camera giám sát. Hình 2-1: Phân biệt bài toán phát hiện bat thường với bài toán phân loại. Hình 2-2: Một vài mẫu bao gồm khung hình bình thường và bat thường trong bộ dữ liệu một khung cảnh. Hình 2-3: Một vài mẫu biểu diễn của bộ dữ liệu đa cảnh.
Hình 2-4: Mô tả đặc trưng handerafied HOG và SIFT. Hình 2-5: Kiến trúc cơ bản của mạng Autoencoder. Hình 2-6: Kiến trúc của mang CAE. Hình 2-7: Ý tưởng Local receptive fields trong mô hình CNN.
Hình 2-8: Hình ảnh trực quan hóa các bước thực hiện của phép tính tích chập chuyến vi. Hình 2-10: Mô hình hóa phương pháp tdi tạo frame. Hình 2-11: Kiến trúc của phương pháp Conv LSTM-AE [31] Hình 2-12: Quá trình phát hiện bắt thường cua FFP [7] Hinh 2-13: Qua trinh hudn luyện của FFP [7]. Hình 2-14: Kiến trúc của mạng Unet được sử dụng trong phương pháp Future Frame Prediction.
Hình 2-15: Kiến trúc của phương pháp MNAD [6]. Hình 2-16: Kiến trúc của phương pháp MLEP. Hình 2-17: Tổng quan quá trình xử ly của hướng tiếp cận giám sát yếu [12]. 32 Hình 3-1: Một vài mẫu trong bộ dữ liệu VNAnomah Hình 3-2: Mô tả quy trình thu thập gan nhãn bộ dữ liệu VNAnomaly.
Hình 4-1: Mô tả phân bố của frame trong tập dữ liệu. Hình 4-2: Luéng xử lý quá trình cài đặt, chạy thực nghiệm với mô hình MNAD.46 Hình 4-3: Ví dụ trực quan của đường ROC và điển ROC-AUC. Hình 4-4: Bảng confusion matrix kết hợp với phương pháp tính các độ do. Hình 4-5: Biểu do kết quả với AUCH am Hình 4-6: Biểu đô kết quả với AUC=0.
Hình 4-7: Biểu đ kết qua với AUC=0. Hình 4-8: Biểu đồ kết qua với AUC=0. Hình 4-9: Trực quan hóa kết quá của mô hình. Hình 5-1: Trực quan hóa dé xuất bồ sung vào hàm độ lỗi của Future Frame Prediction.
Hình 5-2: Trực quan hóa điêm bat thường trong video. Hình 5-3: Trực quan hóa thuật toán phát hiện bat thường điều chỉnh. Hình 5-4: Trực quan hóa điểm của thuật toán phát hiện bắt thường so với các phương pháp cơ sở. Hình 5-5: Trực quan hóa diém của thuật toán phat hiện bat thường các phương pháp cơ sở.
Hình 6-1: Giao điện khởi tạo của chương trình minh họa. Hình 6-2: Kết quả trả về của chương trình. DANH MỤC BẢNG Bang 2-1: Tóm tắt thông tin của các bộ dữ liệu khảo sát. Bảng 3-1: Mô tả ý nghĩa giá trị các thuộc tinh trong file annotations định dạng VNAnomaly ( .txt) Bang 3-2: Mô tả ý nghĩa giá trị các thuộc tinh trong khôi “categories” (json) .40 Bang 3-3: Mô tả ý nghĩa giá trị các thuộc tính trong khối “annotations” (json) .41 Bảng 4-1: Bảng kết quả thực nghiệm với thông số mặc định trên các phương pháp phát hiện đối tượng hiện có.
Kết quả tốt nhất được in đậm Bang 5-1: Bang kết quả thực nghiệm với thông số mặc định trên hàm độ Kết quả tốt nhất được in đậm. Bảng 5-2: Bảng kết quả thực nghiệm với phương pháp MNAD có chỉnh sửa so với phương pháp cơ sở và các phương pháp. Kết quả tốt nhất được in đậm. Bảng 5-3: Bảng thời gian chạy thực nghiệm với thông số mặc định trên các phương pháp phát hiện bắt thường đề xuất.
Bảng 5-4: Bảng kết quả thực nghiệm trên từng video với thông só mặc định trên các phương pháp phát hiện bắt thường hiện có (3⁄4). DANH MỤC TỪ VIET TAT STT Từ viết tắt Ý nghĩa ol AD Bài toán phát hiện bat thường — Anomaly Detection 02 AE Bộ tự mã hóa — AutoEncoder 03 AI Trí tuệ nhân tạo — Artificial Intelligence Mô hình mạng nơ ron nhân tạo — 04 ANNNN Artificial Neural Network/Neural Network 05 CAE Convolutional AutoEncoder Mô hình mang tích chập — 06 CNN Convolution Neural Network 04 cv Xử lý ảnh — Computer Vision Mô hình mạng bộ nhớ dài ngắn hạn tích chập — Convolutional ConvLSTM Long Short Term Memory 05 CUDA Compute Unified Device Architecture 06 DAE Bộ tự mã hóa học sâu — Deep AutoEncoder 07 DL Học sâu — Deep Learning 07 FCN Tầng nói kín - Fully-connected layer Độ đo về tốc độ xử lý 1 khung hình trên 1 giây — FPS Frame per second 08 FFP Future Frame Prediction 09 GAN Mang đói nghịch tạo sinh = Generative Adversarial Networks 10 HOG Histogram of oriented gradients 11 LSTM Long-Short Term Memory Mô hình phát hiện bat thường không giám sát Margin Learning 12 MLEP Embedded Prediction Mô hình phát hiện bat thường không giám sat Learning Memory- 13 MNAD guided Normality for Anomaly Detection PSNR Điểm ti số tin hiệu cực dai trên nhiễu - Peak signal-to-noise ratio Đường cong đặc trưng hoạt động của bộ thu nhận — Receiver 14 ROC operating characteristic 15 ROC - AUC Diện tích dưới của đường ROC — Area under the ROC curve 16 SIFT Scale-invariant feature transform 17 SOTA Các phương pháp tân tiến nhất — State of the Art TOM TAT KHÓA LUẬN Ở Việt Nam, việc xây dựng thành phố thông minh (smart city) trong thời đại công nghệ 4.0 đang được tiến hành tại nhiều tinh/ thành phố với nhiều hệ thống giám sát thông minh được nghiên cứu và áp dụng trong nhiều lĩnh vực: giao thông — vận tải, môi trường, an ninh — quốc phong,. Với số lượng người ngày càng gia tăng tại các thành phố lớn, các hoạt động của con người diễn ra ở nhiều nơi gồm cả trong nhà và các nơi công cộng đã đặt ra những bài toán rất nan giải, ví dụ: phát hiện và nhận dạng hoạt động/ sự kiện bình thường/ bất thường của nhóm người, sự tương tác giữa người và đối tượng liên quan,. để đưa ra các cảnh báo phục vụ công tác quản lý, điều hành và giám sát của các cơ quan, tô chức và doanh nghiệp.
Trong khi đó, nhân lực còn thiếu, đặt ra nhu cầu cần phải một công cụ tự động phát hiện những hoạt động bat thường của đám đông trong trong video giám sát như: âu da, trộm cắp, cướp giật dé giảm chi phí nhân công và tiết kiệm thời gian xử lý. Trong nghiên cứu này, chúng tôi giới thiệu bộ dữ liệu VNAnomaly — bộ dữ liệu video gồm các video được thu thập từ camera giám sát trong nước. Chúng tôi thu thập thu thập 217 video giám sát từ các camera giám sát khác nhau ở Việt Nam. Ngoài ra, chúng tôi tìm hiểu, nghiên cứu và tiến hành chạy thực nghiệm các phương pháp phát hiện bất thường dựa trên học sâu tiên tiến nhất gồm Future Frame Prediction, MNAD, MLEP trên bộ dữ liệu xây dựng được dé giải quyết bài toán và đánh giá toàn diện về bộ dữ liệu.
Qua kết quả thu được từ việc chạy thực nghiệm, chúng tôi đưa ra đánh giá đầy đủ, chỉ tiết về bộ dữ liệu cũng như các phương pháp đã thực hiện. Từ quá trình quan sát kết quả thực nghiệm, chúng tôi đề xuất thêm các mô hình mở rộng với sự thay đổi hàm Loss để cải thiện độ chính xác cho mô hình mặc định. Bên cạnh đó, chúng tôi cũng đề xuất một chỉnh sửa cho quá trình phát hiện bất thường của mô hình. Đóng góp cho nghiên cứu của chúng tôi hiện đã được nhận đăng tại Hội nghị Quốc tế “The 8th NAFOSTED Conference on Information and Computer Science (NICS 2021).” và Hội nghị Quốc gia lần thứ 24 về Điện tử, Truyền thông và Công nghệ Thông tin’— REV-ECIT'2021.
TONG QUAN DE TÀI Mục tiêu: Chương này sẽ trình bày khái niệm, động lực nghiên cứu, phát biểu về bài toán, các thách thức cua bài toán, mục tiêu, phạm vi và những đóng góp chính của khóa luận. Định nghĩa Dựa trên [1], [2] sự kiện bất thường là những mẫu dữ liệu có đặc điểm (pattern) không phù hợp với định nghĩa có sẵn của sự kiện bình thường. Bên cạnh đó, theo định nghĩa của [3], đây là những sự kiện hiếm khi xuất hiện trong thực tế. Những sự kiện này xuất hiện trong dữ liệu vì nhiều lí do, như là cho mục đích trục lợi, phá hoại như lừa đảo thẻ tín dụng, lừa đảo tài chính, xâm nhập mạng nội bộ, thiết bị cá nhân trái phép,.
Rõ ràng rằng những sự kiện bat thường được gây ra cho mục đích xấu sẽ gây ra những hậu quả to lớn cho không chỉ cho cá nhân mà cho các tổ chức.