Chương 1: Trình bày các lý thuyết tổng quan trong nghiên cứu các sự kiện bất thường bao gồm phương pháp nghiên cứu, kỹ thuật xử lý và nguyên lý xây dựng các bộ dữ liệu. - Chương 2: Nghiên cứu đề xuất mô hình phân cấp cho sự kiện bất thường tĩnh. - Chương 3: Nghiên cứu đề xuất mô hình phân cấp cho sự kiện bất thường động. - Kết luận: Trình bày những đóng góp mới của luận án cũng như hướng nghiên cứu tiềm năng trong tương lai của đề tài nghiên cứu phát hiện các sự kiện bất thường trong hệ thống giám sát.
TỔNG QUAN VỀ GIÁM SÁT SỰ KIỆN BẤT THƯỜNG BẰNG THỊ GIÁC MÁY TÍNH VÀ HỌC MÁY Phần đầu của chương này giới thiệu về các sự kiện bất thường có thể giám sát được thông qua các hệ thống cảm biến trên nền công nghệ IoT hoặc các hệ thống camera, thiết bị bay. Phần tiếp theo của chương trình bày về các bộ dữ liệu, lý thuyết xây dựng các mô hình giám sát sự kiện bất thường là đối tượng nghiên cứu chính của luận án. Trong phần cuối, các khảo sát, phân tích về các công trình nghiên cứu có liên quan được xem xét để làm rõ các mục tiêu của luận án. Tổng quan về sự kiện bất thường Sự kiện bất thường là nguyên nhân chính gây lên những thiệt hai nghiêm trọng về con người và kinh tế xã hội.
Chúng có thể ở nhiều trạng thái, cường độ khác nhau, từ những va chạm giao thông hay những đám cháy trên một khu vực nhỏ đến những thảm họa tự nhiên lớn phá hủy cả một đất nước với hàng nghìn con người. Quản lý sự kiện bất thường trở nên đặc biệt quan trọng để giảm thiểu tác động xấu của chúng mang lại. Do vậy, sử dụng công nghệ tiên tiến để triển khai những giải pháp sáng tạo để bảo vệ, giải quyết, và đặc biệt là cảnh báo sớm các sự kiện bất thường là một trong những lĩnh vực nghiên cứu sôi động có tính chất liên nghành với công nghệ làm trung tâm. Quản lý sự kiện bất thường có liên quan đến 4 bước: bảo vệ; phát hiện; trợ giúp; nghiên cứu sâu về nguyên nhân gây ra sự kiện bất thường [27], [28].
Trong 4 bước này thì công nghệ đóng vai trò hạt nhân để có thể tham gia vào bước bảo vệ và phát hiện các sự kiện bất thường.1 mô tả chi tiết các bước này và yêu cầu cho việc thu thập dữ liệu cũng như các thuật toán học máy có thể áp dụng để hỗ trợ cho hai bước nêu trên. Mặc dù các hệ thống quản lý sự kiện bất thường đã được triển khai và đạt được những kết quả khả quan trong việc cảnh báo sớm những sự kiện bất thường gây thiệt hại lớn về người và tài sản. Lĩnh vực nghiên cứu các phương pháp, kỹ thuật học máy cho phát hiện và cảnh báo sớm sự kiện bất thường cũng là một lĩnh vực nghiên cứu sôi động. Các nhóm nghiên cứu tập trung nhiều vào việc cải thiện hiệu năng của các kỹ thuật nhận dạng và phát hiện bất thường dựa trên học máy.
Ngoài ra, do yếu tố đặc thù của sự kiện bất thường, việc triển khai các hệ thống phát hiện cảnh báo có khả năng hoạt động theo thời gian thực cũng là một nhu cầu cần thiết. Các kỹ thuật nhận dạng đang được cải tiến theo 11 hướng nâng cao tốc độ xử lý và tối ưu tài nguyên sử dụng để có thể triển khai các hệ thống này ngay cả trên các thiết bị nhúng. Các bước trong quá trình quản lý sự kiện bất thường Bên cạnh việc phát hiện các sự kiện bất thường bằng camera, các hệ thống truyền thống sử dụng các cảm biến cũng có khả năng phát hiện bất thường một cách rất hiệu quả. Trước đây, các sự kiện bất thường xảy ra tại những nơi con người khó tiếp cận vẫn được triển khai giám sát bằng các hệ thống mạng cảm biến.
Ngày nay, với sự phát triển mạnh mẽ hơn nữa của các công nghệ truyền dẫn thúc đẩy các hệ thống IoT, các mô hình phát hiện cảnh báo bất thường bằng mạng cảm biến dựa trên công nghệ IoT cũng có những bước đột phá. Dữ liệu có thể được lưu thông trong toàn bộ hệ thống và truyền đến những nơi quan trọng theo thời gian thực. Nhận dạng, phát hiện và cảnh báo bất thường bằng hệ thống mạng cảm biến cũng được triển khai rất nhiều trong Y tế, giáo dục, giao thông, nông lâm nghiệp. 12 Những năm gần đây, sự hiện diện của camera kỹ thuật số có một sự phát triển bùng nổ.
Với tầm quan sát rộng và chi phí lắp đặt triển khai ngày càng được tối ưu, các hệ thống camera có thể thực thi việc thu thông tin hình ảnh tại những khu vực rộng lớn có nhiều nguy cơ xảy ra các sự kiện bất thường. Ví dụ của những hệ thống camera như vậy có thể thấy ở khắp mọi nơi để giám sát giao thông, công viên, trường học, ngân hàng. Ngoài ra, công nghệ nhúng cũng là một trong những công nghệ có những tiến triển vượt bậc đem đến một nguồn thu dữ liệu hình ảnh linh hoạt hơn nhiều so với các hệ thống camera tĩnh đó là thiết bị bay không người lái UAV. Thiết bị bay không người lái có tầm quan sát thậm chí còn rộng hơn, và khả năng vận hành linh hoạt, có khả năng giám sát được ngay cả khi các sự kiện bất thường nguy hiểm xảy ra.
Đặc biệt, các thiết bị bay hiện nay có thể hoạt động ở chế độ tự động với các thiết bị hỗ trợ thu thập hình ảnh ổn định với độ phân giải cao. Các máy tính nhúng có khả năng xử lý được hình ảnh bằng công nghệ trí tuệ nhân tạo cũng có thể được gắn lên thiết bị bay để tiến hành các xử lý theo thời gian thực. Hệ thống cảnh báo sự kiện bất thường 13 Đứng trên khía cạnh phát triển hệ thống giám sát cảnh báo bất thường như trong Hình 1.2, để xây dựng một hệ thống giám sát, cảnh báo phát hiện các sự kiện bất thường cần cả thành phần phần cứng và thành phần phần mềm. Trong khi phần cứng đảm nhiệm vai trò tương tác với môi trường và thu thập dữ liệu, phần mềm sẽ được cài đặt trên các máy chủ tập trung để có thể xử lý, phân tích và nhận dạng.
Các nền tảng phần cứng đang phát triển theo hướng cải tiến hiệu năng và giảm giá thành, do đó, việc tiếp cận với những hệ thống phần cứng này sẽ dễ dàng hơn với nhiều đối tượng sử dụng. Đứng dưới góc độ của nghiên cứu sinh, những cải thiện trong các mô hình học máy xử lý nhận dạng bất thường sẽ là đóng góp cho các hệ thống giám sát cảnh báo này. Những giải thuật, mô hình tối ưu về tài nguyên sử dụng, tốc độ xử lý, và độ chính xác cao sẽ góp phần thúc đẩy những hệ thống giám sát sự kiện bất thường ngày càng đi vào thực tiễn. Dựa trên góc nhìn của phần mềm của hệ thống giám sát, giám sát sự kiện bất thường bằng hệ thống camera thường gắn với việc phát hiện và bám theo các đối tượng bất thường để phân tích các hành vi của đối tượng, đưa ra các cảnh báo kịp thời.
Do đó, sự kiện bất thường được giám sát bằng công nghệ xử lý ảnh và thị giác máy tính có thể được chia ra làm hai loại: Sự kiện bất thường tĩnh và sự kiện bất thường động. Sự kiện bất thường tĩnh thường gắn liền với các đối tượng bất thường tĩnh, các đối tượng bất thường tĩnh không có những chuyển động tương đối so với nền xung quanh, do vậy, các thuật toán để phát hiện bất thường tĩnh có thể được triển khai dựa trên đầu vào là các ảnh đơn hoặc khung hình đơn từ camera. Trong khi đó, sự kiện bất thường động thường gắn liền với các đối tượng bất thường chuyển động so với nền và các đối tượng xung quanh. Khi đó, bên cạnh việc sử dụng các đặc trưng về mặt không gian trong các khung hình đơn truyền về từ camera, các phương pháp phát hiện sự kiện bất thường động cần phải tích hợp được sự liên kết giữa các khung hình để trích xuất được đặc trưng về thời gian để có thể phát hiện hiệu quả.
Các sự kiện bất thường động có thể kể đến như lửa, khói, hoặc các hành động bất thường của con người như bạo lực, tai nạn giao thông. Việc chia sự kiện bất thường thành các nhóm như vậy cũng làm đơn giản hóa việc chọn lựa các mô hình trí tuệ nhân tạo để xử lý và phân tích. Nội dung của các chương sau trong luận án này đi sâu vào xử lý từng loại sự kiện bất thường bằng việc đề xuất các mô hình cho đối tượng bất thường tĩnh và đối tượng bất thường động. 14 Nội dung của luận án tập trung vào đề xuất các mô hình học sâu nhận dạng, phát hiện sự kiện bất thường với đầu vào là hình ảnh và video thu về từ các hệ thống camera.
Những mô hình học sâu thường cần một lượng dữ liệu lớn để có thể được huấn luyện một cách hiệu quả. Tuy nhiên, do đặc thù của sự kiện bất thường, những đối tượng liên quan đến sự kiện bất thường hiếm khi xuất hiện, do đó, dữ liệu liên quan đến các đối tượng bất thường là không có nhiều. Việc xây dựng các hệ thống để thu thập dữ liệu cũng gặp những khó khăn nhất định. Do những khó khăn này, các mô hình học máy được huấn luyện từ đầu đến cuối tỏ ra không hiệu quả, thay vào đó, các mô hình học sâu nhiều tầng được lựa chọn đề xuất để tối ưu hiệu năng trong bối cảnh thiếu dữ liệu huấn luyện.
Ngoài ra, trong [CT4], nghiên cứu sinh phải sử dụng các kỹ thuật nhân bản dữ liệu để làm giàu bộ dữ liệu huấn luyện. Dữ liệu cho phát hiện sự kiện bất thường Sự phát triển của học máy đi kèm những tiến bộ vượt bậc trong việc xây dựng các hệ thống giám sát thông minh nhưng cũng tạo ra một nhu cầu lớn về dữ liệu. Các thuật toán học máy, đặc biệt là học sâu cần dữ liệu lớn để có thể tạo ra những mô hình cho độ chính xác cao. Phát hiện sự kiện bất thường cũng không phải là ngoại lệ khi các mô hình học máy nhận dạng, phát hiện các sự kiện bất thường cũng cần dữ liệu lớn để huấn luyện.
Việc thu thập dữ liệu trong các tình huống bất thường không hề dễ dàng, đặc biệt là các tình huống bất thường nguy hiểm trong các thảm họa tự nhiên như cháy rừng, sạt lở đất, lũ lụt [29], [30].