Chương 1: Tông quan tình hình nghiên cứu Chương này giới thiệu tông quan trình hình nghiên cứu trong lĩnh vực phát hiện bạo lực (Violence Detection), giới thiệu về các bộ dit liệu tiêu chuân đang được các nhà nghiên cứu sử dụng, trình bày các phương pháp sử dụng học sâu và những công trình tiêu biêu tương ứng với từng phương pháp. Chương 2: Cơ sở lý thuyết Chương này sẽ trình bày lần lượt tông quan các phương pháp phát hiện đôi tượng, ước lượng tư thế - trích xuất khung xương, nhận dạng hành động dựa trên khung xương và phát hiện bạo lực dựa trên chuỗi khung hình. Đồng thời trong từng phương pháp, chúng tôi cũng nêu ra khái niệm cũng như ưu điểm và khuyết điểm về một số thuật toán, kiến trúc mô hình tiêu biêu dé làm cơ sở chọn lựa mô hình phù hợp với đẻ tài. Chương 3: Phương pháp phát hiện hành vi bạo lực qua video camera giám sát Ở chương nay sẽ trình bay chi tiết phương pháp được sử dụng dé phát hiện hành vi bao lực thông qua tác động vật lý giữa hai hay một số ít người (dưới 7 người) dựa vào sự thay đôi giữa các khung hình trong video camera giám sát, Phương pháp chính là kết hợp đồng thời cả ba phương pháp: phát hiện đôi tượng, ước lượng tư thế và phát hiện bạo lực dựa trên chuỗi khung hình.
Chương 4: Thực nghiệm và đánh giá Chương này so sánh và đánh giá kết quả đạt được của phương pháp đề xuất với một SỐ mạng huấn luyện trước trên các bộ dữ liệu. Chương 5: Kết luận và hướng pháp triển Tông kết lại kết quả đã đạt được và chưa đạt được sau quá trình nghiên cứu, tiền hành thực nghiệm. Từ đó nêu lên những hướng nghiên cứu và phát triển tiếp theo trong tương lai đề nâng cao hiệu suất phát hiện bạo lực cũng như dé khắc phục các hạn chế hiện tại. TONG QUAN TINH HÌNH NGHIÊN CUU 1.
Tổng quan Trong nhiều nam qua, việc ứng dụng công nghệ trong giáo dục đã phát triển mạnh mẽ. Nghiên cứu vé trí tuệ nhân tạo và học sâu hiện đang là một trong những lĩnh vực đang được quan tâm nhiều nhất. Đặc biệt, mô hình học sâu đang được áp dụng rộng rãi trong nhiều lĩnh vực như nhận dạng đối tượng, phân loại văn bản và nhiều lĩnh vực khác. Trong trường học, việc phát hiện và giải quyết van đề bạo lực là một vấn dé quan trọng.
Tuy nhiên, việc phát hiện bạo lực thông qua phương pháp truyền thông có thé rat khó khăn và tốn thời gian. Vì vậy, sử dụng máy học dé giúp phát hiện bạo lực trong trường học có thê là một giải pháp hiệu quả. Mô hình học sâu có thể được sử dụng dé phát hiện bạo lực bằng cách học các đặc trưng về bạo lực từ các video và đề xuất các giải pháp dé giải quyết van dé. Các mô hình học sâu có thé được xây dựng dựa trên các thuật toán như Convolutional Neural Networks (ConvNets) hoặc Recurrent Neural Networks (RNNs).
Trong những năm gan đây. việc nghiên cứu về phát hiện bạo lực liên quan tới đánh nhau từ video và hình ảnh đã trở thành một lĩnh vực được quan tâm rất nhiều, Các nhà nghiên cứu đang sử dụng máy học và học sâu đẻ phát hiện vả dự đoán các hành vi bạo lực từ video và hình ảnh.1 Thống kê số bài báo về bài toán phát hiện bao lực 2015 — 2022 [21125] 14 Các phương pháp máy học đã từng phê biến trong những năm 2015-2017, nhưng sau sự phát triển công nghệ dan tới có thé huấn luyện mô hình của các phương pháp học sâu nên các bài báo sử dụng phương pháp máy học cho việc phát hiện bạo lực cũng giảm dan qua các năm. Trong các phương pháp dùng dé giải quyết bài toán phát hiện bạo lực, SVM là một trong những phương pháp máy học được ứng dung phô biến nhất, chiếm ty lệ 24% trong số các phương pháp được sử dụng. Từ năm 2015 đến 2018, các phương pháp thông thường chiếm khoảng một phần năm trong số các phương pháp được áp dụng.
Các thuật toán khác trong phương pháp máy học được sử dung bao gồm k nearest neighbors (2%), Adaptive boosting (4%), Random Forest (7%) và k-means (2%).2 Thống kê các phương pháp đã sử dung cho bài toán phát hiện bạo lực [21] Nhờ sự phát trién nhanh chóng của công nghệ tính toán với hiệu suất ngày càng cao, phương pháp học sâu đã trở thành một trong những phương pháp chính được sử dung trong bài toán phát hiện bạo lực, chiếm tỷ lệ 43%. Trong số các phương pháp nay, mạng nơron tích chap (Convolutional Neural Networks - CNN) được ưa chuộng và sử dụng nhiều nhất. Một trong những đặc điểm của CNN là khả nang tự động học các đặc trưng của video, hình ảnh từ đữ liệu đầu vào thông qua các lớp tích chập. Điều này giúp cho việc phát hiện bạo lực trở nên hiệu quả hơn, đặc biệt là trong các video có tính chat phức tạp.
Các mô hình CNN cũng được cải tiên liên tục dé đáp ứng với những thách thức mới trong việc giải quyết bài toán phát hiện bạo lực. Cac phương pháp áp dung cho bài toán phát hiện bạo lực 1. Machine learning Các phương pháp được áp dụng trong bải toán phát hiện bạo lực thường sử dụng các thuật toán truyền thống của máy học như KNN, Adaboost, SVM, Random Forest. Tuy nhiên, một số nhà nghiên cứu đã chọn các phương pháp mô hình máy học thay vì mô hình học sâu cho bài toán này, thường là do ưu tiên hiệu suất, không cần nhiều tài nguyên tính toán và đôi khi phương pháp này mang lại hiệu quả cao hơn.
Dé có thể giảm mức độ tính toán đến mức tối thiểu các nhà nghiên cứu đã sử dụng các đặc trưng thủ công (hand crafted feature), dựa trên ý tưởng riêng của từng nha nghiên cứu đối với bài toán như đặc trưng hình ảnh luồng quang (optical flow) [37]. spatio temporal autocorrelation of gradient (STACOG) [7], motion boundary SIFT(MoBSIFT) [9] va đặc trưng âm thanh [34]. STACOG Veatare Vector Men Hình 1.3 Hình minh họa ý tưởng trích xuất STACOG feature [7] Deepak và các cộng sự [7] đã sử dụng đặc trưng STACOG với ý tướng khai thác các mỗi quan hệ cục bộ giữa các gradient cả không gian và thời gian. Bên cạnh đó, tính chất không đôi với phép dịch chuyên của STACOG khiến nó phủ hợp cho việc nhận dang đám đông.
Đối với nhận dạng chuyên động, các đặc trưng dựa trên khung hình được trích xuất từ các chuỗi khung hình được chọn tại các điểm mật độ trên trục thời gian. Sau khi đã trích xuất được đặc trưng STACOG, các tác giả sử dung SVM đẻ phát hiện hành động bạo lực. l6 Febin và các cộng sự [9] dé xuất một phương pháp trích xuất đặc trưng cùng tên là MoBSIFT. Với sự kết hợp giữa hai phương pháp khác là motion SIFT(MoSIFT) va motion boundary histogram (MBH).
Phương pháp MoBSIFT gồm hai bước chính: phát hiện trọng điểm và miêu tả đặc trưng. Việc phát hiện trọng điểm chuyên đôi video thành các trọng điểm, và việc miêu tả đặc trưng được tính toán xung quanh các trọng điểm. MoBSIFT sẽ chọn lọc các trọng điểm không gian có sự nhiều động lớn về chuyên động từ đó tính toán ra được histogram of optical flow (HoF) và MBH. Cuối cùng là thử nghiệm trên SVM va random forest (RF) mang lại kết qua gan ngang nhau.4 Hình minh họa biểu diễn theo chiêu doc từ trái sang là khung hình, optical flow, MBHx và MBHy [9] Peng va các cộng sự [34] nhận thay rang các nghiên cứu trước đây trong lĩnh vực nảy đã bị hạn chế theo nhiều cách khác nhau.
Một số nghiên cứu chỉ tập trung vào các đoạn video ngắn hoặc các kịch ban cụ thé, trong khi các nghiên cứu khác đã sử dụng các đặc trưng được tạo bằng tay hoặc chỉ str dung một kiểu dit liệu (ví dụ: hình ảnh hoặc âm thanh). Đề vượt qua những hạn chế nay, các tác giả dé xuất một tập dữ liệu mới được gọi là XD-Violence, đó là một tập dir liệu quy mô lớn va đa dang về tình huông với hơn 17 4754 bộ phim không được cắt xén với tín hiệu âm thanh. Dé phân tích tập dit liệu này và xác định bao luc, các tác giả dé xuất một mang nơron với ba nhánh song song. Nhánh đầu tiên được gọi là nhánh “holistic”, nó nắm bắt các phụ thuộc xa trong dữ liệu video bằng cách str dung một mô hình dựa trên độ tương tự.
Nhánh thứ hai được gọi là nhánh "localized", nó nắm bắt các mối quan hệ vị trí cục bộ trong dữ liệu video bằng cách sử dụng một mô hình đựa trên độ gần. Cuối cùng, nhánh thứ ba được gọi là nhánh "score", nó năm bắt độ gần của điểm số dự đoán. Bang cách kết hợp ba nhánh này, Peng và các cộng sự dé xuất mô hình có thé nam bat được các loại môi quan hệ khác nhau trong các đoạn video và tích hợp các đặc trưng dé xác định bạo lực trong tập dữ liệu XD-Violence một cách chính xác. Ngoài ra, tác giả sử dụng phương pháp học có giám sát yếu (weak supervision) để huấn luyện mô hình, chỉ sử dụng một số từ khóa hoặc cụm từ chỉ ra sự hiện diện của bạo lực trong dữ liệu video.5 Hình minh họa tông quan phương pháp của Peng và các cộng sự [34] 1.
Deep learning Học sâu (Deep Learning) là một lĩnh vực của Trí tuệ nhân tạo đang được quan tâm rất nhiều trong việc giải quyết các van dé về thị giác máy tinh và xử lý ngôn ngữ tự nhiên. Các mô hình học sâu có khả năng học các đặc trưng (features) từ dữ liệu đầu vào một cách tự động và có kha năng khai thác các đặc trưng đó đề phân loại và dự đoán dau ra. Các mô hình học sâu như Convolutional Neural Networks (CNN), Recurrent 18 Neural Networks (RNN) và Long Short-Term Memory (LSTM) da được ap dụng trong các nghiên cứu liên quan đến phát hiện bạo lực và đạt được kết quả tốt hơn so với các phương pháp truyền thống. Các bài báo đã dé xuất nhiều kiến trúc mô hình học sâu để mô hình có thể tự động học va khai tác các đặc trưng có lợi cho việc phân loại các video bao luc.
Video Clip Dewe Dowe hướai Block | Treason tock 3 Ghoul Co Layer Layeœ 1 ayoe»ng ] e 4 meckmect [ Uordonert = few Low! few Low? Pred xed Pred cod Owns H Aseee na Ea, Mags Fax. Ms Icess Maps ¡| Me Mượg Poow»g Hình 1.