chương 1 sẽ giới thiệu về bài toán phát hiện hành vi bạo lực và hướng tiếp cận bài toán. Do phạm vi nghiên cứu của luận án tập trung chủ yếu phát hiện hành vi bạo lực từ video, nên để làm cơ sở trình bày chương sau, phần tiếp theo sẽ trình bày các kết quả nghiên cứu đã có về nội dung này cùng những vấn đề tồn tại trong từng phương pháp. Các kiến thức cơ sở cần thiết được đưa ra ở phần tiếp theo và cuối cùng là kết luận chương. Bài toán phát hiện hành vi bạo lực 1.
Giới thiệu bài toán Phát hiện hành vi bạo lực là quá trình giám sát, theo dõi và phân tích hành vi của các đối tượng và trạng thái môi trường xung quanh nhằm suy diễn/nhận dạng những hoạt động đang xảy ra có phải hành vi bạo lực hay không. Trong phạm vi đề án, hành vi bạo lực bao gồm các hành vi cố ý xâm hại tính mạng hoặc gây ra thương tích trên cơ thể cho nạn nhân. Một trong những mục tiêu của phát hiện hành vi bạo lực là cung cấp thông tin về hành vi của các đối tượng có phải là bạo lực hay không, từ đó cho phép hệ thống chủ động đưa ra cảnh báo đến cơ quan chức năng hay bộ phận liên quan, giúp họ can thiệp kịp thời, hỗ trợ giảm thiểu tối đa thiệt hại của hành vi bạo lực. Đầu vào: Video có chứa hành vi bạo lực, hành vi bình thường hoặc cả hai, với độ dài bất kỳ.
Đầu ra: Cảnh báo khi hành vi bạo lực xuất hiện trong video. So với những phương pháp khác, phương pháp do đề án trình bày không chỉ đưa ra cảnh báo mà còn có thể chỉ ra vị trí chính xác của nhóm người có hành vi bạo lực trong video. Hướng tiếp cận Phát hiện hành vi bạo lực sử dụng học sâu là một hướng tiếp cận hiệu quả với chi phí thấp cho thu thập dữ liệu nhờ hệ thống camera rộng lớn và nguồn video khổng lồ trên Internet. Hướng nghiên cứu này gần đây thu hút được nhiều sự quan tâm của cộng đồng nghiên cứu do tình trạng bạo lực hiện nay đang ngày càng gia tăng.
Thêm vào đó, sự tiến bộ không ngừng của công nghệ giúp chất lượng dữ liệu thu thập ngày càng tốt và hệ thống phần cứng mạnh mẽ có thể thực thi được những thuật toán phức tạp, giúp ích rất nhiều cho các công trình nghiên cứu. Phát hiện hành vi bạo lực sử dụng học sâu có thể được chia thành 3 bước cơ bản, bao gồm: Bước 1: thu thập, lưu trữ và gán nhãn các video về hành vi bạo lực và video bình thường (bước gán nhãn sẽ bao gồm các thao tác chia cắt, phân loại video thành 2 nhóm chỉ chứa video bạo lực và video bình thường). Bước 2: huấn luyện, kiểm tra các mô hình học sâu dựa trên dữ liệu đã được gán nhãn. Bước 3: phân tích kết quả, từ đó đưa ra các phương án cải thiện dữ liệu hoặc mô hình nếu cần thiết để đạt được kết quả tốt nhất có thể.
Các nghiên cứu liên quan Trong những năm gần đây, bài toán phát hiện hành vi bạo lực đang nhận được rất nhiều sự quan tâm. Chính vì vậy, nhiều phương pháp đã được đề xuất để giải quyết bài toán [12], [15], [25], [26], [31]. Các phương pháp này tập trung vào sử dụng xử lý ảnh truyền thống để trích xuất đặc trưng sau đó dùng mô hình học máy để phân loại hành vi. Phương pháp đạt kết quả tốt có thể kể đến Fast Fight Detection [15] của nhóm tác giả I.
Trong bài nghiên cứu, nhóm tác giả đề xuất một phương pháp dựa trên việc phát hiện các vùng màu chuyển động. Sau đó các đặc trưng trích xuất từ những vùng màu này được sử dụng để phân biệt hành vi là bạo lực hay bình thường. Sơ đồ hoạt động của phương pháp được mô tả ở hình 1.1 Sơ đồ hoạt động của “Fast Fight Detection” (Nguồn: [15]) Các bước chính trong phương pháp: Bước 1: Tính toán và lấy giá trị tuyệt đối sự khác biệt giữa những khung hình liên tiếp. Bước 2: Nhị phân hoá ảnh kết quả, tạo ra những vùng màu chuyển động.
Bước 3: Chọn ra K vùng màu chuyển động lớn nhất – những vùng màu quan trọng, mang nhiều đặc trưng. So sánh hai hình ảnh nhị phân chứa các vùng màu đã đánh dấu trong hình 1.2, có thể thấy trong hình ảnh bạo lực, các vùng màu chuyển động có kích thước khá lớn và được tập trung thành cụm, đối với hình ảnh bình thường, các vùng màu nhỏ và phân bố rời rạc.2 Các vùng màu chuyển động trong hình ảnh bạo lực và bình thường (Nguồn: [15]) Bước 4: trích xuất các đặc trưng. Các thông số khác nhau được tính toán và sử dụng làm đặc trưng phân loại như diện tích, tâm hình, chu vi,. cũng như khoảng cách tâm giữa các vùng màu.
Bộ dữ liệu được dùng để thử nghiệm trong nghiên cứu là Movies, Hockey và UCF101: Bộ dữ liệu Movies bao gồm 200 video, các video bạo lực được cắt từ các cảnh trong những bộ phim hành động, các cảnh không bạo lực được cắt từ các video công khai không chứa hành vi bạo lực. Bộ dữ liệu Hockey bao gồm 1000 video từ trò chơi khúc côn cầu trên băng trong giải đấu National Hockey League (NHL), được phân thành hai nhóm, 500 bạo lực và 500 không, mỗi video có giới hạn là 50 khung hình. Bộ dữ liệu UCF101 là tập dữ liệu gồm các video hành động thực tế được thu thập từ YouTube, có 101 danh mục hành động. “Punching” and “Sumo” trong bộ dữ liệu UCF101 được thêm vào dữ liệu bạo lực.
Để thử nghiệm kết quả với các cách trích rút đặc trưng khác nhau, tác giả đã chia phương pháp thành hai biến thể khác nhau: 8 Biến thể đầu tiên (v1) giả định rằng vị trí và hình dạng của K vùng màu lớn nhất có thể phân biệt giữa hành vi bạo lực và không. Để mô tả vị trí và hình dạng biến thể này sử dụng thông tin tâm và khoảng cách giữa các tâm vùng màu. Sau đó, biến thể này (v1) sử dụng K khu vực tốt nhất, K tâm của các khu vực này và khoảng cách giữa các tâm. Do đó, một chuỗi S có 3K + K (K - 1) / 2 đặc điểm.
Biến thể thứ hai (v2) sử dụng các đặc trưng sau để mô tả vị trí và hình dạng: trọng tâm, khoảng cách giữa các tâm khối và độ nén. Cuối cùng, biến thể này (v2) sử dụng K khu vực tốt nhất, K trọng tâm của những khu vực này, khoảng cách giữa các trọng tâm này và độ nén K. Do đó, dãy S có 2K + K (K - 1) / 2 đặc điểm. Sử dụng những đặc trưng trên, tác giả thực nghiệm với ba mô hình phân loại là KNN (K-nearest neighbor), Adaboot và Random Forests.
Kết quả cho thấy độ chính xác của phương pháp với từng biến thể khi sử dụng mô hình KNN và AdaBoost là khá tốt, còn mô hình Random Forests cho kết quả rất tốt. Tuy nhiên độ chính xác của phương pháp chưa được tốt khi so với những phương pháp hiện đại khác. Ngoài ra phương pháp còn gặp khó khăn trong việc phân loại các video có chuyển động liên tục hay những video có cảnh bạo lực chỉ chiếm một phần nhỏ khung hình. Nhìn chung, phương pháp chưa thể áp dụng vào các hệ thống phát hiện hành vi bạo lực trong thực tế.
Học sâu là một tập hợp con của học máy, tập trung chủ yếu vào sử dụng mạng nơ-ron nhiều lớp. Học sâu đã đạt được độ chính xác và hiệu quả cao trong rất nhiều bài toán thị giác máy tính so với học máy truyền thống, trong đó phải kể đến phân loại hình ảnh. Mạng nơ-ron tích chập CNN (Convolutional Neural Network) [28] là một trong những kiến trúc được sử dụng rộng rãi nhất được dùng để phân loại ảnh. CNN ra đời dựa vào việc mô phỏng một phần cách thức hoạt động của não bộ con người - sử dụng những đặc trưng từ không gian để phân loại một bức ảnh.
CNN sử dụng rất nhiều bộ lọc có khả năng học hỏi để tự động trích xuất đặc trưng 9 từ hình ảnh, vì vậy CNN có thể “nhìn được” những đặc trưng quan trọng mà trích xuất đặc trưng thủ công khó có thể phát hiện. Bài toán phát hiện hành vi bạo lực là bài toán con của phân loại hành vi. Vì vậy, những nghiên cứu ứng dụng CNN cho bài toán phân loại hành vi cũng có thể được áp dụng cho bài toán phát hiện hành vi bạo lực. Một ví dụ đó là Single-Frame CNN (hình 1.3)- coi bài toán phân loại hành vi như một bài toán phân loại ảnh thông thường, sử dụng từng khung hình làm hình ảnh đầu vào cho CNN.
Phương pháp có hiệu quả trong một số loại hành vi nhất định như chạy hay đi bộ nhưng không hiệu quả với bài toán phân loại hành vi. Nguyên nhân chính do hành động là một chuỗi hình ảnh liên tiếp, nên nếu chỉ sử dụng một hình ảnh đơn lẻ thì khó có thể đưa ra được dự đoán chính xác. Ví dụ với hình ảnh từ tập dữ liệu Hockey ở hình 1.4, không thể phân biệt được đây là hành vi bạo lực hay chỉ là một hoạt động thể thao thông thường. Nhằm khắc phục nhược điểm này, tác giả Shuiwang Ji đã đề xuất phương pháp 3D Convolutional Neural Networks [29], được mô tả ở hình 1.
Cách tiếp cận này sử dụng mạng nơ-ron tích chập 3 chiều, cho phép xử lý thông tin không gian và thời gian. Phương pháp này kết hợp thông tin không gian và thời gian một cách chậm rãi tại mỗi lớp CNN trong toàn bộ mạng. Một tensor bốn chiều (hai chiều không gian, một chiều kênh màu và một chiều thời gian) có hình dạng [H, W, C, T] được truyền qua mô hình, cho phép mô hình dễ dàng tìm hiểu tất cả các loại tương tác của không gian và thời gian giữa các khung hình liên tiếp.3 Kiến trúc Single-Frame CNN (Nguồn: [7]) 10 Hình 1.4 Hình ảnh từ tập dữ liệu HockeyFight Hình 1.5 Kiến trúc 3D CNN (Nguồn: [29]) 3D CNN cho kết quả tốt trong bài toán phân loại hành vi và có thể áp dụng cho bài toán phát hiện hành vi bạo lực. Tuy nhiên, 3D CNN cần được chạy trên những máy tính có cấu hình phần cứng cao, nếu không tốc độ sẽ rất chậm.
Yêu cầu như vậy không phù hợp cho những hệ thống thời gian thực, khi mà những hệ thống này cần tối giản chi phí cấu hình phần cứng máy tính mà vẫn đạt được tốc độ đủ thấp để chạy trong thực tế.