Chương 1. TỔNG QUAN 5 mà không phải trích từ camera giám sát, không mang tính thực tế cao [10], 9, B5], (xem hình|1.2} hoặc không thể hiện được bồi cảnh, đặc trưng của Việt Nam (không gian, con người, văn hóa, hình thức bạo lực. Diéu nay doi hoi can phải xây dung một bộ dữ liệu mới về bạo lực trong video camera giám sát tại Việt Nam. Tuy nhiên, các video như thế này không được đăng tải công khai nhiều, lại thường được quay màn hình bởi điện thoại di động, video bị cắt ghép chỉnh sửa, chèn thêm hiệu ứng, âm thanh, tua nhanh - chậm.
đã gây khó khăn trong việc thu thập và làm sạch dữ liệu. Hơn thế nữa, việc xác định thời điểm bắt đầu và kết thúc của hành vi bạo lực trong video là tương đối chủ quan, phụ thuộc vào suy nghĩ của mỗi cá nhân cũng ảnh hưởng ít nhiều đến quá trình gán nhãn. Bên cạnh đó, cần phải xem xét xây dựng bộ dữ liệu sao cho vừa phù hợp với thời gian thực hiện khóa luận, vừa đáp ứng được yêu cầu của các phương pháp học mang lại hiệu quả cao. Nếu như hướng tiếp cận không giám sát thường không có kết quả tốt thì hướng học giám sát hoàn toàn lại có chỉ phí xây dựng bộ đữ liệu mới vô cùng tốn kém, chỉ còn hướng tiếp cận giám sát yêu là phù hợp.
Dẫu vậy, hướng này vẫn có khuyết điểm: độ chính xác chưa thực sự cao. TỔNG QUAN 6 Tóm lại, hai thách thức gặp phải khi thực hiện khóa luận là: ¢ Thiếu dữ liệu để huấn luyện và đánh giá. se Cách tiếp cận MIL có độ chính xác chưa thực sự cao.5 Đóng góp Khóa luận bao gồm các đóng góp chính sau: ¢ Phương pháp dé xuất - Top MIL Ranking cho bài toán phát hiện bạo lực trong video. ¢ Bộ dữ liệu UIT-ViolenceCCTV với 106 video trích từ camera giám sát tại Việt Nam (trong đó có 54 video chứa bạo lực), tương đương khoảng 155 phút, tức xấp xỉ 280000 khung hình.
¢ Thực nghiệm và đánh giá mô hình Deep MIL Ranking [42], Complementary Inner Bag Loss [57] và Top MIL Ranking trên bộ dữ liệu UIT-ViolenceCCTV. ¢ Phương pháp dé xuất của chúng tôi - Top MIL Ranking - đã đạt được AUC là 80.23% so với phương pháp cơ sở và Recall là 6.88%, cao hơn hai lần phương pháp cơ sở (3. ° Xây dựng ứng dụng minh hoa cho bài toán trên nền tang web. Chương 2 CÁC NGHIÊN CỨU LIÊN QUAN Tùy thuộc vào thiết lập (cách gán nhãn) của bộ dữ liệu, có ba hướng tiếp cận chính để giải quyết bài toán phát hiện bạo lực trong video: không giám sát, giám sát hoàn toàn và giám sát yếu.1 Hướng tiếp cận không giám sát Các sự kiện bạo lực thường diễn ra với tần suất thấp trong thực tế, do đó khó mà sưu tầm một bộ dit liệu thể hiện được day đủ sự đa dạng của hành vi này.
Trong khi đó, các video bình thường, tức video không chứa bạo lực, lại được thu thập một cách dé dàng. Vì thé, hướng tiếp cận không giám sát sử dụng bộ đữ liệu có tập huấn luyện chỉ gồm những video không chứa hành vi bạo lực. Điều này đồng nghĩa với việc không cần gán nhãn cho tập này vì đây là tập đơn lớp, giúp tiết kiệm tối đa thời gian và công sức xây dựng bộ dit liệu. Tuy nhiên, vẫn cần xác định rõ thời gian bắt đầu và kết thúc của các sự kiện bạo lực diễn ra trong video ở tập kiểm tra.
1Phát hiện bạo lực có thể được phân vào nhóm phát hiện sự kiện hoặc phát hiện bất thường trong video, tùy vào hướng tiếp cận của tác giả/nhóm tác giả mà sẽ có những tên gọi khác nhau. Để thống nhất, chỉ mỗi thuật ngữ phát hiện bạo lực được sử dụng cho phần này. ?Đề tài này tập chỉ tập trung vào thông tin thị giác, do đó các thông tin hay đặc trưng khác như âm thanh, chỉ số gia tốc. sẽ không được đề cập.
CÁC NGHIÊN CUU LIÊN QUAN 8 Điểm chung của các phương pháp theo hướng không giám sát là chúng thường khó đạt được độ chính xác cao, lại dé phát sinh cảnh báo giả, đặc biệt là các van dé an ninh trong thực tế. Dẫu vậy, hướng này được tin là có khả năng tổng quát hóa định nghĩa bạo lực tốt [60].1 Tái tạo đặc trưng Tái tạo đặc trưng (feature reconstruction, điển hình là Autoencoder - hình |2.1} là một phương pháp phổ biến theo hướng tiếp cận không giám sát. Phương pháp này học cách tái cấu trúc khung hình hiện tại dựa trên chính khung hình này và các khung hình trước đó của nó. Khi huấn luyện mô hình, chỉ cần dùng các khung hình bình thường (không chứa bạo lực) để học cách tái tạo, và chạy mô hình đã được huấn luyện với khung hình cần kiểm tra, với mong muốn mô hình tái tạo tốt (độ lỗi tái tạo thấp) cho các khung hình chỉ chứa hành vi bình thường và sẽ tái tạo kém (độ lỗi cao) nếu khung hình có chứa cảnh bạo lực.
Nghiên cứu còn kết hợp thêm FCN (Fully Convolutional Network) với LSTM, tạo thành ConvLSTM-AE để có thể mô hình hóa chiều thời gian trong video tốt hơn, giúp nâng cao hiệu năng của phương pháp tái tạo đặc trưng. Tuy nhiên, phương pháp này thường có nhược điểm là dé bị quá khớp (overfitting), có thể tái câu trúc các trường hợp bạo lực với độ lỗi tái tạo nhỏ [50].2 Dự đoán khung hình Ngoài tái tạo đặc trưng, phương pháp dự đoán khung hình (frame prediction) cũng đang được quan tâm. Phương pháp này mong muốn dự đoán được khung hình hiện tại thông qua các khung hình trước đó của nó, rồi đem ra so sánh giữa khung hình dự đoán được và khung hình thực tế, tựa như phương pháp tái tạo đặc trưng. Khác là, dự đoán khung hình không sử dụng khung hình hiện tại làm đầu Chương 2.
CÁC NGHIÊN CUU LIÊN QUAN 9 input output ~_| code eae decoder encoder HÌNH 2.1: Kiến trúc Autoencoder (9) gồm hai phan: encoder dé mã hóa (từ không gian anh - RGB sang không gian đặc trưng) va decoder giúp giải mã (ngược lại). vào, vì thế mới được gọi là “dự đoán”. Ý tưởng về GAN (Generative Adversarial Network) cũng được sử dụng cho phương pháp này với kỳ vọng huấn luyện được bộ tạo ảnh (generator) có khả năng cho ra các khung ảnh thật nhất và giống voi khung hình cần dự đoán nhất có thé. Liu cùng cộng sự đã bổ sung các ràng buộc về cường độ, hướng và chuyển động nhằm mang lại khả năng dự đoán khung hình tốt hơn cho bộ tạo ảnh U-Net (hình|2.2} trong mạng GAN của mình.2 Hướng tiếp cận giám sát hoàn toàn Với hướng tiếp cận giám sát hoàn toàn, toàn bộ bộ dữ liệu cần được gán nhãn theo mức độ khung hình (frame-level), tức xác định xem đâu là khung hình có bạo lực, đâu là khung hình bình thường.
Đây có lẽ là bước tốn kém nhất trong quá trình xây dựng bộ dữ liệu. CÁC NGHIÊN CUU LIÊN QUAN 10 256x ——-® 2,256256. ‘cio =| oft 28 „128 co 296 256x,.56_„28 056 256x256 128 Fe — 8 II „ N Ol NI ol ——— -šÌ N & a s 1 s | Bị Ï ya 128 256 256 DU eee nearer si fl ye ©Ÿ ens 6342x 32x32 il š hà Re ' ax pooling 9 1 64 :—* Convolution | ”È È ị | Deconvolution: * Concatenate ị HINH 2.2: Mạng U-Net có vai trò là bộ tạo ảnh trong Es|. Mạng này có độ phân giải của đầu vào và đầu ra là như nhau.1 Ngoại suy Một giải pháp phổ biến theo hướng tiếp cận này là tận dụng các kiến thức biết trước (hành vi, sự kiện, đối tượng) liên quan đến bạo lực để giải bài toán, như hình Nói cách khác, phát hiện bạo lực được giải quyết dựa trên một hoặc một vài bài toán xác định khác như phát hiện vật thể (máu, súng ống, bom đạn, hỏa hoạn.) (61, [13], [25], (44), nhận diện hành động (au đả, ban súng, rượt đuổi, chiến tranh.
Tuy nhiên, phương pháp đứng trước hai hạn chế: khả năng phát hiện thấp và tỉ lệ cảnh báo giả cao [58].2 Nội suy Các công trình nghiên cứu theo kiểu nội suy có điểm chung: hướng tới việc đưa bài toán phát hiện bạo lực trở thành bài toán phân lớp nhị phân thường gặp và tập trung khai thác, phát triển bộ trích xuất đặc trưng trước khi đưa vào mạng phân lớp. Có ba cách trích xuất đặc trưng phổ biến: dựa trên khung hình (image-based), dựa trên đoạn video (volume-based) và dựa trên luồng quang học (optical flow). CÁC NGHIÊN CUU LIÊN QUAN 11 Bộ phân lớp sub-concepts Lửa s |” —e lim: 'Véc tơ đặc trưng shot! 4ldiL Shot2 atid TM [ Keo) | SVM .Ñ ShotN phát hiện Mô hình bao luc <> <> video xử Riit kh trích KPs a trung Kes ther Key frame HÌNH 2.3: Kiến trúc hệ thống sử dụng kiến thức biết trước ñ3l. Cảnh bạo lực được xác định bằng cách tổng hợp điểm tương ứng của các bộ phân lớp cho các khái niệm/thuộc tính trên.
Dựa trên khung hình Từng khung hình riêng rẽ sẽ được rút trích để lấy đặc trưng về không gian. Các đặc trưng này sau đó sẽ được đưa vào mạng hệ RNN/LSTM (Recurrent Neural Network/Long Short-Term Memory) để rút trích thêm đặc trưng về thời gian nhằm hiểu được sự khác nhau giữa các khung hình liền kể hay sự thay đổi đang diễn ra trong video. lay trung bình các đặc trưng học sâu CNN trích xuất được từ 16 khung hình liền kể trước khi đưa vào bộ phân lớp. sử dụng HOG (Histogram of Oriented Gradient) cho từng khung hình và dùng nó để huấn luyện BD-LSTM (BiDirectional Long Short-Term Memory).
dùng mang CNN để trích xuất đặc trưng về không gian trước khi đưa vào một ConvLSTM (Convolutional Long Short-Term Memory) (hình E. Việc kết hợp các kiến trúc mạng với nhau nhằm biểu diễn đặc trưng không-thời gian (spatiotemporal feature) tốt hơn, với mong muốn có thể thu được thông tin của các chuyển động cục bộ. Bên cạnh đó, so với LSTM truyền thống, ConvLSTM có thể biểu diễn đặc trưng cho video tốt hơn và giảm nguy cơ bị quá Chương 2. CÁC NGHIÊN CUU LIÊN QUAN 12 khớp [58].
ConvLSTM a UHPr Ua ea a L. - Big Y tes ` (256) F mm 6 ire ‘2:UR-UR-B-B-8-0 E3 o> Un-Uin-@-O-8-0-[-|-1- Ul a Fr 1 256 384 1000 HÌNH 2.4: Kiến trúc mô hình kết hợp giữa CNN (đỏ) va ConvLSTM (xanh lá) [41]. Tuy nhiên, đứng trước sự da dạng về hình thé con người trong video (gây ra bởi góc nhìn, tỉ lệ và sự che khuất (58}), cach rut trich dac trung dua trén khung hinh thường gặp khó khăn trong việc tìm ra các đặc trưng tốt [48]. Dựa trên đoạn video Rút trích dựa trên đoạn video sử dung một day các khung hình liền ké để trích xuất đặc trưng.