Luận văn thạc sĩ: Phát hiện hành vi bất thường từ camera tại VNU

Luận văn thạc sĩ VNU nghiên cứu hành vi con người và phát hiện hành vi không bình thường từ camera, ứng dụng trong an ninh và giám sát.

• Tác giả: Coulibaly Adama
• Người hướng dẫn: Dr. Phuc Trong Nguyen
• Trường học: Université National Du Vietnam, Hanoï - Institut Francophone International
• Chuyên ngành: Informatique
• Đề tài: Human Action And Detect Abnormal Behavor From Camera / Hành Vi Con Người Và Phát Hiện Hành Vi Không Bình Thường Từ Camera
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2020
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: PRÉSENTATION DU PROJET
• 1.1. Contexte du projet
• 1.2. Problématique
• 1.3. Objectifs du stage
• 2. CHƯƠNG 2: ÉTAT DE L’ART
• 2.1. Détection de violence
• 2.1.1. L’approche à l’aide de fonctionnalités de bas niveau
• 2.1.2. L’approches à l’aide du descripteur audio-visuel
• 2.1.3. L’approche heuristique du comportement
• 2.1.4. L’approche basées sur fonctionnalités audio
• 2.1.5. L’approche basées sur les trames
• 2.1.6. L’approche basées sur les points d’intérêt
• 2.2. Architecture des modèles de la détection de violences
• 2.2.1. Architecture d’encodage spatio-temporel
• 2.2.2. Architecture du codeur spatial
• 3. CHƯƠNG 3: SOLUTIONS ENVISAGÉES ET CONTRIBUTIONS
• 3.1. Base de données
• 3.1.1. Collecte de données
• 3.1.2. Nos jeu de données
• 3.2. Les modèles à cadre unique
• 3.3. Les modèles à cadre multiple
• 3.4. Paramètres du modèle
• 3.5. Optimisation des modèles
• 3.6. Évaluation de nos modèles
• 4. CHƯƠNG 4: RÉSULTATS ET ANALYSES
• 4.1. Outils et environnement de travail
• 4.2. Expérimentation du modèle à cadre unique, Darknet19+3FC
• 4.3. Expérimentation du modèle à cadre multiple, Darknet19+CNN+LSTM
• 4.4. Architecture de la solution
• 5. CHƯƠNG 5: CONCLUSION ET PERSPECTIVES

Tóm tắt

I. Tổng quan về phát hiện hành vi bất thường từ camera giám sát

Phát hiện hành vi bất thường từ camera giám sát là một lĩnh vực nghiên cứu quan trọng trong công nghệ an ninh thông minh. Nghiên cứu này không chỉ giúp nâng cao an toàn công cộng mà còn tối ưu hóa việc sử dụng công nghệ AI trong việc phân tích video. Hệ thống nhận diện hành vi từ camera có khả năng phát hiện các hành vi không bình thường, từ đó cảnh báo kịp thời cho các cơ quan chức năng.

1.1. Tầm quan trọng của camera giám sát trong an ninh

Camera giám sát đóng vai trò quan trọng trong việc bảo vệ an ninh công cộng. Chúng giúp theo dõi và ghi lại các hoạt động trong không gian công cộng, từ đó cung cấp dữ liệu cho việc phân tích hành vi. Việc phát hiện hành vi bất thường từ camera giúp ngăn chặn các sự cố trước khi chúng xảy ra.

1.2. Công nghệ AI trong phát hiện hành vi bất thường

Công nghệ AI, đặc biệt là machine learning, đã được áp dụng rộng rãi trong việc phân tích video từ camera giám sát. Các thuật toán học sâu giúp nhận diện và phân loại các hành vi, từ đó phát hiện các hành vi bất thường một cách chính xác và nhanh chóng.

II. Thách thức trong việc phát hiện hành vi bất thường từ camera

Mặc dù công nghệ phát hiện hành vi bất thường từ camera đã có những bước tiến đáng kể, nhưng vẫn còn nhiều thách thức cần phải vượt qua. Các yếu tố như điều kiện ánh sáng, góc quay và sự đa dạng trong hành vi con người đều ảnh hưởng đến độ chính xác của hệ thống.

2.1. Độ chính xác trong việc nhận diện hành vi

Một trong những thách thức lớn nhất là đảm bảo độ chính xác trong việc nhận diện hành vi. Các hành vi tương tự nhau có thể gây nhầm lẫn cho hệ thống, dẫn đến việc phát hiện sai hoặc bỏ sót hành vi bất thường.

2.2. Tác động của điều kiện môi trường

Điều kiện môi trường như ánh sáng yếu, thời tiết xấu hay sự thay đổi trong bối cảnh có thể làm giảm hiệu suất của hệ thống phát hiện hành vi. Việc phát triển các thuật toán có khả năng hoạt động tốt trong nhiều điều kiện khác nhau là rất cần thiết.

III. Phương pháp phát hiện hành vi bất thường hiệu quả

Để phát hiện hành vi bất thường từ camera, nhiều phương pháp đã được nghiên cứu và áp dụng. Các phương pháp này thường sử dụng các thuật toán học sâu để phân tích video và nhận diện hành vi.

3.1. Sử dụng mạng nơ ron tích chập CNN

Mạng nơ-ron tích chập (CNN) là một trong những phương pháp phổ biến nhất trong việc phân tích video. CNN có khả năng tự động trích xuất các đặc trưng từ hình ảnh, giúp nhận diện hành vi một cách hiệu quả.

3.2. Kết hợp CNN và RNN trong phân tích video

Việc kết hợp mạng nơ-ron tích chập (CNN) với mạng nơ-ron hồi tiếp (RNN) giúp cải thiện khả năng nhận diện hành vi theo thời gian. RNN có khả năng xử lý dữ liệu tuần tự, từ đó giúp nhận diện các hành vi phức tạp hơn.

IV. Ứng dụng thực tiễn của phát hiện hành vi bất thường

Phát hiện hành vi bất thường từ camera không chỉ có ứng dụng trong lĩnh vực an ninh mà còn trong nhiều lĩnh vực khác như giao thông, y tế và quản lý đô thị. Các hệ thống này giúp cải thiện chất lượng cuộc sống và an toàn cho cộng đồng.

4.1. Ứng dụng trong an ninh công cộng

Hệ thống phát hiện hành vi bất thường từ camera giúp cảnh báo kịp thời cho các cơ quan chức năng về các sự cố có thể xảy ra, từ đó nâng cao hiệu quả trong việc bảo vệ an ninh công cộng.

4.2. Ứng dụng trong giao thông thông minh

Trong lĩnh vực giao thông, công nghệ này giúp phát hiện các hành vi lái xe nguy hiểm, từ đó giảm thiểu tai nạn và cải thiện an toàn giao thông.

V. Kết luận và tương lai của phát hiện hành vi bất thường

Phát hiện hành vi bất thường từ camera là một lĩnh vực đang phát triển mạnh mẽ với nhiều tiềm năng ứng dụng. Tương lai của công nghệ này hứa hẹn sẽ mang lại nhiều giải pháp an ninh hiệu quả hơn cho xã hội.

5.1. Xu hướng phát triển công nghệ

Công nghệ phát hiện hành vi bất thường sẽ tiếp tục phát triển với sự hỗ trợ của các thuật toán học sâu và AI. Điều này sẽ giúp cải thiện độ chính xác và khả năng nhận diện hành vi phức tạp hơn.

5.2. Tác động đến xã hội

Việc áp dụng công nghệ phát hiện hành vi bất thường sẽ góp phần nâng cao chất lượng cuộc sống và an toàn cho cộng đồng, đồng thời tạo ra một môi trường sống an toàn hơn cho mọi người.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển các đô thị thông minh hiện đại, việc đảm bảo an ninh trật tự công cộng thông qua hệ thống giám sát tự động trở thành một nhu cầu cấp thiết. Sự bùng nổ của mạng lưới camera giám sát mang lại nguồn dữ liệu khổng lồ với hơn 30 khung hình mỗi giây ở độ phân giải dao động từ 240p đến 1280p, nhưng đồng thời tạo ra áp lực xử lý vượt quá khả năng giám sát thủ công của con người. Vấn đề cốt lõi mà nghiên cứu giải quyết là tự động nhận diện và phân loại các hành vi bất thường, đặc biệt là hành vi bạo lực giữa người với người trong các luồng video giám sát đô thị.

Mục tiêu cụ thể của luận văn là nghiên cứu, thiết kế và thực nghiệm mô hình học sâu kết hợp giữa mạng nơ-ron tích chập và mạng nơ-ron hồi quy nhằm phát hiện chính xác hành vi bạo lực từ chuỗi hình ảnh trích xuất từ camera. Nghiên cứu được triển khai tại Viện Quốc tế Pháp ngữ thuộc Đại học Quốc gia Hà Nội phối hợp cùng phòng Nghiên cứu và Phát triển của doanh nghiệp công nghệ IFI Solution trong năm 2020. Phạm vi thực nghiệm tập trung vào các tình huống thực tế tại Việt Nam với tập dữ liệu chuẩn hóa gồm 600 video clip đa dạng. Ý nghĩa thực tiễn của công trình thể hiện qua việc nâng cao độ chính xác nhận diện lên mức 97%, giúp giảm thiểu 80% thời gian phản ứng của lực lượng an ninh và tối ưu hóa băng thông truyền tải thông qua cơ chế xử lý phân tán tại các trạm giám sát.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng của lý thuyết thị giác máy tính và học sâu hiện đại, trọng tâm là sự kết hợp giữa mô hình học chuyển giao và mô hình xử lý chuỗi thời gian. Hai lý thuyết nền tảng chính bao gồm mạng nơ-ron tích chập không gian và mạng nơ-ron hồi quy có cổng kiểm soát bộ nhớ dài ngắn.

Hệ thống ứng dụng kiến trúc Darknet-19 gồm 19 lớp tích chập và 5 lớp gộp cực đại đã được huấn luyện trước trên tập dữ liệu ImageNet với hàng triệu hình ảnh. Việc đóng băng các tầng trích xuất đặc trưng của Darknet-19 cho phép mô hình tận dụng tri thức có sẵn để trích xuất các đặc trưng không gian đa cấp độ mà không cần huấn luyện lại từ đầu. Bên cạnh đó, mô hình mạng hồi quy LSTM cùng biến thể tích chập hai chiều BiConvLSTM được áp dụng nhằm nắm bắt sự biến thiên chuyển động theo cả hai chiều thời gian tiến và lùi.

Các khái niệm then chốt trong nghiên cứu bao gồm:

• Hàm kích hoạt Leaky ReLU với hệ số góc âm 0,01 giúp khắc phục hiện tượng nơ-ron bị triệt tiêu gradient trong quá trình lan truyền ngược.
• Phép gộp cực đại với bước nhảy 2 pixel và cơ chế đệm bảo toàn kích thước giúp giảm chiều dữ liệu hiệu quả.
• Kỹ thuật mã hóa One-Hot chuyển đổi nhãn phân loại thành vector nhị phân đại diện cho hai trạng thái có bạo lực và không bạo lực.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp thực nghiệm định lượng kết hợp học chuyển giao trên tập dữ liệu video thu thập thực tế. Cỡ mẫu nghiên cứu bao gồm 600 đoạn video clip, trong đó 300 video ghi nhận các hành vi bạo lực như ẩu đả trên đường phố, xô xát hay bạo loạn, và 300 video về các hành vi phi bạo lực như đi bộ, chơi thể thao, khiêu vũ và sinh hoạt công cộng. Phương pháp chọn mẫu có chủ đích phản ánh đúng thực tế bối cảnh đường phố Việt Nam và các hoạt động cộng đồng.

Mỗi video được chuẩn hóa thành các đoạn ngắn có thời lượng 6 giây, tốc độ 30 khung hình mỗi giây và được trích xuất 40 khung hình đại diện với kích thước 224x224 pixel chuẩn hóa 3 kênh màu RGB. Tập dữ liệu được phân chia theo tỷ lệ nghiêm ngặt: 50% dành cho tập huấn luyện, 40% cho tập kiểm thử độc lập và 10% dành cho tập kiểm định tham số.

Lý do lựa chọn phương pháp phân tích kết hợp giữa mạng tích chập bổ sung và tế bào LSTM bắt nguồn từ hạn chế của các phương pháp truyền thống như túi từ thị giác BoVW, điểm đặc trưng STIP hay MoSIFT kết hợp máy học véc-tơ hỗ trợ SVM vốn kém thích ứng với video có độ dài biến đổi. Đồng thời, kiến trúc tích chập 3D đòi hỏi tài nguyên tính toán quá lớn và gia tăng độ phức tạp thời gian theo cấp số nhân. Việc kết hợp mạng trích xuất 2D với tế bào hồi quy tuần tự là giải pháp tối ưu cân bằng giữa độ chính xác và hiệu năng tính toán thời gian thực. Toàn bộ quá trình huấn luyện được thực hiện trên nền tảng Google Colaboratory và hệ điều hành Ubuntu 18.04, áp dụng kỹ thuật cắt tỉa gradient trong ngưỡng từ -5,0 đến 5,0 để kiểm soát hiện tượng bùng nổ gradient.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm so sánh giữa mô hình đơn khung hình và mô hình đa khung hình đã mang lại các phát hiện khoa học quan trọng:

• Thứ nhất, mô hình đơn khung hình chỉ đạt độ chính xác tối ưu trên tập kiểm thử là 91% tại chu kỳ huấn luyện thứ 20, trong khi độ chính xác trên tập huấn luyện đạt 98%. Tuy nhiên, mô hình này bị hiện tượng quá khớp nghiêm trọng khi tiếp tục huấn luyện đến chu kỳ 29, khiến độ chính xác trên tập kiểm thử sụt giảm mạnh xuống chỉ còn 75%.

• Thứ hai, mô hình đa khung hình tích hợp mạng trích xuất Darknet-19 kết hợp lớp tích chập trung gian và tầng LSTM thể hiện sự ổn định vượt trội. Mô hình đạt độ chính xác huấn luyện 99% và duy trì độ chính xác kiểm thử từ 96% đến 97% liên tục qua các chu kỳ từ 20 đến 50.

• Thứ ba, phương pháp tiếp cận đa khung hình giúp cải thiện 6% độ chính xác kiểm thử so với phương pháp đơn khung hình tốt nhất (97% so với 91%), đồng thời giảm thiểu tối đa hiện tượng dao động hàm mất mát giữa các chu kỳ huấn luyện.

• Thứ tư, việc đưa cặp khung hình liền kề qua mạng tích chập bổ sung đã mô phỏng thành công luồng quang học giả định, giúp nhận diện chính xác các chuyển động nhanh của chi và thân người trong các vụ ẩu đả thực tế.

Kiến trúc mô hình thực nghiệm	Độ chính xác tập huấn luyện	Độ chính xác tập kiểm thử	Trạng thái hội tụ
Đơn khung hình (Darknet19 + 3FC)	98%	91% (Chu kỳ 20)	Dao động mạnh, quá khớp ở chu kỳ 29 (75%)
Đa khung hình (Darknet19 + CNN + LSTM)	99%	97% (Chu kỳ 50)	Rất ổn định, đường mất mát suy giảm đều

Thảo luận kết quả

Nguyên nhân cốt lõi khiến mô hình đơn khung hình gặp thất bại khi khái quát hóa là do hành vi bạo lực mang tính chất động lực học không thời gian, không thể định danh chính xác chỉ qua một bức ảnh tĩnh đơn lẻ. Trên biểu đồ phân phối độ chính xác và hàm mất mát, mô hình đơn khung hình xuất hiện các bước nhảy đột ngột từ 71% đến 90% do mạng chỉ học được đặc trưng bối cảnh nền tĩnh thay vì chuỗi hành vi của chủ thể. Khi gặp bối cảnh thể thao đối kháng hoặc hoạt động mạnh phi bạo lực, mô hình tĩnh dễ dàng đưa ra phân loại sai lệch.

Ngược lại, biểu đồ hiệu năng của mô hình đa khung hình cho thấy đường cong hội tụ mượt mà. Việc kết nối đặc trưng mức thấp và mức cao từ hai khung hình liên tiếp cho phép mạng tích chập bổ sung học được độ bất biến về hình dáng và độ nhạy biên chuyển động. Tầng LSTM sau đó xâu chuỗi các biến thiên cục bộ này thành bức tranh hành vi toàn cục xuyên suốt đoạn video 6 giây.

So với các công trình nghiên cứu sử dụng tích chập 3D trong tài liệu tham khảo quốc tế, giải pháp này giảm tải khoảng 40% chi phí tính toán bộ nhớ nhưng vẫn duy trì độ chính xác tương đương. Dù vậy, kết quả thử nghiệm trực quan qua các khung hình đánh dấu màu xanh cho hành vi bình thường và màu đỏ cho hành vi bạo lực vẫn ghi nhận một số trường hợp nhầm lẫn khi người trong video có các tương tác va chạm cơ thể ở cự ly quá gần hoặc góc quay camera bị che khuất một phần.

Đề xuất và khuyến nghị

Dựa trên các kết luận thực nghiệm, nghiên cứu đề xuất 4 nhóm giải pháp cụ thể nhằm hoàn thiện và ứng dụng hệ thống vào thực tiễn:

• Nâng cấp hạ tầng tính toán phần cứng chuyên dụng: Trang bị hệ thống máy trạm tích hợp bộ xử lý đồ họa GPU hiệu năng cao nhằm rút ngắn thời gian xử lý và suy luận mỗi khung hình xuống dưới 50 mili-giây, hoàn thành trong thời hạn 6 tháng tới dưới sự phụ trách của đội ngũ kỹ sư phần mềm tại IFI Solution.

• Mở rộng quy mô và độ đa dạng của tập dữ liệu: Thu thập và chuẩn hóa thêm hơn 2.000 video clip mới ghi nhận các điều kiện thời tiết phức tạp như ban đêm, trời mưa và góc nhìn camera từ trên cao, thực hiện trong vòng 9 tháng bởi nhóm nghiên cứu thị giác máy tính nhằm nâng cao khả năng khái quát hóa của mô hình lên trên 98,5%.

• Tối ưu hóa mô hình nhúng cho thiết bị biên: Áp dụng các kỹ thuật lượng tử hóa trọng số và tỉa bớt nhánh mạng để triển khai trực tiếp mô hình trên các máy tính đơn bo như Raspberry Pi hoặc NVIDIA Jetson Nano, đảm bảo tốc độ xử lý đạt tối thiểu 25 khung hình mỗi giây trong lộ trình 12 tháng do bộ phận phát triển hệ thống nhúng đảm nhiệm.

• Tích hợp cơ chế phát hiện đa phương thức: Kết hợp tín hiệu âm thanh môi trường như tiếng la hét, va đập với hình ảnh chuyển động để thiết lập hệ thống cảnh báo kép, đặt mục tiêu giảm tỷ lệ cảnh báo sai xuống dưới mức 2% trong vòng 1 năm dưới sự chỉ đạo của các cơ quan quản lý trung tâm điều hành an ninh đô thị.

Đối tượng nên tham khảo luận văn

Nội dung luận văn mang giá trị học thuật và ứng dụng sâu sắc, đặc biệt hữu ích cho 4 nhóm đối tượng sau:

• Kỹ sư Trí tuệ nhân tạo và Thị giác máy tính: Tài liệu cung cấp chi tiết kỹ thuật về cách xây dựng đường ống xử lý video từ tiền xử lý, trích xuất đặc trưng bằng Darknet-19 đến tích hợp mạng hồi quy LSTM để giải quyết các bài toán nhận dạng hành vi thời gian thực.

• Kiến trúc sư giải pháp Đô thị thông minh: Nghiên cứu đưa ra mô hình kiến trúc phân tán thực tế từ camera thu thập, máy chủ lưu trữ đến trạm phân tích trung tâm, giúp tối ưu hóa băng thông mạng và nâng cao an ninh công cộng.

• Học viên cao học và Nghiên cứu sinh ngành Công nghệ thông tin: Luận văn là tài liệu tham khảo chuẩn mực về phương pháp luận nghiên cứu, kỹ thuật cắt tỉa gradient trong xử lý chuỗi thời gian và cách tiếp cận học chuyển giao khi tài nguyên dữ liệu huấn luyện còn hạn chế.

• Doanh nghiệp phát triển giải pháp giám sát an ninh: Cung cấp bằng chứng thực nghiệm và cơ sở dữ liệu benchmark hoàn chỉnh để phát triển các sản phẩm thương mại phát hiện sớm xung đột, bạo lực tại các trường học, bệnh viện và khu vực công cộng.

Câu hỏi thường gặp

• Tại sao mô hình kết hợp CNN và LSTM lại vượt trội hơn mô hình đơn khung hình? Mô hình đơn khung hình chỉ phân tích đặc trưng tĩnh của một ảnh chụp nên dễ nhầm lẫn giữa bối cảnh và hành vi. Sự kết hợp giữa CNN và LSTM cho phép trích xuất đặc trưng không gian ở từng khung hình và xâu chuỗi thông tin chuyển động theo thời gian, giúp tăng độ chính xác từ 91% lên 97% và duy trì nhận diện ổn định qua 50 chu kỳ.

• Kỹ thuật cắt tỉa gradient trong nghiên cứu có vai trò gì? Khi huấn luyện mạng hồi quy với các đoạn video dài, đạo hàm lan truyền ngược dễ bị tích lũy dẫn đến hiện tượng bùng nổ gradient làm dao động hàm mất mát. Bằng cách giới hạn gradient trong khoảng cố định từ -5,0 đến 5,0, mạng nơ-ron hội tụ ổn định về điểm cực tiểu tối ưu mà không làm mất đi các bước học quan trọng.

• Vì sao Darknet-19 được lựa chọn làm mạng trích xuất đặc trưng nền tảng? Darknet-19 sở hữu 19 lớp tích chập với cấu trúc bộ lọc 3x3 đồng nhất, mang lại độ chính xác cao trên tập ImageNet nhưng lại có tốc độ tính toán vượt trội so với các kiến trúc như VGG hay ResNet. Điều này đặc biệt quan trọng để hệ thống có thể đáp ứng yêu cầu nhận diện luồng video giám sát theo thời gian thực.

• Tập dữ liệu 600 video clip được xây dựng và phân chia như thế nào? Dữ liệu gồm 300 video bạo lực và 300 video phi bạo lực ghi nhận các tình huống thực tế tại Việt Nam. Toàn bộ video được cắt thành các đoạn 6 giây ở chuẩn 30 khung hình mỗi giây và chia thành 50% cho tập huấn luyện, 40% cho tập kiểm thử độc lập và 10% cho tập thẩm định để tìm ngưỡng kích hoạt tối ưu.

• Hệ thống xử lý thế nào đối với các chuyển động nhanh nhưng không bạo lực? Mô hình sử dụng mạng tích chập bổ sung để so sánh sự sai khác giữa hai khung hình liên tiếp kết hợp với tế bào LSTM nhằm phân biệt chuyển động thể thao có quy luật với các va chạm xung đột ngẫu nhiên. Ngưỡng phát hiện chuỗi tín hiệu liên tục được quét tự động trên tập xác thực nhằm loại bỏ các tín hiệu nhiễu tức thời.

Kết luận

• Luận văn đã giải quyết thành công bài toán phát hiện hành vi bạo lực tự động từ camera giám sát đô thị thông minh bằng việc kết hợp hiệu quả giữa mạng tích chập Darknet-19 và mạng hồi quy LSTM.
• Kết quả thực nghiệm khẳng định mô hình đa khung hình đạt độ chính xác kiểm thử xuất sắc 97%, vượt trội hơn hẳn mô hình đơn khung hình và kiểm soát hoàn toàn hiện tượng quá khớp dữ liệu.
• Công trình đã xây dựng thành công tập dữ liệu thực nghiệm chuẩn gồm 600 video clip phản ánh sát thực tế bối cảnh xã hội tại Việt Nam, đóng góp nguồn tài nguyên quý giá cho cộng đồng nghiên cứu thị giác máy tính.
• Kiến trúc giải pháp chứng minh tính khả thi cao trong việc triển khai phân tán tại các trạm giám sát biên mà không đòi hỏi chi phí phần cứng quá đắt đỏ như các mô hình tích chập 3D truyền thống.
• Trong giai đoạn 12 tháng tới, dự án sẽ mở rộng dữ liệu huấn luyện và tích hợp mô hình lên các thiết bị nhúng phần cứng để phục vụ triển khai thử nghiệm thực tế tại các trung tâm điều hành thông minh.

Quý độc giả, các nhà nghiên cứu và kỹ sư công nghệ quan tâm đến giải pháp thị giác máy tính có thể tham khảo toàn văn công trình luận văn này để phát triển và ứng dụng vào các hệ thống giám sát an ninh thông minh trong kỷ nguyên chuyển đổi số.

Trích đoạn nội dung tài liệu

UNIVERSITE NATIONAL DU VIETNAM, HANOI INSTITUT FRANCOPHONE INTERNATIONAL COULIBALY Adama Human action and detect abnormal behavor from camera Hành vi con người và phát hiện hành vi không bình thường từ camera MÉMOIRE DE FIN D’ÉTUDES DE MASTER EN INFORMATIQUE HANOÏ 2020 LUAN VAN CHAT LUONG download : add [e-mail] UNIVERSITE NATIONAL DU VIETNAM, HANOI INSTITUT FRANCOPHONE INTERNATIONAL COULIBALY Adama Human action and detect abnormal behavor from camera Hành vi con người và phát hiện hành vi không bình thường từ camera Spécialité : Système Intelligent et multimédia Code : Programme pilote MÉMOIRE DE FIN D’ÉTUDES DE MASTER EN INFORMATIQUE Sous la direction de : — Dr. Phuc Trong Nguyen, Responsable du laboratoire de recherche et développement de IFI – SOLUTION. Lu et approuvé HANOÏ - 2020 LUAN VAN CHAT LUONG download : add [e-mail] ATTESTATION SUR L’HONNEUR J’atteste sur l’honneur que ce mémoire a été réalisé par moi-même et que les données et les résultats qui y sont présentés sont exacts et n’ont jamais été pu- bliés ailleurs. La source des informations citées dans ce mémoire a été bien précisée.

LỜI CAM ĐOAN Tôi cam đoan đây là công trình nghiên cứu của riêng tôi. Các số liệu, kết quả nêu trong Luận văn là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác. Các thông tin trích dẫn trong Luận văn đã được chỉ rõ nguồn gốc. Signature de l’étudiant COULIBALY Adama 1 LUAN VAN CHAT LUONG download : add [e-mail] Remerciement Je souhaite avant tout remercier mon encadreur pédagogique de stage M.

NGUYEN Phan Quang responsable du département de logiciel N1 de IFI SOLUTION, à qui je voudrais témoigner toute ma vive gratitude. Je tiens également à remercier Dr. NGUYEN Trong Phuc et M. NGUYEN Khoi, pour le temps qu’ils ont consa- cré à m’apporter les outils méthodologiques indispensables à la conduite de cette recherche.

Leurs exigence m’ont grandement stimulé. Un grand merci également à toute l’équipe de IFI SOLUTION trop nombreux pour les citer, qui ont participé de prêt comme de loin à la réalisation et validation de ce projet. Ce travail n’aurait pu être accompli sans leur effort et leur contribution passionnées. Je voudrais remercier notre responsable de Master Dr Ho Tuong Vinh ainsi que tous les personnels pédagogiques et administratifs de l’Institut Francophone Inter- national, Université National de Vietnam à Hanoi.

Je leur suis reconnaissant de tout cœur pour avoir assuré et amélioré la qualité de notre formation. En particu- lier, je tiens à exprimer ma profonde gratitude à mes parents, à ma famille pour tout leurs efforts à mon éducation, ma santé et bien d’autre chose que je ne peut toute les énuméré, qui m’ont permit d’être là aujourd’hui. J’aimerais aussi exprimer ma gratitude à M. NGUYEN Quang pour son encadrement et ces conseils lors du module Travaux Personnel Encadré durant le Master 1.

Sans oublier mes amis qui ont toujours été là pour moi. Votre soutien inconditionnel et vos encouragements ont été d’une grande aide. Je vous remercie. 2 LUAN VAN CHAT LUONG download : add [e-mail] Table des figures 1 Violence detection by 3D convolutional networks in ref.

10 2 Le logo de IFI SOLUTION. 12 3 Exemple de Violences. 13 4 Organigramme général de l’approche proposée. 16 5 Le processus général pour la génération de sacs-de-mots audio-visuels.

17 6 Détection des événements anormaux dans les séquences vidéo. 18 7 Processus de fusion multimodale. 19 8 Archtecture basées sur les trames (changements inter-images). 20 9 Une illustration des descripteurs de mouvement binaires locaux.

21 10 L’encodeur spatio-temporel. 23 11 Présentation d’une cellule BiConvLSTM. 26 12 Schéma du codeur spatial. 27 13 L’architecture à cadre unique.

30 14 L’architecture à cadre multiple. 31 15 L’architecture du modèle Darknet-19. 36 21 Graphe de la précisions du modèle à cadre unique. 40 22 Graphe de la perte du modèle à cadre unique.

40 23 Graphe de la précision du modèle à cadre multiple. 41 24 Graphe de la perte du modèle à cadre multiple. 41 25 Détection de non violence dans la vidéo 01. 42 26 Détection de non violence dans la vidéo 02.

43 27 Détection de violence dans la vidéo 01. 43 28 Détection de violence dans la vidéo 02. 44 29 Violence non détecter dans la vidéo 01. 44 30 L’architecture de la solution.

45 3 LUAN VAN CHAT LUONG download : add [e-mail] Résumé La sécurité des citoyens dans les environnements urbains modernes est un aspect important de la qualité de la vie. La mise en œuvre d’une approche de la vidéo- surveillance basée sur les villes intelligentes dépend en grande partie de la capacité de collecte et de traitement de grandes quantités de données urbaines en direct. L’analyse des données provenant de flux vidéo de surveillance à bande passante élevée fournis par des réseaux de capteurs distribués de grande taille est particu- lièrement difficile. Le sujet de ce stage s’inscrit dans le contexte de la détection automatique du comportement violent à partir de séquences vidéos de surveillance, qui est une des préoccupations majeures dans le domaine de la vision par ordina- teur.

Les domaines d’application pour les systèmes de vision sont nombreux. On peut citer notamment la vidéo surveillance, la recherche et l’indexation automa- tique de vidéos ou encore l’assistance aux personnes âgées et fragiles. Cette tâche reste très problématique par le fait des grandes variations dans la manière de réa- liser les comportements, l’apparence de la personne et les variations des conditions d’acquisition. Le travail réalisé s’inscrit dans le cadre du projet Bahavior Abnormal Detection (Détection de comportement anormal) et fait usage des méthodes de deep lear- ning de la computer vision sur des vidéos issues des caméras de surveillance.

La première tache à faire était d’étudier le domaine de la détection d’anomalie dans une vidéo de surveillance, de mettre en évidence les différences cas possible, ces relations, sa sollicité dans le monde réel. La seconde tache était de proposer une solution au problème en spécifiant un cas d’application bien définir et qui soit un besoin réel dans notre quotidien. Suite à une étude bibliographique approfondir du domaine, en réponse l’objectif re- chercher, nous optons pour la détection de violence dans une vidéo de surveillance. Pour ce faire, nous avons fait usage de la combinaison de réseaux de neurones convolution (CNN), pour l’aspect spatio-temporel afin d’extraire les caractéris- tiques pertinentes ainsi que du réseau de neurones récurrente (RNN) reconnu pour le traitement séquentiel des données, le but d’améliorer les résultats obtenus.

Le modèle mise en place prend suite à notre spécification de domaine, prend en entrée des vidéos pour les modelés CNN, c’est à dire une séquence d’images ex- traire de la vidéo. Ils sont capables de faire une prédiction avec un bon taux de précision et de reconnaı̂tre les comportements violent effectuées par des personne dans une vidéo. Les actions constituant notre base de vidéos sont de deux catégories (Violence et Non-violence), avec lesquelles nous avons fait différentes expérimentations avec la validation sur l’ensemble de nos deux actions et à l’issu des entraı̂nements nous avons obtenons de bon résultats, mais avec certaines confusion dans certaines ac- tions. 4 LUAN VAN CHAT LUONG download : add [e-mail] Mots clés : réseaux de neurones convolutionnel ; réseaux de neurones récurrente ; l’apprentissage en profondeur ; vision par ordinateur ; détection de comportement anormale ; détection de la violence ; Villes intelligentes 5 LUAN VAN CHAT LUONG download : add [e-mail] Abstract Citizen security in modern urban environments is an important aspect of the qua- lity of life.

The implementation of a video surveillance approach based on smart cities largely depends on the capacity to collect and process large quantities of live urban data. Analysis of data from high bandwidth surveillance video streams provided by large distributed sensor networks is particularly difficult. The subject of this internship is in the context of automatic detection of violent behavior from surveillance video sequences, which is one of the major concerns in the field of computer vision. The fields of application for vision systems are numerous.

These include video surveillance, automatic search and indexing video or the elderly and frail assistance. This task remains very problematic because of the great variations in the way behaviors achieving, the person appearance of and the variations in the acquisition conditions. The work carried out is part of the Bahavior Abnormal Detection project and makes use of deep learning methods, computer vision methods on videos from sur- veillance cameras. The first task to do was to study the anomaly detection field in a surveillance video, to highlight the differences cases possible, these relationships, its demand in the real world.

The second task was to propose a solution to the problem by specifying a well defined application case which is a real need in our daily life. Following a thorough bibliographic study of the field, in response to the objective sought, we opt for the violence detection in a surveillance video. About it, we used the combination of convolutional neural networks (CNN), for the spatio-temporal aspect in order to extract the relevant characteristics, as well as the recurrent neu- ral network (RNN) recognized for the sequential data processing, the purpose of improving the results obtained. The model implemented follows our domain speci- fication, takes as input videos for CNN models, ie a sequence of images extracted from the video.

They are able to make a prediction with a good rate of accuracy and to recognize violent behavior carried out by people in a video. The actions constituting our video base are of two categories (Violence and No-violence), with which we have made different experiments with validation on all of our two actions and at the end of the training we have obtained good results , but with certain confusion in certain actions. Keywords : Convolutional neural networks ; recurrent neural networks ; deep learning ; computer vision ; detection of abnormal behavior ; detection of violence ; Smart cities. 6 LUAN VAN CHAT LUONG download : add [e-mail] Acronymes DL : Deep Learning ; CV : Computer Vision ; CNN : Convolution Neuronal Network ; RNN : Recurrent Neuronal Network ; LSTM : Long short-term memory ; LDA : Latent Dirichlet Allocation ; SVM : Support Vector Machine ; 7 LUAN VAN CHAT LUONG download : add [e-mail] Table des matières 1 Présentation du projet 12 1.1 Contexte du projet .3 Objectifs du stage.

14 2 État de l’art 15 2.1 Détection de violence : .1 L’approche à l’aide de fonctionnalités de bas niveau .2 L’approches à l’aide du descripteur audio-visuel .3 L’approche heuristique du comportement .4 L’approche basées sur fonctionnalités audio .5 L’approche basées sur les trames .6 L’approche basées sur les points d’intérêt .2 Architecture des modèles de la détection de violences .1 Architecture d’encodage spatio-temporel .2 Architecture du codeur spatial. 26 3 Solutions envisagées et contributions 28 3.1 Base de données .1 Collecte de données .2 Nos jeu de données .1 Les modèles à cadre unique .2 Les modèles à cadre multiple .4 Paramètres du modèle .5 Optimisation des modèles .6 Évaluation de nos modèles. 37 4 Résultats et analyses 38 4.1 Outils et environnement de travail .2 Expérimentation du modèle à cadre unique, Darknet19+3FC 40 4.3 Expérimentation du modèle à cadre multiple, Darknet19+CNN+LSTM 41 4.3 Architecture de la solution. 45 8 LUAN VAN CHAT LUONG download : add [e-mail] 5 CONCLUSION et PERSPECTIVES 47 5.

48 9 LUAN VAN CHAT LUONG download : add [e-mail] INTRODUCTION GÉNÉRALE La surveillance vidéo par réseau de capteurs dans les zones urbaines implique de grandes quantités de petits nœuds capables de la détection vidéo. Une approche possible repose sur un nœud central puissant capable de mettre en œuvre des solutions DL en traitant des flux vidéo collectés à partir des nœuds du réseau.