Phát Hiện và Phân Tích Đám Đông Trong Video

Luận văn thạc sĩ kỹ thuật điện tử nghiên cứu phát hiện và phân tích vùng đám đông trong video, ứng dụng trong giám sát an ninh và quản lý sự kiện.

• Tác giả: Trương Hoàng Trí
• Người hướng dẫn: Tiến Sĩ Trương Công Dung Nghi
• Trường học: Đại học Quốc gia TP.HCM
• Chuyên ngành: Kỹ thuật điện tử
• Đề tài: Phát hiện và phân tích đám đông trong video
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2017
• Địa điểm: TP.HCM

Mục lục chi tiết

• LỜI CÁM ƠN
• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: GIỚI THIỆU VỀ ĐỀ TÀI
• 1.1. Mục tiêu, nhiệm vụ và phạm vi đề tài
• 1.1.1. Mục tiêu của đề tài
• 1.1.2. Nhiệm vụ của đề tài
• 1.1.3. Phạm vi của đề tài
• 1.2. Tổ chức luận văn
• 2. CHƯƠNG 2: TÌNH HÌNH NGHIÊN CỨU TRONG VÀ NGOÀI NƯỚC
• 2.1. Nhận diện bất thường trong đám đông
• 2.2. Phát hiện và xác định mật độ đám đông
• 2.3. Phân tích vận động của đám đông
• 2.4. Nhận biết và phân tích vận động đám đông
• 3. CHƯƠNG 3: PHƯƠNG PHÁP NGHIÊN CỨU
• 3.1. Phân tích GLCM
• 3.2. Nhận diện vùng đám đông
• 3.3. Phân tích mật độ đám đông
• 3.4. Phân tích chuyển động và độ nhất quán của đám đông
• 4. CHƯƠNG 4: KẾT QUẢ THỬ NGHIỆM VÀ PHÂN TÍCH
• 4.1. Nhận biết đám đông
• 4.2. Xác định mật độ đám đông
• 4.3. Phân tích chuyển động đám đông
• 4.4. Phân tích độ nhất quán của đám đông
• 4.5. Kết quả phân tích trên video ban đêm
• 5. CHƯƠNG 5: TỔNG KẾT VÀ HƯỚNG PHÁT TRIỂN ĐỀ TÀI
• 5.1. Đánh giá kết quả đạt được
• 5.2. Hướng phát triển của đề tài
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới Thiệu Nghiên Cứu Phát Hiện Đám Đông Trong Video

Nghiên cứu phát hiện đám đông trong video ngày càng trở nên quan trọng do sự gia tăng dân số và đô thị hóa. Các ứng dụng của nó rất đa dạng, từ an ninh giám sát đến quản lý sự kiện và giao thông thông minh. Luận văn này giới thiệu một hệ thống có khả năng nhận diện, xác định mật độ và phân tích chuyển động của đám đông trong video. Phương pháp tiếp cận này dựa trên việc phân tích đặc trưng ảnh và sử dụng KLT tracking để phân tích độ nhất quán của đám đông. Mục tiêu là cung cấp một giải pháp hiệu quả cho việc giám sát và quản lý đám đông trong các tình huống thực tế. Luận văn này tập trung vào các kỹ thuật xử lý ảnh và video sử dụng computer vision. Các kết quả thí nghiệm cho thấy thuật toán đề xuất có khả năng nhận diện và phân tích đám đông tốt.

1.1. Mục tiêu và Phạm vi Nghiên Cứu Phát Hiện Đám Đông

Mục tiêu chính của nghiên cứu là phát triển một hệ thống giám sát đám đông hiệu quả. Hệ thống này phải có khả năng phát hiện và khoanh vùng khu vực đông đúc, ước lượng mật độ đám đông và phân tích chuyển động của đám đông. Phạm vi của nghiên cứu giới hạn trong việc xử lý video đầu vào và đưa ra kết quả dưới dạng hình ảnh đã khoanh vùng, đánh giá mật độ và sự vận động của đám đông với độ chính xác cao. Hệ thống được kiểm nghiệm trên các video thực tế. Đề tài tập trung vào ứng dụng trong an ninh giám sát và quản lý sự kiện.

1.2. Ứng Dụng Tiềm Năng của Phân Tích Đám Đông Trong Video

Việc phân tích đám đông trong video mở ra nhiều ứng dụng tiềm năng. Phát hiện vùng đám đông giúp cảnh báo sự tụ tập bất thường, hỗ trợ nhân viên an ninh. Ước lượng mật độ đám đông ứng dụng vào giám sát giao thông, tối ưu luồng người. Phân tích chuyển động và độ nhất quán hành vi dự báo nguy hiểm trong hoạt động đám đông. Nghiên cứu này có thể ứng dụng trong các lĩnh vực như giao thông thông minh, quản lý sự kiện, và phân tích hành vi người tiêu dùng. Việc sử dụng các thuật toán hiệu quả như YOLO và SSD giúp tăng tốc độ xử lý, làm cho hệ thống phù hợp cho ứng dụng thời gian thực.

II. Tổng Quan Tình Hình Nghiên Cứu Nhận Diện Đám Đông

Việc quan sát và phân tích đặc tính của đám đông là một lĩnh vực được nghiên cứu nhiều trong computer vision. Các nghiên cứu tập trung vào nhiều khía cạnh khác nhau, bao gồm nhận diện bất thường trong đám đông, phát hiện và xác định mật độ đám đông, và phân tích vận động của đám đông. Các phương pháp tiếp cận cũng đa dạng, từ sử dụng mô hình Social Force đến phân tích Optical Flow và kỹ thuật phân tích GLDM (Gray Level Dependency Matrix). Một số nghiên cứu còn tập trung vào việc theo dõi các thành phần riêng lẻ trong đám đông để tính toán các thông số thống kê.

2.1. Các Nghiên Cứu Về Phát Hiện Bất Thường Đám Đông Trong Video

Nghiên cứu của R. Mehran sử dụng mô hình Social Force để nhận diện bất thường. S. Biswas sử dụng Optical Flow để theo dõi thành phần riêng lẻ. Các phương pháp này giúp xác định vùng hoạt động bất thường. Tuy nhiên, độ chính xác không cao khi thực nghiệm trên các bộ dữ liệu web. Y. Zhang cải tiến mô hình Social Force thành mô hình SAEM (Social Attribute-Aware Force Model) bằng cách đưa thêm vào hai thuộc tính độ rối loạn và độ tắc nghẽn vào trong tính toán. Phương pháp của H. Ullah kết hợp mô hình Crow Motion và Optical Flow, trong khi B. Zhou sử dụng mô hình MDA (Mixture model of Dynamic Pedestrian-Agents) để nhận diện bất thường trong đám đông.

2.2. Phát Hiện và Xác Định Mật Độ Đám Đông Các Nghiên Cứu Điển Hình

Nghiên cứu của Z. Wang sử dụng giải thuật LBPCM để xác định đám đông và mật độ. O. Arandjelovic phát hiện đám đông từ ảnh tĩnh bằng mô hình thống kê cơ bản dựa vào đặc trưng SIFT lượng tử. A. Fagette sử dụng kỹ thuật phân tích multiscale texture. P. Reisman giúp phát hiện đám đông từ hình ảnh di động bằng cách phân tích không thời gian từ hình ảnh, dựa vào các mẫu Optical Flow. S. Ghidoni sử dụng kỹ thuật phân tích GLDM (Gray Level Dependency Matrix) based texture.

2.3. Phân Tích Chuyển Động Đám Đông Phương Pháp và Kết Quả

H. Ullah không chỉ nhận diện bất thường mà còn phân tích chuyển động của thành phần trong đám đông, phân loại chuyển động theo tám hướng. Với đám đông có mật độ cao, phương pháp này khó phân tích chính xác. K. Lim chỉ ra vùng đặc trưng của đám đông và phân tích vận động của vùng này. H. Idrees phân tích được sự vận động và vẽ đường di chuyển của từng thành phần trong đám đông bằng cách sử dụng sự đặc trưng và sự vận động của khu vực tương đồng, nhưng phương pháp này không thể nhận biết tốt trong trường hợp khu vực có quá nhiều chuyển động.

III. Phương Pháp Phát Hiện và Phân Tích Đám Đông Hiệu Quả

Phương pháp đề xuất trong luận văn này bao gồm hai quá trình phân tích chính: nhận dạng và phân tích mật độ đám đông, và phân tích chuyển động và độ nhất quán của đám đông. Quá trình nhận dạng và phân tích mật độ đám đông sử dụng phương pháp tính toán GLCM của các ô nhỏ trong khung hình. Quá trình phân tích chuyển động và độ nhất quán của đám đông sử dụng KLT tracker để xác định chuyển động trong khung hình. Từ đó xác định độ nhất quán và gom nhóm đám đông lại. Phương pháp này hứa hẹn khả năng ứng dụng cao trong nhiều lĩnh vực thực tế.

3.1. Quy Trình Nhận Diện và Phân Tích Mật Độ Đám Đông Chi Tiết

Ảnh gốc được chia thành các ô lớn. Các ô lớn được tiếp tục chia thành các ô nhỏ. Thực hiện nhận diện đám đông trên các ô nhỏ. Tổng hợp kết quả phân tích các ô nhỏ để xác định mật độ đám đông trên ô lớn. Luận văn sử dụng phương pháp tính toán GLCM của các ô nhỏ trong khung hình để thực hiện nhận biết đám. GLCM là ma trận thống kê đặc trưng cho mối quan hệ không gian của ma trận điểm ảnh. Từ ma trận GLCM, tính toán độ đồng nhất và quyết định vùng có sự xuất hiện của đám đông.

3.2. Phân Tích Chuyển Động và Độ Nhất Quán Hướng Tiếp Cận

Video đầu vào được phân tích KLT (Kanade-Lucas-Tomasi) tracker để xác định chuyển động giữa các khung hình liên tiếp nhau. Từ đó, xác định các điểm chuyển động trên khung hình. Tiến hành phân tích độ nhất quán và gom nhóm đám đông từ các điểm chuyển động trên khung hình. Phương pháp này giúp xác định hướng di chuyển chủ đạo của đám đông và mức độ đồng đều trong hành vi của các cá nhân trong đám đông. Độ chính xác của phương pháp này phụ thuộc vào chất lượng video và mật độ đám đông.

IV. Kỹ Thuật Điện Tử Ứng Dụng Trong Phát Hiện và Theo Dõi

Ứng dụng các kỹ thuật điện tử, đặc biệt là trong xử lý ảnh và video, đóng vai trò quan trọng trong việc hiện thực hóa hệ thống phát hiện và theo dõi đám đông. Các thiết bị phần cứng xử lý video như FPGA và GPU được sử dụng để tăng tốc độ xử lý và đáp ứng yêu cầu thời gian thực (Real-time). Các hệ thống Embedded systems cũng có thể được triển khai để tạo ra các giải pháp giám sát độc lập và di động.

4.1. Lựa Chọn Phần Cứng FPGA GPU và Embedded Systems

FPGA (Field-Programmable Gate Array) cho phép tùy chỉnh phần cứng để tối ưu hóa các thuật toán xử lý ảnh và video. GPU (Graphics Processing Unit) cung cấp khả năng tính toán song song mạnh mẽ, phù hợp cho các tác vụ phức tạp như machine learning cho phân tích video. Embedded systems tích hợp các thành phần phần cứng và phần mềm để tạo ra các hệ thống nhỏ gọn và tiết kiệm năng lượng, thích hợp cho triển khai ở các vị trí khác nhau.

4.2. Tối Ưu Hóa Thuật Toán Để Đạt Hiệu Suất Thời Gian Thực

Để đạt hiệu suất thời gian thực, cần tối ưu hóa các thuật toán phát hiện đám đông. Sử dụng các thuật toán hiệu quả như YOLO, SSD, và Faster R-CNN là một giải pháp. Song song hóa các tác vụ xử lý trên GPU hoặc FPGA. Giảm độ phân giải của video đầu vào cũng có thể giúp tăng tốc độ xử lý, nhưng cần cân nhắc để không ảnh hưởng đến độ chính xác của thuật toán.

V. Kết Quả Thực Nghiệm và Đánh Giá Độ Chính Xác Thuật Toán

Luận văn trình bày kết quả thực nghiệm trên các video thực tế, đánh giá độ chính xác của thuật toán trong việc nhận diện đám đông, xác định mật độ đám đông, và phân tích chuyển động. Kết quả cho thấy thuật toán đề xuất có khả năng hoạt động tốt trong nhiều tình huống khác nhau, bao gồm cả các video ban đêm. Tuy nhiên, độ chính xác có thể bị ảnh hưởng bởi các yếu tố như chất lượng video, điều kiện ánh sáng, và mật độ đám đông.

5.1. Phân Tích Kết Quả Nhận Diện và Xác Định Mật Độ Đám Đông

Các kết quả thực nghiệm cho thấy thuật toán có khả năng nhận diện đám đông với độ chính xác chấp nhận được. Tuy nhiên, có thể xảy ra sai sót trong trường hợp đám đông có mật độ quá cao hoặc có sự che khuất. Việc xác định mật độ đám đông cũng đạt được kết quả khả quan, cho phép phân loại các khu vực khác nhau theo mức độ đông đúc. Cần tiếp tục cải thiện thuật toán để tăng độ chính xác và khả năng chống chịu với các yếu tố nhiễu.

5.2. Đánh Giá Hiệu Quả Phân Tích Chuyển Động và Độ Nhất Quán

Thuật toán phân tích chuyển động và độ nhất quán cho phép xác định hướng di chuyển chủ đạo của đám đông và mức độ đồng đều trong hành vi của các cá nhân. Kết quả này có thể được sử dụng để dự đoán các tình huống nguy hiểm hoặc để điều chỉnh luồng người. Tuy nhiên, độ chính xác của phân tích này phụ thuộc vào chất lượng của KLT tracker và khả năng xử lý các chuyển động phức tạp.

VI. Kết Luận và Hướng Phát Triển Nghiên Cứu Phân Tích Video

Luận văn đã trình bày một hệ thống hiệu quả cho việc phát hiện và phân tích đám đông trong video. Kết quả thực nghiệm cho thấy thuật toán đề xuất có tiềm năng ứng dụng cao trong nhiều lĩnh vực. Tuy nhiên, vẫn còn nhiều hướng phát triển để cải thiện độ chính xác, tốc độ xử lý, và khả năng ứng dụng trong các tình huống phức tạp hơn. Các hướng phát triển tiềm năng bao gồm tích hợp các thuật toán machine learning tiên tiến, sử dụng các kỹ thuật phần cứng xử lý video hiệu quả hơn, và mở rộng phạm vi ứng dụng sang các lĩnh vực mới.

6.1. Các Hướng Cải Tiến Thuật Toán Phát Hiện Đám Đông

Tích hợp các thuật toán machine learning tiên tiến như mạng nơ-ron tích chập (CNN) để cải thiện khả năng nhận diện và phân loại các đối tượng trong đám đông. Sử dụng các kỹ thuật xử lý ảnh nâng cao để giảm thiểu ảnh hưởng của nhiễu và cải thiện chất lượng video đầu vào. Phát triển các thuật toán thích ứng để xử lý các tình huống có điều kiện ánh sáng thay đổi hoặc có sự che khuất.

6.2. Mở Rộng Ứng Dụng An Ninh Giám Sát và Hơn Thế Nữa

Mở rộng phạm vi ứng dụng sang các lĩnh vực mới như an ninh giám sát thông minh, quản lý sự kiện quy mô lớn, và phân tích hành vi người tiêu dùng trong môi trường bán lẻ. Phát triển các hệ thống cảnh báo sớm để phòng ngừa các tình huống nguy hiểm trong đám đông. Tích hợp hệ thống phân tích đám đông với các hệ thống khác như hệ thống quản lý giao thông hoặc hệ thống điều khiển ánh sáng để tạo ra các giải pháp thông minh hơn.

Nội dung chính

Tổng quan nghiên cứu

Với sự gia tăng dân số và đô thị hóa nhanh chóng, hiện tượng đám đông người và giao thông ngày càng phổ biến, gây ra nhiều thách thức trong quản lý an ninh và điều tiết giao thông. Ước tính, các khu vực đô thị lớn thường xuyên xuất hiện các đám đông với mật độ và chuyển động phức tạp, đòi hỏi các hệ thống giám sát thông minh để phát hiện, phân tích và cảnh báo kịp thời. Luận văn tập trung phát triển một hệ thống nhận diện và phân tích đám đông trong video, nhằm xác định mật độ và phân tích chuyển động của vùng đám đông trong các tình huống thực tế. Phạm vi nghiên cứu bao gồm các video thực tế quay cảnh đám đông người đi bộ và giao thông tại các địa điểm khác nhau, trong khoảng thời gian từ đầu năm 2017 đến giữa năm 2017. Mục tiêu cụ thể là phát hiện vùng đám đông, ước lượng mật độ tương đối và phân tích độ nhất quán trong chuyển động của đám đông, từ đó hỗ trợ công tác giám sát an ninh và quản lý giao thông hiệu quả hơn. Kết quả nghiên cứu có ý nghĩa quan trọng trong việc nâng cao độ chính xác của các hệ thống giám sát video, góp phần giảm thiểu rủi ro do đám đông gây ra và cải thiện chất lượng dịch vụ công cộng.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết và mô hình chính để phát hiện và phân tích đám đông:

1. Phân tích đặc trưng hình ảnh bằng ma trận đồng xuất mức xám (GLCM - Gray Level Co-occurrence Matrix): Đây là phương pháp thống kê để mô tả các mối quan hệ không gian giữa các điểm ảnh trong hình, giúp nhận diện vùng đám đông dựa trên độ đồng nhất (Homogeneity) của các ô nhỏ trong khung hình. Đám đông thường có chỉ số đồng nhất thấp do sự đa dạng về mức xám.

2. Phân tích chuyển động bằng phương pháp Kanade-Lucas-Tomasi (KLT) tracker: Phương pháp này theo dõi các điểm đặc trưng trong video để xác định vector chuyển động giữa các khung hình liên tiếp, từ đó phân tích luồng chuyển động và độ nhất quán (collectiveness) của đám đông.

Các khái niệm chính bao gồm:

• Mật độ đám đông: Được phân loại thành các mức kẹt cứng, dày đặc, hạn chế và tự do dựa trên tỷ lệ các ô nhỏ chứa đám đông trong ô lớn.
• Độ nhất quán hành vi: Đánh giá sự đồng bộ trong chuyển động của các cá thể trong đám đông, từ cấp độ vùng lân cận đến toàn bộ đám đông.
• Gom nhóm cá thể: Thuật toán phân cụm dựa trên độ nhất quán để xác định các nhóm di chuyển cùng hướng trong đám đông.

Phương pháp nghiên cứu

Nguồn dữ liệu sử dụng là các video thực tế quay cảnh đám đông người và giao thông tại nhiều địa điểm khác nhau, bao gồm cả điều kiện ban ngày và ban đêm. Cỡ mẫu gồm hàng trăm khung hình được phân tích chi tiết.

Phương pháp phân tích gồm các bước:

• Chuyển đổi video thành chuỗi khung hình và xử lý ảnh mức xám.
• Phân chia khung hình thành các ô nhỏ (kích thước 20x20 pixel) và ô lớn (kích thước 120x120 pixel) để phân tích GLCM và nhận diện đám đông.
• Sử dụng ngưỡng đồng nhất để xác định sự xuất hiện của đám đông trong từng ô nhỏ.
• Ước lượng mật độ đám đông dựa trên số lượng ô nhỏ chứa đám đông trong ô lớn.
• Áp dụng thuật toán KLT tracker để theo dõi chuyển động các điểm ảnh đặc trưng giữa các khung hình liên tiếp.
• Tính toán độ nhất quán hành vi dựa trên ma trận trọng số và phân cụm các cá thể di chuyển cùng hướng.
• Thời gian nghiên cứu từ tháng 1 đến tháng 6 năm 2017, với các thử nghiệm và mô phỏng trên Matlab GUI.

Phương pháp chọn mẫu dựa trên các video có đặc điểm đa dạng về mật độ và chuyển động đám đông nhằm đảm bảo tính tổng quát và độ tin cậy của kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả nhận diện đám đông: Thuật toán dựa trên GLCM đạt độ chính xác trung bình 89,95% trong việc phát hiện các vùng đám đông trên video thực tế. Ví dụ, trong các video người đi bộ, tỷ lệ nhận diện đúng các ô chứa đám đông vượt 89%, trong khi tỷ lệ nhận diện sai chỉ chiếm khoảng 10%.

2. Ước lượng mật độ đám đông: Phân loại mật độ theo bốn mức (kẹt cứng, dày đặc, hạn chế, tự do) dựa trên tỷ lệ ô nhỏ chứa đám đông trong ô lớn. Ví dụ, ô lớn chứa hơn 75% ô nhỏ đám đông được xác định là kẹt cứng. Kết quả cho thấy phương pháp có thể phân biệt rõ ràng các mức mật độ với độ chính xác cao, đặc biệt trong các cảnh có mật độ cao.

3. Phân tích chuyển động: Sử dụng KLT tracker, hệ thống xác định được hướng và vận tốc chuyển động của các điểm ảnh đặc trưng. Trong các video người đi bộ băng qua đường, chuyển động đồng hướng được phát hiện rõ ràng với độ nhất quán cao (độ nhất quán khoảng 0.7). Trong khi đó, các video có chuyển động lộn xộn cho kết quả độ nhất quán thấp hơn (khoảng 0.38).

4. Phân tích độ nhất quán và gom nhóm: Thuật toán phân cụm dựa trên độ nhất quán hành vi thành công trong việc nhóm các cá thể di chuyển cùng hướng. Ví dụ, trong video giao thông, các nhóm xe di chuyển đồng bộ được phân biệt rõ ràng với độ nhất quán cao, hỗ trợ dự báo nguy cơ ùn tắc hoặc tai nạn.

Thảo luận kết quả

Kết quả nhận diện và phân tích mật độ đám đông dựa trên GLCM cho thấy ưu điểm vượt trội trong việc xử lý hình ảnh tĩnh, không cần dữ liệu huấn luyện phức tạp. Tuy nhiên, một số cảnh vật tĩnh như tay vịn thang máy hoặc ánh đèn ban đêm đôi khi bị nhận diện nhầm thành đám đông, ảnh hưởng đến độ chính xác. So với các nghiên cứu trước đây sử dụng mô hình Social Force hay Optical Flow, phương pháp này đơn giản hơn nhưng vẫn đảm bảo độ chính xác cao trong nhiều tình huống.

Phân tích chuyển động bằng KLT tracker cho phép theo dõi chi tiết luồng di chuyển trong đám đông, giúp đánh giá độ nhất quán hành vi. So với các mô hình phức tạp như SAEM hay MDA, phương pháp này có ưu điểm về tính khả thi và hiệu quả tính toán trên video thực tế. Tuy nhiên, trong điều kiện ánh sáng yếu hoặc đám đông có chuyển động phức tạp, độ chính xác giảm do khó nhận diện điểm ảnh chuyển động.

Việc gom nhóm cá thể dựa trên độ nhất quán hành vi giúp phát hiện các nhóm di chuyển đồng bộ, có thể ứng dụng trong cảnh báo sớm các tình huống bất thường hoặc nguy hiểm. Kết quả này phù hợp với các nghiên cứu trong lĩnh vực computer vision về phân tích hành vi đám đông.

Dữ liệu có thể được trình bày qua các biểu đồ độ chính xác nhận diện, biểu đồ phân bố mật độ đám đông theo các mức, và bảng thống kê độ nhất quán hành vi trong các video thử nghiệm, giúp minh họa rõ ràng hiệu quả của hệ thống.

Đề xuất và khuyến nghị

1. Cải tiến thuật toán nhận diện đám đông: Tăng cường xử lý tiền cảnh để loại bỏ các vật thể tĩnh gây nhiễu như tay vịn thang máy hoặc ánh đèn ban đêm, nhằm giảm tỷ lệ nhận diện sai. Thời gian thực hiện dự kiến 6 tháng, do nhóm nghiên cứu và kỹ sư phần mềm thực hiện.

2. Tích hợp mô hình học sâu: Áp dụng các mô hình deep learning để nâng cao khả năng phân biệt đám đông và vật thể tĩnh, đặc biệt trong điều kiện ánh sáng yếu hoặc phức tạp. Mục tiêu tăng độ chính xác nhận diện lên trên 95% trong vòng 1 năm, phối hợp với các chuyên gia AI.

3. Phát triển hệ thống cảnh báo tự động: Dựa trên kết quả phân tích mật độ và độ nhất quán hành vi, xây dựng module cảnh báo sớm các tình huống nguy hiểm như ùn tắc giao thông hoặc đám đông bất thường. Thời gian triển khai 9 tháng, phối hợp với đơn vị quản lý an ninh và giao thông.

4. Mở rộng thử nghiệm thực tế: Thu thập và phân tích thêm các bộ dữ liệu video đa dạng về địa điểm, thời gian và điều kiện ánh sáng để đánh giá toàn diện hiệu quả hệ thống. Kế hoạch thực hiện trong 12 tháng, hợp tác với các cơ quan quản lý đô thị.

Đối tượng nên tham khảo luận văn

1. Các nhà nghiên cứu và sinh viên ngành kỹ thuật điện tử, computer vision: Luận văn cung cấp phương pháp và thuật toán chi tiết về nhận diện và phân tích đám đông, hỗ trợ phát triển các đề tài nghiên cứu liên quan.

2. Chuyên gia phát triển hệ thống giám sát an ninh: Các giải pháp nhận diện đám đông và phân tích chuyển động giúp nâng cao hiệu quả giám sát, cảnh báo sớm các tình huống bất thường.

3. Cơ quan quản lý giao thông đô thị: Ứng dụng kết quả nghiên cứu để theo dõi mật độ giao thông, dự báo ùn tắc và điều phối phương tiện hiệu quả hơn.

4. Doanh nghiệp phát triển phần mềm giám sát video: Tham khảo các thuật toán và giao diện mô phỏng Matlab GUI để tích hợp vào sản phẩm giám sát thông minh.

Câu hỏi thường gặp

1. Phương pháp GLCM có phù hợp với mọi điều kiện ánh sáng không?
   Phương pháp GLCM hoạt động tốt trong điều kiện ánh sáng đầy đủ, nhưng trong điều kiện ánh sáng yếu hoặc ban đêm, có thể xảy ra nhận diện sai do ánh đèn được hiểu nhầm là đám đông. Ví dụ, trong video ban đêm, vùng đèn chiếu bị nhận diện thành vùng đám đông lớn.

2. KLT tracker có thể theo dõi chuyển động trong đám đông phức tạp không?
   KLT tracker hiệu quả trong việc theo dõi chuyển động đồng bộ, nhưng khi đám đông có chuyển động lộn xộn hoặc mật độ cao, độ chính xác giảm do khó xác định điểm ảnh đặc trưng. Ví dụ, trong nhà ga đông người, chuyển động cá nhân khác nhau gây khó khăn cho phân tích.

3. Hệ thống có thể phân biệt đám đông người và phương tiện giao thông không?
   Hệ thống nhận diện dựa trên đặc trưng hình ảnh và chuyển động, có thể phát hiện cả đám đông người và xe cộ. Tuy nhiên, một số xe cộ có thể bị nhận diện thiếu do trùng với cảnh trí tĩnh hoặc bị che khuất.

4. Độ nhất quán hành vi của đám đông được tính toán như thế nào?
   Độ nhất quán được tính dựa trên ma trận trọng số giữa các cá thể trong vùng lân cận và trên các đường dẫn khác nhau, phản ánh sự đồng bộ trong chuyển động. Ví dụ, đám đông di chuyển cùng hướng có độ nhất quán cao (khoảng 0.7), trong khi đám đông lộn xộn có độ nhất quán thấp (khoảng 0.38).

5. Hệ thống có thể ứng dụng trong giám sát an ninh thực tế không?
   Có, hệ thống đã được thử nghiệm trên nhiều video thực tế với độ chính xác cao, phù hợp để cảnh báo sớm các tình huống bất thường trong đám đông và hỗ trợ quản lý giao thông. Tuy nhiên, cần cải tiến thêm để xử lý các trường hợp phức tạp như ánh sáng yếu hoặc vật thể tĩnh gây nhiễu.

Kết luận

• Luận văn đã phát triển thành công hệ thống nhận diện và phân tích đám đông trong video dựa trên phương pháp GLCM và KLT tracker với độ chính xác nhận diện trung bình đạt gần 90%.
• Hệ thống có khả năng ước lượng mật độ đám đông và phân tích chuyển động, đánh giá độ nhất quán hành vi, hỗ trợ dự báo nguy hiểm trong đám đông.
• Kết quả thử nghiệm trên các video thực tế đa dạng cho thấy tính khả thi và hiệu quả của phương pháp trong nhiều tình huống khác nhau.
• Các hạn chế như nhận diện sai trong điều kiện ánh sáng yếu và vật thể tĩnh được xác định, làm cơ sở cho các hướng cải tiến tiếp theo.
• Đề xuất phát triển thêm các thuật toán học sâu, hệ thống cảnh báo tự động và mở rộng thử nghiệm thực tế trong thời gian tới nhằm nâng cao hiệu quả ứng dụng.

Hành động tiếp theo là triển khai các giải pháp cải tiến và phối hợp với các đơn vị quản lý để ứng dụng hệ thống vào thực tế, góp phần nâng cao an ninh và quản lý giao thông đô thị.

Trích đoạn nội dung tài liệu

ĐẠI HỌC QUỐC GIA TP.HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA TRƯƠNG HOÀNG TRÍ PHÁT HIEN VA PHAN TÍCH VUNG DAM DONG TRONG VIDEO Chuyên ngành: Kỹ thuật điện tử. Mã số: 1570367 LUẬN VĂN THẠC SĨ TP.HO CHÍ MINH, thang 6 năm 2017. CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRUONG ĐẠI HOC BACH KHOA —DHQG -HCM Cán bộ hướng dẫn khoa học : e.ececssesesessssscscesesessscscscesesvevscscscesesvavscseeeeas (Ghi rõ ho, tên, học hàm, học vi và chữ ký) Cán bộ chấm nhận xét Ï :.- 2c Se S333 ESESEEESESEEEESEEEEEErErEEeerererrres (Ghi rõ ho, tên, học hàm, học vi và chữ ký) Cán bộ chấm nhận xét 2 : .- Ga SE Set ESESEE5ESESEEESEEEEEErEEEEsErererrres (Ghi rõ ho, tên, học hàm, học vi và chữ ký) Luận văn thạc sĩ được bảo vệ tại Trường Dai học Bách Khoa, DHQG Tp. Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: (Ghi rõ ho, tên, học hàm, học vi của Hội đông cham bảo vệ luận văn thạc si) Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lý chuyên ngành sau khi luận văn đã được sửa chữa (nêu có).

CHỦ TỊCH HỘI ĐÔNG TRƯỞNG KHOA. ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM Độc TRƯỜNG ĐẠI HỌC BÁCH KHOA lập - Tự do - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Trương Hoàng Trí MSHV:1570367 Ngay, thang, nam sinh: 10/11/1991 Noi sinh: TP.HCM Chuyên ngành: Kỹ thuật điện tử Mã số : 60520203 I. TÊN DE TÀI: Phát hiện và phân tích đám đông trong video Il. NHIEM VU VA NOI DUNG: Phát hiện, xác định mật độ và phân tích chuyển động của vùng đám đông trong hình ảnh Ill.

NGÀY GIAO NHIEM VU: 16/01/2017 IV. NGÀY HOÀN THÀNH NHIEM VU: 18/06/2017 V. CÁN BO HUONG DÂN: Tiến sĩ Trương Công Dung Nghi Tp. CÁN BỘ HƯỚNG DÂN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO (Họ tên và chữ ký) (Họ tên và chữ ký) TRUONG KHOA.

(Họ tên và chữ ky) Ghi chú: Học viên phải đóng tờ nhiệm vu này vào trang đấu tiên của tập thuyết minh LV LỜI CÁM ƠN Được sự phân công của nhà trường, khoa điện — điện tử và sự đồng ý của giáo viên hướng dẫn TS. Trương Công Dung Nghi, em đã thực hiện luận văn thạc sĩ chuyên ngành kỹ thuật điện tử với đề tài “Phát hiện và phân tích đám đông trong video”. Qua trang viết này em xin gửi lời cảm ơn tới những người đã giúp đỡ em trong thời gian học tap, nghiên cứu luận văn thời gian qua. Trước hết, em xin được tỏ lòng biết ơn và gửi làm cảm ơn chân thành đến TS.

Trương Công Dung Nghi. Cô là người đã trực tiếp hướng dẫn và tận tình chi bảo trong công việc nghiên cứu, tìm kiếm tài liệu, xử lý và phân tích vẫn đề của luận văn. Nhờ cô mà em có thê hoàn thành luận văn cao học. Ngoài ra, em cũng xin chân thành cảm ơn quý đồng nghiệp, gia đình và bạn bè cùng khóa đã luôn động viên và hỗ trợ em trong suốt quá trình nghiên cứu và hoàn thành luận văn này.

TÁC GIÁ Trương Hoàng Trí TÓM TAT Với sự gia tăng của dân số, các đám đông con người và giao thông xuất hiện ngày càng phổ biến. Qua đó, việc nhận diện va phân tích đám đông ngày càng trở nên quan trọng hơn. Trong luận văn này, em xin giới thiệu một hệ thống nhận diện và phân tích đám đông trong video trong các tình huống đám đông người đi bộ và giao thông khác nhau thông qua cách phân tích ma trận mức xám cũng như ma trận chuyển động của hình ảnh. Kết quả thực hiện trên các video thực tế cho thay thuat toan ma luận văn đề ra có thé nhận diện, xác định mật độ, phân tích chuyển động cũng như độ nhất quán của đám đông rat tốt.

ABSTRACTS With the growth of population, pedestrians and traffic crowd phenomenon has become more and more frequent. Thereby, crowd identification and analysis of is becoming more and more important. In this thesis, we introduce one system that can detect and analyze crowd based on Gray-level matrix and motion flow method. The experimental results revealed that the proposed method perform seffectively for detecting crowd, estimating crow density, analyzing optical flow and measuring crowd collectiveness.

LỜI CAM ĐOAN Tôi xin cam đoan đây là công trình nghiên cứu của riêng tôi. Các số liệu, kết quả trong dé tai này là trung thực và chưa công bố dưới bất kỳ hình thức nào trước đây. Tất cả những tham khảo và kế thừa cho việc thực hiện luận văn này đã được cảm ơn và các thông tin trích dẫn trong luận văn đã được chỉ rõ nguồn gốc rõ ràng và được phép công bố.HCM, ngay thang năm Học viên thực hiện Trương Hoàng Trí I.- SG k1 5E TT 1H11 111111111 greg 9 1. Giới thiệu về để tài:.

sec r rHeHgH re 9 1. Muc tiêu, nhiệm vụ và phạm vi để tÀI:. tt Hn HH ng ng ng gen reo 10 1. Mục tiêu của dé taiz ees eeceeceesseecseesseessecesecesscesscesscensceneeeneesneesneesneesneesneen 10 1.

Nhiệm vụ của để tis oe eceeceecseesseesseceseceseecsecesceseceneceneeeneeeneenneesneesneen 10 1. Phạm vi của đề tài:. Tổ chức luận văn:. Tình hình nghiên cứu trong và ngoài nñước:.

Nhận diện bất thường trong đám đông:. Phat hiện và xác định mật độ đám đông:. Phan tích vận động của đám đông:. Nhận biết và phân tích vận động đám đông:.

Nhận diện vùng dam dOng?. Phan tích mật độ đám đông:. Phát hiện và theo dõi đặc trưng băng phương pháp Kanade — Lucas — Tomasi CLT tracker): 171. Phân tích độ nhất quán (collectiveness) của đám đông:.

Sự xuất hiện của các tập hợp khác nhau trong đám đông:. Độ thống nhất hành vi của vùng lân cận. D6 thống nhất hành vi trên các đường dẫn của các tập hợp khác nhau:. Độ nhất quán của từng cá thỂ:.

- - - kkSE*ESESESEEExExSk ke rerrrkd 33 3. Độ nhất quán của đám đông:. Cac tính chất của độ quán tính:. Gom nhóm các tập hợp lại với nhau:.

Mô phỏng và thử nghiỆm:. Video đầu VàO:. Gilad diện mô phÒng:. Kết quả mô phỏng:.

--- + SxSxSSSt 3S S1 E1 119151 11111111 111gr greg 39 4. Nhận biết đám đông: .-- -- - csStSt St EE 1915151 1 11111 E1 xrkrkrkeed 39 4. Xác định mật độ đám đông:. Phan tích chuyển động đám đông:.

Phân tích độ nhất quán của đám đông:. Kết quả phân tích trên video ban đêm:. Tổng kết và hướng phát trién đề tài:. Đánh giá kết quả đạt ẨƯỢC:.i-G- s11 SE ST HH ng rreg 47 5.

Kết quả phân tích nhận diện và xác định mật độ dam đông:. Kết quả phân tích chuyển động và độ nhất quán của đám đông:. Hướng phát triển của dé tải:.- - - k9 SE ST HH ng ng rreg 54 Tài liệu tham Khao?. ------ - 2220661013301 111118050 11111001111 vớ 55 Luận văn này xin trình bay một hệ thông giám sát đám đông có thé thực hiện được 3 nhiệm vụ chính: phát hiện và khoanh vùng khu vực đông đúc trong hình ảnh, xác định mật độ đám đông trong hình và phân tích vận động của đám đông.

Cốt lõi của phương pháp tiếp cận của luận văn đưa ra được dựa trên việc: e Phan tích đặc trưng (features) dé khoanh vùng và xác định mật độ đám đông. e Sử dụng phương pháp KLT tracking va phân tích độ nhất quán của đám đông (crowd collectiveness) dé phân tích vận động của đám đông. Với sự tăng trưởng dân số và đô thị hóa trên toàn thế giới, hiện tượng đám đông đã trở nên nhiều hơn, thường xuyên hơn và phức tạp hơn. Từ đó, giám sát đám đông là một chủ dé rất quan trong trong lĩnh vực giám sát video.

Một đám đông xuất hiện có thể đại diện cho sự cố giao thông (ách tắc, kẹt xe) hoặc sự bất thường trong hoạt động thường ngày (đám đông xuất hiện bất thường). Bang cách áp dụng các phương pháp phân tích, ta có thể nhận biết rõ được các vùng có đám đông từ đó tìm ra cách dé điều chỉnh đám đông cho thích hợp. Mục tiêu của dé tải: Giám sát đám đông là một chủ dé rất quan trong trong lĩnh vực giám sát video hiện nay, vì vậy: > Thong qua việc phát hiện vùng dam đông, ta có thề cảnh báo sự tụ tập bất thường hoặc tụ tập tại những khu vực cam, từ đó gởi cảnh báo đến nhân viên an ninh. - Ước lượng mật độ đám đông để ứng dụng vào bài toán giám sát giao thông.

- Tw việc phân tích chuyển động đám đông và ước lượng độ nhất quán trong hành vi của các cá nhân trong tập hợp đám đông. ta có thể dự báo nguy hiểm trong hoạt động của đám đông. Nhiệm vụ của đề tat: ° Phat hiện và khoanh vùng khu vực đông đúc trong video dựa trên việc phân tích đặc trưng (features) của ảnh. - Ước lượng mật độ tương đối của vùng đám đông.

- Phan tích chuyển động của đám đông. - Hé thống được kiểm nghiệm trên các video thực tế với nhiều tình huống phức tạp. Phạm vị của dé tai: Dé tài luận văn này sẽ được thực hiện với đáp ứng đâu vào là video và đâu ra hình ảnh đã khoanh vùng, đánh giá mật độ và sự vận động của đám đông với độ chính xác cao. Hệ thống sẽ được thiết kế hoạt động trên các bộ dữ liệu video lay từ thực tế.

10 Luận văn sẽ đi qua các mục chính sau: 1) Xem qua các nghiên cứu trong và ngoài nước về đê tài của luận văn. 2) Phân tích rõ về các phương thức nhận biệt va phân tích đám đông. 3) Tiên hành mô phỏng và thử nghiệm. 4) Kêt luận và thảo luận về các cải tiên có thê trong tương lai.

Tinh hình nghiên cứu trong và ngoài nước: Quan sát đám đông và phân tích các đặc tính của nó đang là một lĩnh vực được nghiên cứu nhiêu trong lĩnh vực computer vision. Trong phân luận văn này, em xin đưa ra một sô lĩnh vực nghiên cứu đặc trưng đê người đọc có thê kham thảo: 2. Nhận diện bất thường trong đám đông: Nghiên cứu của R. Mehran [1] nhận diện bất thường trong đám đông bang cách sử dụng mô hình Social Force.

Hướng tiếp cận này giúp cung cấp độ chắc chăn cho các tắc nghẽn và lộn xộn trong hình. Ngược lại, nghiên cứu của S. Biswas [2] sử dụng phương pháp theo dõi các thành phan riêng lẻ dé tính toán cho mô hình Optical Flow. Ưu điểm của phương pháp nay là nó có thé không cần phải tranning.

Cả 2 phương pháp này đều chỉ ra được các vùng hoạt động bất thường của đám đông. Tuy nhiên, độ chính xác của chúng đều không được cao khi thực nghiệm trên các bộ dữ liệu trên web (web dataset).1: a) Vi dụ về phân tích Social Force trong [1]; b) Ví du về phân tích Optical flow trong [2]. 12 Nghiên cứu của Y.