Chương 1 TỔNG QUAN 1.1 TÌNH HÌNH NGHIÊN CỨU Những năm gần đây, do tốc độ phát triển dân số thành thị tăng nhanh nên nhu cầu quản lý an ninh công cộng cũng trở thành vấn đề thiết yếu ở các thành phố lớn. Ngoài ra, việc quản lý mật độ tham gia giao thông ở các nước mà người dân sử dụng phương tiện giao thông chủ yếu là xe máy như Việt Nam cũng là một vấn đề đáng quan tâm. Do đó, việc đếm và ước tính số lượng người trong đám đông một cách chính xác đóng vai trò rất quan trọng. Đặc biệt là trong tình hình hiện nay, đại dịch Covid-19 đã và đang lan rộng khắp thế giới và cướp đi sinh mạng của nhiều người.
Hầu hết các quốc gia đều thực hiện nghiêm túc các biện pháp chống dịch như các quy tắc giãn cách xã hội để giữ mọi người có một khoảng cách an toàn. Tuy nhiên, ở nhiều quốc gia, người dân vẫn tụ tập tại các lễ hội truyền thống, sự kiện thể thao, lễ hội âm nhạc hoặc các bữa tiệc gia đình khiến đại dịch khó kiểm soát. Vì vậy, việc phân tích đám đông rất quan trọng trong việc làm cho địa điểm công cộng trở nên an toàn hơn. Một trong những nhiệm vụ cơ bản nhất để phân tích đám đông là đếm số lượng người trong đám đông.
Nhiều nghiên cứu liên quan đến nhiệm vụ này đã được đề xuất trong những năm gần đây, những nghiên cứu này có thể được chia thành hai hướng chính: dựa trên phát hiện (detection) và dựa trên hồi quy (regression) [1]. Trong cách tiếp cận đầu tiên, số lượng người trong đám đông được ước tính bằng cách phát hiện cơ thể hoặc đầu của họ. Nhưng cách tiếp cận này sẽ khó triển khai trong các hình ảnh đám đông dày đặc do che khuất nghiêm trọng của những người trong đám đông. Do đó, cách tiếp cận thứ hai đã được đề xuất.
Trong cách tiếp cận này, người ta ước tính bản đồ mật độ đám đông của một hình ảnh nhất định trước và sau đó tính tổng tất cả các giá trị của nó để đưa ra số lượng người trong đám đông.1: Vấn đề thay đổi tỷ lệ kích thước của người trong ảnh [3]. Với sự thành công của công nghệ học sâu (deep learning), đặc biệt là mạng nơ-ron tích chập, bản đồ mật độ đám đông ngày càng được ước tính một cách chính xác hơn. Tuy nhiên, việc đếm số lượng người trong đám đông vẫn là một nhiệm vụ đầy thách thức do sự thay đổi lớn của tỷ lệ kích thước của người trong ảnh, sự che khuất, nhiễu nền và biến dạng phối cảnh [1, 2]. Trong số đó, sự thay đổi tỷ lệ kích thước của người trong ảnh là vấn đề chính ảnh hưởng đến chất lượng của việc đếm đám đông.
Nguyên nhân dẫn đến vấn đề này là do khoảng cách từ người đến máy ảnh, kích thước của người sẽ tỉ lệ nghịch với khoảng cách từ người đến máy ảnh như được thể hiện ở Hình 1. Vấn đề này cũng đã thu hút sự chú ý của nhiều nghiên cứu gần đây [1, 3, 4, 5]. Cách truyền thống để giải quyết vấn đề này là áp dụng cấu trúc đa tỷ lệ (multi-scale) [6, 7] hoặc nhiều cột (multi-column) [8, 9] để kết hợp thông tin từ các tỷ lệ kích thước của người khác nhau. Tuy nhiên, các phương pháp này được thiết kế với các tỷ lệ và cột rời rạc, chúng vẫn còn những hạn chế khi giải quyết các vấn đề biến đổi tỷ lệ kích thước của người liên tục trong các tình huống thực tế.
Bên cạnh đó, khi tăng số lượng cột hoặc các tỷ lệ để giải quyết các vấn đề về biến đổi tỷ lệ kích thước của người sẽ dẫn đến chi phí tính toán cũng tăng lên và gây lãng phí tài nguyên cả về thời gian xử lý cũng như phần cứng cần thiết để xử lý. Để giải quyết vấn đề này, Feng Dai et al. đề xuất DSNet [1] để đếm số lượng người trong đám đông. Trong nghiên cứu này, các khối tích chập giãn nở dày đặc (dense dilated convolution blocks - DDCB) đã được đề xuất để các đặc trưng đầu ra thu thập được các tỷ lệ kích thước của người khác nhau với mật độ dày đặc.
Bằng cách kết hợp các tỉ lệ giãn nở (dilation rate) khác nhau trong một khối và xếp chồng nhiều khối cùng với các residual connection, DSNet đã có thể đạt được phạm vi tỷ lệ kích thước của người lớn và có thể giải quyết 2 vấn đề biến đổi tỷ lệ kích thước của người trong ảnh lớn trong nhiệm vụ đếm số lượng người trong đám đông. Ngoài ra, để giải quyết các biến đổi tỷ lệ kích thước của người trong ảnh liên tục, PGCNet [4] đã sử dụng thông tin phối cảnh để phân bổ các trường tiếp nhận (receptive fields) biến đổi theo không gian một cách thích nghi. Tuy nhiên, mạng này cũng khá phức tạp và mất nhiều thời gian để xử lý vì nó cần thêm một mạng riêng biệt để xử lý công việc ước lượng phối cảnh. Bên cạnh đó, mạng này có thể đạt được kết quả rất kém nếu đào tạo theo kiểu end-to-end.
Một cách tiếp cận khác được sử dụng gần đây để giải quyết vấn đề biến đổi tỷ lệ kích thước của người là học đa tác vụ (multi-task learning). Với cách tiếp cận này, ngoài nhiệm vụ chính là ước tính bản đồ mật độ đám đông, mạng chính còn được huấn luyện để xử lý đồng thời các nhiệm vụ phụ khác để nhúng thông tin có liên quan đến sự biến đổi tỷ lệ kích thước của người trong ảnh. Lợi ích của cách tiếp cận này là nhiều tác vụ có thể được huấn luyện đồng thời theo cách end-to-end, bên cạnh đó các tác vụ phụ có thể dễ dàng loại bỏ khỏi mạng để giảm chi phí tính toán trong giai đoạn vận hành. Các nhiệm vụ phụ được lựa chọn khác nhau trong các nghiên cứu khác nhau.
Trong [5, 10, 11], các tác giả đã thêm nhiệm vụ phân loại mức độ mật độ vào mô hình chính để cải thiện chất lượng đếm đám đông. Trong [12], bên cạnh việc giải quyết vấn đề biến đổi tỷ lệ kích thước của người trong ảnh, dữ liệu đào tạo cũng được tăng lên để thúc đẩy hiệu suất bằng cách thêm nhiệm vụ xếp hạng mật độ. Tuy nhiên, trong các phương pháp này, để huấn luyện nhiều tác vụ đồng thời, các bộ dữ liệu phải chứa tất cả các loại nhãn của các tác vụ khác nhau. Việc chuẩn bị các bộ dữ liệu như vậy vừa tốn thời gian vừa tốn công sức.
Do đó, DAnet [3] đã đề xuất sử dụng các bộ dữ liệu riêng biệt trong qua trình huấn luyện. Trong nghiên cứu này, tác giả đã nhúng thông tin độ sâu (một trong những thông tin có liên quan đến sự biến đổi tỷ lệ kích thước của người) vào mạng đếm số lượng người trong đám đông bằng tập dữ liệu ước tính độ sâu trong quá trình đào tạo. Kết quả của nghiên cứu này cho thấy việc nhúng thông tin độ sâu giúp cho hiệu suất của việc đếm số lượng người trong đám đông được cải thiện. 3 Do đó, tôi đề xuất giải quyết vấn đề biến đổi tỷ lệ này bằng cả hai cách trực tiếp và gián tiếp một cách đồng thời: (1) học trực tiếp các đặc trưng tỷ lệ dày đặc bằng cách áp dụng các khối tích chập giãn nở dày đặc (dense dilated convolution block) trong bộ mã hóa; (2) nhúng thông tin tỷ lệ kích thước của người một cách gián tiếp vào mạng bằng cách huấn luyện bộ mã hóa đồng thời với tập dữ liệu ước tính độ sâu.
Học trực tiếp giúp làm phong phú thêm các đặc trưng của mạng trong khi học gián tiếp thông qua một tập dữ liệu liên quan khác không chỉ bổ trợ thông tin cần thiết vào mạng mà còn giải quyết vấn đề thiếu dữ liệu. Bên cạnh đó, bằng cách loại bỏ tác vụ phụ trong giai đoạn vận hành, chi phí tính toán cũng sẽ không tăng lên. Kết quả của các thí nghiệm cho thấy rằng bằng cách học đồng thời bằng cả hai cách trực tiếp và gián tiếp, phương pháp được đề xuất có thể giải quyết vấn đề biến đổi tỷ lệ kích thước của người trong ảnh một cách hiệu quả và vượt trội hơn các phương pháp hiện tại.2 MỘT SỐ THÁCH THỨC CỦA ƯỚC LƯỢNG MẬT ĐỘ NGƯỜI TRONG ĐÁM ĐÔNG Việc ước lượng mật độ người trong đám đông vẫn còn nhiều thách thức, dưới đây là một số thách thức chính của việc ước lượng mật độ người trong đám đông: - Che khuất (Occlusion): Khi mật độ người trong đám đông tăng lên sẽ dẫn đến hiện tượng người trong đám đông che khuất lần nhau, điều này sẽ làm giảm độ chính xác của các mô hình ước lượng số lượng người trong đám đông.2(a) là một ví dụ cho vấn đề này. - Nền phức tạp (Complex Background): Vùng nền (vùng không có người xuất hiện) có thể có các vật thể có hình dáng hay màu sắc tương tự với người, những vật thể này có thể gây nhầm lẫn và giảm độ chính xác của việc ước tính mật độ người trong đám đông.2(b) là một trong những trường hợp ảnh của nền phức tạp.
- Sự thay đổi tỉ lệ của người trong ảnh (Scale variation): nguyên nhân của vấn đề này là kích thước của người sẽ thay đổi theo khoảng cách từ người đến máy ảnh. Cụ thể hơn, người ở vị trí càng gần máy ảnh sẽ càng lớn và ngược lại.2(c) là một trường hợp tỉ lệ kích thước người trong ảnh có sự thay đổi. Đây cũng là vấn đề được nghiên cứu nhiều nhất hiện nay. - Sự phân bố không đồng đều (Non-uniform distribution): để hiểu hơn về vấn đề này, ta có thể nhìn vào Hình 1.
Trong hình này, ta có thể thấy được sự phân bố mật độ người không đồng đều trong ảnh, có vùng rất đông người và có vùng rất thưa thớt. - Sự biến dạng phối cảnh (Perspective Distortion): Sự biến dạng phối cảnh sẽ dẫn đến vấn đề thay đổi tỉ lệ người trong ảnh, vấn đề này có liên quan đến việc hiệu chỉnh camera.2(e) là một ví dụ cho sự biến dạng phối cảnh. - Sự xoay của ảnh (Rotation): Vấn đề này có liên quan đến các tư thế chụp hoặc góc chụp khác nhau của camera.2(f) là một ví dụ cho vấn đề này. - Sự biến đổi ánh sáng (Illumination variation): Ánh sáng có thể thay đổi theo từng thời điểm khác nhau trong một ngày, thường là từ tối đến sáng.2(g), ta có thể thấy trên cùng một bức ảnh nhưng có rất nhiều điều kiện ánh sáng khác nhau từ tối cho đến sáng.