Bối cảnh và vấn đề nghiên cứu

Khóa luận tốt nghiệp "Ước lượng giãn cách xã hội trong video giám sát" được thực hiện bởi sinh viên Huỳnh Minh Tuấn (ngành Khoa học Máy tính, Trường Đại học Công nghệ Thông tin – Đại học Quốc gia Thành phố Hồ Chí Minh) dưới sự hướng dẫn của TS. Mai Tiến Dũng vào năm 2021. Đề tài được triển khai trong bối cảnh đại dịch Covid-19 bùng phát trên toàn cầu, khi các quy định về giãn cách xã hội (duy trì khoảng cách vật lý tối thiểu từ 1,8 m đến 2 m giữa người với người) trở thành biện pháp y tế cộng đồng bắt buộc nhằm làm chậm tốc độ lây lan của virus SARS-CoV-2 và giảm tải áp lực cho hệ thống y tế.

Trong thực tế, việc kiểm soát và giám sát việc tuân thủ quy định giãn cách tại các khu vực tập trung đông người như trung tâm thương mại, nhà ga, tuyến phố công cộng chủ yếu dựa vào nhân lực hoặc hệ thống camera an ninh sẵn có nhưng chưa có cơ chế đo lường khoảng cách tự động. Bài toán ước lượng giãn cách xã hội trong video giám sát được đặt ra với mô hình tổng quát:

  • Đầu vào: Hình ảnh hoặc khung hình video nhận diện được ít nhất hai người.
  • Đầu ra: Khoảng cách vật lý ước lượng được giữa mỗi cặp hai người trong khung hình để xác định vi phạm quy chuẩn an toàn.

Mục tiêu nghiên cứu được xác định cụ thể trong văn bản bao gồm:

  1. Tìm hiểu các phương pháp ước lượng khoảng cách trong video giám sát.
  2. Đánh giá các cách tính khoảng cách giữa mỗi hai người trong video.
  3. Thực nghiệm với dữ liệu thực tế nhằm kiểm tra phương pháp nào cho kết quả tốt hơn.

Để thực hiện các mục tiêu trên, tác giả phân chia nhiệm vụ nghiên cứu thành hai nội dung chính:

  • Nội dung 1: Khảo sát, đánh giá các công trình liên quan, phân tích ưu nhược điểm của từng hướng tiếp cận để lựa chọn giải pháp phù hợp với năng lực tính toán.
  • Nội dung 2: Khảo sát chi tiết và cài đặt các phương pháp ước lượng giãn cách xã hội được lựa chọn; xây dựng chương trình thử nghiệm; thực nghiệm đánh giá trên các bộ dữ liệu chuẩn có sẵn cùng dữ liệu video tự thu thập.

Đối tượng nghiên cứu của khóa luận là các giải pháp, thuật toán ước lượng khoảng cách giữa người với người trong không gian ảnh 2D từ video giám sát. Phạm vi nghiên cứu tập trung vào môi trường xử lý thị giác máy tính, dữ liệu đầu vào là các luồng video giám sát cố định tại các khu vực công cộng; thời gian thực hiện nghiên cứu từ ngày 07/09/2020 đến ngày 02/01/2021. Khóa luận tập trung giải quyết hai thách thức kỹ thuật trọng tâm:

  1. Thách thức về khoảng cách thực tế: Chuyển đổi và quy đổi giá trị khoảng cách hình học đo bằng đơn vị pixel trên ảnh 2D về đơn vị đo lường thực tế (mét hoặc xentimét) do ảnh hưởng từ góc nghiêng và độ phối cảnh của camera.
  2. Thách thức về che khuất (occlusion): Xử lý hiện tượng các đối tượng người che khuất lẫn nhau trong khung hình khi mật độ đám đông tăng cao, gây khó khăn cho khâu nhận dạng và xác định vị trí chân thực tế.

Cơ sở lý thuyết và phương pháp

Khóa luận kết hợp lý thuyết quang học máy ảnh, hình học phối cảnh và các mô hình học sâu (Deep Learning) nhằm xây dựng hai phương pháp ước lượng khoảng cách riêng biệt.

Khung lý thuyết và khái niệm nền tảng

  • Đơn vị đo Pixel: Là đơn vị cơ bản cấu tạo nên ảnh số 2D. Mọi phép đo trực tiếp trên khung hình đều mang giá trị pixel và cần được ánh xạ sang không gian thực.
  • Thấu kính hội tụ và quang học camera: Ứng dụng mô hình tạo ảnh qua thấu kính mỏng để thiết lập mối quan hệ hình học giữa tiêu cự ống kính camera ($F$), khoảng cách từ vật thể đến tâm ống kính ($D$), chiều cao thực tế của vật thể ($H$) và độ cao của vật thể trên ảnh tính bằng pixel ($P$).
    • Công thức xác định tiêu cự: $$F = \frac{P \times D}{H} \quad (\text{đơn vị: pixel})$$
    • Công thức ước lượng khoảng cách từ đối tượng đến camera: $$D' = \frac{H \times F}{P} \quad (\text{đơn vị: centimet})$$
  • Vùng quan tâm (Region of Interest - ROI): Sử dụng kỹ thuật mặt nạ nhị phân (mask) để giới hạn phạm vi tính toán trên mặt sàn, loại bỏ các vùng không chứa đối tượng nhằm tối ưu hóa tài nguyên tính toán.
  • Độ đo khoảng cách:
    • Khoảng cách Euclid (Euclidean distance): Tính khoảng cách đường thẳng giữa hai điểm tọa độ không gian: $$d(p, q) = \sqrt{(p_1 - q_1)^2 + (p_2 - q_2)^2 + \dots + (p_n - q_n)^2}$$
    • Định lý Pytago: Đo khoảng cách hình học trên mặt phẳng tọa độ hai chiều: $$c = \sqrt{a^2 + b^2}$$
  • Phép biến đổi góc nhìn (Perspective Transform): Biến đổi phối cảnh chiếu từ góc nhìn nghiêng của camera sang góc nhìn trực giao từ trên xuống (Bird’s-eye view), khôi phục tỷ lệ khoảng cách đồng nhất trên mặt phẳng sàn.

Phương pháp nghiên cứu thực nghiệm

Tác giả triển khai và so sánh hai hướng tiếp cận kỹ thuật chính:

  • Hướng tiếp cận 1 (Sử dụng tiêu cự camera): Dựa trên tham số tiêu cự $F$ của camera đã biết hoặc được hiệu chuẩn trước. Sử dụng mạng nơ-ron học sâu để phát hiện người và trích xuất bounding box; tính khoảng cách $D'$ từ từng người đến camera; tính toán lại tọa độ điểm trung tâm thực tế ($x_{mid}, y_{mid}$) theo đơn vị centimet; sau đó áp dụng công thức khoảng cách Euclid để ước lượng cự ly giữa các cặp người.
  • Hướng tiếp cận 2 (Chuyển đổi sang góc nhìn từ trên cao xuống - Bird's-eye view): Khởi tạo tương tác người dùng chọn 7 điểm trên khung hình để thiết lập vùng ROI tứ giác và xác định tỷ lệ co giãn 2 mét thực tế theo chiều ngang ($distanceW$) và chiều dọc ($distanceH$). Chuyển đổi tọa độ vị trí người sang mặt phẳng trực giao, tính độ lệch theo hai trục và áp dụng định lý Pytago để tính khoảng cách theo centimet.

Mô hình nhận dạng và nguồn dữ liệu

  • Mô hình nhận dạng người: Khóa luận khảo sát và sử dụng các kiến trúc mạng học sâu nhận dạng vật thể tiêu biểu bao gồm SSD MobileNet, YOLO và Faster R-CNN để phát hiện đối tượng người và trích xuất hộp bao (bounding box).
  • Nguồn dữ liệu thực nghiệm:
    • Dữ liệu chuẩn quốc tế: Tập dữ liệu Oxford Town Center (Oxford Town Urban Street), Mall Dataset (Indoor Mall), và Train Station Dataset (New York City Grand Central Terminal).
    • Dữ liệu tự thu thập: Các video giám sát quay thực tế do tác giả tự ghi hình trong các điều kiện môi trường thực nghiệm khác nhau.

Thiết kế và triển khai hệ thống thực nghiệm

Hệ thống được thiết kế dưới dạng ứng dụng thị giác máy tính xử lý chuỗi khung hình từ video giám sát. Kiến trúc xử lý chi tiết cho từng hướng tiếp cận được tác giả xây dựng theo các quy trình độc lập:

Đặc tính thiết kế Hướng tiếp cận 1: Sử dụng tiêu cự camera Hướng tiếp cận 2: Chuyển đổi góc nhìn Bird's-eye view
Yêu cầu đầu vào Video/Ảnh + Tham số tiêu cự camera $F$ Video/Ảnh + Cấu hình 7 điểm tương tác chuột
Mô hình nhận dạng Mạng học sâu (SSD MobileNet / YOLO / Faster R-CNN) Mạng học sâu (SSD MobileNet / YOLO / Faster R-CNN)
Xử lý không gian Tính khoảng cách $D' = (H \times F)/P$ từ người đến camera Chiếu phối cảnh vùng ROI 4 điểm sang góc nhìn từ trên cao
Chuẩn hóa tọa độ $x_{mid} = (x_{Mid} \times D')/F$, $y_{mid} = (y_{Mid} \times D')/F$ $disW = (width \times 200)/distanceW$
$disH = (height \times 200)/distanceH$
Công thức khoảng cách Khoảng cách Euclid giữa các điểm ($x_{mid}, y_{mid}$) Định lý Pytago: $dist = \sqrt{disH^2 + disW^2}$
Giao diện hiển thị Khung hình gốc kèm bounding box và khoảng cách giữa các cặp đối tượng Màn hình kép: Khung nhìn gốc có ROI và khung nhìn radar trực giao từ trên xuống

Quy trình hiệu chuẩn tương tác 7 điểm trong Hướng tiếp cận 2 được triển khai như sau:

  1. 4 điểm đầu tiên: Xác định 4 đỉnh của một tứ giác trên mặt đất biểu diễn vùng không gian quan tâm (theo thứ tự: dưới cùng bên trái, dưới cùng bên phải, phía trên góc phải, phía trên góc trái) để thực hiện phép biến đổi phối cảnh sang mặt phẳng vuông góc.
  2. 3 điểm còn lại: Xác định mốc khoảng cách chuẩn 2 mét trong không gian thực tế, trong đó khoảng cách giữa điểm 5 và điểm 6 định nghĩa mốc 2 mét theo chiều ngang ($distanceW$), khoảng cách giữa điểm 5 và điểm 7 định nghĩa mốc 2 mét theo chiều dọc ($distanceH$).

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương 1 trình bày khái niệm giãn cách xã hội trong y tế công cộng và vai trò ngăn ngừa lây nhiễm Covid-19 tại các khu vực công cộng. Tác giả mô tả bài toán ước lượng giãn cách xã hội từ video giám sát, xác định đầu vào là khung hình chứa tối thiểu 2 người và đầu ra là cự ly giữa các cá thể. Phân tích các trường hợp ứng dụng thực tế tại trung tâm thương mại, đường phố và nhà ga. Chương này chỉ rõ hai thách thức lớn của bài toán: ước lượng khoảng cách thực tế từ ảnh 2D và hiện tượng che khuất giữa người với người trong đám đông. Cuối cùng, tác giả nêu mục tiêu, phạm vi nghiên cứu, đóng góp chính và bố cục 5 chương của khóa luận.

Chương 2: Nghiên cứu liên quan

Chương 2 phân tích các hướng giải quyết sẵn có và các công trình khoa học tiêu biểu trong cùng lĩnh vực:

  • Hướng tiếp cận tính trực tiếp khoảng cách (theo bài viết của Adrian Rosebrock): Phát hiện người và tính khoảng cách pixel giữa các bounding box để đưa vào danh sách cảnh báo vi phạm. Phương pháp này có ưu điểm là tốc độ xử lý nhanh, dễ triển khai nhưng nhược điểm là kết quả đo bằng đơn vị pixel, không phản ánh khoảng cách mét/centimet thực tế và phụ thuộc góc quay camera.
  • Hướng tiếp cận biến đổi góc nhìn sang Bird’s-eye view: Biến đổi vùng quan tâm sang góc nhìn từ trên xuống, giúp quan sát trực quan và giảm chi phí tính toán khi chỉ tập trung vào vùng chỉ định.
  • Các công trình liên quan:
    • Nghiên cứu "Person Detection for Social Distancing and Safety Violation Alert based on Segmented ROI": Giám sát khoảng cách và cảnh báo vi phạm giãn cách xã hội dựa trên phân đoạn vùng ROI.
    • Nghiên cứu "A Vision-based Social Distancing and Critical Density Detection System for COVID-19": Hệ thống giám sát thời gian thực tích hợp bản đồ radar góc nhìn từ trên xuống, thử nghiệm trên các bộ dữ liệu Oxford Town Center, Mall Dataset và Train Station Dataset.
    • Nghiên cứu "SD-Measure: A Social Distancing Detector": Đề xuất mô hình thuật toán giám sát và đo đạc khoảng cách giữa những người có nghi vấn tiếp xúc gần.

Chương 3: Cơ sở lý thuyết, hướng tiếp cận trong khóa luận

Chương 3 xây dựng toàn bộ cơ sở toán học và thuật toán cho hai hướng tiếp cận chính:

  • Hệ thống hóa các khái niệm đơn vị pixel, quang học thấu kính hội tụ, tiêu cự ống kính camera ($F$), khoảng cách điểm ảnh, khoảng cách vật thể, vùng quan tâm (ROI), độ đo khoảng cách Euclid và định lý Pytago.
  • Trình bày chi tiết Hướng tiếp cận 1: Sử dụng tiêu cự camera $F$, mô hình học sâu phát hiện người, công thức xác định khoảng cách người-camera $D'$, tính tọa độ điểm trung tâm hiệu chỉnh ($x_{mid}, y_{mid}$) bằng centimet và tính khoảng cách Euclid giữa các cặp đối tượng.
  • Trình bày chi tiết Hướng tiếp cận 2: Khởi tạo vùng quan tâm với 7 điểm tương tác chuột, xác định độ dài pixel cho mốc chuẩn 2 mét theo trục ngang ($distanceW$) và trục dọc ($distanceH$), chuyển đổi tọa độ sang góc nhìn từ trên xuống và tính khoảng cách bằng định lý Pytago ($dist$).
  • Mô tả cơ chế xuất kết quả đồng thời trên hai màn hình (màn hình góc nhìn camera gốc có khung ROI và màn hình góc nhìn từ trên cao xuống).

Chương 4: Thực nghiệm và đánh giá

Chương 4 thiết lập môi trường phần mềm, ngôn ngữ lập trình và các tiêu chí đánh giá kết quả thực nghiệm. Tác giả tổ chức thử nghiệm trên các bộ dữ liệu công khai và dữ liệu video tự ghi hình:

  • Đánh giá khả năng nhận dạng người của các mạng học sâu trên khung hình video giám sát.
  • Đánh giá kết quả ước lượng khoảng cách và phát hiện vi phạm giãn cách của Hướng tiếp cận 1 trên tập dữ liệu chuẩn và video tự ghi hình.
  • Đánh giá kết quả biến đổi phối cảnh, độ trực quan của màn hình Bird’s-eye view và độ chính xác khoảng cách của Hướng tiếp cận 2 trên tập dữ liệu chuẩn cùng hai video tự ghi hình.
  • Phân tích so sánh ưu điểm, hạn chế và sai số thực nghiệm giữa hai phương pháp khi áp dụng vào các điều kiện quay khác nhau.

Chương 5: Kết luận

Chương 5 tổng kết toàn bộ các kết quả đạt được của khóa luận trong việc nghiên cứu lý thuyết, triển khai thuật toán và kiểm thử chương trình ước lượng giãn cách xã hội. Tác giả chỉ ra các hạn chế còn tồn tại và đề xuất các định hướng phát triển tiếp theo cho bài toán.

Kết quả và đóng góp

Kết quả chính

  • Xây dựng hoàn chỉnh quy trình kỹ thuật cho hai phương pháp ước lượng khoảng cách giãn cách xã hội từ video giám sát: phương pháp dựa trên thông số quang học tiêu cự camera và phương pháp dựa trên biến đổi hình học phối cảnh (Bird’s-eye view).
  • Thiết lập hệ thống công thức tính toán tường minh:
    • Xác định cự ly người-camera: $D' = (H \times F) / P$ (cm).
    • Tọa độ trung tâm hiệu chỉnh: $x_{mid} = (x_{Mid} \times D') / F$ và $y_{mid} = (y_{Mid} \times D') / F$ (cm).
    • Xác định mốc khoảng cách chuẩn 2m trên mặt sàn: $distanceW$ (ngang) và $distanceH$ (dọc).
    • Ước lượng cự ly trực giao: $dist = \sqrt{disH^2 + disW^2}$ (cm).
  • Triển khai giao diện theo dõi kép trực quan, cung cấp góc nhìn giám sát gốc cùng bản đồ trực giao từ trên cao.
  • Thực nghiệm kiểm chứng thành công thuật toán trên các tập dữ liệu công cộng (Oxford Town Center, Mall, Train Station) và dữ liệu video thực tế do tác giả tự quay.

Đóng góp của khóa luận

  1. Hệ thống hóa toàn diện cơ sở lý thuyết và các nghiên cứu liên quan về bài toán ước lượng giãn cách xã hội trong video giám sát, đóng vai trò tài liệu tham khảo khoa học cho các nghiên cứu tiếp theo.
  2. Xây dựng chương trình ứng dụng thử nghiệm minh họa trực quan cho phép phát hiện người, ước lượng khoảng cách và cảnh báo vi phạm quy chuẩn an toàn dịch bệnh.
  3. Tiến hành thử nghiệm, so sánh độc lập giữa hai hướng tiếp cận trên các tập dữ liệu thực tế và dữ liệu tự quay, làm rõ ưu điểm và nhược điểm thực thi của từng phương pháp.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế

  • Hướng tiếp cận 1 phụ thuộc vào việc phải biết trước thông số tiêu cự camera $F$ và giả định chiều cao người $H$ cố định, điều này tạo ra sai số nhất định khi chiều cao thực tế của các cá nhân có sự chênh lệch lớn.
  • Hướng tiếp cận 2 đòi hỏi người vận hành phải thực hiện thao tác thủ công chọn 7 điểm tương tác chuột trên khung hình đầu tiên để hiệu chuẩn không gian và mốc 2 mét.
  • Hiện tượng che khuất (occlusion) khi đám đông di chuyển với mật độ dày đặc vẫn gây mất dấu đối tượng hoặc nhận diện sai vị trí tiếp đất của người.

Hướng nghiên cứu tiếp

  • Nghiên cứu cơ chế tự động hóa hoàn toàn khâu hiệu chuẩn tham số camera và nhận diện mặt phẳng sàn mà không cần sự can thiệp thủ công từ người dùng.
  • Tích hợp các thuật toán theo dõi đa đối tượng (Multi-Object Tracking) kết hợp xử lý che khuất nâng cao nhằm duy trì việc ước lượng cự ly liên tục khi đối tượng bị che khuất một phần.
  • Nâng cao hiệu năng tính toán để hệ thống có thể xử lý mượt mà theo thời gian thực trên các hệ thống giám sát nhiều camera (multi-camera) quy mô lớn.

Giá trị tham khảo

Khóa luận là tài liệu học thuật và kỹ thuật phù hợp cho:

  • Sinh viên, học viên ngành Khoa học Máy tính, Công nghệ Thông tin, Trí tuệ Nhân tạo và Kỹ thuật Dữ liệu đang làm khóa luận hoặc nghiên cứu về Thị giác Máy tính (Computer Vision).
  • Các nhà phát triển hệ thống camera an ninh thông minh, hệ thống giám sát trật tự và an toàn công cộng cần áp dụng các kỹ thuật biến đổi góc nhìn phối cảnh (Perspective Transform) và chuyển đổi không gian 2D sang 3D.
  • Phần nội dung đáng tham khảo nhất:
    • Hệ thống công thức toán học - quang học chuyển đổi điểm ảnh sang đơn vị đo thực tế (centimet) tại Chương 3.
    • Kỹ thuật phân vùng ROI và căn chỉnh mốc khoảng cách thực tế 7 điểm phục vụ chuyển đổi góc nhìn Bird's-eye view.
    • Phương pháp luận khảo cứu và so sánh các mô hình học sâu phát hiện người kết hợp xử lý hình học hậu kỳ.

Câu hỏi thường gặp

1. Khóa luận giải quyết bài toán ước lượng giãn cách xã hội bằng hai hướng tiếp cận nào?

Tác giả đề xuất và triển khai hai hướng tiếp cận:

  • Hướng tiếp cận 1: Sử dụng thông số tiêu cự ống kính camera ($F$) kết hợp chiều cao đối tượng ($H$) để tính khoảng cách từ người đến camera ($D'$), từ đó chuyển đổi tọa độ trung tâm sang đơn vị centimet và tính khoảng cách Euclid giữa các cá thể.
  • Hướng tiếp cận 2: Sử dụng phép biến đổi phối cảnh để chuyển vùng quan tâm (ROI) sang góc nhìn trực giao từ trên cao xuống (Bird's-eye view), xác định mốc 2 mét thực tế bằng tương tác 7 điểm và tính khoảng cách bằng định lý Pytago.

2. Công thức tính khoảng cách từ người đến camera và tọa độ trung tâm mới trong Hướng tiếp cận 1 là gì?

Khoảng cách từ người đến camera được tính theo công thức: $$D' = \frac{H \times F}{P} \quad (\text{cm})$$ Trong đó $H$ là chiều cao người (cm), $F$ là tiêu cự camera (pixel), $P$ là chiều cao hộp bao của người trên ảnh (pixel).

Tọa độ trung tâm hiệu chỉnh ($x_{mid}, y_{mid}$) tính theo đơn vị centimet được xác định qua công thức: $$x_{mid} = \frac{x_{Mid} \times D'}{F}, \quad y_{mid} = \frac{y_{Mid} \times D'}{F}$$ với $(x_{Mid}, y_{Mid})$ là tọa độ trung tâm ban đầu trên ảnh pixel.

3. Quy trình tương tác chọn 7 điểm trong Hướng tiếp cận 2 thực hiện nhiệm vụ gì?

  • 4 điểm đầu tiên: Xác định 4 đỉnh của tứ giác định nghĩa vùng quan tâm (ROI) trên mặt sàn theo thứ tự (dưới trái, dưới phải, trên phải, trên trái) để chuyển đổi sang góc nhìn từ trên cao xuống.
  • 3 điểm tiếp theo: Xác định mốc khoảng cách chuẩn 2 mét trong không gian thực, trong đó khoảng cách giữa điểm 5 và 6 đại diện cho 2 mét chiều ngang ($distanceW$), khoảng cách giữa điểm 5 và 7 đại diện cho 2 mét chiều dọc ($distanceH$).

4. Những mạng học sâu nào được đề cập trong khóa luận để thực hiện phát hiện người?

Khóa luận giới thiệu và khảo sát ba kiến trúc mạng học sâu phát hiện đối tượng phổ biến bao gồm SSD MobileNet, YOLO và Faster R-CNN nhằm nhận diện người và cung cấp tọa độ bounding box phục vụ khâu tính toán khoảng cách.

5. Giao diện xuất kết quả ước lượng của Hướng tiếp cận 2 hiển thị những gì?

Màn hình kết quả của Hướng tiếp cận 2 hiển thị đồng thời hai cửa sổ quan sát:

  1. Một cửa sổ hiển thị video/ảnh gốc kèm vùng quan tâm (ROI) được đánh dấu và các bounding box nhận diện.
  2. Một cửa sổ hiển thị kết quả ước lượng dưới dạng góc nhìn từ trên cao xuống (Bird’s-eye view) tương ứng với vùng quan tâm đã chọn.

Kết luận

Khóa luận tốt nghiệp "Ước lượng giãn cách xã hội trong video giám sát" của tác giả Huỳnh Minh Tuấn đã giải quyết bài toán đo lường cự ly an toàn phòng dịch Covid-19 bằng các kỹ thuật thị giác máy tính và học sâu. Đề tài xây dựng và đánh giá thực nghiệm hai mô hình xử lý không gian độc lập: phương pháp hình học quang học dựa trên tiêu cự camera và phương pháp biến đổi phối cảnh sang góc nhìn từ trên cao xuống (Bird’s-eye view). Các kết quả đạt được trên tập dữ liệu chuẩn và video tự quay đã chứng minh tính khả thi của giải pháp, đồng thời cung cấp tài liệu tham khảo có cấu trúc rõ ràng về phương pháp chuyển đổi tọa độ điểm ảnh sang đơn vị đo thực tế trong giám sát video 2D.