MỞ ĐẦU 1. Bối cảnh nghiên cứu Ngày nay, các hệ thống xử lý ảnh được ứng dụng rộng rãi trong nhiều lĩnh vực như giao thông thông minh, y tế, do thám, thám hiểm, sản xuất công nghiệp và quốc phòng, an ninh. Phát hiện và theo vết đối tượng (object detection and tracking) là kỹ thuật thị giác máy tính cơ bản trong một hệ thống xử lý ảnh được sử dụng để phát hiện các sự kiện xảy ra trong tầm quan sát. Đối tượng người là đối tượng phổ biến, mang đầy đủ các khó khăn cơ bản của bài toán phát hiện và theo vết như diện mạo thay đổi, kích thước, hình dạng đối tượng thay đổi; dễ bị lẫn trong bối cảnh phức tạp (clutter background); đôi khi xuất hiện không đầy đủ trong khung hình (occlusion) và có thể xuất hiện trong môi trường có độ chiếu sáng thay đổi (illumination change).
Trong những năm gần đây, cùng với sự phát triển của thiết bị phần cứng và các kỹ thuật trong học sâu (DL - Deep learning), phát hiện và theo vết đối tượng sử dụng mạng nơ ron tích chập (CNN - Convolutional Neural Network) cho thấy hiệu quả vượt trội so với các thuật toán trước đây [1] [2]. Nhờ khả năng “học” với một lượng dữ liệu lớn, đa ngữ cảnh cũng như khả năng trích rút các đặc trưng một cách tự động, quá trình suy luận (inference) sẽ cho độ chính xác cao, có thể phát hiện và theo vết đối tượng có kích thước, hình dạng, diện mạo thay đổi; bối cảnh lộn xộn hoặc đối tượng chỉ xuất hiện một phần trong khung hình. Đối tượng người là một đối tượng phổ biến và về cơ bản các thuật toán phát hiện và theo vết đối tượng người đều được phát triển từ các thuật toán phát hiện và theo vết đối tượng nói chung và được huấn luyện chuyển giao (transfer learning) để phù hợp với các bộ dữ liệu chuyên biệt đối với đối tượng người. Khi áp dụng các thuật toán phát hiện và theo vết đối tượng trong các hệ thống giám sát theo mô hình tập trung sẽ gặp một số thách thức, cụ thể như sau: (i) Băng thông tăng cao khi phải truyền nhiều dòng video từ hàng trăm hoặc hàng nghìn camera trên hạ tầng mạng về hệ thống máy chủ tập trung, dẫn tới tăng chi phí truyền dẫn và nhiều khi không khả thi trong thực tế, (ii) Quá trình phân tích có độ trễ lớn không đáp ứng yêu cầu xử lý theo thời gian thực: Độ trễ gây ra bởi trễ trong quá trình truyền tin, quá trình lập lịch xử lý, quá trình suy luận của mạng học sâu; (iii) Vấn đề về tính riêng tư: Nhiều dòng video có thể chứa thông tin mật, nhạy cảm nên không thể truyền trực tiếp qua hạ tầng của bên thứ ba để xử lý.
Hiện nay, đã có một số công trình nghiên cứu đã chỉ ra tiềm năng của mô hình điện toán biên (Edge Computing) [3]. Trong đó, một phần khối lượng tính toán được thực hiện tại khu vực gần với các cảm 1 biến (như camera đối với hình ảnh và video), sau đó mới gửi thông tin dạng metadata về trung tâm để lưu trữ và xử lý nâng cao. Phương án này sẽ khắc phục được các vấn đề mà một hệ thống tập trung gặp phải, qua đó giảm băng thông qua mạng diện rộng về trung tâm, đáp ứng được yêu cầu về xử lý thời gian thực và tăng cường bảo mật thông tin. Mặc dù vậy, để áp dụng được các thuật toán học sâu ở khu vực biên, phải lựa chọn và phát triển các thuật toán có khối lượng tính toán không quá lớn nhưng phải có độ chính xác phù hợp.
Mặt khác, các hệ thống xử lý ảnh thông thường sử dụng ảnh màu là loại ảnh được tạo bởi tín hiệu có bước sóng khả kiến (0,4÷0,7) μm. Ảnh màu có thể mô tả đối tượng với màu sắc, hình dạng, kích thước rõ ràng trong điều kiện chiếu sáng tốt. Tuy nhiên, khi trời tối hoặc điều kiện thời tiết xấu, chất lượng nhận dạng dựa trên ảnh màu trở nên kém đi. Trong khi đó, ảnh được tạo từ tín hiệu hồng ngoại bước sóng dài (8÷14 µm), gọi tắt là ảnh nhiệt, không bị ảnh hưởng trong các trường hợp này [4].
Đối tượng người cũng tương tự như các loài sinh vật khác, có tỷ lệ nước trong cơ thể hơn 65%, tỷ lệ hấp thụ với các sóng điện từ ở bước sóng (9 ÷ 11) μm từ bên ngoài vào khoảng từ 0,9 đến 0,97 và bức xạ phát xạ cơ bản phụ thuộc vào nhiệt độ của đối tượng [5]. Nhiệt độ bề mặt cơ thể người vào khoảng 30 đến 40 độ C nên sẽ phát xạ mạnh nhất tín hiệu ở bước sóng từ 8 đến 14 μm, là tín hiệu để tạo ra ảnh nhiệt. Ngày nay, các loại thiết bị để tạo ảnh từ tín hiệu này cũng có thể tiếp cận dễ dàng với chi phí không cao. Vì vậy, nghiên cứu kết hợp ảnh màu và ảnh nhiệt trong bài toán phát hiện và theo vết đối tượng người có thể minh chứng được hiệu quả cho bài toàn nhận dạng ảnh nói chung, là cơ sở cho một thuật toán có độ phức tạp tính toán phù hợp để triển khai tại khu vực biên.
Đối với các thuật toán phát hiện đối tượng nói chung và đối tượng người nói riêng sử dụng mạng nơ ron tích chập, có thể chia thành 02 nhóm theo kiến trúc một giai đoạn hoặc kiến trúc hai giai đoạn. - Các thuật toán phát hiện đối tượng hai giai đoạn hiện nay đều được phát triển từ thuật toán R-CNN, trong đó sẽ có 02 giai đoạn riêng biệt là: (i) Đề xuất các vùng có khả năng là đối tượng; (ii) Thực hiện kép 02 việc là phân loại đối tượng và điều chỉnh khung phát hiện đối tượng cho chuẩn xác. Điển hình của là các thuật toán phát hiện đối tượng như: R-CNN [6], Fast R-CNN [7], Faster R-CNN [8] và Libra R-CNN [9]; sau này là kiến trúc xếp chồng nhiều mạng R-CNN để cho độ chính xác cao như Cascade R-CNN [10]. 2 - Các thuật toán phát hiện đối tượng một giai đoạn kế thừa từ mạng tích chập đầy đủ (FCN - Fully Convolutional Network), chia ảnh thành lưới các vùng để có thể huấn luyện và suy luận đồng thời trên toàn bộ ảnh cùng lúc (whole-image-at-time).
Ngoài ra để giảm khối lượng tính toán mà không làm giảm nhiều độ chính xác, có một số kỹ thuật mới được áp dụng như vi kiến trúc - microarchitecture tại các mạng: SqueezeNet; MobileNet; ShuffleNet hoặc Darknet19/53; kỹ thuật Cross Stage Partial Network (CSPNet), kết nối chéo giữa các tầng hay DenselyNet, tổng hợp kết nối từ các tầng. Hiện nay, có một số thuật toán phát hiện đối tượng một giai đoạn phổ biến như các thuật toán họ YOLO [11], [12], [13], [14]; SSD [15] hay RetinaNet [16]. Về cơ bản thì các thuật toán theo kiến trúc hai giai đoạn sẽ cho độ chính xác cao hơn nhưng tốc độ chậm hơn kiến trúc một giai đoạn. Tuy nhiên, hiện nay cùng với sự phát triển của các phương pháp giảm khối lượng tính toán cũng như tăng độ chính xác, các thuật toán phát hiện đối tượng một giai đoạn cũng có kết quả rất tốt.
Do đó, sẽ phù hợp khi sử dụng trên các thiết bị di động, hệ thống giám sát diện rộng, rô bốt hay xe tự lái… Đối với các thuật toán theo vết đối tượng nói chung và đối tượng người nói riêng được phát triển theo hai hướng tiếp cận [17]: (i) Xác định vị trí đối tượng tại khung hình tiếp theo thông qua đối sánh khung hình với biểu diễn đối tượng (trực tiếp hoặc đặc trưng) đã được xác định vị trí tại khung hình trước; (ii) Huấn luyện một tập các bộ lọc tương quan phân biệt (DCF - Discriminative Correlation Filters) thông qua đối tượng tại khung hình trước và dùng các DCF để xác định vị trí của đối tượng tại khung hình tiếp theo. - Theo vết đối tượng thông qua đối sánh đầu tiên sử dụng trực tiếp tương quan của giá trị điểm ảnh thuộc vùng đối tượng với khung hình cần xác định vị trí đối tượng như trong [18], sau đó phát triển sử dụng đối sánh với biến đổi affine của đối tượng [19], hay sử dụng nhiều đặc trưng của đối tượng như trong [20]. Gần đây, bên cạnh những thành công trong bài toán phát hiện đối tượng, mạng nơ ron tích chập cũng được sử dụng để nâng cao độ chính xác đối sánh ảnh. Cụ thể, mạng nơ ron tích chập sau khi huấn luyện trên một bộ dữ liệu lớn sẽ thực hiện trích chọn đặc trưng từ đối tượng và khung hình hiện tại để đối sánh, xác định vị trí đối tượng.
Các mạng như vậy được gọi là mạng Siamese (Similarity Learning) [21]. - Theo vết đối tượng dựa trên huấn luyện bộ lọc DCF được công bố đầu tiên trong thuật toán MOSSE, trong đó ảnh sử dụng để huấn luyện được xây dựng bằng hàm Gauss hai chiều với đỉnh là vị trí của tâm đối tượng được xác định trong khung hình trước; trong các khung hình tiếp theo, trọng số của bộ lọc được cập nhật khi định vị được đối tượng [22]. Để cải tiến có các phương pháp như KCF [23], tăng số lượng 3 đối tượng bằng phép dịch vòng (Circulant) để phân biệt hay CSRDCF nâng cao hiệu năng nhờ kết hợp ước lượng nhiều lớp DCF bởi nhiều loại đặc trưng như ảnh đa mức xám (Grayscale), HoG (Histogram of Gradient), ColorNames [24]. Tương tự như các loại đặc trưng khác, đặc trưng tích chập cũng có thể được sử dụng để huấn luyện DCF và cho kết quả tốt.
Nhìn chung, các thuật toán dựa trên đối sánh đối tượng sử dụng mạng nơ ron tích chập có thể xác định chính xác vị trí của đối tượng, nhưng có điểm yếu trong việc phân biệt đối tượng với nền, làm giảm độ ổn định (chỉ số Robustness), trong khi các thuật toán dựa trên DCF do được huấn luyện trực tuyến có thể phân biệt đối tượng với nền tốt. Do đó, các thuật toán có hiệu năng cao kết hợp cả hai hướng tiếp cận này thành hai bước trong một thuật toán: (i) bước phân loại (classification) sử dụng DCF với đặc trưng tích chập để bóc tách đối tượng và phát hiện các vị trí có khả năng là đối tượng trong khung hình mới; (ii) bước ước lượng (estimation) để từ các vị trí có khả năng là đối tượng trong khung hình mới, ước đoán vị trí chính xác của đối tượng. Trong [17] đề xuất thuật toán theo hướng này là thuật toán ATOM (Accurate Tracking by Overlap Maximization), trong đó bước ước lượng vị trí xác định qua độ chồng lấn (overlap) thay vì ước lượng trực tiếp vị trí như các các thuật toán sử dụng mạng Siamese.