Đặt vấn đề Trong những năm gần đây, nhiều thuật toán phát hiện đối tượng [1]-[17] đã được ra đời dé nhận diện và ước tính quỹ đạo theo không gian và thời gian của các đối tượng trong luồng ảnh video. Trong lĩnh vực xe tự hành, việc phát hiện và ước tính quỹ đạo của đối tượng trong không gian và thời gian là cực kì quan trọng đề đảm bảo an toàn và hiệu suất của hệ thống. Các thuật toán phát hiện đối tượng đã đóng góp quan trọng vào khả năng tự động lái của các xe tự hành và giúp chúng nhận biết và phản ứng đúng với các tình huống giao thông phức tạp. Trong lĩnh vực quản lý hệ thống giao thông, việc phát hiện và theo dõi các đối tượng như ô tô, xe máy, người đi bộ và người đi xe đạp có vai trò quan trọng trong việc cải thiện hệ thống luồng giao thông và giảm tai nạn.
Các thuật toán nhận diện đối tượng đã giúp tăng cường khả năng giám sát và quản lý các vùng giao thông, giúp chúng ta nhận ra các tình huống nguy hiểm và đưa ra các biện pháp phòng ngừa kip thời. Ngoài ra, trong lĩnh vực máy ảnh giám sát, các hệ thống phát hiện đối tượng đã góp phần mang lại những tiện ích lớn trong việc giám sát và bảo vệ an ninh. Việc nhận diện và theo dõi các đối tượng đáng ngờ có thê giúp ta ngăn chặn các hành động phi pháp, bảo vệ tài sản và đảm bảo an ninh công cộng. Nhờ sự phát triển của các thuật toán theo dấu đa đối tượng [1]-[17], bài toán theo dấu đa đối tượng đã trở nên cực quan trọng và ứng dụng nhiều trong các lĩnh vực thực tế.
Các nghiên cứu này đã đóng góp đáng ké vào việc cải thiện an toàn, hiệu suất và an ninh trong các lĩnh vực này, đồng thời mở ra những triển vọng hứa hẹn cho tương lai của công nghệ phát hiện đối tượng. Một trong những hướng tiếp cận phô biến nhất hiện nay đó chính là tracking-by- detection (theo dấu bằng phát hiện đối tượng). Phương pháp này dựa trên việc sử dụng các thuật toán phát hiện đối tượng dé nhận diện và ước tính quỹ đạo của các đối tượng trong không gian và thời gian. Độ chính xác của phương pháp này phụ thuộc vào phần lớn độ chính xác của phương pháp nhận diện (detector) được sử dụng.
Chính vì vậy, dé gia tăng độ chính xác của các phương pháp theo hướng nay, một số bài toán đã sử dụng các mô hình nhận diện tốt nhất hiện nay như YOLOX [18] được sử dung trong [3], [4], [8] hay như CenterNet [19] được sử dụng trong CenterTrack [9]. Mặc dù độ chính xác của hướng nghiên cứu này phụ thuộc phần lớn vào mô hình nhận diện, việc nâng cao độ chính xác của mô hình nhận diện không phải là một phương pháp tiếp cận đơn giản bởi lẽ độ chính xác và tốc độ của các phương pháp này đã đạt đến độ bảo hòa nếu như không được huấn luyện trên một tap dữ liệu rất lớn. Về mặt khác, quá trình theo dấu (tracking) được xem như là một phương pháp hậu xử lý của bài toán theo dau đa đối tượng, quá trình này là bước gán định danh của đối tượng sau khi được phát hiện bằng các mô hình nhận diện. Mặc dù bi giới hạn bởi độ chính xác của các mô hình nhận diện, tuy nhiên nếu có thể xử lý tốt ở quá trình nay thì độ chính xác vẫn được cải thiện đáng kể.
Thuật toán SORT [1] dựa trên sự trùng lắp (intersect of union) của các hộp giới han trong khung hình và thuật toán DeepSort [2] sử dụng các đặc trưng về hình thái (apperance similarity) để gán các định danh với nhau là hai phương pháp chính được sử dụng ở bước này. Phương pháp tracking-by-detection dang trở thành một hướng tiếp cận phô biến và mạnh mẽ dé giải quyết bài toán theo dau đa đối tượng trong luồng video. Việc sử dụng các mô hình tiên tiễn và các thuật toán theo dấu hiệu quả có thể nâng cao dang kế độ chính xác của quá trình nhận diện và theo dõi đối tượng. Tuy nhiên, việc tiếp tục nghiên cứu và phát triển các phương pháp mới dé cải thiện độ chính xác và hiệu xuất của thuật toán này vẫn là một thách thức đối với cộng đồng nghiên cứu trong tương lai.
Trong quá trình theo dấu, thuật toán SORT [1] là phương pháp dựa trên intersect-of-union (IOU-based approach) chia thành hai bước nhỏ: mô hình chuyên động (motion model) và gán dữ liệu (data association). Trong quá trình mô hình hóa chuyển động, dựa trên các gợi ý về chuyển động (motion-cues) trước đó. Bộ lọc Kalman [20] là một trong những mô hình chuyên động phô biến nhất được sử dụng cho phương pháp tracking-by-detection. Tuy nhiên bộ loc Kalman dựa trên một giả định đó chính là vận tốc không thay đổi (constant-velocity model), chính vì vậy các phương pháp sử dụng bộ lọc Kalman hau hết sẽ gây ra lỗi sai trong các trường hợp vật thể trong khung hình chuyên động một cách đột ngột, hay tốc độ xử lý mỗi khung hình trên giây (FPS) thấp.
DeepSort [2] đã tiên phong áp dụng bài toán Reldentification (tái định danh) cho bài toán MOT nhằm sử dụng các đặc trưng về hình thái thay vì chuyên động đề loại bỏ đi những hạn chế của phương pháp dựa trên intersect-of-union. Tuy vậy, phương pháp này lại không thé bang đối với phương pháp IOU-based trong các môi trường đông đúc, các vật thê chồng lap lên nhau hay mức độ nhìn thấy (visibility) thấp, dẫn đến việc đánh đổi giữa khả năng phát hiện vật thé (MOTA) và khả năng theo dau vật thé (IDF1). ByteTrack [3], một trong những phương pháp SOTA hiện nay trong bài toán MOT, sử dụng phương pháp IOU-based theo hướng tracking-by-detection dé giữ cho độ chính xác MOTA cao và tốc độ xử lý nhanh. Độ chính xác của phương pháp này đã được chứng minh bằng cách áp dụng vào 9 thuật toán MOT khác.
Tuy nhiên, nhóm vẫn nhận thay rang, đối với mỗi phương pháp khác nhau thì thuật toán này cần phải điều chỉnh các khoảng tham số sao cho phù hợp với từng phương pháp. Chính vì vậy nhóm đề xuất thuật toán mới nhằm tổng quát hóa thuật toán BYTE từ hai khoảng tin cậy lên n khoảng tin cậy sao cho phù hợp nhất với các phương pháp. Trong các video được thu từ máy ảnh chuyên động như camera hành trình, camera theo dấu dùng trên trực thăng, các vật thể trong khung hình thường sẽ di chuyền tương đối đánh kể, đặc biệt trong trường hợp FPS thấp. Chính vi thể, thuật toán BOT-Sort [4], sử dụng phương pháp global motion compensation (GMC) trong thư viện OpenCV [21], dé tinh ra ma tran chuyén đôi (affine matrix) và áp dụng ma trận này để bù đắp cho chuyển động camera.
Tuy nhiên, kỹ thuật GMC này rất tốn tài nguyên tính toán cộng với việc mô hình nhận diện lớn làm cho phương pháp này khó có thể ứng dụng trong các hệ thống vừa và nhỏ. Vì lý đo đó, nhóm đề xuất một kỹ thuật khác nhằm tận dùng các thông tin từ những hộp giới hạn có độ tin cậy cao từ thuật toán BYTE [3]dé điều chỉnh những hộp giới hạn có độ tin cậy thấp trong quá trình gán dữ liệu. Bởi vì phương pháp này hoạt động rất nhanh so với kỹ thuật GMC, chính vì vậy thời gian khi áp dụng kĩ thuật của nhóm đề xuất gần như bằng với thời gian khi không sử dụng thuật toán này. Mục tiêu của đề tài Trong đề tài này, nhóm sẽ nghiên cứu tiến hành: - Đề xuất ra một thuật toán gan dữ liệu tong quát hơn so với thuật toán BYTE [3].
— Đề xuất được thuật toán tính toán độ lệch của camera nhằm gia tăng độ chính xác của thuật toán MOT sao cho thời gian chạy hơn BOT-Sort [4] trên CPU Intel® CoreTM ¡9-10900X. — Gia tăng độ chính xác của các thuật toán MOT hiện hành nhờ hai thuật toán đề xuất, mục tiêu cao hơn 0.5% trên thang đo HOTA so với ByteTrack (kết quả ByteTrack hiện tại là 67. Phương pháp thực hiện Nhóm sẽ nghiên cứu, tìm hiểu về thuật toán MOT nhằm có thé hiểu thêm về hướng phát triển của thuật toàn này. Nhóm sẽ thực hiện lại các kết quả của thuật toán BYTE đồng thời từ đó cải tiến lại thuật toán này.
Nhóm sẽ đánh giá độ hiệu quả của thuật toán BYTE trên bộ dtr liệu MOT17 [22]. Nhóm sẽ chạy các kết quả bao gồm các kết quả định lượng và kết qua trực quan hóa nhằm thé hiện độ hiệu quả của thuật toán. Nhóm sẽ nộp kết quả lên bảng xếp hạng của bộ dữ liệu MOT17, đồng thời kết hợp thuật toán đề xuất trên nhiều kết quả nghiên cứu khác. TÌM HIỂU TONG QUAN Trong chương này, nhóm trước hết sẽ đưa ra các khái niệm về bài toán MOT, giới thiệu về các phương pháp đánh giá độ hiểu quả của thuật toán này trên các thang đo CLEAR [23] IDF1[24] và HOTA [25].
Sau đó, nhóm sẽ trình bay sơ lược về các phương pháp và các hướng tiếp cận của bài toán này và sẽ trình bày về thuật toán BYTE [3] bởi lẽ các phương pháp trong nghiên cứu này được xây dựng trên thuật toán này. Cuối cùng, nhóm sẽ giới thiệu về bộ dữ liệu được sử dụng dé đánh gia thuật toán dé xuât. Bài toán theo dấu đa đối tượng Bài toán theo dau đa đối tượng là một bài toán trong lĩnh vực thị giác máy tính bao gồm việc phát hiện và theo dấu nhiều đối tượng trong video. Mục tiêu của bài toán này là làm sao có thê định vị được vị trí của vật thé và định danh của vật thé qua nhiều khung hình trong video nhằm theo dõi chuyên động của vật thé theo thời gian.
Đây được xem là một bài toán khó bởi lẽ trong quá trình theo dấu thì sẽ xảy ra các tính huống như che khuất, vật thê bị mờ do chuyền động (motion blur) và sự thay đổi hình thái. Bài toán này được giải quyết bằng cách kết hợp hai thuật toán phát hiện đối tượng (object detection) va gan dữ liệu (data association). Một ví dụng minh họa cho bài toán theo dấu đa đối tượng ở Hình 2-1, các vật thé xác định băng một hộp giới hạn, theo sau mỗi hộp là một đường vết dài thé hiện quỹ dao di chuyên của các vật thê. Hình 2-1: Ví dụ minh họa cho bài toán MOT 2.
Các thang đo đánh giá độ chính xác của bài toán MOT Phương pháp đầu tiên dùng đề đánh giá các bài toán MOT là CLEAR [23] bao gồm các chỉ số là MOPT (mutiple object tracking precision) và MOTA (multiple- object tracking accuracy). Zitat MOPT được biéu diễu dưới công thức như sau: MOTP = XtCt Trong đó di là độ lỗi của vật thé i được gan đúng trong thời gian £.