Kỹ Thuật Học Sâu Cho Bài Toán Theo Vết Đa Đối Tượng

Tìm hiểu kỹ thuật học sâu tiên tiến cho bài toán theo vết đa đối tượng. Luận văn thạc sĩ chuyên sâu, ứng dụng trong nhận diện và theo dõi vật thể.

• Tác giả: Trần Quốc Đạt
• Người hướng dẫn: PGS.TS Lê Hoàng Thái
• Trường học: Học Viện Công Nghệ Bưu Chính Viễn Thông
• Chuyên ngành: Hệ Thống Thông Tin
• Đề tài: Kỹ Thuật Học Sâu Cho Bài Toán Theo Vết Đa Đối Tượng
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2021
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• DANH SÁCH HÌNH ẢNH
• DANH SÁCH BẢNG
• 1. CHƯƠNG 1: GIỚI THIỆU
• 1.1. Các phương pháp dò tìm đối tượng
• 1.2. Phân tích vấn đề
• 1.3. Giải pháp
• 1.4. Giới thiệu hướng tiếp cận mới
• 1.5. Mạng xương sống (Backbone Network)
• 2. CÁC CÔNG TRÌNH LIÊN QUAN
• 2.1. Phương pháp Two-Steps MOT
• 2.2. Phương pháp One-Shot MOT
• 2.3. Các công trình khác
• 2.4. Kết luận chương 2
• 3. QUY TRÌNH THỰC HIỆN DÒ TÌM VÀ TÁI ĐÁNH DANH ĐỐI TƯỢNG
• 3.1. Huấn luyện và nội suy ra đặc trưng
• 3.2. Đánh giá độ chính xác của mô hình
• 3.3. Kết luận chương 3
• 4. THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ THỰC NGHIỆM
• 4.1. Tập dữ liệu thực nghiệm
• 4.2. Xây dựng bộ dữ liệu MOT25 Chi tiết quá trình huấn luyện
• 4.3. Đánh giá và so sánh các bộ dữ liệu với TrackEval
• 5. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.1. Kết quả nghiên cứu của đề tài
• 5.2. Hạn chế của đề tài
• 5.3. Hướng phát triển của đề tài
• DANH MỤC CÁC TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Kỹ Thuật Học Sâu Trong Theo Vết MOT

Bài toán theo vết đa đối tượng (Multi-Object Tracking - MOT) là một lĩnh vực quan trọng trong thị giác máy tính. Mục tiêu là dự đoán quỹ đạo của nhiều đối tượng trong video. Các ứng dụng của MOT trải rộng, từ dự đoán hành động đến phân tích video thể thao và hỗ trợ robot cho người già. Các phương pháp tiếp cận hiện đại thường chia bài toán thành hai giai đoạn: phát hiện đối tượng (object detection) và liên kết (association). Giai đoạn phát hiện định vị và khoanh vùng đối tượng bằng bounding box, sau đó giai đoạn liên kết trích xuất đặc trưng tái định danh (Re-ID) và kết nối chúng với quỹ đạo đã xác định. Tuy các kỹ thuật này đã đạt được tiến bộ đáng kể, việc kết hợp chúng trong video độ phân giải cao (30FPS) vẫn còn thách thức do tốc độ xử lý. Sự phát triển của học đa nhiệm (multi-task learning) đã mở ra hướng tiếp cận one-shot kết hợp phát hiện đối tượng và học đặc trưng Re-ID, hứa hẹn giảm thời gian xử lý. Tuy nhiên, độ chính xác của phương pháp one-shot vẫn còn hạn chế so với phương pháp hai bước. Thay vì chỉ tập trung vào các thủ thuật máy học và học sâu để tăng độ chính xác, luận văn này tập trung nghiên cứu lý do gốc rễ cho sự thất bại.

Theo luận văn, ba yếu tố chính ảnh hưởng đến độ chính xác của mô hình deep learning object tracking: anchors không phù hợp với Re-ID, tổng hợp đặc trưng đa lớp và kích thước của các đặc trưng Re-ID.

1.1. Các Ứng Dụng Quan Trọng Của Bài Toán Theo Vết Đa Đối Tượng

Bài toán theo vết đa đối tượng không chỉ là một lĩnh vực nghiên cứu thuần túy, mà còn mang lại nhiều ứng dụng thực tế quan trọng. Khả năng dự đoán hành động dựa trên quỹ đạo của đối tượng có thể được sử dụng trong hệ thống an ninh, giám sát giao thông và hỗ trợ người lái xe. Trong lĩnh vực thể thao, phân tích video có thể cung cấp thông tin chi tiết về chuyển động của vận động viên, giúp cải thiện hiệu suất. Robot hỗ trợ người già có thể sử dụng MOT để nhận biết và theo dõi người sử dụng, đảm bảo an toàn và cung cấp hỗ trợ kịp thời.

1.2. Ưu Điểm Và Hạn Chế Của Các Phương Pháp Theo Vết Truyền Thống

Các phương pháp theo vết truyền thống thường dựa trên các kỹ thuật như lọc Kalman, trung bình dịch chuyển (mean shift) và luồng quang học (optical flow). Ưu điểm của các phương pháp này là đơn giản, dễ triển khai và hiệu quả trong các tình huống đơn giản với ít đối tượng và ít che khuất. Tuy nhiên, chúng gặp khó khăn khi số lượng đối tượng tăng lên, đối tượng bị che khuất nhiều, hoặc môi trường có nhiều thay đổi. Các phương pháp truyền thống cũng khó tích hợp thông tin ngữ cảnh và khó xử lý các biến thể về hình dạng, kích thước và hướng của đối tượng.

II. Thách Thức Khi Áp Dụng Học Sâu Cho Bài Toán MOT

Mặc dù học sâu đã mang lại những tiến bộ vượt bậc trong nhiều lĩnh vực của thị giác máy tính, việc áp dụng nó vào bài toán theo vết đa đối tượng vẫn đối mặt với nhiều thách thức. Một trong những thách thức lớn nhất là sự cân bằng giữa độ chính xác và tốc độ xử lý. Các mô hình deep learning thường có độ phức tạp cao, đòi hỏi nhiều tài nguyên tính toán và khó đạt được tốc độ thời gian thực trong video độ phân giải cao. Luận văn chỉ ra rằng vấn đề không chỉ nằm ở việc kết hợp hai mô hình (object detection và Re-ID), mà còn ở sự phù hợp của các đặc trưng được học. Cụ thể, anchors (neo) được sử dụng trong các mô hình phát hiện đối tượng có thể không phù hợp với việc học đặc trưng Re-ID, dẫn đến sự nhập nhằng và sai lệch trong việc gán nhãn đối tượng.

2.1. Vấn Đề Anchors Không Phù Hợp Với Đặc Trưng Re ID

Các phương pháp one-shot thường dựa vào anchors (neo) được kế thừa từ các mô hình phát hiện đối tượng. Tuy nhiên, các anchors này không được thiết kế để tối ưu hóa cho việc học đặc trưng Re-ID. Một đối tượng có thể được gán nhiều anchors khác nhau, dẫn đến sự mâu thuẫn trong việc gán nhãn. Hơn nữa, bản đồ đặc trưng thường được giảm độ phân giải (down-sample) để tăng tốc độ xử lý, nhưng điều này có thể làm mất thông tin chi tiết và làm sai lệch vị trí tâm của đối tượng, ảnh hưởng đến việc dự đoán đánh danh. Theo trích dẫn từ luận văn, “khi mà có nhiều neo dựa trên các image patches, chúng có thể dự đoán chung một đánh danh cho cùng 1 vật thể (Bounding box trùng lên nhau). Việc này sẽ gây lên sự nhập nhằng cho mạng.”

2.2. Tầm Quan Trọng Của Tổng Hợp Đặc Trưng Đa Lớp Trong MOT

Việc tổng hợp đặc trưng từ nhiều lớp khác nhau là rất quan trọng để mô hình có thể xử lý các đối tượng ở các tỷ lệ khác nhau. Các đặc trưng cấp thấp cung cấp thông tin chi tiết về hình dạng và kết cấu, trong khi các đặc trưng cấp cao cung cấp thông tin ngữ nghĩa về đối tượng. Việc kết hợp cả hai loại đặc trưng giúp mô hình trở nên mạnh mẽ hơn trước các biến đổi về tỷ lệ và góc nhìn. Theo luận văn, “trong thực nghiệm chúng ta thấy việc này rất có ích để giảm identity switches cho phương pháp one-shot vì nó là kỹ năng để xử lý sự thay đổi tỷ lệ của vật thể.”

2.3. Ảnh Hưởng Của Kích Thước Đặc Trưng Re ID Đến Hiệu Suất Mô Hình

Kích thước của các đặc trưng Re-ID cũng là một yếu tố quan trọng cần xem xét. Các phương pháp cũ thường sử dụng đặc trưng có kích thước lớn, nhưng luận văn cho rằng việc giảm kích thước có thể giúp cải thiện hiệu suất. Lý do là vì số lượng ảnh huấn luyện cho MOT thường ít hơn so với Re-ID, và việc sử dụng đặc trưng lớn có thể dẫn đến hiện tượng quá khớp (overfitting). Việc học các đặc trưng có kích thước nhỏ cũng giúp tăng tốc độ xử lý và giảm thiểu rủi ro khi học trên các tập dữ liệu nhỏ.

III. Cách Tiếp Cận Mới Mạng Anchor Free Cho Theo Vết Đa Đối Tượng

Để giải quyết các thách thức trên, luận văn đề xuất một cách tiếp cận mới dựa trên mạng anchor-free (không neo) để dự đoán tâm đối tượng trên bản đồ đặc trưng độ phân giải cao. Cách tiếp cận này giúp vượt qua vấn đề nhập nhằng và căn chỉnh đặc trưng Re-ID với tâm đối tượng chính xác hơn. Sau đó, một nhánh song song được thêm vào để dự đoán đặc trưng Re-ID theo từng pixel. Trong mạng xương sống (backbone network), kỹ thuật Deep Layer Aggregation được sử dụng để xử lý các đối tượng ở các tỷ lệ khác nhau. Hướng tiếp cận mới này chuyển bài toán phát hiện đối tượng về bài toán tìm điểm đặc trưng (keypoint estimation), từ đó suy ra kích thước và tính toán bounding box.

3.1. Ưu Điểm Của Mạng Anchor Free Trong Bài Toán Theo Vết

Mạng anchor-free khắc phục được những hạn chế của các phương pháp dựa trên anchor. Nó không yêu cầu việc thiết kế và điều chỉnh các anchor boxes một cách thủ công, giúp giảm sự phức tạp và tăng tính linh hoạt của mô hình. Việc dự đoán trực tiếp tâm đối tượng giúp loại bỏ sự nhập nhằng và cải thiện độ chính xác trong việc định vị đối tượng. Hơn nữa, mạng anchor-free có khả năng khái quát hóa tốt hơn và ít phụ thuộc vào đặc điểm của tập dữ liệu huấn luyện.

3.2. Kỹ Thuật Deep Layer Aggregation DLA Để Xử Lý Đa Tỷ Lệ

Deep Layer Aggregation (DLA) là một kỹ thuật mạnh mẽ để tổng hợp thông tin từ các lớp khác nhau của mạng nơ-ron. DLA cho phép mô hình kết hợp các đặc trưng cấp thấp (thông tin chi tiết) và đặc trưng cấp cao (thông tin ngữ nghĩa), giúp cải thiện khả năng nhận diện đối tượng ở các tỷ lệ khác nhau. Luận văn sử dụng một biến thể của DLA với nhiều kết nối nhảy giữa các đặc trưng cấp thấp và cấp cao, tương tự như Feature Pyramid Network (FPN).

3.3. Tích Chập Biến Dạng Deformable Convolution Để Thích Nghi Với Hình Dạng

Các lớp tích chập up-sampling được thay thế bằng các lớp tích chập biến dạng (deformable convolution layers) để linh hoạt hơn trong việc thích nghi với hình dạng của đối tượng và sự thay đổi tỷ lệ. Tích chập biến dạng cho phép các bộ lọc tích chập thay đổi hình dạng của chúng để phù hợp với hình dạng của đối tượng, giúp cải thiện khả năng nhận diện đối tượng trong các tình huống phức tạp. Các lớp tích chập biến dạng làm giảm thiểu tác động của các vấn đề căn chỉnh (alignment issues).

IV. Mạng Xương Sống DLA 34 Cân Bằng Tốc Độ và Độ Chính Xác MOT

Luận văn lựa chọn mạng ResNet-34 làm mạng xương sống để cân bằng giữa tốc độ và độ chính xác. Để đối tượng thích nghi được với nhiều tỷ lệ khác nhau, một biến thể của Deep Layer Aggregation (DLA) được sử dụng. Sự khác biệt ở DLA này là nó có nhiều liên kết nhảy hơn giữa đặc trưng low-level và high-level, tương tự như Feature Pyramid Network (FPN). Ngoài ra, tất cả các lớp tích chập up-sampling được thay thế bởi các lớp deformable convolution layers để chúng có thể linh hoạt trong việc thích nghi với dáng người và thay đổi tỷ lệ. Những thay đổi trên cũng rất có ích để làm giảm thiểu tác động của alignment issues. Kết quả ta đặt tên mạng là DLA-34. Nếu ảnh đầu vào có kích thước Himage × Wimage thì bản đồ đặc trưng có kích thước C × H × W là với H = Himage /4 và W = Wimage /4.

4.1. Tại Sao Chọn ResNet 34 Làm Mạng Xương Sống Cho MOT

ResNet-34 là một kiến trúc mạng nơ-ron sâu phổ biến, được biết đến với khả năng cân bằng tốt giữa độ chính xác và hiệu suất tính toán. Nó đủ sâu để học các đặc trưng phức tạp, nhưng không quá sâu để gây ra các vấn đề như biến mất gradient (vanishing gradient). Việc sử dụng ResNet-34 làm mạng xương sống cho phép mô hình đạt được tốc độ xử lý đủ nhanh để ứng dụng trong các hệ thống thời gian thực.

4.2. Kết Hợp IDA và HDA Trong Deep Layer Aggregation

Deep Layer Aggregation (DLA) bao gồm hai loại: Iterative Deep Aggregation (IDA) và Hierarchical Deep Aggregation (HDA). IDA tập trung vào giải quyết độ nét (resolution) và tỷ lệ (scale). HDA tập trung vào việc kết hợp các đặc trưng cho toàn bộ các module và channel. Từ IDA và HDA chúng ta kết hợp lại thì đầu ra của mạng sẽ có cả ngữ nghĩa ở lớp cao và các thông tin không gian khác ở các lớp thấp.

4.3. Tận Dụng Feature Pyramid Network Để Phát Hiện Đối Tượng Nhỏ

Dò tìm các đối tượng có kích thước nhỏ là một vấn đề đáng được giải quyết để nâng cao độ chính xác. Và Feature Pyramid Network (FPN) là mô hình mạng được thiết kế ra dựa trên khái niệm pyramid để giải quyết vấn đề này. Mô hình FPN kết hợp thông tin của mô hình theo hướng bottom-up kết hợp với top-down để dò tìm đối tượng (trong khi đó, các thuật toán khác chỉ thường sử dụng bottom-up). Khi chúng ta ở bottom và đi lên (up), độ phân giải sẽ giảm, nhưng giá trị ngữ nghĩa sẽ tăng lên.

V. Thử Nghiệm và Đánh Giá Kết Quả Theo Vết Đa Đối Tượng Deep Learning

Luận văn thực hiện các thử nghiệm trên tập dữ liệu MOT25 và so sánh kết quả với các phương pháp khác bằng cách sử dụng TrackEval. Quá trình huấn luyện được thực hiện chi tiết, và các chỉ số đánh giá hiệu suất được phân tích kỹ lưỡng. Kết quả cho thấy phương pháp đề xuất đạt được hiệu suất cạnh tranh so với các phương pháp state-of-the-art khác. Thông tin chi tiết về tập dữ liệu thử nghiệm được cung cấp trong bảng 4.1 của luận văn.

5.1. Giới Thiệu Tập Dữ Liệu MOT25 Sử Dụng Trong Thử Nghiệm

Tập dữ liệu MOT25 cung cấp một tập hợp các video được chú thích (annotated) với thông tin về vị trí và quỹ đạo của các đối tượng. Thông tin này rất quan trọng để huấn luyện và đánh giá các mô hình theo vết đa đối tượng. Bảng 4.1 trong luận văn cung cấp thông tin chi tiết về kích thước, độ đa dạng và các đặc điểm khác của tập dữ liệu MOT25.

5.2. Quy Trình Huấn Luyện Chi Tiết Cho Mô Hình MOT

Quá trình huấn luyện mô hình là một bước quan trọng để đảm bảo hiệu suất tốt nhất. Các thông số huấn luyện, kiến trúc mạng, hàm mất mát và các kỹ thuật tối ưu hóa đều được lựa chọn và điều chỉnh cẩn thận để đạt được kết quả tối ưu. Luận văn mô tả chi tiết các bước trong quy trình huấn luyện.

5.3. Đánh Giá Và So Sánh Các Bộ Dữ Liệu Với TrackEval

Đánh giá mô hình là một bước quan trọng để xác định hiệu suất của nó trên các tập dữ liệu khác nhau. Luận văn sử dụng TrackEval, một bộ công cụ đánh giá chuẩn, để so sánh phương pháp đề xuất với các phương pháp state-of-the-art khác. Kết quả đánh giá được trình bày trong các bảng và biểu đồ, giúp so sánh khách quan hiệu suất của các phương pháp khác nhau.

VI. Kết Luận và Hướng Phát Triển Kỹ Thuật Deep Learning MOT

Luận văn đã trình bày một nghiên cứu về kỹ thuật học sâu cho bài toán theo vết đa đối tượng. Phương pháp đề xuất dựa trên mạng anchor-free và sử dụng các kỹ thuật như Deep Layer Aggregation và tích chập biến dạng để cải thiện hiệu suất. Kết quả thử nghiệm cho thấy phương pháp này có tiềm năng cạnh tranh với các phương pháp khác. Tuy nhiên, luận văn cũng chỉ ra những hạn chế và đề xuất các hướng phát triển trong tương lai. Cụ thể, có thể cải thiện khả năng xử lý các tình huống phức tạp hơn, tăng tốc độ xử lý để ứng dụng trong các hệ thống thời gian thực và khám phá các kiến trúc mạng nơ-ron mới.

6.1. Tóm Tắt Kết Quả Nghiên Cứu Kỹ Thuật Học Sâu MOT

Nghiên cứu đã thành công trong việc phát triển một phương pháp theo vết đa đối tượng mới dựa trên mạng anchor-free và các kỹ thuật học sâu tiên tiến. Phương pháp này đã chứng minh được khả năng cạnh tranh với các phương pháp khác về độ chính xác và hiệu suất. Nghiên cứu cũng đã xác định các yếu tố quan trọng ảnh hưởng đến hiệu suất của mô hình, chẳng hạn như sự phù hợp của các đặc trưng, tổng hợp đặc trưng đa lớp và kích thước đặc trưng.

6.2. Hạn Chế Của Phương Pháp Và Hướng Nghiên Cứu Trong Tương Lai

Mặc dù đã đạt được những tiến bộ đáng kể, phương pháp đề xuất vẫn còn một số hạn chế. Ví dụ, nó có thể gặp khó khăn trong việc xử lý các tình huống mà đối tượng bị che khuất quá nhiều, hoặc khi có quá nhiều đối tượng trong khung hình. Các hướng nghiên cứu trong tương lai có thể tập trung vào việc cải thiện khả năng xử lý các tình huống phức tạp này, tăng tốc độ xử lý và khám phá các kiến trúc mạng nơ-ron mới.

Nội dung chính

## Tổng quan nghiên cứu

Theo ước tính, trong những năm gần đây, việc phát hiện và theo dõi đa đối tượng (Multi-Object Tracking - MOT) đã trở thành một lĩnh vực nghiên cứu trọng điểm trong thị giác máy tính với nhiều ứng dụng thực tiễn như an ninh quốc phòng, giao thông vận tải, và robot hỗ trợ người già. Vấn đề chính của MOT là xác định và theo dõi nhiều đối tượng trong video với độ chính xác và tốc độ cao. Tuy nhiên, các phương pháp truyền thống thường tách biệt quá trình phát hiện và tái nhận dạng (Re-ID), dẫn đến hiệu suất thấp khi áp dụng trên video có độ phân giải cao (30 FPS). Mục tiêu của luận văn là xây dựng một mô hình học sâu tích hợp, có khả năng phát hiện và theo dõi đa đối tượng hiệu quả, giảm thiểu sai sót trong nhận dạng và tăng tốc độ xử lý.

Phạm vi nghiên cứu tập trung vào các video có tốc độ khung hình 24-30 FPS, độ phân giải Full HD, thu thập tại các khu vực công cộng ở Thành phố Hồ Chí Minh và Tây Ninh trong khoảng thời gian gần đây. Ý nghĩa của nghiên cứu được thể hiện qua các chỉ số đánh giá như MOTA (Multiple Object Tracking Accuracy), IDF1 (Identity F1 Score), và HOTA (Higher Order Tracking Accuracy), với mục tiêu cải thiện đáng kể các chỉ số này so với các phương pháp hiện hành.

## Cơ sở lý thuyết và phương pháp nghiên cứu

### Khung lý thuyết áp dụng

Luận văn áp dụng các lý thuyết và mô hình sau:

- **Học đa tác vụ (Multi-task Learning):** Kỹ thuật cho phép mô hình học đồng thời nhiều nhiệm vụ như phát hiện đối tượng và trích xuất đặc trưng Re-ID, giúp chia sẻ thông tin đặc trưng và giảm thời gian suy luận.
- **Mạng xương sống Deep Layer Aggregation (DLA-34):** Mạng tích hợp các kết nối sâu và phân cấp, kết hợp Iterative Deep Aggregation (IDA) và Hierarchical Deep Aggregation (HDA) để xử lý đa tỷ lệ và độ phân giải.
- **Kỹ thuật anchor-free detection:** Phát hiện tâm đối tượng trên bản đồ đặc trưng độ phân giải cao, giúp giảm nhầm lẫn do các anchor không phù hợp với đặc trưng Re-ID.
- **Hàm mất mát Focal Loss:** Giải quyết vấn đề mất cân bằng giữa lớp nền và lớp đối tượng trong huấn luyện, tập trung vào các trường hợp khó phân loại.
- **Thuật toán Hungarian và Kalman Filter:** Dùng để liên kết các phát hiện qua các khung hình, dự đoán vị trí và cập nhật trạng thái đối tượng theo thời gian.

Các khái niệm chính bao gồm: phát hiện đối tượng (object detection), tái nhận dạng (Re-ID), theo dõi trực tuyến (online tracking), và các chỉ số đánh giá MOT như MOTA, IDF1, HOTA.

### Phương pháp nghiên cứu

Nguồn dữ liệu chính là các tập video MOT15, MOT16, MOT17, MOT20 và tập dữ liệu tự xây dựng MOT25, bao gồm 8 video quay tại các khu vực công cộng với độ phân giải 1920x1080, tốc độ 24-30 FPS, tổng thời lượng khoảng 15 phút. Cỡ mẫu gồm hàng nghìn khung hình với nhiều đối tượng người đi bộ trong các môi trường khác nhau.

Phương pháp phân tích sử dụng mô hình học sâu FairMOT với backbone DLA-34, huấn luyện trên tập dữ liệu MIX và CrowdHuman với hơn 90 epoch. Quá trình huấn luyện sử dụng kỹ thuật focal loss và multitask learning để đồng thời tối ưu phát hiện và Re-ID. Đánh giá mô hình thực hiện bằng phần mềm TrackEval, đo lường các chỉ số MOTA, IDF1, HOTA trên các tập dữ liệu chuẩn và tập dữ liệu tự xây dựng.

Timeline nghiên cứu kéo dài khoảng 12 tháng, bao gồm thu thập dữ liệu, xây dựng mô hình, huấn luyện, đánh giá và phân tích kết quả.

## Kết quả nghiên cứu và thảo luận

### Những phát hiện chính

- Mô hình FairMOT với backbone DLA-34 đạt tốc độ xử lý khoảng 30 FPS trên video Full HD, đáp ứng yêu cầu thời gian thực.
- Trên tập dữ liệu MOT25 tự xây dựng, mô hình đạt chỉ số HOTA trung bình 72.3%, MOTA 65.4%, và IDF1 68.7%, cao hơn khoảng 10% so với các phương pháp one-shot MOT truyền thống.
- So sánh với các tập dữ liệu MOT15, MOT16, MOT17, và MOT20, các chỉ số LocA (Localization Accuracy) dao động từ 82% đến 91%, trong khi DetA (Detection Accuracy) thấp hơn, khoảng 44%-58%, phản ánh thách thức trong phát hiện đối tượng trong môi trường thực tế tại Việt Nam.
- Việc áp dụng kỹ thuật anchor-free và tổng hợp đặc trưng đa lớp giúp giảm đáng kể hiện tượng nhầm lẫn danh tính (identity switches), giảm từ 15% xuống còn khoảng 7% so với các phương pháp trước.

### Thảo luận kết quả

Nguyên nhân cải thiện hiệu suất là do mô hình sử dụng kỹ thuật phát hiện tâm đối tượng trên bản đồ đặc trưng độ phân giải cao, giúp căn chỉnh chính xác vị trí đối tượng, đồng thời tích hợp nhánh Re-ID pixel-wise giúp trích xuất đặc trưng danh tính hiệu quả hơn. Việc áp dụng Deep Layer Aggregation và deformable convolution layers giúp mô hình thích nghi tốt với các biến đổi tỷ lệ và hình dạng đối tượng trong video.

So với các nghiên cứu trước đây, mô hình này giảm thiểu được nhược điểm của phương pháp two-step MOT khi phải xử lý riêng biệt phát hiện và Re-ID, đồng thời khắc phục hạn chế của one-shot MOT về độ chính xác. Kết quả đánh giá qua các chỉ số MOTA, IDF1 và HOTA cho thấy mô hình có khả năng ứng dụng thực tiễn cao trong các hệ thống giám sát an ninh và phân tích hành vi.

Dữ liệu kết quả có thể được trình bày qua biểu đồ so sánh các chỉ số đánh giá giữa các phương pháp trên các tập dữ liệu khác nhau, cũng như bảng thống kê chi tiết các chỉ số trên từng video trong tập MOT25.

## Đề xuất và khuyến nghị

- **Triển khai mô hình FairMOT tích hợp DLA-34** trong các hệ thống giám sát an ninh tại các khu vực công cộng nhằm nâng cao độ chính xác và tốc độ theo dõi đa đối tượng.
- **Tăng cường thu thập dữ liệu đa dạng** về các tình huống di chuyển khác nhau như đi xe máy, ngồi xe máy để mở rộng phạm vi huấn luyện, cải thiện khả năng nhận dạng trong môi trường thực tế.
- **Áp dụng kỹ thuật học sâu nâng cao** như attention mechanism và transformer để cải thiện khả năng xử lý các trường hợp che khuất và tương tác phức tạp giữa các đối tượng.
- **Phát triển giao diện trực quan và API** hỗ trợ tích hợp mô hình vào các ứng dụng thực tế, đồng thời cung cấp công cụ đánh giá hiệu suất theo thời gian thực.
- **Lập kế hoạch đào tạo và chuyển giao công nghệ** cho các đơn vị an ninh, giao thông nhằm ứng dụng hiệu quả mô hình trong thực tế trong vòng 12 tháng tới.

## Đối tượng nên tham khảo luận văn

- **Nhà nghiên cứu và sinh viên ngành thị giác máy tính, trí tuệ nhân tạo:** Nắm bắt các kỹ thuật học sâu hiện đại trong phát hiện và theo dõi đa đối tượng, áp dụng vào nghiên cứu và phát triển.
- **Chuyên gia phát triển hệ thống giám sát an ninh:** Áp dụng mô hình để nâng cao hiệu quả giám sát, giảm thiểu sai sót trong nhận dạng và theo dõi đối tượng.
- **Cơ quan quản lý giao thông và an ninh công cộng:** Sử dụng kết quả nghiên cứu để triển khai các giải pháp giám sát thông minh, phân tích hành vi người tham gia giao thông.
- **Doanh nghiệp công nghệ phát triển sản phẩm AI:** Tích hợp mô hình vào các sản phẩm camera thông minh, robot hỗ trợ người già, và các ứng dụng tương tác người-máy.

## Câu hỏi thường gặp

1. **Mô hình FairMOT có thể áp dụng cho các loại đối tượng khác ngoài người đi bộ không?**  
   Mô hình có thể được điều chỉnh để theo dõi các đối tượng khác như xe cộ hoặc vật thể chuyển động, tuy nhiên cần huấn luyện lại với dữ liệu phù hợp để đảm bảo độ chính xác.

2. **Tốc độ xử lý của mô hình có đáp ứng được yêu cầu thời gian thực không?**  
   Với backbone DLA-34, mô hình đạt khoảng 30 FPS trên video Full HD, phù hợp cho các ứng dụng giám sát thời gian thực.

3. **Làm thế nào để giảm hiện tượng nhầm lẫn danh tính trong theo dõi?**  
   Sử dụng kỹ thuật anchor-free phát hiện tâm đối tượng và tổng hợp đặc trưng đa lớp giúp cải thiện độ chính xác của đặc trưng Re-ID, giảm nhầm lẫn danh tính.

4. **Phương pháp đánh giá nào được sử dụng để đo hiệu quả mô hình?**  
   Các chỉ số MOTA, IDF1 và HOTA được sử dụng để đánh giá toàn diện về độ chính xác phát hiện, liên kết và nhận dạng trong theo dõi đa đối tượng.

5. **Có thể áp dụng mô hình này cho video có độ phân giải thấp hơn không?**  
   Mô hình có thể hoạt động trên các video độ phân giải thấp hơn nhưng hiệu suất và độ chính xác có thể giảm, cần điều chỉnh tham số và huấn luyện thêm.

## Kết luận

- Đã xây dựng thành công mô hình học sâu tích hợp phát hiện và theo dõi đa đối tượng với hiệu suất cao trên các tập dữ liệu chuẩn và thực tế tại Việt Nam.  
- Mô hình sử dụng kỹ thuật anchor-free và Deep Layer Aggregation giúp cải thiện đáng kể độ chính xác và tốc độ xử lý.  
- Kết quả đánh giá qua các chỉ số MOTA, IDF1, HOTA cho thấy mô hình vượt trội so với các phương pháp truyền thống.  
- Đề xuất mở rộng dữ liệu huấn luyện và áp dụng các kỹ thuật học sâu mới để nâng cao hơn nữa hiệu quả mô hình.  
- Khuyến khích triển khai mô hình trong các hệ thống giám sát an ninh và giao thông, đồng thời phát triển công cụ hỗ trợ tích hợp và đánh giá.

Hành động tiếp theo là tiến hành thử nghiệm mô hình trên các môi trường thực tế khác nhau và phát triển giao diện ứng dụng để đưa nghiên cứu vào thực tiễn.

Trích đoạn nội dung tài liệu

HâC VIÞN CÔNG NGHÞ B¯U CHÍNH VIâN THÔNG ----------------------------------- TRÀN QUÞC Đ¾T Kþ THUÀT HâC SÂU CHO BÀI TOÁN THEO VÀT ĐA ĐÞI T¯þNG LUÀN VN TH¾C S) Kþ THUÀT (Theo đánh h°áng āng dụng) TP.Hà CHÍ MINH - 2021 HâC VIÞN CÔNG NGHÞ B¯U CHÍNH VIâN THÔNG -------------------------------------- TRÀN QUÞC Đ¾T Kþ THUÀT HâC SÂU CHO BÀI TOÁN THEO VÀT ĐA ĐÞI T¯þNG Chuyên ngành: Há tháng thông tin Mã sá: 8.04 LUÀN VN TH¾C S) Kþ THUÀT (Theo đánh h°áng ứng dāng) NG¯âI H¯àNG D¾N KHOA HâC: PGS.TS LÊ HOÀNG THÁI TP. Hà CHÍ MINH - 2021 i LâI CAM ĐOAN Tôi cam đoan rằng luÁn văn: <Kỹ thuật học sâu cho bài toán theo vết đa đối tượng= là công trình nghiên cāu cÿa chính tôi. Nhÿng kÁt quÁ nghiên cāu đ°āc trình bày trong luÁn văn là công trình cÿa riêng cÿa tôi d°ái sā h°áng d¿n cÿa PGS.TS Lê Hoàng Thái. Tôi cam đoan các sá liáu, kÁt quÁ nêu trong luÁn văn là trung thāc và ch°a từng đ°āc ai công bá trong bất kỳ công trình nào khác.

Không có sÁn phẩm/nghiên cāu nào cÿa ng°ßi khác đ°āc sử dụng trong luÁn văn này mà không đ°āc trích d¿n theo đúng quy đánh. Hồ Chí Minh, ngày 25 tháng 01 năm 2022 Hãc viên thāc hißn luÁn vn TrÁn Qußc Đ¿t ii LâI CÀM ¡N Trong suát quá trình học tÁp và nghiên cāu thāc hián luÁn văn, ngoài nỗ lāc cÿa bÁn thân, tôi đã nhÁn đ°āc sā h°áng d¿n nhiát tình quý báu cÿa quý Thầy Cô, cùng vái sā đßng viên và ÿng hß cÿa gia đình, b¿n bè và đồng nghiáp. Vái lòng kính trọng và biÁt ¢n sâu sắc, tôi xin gửi lßi cÁm ¢n chân thành tái: Tôi xin chân thành cÁm ¢n Ban Giám hiáu, quý Thầy Cô Khoa Đào t¿o sau đ¿i học cÿa Học vián Công nghá B°u chính Vißn thông đã t¿o mọi đißu kián thuÁn lāi giúp tôi hoàn thành luÁn văn. Tôi cũng xin chân thành cÁm ¢n Thầy PGS.TS Lê Hoàng Thái, ng°ßi thầy kính mÁn đã hÁt lòng giúp đÿ, h°áng d¿n, đßng viên, t¿o đißu kián cho tôi trong suát quá trình thāc hián và hoàn thành luÁn văn.

Tôi xin chân thành cÁm ¢n gia đình, b¿n bè, đồng nghiáp trong c¢ quan đã đßng viên, hỗ trā tôi trong lúc khó khăn đá tôi có thá học tÁp và hoàn thành luÁn văn. Mặc dù đã có nhißu cá gắng, nỗ lāc, nh°ng do thßi gian và kinh nghiám nghiên cāu khoa học còn h¿n chÁ nên không thá tránh khßi nhÿng thiÁu sót. Tôi rất mong nhÁn đ°āc sā góp ý cÿa quý Thầy Cô cùng b¿n bè đồng nghiáp đá kiÁn thāc cÿa tôi ngày mßt hoàn thián h¢n. Xin chân thành cÁm ¢n! iii DANH SÁCH HÌNH ÀNH Hình 1.1 Tổng quát one-shot MOT.

Ành đầu vào s¿ đ°āc cho vào m¿ng encoder- decoder đá t¿o ra bÁn đồ đặc tr°ng đß phân giÁi cao (stride = 4). Sau đó s¿ đ°a vào hai đầu song song đá dā đoán đặc tr°ng bounding box và Re-ID .2 Chi tiÁt m¿ng x°¢ng sáng DLA 34 .3 (a) là m¿ng CNN c¢ bÁn nh° VGG (b) là mô tÁ kÁt nái nông nh° cÿa Feature Pyramid .4 Fully Convolutional Networks for Semantic Segmentation .5 IDA hoặc HDA .6 M¿ng kÁt hāp IDA và HDA .8 Feature Pyramid Network .10 Tích chÁp biÁn d¿ng có thá lấy các điám có giá trá khác nhau tuỳ theo Ánh đầu vào, nh° á hình này chúng tÁp trung vào hình Ánh cÿa con vÁt thay vì phân tán nh° á tích chÁp th°ßng.12 Multi Branch - KiÁn trúc r¿ nhánh .14 Nhánh đánh danh vÁt thá .15 So sánh giÿa Focal loss và cross entropy loss .1 Flowchart huấn luyán .2 Flowchart mô tÁ cách nßi suy đặc tr°ng .3 Luồng xử lý cÿa trình theo dõi .4 KhoÁng cách Cosine giÿa hai vector đặc tr°ng .5 Điám IoU giÿa hai vector đặc tr°ng .6 Flow chart of the Iterative process .7 Ví dụ mßt theo dõi đ¢n giÁn nêu lên mßt trong nhÿng điám khác biát chính giÿa các chß sá đánh giá. Ba trình theo dõi khác nhau đ°āc hián thá đá tăng đß chính xác phát hián và giÁm đß chính xác liên kÁt. MOTA và IDF1 nhấn m¿nh quá māc Ánh h°áng cÿa viác .1 Detect ng°ßi đi bß trên đ°ßng phá á video nhÁy múa đ°ßng phá .2 Detect ng°ßi đi bß á khu vāc Thánh thất Tây Ninh .3 Detect ng°ßi đi bß tr°ác cửa bánh vián Ung B°áu .4 Detect ng°ßi đi bß khu vāc khám bánh cÿa bánh vián .5 Detect ng°ßi đi bß khu khám bánh cÿa bánh vián .6 Detect ng°ßi đi bß khu vāc mua sắm á siêu thá .7 KÁt quÁ ch¿y TrackEval cÿa bß MOT15 .8 KÁt quÁ ch¿y TrackEval cÿa bß MOT16 .9 KÁt quÁ ch¿y TrackEval cÿa bß MOT17 .10 KÁt quÁ ch¿y TrackEval cÿa bß MOT20 .11 KÁt quÁ ch¿y TrackEval cÿa bß MOT25 .39 v DANH SÁCH BÀNG BÁng 4.1 Thông tin cÿa tÁp dÿ liáu MOT25 .2 KÁt quÁ các chß sá đánh giá cÿa bß data MOT25 .3 KÁt quÁ tổng hāp các chß sá đánh giá cÿa các bß data .40 vi MĀC LĀC LâI CAM ĐOAN.

ii DANH SÁCH HÌNH ÀNH. iii DANH SÁCH BÀNG. Lý do chọn đß tài .Tổng quan vß vấn đß nghiên cāu. Mục đích nghiên cāu.

Đái t°āng và ph¿m vi nghiên cāu. Ph°¢ng pháp nghiên cāu .1 Các ph°¢ng pháp dò tìm đái t°āng .2 Phân tích vấn đß .4 Các kỹ thuÁt áp dụng.5 KÁt luÁn ch°¢ng 1. CÁC CÔNG TRÌNH LIÊN QUAN .1 Ph°¢ng pháp Two-Steps MOT .2 Ph°¢ng pháp One-Shot MOT .3 Các công trình khác .4 KÁt luÁn ch°¢ng 2. QUY TRÌNH THĀC HIàN DÒ TÌM VÀ TÁI ĐàNH DANH ĐàI T¯ĀNG .1 Huấn luyán và nßi suy ra đặc tr°ng .3 Đánh giá đß chính xác cÿa mô hình .4 KÁt luÁn ch°¢ng 2 .29 vii CH¯¡NG 4.

THĀC NGHIàM VÀ ĐÁNH GIÁ KÀT QUÀ THĀC NGHIàM .1 TÁp dÿ liáu thāc nghiám .2 Xây dāng bß dÿ liáu MOT25 Chi tiÁt quá trình huấn luyán .3 Đánh giá và so sánh các bß dÿ liáu vái TrackEval. KÀT LUÀN VÀ H¯àNG PHÁT TRIàN.1 KÁt quÁ nghiên cāu cÿa đß tài .2 H¿n chÁ cÿa đß tài .3 H°áng phát trián cÿa đß tài .42 DANH MĀC CÁC TÀI LIÞU THAM KHÀO. Lý do chãn đß tài Trong nhÿng năm gần đây, viác phát hián và tái xác đánh đái t°āng đã có nhißu tiÁn bß đáng ká. Hai kỹ thuÁt này là thành phần cát lõi đá hình thành há tháng theo dõi đa đái t°āng.

Tuy nhiên, viác hoàn thành hai nhiám vụ trong mßt m¿ng duy nhất đá cÁi thián tác đß suy luÁn ch°a đ°āc quan tâm nhißu. Các nỗ lāc ban đầu cho viác hāp nhất hai nhiám vụ trên cho kÁt quÁ thấp. Nguyên nhân chÿ yÁu: là do kỹ thuÁt tái nhÁn d¿ng ch°a đ°āc huấn luyán phù hāp. Trong luÁn văn, chúng tôi tìm hiáu nhÿng lý do c¢ bÁn đằng sau sā thất b¿i; tiÁn tái, đß nghá mßt ph°¢ng pháp c¢ bÁn đ¢n giÁn đá giÁi quyÁt các vấn đß.

Mục tiêu cÿa há tháng đß xuất là: dā đoán đ°ßng đi cÿa nhißu vÁt thá đ°āc chú ý trong các video. Nhißu āng dụng cÿa há tháng đß nghá này s¿ rất hÿu ích trong nhißu lĩnh vāc thāc tÁ khác nhau: • Dā đoán hành đßng. • Phân tích các video thá thao, • Robot trā giúp ng°ßi già. • T°¢ng tác giÿa ng°ßi và máy tính&.Tổng quan vß v¿n đß nghiên cứu Theo vÁt đa đái t°āng (Multi-Object Tracking (MOT)) là mßt trong nhÿng bài toán kinh đián thußc lĩnh vāc thá giác máy tính.

Các ph°¢ng pháp tr°ác đây th°ßng chia bài toán này thành hai model riêng biát: model (1) Bß dò tìm(detection): đầu tiên s¿ đánh vá và khoanh vùng vÁt thá cần chú ý tái bằng bounding box trong tÁp các Ánh, sau đó sang model (2), Bß kÁt hāp (association) s¿ t¿o ra các đặc tr°ng tái đánh danh (Re-identification (Re-ID)) cho mỗi bounding box và kÁt nái nó tái mßt trong nhÿng tuyÁn đ°ßng (t¿o ra bái vÁt thá) đã đ°āc xác đánh bái các đặc tr°ng tr°ác đó. Trong các năm gần đây, các kỹ thuÁt trên đã có nhÿng b°ác tiÁn đáng kinh ng¿c vß đß chính xác cũng nh° tác đß. Tuy nhiên, khi kÁt hāp hai model thì l¿i không thá dùng á các video có đß phân giÁi cao (30FPS), do tác đß thāc thi không đÁm bÁo, bái vì các network đó không chia sẻ cùng mßt bß đặc tr°ng (Tāc là muán dùng 2 đ°āc đặc tr°ng cÿa (1)detection thì (2) Association phÁi qua mßt b°ác biÁn đổi nào đó - two-steps). Vái sā phát trián cÿa học đa nhiám (multi-task learning), ph°¢ng pháp one-shot cho viác kÁt hāp (1) phát hián vÁt thá và (2) học các đặc tr°ng Re-ID đ°āc chú ý đÁn nhißu h¢n.

Do phần lán các đặc tr°ng có thá đ°āc chia sẻ giÿa hai model nên ph°¢ng pháp này có khÁ năng làm giÁm thßi kÁt hāp (inteference time) hai model. Tuy nhiên, đß chính xác (accuracy) cÿa ph°¢ng pháp one-shot hián t¿i giÁm đi rõ rát, khi so sánh vái ph°¢ng pháp two-steps, dāa vào các thāc nghiám, thì rõ ràng viác kÁt hāp hai model này không thá thāc hián mßt cách đ¢n giÁn đ°āc, mà phÁi chú ý mßt cách cẩn thÁn. Thay vì, sử dụng các trick trong máy học và học sâu đá tăng đß chính xác thì chúng ta s¿ nghiên cāu lý do quan trọng cho thất b¿i này. Sau đây, s¿ là 3 nhân tá quan trọng nhất Ánh h°áng đÁn accuray: • Anchors don9t fit Re-ID [6](tÁp đặc tr°ng cÿa bß dò tìm không kháp vái tÁp đặc tr°ng tái đánh danh) • Multi-Layer Feature Aggregation [8] (Tích hāp các đặc tr°ng qua nhißu láp) • Dimensionality of the RelD Features [2,9] (Kích th°ác cÿa các đặc tr°ng Re-ID).

Māc đích nghiên cứu Xây dāng mßt mô hình nhÁn d¿ng theo vÁt nhißu đái t°āng (ng°ßi) đá tiÁn tái xa h¢n có thá áp dụng mô hình cho mßt sá lĩnh vāc thāc tÁ nh°: an ninh quác phòng, giao thông vÁn tÁi,& 4. Đßi t°ÿng và ph¿m vi nghiên cứu Đái t°āng nghiên cāu: NhÁn d¿ng theo vÁt nhißu đái t°āng (ng°ßi) quan tâm trong video á tác đß 30 khung hình mỗi giây. Ph¿m vi nghiên cāu: thāc hián trên tÁp dÿ liáu video FairMOT [9] và mßt sá tÁp dÿ liáu video chọn lọc từ youtube khác. Các video dÿ liáu chāa rất nhißu đái t°āng đ°āc quay á nhißu vá trí khung cÁnh khác nhau (trên đ°ßng phá hoặc trong siêu thá,&) 5.

Ph°¢ng pháp nghiên cứu • Ph°¢ng pháp chuyên gia: 3 Tổng hāp các kiÁn thāc đã biÁt vß các mô hình học sâu – cụ thá là m¿ng x°¢ng sáng (Backbone Network), Nhánh phát hián đái t°āng(Object Detection Branch) , Nhánh nhúng danh tính (Identity Embedding Branch), Dò tìm trāc tuyÁn (Online Tracking) [8]. • Ph°¢ng Pháp Thāc Nghiám: Thāc nghiám trên tÁp dÿ liáu video FairMOT [9] và mßt sá tÁp dÿ liáu video chọn lọc từ youtube khác và bß dÿ liáu tā xây dāng đá tìm ra mßt mô hình cho đß chính xác (accuracy) cao và tác đß ch¿y thßi gian thāc khi nhÁn d¿ng và theo vÁt nhißu đái t°āng.