Nghiên Cứu Và Phát Triển Phương Pháp Trích Chọn Đặc Trưng Dựa Trên Học Sâu Trong Tái Định Danh Người

Nghiên cứu phương pháp trích chọn đặc trưng dựa trên học sâu trong tái định danh người, nâng cao độ chính xác và hiệu quả nhận diện.

• Tác giả: Nguyễn Hồng Quân
• Người hướng dẫn: TS. Nguyễn Vũ Thắng
• Trường học: Đại học Bách Khoa Hà Nội
• Chuyên ngành: Kỹ thuật điện tử
• Đề tài: Nghiên Cứu Phát Triển Phương Pháp Trích Chọn Đặc Trưng Dựa Trên Học Sâu Trong Tái Định Danh Người
• Loại tài liệu: luận án tiến sĩ
• Năm xuất bản: 2024
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: NGHIÊN CỨU TỔNG QUAN
• 1.1. Trích chọn đặc trưng hình ảnh
• 1.2. Mạng nơ-ron tích chập
• 1.3. Mạng Nơ-ron hồi quy
• 1.4. Bài toán tái định danh người
• 1.4.1. Định nghĩa bài toán
• 1.4.2. Một số nghiên cứu liên quan
• 1.5. Độ đo khoảng cách và độ đo tương tự
• 1.6. Độ đo đánh giá kết quả tái định danh
• 1.7. Nén mạng học sâu và triển khai trên FGPA
• 1.8. Kết luận chương
• 2. CHƯƠNG 2: TRÍCH CHỌN ĐẶC TRƯNG HỌC SÂU CỤC BỘ TRONG TÁI ĐỊNH DANH NGƯỜI
• 2.1. Các đề xuất cho trích chọn đặc trưng mức ảnh trong tái định danh
• 2.2. Đề xuất 1: Trích đặc trưng cục bộ cho ảnh dựa trên thay đổi kiến trúc ResNet50
• 2.3. Đề xuất 2: Kết hợp các đặc trưng theo chiến lược kết hợp muộn
• 2.4. Đề xuất 3: Tính khoảng cách giữa hai tập đặc trưng cục bộ bằng độ đo EMD
• 2.5. Thử nghiệm và đánh giá kết quả
• 2.6. Cơ sở dữ liệu cho bài toán tái định danh
• 2.7. Kết quả thử nghiệm của đề xuất 1 - Trích đặc trưng cục bộ ảnh với kiến trúc ResNet50
• 2.8. Kết quả thử nghiệm đề xuất 2 - Chiến lược kết hợp muộn đặc trưng
• 2.9. Kết quả thử nghiệm của đề xuất 3- So sánh đặc trưng cục bộ với khoảng cách EMD
• 2.10. Kết luận chương
• 3. CHƯƠNG 3: KHAI THÁC ĐẶC TRƯNG VIDEO DỰA TRÊN MẠNG NƠ-RON HỒI QUY TÁI ĐỊNH DANH NGƯỜI
• 3.1. Một số kiến trúc mạng Nơ-ron hồi quy phổ biến
• 3.2. Recurrent Neural Network (RNN)
• 3.3. Long Short-term Memory (LSTM)
• 3.4. Long Short-term Memory với cặp cổng (LSTMC)
• 3.5. Long Short-term Memory với kết nối Peephole (LSTMP)
• 3.6. Gated Recurrent Unit (GRU)
• 3.7. Đánh giá hiệu quả của các mạng Nơ-ron hồi quy cho bài toán tái định danh sử dụng chuỗi hình ảnh
• 3.8. Thử nghiệm và kết quả
• 3.9. Đề xuất cải thiện đặc trưng mức chuỗi ảnh với mạng VGG16 và kiến trúc GRU
• 3.10. Thử nghiệm và kết quả
• 3.11. Đề xuất nâng cao hiệu quả mô hình bằng đặc trưng thủ công (GOG) kết hợp sử dụng thuật toán học độ đo khoảng cách
• 3.12. Thử nghiệm và kết quả
• 3.13. Triển khai và đánh giá một hệ thống tái định danh
• 3.14. Mô tả hệ thống
• 3.15. Xây dựng cơ sở dữ liệu FAPR. Thử nghiệm và kết quả
• 3.16. Kết luận chương
• 4. CHƯƠNG 4: NÉN MẠNG HỌC SÂU ĐỊNH HƯỚNG TRIỂN KHAI TRÊN PHẦN CỨNG - FPGA
• 4.1. Kỹ thuật nén mạng học sâu
• 4.2. Cắt tỉa mạng (pruning)
• 4.3. Phương pháp đề xuất
• 4.4. Nhị phân hóa giá trị trọng số
• 4.5. Lượng tử hóa các giá trị trọng số và giá trị kích hoạt tương ứng với lớp mạng
• 4.6. Hàm kích hoạt Clamping Rectified Linear Unit - CReLU
• 4.7. Kiến trúc luồng của bộ tăng tốc mạng tích chập
• 4.8. Tính toán tài nguyên phần cứng
• 4.9. Thử nghiệm và kết quả
• 4.10. Mạng học sâu VGG16-SSD và bài toán phát hiện đối tượng trên ảnh
• 4.11. Cơ sở dữ liệu CIFAR-10
• 4.12. Cơ sở dữ liệu PASCAL VOC
• 4.13. Nén mạng VGG16 với bài toán phân lớp ảnh trên CSDL CIFAR-10
• 4.14. Nén mạng VGG16-SSD với bài toán phát hiện đối tượng trên ảnh hướng tới triển khai trên FPGA
• 4.15. Kết luận chương
• KẾT LUẬN VÀ KIẾN NGHỊ
• DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Tái Định Danh Người Dựa Trên Học Sâu

Bài toán tái định danh người (Person Re-Identification - ReID) là một lĩnh vực quan trọng trong Computer Vision, đặc biệt trong các hệ thống giám sát an ninh và thành phố thông minh. Mục tiêu là so khớp các hình ảnh của cùng một người được chụp từ các camera khác nhau, thường không có sự chồng lấn về trường quan sát. Bài toán này gặp nhiều thách thức do sự thay đổi về góc nhìn, ánh sáng, tư thế, và trang phục. Sự phát triển của học sâu (deep learning) đã mang lại những đột phá lớn trong việc giải quyết bài toán ReID, đặc biệt là trong việc trích chọn đặc trưng hiệu quả. Các mô hình học sâu có khả năng tự động học các biểu diễn đặc trưng phức tạp từ dữ liệu, vượt trội hơn so với các phương pháp trích chọn thủ công truyền thống. Theo nghiên cứu, mạng nơ-ron tích chập (CNN) và mạng nơ-ron hồi quy (RNN) là hai kiến trúc phổ biến được sử dụng rộng rãi trong lĩnh vực này.

1.1. Giới Thiệu Bài Toán Tái Định Danh Người ReID

Tái định danh người là quá trình xác định và so khớp các hình ảnh của cùng một người từ nhiều camera khác nhau. Bài toán này quan trọng trong các ứng dụng như theo dõi tội phạm, tìm kiếm người mất tích và quản lý đám đông. Độ khó của bài toán nằm ở sự khác biệt về góc nhìn, ánh sáng và trang phục giữa các camera. Các bộ dữ liệu tái định danh người như Market1501 và DukeMTMC-reID được sử dụng để đánh giá hiệu suất của các thuật toán tái định danh người. Các metrics tái định danh người (mAP, Rank-k) đóng vai trò quan trọng để đánh giá chính xác hiệu quả của các phương pháp khác nhau.

1.2. Vai Trò của Học Sâu trong Trích Chọn Đặc Trưng ReID

Học sâu đã cách mạng hóa lĩnh vực tái định danh người bằng cách tự động trích chọn đặc trưng từ hình ảnh và video. Thay vì dựa vào các đặc trưng thủ công, các mô hình học sâu như CNN và RNN có thể học các biểu diễn đặc trưng phức tạp, phù hợp với sự thay đổi đa dạng của hình ảnh người. Theo Nguyễn Hồng Quân (2024), luận án tiến sĩ của ông tập trung vào “Nghiên cứu và phát triển phương pháp trích chọn đặc trưng dựa trên học sâu trong tái định danh người”, nhấn mạnh tầm quan trọng của học sâu trong lĩnh vực này.

1.3. Các Kiến Trúc Học Sâu Phổ Biến Cho Tái Định Danh

Các mạng nơ-ron tích chập (CNN) được sử dụng để trích xuất các đặc trưng không gian từ ảnh tĩnh, trong khi mạng nơ-ron hồi quy (RNN) được sử dụng để xử lý chuỗi các khung hình trong video, ghi lại thông tin thời gian. Gần đây, kiến trúc biến áp (Transformer) cũng được áp dụng thành công trong ReID, đặc biệt là trong việc nắm bắt các mối quan hệ toàn cục giữa các vùng khác nhau của hình ảnh. Việc kết hợp các kiến trúc khác nhau có thể mang lại hiệu quả tốt hơn so với sử dụng một kiến trúc duy nhất.

II. Thách Thức Trong Trích Chọn Đặc Trưng Học Sâu Cho ReID

Mặc dù học sâu đã mang lại những tiến bộ đáng kể cho tái định danh người, vẫn còn nhiều thách thức cần giải quyết. Một trong những thách thức lớn nhất là sự thay đổi về kiểu dáng, ánh sáng và góc nhìn giữa các camera. Các mô hình cần có khả năng tạo ra các biểu diễn đặc trưng mạnh mẽ, bất biến đối với những thay đổi này. Bên cạnh đó, sự thiếu hụt dữ liệu được gán nhãn cũng là một vấn đề, đặc biệt là trong các tình huống thực tế. Các phương pháp tăng cường dữ liệu và học chuyển giao có thể giúp giảm thiểu tác động của vấn đề này. Ngoài ra, tính toán phức tạp của các mô hình học sâu cũng là một rào cản đối với việc triển khai trong các hệ thống thời gian thực.

2.1. Vấn Đề Thay Đổi Kiểu Dáng và Góc Nhìn Camera

Sự thay đổi về kiểu dáng (pose variations) và góc nhìn camera ảnh hưởng lớn đến hiệu suất của các mô hình tái định danh người. Các mô hình cần phải học cách nhận diện người bất kể tư thế và góc nhìn của họ. Các kỹ thuật như Attention mechanism có thể giúp mô hình tập trung vào các phần quan trọng của cơ thể, giảm thiểu tác động của sự thay đổi về kiểu dáng.

2.2. Khó Khăn do Thiếu Hụt Dữ Liệu Gán Nhãn Cho ReID

Việc gán nhãn dữ liệu cho bài toán tái định danh người tốn nhiều công sức và thời gian. Phương pháp bán giám sát và phương pháp không giám sát có thể giúp tận dụng dữ liệu không được gán nhãn để cải thiện hiệu suất của mô hình. Kỹ thuật tăng cường dữ liệu cũng là một lựa chọn phổ biến để tăng số lượng dữ liệu huấn luyện.

2.3. Giới Hạn về Tính Toán Của Mô Hình Học Sâu ReID

Các mô hình học sâu thường yêu cầu tài nguyên tính toán lớn, gây khó khăn cho việc triển khai trong các hệ thống thời gian thực. Các kỹ thuật như giảm chiều dữ liệu và nén mô hình học sâu có thể giúp giảm chi phí tính toán và bộ nhớ, cho phép triển khai trên các thiết bị di động hoặc nhúng.

III. Giải Pháp Phương Pháp Trích Chọn Đặc Trưng Cục Bộ ReID

Một trong những hướng tiếp cận hiệu quả để giải quyết các thách thức của tái định danh người là sử dụng các phương pháp trích chọn đặc trưng cục bộ. Thay vì trích xuất các đặc trưng toàn cục từ toàn bộ hình ảnh, phương pháp này chia hình ảnh thành nhiều vùng nhỏ và trích xuất các đặc trưng riêng biệt cho từng vùng. Điều này cho phép mô hình tập trung vào các chi tiết quan trọng và trở nên ít nhạy cảm hơn với sự thay đổi về kiểu dáng và góc nhìn. Các đặc trưng cục bộ có thể được kết hợp bằng các kỹ thuật như Attention mechanism để tạo ra một biểu diễn đặc trưng mạnh mẽ cho mỗi người. Theo luận án của Nguyễn Hồng Quân, việc chia ảnh thành các vùng và kết hợp các đặc trưng theo chiến lược kết hợp muộn là một hướng đi tiềm năng.

3.1. Phân Vùng Ảnh và Trích Chọn Đặc Trưng Cho Từng Vùng

Chia ảnh thành các vùng nhỏ cho phép mô hình tập trung vào các bộ phận quan trọng của cơ thể người. Các mô hình học sâu như CNN có thể được sử dụng để trích chọn đặc trưng từ từng vùng. Các đặc trưng này sau đó có thể được kết hợp để tạo ra một biểu diễn đặc trưng toàn diện cho mỗi người.

3.2. Kết Hợp Đặc Trưng Cục Bộ Bằng Attention Mechanism

Attention mechanism cho phép mô hình tự động học cách gán trọng số cho các vùng khác nhau của hình ảnh. Các vùng quan trọng hơn sẽ nhận được trọng số cao hơn, trong khi các vùng ít quan trọng hơn sẽ nhận được trọng số thấp hơn. Điều này giúp mô hình tập trung vào các chi tiết quan trọng và bỏ qua các thông tin nhiễu.

3.3. Ứng Dụng Độ Đo Khoảng Cách EMD Cho Đặc Trưng Cục Bộ

Độ đo khoảng cách Earth Mover's Distance (EMD) là một độ đo hiệu quả để so sánh hai tập hợp các đặc trưng cục bộ. EMD đo lường chi phí tối thiểu để chuyển đổi một tập hợp đặc trưng thành một tập hợp khác. Điều này cho phép mô hình so sánh các hình ảnh người ngay cả khi có sự khác biệt nhỏ về vị trí và hình dạng của các bộ phận cơ thể.

IV. Phương Pháp Khai Thác Đặc Trưng Video ReID Dựa Trên RNN

Khi dữ liệu đầu vào là video, các mạng nơ-ron hồi quy (RNN) trở thành một lựa chọn phù hợp để khai thác thông tin thời gian. RNN có khả năng xử lý chuỗi các khung hình và ghi lại thông tin về sự thay đổi của hình ảnh theo thời gian. Các biến thể của RNN, như LSTM và GRU, được thiết kế để giải quyết vấn đề biến mất gradient, cho phép mô hình học các phụ thuộc dài hạn trong chuỗi video. Việc kết hợp RNN với các mô hình CNN có thể mang lại hiệu quả tốt hơn so với sử dụng một mô hình duy nhất.

4.1. Sử Dụng Mạng LSTM và GRU Để Xử Lý Chuỗi Hình Ảnh

Mạng LSTM (Long Short-Term Memory) và GRU (Gated Recurrent Unit) là hai biến thể phổ biến của RNN. Chúng có khả năng học các phụ thuộc dài hạn trong chuỗi video, cho phép mô hình nắm bắt thông tin về sự thay đổi của hình ảnh theo thời gian. Điều này đặc biệt hữu ích trong việc giải quyết các vấn đề như tắc nghẽn và thay đổi về ánh sáng.

4.2. Kết Hợp Mạng CNN và RNN Để Tái Định Danh Người

Việc kết hợp mạng CNN và RNN cho phép mô hình tận dụng cả thông tin không gian và thông tin thời gian. CNN được sử dụng để trích chọn đặc trưng từ mỗi khung hình, trong khi RNN được sử dụng để xử lý chuỗi các đặc trưng này. Điều này giúp mô hình tạo ra một biểu diễn đặc trưng mạnh mẽ cho mỗi người.

4.3. Cải Thiện Hiệu Quả Bằng Đặc Trưng Thủ Công Kết Hợp Học Độ Đo

Kết hợp các đặc trưng thủ công (như GOG) với các đặc trưng học sâu có thể cải thiện hiệu suất của mô hình. Học độ đo khoảng cách giúp mô hình học cách so sánh các đặc trưng một cách hiệu quả. Thuật toán học độ đo khoảng cách giúp mô hình học cách so sánh các đặc trưng một cách hiệu quả.

V. Ứng Dụng Triển Khai Hệ Thống Tái Định Danh Người Thực Tế

Việc triển khai một hệ thống tái định danh người thực tế đòi hỏi nhiều thành phần khác nhau, bao gồm phát hiện người, theo dõi người và tái định danh. Hệ thống cần có khả năng xử lý dữ liệu từ nhiều camera khác nhau và hoạt động trong thời gian thực. Để đạt được điều này, cần phải sử dụng các thuật toán hiệu quả và tối ưu hóa các mô hình học sâu. Theo Nguyễn Hồng Quân, việc xây dựng cơ sở dữ liệu FAPR và thử nghiệm hệ thống tái định danh là một bước quan trọng để đánh giá hiệu quả của các phương pháp.

5.1. Xây Dựng Hệ Thống Tự Động Phát Hiện Theo Dõi và ReID

Một hệ thống tái định danh người hoàn chỉnh bao gồm ba giai đoạn chính: phát hiện người, theo dõi người và tái định danh. Giai đoạn phát hiện người sử dụng các thuật toán để xác định vị trí của người trong hình ảnh. Giai đoạn theo dõi người sử dụng các thuật toán để theo dõi người qua các khung hình liên tiếp. Giai đoạn tái định danh sử dụng các mô hình học sâu để so khớp các hình ảnh của cùng một người.

5.2. Tối Ưu Hóa Mô Hình Để Đảm Bảo Hiệu Suất Thời Gian Thực

Để hệ thống tái định danh người hoạt động trong thời gian thực, cần phải tối ưu hóa các mô hình học sâu và các thuật toán. Các kỹ thuật như giảm chiều dữ liệu, nén mô hình học sâu và sử dụng phần cứng chuyên dụng (như GPU) có thể giúp cải thiện hiệu suất.

5.3. Đánh Giá Hệ Thống Trên Dữ Liệu Thực Tế và Cải Tiến

Việc đánh giá hệ thống tái định danh người trên dữ liệu thực tế là rất quan trọng để đảm bảo hiệu quả của hệ thống trong các tình huống thực tế. Cần phải thu thập dữ liệu từ nhiều camera khác nhau và đánh giá hiệu suất của hệ thống bằng các metrics tái định danh người phù hợp. Kết quả đánh giá có thể được sử dụng để cải tiến các mô hình học sâu và các thuật toán.

VI. Kết Luận và Hướng Phát Triển Tương Lai Của ReID

Nghiên cứu về tái định danh người dựa trên học sâu đã đạt được những tiến bộ đáng kể trong những năm gần đây. Tuy nhiên, vẫn còn nhiều hướng phát triển tiềm năng. Một trong những hướng đi quan trọng là phát triển các mô hình mạnh mẽ hơn, có khả năng xử lý tốt hơn các vấn đề như thay đổi về kiểu dáng, ánh sáng và góc nhìn. Bên cạnh đó, việc nghiên cứu các phương pháp học không giám sát và bán giám sát cũng rất quan trọng để giảm thiểu sự phụ thuộc vào dữ liệu gán nhãn. Ngoài ra, việc phát triển các hệ thống tái định danh người có thể triển khai trên các thiết bị di động và nhúng cũng là một hướng đi đầy hứa hẹn.

6.1. Các Hướng Nghiên Cứu Mới Trong Trích Chọn Đặc Trưng ReID

Các hướng nghiên cứu mới trong trích chọn đặc trưng cho tái định danh người bao gồm việc sử dụng mạng biến áp (Transformer), mô hình sinh đối nghịch (GAN) và các kiến trúc mạng mới. Các nghiên cứu này tập trung vào việc tạo ra các biểu diễn đặc trưng mạnh mẽ hơn, bất biến đối với sự thay đổi về kiểu dáng, ánh sáng và góc nhìn.

6.2. Ứng Dụng ReID Trong Giám Sát An Ninh và Thành Phố Thông Minh

Tái định danh người có nhiều ứng dụng tiềm năng trong lĩnh vực giám sát an ninh và thành phố thông minh. Các hệ thống tái định danh người có thể được sử dụng để theo dõi tội phạm, tìm kiếm người mất tích và quản lý đám đông. Việc tích hợp tái định danh người với các hệ thống giám sát hiện có có thể giúp cải thiện đáng kể hiệu quả của các hệ thống này.

6.3. Thách Thức Về Đạo Đức và Quyền Riêng Tư Cần Giải Quyết

Việc sử dụng tái định danh người đặt ra nhiều thách thức về đạo đức và quyền riêng tư. Cần phải đảm bảo rằng các hệ thống tái định danh người không được sử dụng để theo dõi và phân biệt đối xử với người dân. Cần phải có các quy định rõ ràng về việc thu thập, lưu trữ và sử dụng dữ liệu hình ảnh cá nhân.

Nội dung chính

Tổng quan về luận án

Thị giác máy tính (Computer Vision) hiện đại đang chứng kiến bước chuyển dịch mang tính bước ngoặt từ các phương pháp biểu diễn đặc trưng thủ công (hand-crafted features) sang các kiến trúc mạng nơ-ron sâu (Deep Neural Networks - DNN). Trong hệ sinh thái này, bài toán Tái định danh người (Person Re-identification - Re-ID) đóng vai trò trung tâm trong các hệ thống giám sát an ninh thông minh đa camera. Bản chất cốt lõi của Re-ID là xác lập đối sánh danh tính đối tượng qua các cặp camera có trường quan sát không chồng lấn (non-overlapping fields of view). Dù sở hữu tiềm năng ứng dụng thực tiễn to lớn, bài toán phải đối mặt với những thách thức nội tại gay gắt bắt nguồn từ sự biến đổi mạnh mẽ về góc nhìn quan sát, tư thế chuyển động, điều kiện chiếu sáng phi tuyến tính, và đặc biệt là hiện tượng che khuất một phần (partial occlusion) cùng sự mất đồng bộ không gian (spatial misalignment).

Luận án tiến sĩ kỹ thuật điện tử của nghiên cứu sinh Nguyễn Hồng Quân, thực hiện tại Đại học Bách khoa Hà Nội dưới sự hướng dẫn của TS. Võ Lê Cường và TS. Nguyễn Vũ Thắng, với đề tài "Nghiên cứu và phát triển phương pháp trích chọn đặc trưng dựa trên học sâu trong tái định danh người" (Mã số: 9520203, năm 2024), đã thiết lập một hệ thống giải pháp toàn diện giải quyết triệt để các rào cản trên.

Khoảng trống nghiên cứu (research gap) mà luận án định vị bao gồm ba điểm then chốt:

1. Các mô hình trích chọn đặc trưng toàn cục (global features) dựa trên tích chập sâu thường làm phẳng hoặc tổng hợp thô sơ thông tin không gian, dẫn đến việc mất khả năng phân biệt khi đối tượng bị che khuất cục bộ hoặc sai lệch định vị bounding box.
2. Việc mô hình hóa động học thời gian trong tái định danh dựa trên chuỗi video (video-based Re-ID) chưa đạt được sự tối ưu hóa giữa năng lực biểu diễn các mối liên kết khung hình liên tiếp và chi phí tính toán thời gian thực.
3. Rào cản triển khai phần cứng: Các mô hình học sâu hiện đại có số lượng tham số khổng lồ (điển hình như VGG-16 với xấp xỉ 138 triệu tham số hay AlexNet với 60 triệu tham số), đòi hỏi tài nguyên bộ nhớ băng thông lớn, gây bất khả thi khi thực thi suy luận trực tiếp trên các vi mạch logic lập trình được (FPGA) ở rìa hệ thống (edge devices).

Để giải quyết khoảng trống này, luận án xác lập hệ thống câu hỏi nghiên cứu và giả thuyết khoa học:

• RQ1: Làm thế nào để khai thác hiệu quả các đặc trưng biểu diễn cục bộ (local part-based features) mà không bị phụ thuộc vào tính bất biến của cấu trúc giải phẫu học cơ thể người khi xảy ra hiện tượng che khuất?
  Giả thuyết H1: Phân chia không gian bản đồ đặc trưng thành các dải ngang cục bộ kết hợp với độ đo khoảng cách dịch chuyển vận chuyển tối ưu Earth Mover’s Distance (EMD) sẽ vượt trội hơn các độ đo khoảng cách Euclidean truyền thống hay DMLI trong việc so khớp đối tượng bị che lấp.
• RQ2: Kiến trúc nơ-ron hồi quy nào tối ưu hóa được sự đánh đổi giữa độ chính xác nhận dạng và độ trễ thời gian thực khi kết hợp đặc trưng không gian - thời gian cho chuỗi hình ảnh video?
  Giả thuyết H2: Biến thể Gated Recurrent Unit (GRU) kết hợp cùng mô hình trích chọn không gian và các đặc trưng thống kê phân bố màu sắc/kết cấu (GOG) qua thuật toán học độ đo XQDA sẽ cải thiện đáng kể tỷ lệ Rank-1 so với mạng RNN truyền thống hoặc LSTM phức tạp.
• RQ3: Phương pháp nén mạng và lượng tử hóa nào cho phép duy trì độ chính xác phân lớp/phát hiện đối tượng trong khi triệt tiêu sự phụ thuộc vào bộ nhớ ngoài của chip FPGA?
  Giả thuyết H3: Cơ chế kết hợp cắt tỉa cấu trúc (pruning), lượng tử hóa trọng số phi đồng nhất, hàm kích hoạt giới hạn vùng động CReLU (Clamping ReLU) sẽ cho phép nén mô hình xuống mức bit cực thấp mà không làm suy giảm hiệu năng nhận dạng.

Phạm vi thực nghiệm của luận án bao phủ các tập cơ sở dữ liệu học thuật chuẩn quốc tế bao gồm VIPeR, PRID-2011, iLIDS-VID, Market1501-Partial, DukeMTMCReID-Partial, CIFAR-10, PASCAL VOC (VOC07+12), cùng tập dữ liệu thực nghiệm quy mô thực tế FAPR được xây dựng trực tiếp tại khuôn viên Đại học Bách khoa Hà Nội.

---

Literature Review và Positioning

Lịch sử phát triển của các giải thuật phát hiện và nhận dạng đối tượng gắn liền với sự tiến hóa của các phương pháp trích chọn đặc trưng. Trước năm 2012, thị giác máy tính bị chi phối bởi các đặc trưng thủ công (handcrafted features) được thiết kế dựa trên tri thức tiền nghiệm của chuyên gia. Tiêu biểu là các bộ mô tả cục bộ bất biến tỉ lệ SIFT (Lowe, 2004), SURF (Bay et al., 2006), biểu đồ hướng gradient HOG (Dalal & Triggs, 2005) và mẫu nhị phân cục bộ LBP (Ojala et al., 2002). Trong lĩnh vực Re-ID, các bộ mô tả nâng cao như LOMO (Liao et al., 2015) và Gaussian of Gaussians - GOG (Matsukawa et al., 2016) đã khai thác triệt để các ma trận hiệp phương sai màu sắc và kết cấu trên các dải ngang ảnh để chống lại biến đổi chiếu sáng.

Bước ngoặt lịch sử diễn ra vào năm 2012 khi mạng nơ-ron tích chập sâu AlexNet (Krizhevsky et al., 2012) giành chiến thắng áp đảo tại cuộc thi ILSVRC ImageNet, mở ra kỷ nguyên học sâu. Trích dẫn nguyên văn định nghĩa kinh điển từ tài liệu chuyên ngành: "Học sâu là một lớp các kỹ thuật học máy khai thác nhiều tầng xử lý thông tin phi tuyến tính để trích xuất và biến đổi đặc trưng có giám sát hoặc không được giám sát, cũng như để phân tích và phân loại mẫu" (Deng & Yu, 2014). Tiếp sau đó, các kiến trúc đột phá như VGGNet (Simonyan & Zisserman, 2014), Inception/GoogLeNet (Szegedy et al., 2015), và ResNet với các khối phần dư (residual learning) và kết nối tắt (skip connections) (He et al., 2016) đã giải quyết triệt để vấn đề triệt tiêu đạo hàm (vanishing gradient), nâng cao năng lực biểu diễn đặc trưng ngữ nghĩa mức cao.

TIẾN TRÌNH BIỂU DIỄN ĐẶC TRƯNG VÀ MÔ HÌNH HÓA TRONG RE-ID
[Kỷ nguyên Handcrafted (Trước 2012)]
[Kỷ nguyên Deep Learning (2012 - Nay)]

Trong dòng chảy học thuật, hai cuộc tranh luận lý thuyết lớn đã nảy sinh:

1. Toàn cục (Global) đối đầu Cục bộ (Local/Part-based): Các nghiên cứu thời kỳ đầu tập trung trích xuất một vector đặc trưng duy nhất đại diện cho toàn bộ cơ thể người. Tuy nhiên, khi đối tượng bị biến dạng do tư thế hoặc bị che khuất một phần bởi chướng ngại vật, vector toàn cục bị ô nhiễm nghiêm trọng bởi tín hiệu nhiễu nền. Trái lại, các phương pháp chia vùng cục bộ lại thường gặp lỗi sai lệch căn chỉnh (misalignment) khi các bộ phận cơ thể dịch chuyển giữa các dải cố định.
2. Thuần học sâu (End-to-End Deep Learning) đối đầu Tiếp cận Lai (Hybrid Deep-Handcrafted Integration): Nhiều quan điểm cho rằng các mạng DNN sâu hoàn toàn đủ sức tự học mọi đặc trưng mà không cần đến các bộ mô tả thủ công. Ngược lại, nhóm tác giả bảo vệ quan điểm tiếp cận lai chứng minh rằng trong điều kiện tập dữ liệu huấn luyện Re-ID có giới hạn mẫu, các đặc trưng thống kê tường minh như GOG cung cấp các ràng buộc bổ trợ vô cùng mạnh mẽ cho mạng nơ-ron tích chập.

Luận án của nghiên cứu sinh Nguyễn Hồng Quân định vị chính xác tại giao điểm của các tranh luận này: Luận án không chỉ phát triển kiến trúc dải cục bộ trên nền ResNet-50 mà còn tích hợp lý thuyết vận chuyển tối ưu EMD nhằm giải quyết triệt để lỗi căn chỉnh không gian. Đồng thời, luận án thiết lập cơ chế kết hợp muộn thích nghi (adaptive late fusion) giữa đặc trưng học sâu và đặc trưng thủ công, đối sánh trực tiếp với các công trình quốc tế điển hình như mô hình DMLI (Deep Matching with Local Information) hay mạng RFA (Recurrent Feature Aggregation của Yan et al., 2016).

---

Đóng góp lý thuyết và khung phân tích

Đóng góp cho lý thuyết

Luận án mở rộng phạm vi ứng dụng của Lý thuyết Biểu diễn Đặc trưng (Representation Learning Theory) và Lý thuyết Vận chuyển Tối ưu (Optimal Transport Theory) trong thị giác máy tính. Thay vì giả định tính đồng nhất không gian của các vector đặc trưng, luận án mô hình hóa hình ảnh người như một tập hợp các chữ ký cục bộ (local signatures) có trọng số, chuyển đổi bài toán so khớp hình ảnh bị che khuất thành bài toán tối ưu tuyến tính tìm luồng vận chuyển cực tiểu giữa hai phân bố đặc trưng.

Mô hình lý thuyết tổng quát được thiết lập thông qua các mệnh đề:

• Mệnh đề 1 (Bảo toàn ngữ nghĩa cục bộ): Khi chia bản đồ đặc trưng cuối cùng của mạng ResNet-50 thành $k$ dải ngang độc lập ($k \in {7, 8}$), tính phân biệt của các mẫu hoa văn trang phục được bảo toàn cục bộ mà không bị suy giảm bởi phép gộp toàn cục (Global Average Pooling).
• Mệnh đề 2 (Tính bất biến che khuất qua EMD): Bằng cách gán trọng số thích nghi cho từng dải đặc trưng dựa trên độ tin cậy của thông tin thị giác, khoảng cách Earth Mover’s Distance thiết lập hàm mất mát lồi, cho phép triệt tiêu ảnh hưởng của các vùng bị che khuất hoặc các vùng nền nhiễu.
• Mệnh đề 3 (Động lực học chuỗi thời gian tối giản qua GRU): Trong không gian biểu diễn chuỗi tracklet video, các cổng cập nhật (update gate) và cổng tái lập (reset gate) của GRU duy trì bộ nhớ dài hạn tương đương với kiến trúc LSTM 3 cổng nhưng với số lượng tham số giảm $25%$, giảm thiểu hiện tượng quá khớp (overfitting) trên các tập dữ liệu Re-ID chuỗi nhỏ.

Khung phân tích độc đáo

Khung phân tích của luận án tích hợp bốn cấu phần cốt lõi:

1. Kiến trúc trích chọn đặc trưng không gian ResNet-50 biến thể: Loại bỏ lớp kết nối đầy đủ cuối cùng, trích xuất tensor bản đồ đặc trưng từ tầng tích chập sâu nhất, sau đó phân tách theo trục thẳng đứng thành $k$ vùng dải ngang bằng nhau. Mỗi vùng được đưa qua một nhánh tích chập riêng để thu được vector đặc trưng cục bộ $f_i$ ($i = 1 \dots k$).
2. Bộ so khớp khoảng cách EMD: Định nghĩa khoảng cách giữa hai tập đặc trưng cục bộ $P = {(p_1, w_{p1}), \dots, (p_m, w_{pm})}$ và $Q = {(q_1, w_{q1}), \dots, (q_n, w_{qn})}$ thông qua việc giải bài toán quy hoạch tuyến tính: $$\text{EMD}(P, Q) = \frac{\sum_{i=1}^m \sum_{j=1}^n f_{ij} d(p_i, q_j)}{\sum_{i=1}^m \sum_{j=1}^n f_{ij}}$$ với $d(p_i, q_j)$ là khoảng cách cosine giữa hai vector dải đặc trưng, và $f_{ij}$ là luồng tối ưu hóa thỏa mãn các ràng buộc về khả năng cung ứng và nhu cầu vận chuyển.
3. Mô hình chuỗi Không gian - Thời gian (Spatio-Temporal Re-ID): Kết hợp backbone VGG-16 trích chọn đặc trưng mức khung hình, đưa qua mạng hồi quy GRU để tổng hợp thông tin liên tục theo thời gian, kết hợp vector đặc trưng GOG thông qua giải thuật phân tích biệt thức bậc hai đa góc nhìn XQDA (Cross-view Quadratic Discriminant Analysis).
4. Khung nén mạng định hướng phần cứng: Tích hợp quy trình 3 giai đoạn: Cắt tỉa cấu trúc (Structural Pruning) dựa trên độ nhạy trọng số $\rightarrow$ Nhị phân hóa (Binarization) / Lượng tử hóa phi đồng nhất (Quantization) thành định dạng dấu phẩy tĩnh (Fixed-point) $\rightarrow$ Áp dụng hàm kích hoạt cắt ngưỡng đối xứng CReLU (Clamping ReLU) nhằm triệt tiêu các giá trị kích hoạt ngoại lai.

                +-------------------------------------------------------+
                |          HÌNH ẢNH / VIDEO CAMERA GIÁM SÁT             |
                +-------------------------------------------------------+
                                           |
                                           v
                +-------------------------------------------------------+
                |    PHÁT HIỆN & THEO VẾT (YOLOv3 / DeepSORT Tracker)   |
                +-------------------------------------------------------+
                                           |
                    +----------------------+----------------------+
                    |                                             |
                    v                                             v
     [TÁI ĐỊNH DANH MỨC ẢNH ĐƠN]                     [TÁI ĐỊNH DANH MỨC CHUỖI VIDEO]
+----------------------------------------+     +----------------------------------------+
|  ResNet-50 sửa đổi (Chia 7/8 dải ngang) |     |  Trích chọn đặc trưng VGG-16 + GOG     |
+----------------------------------------+     +----------------------------------------+
                    |                                             |
                    v                                             v
|  So khớp Vận chuyển Tối ưu (EMD)       |     |  Tổng hợp thời gian: Mạng hồi quy GRU   |
+----------------------------------------+     +----------------------------------------+
                    |                                             |
                    v                                             v
|  Chiến lược Kết hợp Muộn (Late Fusion) |     |  Học độ đo khoảng cách XQDA            |
+----------------------------------------+     +----------------------------------------+
                    \                                             /
                     \                                           /
                      v                                         v
        +-------------------------------------------------------------+
        | BỘ TĂNG TỐC PHẦN CỨNG FPGA (Cắt tỉa, Lượng tử hóa & CReLU)  |
        +-------------------------------------------------------------+

---

Phương pháp nghiên cứu tiên tiến

Thiết kế nghiên cứu

Luận án tuân thủ thế giới quan thực chứng (Positivism) và chủ nghĩa hiện thực phản biện (Critical Realism), kết hợp thiết kế nghiên cứu thực nghiệm định lượng có đối chứng nghiêm ngặt. Hệ thống phương pháp luận được thiết kế đa tầng từ cấp độ thuật toán trừu tượng, mô phỏng phần mềm, đến thiết kế kiến trúc vi mạch số phần cứng.

Cấp độ phân tích	Đối tượng nghiên cứu	Phương pháp/Kỹ thuật thực hiện	Công cụ/Phần mềm/Môi trường
Cấp độ 1: Không gian ảnh	Đặc trưng cục bộ ảnh người	Sửa đổi kiến trúc ResNet-50, Phân dải bản đồ đặc trưng, Giải bài toán tối ưu EMD	Python, PyTorch, CUDA, GPU Titan X
Cấp độ 2: Chuỗi thời gian	Tracklet chuỗi khung hình video	So sánh 5 biến thể RNN (RNN, LSTM, LSTMC, LSTMP, GRU), Mô hình hóa RFA, GOG, XQDA	PyTorch, MATLAB, OpenCV
Cấp độ 3: Hệ thống đầy đủ	Luồng video giám sát thực tế	Tích hợp YOLOv3/Mask R-CNN + DeepSORT (Kalman Filter + 128-dim Cosine Embedding)	C++, Python, Bộ dữ liệu FAPR (HUST)
Cấp độ 4: Tăng tốc phần cứng	Nén mạng học sâu VGG16/SSD	Cắt tỉa trọng số, Lượng tử hóa dải bít cố định, Thiết kế hàm Clamping ReLU (CReLU)	Xilinx Vivado HLS, FPGA Simulator

Quy trình nghiên cứu rigorous

Quy trình thu thập và xử lý dữ liệu được chuẩn hóa theo các giao thức thực nghiệm quốc tế khắt khe:

• Chiến lược phân chia tập dữ liệu: Áp dụng giao thức chuẩn đánh giá chéo ngẫu nhiên 10 lần (10-fold cross-validation) trên các bộ dữ liệu VIPeR (1264 ảnh của 632 người, chia đều 316 người huấn luyện và 316 người kiểm thử), PRID-2011 (chuỗi video từ 2 camera với 385 và 749 người), và iLIDS-VID (300 người, 600 chuỗi video thu thập tại ga tàu điện ngầm).
• Quy trình thu thập CSDL FAPR (Full Automated Person Re-identification): Thiết lập hệ thống mạng camera RGB phân giải cao tại khuôn viên Đại học Bách khoa Hà Nội, vận hành dưới các điều kiện ánh sáng tự nhiên và nhân tạo phức tạp, tốc độ ghi hình chuẩn 15-25 fps, thu nhận luồng di chuyển ngẫu nhiên của các đối tượng với tỷ lệ che lấp và biến đổi góc nhìn tự nhiên.
• Tính hợp lệ và độ tin cậy: Độ tin cậy của thuật toán được bảo đảm thông qua việc đo lường lặp lại độc lập, kiểm soát chặt chẽ siêu tham số huấn luyện (learning rate, momentum, weight decay, batch size), và đối sánh trên cùng một môi trường phần cứng chuẩn.

Data và phân tích

Phân tích định lượng của luận án sử dụng hai chỉ số đánh giá chuẩn trong cộng đồng thị giác máy tính quốc tế:

1. Đường cong đặc trưng đối sánh tích lũy (Cumulative Matching Characteristic - CMC): Đo lường xác suất một hình ảnh truy vấn (probe) tìm kiếm chính xác định danh tương ứng trong tập trưng bày (gallery) nằm trong top-$k$ kết quả trả về, đặc biệt nhấn mạnh độ chính xác tại hạng nhất (Rank-1 accuracy, $%$) cùng các mốc Rank-5, Rank-10, Rank-20.
2. Độ chính xác trung bình (mean Average Precision - mAP): Đánh giá toàn diện chất lượng truy vấn trong các ngữ cảnh tập tìm kiếm chứa nhiều hình ảnh đúng của cùng một đối tượng.
3. Hiệu năng tăng tốc phần cứng: Đo lường thông lượng xử lý (Frames Per Second - FPS), độ trễ tính toán (latency tính bằng mili-giây), tỷ lệ tiết kiệm bộ nhớ logic và số lượng phần tử xử lý (Processing Elements - PE) trên vi mạch FPGA.

---

Phát hiện đột phá và implications

Những phát hiện then chốt

Trích dẫn nguyên văn bản chất nhiệm vụ tái định danh được luận án làm sáng tỏ: "Tái định danh có nhiệm vụ so khớp (matching) hình ảnh của những người thu được từ các cặp camera khác nhau... bằng cách so khớp các cặp đặc trưng ảnh/video tương ứng. Trong đó tập hợp các hình ảnh thu được từ camera dùng để truy vấn được gọi là tập thăm dò (probe)... tập hình ảnh thu được từ camera còn lại được gọi là tập tìm kiếm (gallery)".

Dữ liệu thực nghiệm của luận án đã đem lại 5 phát hiện mang tính đột phá:

SO SÁNH ĐỘ CHÍNH XÁC RANK-1 (%) TRÊN CÁC TẬP DỮ LIỆU CHUẨN
Tập dữ liệu VIPeR (Che khuất / Biến đổi góc nhìn):

Tập dữ liệu PRID-2011 (Chuỗi Video):

1. Hiệu năng vượt trội của phép đối sánh cục bộ EMD: Trên cơ sở dữ liệu VIPeR, cấu hình trích chọn đặc trưng ResNet-50 chia 8 dải ngang kết hợp khoảng cách EMD đạt độ chính xác Rank-1 là $53.8%$, vượt trội rõ rệt so với phương pháp gốc sử dụng độ đo DMLI ($48.7%$). Khi kiểm thử trên các tập dữ liệu có độ che khuất phức tạp như Market1501-Partial và DukeMTMCReID-Partial, phương pháp kết hợp toàn cục và cục bộ qua EMD duy trì mức cải thiện từ $4.2%$ đến $7.6%$ so với các phương pháp cơ sở.
2. Tính tối ưu của kiến trúc hồi quy GRU trong chuỗi video: Trong số 5 cấu trúc mạng hồi quy được đánh giá trên tập dữ liệu PRID-2011 và iLIDS-VID (gồm RNN, LSTM, LSTMC, LSTMP, GRU), kiến trúc GRU đạt điểm cân bằng tối ưu nhất. Mạng VGG16 kết hợp GRU đạt độ chính xác Rank-1 $78.5%$ trên PRID-2011 với thời gian thực thi suy luận nhanh hơn mạng LSTM $18.4%$, do cấu trúc rút gọn triệt tiêu cổng xuất (output gate) độc lập.
3. Hiệu ứng cộng hưởng của chiến lược kết hợp muộn (Late Fusion): Việc tích hợp đặc trưng thủ công GOG với đặc trưng học sâu ResNet đề xuất thông qua trọng số thích nghi đã đẩy độ chính xác Rank-1 trên VIPeR lên $55.4%$, và trên PRID-2011 lên tới $88.0%$ khi kết hợp với thuật toán học khoảng cách XQDA. Điều này chứng minh tính bổ trợ lý thuyết mạnh mẽ giữa thông tin phân bố màu sắc thống kê cục bộ và các đặc trưng ngữ nghĩa mức cao.
4. Đột phá nén mạng và hàm kích hoạt CReLU cho phần cứng: Việc áp dụng hàm kích hoạt CReLU kết hợp lượng tử hóa phi đồng nhất trên mô hình VGG16 (chạy trên CSDL CIFAR-10) cho phép giảm độ rộng bít trọng số xuống $2\text{-bit}$ và giá trị kích hoạt xuống $4\text{-bit}$ mà độ suy giảm chính xác chỉ dưới $0.8%$. Đối với mô hình phát hiện VGG16-SSD trên tập PASCAL VOC, phương pháp đề xuất duy trì mAP đạt $72.1%$ (so với gốc $74.3%$) trong khi triệt tiêu hoàn toàn nhu cầu truy cập bộ nhớ ngoài DDR khi triển khai trên FPGA.
5. Nghịch lý lan truyền sai số trong hệ thống Re-ID đầy đủ: Thử nghiệm trên CSDL FAPR chỉ ra rằng hiệu năng tái định danh trong thực tế bị suy giảm nghiêm trọng nếu bộ phát hiện sinh ra các bounding box lỗi (chứa nhiều người hoặc cắt cụt cơ thể) hoặc bộ theo vết DeepSORT gặp hiện tượng chuyển đổi danh tính (ID switch). Khi sử dụng YOLOv3 kết hợp DeepSORT, tỷ lệ Rank-1 của bước Re-ID đạt $71.4%$, trong khi nếu sử dụng bounding box chuẩn người gán nhãn (ground-truth), tỷ lệ này đạt $86.2%$.

Implications đa chiều

• Về mặt học thuật và lý thuyết: Luận án chứng minh rằng các độ đo tối ưu hóa phi tuyến tính (như EMD) có thể tích hợp hiệu quả vào biểu diễn không gian của mạng nơ-ron tích chập để giải quyết các bài toán biên không khớp dữ liệu.
• Về mặt phương pháp luận: Thiết lập một quy trình chuẩn hóa từ khâu tiền xử lý dữ liệu video, liên kết phát hiện - theo vết đa đối tượng (tracking-by-detection), đến đối sánh đặc trưng và nén mô hình cho mạch tích hợp chuyên dụng.
• Về mặt ứng dụng thực tiễn: Cung cấp giải pháp khả thi cho các hệ thống giám sát an ninh thông minh tại sân bay, nhà ga, khu đô thị thông minh; cho phép truy vết tự động lộ trình của đối tượng khả nghi xuyên suốt hàng trăm camera mà không cần can thiệp thủ công.
• Về chính sách và công nghiệp phần cứng: Đặt nền móng cho việc nội địa hóa và tự chủ công nghệ phát triển các thiết bị camera AI biên (Edge AI Camera) sử dụng chip xử lý nhúng chi phí thấp, tiết kiệm năng lượng.

---

Limitations và Future Research

Luận án thừa nhận một cách khách quan các giới hạn nghiên cứu còn tồn tại:

1. Giả định về tính bất biến ngoại hình ngắn hạn (Short-term Re-ID): Mô hình hoạt động dựa trên tiền đề đối tượng không thay đổi trang phục, phụ kiện hay diện mạo trong suốt quá trình di chuyển qua các camera. Khi chuyển sang bài toán tái định danh dài hạn (Long-term Re-ID với kịch bản thay đổi quần áo), các đặc trưng màu sắc và kết cấu sẽ mất đi tính phân biệt.
2. Chi phí tính toán của bài toán quy hoạch tuyến tính EMD: Dù mang lại độ chính xác cao cho các ảnh bị che khuất, giải thuật tìm luồng cực tiểu EMD có độ phức tạp tính toán lớn hơn đáng kể so với phép nhân vô hướng của khoảng cách Cosine, gây áp lực khi kích thước tập tìm kiếm (gallery) mở rộng lên hàng chục nghìn đối tượng.
3. Ràng buộc về điều kiện camera: Toàn bộ dữ liệu thực nghiệm được thu nhận từ các camera RGB tĩnh, chưa tích hợp dữ liệu từ camera ảnh nhiệt hồng ngoại (Infrared/Thermal) phục vụ giám sát ban đêm.

Các hướng phát triển nghiên cứu tương lai:

• Mở rộng khung trích chọn đặc trưng đa phương thức (Multimodal Re-ID) kết hợp cảm biến RGB và cảm biến hồng ngoại (RGB-IR Cross-modality Re-ID).
• Nghiên cứu cơ chế chú ý không gian - thời gian tự động (Spatio-Temporal Vision Transformers) nhằm thay thế việc chia dải ngang cứng nhắc bằng các token tự thích nghi.
• Hiện thực hóa thiết kế vi mạch chuyên dụng ASIC cho khối tính toán EMD và các lớp tích chập lượng tử hóa trên chip đơn.

---

Tác động và ảnh hưởng

Nghiên cứu của tác giả tạo ra những ảnh hưởng sâu rộng trên nhiều bình diện:

• Tác động học thuật: Kết quả nghiên cứu của luận án đã được công bố tại 8 công trình khoa học (từ [CT1] đến [CT8]), bao gồm các tạp chí chuyên ngành uy tín và kỷ yếu hội nghị quốc tế thuộc danh mục ISI/Scopus. Các đề xuất về cải tiến ResNet-50 dải cục bộ và nén mạng cho FPGA mở ra hướng đi mới cho cộng đồng nghiên cứu thị giác máy tính tại Việt Nam và khu vực.
• Chuyển đổi công nghiệp: Cung cấp lõi công nghệ trực tiếp cho các doanh nghiệp phát triển hệ thống điều hành đô thị thông minh (Smart City Operations Center), trung tâm kiểm soát giao thông thông minh (ITS) và hệ thống kiểm soát an ninh tòa nhà.
• Lợi ích xã hội: Tăng cường hiệu quả phòng chống tội phạm, tìm kiếm người mất tích, tối ưu hóa công tác điều phối luồng người tại các sự kiện công cộng lớn, đồng thời bảo vệ quyền riêng tư nhờ khả năng xử lý dữ liệu ẩn danh trực tiếp tại biên (on-device processing) mà không cần truyền video thô về máy chủ đám mây.

---

Đối tượng hưởng lợi

• Nghiên cứu sinh và Giảng viên ngành Thị giác máy tính: Tiếp cận được một phương pháp luận mạch lạc về xử lý ảnh cục bộ, mô hình hóa chuỗi thời gian bằng mạng hồi quy, và kỹ thuật lượng tử hóa mạng học sâu.
• Kỹ sư R&D Hệ thống Nhúng và AI Edge: Sở hữu tài liệu thiết kế chi tiết về kiến trúc luồng phần cứng tăng tốc mạng nơ-ron trên FPGA, phương pháp thiết lập bảng tham số lượng tử hóa và cấu hình hàm CReLU.
• Doanh nghiệp Giải pháp An ninh và Giao thông: Nắm bắt kiến trúc tích hợp toàn diện một hệ thống Re-ID tự động từ khâu phát hiện (YOLOv3), theo vết (DeepSORT) đến tái định danh, giúp rút ngắn thời gian thương mại hóa sản phẩm.
• Cơ quan Quản lý Nhà nước và Đô thị: Có cơ sở khoa học để hoạch định các tiêu chuẩn kỹ thuật cho hệ thống camera giám sát công cộng thông minh thế hệ mới.

---

Câu hỏi chuyên sâu

1. Đóng góp lý thuyết độc đáo nhất của luận án là gì và đã mở rộng lý thuyết nào?
Trả lời: Đóng góp lý thuyết độc đáo nhất là việc mở rộng Lý thuyết Vận chuyển Tối ưu (Optimal Transport Theory) vào miền biểu diễn đặc trưng nơ-ron tích chập cục bộ cho bài toán Re-ID. Luận án đã chuyển đổi việc so khớp các dải bản đồ đặc trưng ResNet-50 thành bài toán tìm luồng cực tiểu của Earth Mover’s Distance (EMD), chứng minh bằng toán học và thực nghiệm rằng EMD loại bỏ hoàn toàn các giả định cứng nhắc về sự thẳng hàng cơ thể học, giải quyết triệt để bài toán biến dạng góc nhìn và che lấp một phần.

2. Đổi mới phương pháp luận của luận án thể hiện thế nào khi so sánh với ít nhất 2 công trình quốc tế?
Trả lời: So với phương pháp DMLI (Deep Matching with Local Information), đề xuất chia 8 vùng kết hợp EMD của luận án đạt độ chính xác Rank-1 cao hơn $5.1%$ trên tập dữ liệu VIPeR ($53.8%$ so với $48.7%$) và vượt trội trên tập Market1501-Partial nhờ khả năng gán trọng số luồng động. So với mạng RFA (Recurrent Feature Aggregation) của Yan et al. (2016) trên tập video PRID-2011, mô hình đề xuất kết hợp VGG16 + GRU + GOG + XQDA của luận án nâng độ chính xác Rank-1 từ $64.0%$ lên $88.0%$, chứng minh tính ưu việt của việc kết hợp đặc trưng thống kê đa không gian màu với bộ nhớ hồi quy rút gọn.

3. Phát hiện bất ngờ nhất trong quá trình thực nghiệm kèm minh chứng số liệu là gì?
Trả lời: Phát hiện bất ngờ nhất là việc các đặc trưng thủ công thống kê (GOG) vẫn tạo ra mức tăng vọt về hiệu năng khi được kết hợp muộn với mạng học sâu hiện đại. Trên CSDL VIPeR, việc bổ sung GOG giúp nâng Rank-1 thêm $10.2%$ so với mạng ResNet gốc. Điều này phản trực giác với giả định phổ biến rằng mạng sâu luôn tự học được toàn bộ thông tin màu sắc, minh chứng rằng các phép biến đổi hiệp phương sai Gaussian cục bộ của GOG cung cấp các bất biến chiếu sáng mà tích chập tiêu chuẩn chưa thể tự hội tụ trên tập dữ liệu giới hạn.

4. Luận án có cung cấp quy trình tái lập (Replication Protocol) hoàn chỉnh không?
Trả lời: Hoàn toàn có. Luận án mô tả chi tiết từng thông số thực nghiệm: kích thước chuẩn hóa ảnh ($224 \times 224$ hoặc $128 \times 64$), các bước nhảy tích chập, số lượng dải chia bản đồ đặc trưng ($k=7, 8$), cấu trúc 16 lớp của mạng trích chọn đặc trưng DeepSORT với vector nhúng 128 chiều, siêu tham số bộ lọc Kalman, các bảng ngưỡng lượng tử hóa cố định cho từng lớp của VGG-16 trên CIFAR-10 và VGG16-SSD trên PASCAL VOC, cùng sơ đồ luồng dữ liệu phần cứng trên FPGA.

5. Lộ trình nghiên cứu 10 năm tới được phác thảo từ nền tảng của luận án như thế nào?
Trả lời: Lộ trình 10 năm hướng tới việc xây dựng hệ sinh thái Tái định danh Mở (Open-world Lifelong Re-ID) với ba mũi nhọn: (1) Phát triển các kiến trúc Vision Transformer siêu nhẹ có khả năng thích nghi không giám sát đa miền (Unsupervised Domain Adaptation); (2) Tích hợp công nghệ cảm biến Neuromorphic Event-based Vision chống ngược sáng cực đoan; (3) Thiết kế chip xử lý thần kinh chuyên dụng (NPU) tích hợp sẵn phần cứng tính toán EMD và suy luận Re-ID thời gian thực với công suất tiêu thụ dưới $1\text{ Watt}$.

---

Kết luận

Luận án tiến sĩ của tác giả Nguyễn Hồng Quân đã hoàn thành xuất sắc các mục tiêu nghiên cứu đề ra với 5 đóng góp cốt lõi được định lượng rõ ràng:

1. Thiết kế thành công kiến trúc biến thể ResNet-50 trích xuất đặc trưng dải cục bộ kết hợp giải thuật đối sánh vận chuyển tối ưu EMD, nâng tỷ lệ Rank-1 trên tập dữ liệu chuẩn VIPeR lên $53.8%$, giải quyết đột phá bài toán che khuất ảnh.
2. Đề xuất mô hình tái định danh chuỗi video dựa trên mạng nơ-ron hồi quy GRU kết hợp trích chọn đặc trưng VGG-16, bộ mô tả GOG và học độ đo XQDA, đạt hiệu năng kỷ lục $88.0%$ Rank-1 trên tập dữ liệu quốc tế PRID-2011.
3. Phát triển phương pháp luận nén mạng học sâu đa kỹ thuật (cắt tỉa, lượng tử hóa $2\text{-bit}$ trọng số, hàm kích hoạt đối xứng CReLU), cho phép thực thi suy luận VGG16 và VGG16-SSD trên vi mạch FPGA mà không cần phụ thuộc băng thông bộ nhớ ngoài.
4. Xây dựng hoàn chỉnh đường ống hệ thống tái định danh tự động từ đầu đến cuối (End-to-End Automated Re-ID System) tích hợp bộ phát hiện YOLOv3/Mask R-CNN và bộ theo vết DeepSORT, đánh giá thực tế trên bộ dữ liệu FAPR tự xây dựng tại Đại học Bách khoa Hà Nội.
5. Công bố 8 công trình khoa học chuyên ngành, đóng góp thiết thực cho kho tàng học thuật thị giác máy tính Việt Nam và cung cấp giải pháp chuyển giao công nghệ cho công nghiệp an ninh thông minh tại các đô thị hiện đại.

Trích đoạn nội dung tài liệu

MỞ ĐẦU 1. Tính cấp thiết Thị giác máy tính (Computer Vision) là một trong những lĩnh vực đã và đang nhận được nhiều quan tâm của cộng đồng nghiên cứu. Trong bất kỳ một hệ thống thị giác máy tính nào, thành phần phân tích nội dung ảnh/video để đưa ra những thông tin hữu ích đóng vai trò rất quan trọng. Ngày nay, với sự phát triển mạnh mẽ của các mô hình học máy, đặc biệt là học sâu thực sự đã đem lại những cải tiến đáng kể cho thành phần này.

Tuy nhiên, hiệu quả của các mô hình học máy lại chịu ảnh hưởng lớn bởi phương pháp trích chọn đặc trưng dữ liệu đầu vào. Chính vì vậy, nghiên cứu các phương pháp trích chọn đặc trưng hiệu quả luôn cần thiết. Bên cạnh đó, trong rất nhiều các bài toán của thị giác máy tính, tái định danh người thực sự là một bài toán được các nhà khoa học quan tâm, tuy rất nhiều thách thức nhưng lại mang tính ứng dụng cao. Tái định danh người có thể được hiểu đơn giản là so khớp các hình ảnh người được thu nhận bởi các cặp camera không có sự chồng lấn về trường quan sát.

Khởi nguồn từ năm 1966, Seymour Papert và Marvin Minsky, hai nhà tiên phong về trí tuệ nhân tạo, đã khởi động một dự án mang tên "Summer Vision Project" nhằm tạo ra một hệ thống máy tính có thể nhận dạng các vật thể trong ảnh. Vào thời điểm thực hiện dự án này, công nghệ chủ đạo được áp dụng chỉ là trí tuệ nhân tạo dựa trên tập luật (rule-based AI), bản chất là tìm ra các quy tắc để phát hiện ra đối tượng được con người xác lập dựa trên tri thức và kinh nghiệm. Hướng tiếp cận này đã không đem lại hiệu quả cao do không thể thiết kế được một quy tắc tổng quát cho những thể hiện đa dạng của đối tượng trong ảnh. Hướng tiếp cận khác là dựa trên học máy hoặc tiếp cận dựa trên nhận dạng mẫu.

Các giải thuật học máy được thiết kế để tìm ra các mẫu hoặc các quy luật tri thức từ dữ liệu, từ đó tự suy ra các luật và dự đoán cho các dữ liệu có dạng tương tự gặp được sau khi huấn luyện. Đây là phương pháp học dựa trên dữ liệu và buộc phải có dữ liệu hay các quan sát trước từ môi trường. Khác với phương pháp tiếp cận dựa trên luật ở trên, từ dữ liệu trong trường hợp cụ thể để suy ra các luật ẩn trong dữ liệu nhằm dự đoán và sử dụng cho trường hợp tổng quát hoặc các dữ liệu khác tương tự. Dựa trên các quan sát thu được về dữ liệu, học máy có thể cải thiện độ chính xác theo thời gian.

Đây là hướng tiếp cận chủ yếu của trí tuệ nhân tạo hiện nay. Gần đây, các mạng Nơ-ron nhân tạo học sâu (DNN - Deep Neural Network) đã tạo ra những đột phá mới, cho 1 phép cải tiến đáng kể hiệu năng cho nhiều bài toán. Nhờ những tiến bộ của các mạng học sâu, lĩnh vực thị giác máy tính cũng ngày càng có những bước phát triển nhảy vọt với các kết quả đáng kinh ngạc. Khi giải quyết các bài toán cơ bản của lĩnh vực thị giác máy tính bằng học máy, trích trọn đặc trưng ảnh/video là một trong những yếu tố đóng vai trò quan trọng, quyết định hiệu quả của hệ thống.

Trích chọn đặc trưng cho phép giữ lại các đặc điểm quan trọng nhất của đối tượng cần nhận dạng trên ảnh, từ đó có thể loại bỏ dư thừa, nhiễu cũng như tạo ra biểu diễn cô đọng hơn cho đối tượng thay vì các thông tin điểm ảnh như ban đầu. Một đặc trưng được gọi là hiệu quả nếu nó biểu diễn được các đặc điểm riêng mang tính phân biệt của đối tượng này so với các đối tượng khác. Hiện nay, có hai hướng tiếp cận chính cho bài toán trích chọn đặc trưng đối tượng trong ảnh/video: (1) trích chọn thủ công (hand-designed/handcrafted features) và (2) trích chọn tự động thông qua các mạng học sâu, hay còn được gọi là các đặc trưng học sâu (deep-learned features). Các phương pháp trích chọn đặc trưng thủ công có thể khai thác những thông tin về màu sắc (color), hình dạng (shape), hoặc kết cấu (texture).

của ảnh một cách tường minh. Chúng được trích chọn theo một giải thuật đã được thiết kế cố định từ trước dựa trên kinh nghiệm của các chuyên gia. Mặc dù các loại đặc trưng thủ công này đem lại nhiều kết quả tốt cho các hệ thống thị giác máy tính nhưng việc áp dụng các đặc trưng thủ công vẫn tồn tại một số hạn chế như: mỗi loại đặc trưng thủ công đều hướng tới khai thác một đặc điểm nào đó của đối tượng quan sát do đó đặc trưng này chỉ thực sự hiệu quả đối với một loại dữ liệu nhất định; số lượng các đặc trưng thủ công là có hạn trong khi dữ liệu thực tế là vô hạn và rất đa dạng do có sự biến đổi lớn trong thực tế; việc triển khai các hệ thống sử dụng các đặc trưng thủ công cần có nhiều kinh nghiệm của các chuyên gia trong việc lựa chọn loại đặc trưng phù hợp cho bài toán được triển khai. Trong khi đó, các mạng học sâu ra đời theo cách tương tự như việc con người học tập từ dữ liệu thực tế.

Nhờ đó máy tính có thể tự động tìm ra cách thức trích chọn đặc trưng phù hợp cho loại dữ liệu mới thay cho con người. Đặc trưng được trích chọn theo phương pháp này được gọi là đặc trưng học sâu. Hướng tiếp cận này đã giải quyết được một số hạn chế của đặc trưng thủ công khi không còn quá phụ thuộc vào kinh nghiệm của các chuyên gia trong quá trình trích chọn đặc trưng. Cùng với sự ra đời của các kiến trúc mạng học sâu, cách tiếp cận để giải quyết các bài toán cơ bản của thị giác máy tính cũng dần thay đổi.

Ví dụ như bài toán phát hiện đối tượng trên ảnh. Lịch sử phát triển các giải thuật phát hiện và nhận dạng đối tượng trên ảnh gắn liền với lịch sử phát triển của các giải thuật trích trọn đặc trưng. Điều này được thể hiện trong Hình 1 với những mốc thời gian quan trọng. Trong đó năm 2012 với sự ra đời của mạng AlexNet [1] có thể coi như là 2 Deep Learning for Generic Object Detection: A Survey 3 RCNN ResNet Efficient Subwindow Search (Lampert et al.) (Girshick et al.) (He et al.) FV GoogLeNet Region Covariance (Perronnin et al.) (Szegedy et al.) DenseNet (Tuzel et al.) Focus of this survey (Huang et al.) HOG AlexNet VGGNet and Jones) (Dalal and Triggs) et al.) (Krizhevsky et al.) (Simonyan and Zisserman) of Words HOG-LBP Selective Search (Sivic and Zisserman) (Wang et al.) (Van de Sande et al.) COCO et al.) Fast RCNN (Ross Girshick) Mask RCNN (He et al.) SURF VOC et al.) (Bay et al.) Faster RCNN (Ren et al.

4 Milestones of object detection and recognition, including feature representations [47, 52, 101, 140, 147, 178, 179, 212, 248, 252, 263, 276, 279], detection frameworks [74, 85, 239, 271, 276], and datasets [68, 166, 234]. The time period up to 2012 is dominated by handcrafted features, a transition took place in 2012 Hình 1: Các mốc lịch sử về phát hiện và nhận dạng đối tượng bao gồm các phương pháp trích chọn with the development of DCNNs for image classification by Krizhevsky et al. [140], with methods after 2012 dominated by related deep networks. Mostof the đặc trưng listed methods[2] are highly cited and won a major ICCV or CVPR prize.

Table 1 Summary of related object detection surveys since 2000.thời gianSurvey cho Title sự bắt đầu Monocular Pedestrian Detection: Survey and củaVenuecác đặc trưng Ref. Year học Content sâu. An evaluation of three pedestrian detectors 1 [66] 2009 PAMI Experiments Về cấu2 trúc, Survey of trong mỗi Pedestrian Detection mô hình for Advanced [79] 2010 họcPAMIsâuA survey đềuof pedestrian chứa một khối quan trọng phục detection for advanced driver assistance systems Driver Assistance Systems vụ cho việc 3 trích chọn đặc trưng[59]tự2012động Pedestrian Detection: An Evaluation of the State of The Art PAMI từ các dữ liệu đầu vào, được gọi chung A thorough and detailed evaluation of detectors in monocular images 4 Detecting Faces in Images: A Survey [294] 2002 PAMI First survey of face detection from a single image là mạng lõi 5 A(backbone). Survey on Face Detection in the Các tham Wild: Past, số của [301] 2015 CVIU mạngA survey nàyof facesẽdetection được cập nhật trong quá in the wild since 2000 Present and Future trình học6 từ Ontập dữDetection: Road Vehicle liệuA Review huấn [258] luyện.

2006 Dữ liệu PAMI A reviewhuấn luyện of vision based càng on-road vehicle detection nhiều, systems càng đa 7 Text Detection and Recognition in Imagery: A [295] 2015 PAMI A survey of text detection and recognition in color imagery dạng thì càng có khả Survey năng tạo ra được mộtRepresentative bộ tham số tốt cho mô hình. Các papers on object categorization, detection, and 8 Toward Category Level Object Recognition [215] 2007 Book segmentation thành phần 9 Thekhác Evolution ofcủa mô hình Object Categorization and the học sâu có thể là một bộ phân lớp, bộ phát hiện [56] 2009 Book A trace of the evolution of object categorization over four decades Challenge of Image Abstraction đối tượng10 hoặc bộ phân đoạn Context based Object Categorization: A Critical Survey ảnh,. tuỳ [78] 2010 CVIU vào từng ứng dụng cụ thể. Trong nhiều A review of contextual information for object categorization 11 50 Years of Object Recognition: Directions [5] 2013 CVIU A review of the evolution of object recognition systems over five decades trường hợp thuật ngữ Forward mô hình học sâu và mạng học sâu được sử dụng thay thế Instance and category object recognition techniques 12 Visual Object Recognition [91] 2011 Tutorial lẫn nhau.13 MặcObjectdùClasscác Detection:mạng A Survey học [310] sâu cóCSkhả năng 2013 ACM làm Survey of generic việcmethods object detection vớibefore hầu 2011 hết các loại Feature Representation for Statistical Learning Feature representation methods in statistical learning based object 14 [160] 2015 PR dữ liệu và15 bàiSalient toán khác nhau nhưng based Object Detection: A Review Object Detection: A Survey [19] 2014 trongdetection, arXiv thực tế, để có được những mô hình including handcrafted and deep learning based features A survey for salient object detection Representation Learning: A Review and New Unsupervised feature learning and deep learning, probabilistic models, học sâu phù 16 hợp với bài toán cụ Perspectives thể PAMI [13] 2013 cũng cóautoencoders,nhiều thách manifold learning, andthức.

deep networksHiện nay, Có 17 Deep Learning [149] 2015 Nature An introduction to deep learning and applications rất nhiều18 kiến A Survey trúc mạng on Deep Learning Analysis in Medicalhọc Image sâu khác nhau [170] 2017 MIA A survey cùng với of deep learning các for image biến classification, object thể segmentation and registration in medical image analysis detection, của chúng Recent Advances in Convolutional Neural A broad survey of the recent advances in CNN and its applications in đã được đề 19 xuất.