Nghiên Cứu Và Phát Triển Phương Pháp Trích Chọn Đặc Trưng Dựa Trên Học Sâu Trong Tái Định Danh Người

Nghiên cứu phương pháp trích chọn đặc trưng dựa trên học sâu trong tái định danh người, nâng cao độ chính xác và hiệu quả nhận diện.

• Tác giả: Nguyễn Hồng Quân
• Người hướng dẫn: TS. Nguyễn Vũ Thắng
• Trường học: Đại học Bách Khoa Hà Nội
• Chuyên ngành: Kỹ thuật điện tử
• Đề tài: Nghiên Cứu Phát Triển Phương Pháp Trích Chọn Đặc Trưng Dựa Trên Học Sâu Trong Tái Định Danh Người
• Loại tài liệu: luận án tiến sĩ
• Năm xuất bản: 2024
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: NGHIÊN CỨU TỔNG QUAN
• 1.1. Trích chọn đặc trưng hình ảnh
• 1.2. Mạng nơ-ron tích chập
• 1.3. Mạng Nơ-ron hồi quy
• 1.4. Bài toán tái định danh người
• 1.4.1. Định nghĩa bài toán
• 1.4.2. Một số nghiên cứu liên quan
• 1.5. Độ đo khoảng cách và độ đo tương tự
• 1.6. Độ đo đánh giá kết quả tái định danh
• 1.7. Nén mạng học sâu và triển khai trên FGPA
• 1.8. Kết luận chương
• 2. CHƯƠNG 2: TRÍCH CHỌN ĐẶC TRƯNG HỌC SÂU CỤC BỘ TRONG TÁI ĐỊNH DANH NGƯỜI
• 2.1. Các đề xuất cho trích chọn đặc trưng mức ảnh trong tái định danh
• 2.2. Đề xuất 1: Trích đặc trưng cục bộ cho ảnh dựa trên thay đổi kiến trúc ResNet50
• 2.3. Đề xuất 2: Kết hợp các đặc trưng theo chiến lược kết hợp muộn
• 2.4. Đề xuất 3: Tính khoảng cách giữa hai tập đặc trưng cục bộ bằng độ đo EMD
• 2.5. Thử nghiệm và đánh giá kết quả
• 2.6. Cơ sở dữ liệu cho bài toán tái định danh
• 2.7. Kết quả thử nghiệm của đề xuất 1 - Trích đặc trưng cục bộ ảnh với kiến trúc ResNet50
• 2.8. Kết quả thử nghiệm đề xuất 2 - Chiến lược kết hợp muộn đặc trưng
• 2.9. Kết quả thử nghiệm của đề xuất 3- So sánh đặc trưng cục bộ với khoảng cách EMD
• 2.10. Kết luận chương
• 3. CHƯƠNG 3: KHAI THÁC ĐẶC TRƯNG VIDEO DỰA TRÊN MẠNG NƠ-RON HỒI QUY TÁI ĐỊNH DANH NGƯỜI
• 3.1. Một số kiến trúc mạng Nơ-ron hồi quy phổ biến
• 3.2. Recurrent Neural Network (RNN)
• 3.3. Long Short-term Memory (LSTM)
• 3.4. Long Short-term Memory với cặp cổng (LSTMC)
• 3.5. Long Short-term Memory với kết nối Peephole (LSTMP)
• 3.6. Gated Recurrent Unit (GRU)
• 3.7. Đánh giá hiệu quả của các mạng Nơ-ron hồi quy cho bài toán tái định danh sử dụng chuỗi hình ảnh
• 3.8. Thử nghiệm và kết quả
• 3.9. Đề xuất cải thiện đặc trưng mức chuỗi ảnh với mạng VGG16 và kiến trúc GRU
• 3.10. Thử nghiệm và kết quả
• 3.11. Đề xuất nâng cao hiệu quả mô hình bằng đặc trưng thủ công (GOG) kết hợp sử dụng thuật toán học độ đo khoảng cách
• 3.12. Thử nghiệm và kết quả
• 3.13. Triển khai và đánh giá một hệ thống tái định danh
• 3.14. Mô tả hệ thống
• 3.15. Xây dựng cơ sở dữ liệu FAPR. Thử nghiệm và kết quả
• 3.16. Kết luận chương
• 4. CHƯƠNG 4: NÉN MẠNG HỌC SÂU ĐỊNH HƯỚNG TRIỂN KHAI TRÊN PHẦN CỨNG - FPGA
• 4.1. Kỹ thuật nén mạng học sâu
• 4.2. Cắt tỉa mạng (pruning)
• 4.3. Phương pháp đề xuất
• 4.4. Nhị phân hóa giá trị trọng số
• 4.5. Lượng tử hóa các giá trị trọng số và giá trị kích hoạt tương ứng với lớp mạng
• 4.6. Hàm kích hoạt Clamping Rectified Linear Unit - CReLU
• 4.7. Kiến trúc luồng của bộ tăng tốc mạng tích chập
• 4.8. Tính toán tài nguyên phần cứng
• 4.9. Thử nghiệm và kết quả
• 4.10. Mạng học sâu VGG16-SSD và bài toán phát hiện đối tượng trên ảnh
• 4.11. Cơ sở dữ liệu CIFAR-10
• 4.12. Cơ sở dữ liệu PASCAL VOC
• 4.13. Nén mạng VGG16 với bài toán phân lớp ảnh trên CSDL CIFAR-10
• 4.14. Nén mạng VGG16-SSD với bài toán phát hiện đối tượng trên ảnh hướng tới triển khai trên FPGA
• 4.15. Kết luận chương
• KẾT LUẬN VÀ KIẾN NGHỊ
• DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Tái Định Danh Người Dựa Trên Học Sâu

Bài toán tái định danh người (Person Re-Identification - ReID) là một lĩnh vực quan trọng trong Computer Vision, đặc biệt trong các hệ thống giám sát an ninh và thành phố thông minh. Mục tiêu là so khớp các hình ảnh của cùng một người được chụp từ các camera khác nhau, thường không có sự chồng lấn về trường quan sát. Bài toán này gặp nhiều thách thức do sự thay đổi về góc nhìn, ánh sáng, tư thế, và trang phục. Sự phát triển của học sâu (deep learning) đã mang lại những đột phá lớn trong việc giải quyết bài toán ReID, đặc biệt là trong việc trích chọn đặc trưng hiệu quả. Các mô hình học sâu có khả năng tự động học các biểu diễn đặc trưng phức tạp từ dữ liệu, vượt trội hơn so với các phương pháp trích chọn thủ công truyền thống. Theo nghiên cứu, mạng nơ-ron tích chập (CNN) và mạng nơ-ron hồi quy (RNN) là hai kiến trúc phổ biến được sử dụng rộng rãi trong lĩnh vực này.

1.1. Giới Thiệu Bài Toán Tái Định Danh Người ReID

Tái định danh người là quá trình xác định và so khớp các hình ảnh của cùng một người từ nhiều camera khác nhau. Bài toán này quan trọng trong các ứng dụng như theo dõi tội phạm, tìm kiếm người mất tích và quản lý đám đông. Độ khó của bài toán nằm ở sự khác biệt về góc nhìn, ánh sáng và trang phục giữa các camera. Các bộ dữ liệu tái định danh người như Market1501 và DukeMTMC-reID được sử dụng để đánh giá hiệu suất của các thuật toán tái định danh người. Các metrics tái định danh người (mAP, Rank-k) đóng vai trò quan trọng để đánh giá chính xác hiệu quả của các phương pháp khác nhau.

1.2. Vai Trò của Học Sâu trong Trích Chọn Đặc Trưng ReID

Học sâu đã cách mạng hóa lĩnh vực tái định danh người bằng cách tự động trích chọn đặc trưng từ hình ảnh và video. Thay vì dựa vào các đặc trưng thủ công, các mô hình học sâu như CNN và RNN có thể học các biểu diễn đặc trưng phức tạp, phù hợp với sự thay đổi đa dạng của hình ảnh người. Theo Nguyễn Hồng Quân (2024), luận án tiến sĩ của ông tập trung vào “Nghiên cứu và phát triển phương pháp trích chọn đặc trưng dựa trên học sâu trong tái định danh người”, nhấn mạnh tầm quan trọng của học sâu trong lĩnh vực này.

1.3. Các Kiến Trúc Học Sâu Phổ Biến Cho Tái Định Danh

Các mạng nơ-ron tích chập (CNN) được sử dụng để trích xuất các đặc trưng không gian từ ảnh tĩnh, trong khi mạng nơ-ron hồi quy (RNN) được sử dụng để xử lý chuỗi các khung hình trong video, ghi lại thông tin thời gian. Gần đây, kiến trúc biến áp (Transformer) cũng được áp dụng thành công trong ReID, đặc biệt là trong việc nắm bắt các mối quan hệ toàn cục giữa các vùng khác nhau của hình ảnh. Việc kết hợp các kiến trúc khác nhau có thể mang lại hiệu quả tốt hơn so với sử dụng một kiến trúc duy nhất.

II. Thách Thức Trong Trích Chọn Đặc Trưng Học Sâu Cho ReID

Mặc dù học sâu đã mang lại những tiến bộ đáng kể cho tái định danh người, vẫn còn nhiều thách thức cần giải quyết. Một trong những thách thức lớn nhất là sự thay đổi về kiểu dáng, ánh sáng và góc nhìn giữa các camera. Các mô hình cần có khả năng tạo ra các biểu diễn đặc trưng mạnh mẽ, bất biến đối với những thay đổi này. Bên cạnh đó, sự thiếu hụt dữ liệu được gán nhãn cũng là một vấn đề, đặc biệt là trong các tình huống thực tế. Các phương pháp tăng cường dữ liệu và học chuyển giao có thể giúp giảm thiểu tác động của vấn đề này. Ngoài ra, tính toán phức tạp của các mô hình học sâu cũng là một rào cản đối với việc triển khai trong các hệ thống thời gian thực.

2.1. Vấn Đề Thay Đổi Kiểu Dáng và Góc Nhìn Camera

Sự thay đổi về kiểu dáng (pose variations) và góc nhìn camera ảnh hưởng lớn đến hiệu suất của các mô hình tái định danh người. Các mô hình cần phải học cách nhận diện người bất kể tư thế và góc nhìn của họ. Các kỹ thuật như Attention mechanism có thể giúp mô hình tập trung vào các phần quan trọng của cơ thể, giảm thiểu tác động của sự thay đổi về kiểu dáng.

2.2. Khó Khăn do Thiếu Hụt Dữ Liệu Gán Nhãn Cho ReID

Việc gán nhãn dữ liệu cho bài toán tái định danh người tốn nhiều công sức và thời gian. Phương pháp bán giám sát và phương pháp không giám sát có thể giúp tận dụng dữ liệu không được gán nhãn để cải thiện hiệu suất của mô hình. Kỹ thuật tăng cường dữ liệu cũng là một lựa chọn phổ biến để tăng số lượng dữ liệu huấn luyện.

2.3. Giới Hạn về Tính Toán Của Mô Hình Học Sâu ReID

Các mô hình học sâu thường yêu cầu tài nguyên tính toán lớn, gây khó khăn cho việc triển khai trong các hệ thống thời gian thực. Các kỹ thuật như giảm chiều dữ liệu và nén mô hình học sâu có thể giúp giảm chi phí tính toán và bộ nhớ, cho phép triển khai trên các thiết bị di động hoặc nhúng.

III. Giải Pháp Phương Pháp Trích Chọn Đặc Trưng Cục Bộ ReID

Một trong những hướng tiếp cận hiệu quả để giải quyết các thách thức của tái định danh người là sử dụng các phương pháp trích chọn đặc trưng cục bộ. Thay vì trích xuất các đặc trưng toàn cục từ toàn bộ hình ảnh, phương pháp này chia hình ảnh thành nhiều vùng nhỏ và trích xuất các đặc trưng riêng biệt cho từng vùng. Điều này cho phép mô hình tập trung vào các chi tiết quan trọng và trở nên ít nhạy cảm hơn với sự thay đổi về kiểu dáng và góc nhìn. Các đặc trưng cục bộ có thể được kết hợp bằng các kỹ thuật như Attention mechanism để tạo ra một biểu diễn đặc trưng mạnh mẽ cho mỗi người. Theo luận án của Nguyễn Hồng Quân, việc chia ảnh thành các vùng và kết hợp các đặc trưng theo chiến lược kết hợp muộn là một hướng đi tiềm năng.

3.1. Phân Vùng Ảnh và Trích Chọn Đặc Trưng Cho Từng Vùng

Chia ảnh thành các vùng nhỏ cho phép mô hình tập trung vào các bộ phận quan trọng của cơ thể người. Các mô hình học sâu như CNN có thể được sử dụng để trích chọn đặc trưng từ từng vùng. Các đặc trưng này sau đó có thể được kết hợp để tạo ra một biểu diễn đặc trưng toàn diện cho mỗi người.

3.2. Kết Hợp Đặc Trưng Cục Bộ Bằng Attention Mechanism

Attention mechanism cho phép mô hình tự động học cách gán trọng số cho các vùng khác nhau của hình ảnh. Các vùng quan trọng hơn sẽ nhận được trọng số cao hơn, trong khi các vùng ít quan trọng hơn sẽ nhận được trọng số thấp hơn. Điều này giúp mô hình tập trung vào các chi tiết quan trọng và bỏ qua các thông tin nhiễu.

3.3. Ứng Dụng Độ Đo Khoảng Cách EMD Cho Đặc Trưng Cục Bộ

Độ đo khoảng cách Earth Mover's Distance (EMD) là một độ đo hiệu quả để so sánh hai tập hợp các đặc trưng cục bộ. EMD đo lường chi phí tối thiểu để chuyển đổi một tập hợp đặc trưng thành một tập hợp khác. Điều này cho phép mô hình so sánh các hình ảnh người ngay cả khi có sự khác biệt nhỏ về vị trí và hình dạng của các bộ phận cơ thể.

IV. Phương Pháp Khai Thác Đặc Trưng Video ReID Dựa Trên RNN

Khi dữ liệu đầu vào là video, các mạng nơ-ron hồi quy (RNN) trở thành một lựa chọn phù hợp để khai thác thông tin thời gian. RNN có khả năng xử lý chuỗi các khung hình và ghi lại thông tin về sự thay đổi của hình ảnh theo thời gian. Các biến thể của RNN, như LSTM và GRU, được thiết kế để giải quyết vấn đề biến mất gradient, cho phép mô hình học các phụ thuộc dài hạn trong chuỗi video. Việc kết hợp RNN với các mô hình CNN có thể mang lại hiệu quả tốt hơn so với sử dụng một mô hình duy nhất.

4.1. Sử Dụng Mạng LSTM và GRU Để Xử Lý Chuỗi Hình Ảnh

Mạng LSTM (Long Short-Term Memory) và GRU (Gated Recurrent Unit) là hai biến thể phổ biến của RNN. Chúng có khả năng học các phụ thuộc dài hạn trong chuỗi video, cho phép mô hình nắm bắt thông tin về sự thay đổi của hình ảnh theo thời gian. Điều này đặc biệt hữu ích trong việc giải quyết các vấn đề như tắc nghẽn và thay đổi về ánh sáng.

4.2. Kết Hợp Mạng CNN và RNN Để Tái Định Danh Người

Việc kết hợp mạng CNN và RNN cho phép mô hình tận dụng cả thông tin không gian và thông tin thời gian. CNN được sử dụng để trích chọn đặc trưng từ mỗi khung hình, trong khi RNN được sử dụng để xử lý chuỗi các đặc trưng này. Điều này giúp mô hình tạo ra một biểu diễn đặc trưng mạnh mẽ cho mỗi người.

4.3. Cải Thiện Hiệu Quả Bằng Đặc Trưng Thủ Công Kết Hợp Học Độ Đo

Kết hợp các đặc trưng thủ công (như GOG) với các đặc trưng học sâu có thể cải thiện hiệu suất của mô hình. Học độ đo khoảng cách giúp mô hình học cách so sánh các đặc trưng một cách hiệu quả. Thuật toán học độ đo khoảng cách giúp mô hình học cách so sánh các đặc trưng một cách hiệu quả.

V. Ứng Dụng Triển Khai Hệ Thống Tái Định Danh Người Thực Tế

Việc triển khai một hệ thống tái định danh người thực tế đòi hỏi nhiều thành phần khác nhau, bao gồm phát hiện người, theo dõi người và tái định danh. Hệ thống cần có khả năng xử lý dữ liệu từ nhiều camera khác nhau và hoạt động trong thời gian thực. Để đạt được điều này, cần phải sử dụng các thuật toán hiệu quả và tối ưu hóa các mô hình học sâu. Theo Nguyễn Hồng Quân, việc xây dựng cơ sở dữ liệu FAPR và thử nghiệm hệ thống tái định danh là một bước quan trọng để đánh giá hiệu quả của các phương pháp.

5.1. Xây Dựng Hệ Thống Tự Động Phát Hiện Theo Dõi và ReID

Một hệ thống tái định danh người hoàn chỉnh bao gồm ba giai đoạn chính: phát hiện người, theo dõi người và tái định danh. Giai đoạn phát hiện người sử dụng các thuật toán để xác định vị trí của người trong hình ảnh. Giai đoạn theo dõi người sử dụng các thuật toán để theo dõi người qua các khung hình liên tiếp. Giai đoạn tái định danh sử dụng các mô hình học sâu để so khớp các hình ảnh của cùng một người.

5.2. Tối Ưu Hóa Mô Hình Để Đảm Bảo Hiệu Suất Thời Gian Thực

Để hệ thống tái định danh người hoạt động trong thời gian thực, cần phải tối ưu hóa các mô hình học sâu và các thuật toán. Các kỹ thuật như giảm chiều dữ liệu, nén mô hình học sâu và sử dụng phần cứng chuyên dụng (như GPU) có thể giúp cải thiện hiệu suất.

5.3. Đánh Giá Hệ Thống Trên Dữ Liệu Thực Tế và Cải Tiến

Việc đánh giá hệ thống tái định danh người trên dữ liệu thực tế là rất quan trọng để đảm bảo hiệu quả của hệ thống trong các tình huống thực tế. Cần phải thu thập dữ liệu từ nhiều camera khác nhau và đánh giá hiệu suất của hệ thống bằng các metrics tái định danh người phù hợp. Kết quả đánh giá có thể được sử dụng để cải tiến các mô hình học sâu và các thuật toán.

VI. Kết Luận và Hướng Phát Triển Tương Lai Của ReID

Nghiên cứu về tái định danh người dựa trên học sâu đã đạt được những tiến bộ đáng kể trong những năm gần đây. Tuy nhiên, vẫn còn nhiều hướng phát triển tiềm năng. Một trong những hướng đi quan trọng là phát triển các mô hình mạnh mẽ hơn, có khả năng xử lý tốt hơn các vấn đề như thay đổi về kiểu dáng, ánh sáng và góc nhìn. Bên cạnh đó, việc nghiên cứu các phương pháp học không giám sát và bán giám sát cũng rất quan trọng để giảm thiểu sự phụ thuộc vào dữ liệu gán nhãn. Ngoài ra, việc phát triển các hệ thống tái định danh người có thể triển khai trên các thiết bị di động và nhúng cũng là một hướng đi đầy hứa hẹn.

6.1. Các Hướng Nghiên Cứu Mới Trong Trích Chọn Đặc Trưng ReID

Các hướng nghiên cứu mới trong trích chọn đặc trưng cho tái định danh người bao gồm việc sử dụng mạng biến áp (Transformer), mô hình sinh đối nghịch (GAN) và các kiến trúc mạng mới. Các nghiên cứu này tập trung vào việc tạo ra các biểu diễn đặc trưng mạnh mẽ hơn, bất biến đối với sự thay đổi về kiểu dáng, ánh sáng và góc nhìn.

6.2. Ứng Dụng ReID Trong Giám Sát An Ninh và Thành Phố Thông Minh

Tái định danh người có nhiều ứng dụng tiềm năng trong lĩnh vực giám sát an ninh và thành phố thông minh. Các hệ thống tái định danh người có thể được sử dụng để theo dõi tội phạm, tìm kiếm người mất tích và quản lý đám đông. Việc tích hợp tái định danh người với các hệ thống giám sát hiện có có thể giúp cải thiện đáng kể hiệu quả của các hệ thống này.

6.3. Thách Thức Về Đạo Đức và Quyền Riêng Tư Cần Giải Quyết

Việc sử dụng tái định danh người đặt ra nhiều thách thức về đạo đức và quyền riêng tư. Cần phải đảm bảo rằng các hệ thống tái định danh người không được sử dụng để theo dõi và phân biệt đối xử với người dân. Cần phải có các quy định rõ ràng về việc thu thập, lưu trữ và sử dụng dữ liệu hình ảnh cá nhân.

Nội dung chính

Tổng quan luận án

Luận án tiến sĩ kỹ thuật điện tử của nghiên cứu sinh Nguyễn Hồng Quân, với đề tài "Nghiên cứu và phát triển phương pháp trích chọn đặc trưng dựa trên học sâu trong tái định danh người", được thực hiện tại Đại học Bách khoa Hà Nội dưới sự hướng dẫn khoa học của TS. Võ Lê Cường và TS. Nguyễn Vũ Thắng.

Trong các hệ thống thị giác máy tính phục vụ giám sát an ninh, việc phân tích nội dung ảnh và video đóng vai trò trung tâm. Hiệu năng của các mô hình học máy phụ thuộc trực tiếp vào chất lượng của phương pháp trích chọn đặc trưng từ dữ liệu đầu vào. Tái định danh người (Person Re-Identification - Re-ID) là bài toán so khớp hình ảnh hoặc chuỗi hình ảnh của một đối tượng được thu nhận từ các camera khác nhau có trường quan sát không chồng lấn.

Các phương pháp trích chọn đặc trưng thủ công truyền thống (như màu sắc, kết cấu, hình dạng) bộc lộ nhiều hạn chế: phụ thuộc lớn vào kinh nghiệm chuyên gia, chỉ hiệu quả trên một số tập dữ liệu cố định và không bao quát được sự biến đổi đa dạng của thực tế. Ngược lại, các mô hình học sâu cho phép tự động học các biểu diễn phân biệt từ dữ liệu. Tuy nhiên, việc ứng dụng học sâu vào tái định danh người đối mặt với hai thách thức kỹ thuật lớn: (1) biểu diễn đặc trưng toàn cục dễ bị suy giảm độ chính xác khi đối tượng bị che khuất, lệch trục hoặc thay đổi góc nhìn; (2) kích thước mô hình học sâu quá lớn, đòi hỏi nhiều bộ nhớ và năng lực tính toán, gây khó khăn cho việc triển khai trên các thiết bị phần cứng có tài nguyên hạn chế.

Mục tiêu nghiên cứu tổng thể của luận án là phát triển các mô hình học sâu nhằm nâng cao chất lượng đặc trưng ảnh/video trong bài toán tái định danh người, đồng thời xây dựng giải pháp nén mạng để định hướng thực thi trên phần cứng chuyên dụng. Cụ thể, luận án đặt ra hai mục tiêu:

1. Nghiên cứu, đề xuất phương pháp trích chọn đặc trưng ảnh hiệu quả cho tái định danh người dựa trên học sâu. Phương pháp cần đảm bảo đặc trưng thu được có tính phân biệt cao giữa các cá nhân khác nhau và tính tương đồng cao giữa các hình ảnh của cùng một người, kết hợp nghiên cứu kỹ thuật nén mạng học sâu phục vụ triển khai trên thiết bị phần cứng.
2. Cải tiến mô hình tái định danh người dựa trên các kiến trúc mạng nơ-ron hồi quy để tổng hợp đặc trưng mức chuỗi ảnh (video), kết hợp nghiên cứu các giải thuật phát hiện, theo vết và so khớp đặc trưng nhằm nâng cao hiệu quả tổng thể của hệ thống.

Đối tượng nghiên cứu chính của luận án là các phương pháp trích chọn đặc trưng ảnh và chuỗi ảnh dựa trên học sâu, thuật toán đối sánh đặc trưng và các kỹ thuật nén mạng nơ-ron. Phạm vi nghiên cứu tập trung vào bài toán tái định danh người trong mạng camera giám sát với các điều kiện ràng buộc:

• Thiết bị thu nhận: Hệ thống camera RGB lắp đặt cố định, trường quan sát không chồng lấn.
• Môi trường và điều kiện dữ liệu: Dữ liệu ảnh và video thu nhận ở môi trường ngoài trời và trong nhà (độ rọi biến đổi, ánh sáng nhân tạo, ga tàu điện ngầm); tốc độ khung hình từ 15 đến 25 hình/giây.
• Phân loại bài toán: Luận án tập trung vào tái định danh ngắn hạn (khoảng thời gian di chuyển giữa các camera ngắn, đối tượng chưa thay đổi trang phục), tiếp cận cả hai dạng dữ liệu là đơn ảnh (single-shot) và chuỗi hình ảnh (multi-shot), trong các ngữ cảnh tập đóng (close set) và tập mở (open set).
• Phạm vi phần cứng: Kỹ thuật nén mạng hướng tới kiến trúc vi mạch mảng phần tử logic lập trình được (FPGA).

---

Tổng quan tài liệu và vị trí của luận án

Lịch sử phát triển của các giải thuật nhận dạng và phát hiện đối tượng trong thị giác máy tính gắn liền với quá trình tiến hóa của các phương pháp biểu diễn đặc trưng:

• Giai đoạn trước năm 2012: Thống trị bởi các đặc trưng thủ công. Điển hình là các bộ mô tả cục bộ như Local Binary Patterns (LBP) của Ojala và cộng sự, Histogram of Oriented Gradients (HOG) của Dalal và Triggs, Scale-Invariant Feature Transform (SIFT) của Lowe, Speeded-Up Robust Features (SURF) của Bay và cộng sự. Đối với bài toán tái định danh, các đặc trưng màu sắc và kết cấu phối hợp được phát triển như Gaussian of Gaussian (GOG) của Matsukawa và cộng sự, hoặc Local Maximal Occurrence (LOMO) của Liao và cộng sự.
• Giai đoạn từ năm 2012 đến nay: Đánh dấu sự chuyển dịch sang mạng nơ-ron tích chập (CNN) sau sự xuất hiện của AlexNet (Krizhevsky và cộng sự, 2012) tại cuộc thi ILSVRC. Tiếp theo đó là các kiến trúc mạng phân lớp sâu hơn như VGG16 (Simonyan và Zisserman, 2014), GoogLeNet Inception-v1 (Szegedy và cộng sự, 2015) và ResNet (He và cộng sự, 2015) với cơ chế kết nối tắt (skip connection) giải quyết vấn đề suy giảm đạo hàm (vanishing gradient).
• Về bài toán phát hiện đối tượng: Các mô hình hai giai đoạn như R-CNN, Fast R-CNN, Faster R-CNN (Girshick, Ren và cộng sự) sử dụng mạng đề xuất vùng (RPN), và các mô hình một giai đoạn như YOLO (Redmon và cộng sự) tiếp cận theo hướng hồi quy, SSD (Liu và cộng sự) kết hợp nhiều bản đồ đặc trưng đa tỷ lệ.
• Về bài toán theo vết đối tượng: Sự chuyển dịch từ các phương pháp dự đoán chuyển động đơn thuần (bộ lọc Kalman, bộ lọc hạt) sang tiếp cận "tracking-by-detection" với thuật toán SORT (Bewley và cộng sự) và DeepSORT (Wojke và cộng sự) – tích hợp thêm mạng CNN để trích xuất đặc trưng diện mạo.
• Về xử lý chuỗi thời gian: Các mạng nơ-ron hồi quy như RNN truyền thống, Long Short-Term Memory (LSTM của Hochreiter và Schmidhuber), LSTM có kết nối peephole, LSTM cặp cổng và Gated Recurrent Unit (GRU của Cho và cộng sự).

Khoảng trống nghiên cứu được luận án xác định và tập trung giải quyết:

1. Thiếu tính linh hoạt của đặc trưng học sâu toàn cục: Hầu hết các mô hình Re-ID sử dụng đặc trưng toàn cục mức ảnh dễ bị sai lệch khi ảnh bị che khuất một phần hoặc căn chỉnh không chuẩn xác giữa các khung hình. Luận án chọn hướng khai thác đặc trưng cục bộ theo dải không gian kết hợp độ đo khoảng cách linh hoạt.
2. Hạn chế trong biểu diễn không gian - thời gian cho chuỗi ảnh: Việc gộp đơn giản các khung hình bằng trung bình cộng làm mất mát thông tin động. Cần xác định kiến trúc mạng hồi quy phù hợp để mô hình hóa sự thay đổi diện mạo theo thời gian với chi phí tính toán thấp.
3. Rào cản triển khai phần cứng: Các mô hình CNN có kích thước lớn và cấu trúc dấu phẩy động phức tạp. Cần có giải pháp kết hợp giữa cắt tỉa mô hình, nhị phân hóa và lượng tử hóa thích ứng để ánh xạ mạng học sâu lên kiến trúc luồng phần cứng FPGA mà không làm suy giảm đáng kể độ chính xác.

---

Cơ sở lý thuyết và phương pháp nghiên cứu

Cơ sở lý thuyết và khung phân tích

Luận án xây dựng khung phân tích dựa trên cấu trúc ba giai đoạn của một hệ thống tái định danh hoàn chỉnh:

Thành phần hệ thống	Nhiệm vụ kỹ thuật	Mô hình/Giải thuật nền tảng
Phát hiện người (Pedestrian Detection)	Xác định vị trí bounding box của người trong khung hình	YOLOv1, YOLOv2, YOLOv3, YOLOv4, Faster R-CNN, Mask R-CNN, SSD
Theo vết người (Pedestrian Tracking)	Liên kết các bounding box thành các tracklet liên tục	SORT (Hungarian + Kalman Filter), DeepSORT (kết hợp mạng Wide Residual Network 16 lớp)
Tái định danh (Re-Identification)	So khớp vector đặc trưng giữa tập truy vấn (probe) và tập tìm kiếm (gallery)	ResNet-50, VGG16, RNN/LSTM/GRU, GOG, độ đo EMD, XQDA

Các khái niệm và công cụ toán học nền tảng được sử dụng:

• Độ đo khoảng cách đối sánh: Khoảng cách Earth Mover (Earth Mover's Distance - EMD), khoảng cách Mahalanobis, khoảng cách Cosine, phân tích biệt số bậc hai đa góc nhìn (Cross-view Quadratic Discriminant Analysis - XQDA).
• Tiêu chuẩn đánh giá: Biểu đồ đặc tính khớp tích lũy (Cumulative Matching Characteristic - CMC) với các mốc Rank-1, Rank-5, Rank-10, Rank-20, và độ chính xác trung bình (mean Average Precision - mAP).
• Kỹ thuật nén mạng: Cắt tỉa trọng số (pruning), nhị phân hóa trọng số (binarization), lượng tử hóa theo lớp (quantization), hàm kích hoạt giới hạn Clamping Rectified Linear Unit (CReLU).

Phương pháp nghiên cứu

• Phương pháp phân tích và tổng hợp lý thuyết: Hệ thống hóa các kiến trúc mạng tích chập, mạng hồi quy và các phương pháp nén mạng hiện có.
• Phương pháp thực nghiệm và mô phỏng:
  • Đánh giá trên các bộ cơ sở dữ liệu chuẩn quốc tế cho Re-ID đơn ảnh, Re-ID video và Re-ID bị che khuất.
  • Xây dựng tập dữ liệu thực tế tại hiện trường trường học để đánh giá pipeline tự động.
  • Mô phỏng kiến trúc phần cứng trên phần mềm giả lập vi mạch FPGA, tính toán tài nguyên phần cứng (DSP, Processing Elements - PE, khối logic).

Nguồn dữ liệu và cơ sở dữ liệu thực nghiệm

Luận án tiến hành kiểm chứng trên 8 bộ cơ sở dữ liệu:

1. CSDL tái định danh đơn ảnh: VIPeR.
2. CSDL tái định danh chuỗi ảnh (video): PRID-2011, iLIDS-VID.
3. CSDL tái định danh ảnh bị che khuất: Market1501-Partial, DukeMTMCReID-Partial.
4. CSDL thực tế tự xây dựng: FAPR (Fine-grained Automated Person Re-identification) thu nhận tại Đại học Bách khoa Hà Nội.
5. CSDL nén mạng và phát hiện đối tượng: CIFAR-10, PASCAL VOC (VOC07+12).

---

Nội dung chính theo từng chương

Chương 1: Nghiên cứu tổng quan

Chương 1 trình bày tổng quan lý thuyết về thị giác máy tính, trích chọn đặc trưng, học sâu và bài toán tái định danh người.

Tác giả phân tích hai nhóm trích chọn đặc trưng: đặc trưng thủ công (khai thác màu sắc, kết cấu như HOG, LBP, SIFT, SURF, GOG, LOMO) và đặc trưng học sâu. Về kiến trúc tích chập, chương điểm lại các mạng LeNet-5 (1998, 60 nghìn tham số), AlexNet (2012, 60 triệu tham số với hàm ReLU, Dropout), VGG16 (138 triệu tham số với các khối tích chập 3x3), GoogLeNet Inception-v1 (sử dụng khối Inception và tích chập 1x1 giảm chiều), và ResNet-50 (26 triệu tham số, áp dụng kết nối tắt và chuẩn hóa theo lô).

Về bài toán phát hiện đối tượng, chương phân tích sự khác biệt giữa phương pháp hai giai đoạn (R-CNN, Fast R-CNN, Faster R-CNN) và một giai đoạn (YOLOv1 đến YOLOv4, SSD). Đối với bài toán theo vết, chương so sánh thuật toán SORT (sử dụng 7 tham số trạng thái: tâm, tỷ lệ diện tích, tỷ lệ khung hình, các vận tốc tương ứng) và DeepSORT (bổ sung mạng trích diện mạo 128 chiều với 16 lớp để giảm hiện tượng chuyển đổi định danh ID switch).

Chương 1 cũng phân loại các kiến trúc mạng hồi quy (RNN, LSTM, GRU) và 5 cấu hình xử lý chuỗi (1-1, 1-n, n-1, n-n), đồng thời phân tích các ràng buộc phần cứng khi triển khai mạng nơ-ron sâu trên FPGA.

+-----------------------------------------------------------------------------+
|                 CẤU TRÚC MÔ HÌNH HỆ THỐNG TRONG LUẬN ÁN                     |
|                                                                             |
|  [Khung hình Video]                                                         |
|  [Phát hiện người]  --> YOLOv3 / Mask R-CNN (Sinh Bounding Boxes)          |
|  [Theo vết người]   --> DeepSORT (Mạng WRN 16 lớp + Hungarian + Kalman)     |
|  [Trích chọn Re-ID] --> Mức ảnh: ResNet-50 cải tiến (Chia dải + EMD)        |
|                         Mức chuỗi: VGG16 + GRU + GOG + XQDA                 |
|  [So khớp đối tượng]--> Đưa ra bảng xếp hạng CMC (Rank-1, Rank-5, Rank-10)  |
|  [Tối ưu phần cứng] --> Cắt tỉa + Lượng tử hóa + CReLU -> Triển khai FPGA   |
+-----------------------------------------------------------------------------+

Chương 2: Trích chọn đặc trưng học sâu cục bộ trong tái định danh người

Chương 2 tập trung giải quyết bài toán tái định danh mức ảnh thông qua 3 đề xuất kỹ thuật chính:

1. Đề xuất 1 - Trích đặc trưng cục bộ dựa trên cải tiến ResNet-50: Thay vì lấy vector đặc trưng toàn cục từ lớp pooling cuối cùng, mô hình phân chia bản đồ đặc trưng của ảnh người theo chiều dọc thành nhiều dải ngang (thử nghiệm với các cấu hình chia 7 vùng và 8 vùng). Mỗi dải ngang đại diện cho một phần cơ thể, giúp giữ lại các thông tin không gian chi tiết.
2. Đề xuất 2 - Chiến lược kết hợp muộn (late fusion): Kết hợp vector đặc trưng học sâu toàn cục, đặc trưng học sâu cục bộ từ ResNet-50 cải tiến và đặc trưng thủ công GOG. Việc kết hợp được thực hiện thông qua cơ chế gán trọng số thích ứng, tối ưu hóa sự đóng góp của từng loại đặc trưng trên từng tập dữ liệu.
3. Đề xuất 3 - Tính khoảng cách đặc trưng cục bộ bằng độ đo EMD: Ứng dụng khoảng cách Earth Mover để so khớp hai tập đặc trưng cục bộ giữa hai ảnh người. Độ đo EMD giải quyết được hiện tượng lệch dóng hàng giữa các vùng cơ thể và tình trạng che khuất một phần (partial occlusion) tốt hơn độ đo DMLI truyền thống.

Phương pháp / Đề xuất	Cơ sở dữ liệu thử nghiệm	Độ đo / Cấu hình	Kết quả chính
Đề xuất 1 (ResNet-50 cục bộ)	VIPeR, PRID-2011, iLIDS-VID	Chia dải không gian	Cải thiện độ chính xác Rank-1 so với mạng ResNet-50 gốc
Đề xuất 2 (Kết hợp muộn)	VIPeR, PRID-2011, iLIDS-VID	Trọng số thích nghi (ResNet + GOG)	Đạt tỷ lệ so khớp Rank-1 vượt trội so với các đặc trưng đơn lẻ
Đề xuất 3 (Độ đo EMD)	VIPeR, Market1501-Partial, DukeMTMCReID-Partial	Cấu hình chia 8 vùng, so sánh với DMLI	Nâng cao tỷ lệ Rank-1 trên cả 3 tập dữ liệu bị che khuất

Kết quả thử nghiệm số lượng vùng chia trên CSDL VIPeR cho thấy việc lựa chọn số dải phân chia ảnh hưởng trực tiếp đến độ chính xác tái định danh, trong đó cấu hình chia 8 vùng đạt hiệu năng tối ưu trên các tập dữ liệu có hiện tượng che khuất.

Chương 3: Khai thác đặc trưng video dựa trên mạng nơ-ron hồi quy tái định danh người

Chương 3 mở rộng bài toán sang dữ liệu dạng video (chuỗi hình ảnh), bao gồm các nội dung nghiên cứu:

1. Đánh giá so sánh 5 kiến trúc nơ-ron hồi quy: Thực nghiệm trên chuỗi hình ảnh người với các mô hình RNN tiêu chuẩn, LSTM, LSTM với cặp cổng (LSTMC), LSTM với kết nối peephole (LSTMP) và GRU. Kết quả chứng minh kiến trúc GRU mang lại sự cân bằng tối ưu giữa độ chính xác nhận dạng và thời gian thực thi (nhanh hơn các biến thể LSTM phức tạp).
2. Đề xuất mô hình Không gian - Thời gian: Cải tiến kiến trúc mạng RFA (Recurrent Feature Aggregation) bằng cách tích hợp mạng tích chập VGG16 để trích đặc trưng không gian của từng khung hình và mạng GRU để tổng hợp thông tin theo chiều thời gian.
3. Kết hợp đặc trưng thủ công GOG và học khoảng cách XQDA: Bổ sung đặc trưng GOG vào biểu diễn chuỗi và áp dụng giải thuật học độ đo Cross-view Quadratic Discriminant Analysis nhằm tối ưu hóa ma trận chiếu khoảng cách giữa các góc nhìn camera.
4. Triển khai và đánh giá hệ thống tái định danh đầy đủ:
   • Xây dựng CSDL FAPR thu nhận thực tế tại Đại học Bách khoa Hà Nội.
   • Thử nghiệm pipeline tích hợp: Bộ phát hiện (so sánh YOLOv3 và Mask R-CNN) kết hợp với bộ theo vết DeepSORT và khối tái định danh đề xuất.
   • Phân tích các lỗi thực tế trong pipeline: lỗi phát hiện sai (phát hiện bộ phận hoặc gom nhiều người vào một box), lỗi theo vết (chuyển đổi ID switch, gãy tracklet) và ảnh hưởng của chúng tới tỷ lệ so khớp Rank-1.

Chương 4: Nén mạng học sâu định hướng triển khai trên phần cứng - FPGA

Chương 4 nghiên cứu các kỹ thuật nén mạng nhằm giải quyết bài toán kích thước mô hình để hiện thực hóa trên phần cứng FPGA:

1. Kỹ thuật cắt tỉa mạng (Pruning): Loại bỏ các liên kết và trọng số có giá trị nhỏ không đóng góp nhiều vào kết quả dự đoán, giảm mật độ tính toán.
2. Nhị phân hóa và lượng tử hóa trọng số: Chuyển đổi các trọng số từ định dạng dấu phẩy động 32-bit (FP32) sang các biểu diễn có độ rộng bit thấp (định dạng số nguyên cố định hoặc nhị phân hóa) tương ứng với từng lớp mạng cụ thể.
3. Hàm kích hoạt CReLU (Clamping Rectified Linear Unit): Thay thế hàm ReLU tiêu chuẩn bằng CReLU nhằm giới hạn miền giá trị kích hoạt trong một khoảng cố định, hỗ trợ việc lượng tử hóa giá trị kích hoạt giữa các lớp mà không gây tràn số.
4. Thiết kế kiến trúc luồng cho bộ tăng tốc phần cứng: Xây dựng sơ đồ luồng tính toán tối ưu tài nguyên cho các đơn vị xử lý (PE) và bộ nhân tích lũy (DSP) trên FPGA, giảm thiểu việc truy xuất bộ nhớ ngoài.
5. Kết quả thực nghiệm nén mạng:
   • Nén mạng VGG16 cho bài toán phân lớp ảnh trên CSDL CIFAR-10: Thiết lập bảng tham số lượng tử hóa kích hoạt và trọng số, duy trì độ chính xác tương đương mô hình gốc với số bit giảm mạnh.
   • Nén mạng VGG16-SSD cho bài toán phát hiện đối tượng trên CSDL PASCAL VOC (VOC07+12): Cắt giảm đáng kể dung lượng bộ nhớ lưu trữ tham số mà vẫn đảm bảo chỉ số mAP cạnh tranh so với các phương pháp nén khác.

---

Kết quả và những đóng góp mới

Đóng góp mới về lý luận và phương pháp

1. Đề xuất phương pháp trích chọn đặc trưng cục bộ dựa trên mạng ResNet-50 cải tiến phân chia dải không gian, kết hợp độ đo khoảng cách Earth Mover (EMD) cho bài toán tái định danh ảnh đơn, nâng cao độ chính xác khi đối tượng bị biến dạng hoặc che khuất một phần.
2. Xây dựng mô hình tái định danh chuỗi ảnh (video) tích hợp không gian - thời gian dựa trên mạng tích chập VGG16 và mạng hồi quy GRU, kết hợp bổ sung đặc trưng thủ công GOG và thuật toán học độ đo XQDA.
3. Đề xuất quy trình nén mạng học sâu phối hợp giữa cắt tỉa, lượng tử hóa theo lớp và hàm kích hoạt CReLU, định hình kiến trúc luồng tăng tốc phần cứng cho mạng VGG16 và VGG16-SSD trên vi mạch FPGA.

Đóng góp thực tiễn và giải pháp đề xuất

1. Xây dựng thành công bộ cơ sở dữ liệu FAPR thu nhận trực tiếp từ mạng camera giám sát khuôn viên trường Đại học Bách khoa Hà Nội, cung cấp dữ liệu thực tế có đầy đủ nhãn phục vụ kiểm thử cả ba công đoạn: phát hiện người, theo vết đa đối tượng và tái định danh.
2. Đề xuất quy trình thiết kế hệ thống tái định danh tự động hoàn chỉnh, phân tích định lượng ảnh hưởng của các lỗi tích lũy từ bước phát hiện (YOLOv3 / Mask R-CNN) và theo vết (DeepSORT) đến chất lượng xếp hạng Rank-1 cuối cùng.
3. Cung cấp bộ tham số lượng tử hóa tối ưu cho mô hình VGG16 và VGG16-SSD, làm tiền đề cho việc đóng gói các giải thuật thị giác máy tính vào vi mạch nhúng tiết kiệm năng lượng.

---

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của luận án

• Về phạm vi camera: Dữ liệu thực nghiệm chủ yếu dựa trên các camera RGB cố định, chưa khảo sát trên các camera di động (camera hành trình, thiết bị bay không người lái) hoặc camera có cơ chế quay quét PTZ.
• Về ngữ cảnh thời gian: Luận án mới chỉ giải quyết bài toán tái định danh ngắn hạn (short-term Re-ID), giả định đối tượng giữ nguyên trang phục và diện mạo bên ngoài giữa các lần xuất hiện.
• Về mức độ hiện thực phần cứng: Các kết quả nén mạng và thiết kế kiến trúc phần cứng tại Chương 4 mới dừng lại ở mức mô phỏng, phân tích tài nguyên và kiểm chứng trên phần mềm giả lập vi mạch FPGA, chưa chế tạo bo mạch thương mại hoàn chỉnh.

Hướng nghiên cứu tiếp theo

• Mở rộng nghiên cứu sang bài toán tái định danh dài hạn (long-term Re-ID) với khả năng nhận dạng người khi có sự thay đổi trang phục, phụ kiện hoặc kiểu tóc.
• Nghiên cứu các giải thuật thích ứng cho mạng camera di động và camera không đồng nhất (camera hồng ngoại, camera tầm nhiệt kết hợp RGB).
• Hoàn thiện việc nạp cấu hình và đo lường trực tiếp hiệu năng, độ trễ và công suất tiêu thụ của mô hình nén VGG16-SSD trên các dòng chip FPGA thực tế.

---

Giá trị tham khảo

Luận án mang lại giá trị tham khảo cụ thể cho các nhóm độc giả học thuật và kỹ thuật:

• Nghiên cứu sinh, học viên cao học và giảng viên chuyên ngành Kỹ thuật Điện tử, Thị giác máy tính và Trí tuệ nhân tạo: Có thể tham khảo phương pháp chia dải bản đồ đặc trưng trong CNN, cách tích hợp mạng hồi quy GRU cho bài toán video, và kỹ thuật sử dụng độ đo EMD trong so khớp dữ liệu bất đối xứng.
• Kỹ sư thiết kế hệ thống nhúng và phần cứng phần mềm (Hardware/Software Co-design): Tham khảo phương pháp luận nén mô hình học sâu tại Chương 4, các bảng tham số lượng tử hóa kích hoạt và chiến lược thay thế hàm kích hoạt CReLU để ánh xạ lên FPGA.
• Các nhà phát triển hệ thống giám sát an ninh thông minh: Tham khảo kiến trúc luồng tích hợp ba khối (Phát hiện - Theo vết - Tái định danh) và quy trình xử lý lỗi thực tế từ CSDL FAPR.

---

Câu hỏi thường gặp

1. Luận án giải quyết thách thức người bị che khuất một phần (partial occlusion) bằng phương pháp nào?

Tác giả đề xuất phân chia bản đồ đặc trưng của mạng ResNet-50 thành các dải cục bộ theo chiều dọc (8 vùng) và sử dụng độ đo khoảng cách Earth Mover (EMD) thay cho độ đo khoảng cách DMLI thông thường. Độ đo EMD cho phép khớp linh hoạt giữa các phần nhìn thấy được của đối tượng mà không đòi hỏi sự căn chỉnh tuyệt đối giữa hai ảnh.

2. Tại sao kiến trúc GRU được lựa chọn thay vì LSTM trong mô hình tái định danh video tại Chương 3?

Qua các thử nghiệm so sánh 5 kiến trúc nơ-ron hồi quy (RNN, LSTM, LSTMC, LSTMP, GRU), tác giả nhận thấy GRU đạt hiệu suất nhận dạng tương đương với các biến thể LSTM phức tạp nhưng có cấu trúc ít cổng hơn, giúp giảm số lượng tham số tính toán và rút ngắn thời gian thực thi, phù hợp cho bài toán xử lý chuỗi khung hình liên tiếp.

3. Bộ cơ sở dữ liệu FAPR có đặc điểm gì và phục vụ mục đích gì trong luận án?

FAPR là bộ cơ sở dữ liệu do chính nghiên cứu sinh thu thập và xây dựng tại khuôn viên trường Đại học Bách khoa Hà Nội. Bộ dữ liệu này được thiết kế để đánh giá toàn diện một hệ thống thực tế từ đầu đến cuối, bao gồm cả 3 công đoạn: phát hiện người, theo vết người và tái định danh người.

4. Hàm kích hoạt CReLU trong Chương 4 có vai trò gì trong kỹ thuật nén mạng triển khai trên FPGA?

CReLU (Clamping Rectified Linear Unit) là hàm kích hoạt được sử dụng để thay thế ReLU tiêu chuẩn nhằm gán ngưỡng chặn trên cho các giá trị kích hoạt. Việc giới hạn miền giá trị này giúp quá trình lượng tử hóa kích hoạt giữa các lớp mạng nơ-ron không bị tràn số, tối ưu hóa việc biểu diễn dữ liệu bằng các số nguyên có độ rộng bit thấp trên phần cứng FPGA.

5. Sự khác biệt giữa thuật toán SORT và DeepSORT trong khối theo vết đối tượng là gì?

SORT chỉ sử dụng thông tin vị trí và chuyển động thông qua bộ lọc Kalman và thuật toán Hungarian trên bounding box, dễ bị hiện tượng nhảy định danh (ID switch) khi các đối tượng đi cắt ngang nhau. DeepSORT khắc phục nhược điểm này bằng cách tích hợp thêm một mạng CNN 16 lớp (Wide Residual Network) để trích xuất vector đặc trưng diện mạo 128 chiều, kết hợp khoảng cách Mahalanobis và khoảng cách Cosine trong việc liên kết dữ liệu.

---

Kết luận

Luận án của nghiên cứu sinh Nguyễn Hồng Quân đã giải quyết bài toán tái định danh người trong mạng camera giám sát thông qua các đề xuất trích chọn đặc trưng học sâu cục bộ (ResNet-50 kết hợp độ đo EMD), mô hình tổng hợp đặc trưng không gian - thời gian (VGG16 kết hợp GRU và XQDA), và quy trình nén mạng học sâu hướng tới phần cứng FPGA. Các phương pháp đề xuất đã được kiểm chứng thực nghiệm trên nhiều bộ cơ sở dữ liệu chuẩn quốc tế cũng như bộ dữ liệu thực tế FAPR tại Đại học Bách khoa Hà Nội, chứng minh tính hiệu quả trong việc nâng cao độ chính xác tái định danh và tối ưu hóa tài nguyên tính toán. Công trình cung cấp cả cơ sở lý thuyết, mô hình thuật toán và định hướng triển khai phần cứng cho các hệ thống giám sát an ninh tự động.

Trích đoạn nội dung tài liệu

MỞ ĐẦU 1. Tính cấp thiết Thị giác máy tính (Computer Vision) là một trong những lĩnh vực đã và đang nhận được nhiều quan tâm của cộng đồng nghiên cứu. Trong bất kỳ một hệ thống thị giác máy tính nào, thành phần phân tích nội dung ảnh/video để đưa ra những thông tin hữu ích đóng vai trò rất quan trọng. Ngày nay, với sự phát triển mạnh mẽ của các mô hình học máy, đặc biệt là học sâu thực sự đã đem lại những cải tiến đáng kể cho thành phần này.

Tuy nhiên, hiệu quả của các mô hình học máy lại chịu ảnh hưởng lớn bởi phương pháp trích chọn đặc trưng dữ liệu đầu vào. Chính vì vậy, nghiên cứu các phương pháp trích chọn đặc trưng hiệu quả luôn cần thiết. Bên cạnh đó, trong rất nhiều các bài toán của thị giác máy tính, tái định danh người thực sự là một bài toán được các nhà khoa học quan tâm, tuy rất nhiều thách thức nhưng lại mang tính ứng dụng cao. Tái định danh người có thể được hiểu đơn giản là so khớp các hình ảnh người được thu nhận bởi các cặp camera không có sự chồng lấn về trường quan sát.

Khởi nguồn từ năm 1966, Seymour Papert và Marvin Minsky, hai nhà tiên phong về trí tuệ nhân tạo, đã khởi động một dự án mang tên "Summer Vision Project" nhằm tạo ra một hệ thống máy tính có thể nhận dạng các vật thể trong ảnh. Vào thời điểm thực hiện dự án này, công nghệ chủ đạo được áp dụng chỉ là trí tuệ nhân tạo dựa trên tập luật (rule-based AI), bản chất là tìm ra các quy tắc để phát hiện ra đối tượng được con người xác lập dựa trên tri thức và kinh nghiệm. Hướng tiếp cận này đã không đem lại hiệu quả cao do không thể thiết kế được một quy tắc tổng quát cho những thể hiện đa dạng của đối tượng trong ảnh. Hướng tiếp cận khác là dựa trên học máy hoặc tiếp cận dựa trên nhận dạng mẫu.

Các giải thuật học máy được thiết kế để tìm ra các mẫu hoặc các quy luật tri thức từ dữ liệu, từ đó tự suy ra các luật và dự đoán cho các dữ liệu có dạng tương tự gặp được sau khi huấn luyện. Đây là phương pháp học dựa trên dữ liệu và buộc phải có dữ liệu hay các quan sát trước từ môi trường. Khác với phương pháp tiếp cận dựa trên luật ở trên, từ dữ liệu trong trường hợp cụ thể để suy ra các luật ẩn trong dữ liệu nhằm dự đoán và sử dụng cho trường hợp tổng quát hoặc các dữ liệu khác tương tự. Dựa trên các quan sát thu được về dữ liệu, học máy có thể cải thiện độ chính xác theo thời gian.

Đây là hướng tiếp cận chủ yếu của trí tuệ nhân tạo hiện nay. Gần đây, các mạng Nơ-ron nhân tạo học sâu (DNN - Deep Neural Network) đã tạo ra những đột phá mới, cho 1 phép cải tiến đáng kể hiệu năng cho nhiều bài toán. Nhờ những tiến bộ của các mạng học sâu, lĩnh vực thị giác máy tính cũng ngày càng có những bước phát triển nhảy vọt với các kết quả đáng kinh ngạc. Khi giải quyết các bài toán cơ bản của lĩnh vực thị giác máy tính bằng học máy, trích trọn đặc trưng ảnh/video là một trong những yếu tố đóng vai trò quan trọng, quyết định hiệu quả của hệ thống.

Trích chọn đặc trưng cho phép giữ lại các đặc điểm quan trọng nhất của đối tượng cần nhận dạng trên ảnh, từ đó có thể loại bỏ dư thừa, nhiễu cũng như tạo ra biểu diễn cô đọng hơn cho đối tượng thay vì các thông tin điểm ảnh như ban đầu. Một đặc trưng được gọi là hiệu quả nếu nó biểu diễn được các đặc điểm riêng mang tính phân biệt của đối tượng này so với các đối tượng khác. Hiện nay, có hai hướng tiếp cận chính cho bài toán trích chọn đặc trưng đối tượng trong ảnh/video: (1) trích chọn thủ công (hand-designed/handcrafted features) và (2) trích chọn tự động thông qua các mạng học sâu, hay còn được gọi là các đặc trưng học sâu (deep-learned features). Các phương pháp trích chọn đặc trưng thủ công có thể khai thác những thông tin về màu sắc (color), hình dạng (shape), hoặc kết cấu (texture).

của ảnh một cách tường minh. Chúng được trích chọn theo một giải thuật đã được thiết kế cố định từ trước dựa trên kinh nghiệm của các chuyên gia. Mặc dù các loại đặc trưng thủ công này đem lại nhiều kết quả tốt cho các hệ thống thị giác máy tính nhưng việc áp dụng các đặc trưng thủ công vẫn tồn tại một số hạn chế như: mỗi loại đặc trưng thủ công đều hướng tới khai thác một đặc điểm nào đó của đối tượng quan sát do đó đặc trưng này chỉ thực sự hiệu quả đối với một loại dữ liệu nhất định; số lượng các đặc trưng thủ công là có hạn trong khi dữ liệu thực tế là vô hạn và rất đa dạng do có sự biến đổi lớn trong thực tế; việc triển khai các hệ thống sử dụng các đặc trưng thủ công cần có nhiều kinh nghiệm của các chuyên gia trong việc lựa chọn loại đặc trưng phù hợp cho bài toán được triển khai. Trong khi đó, các mạng học sâu ra đời theo cách tương tự như việc con người học tập từ dữ liệu thực tế.

Nhờ đó máy tính có thể tự động tìm ra cách thức trích chọn đặc trưng phù hợp cho loại dữ liệu mới thay cho con người. Đặc trưng được trích chọn theo phương pháp này được gọi là đặc trưng học sâu. Hướng tiếp cận này đã giải quyết được một số hạn chế của đặc trưng thủ công khi không còn quá phụ thuộc vào kinh nghiệm của các chuyên gia trong quá trình trích chọn đặc trưng. Cùng với sự ra đời của các kiến trúc mạng học sâu, cách tiếp cận để giải quyết các bài toán cơ bản của thị giác máy tính cũng dần thay đổi.

Ví dụ như bài toán phát hiện đối tượng trên ảnh. Lịch sử phát triển các giải thuật phát hiện và nhận dạng đối tượng trên ảnh gắn liền với lịch sử phát triển của các giải thuật trích trọn đặc trưng. Điều này được thể hiện trong Hình 1 với những mốc thời gian quan trọng. Trong đó năm 2012 với sự ra đời của mạng AlexNet [1] có thể coi như là 2 Deep Learning for Generic Object Detection: A Survey 3 RCNN ResNet Efficient Subwindow Search (Lampert et al.) (Girshick et al.) (He et al.) FV GoogLeNet Region Covariance (Perronnin et al.) (Szegedy et al.) DenseNet (Tuzel et al.) Focus of this survey (Huang et al.) HOG AlexNet VGGNet and Jones) (Dalal and Triggs) et al.) (Krizhevsky et al.) (Simonyan and Zisserman) of Words HOG-LBP Selective Search (Sivic and Zisserman) (Wang et al.) (Van de Sande et al.) COCO et al.) Fast RCNN (Ross Girshick) Mask RCNN (He et al.) SURF VOC et al.) (Bay et al.) Faster RCNN (Ren et al.

4 Milestones of object detection and recognition, including feature representations [47, 52, 101, 140, 147, 178, 179, 212, 248, 252, 263, 276, 279], detection frameworks [74, 85, 239, 271, 276], and datasets [68, 166, 234]. The time period up to 2012 is dominated by handcrafted features, a transition took place in 2012 Hình 1: Các mốc lịch sử về phát hiện và nhận dạng đối tượng bao gồm các phương pháp trích chọn with the development of DCNNs for image classification by Krizhevsky et al. [140], with methods after 2012 dominated by related deep networks. Mostof the đặc trưng listed methods[2] are highly cited and won a major ICCV or CVPR prize.

Table 1 Summary of related object detection surveys since 2000.thời gianSurvey cho Title sự bắt đầu Monocular Pedestrian Detection: Survey and củaVenuecác đặc trưng Ref. Year học Content sâu. An evaluation of three pedestrian detectors 1 [66] 2009 PAMI Experiments Về cấu2 trúc, Survey of trong mỗi Pedestrian Detection mô hình for Advanced [79] 2010 họcPAMIsâuA survey đềuof pedestrian chứa một khối quan trọng phục detection for advanced driver assistance systems Driver Assistance Systems vụ cho việc 3 trích chọn đặc trưng[59]tự2012động Pedestrian Detection: An Evaluation of the State of The Art PAMI từ các dữ liệu đầu vào, được gọi chung A thorough and detailed evaluation of detectors in monocular images 4 Detecting Faces in Images: A Survey [294] 2002 PAMI First survey of face detection from a single image là mạng lõi 5 A(backbone). Survey on Face Detection in the Các tham Wild: Past, số của [301] 2015 CVIU mạngA survey nàyof facesẽdetection được cập nhật trong quá in the wild since 2000 Present and Future trình học6 từ Ontập dữDetection: Road Vehicle liệuA Review huấn [258] luyện.

2006 Dữ liệu PAMI A reviewhuấn luyện of vision based càng on-road vehicle detection nhiều, systems càng đa 7 Text Detection and Recognition in Imagery: A [295] 2015 PAMI A survey of text detection and recognition in color imagery dạng thì càng có khả Survey năng tạo ra được mộtRepresentative bộ tham số tốt cho mô hình. Các papers on object categorization, detection, and 8 Toward Category Level Object Recognition [215] 2007 Book segmentation thành phần 9 Thekhác Evolution ofcủa mô hình Object Categorization and the học sâu có thể là một bộ phân lớp, bộ phát hiện [56] 2009 Book A trace of the evolution of object categorization over four decades Challenge of Image Abstraction đối tượng10 hoặc bộ phân đoạn Context based Object Categorization: A Critical Survey ảnh,. tuỳ [78] 2010 CVIU vào từng ứng dụng cụ thể. Trong nhiều A review of contextual information for object categorization 11 50 Years of Object Recognition: Directions [5] 2013 CVIU A review of the evolution of object recognition systems over five decades trường hợp thuật ngữ Forward mô hình học sâu và mạng học sâu được sử dụng thay thế Instance and category object recognition techniques 12 Visual Object Recognition [91] 2011 Tutorial lẫn nhau.13 MặcObjectdùClasscác Detection:mạng A Survey học [310] sâu cóCSkhả năng 2013 ACM làm Survey of generic việcmethods object detection vớibefore hầu 2011 hết các loại Feature Representation for Statistical Learning Feature representation methods in statistical learning based object 14 [160] 2015 PR dữ liệu và15 bàiSalient toán khác nhau nhưng based Object Detection: A Review Object Detection: A Survey [19] 2014 trongdetection, arXiv thực tế, để có được những mô hình including handcrafted and deep learning based features A survey for salient object detection Representation Learning: A Review and New Unsupervised feature learning and deep learning, probabilistic models, học sâu phù 16 hợp với bài toán cụ Perspectives thể PAMI [13] 2013 cũng cóautoencoders,nhiều thách manifold learning, andthức.

deep networksHiện nay, Có 17 Deep Learning [149] 2015 Nature An introduction to deep learning and applications rất nhiều18 kiến A Survey trúc mạng on Deep Learning Analysis in Medicalhọc Image sâu khác nhau [170] 2017 MIA A survey cùng với of deep learning các for image biến classification, object thể segmentation and registration in medical image analysis detection, của chúng Recent Advances in Convolutional Neural A broad survey of the recent advances in CNN and its applications in đã được đề 19 xuất.