Luận án tiến sĩ về tái định danh trong hệ thống camera giám sát tự động

Khám phá luận án tiến sĩ về tái định danh trong hệ thống camera giám sát tự động, ứng dụng công nghệ hiện đại và giải pháp tối ưu.

• Tác giả: Nguyen Thuy Binh
• Người hướng dẫn: PTS. Pham Ngoc Nam
• Trường học: Hanoi University of Science and Technology
• Chuyên ngành: Electronics Engineering
• Đề tài: Tái Định Danh Trong Hệ Thống Camera Giám Sát Tự Động
• Loại tài liệu: doctoral dissertation
• Năm xuất bản: 2020
• Địa điểm: Hanoi

Mục lục chi tiết

• DECLARATION OF AUTHORSHIP
• ACKNOWLEDGEMENT
• 1. CONTENT
• 2. ABBREVIATIONS
• 3. LIST OF TABLES
• 4. LIST OF FIGURES
• 5. INTRODUCTION

Tóm tắt

I. Giới thiệu về Tái định danh trong hệ thống camera giám sát tự động

Tái định danh (tái định danh) là một lĩnh vực nghiên cứu quan trọng trong công nghệ giám sát hiện đại. Hệ thống camera giám sát tự động ngày càng trở nên phổ biến, đặc biệt trong việc đảm bảo an ninh và quản lý camera. Nghiên cứu này tập trung vào việc phát triển các phương pháp hiệu quả để nhận diện lại người trong các video từ nhiều camera khác nhau. Các công nghệ camera hiện nay không chỉ đơn thuần là ghi hình mà còn tích hợp các thuật toán nhận diện thông minh, giúp nâng cao khả năng phát hiện và theo dõi đối tượng. Theo nghiên cứu, việc áp dụng các phương pháp học sâu trong việc phân tích video đã mang lại những kết quả khả quan trong việc cải thiện độ chính xác của hệ thống.

1.1. Công nghệ camera và hệ thống giám sát

Công nghệ camera đã phát triển mạnh mẽ, từ các camera analog truyền thống đến các hệ thống camera IP hiện đại. Hệ thống camera giám sát tự động không chỉ giúp ghi lại hình ảnh mà còn có khả năng phân tích video theo thời gian thực. Việc áp dụng các thuật toán học máy trong việc nhận diện đối tượng đã mở ra nhiều cơ hội mới cho việc cải thiện an ninh. Hệ thống giám sát hiện đại có thể tự động phát hiện và theo dõi các đối tượng, từ đó nâng cao hiệu quả trong việc quản lý an ninh. Các nghiên cứu gần đây đã chỉ ra rằng việc sử dụng các phương pháp học sâu có thể cải thiện đáng kể khả năng nhận diện và phân loại hình ảnh trong các tình huống phức tạp.

II. Phân tích và đánh giá các phương pháp Tái định danh

Nghiên cứu đã chỉ ra rằng có nhiều phương pháp khác nhau để thực hiện tái định danh trong hệ thống camera giám sát. Các phương pháp này có thể được phân loại thành hai nhóm chính: phương pháp dựa trên hình ảnh và phương pháp dựa trên video. Phương pháp dựa trên hình ảnh thường sử dụng các đặc trưng hình ảnh tĩnh để nhận diện, trong khi phương pháp dựa trên video có thể tận dụng thông tin động để cải thiện độ chính xác. Việc áp dụng các kỹ thuật như học sâu và phân tích video đã cho thấy sự cải thiện rõ rệt trong khả năng nhận diện lại người. Các nghiên cứu cũng đã chỉ ra rằng việc kết hợp nhiều phương pháp có thể mang lại kết quả tốt hơn so với việc sử dụng một phương pháp đơn lẻ.

2.1. Các kỹ thuật học sâu trong Tái định danh

Các kỹ thuật học sâu như mạng nơ-ron tích chập (CNN) đã được áp dụng rộng rãi trong lĩnh vực tái định danh. Những mô hình này có khả năng học hỏi từ dữ liệu lớn và tự động trích xuất các đặc trưng quan trọng từ hình ảnh. Việc sử dụng các mô hình học sâu không chỉ giúp cải thiện độ chính xác mà còn giảm thiểu thời gian xử lý. Nghiên cứu đã chỉ ra rằng việc áp dụng các mô hình như ResNet và Inception có thể mang lại những kết quả ấn tượng trong việc nhận diện lại người. Hơn nữa, việc tối ưu hóa các tham số của mô hình cũng đóng vai trò quan trọng trong việc nâng cao hiệu suất của hệ thống.

III. Ứng dụng thực tiễn của Tái định danh trong an ninh

Tái định danh trong hệ thống camera giám sát tự động có nhiều ứng dụng thực tiễn trong lĩnh vực an ninh. Các hệ thống này có thể được sử dụng để theo dõi và phát hiện các hành vi đáng ngờ trong không gian công cộng. Việc áp dụng công nghệ này không chỉ giúp nâng cao hiệu quả trong việc bảo vệ an ninh mà còn hỗ trợ trong việc điều tra các vụ án. Hệ thống giám sát tự động có khả năng phân tích video theo thời gian thực, từ đó phát hiện các hành vi bất thường và cảnh báo kịp thời. Nghiên cứu đã chỉ ra rằng việc tích hợp các công nghệ mới vào hệ thống giám sát có thể cải thiện đáng kể khả năng phát hiện và theo dõi đối tượng.

3.1. Tác động đến quản lý an ninh

Việc áp dụng tái định danh trong hệ thống camera giám sát đã tạo ra những thay đổi tích cực trong quản lý an ninh. Các hệ thống này không chỉ giúp phát hiện các hành vi đáng ngờ mà còn hỗ trợ trong việc phân tích và đánh giá tình hình an ninh. Hệ thống giám sát tự động có thể cung cấp thông tin chi tiết về các sự kiện xảy ra trong khu vực giám sát, từ đó giúp các cơ quan chức năng đưa ra các quyết định kịp thời. Nghiên cứu đã chỉ ra rằng việc sử dụng công nghệ này có thể giảm thiểu thời gian phản ứng của lực lượng an ninh trong các tình huống khẩn cấp.

Nội dung chính

Tổng quan luận án

Tái định danh người (Person Re-identification - ReID) là quá trình gán nhãn và liên kết hình ảnh của cùng một cá nhân khi người đó di chuyển qua mạng lưới các camera giám sát có trường nhìn không chồng lấn (non-overlapping fields of view). Trong những năm đầu, bài toán này từng được xem là một nhiệm vụ phụ của hệ thống bám vết đa camera (Multi-Camera Tracking - MCT). Tuy nhiên, ReID có sự khác biệt về mục tiêu và thước đo đánh giá so với bám vết đa mục tiêu đa camera (Multi-Target Multi-Camera Tracking - MTMCT): trong khi MTMCT xác định vị trí không-thời gian của người đi bộ và được đo lường bằng tỷ lệ lỗi phân lớp, ReID tập trung trả lời câu hỏi "những hình ảnh nào trong tập lưu trữ (gallery) thuộc về một người truy vấn (probe) xác định", từ đó trả về một danh sách xếp hạng theo độ tương đồng giảm dần dựa trên đường cong tích lũy đặc trưng khớp (Cumulative Matching Characteristic - CMC).

Khoảng trống nghiên cứu được tác giả xác định xuất phát từ ba thách thức trong điều kiện thực tế:

1. Sự biến thiên về điều kiện chiếu sáng, góc quan sát của camera và tư thế của người đi bộ làm cho sự khác biệt ngoại hình của cùng một người qua các góc nhìn còn lớn hơn sự khác biệt giữa hai người khác nhau.
2. Sự gia tăng nhanh chóng về số lượng hình ảnh và số lượng danh tính trên mỗi góc quay camera, gây áp lực lên dung lượng bộ nhớ và thời gian tính toán của hệ thống xử lý video.
3. Tác động của các giai đoạn tiền xử lý trong hệ thống giám sát tự động hoàn chỉnh, cụ thể là các sai số phát sinh từ quá trình phát hiện người (human detection) và bám vết (tracking) như phát hiện sai, nhầm lẫn danh tính (ID switch) hoặc đóng khung không chuẩn xác.

Mục tiêu nghiên cứu của luận án bao gồm:

1. Xây dựng phương pháp biểu diễn người cho bài toán ReID dạng đa khung hình (multi-shot) nhằm giảm thiểu chi phí tính toán và yêu cầu bộ nhớ trong khi vẫn duy trì độ chính xác nhận dạng.
2. Nâng cao độ chính xác tái định danh thông qua các lược đồ kết hợp đặc trưng (fusion schemes) tận dụng các ưu điểm bổ trợ của cả đặc trưng thủ công (hand-designed features) và đặc trưng học sâu (deep-learned features).
3. Đánh giá định lượng hiệu năng tổng thể của quy trình tái định danh người toàn diện từ đầu đến cuối (end-to-end person ReID pipeline), xem xét sự ảnh hưởng của các thuật toán phát hiện và phân đoạn người.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Các thuật toán trích xuất đặc trưng ngoại hình, kỹ thuật gom cụm đặc trưng theo thời gian (temporal pooling), mô hình học khoảng cách (metric learning), các kỹ thuật kết hợp đặc trưng và tích hợp quy trình nhận dạng người tự động.
• Phạm vi không gian và thời gian: Dữ liệu hình ảnh và chuỗi video được thu nhận trong điều kiện ánh sáng ban ngày. Nghiên cứu tập trung vào kịch bản tái định danh ngắn hạn (short-term person ReID), trong đó diện mạo và trang phục của người đi bộ không thay đổi trong suốt khoảng thời gian quan sát và người đi bộ không mặc đồng phục. Luận án thực hiện trong khuôn khổ bài toán tập đóng (closed-set person ReID), giả định mỗi cá nhân cần tái định danh xuất hiện trên ít nhất hai góc nhìn camera.

Tổng quan tài liệu và vị trí của luận án

Luận án tổng hợp lịch sử phát triển của các phương pháp tái định danh người qua các mốc thời gian:

• Hướng tiếp cận dựa trên đặc trưng thủ công (Hand-designed features): Gheissari và cộng sự (2006) là nhóm tác giả đầu tiên xem ReID là một nhiệm vụ thị giác độc lập, sử dụng lược đồ kết hợp biểu đồ màu không gian HSV và biểu đồ cạnh. Farenzena và cộng sự (2010) đề xuất phương pháp SDALF dựa trên trục đối xứng cơ thể và trích xuất các đặc trưng WH (Weighted Histogram), MSCR (Maximal Stable Color Region) và RHSP (Recurrent High-Structured Patches). Ma và cộng sự (2012) giới thiệu mô hình LDFV mã hóa thông tin pixel qua Fisher Vector. Zhao và cộng sự (2013) khai thác các vùng nổi bật (saliency regions) trên các mẩu ảnh kích thước $10 \times 10$ kết hợp biểu đồ màu LAB 32 chiều và mô tả SIFT 128 chiều. Yang và cộng sự (2014) đề xuất mô tả SCNCD dựa trên 16 tên màu nổi bật trong không gian RGB. Liao và cộng sự (2015) phát triển bộ mô tả LOMO kết hợp biểu đồ màu và mẫu tam phân cục bộ bất biến tỉ lệ (SILTP) với kỹ thuật max pooling theo chiều ngang. Matsukawa và cộng sự (2016) xây dựng bộ mô tả GOG (Gaussian of Gaussian) mô hình hóa giá trị trung bình và ma trận hiệp phương sai của các mẩu ảnh và vùng ảnh qua phân phối Gauss đa biến.
• Hướng tiếp cận dựa trên đặc trưng học sâu (Deep-learned features): Yi và cộng sự (2014) áp dụng mạng nơ-ron tích chập Siamese (SCNN) đồng thời học biểu diễn và hàm khoảng cách cosine. Li và cộng sự (2014) giới thiệu mạng FPNN xử lý các biến đổi hình học và che khuất. Cheng và cộng sự (2016) phát triển mạng tích chập ba nhánh (triplet MCCNN) để học đồng thời đặc trưng toàn thân và các phần cơ thể. Đối với dữ liệu video, McLaughlin và cộng sự (2016) kết hợp CNN và mạng hồi quy RNN; Yan và cộng sự (2016) sử dụng khối bộ nhớ ngắn hạn dài (LSTM) trên chuỗi 10 khung hình; Le và cộng sự (2018) so sánh các biến thể LSTM và GRU; Varior và cộng sự (2016) áp dụng các cổng chọn lọc trên mạng Siamese; Liu và cộng sự (2017) bổ sung cơ chế chú ý mềm (soft attention). Luận án cũng khảo sát các kiến trúc mạng nền tảng như GoogLeNet (Szegedy và cộng sự, 2015) và ResNet-50 (He và cộng sự, 2016).
• Học khoảng cách (Metric learning): Các phương pháp học ma trận Mahalanobis như LMNN (Weinberger và cộng sự), LMNN-R (Dikmen và cộng sự), RankSVM (Prosser và cộng sự), KISSME (Köstinger và cộng sự), phân tích phân biệt toàn cục Bayesian / QDA (Liao và cộng sự), XQDA (Liao và cộng sự, 2015) và KXQDA mở rộng trong không gian Hilbert tái tạo hạt nhân (Matsukawa và cộng sự, 2019).
• Lược đồ kết hợp đặc trưng (Feature fusion): Kết hợp sớm (early fusion) nối các vector đặc trưng như công trình của Gao và cộng sự (2014 - WHOS kết hợp tên màu), Su và cộng sự (2017 - kết hợp LOMO và CNN qua Pose Prediction Network). Kết hợp muộn (late fusion) tổng hợp điểm số hoặc thứ hạng như nghiên cứu của Eisenbach và cộng sự (2012), Li và cộng sự (2015), Lejbolle và cộng sự (2018), Liu và cộng sự (2018) và kỹ thuật gán trọng số thích ứng theo từng truy vấn của Zheng và cộng sự (2015).
• Chọn lọc khung hình đại diện (Representative frame selection): Wang và cộng sự (2014) phân đoạn chuỗi video dựa trên phân tích mức năng lượng chuyển động (Flow Energy Profile - FEP); Gao và cộng sự (2016) theo dõi các siêu điểm ảnh (superpixels) ở phần thân dưới; Hassen và cộng sự (2016) sử dụng thuật toán phân cụm Mean Shift để loại bỏ khung hình dư thừa.
• Nghiên cứu ReID tại Việt Nam: Nhóm nghiên cứu tại Đại học Bách Khoa Hà Nội (Nguyễn và cộng sự, 2017) nghiên cứu các kỹ thuật loại bỏ nền ảnh và khai thác thông tin nổi bật; Lê và cộng sự (2018) đánh giá các mạng RNN, LSTM, GRU; Viện MICA - Đại học Bách Khoa Hà Nội (Phạm và cộng sự, 2017, 2019) cải tiến bộ mô tả KDES (Kernel Descriptor), đề xuất phương pháp loại bỏ bóng và xây dựng hệ thống ReID tự động.

Khoảng trống luận án lựa chọn giải quyết: Đa số các nghiên cứu ReID đa khung hình trước đây hoặc xử lý trên toàn bộ chuỗi khung hình gây tốn kém tài nguyên tính toán, hoặc chỉ áp dụng trọng số cố định khi kết hợp các loại đặc trưng. Luận án tập trung giải quyết sự đánh đổi giữa độ chính xác và thời gian xử lý bằng phương pháp chọn lọc khung hình đại diện có cấu trúc chu kỳ bước đi, thiết lập cơ chế kết hợp đặc trưng thủ công và học sâu với trọng số thích ứng theo truy vấn, đồng thời đánh giá định lượng tác động trực tiếp của các mô hình phát hiện và phân đoạn người trong một quy trình hoàn chỉnh.

Cơ sở lý thuyết và phương pháp nghiên cứu

Cơ sở lý thuyết và mô hình toán học

Bài toán ReID được mô hình hóa toán học với tập truy vấn $Q_i$ gồm $n_i$ hình ảnh và tập lưu trữ gồm $N$ cá nhân $G_j$ gồm $m_j$ hình ảnh:

$$Q_i = \left{ q_i^{(l)} \right}{l=1}^{n_i}, \quad G_j = \left{ g_j^{(k)} \right}{k=1}^{m_j} \quad (j = 1, \dots, N)$$

Danh tính của cá nhân truy vấn $Q_i$ được xác định thông qua bài toán tối ưu khoảng cách hoặc độ tương đồng:

$$j^* = \arg\min_j d(Q_i, G_j) \quad \text{hoặc} \quad j^* = \arg\max_j \text{Sim}(Q_i, G_j)$$

Trong đó $d(Q_i, G_j)$ là khoảng cách trực tiếp (Euclidean, Cosine) hoặc khoảng cách Mahalanobis $D_M(\vec{x}_i, \vec{x}_j) = (\vec{x}_i - \vec{x}_j)^T M (\vec{x}_i - \vec{x}_j)$ được tối ưu hóa qua các mô hình học khoảng cách như XQDA, KXQDA.

Luận án phân tích hai thiết lập thực nghiệm:

• Thiết lập 1 (Setting 1): Danh tính của người trong tập kiểm tra đã xuất hiện trong tập huấn luyện (mô hình diện mạo đã được học trước, đưa ReID về dạng bài toán tìm kiếm cá nhân / truy xuất thông tin).
• Thiết lập 2 (Setting 2): Danh tính của người trong tập kiểm tra hoàn toàn khác biệt so với tập huấn luyện (không học trước mô hình diện mạo của đối tượng cần kiểm tra, phản ánh sát thực tế).

Phương pháp nghiên cứu

Luận án kết hợp các phương pháp định lượng và thực nghiệm mô phỏng trên máy tính:

• Trích xuất đặc trưng: Sử dụng bộ mô tả thủ công GOG (trích xuất tại 3 mức pixel, patch, region với phân phối Gauss kép tạo vector 27.622 chiều), KDES (trích xuất thông tin gradient, màu sắc, kết cấu theo mô hình kim tự tháp không gian) và đặc trưng học sâu trích xuất từ các lớp sâu của GoogLeNet (vector 1024 chiều từ lớp pool 5/7x7_s1) và ResNet-50.
• Gom cụm đặc trưng theo thời gian (Temporal Feature Pooling): Áp dụng các phép toán Min pooling, Max pooling và Average pooling trên các vector đặc trưng của các khung hình đại diện.
• Học khoảng cách: Ứng dụng mô hình phân tích phân biệt bậc hai xuyên góc nhìn (XQDA) và phiên bản mở rộng hạt nhân (KXQDA) chiếu đặc trưng vào không gian con để tối đa hóa sự phân tách giữa biến thiên nội lớp $\Omega_I$ và ngoại lớp $\Omega_E$.
• Đánh giá quy trình tích hợp: Tích hợp và so sánh các thuật toán phát hiện người (ACF, YOLO, Mask R-CNN) và phân đoạn người (Pedparsing / DDN) để khảo sát chất lượng hộp bao và việc loại bỏ nhiễu hậu cảnh.

Nguồn dữ liệu thực nghiệm

Nghiên cứu sử dụng 5 tập dữ liệu chuẩn trong lĩnh vực ReID:

Tập dữ liệu	Năm công bố	Số ID (#ID)	Số camera (#Cam)	Số lượng ảnh/chuỗi	Gán nhãn	Độ phân giải	Kịch bản	Thiết lập
VIPeR	2007	632	2	1.264 ảnh	Thủ công	$128 \times 48$	Single-shot	Setting 2
CAVIAR4REID	2011	72	2	1.220 ảnh	Thủ công	Biến thiên ($17 \times 32$ đến $72 \times 144$)	Multi-shot	Setting 1
RAiD	2014	43	4	6.920 ảnh	Thủ công	$128 \times 64$	Multi-shot	Setting 1
PRID-2011	2011	934	2	24.541 ảnh	Thủ công + Tự động	$128 \times 65$	Single / Multi-shot	Setting 2
iLIDS-VID	2016	300	2 (từ mạng 5 camera)	42.495 ảnh (600 chuỗi)	Thủ công	Biến thiên	Multi-shot	Setting 2

Thước đo đánh giá chính: Tỷ lệ khớp tại các mốc Rank-1, Rank-5, Rank-10, Rank-20 trên đường cong CMC, thực hiện trung bình qua 10 phép chia ngẫu nhiên tập huấn luyện/kiểm tra.

Nội dung chính theo từng chương

Chương 1: Literature Review (Tổng quan tài liệu)

Chương 1 hệ thống hóa các khái niệm, phân loại và các mốc phát triển chính của bài toán ReID:

• Phân biệt giữa các kịch bản Single-shot (mỗi đối tượng biểu diễn bằng 1 ảnh duy nhất) và Multi-shot (mỗi đối tượng biểu diễn bằng một tập hợp hoặc chuỗi ảnh video).
• Phân tích ranh giới giữa ReID tập đóng (Closed-set) và ReID tập mở (Open-set), phương pháp học có giám sát (Supervised) và không giám sát (Unsupervised), cùng hai thiết lập thử nghiệm Setting 1 và Setting 2.
• Phân tích sâu các đặc trưng thủ công (SDALF, LDFV, Saliency, SCNCD, LOMO, GOG), đặc trưng thuộc tính ngữ nghĩa (Attribute-based features), và các kiến trúc học sâu (SCNN, FPNN, MCCNN, RNN, LSTM, GoogLeNet, ResNet-50).
• Trình bày nguyên lý của các thuật toán học khoảng cách (LMNN, LMNN-R, RankSVM, KISSME, XQDA, KXQDA), các độ đo khoảng cách trực tiếp (Euclidean, Cosine), các chiến lược kết hợp đặc trưng (early fusion, late fusion), các kỹ thuật trích xuất khung hình đại diện và tổng quan các hệ thống ReID tự động cùng các công trình nghiên cứu tại Việt Nam.

Chương 2: Multi-shot person ReID through representative frames selection and temporal feature pooling (Tái định danh người dạng đa khung hình thông qua chọn lọc khung hình đại diện và gom cụm đặc trưng theo thời gian)

Chương 2 giải quyết vấn đề quá tải bộ nhớ và thời gian tính toán khi xử lý dữ liệu video đa khung hình:

• Khung xử lý đề xuất: Gồm 4 bước: (1) Chọn lọc khung hình đại diện (Representative image selection); (2) Trích xuất đặc trưng mức ảnh (Image-level feature extraction); (3) Gom cụm đặc trưng theo thời gian (Temporal feature pooling); (4) So khớp người (Person matching).
• Lựa chọn khung hình đại diện: Dựa trên việc phân tích chu kỳ bước đi thông qua lược đồ năng lượng chuyển động dòng quang học (Flow Energy Profile - FEP). Tác giả tính toán các giá trị chuyển động $V_x, V_y$ qua các khung hình liên tiếp và làm mịn đường cong FEP bằng bộ lọc Gauss ($\mu = 0.7$). Từ chu kỳ bước đi, tác giả khảo sát hai kịch bản rút gọn:
  1. Sử dụng toàn bộ các khung hình nằm trong một chu kỳ bước đi chuẩn (Frames within a walking cycle).
  2. Rút trích đúng 4 khung hình khóa (4 key frames) tương ứng với các trạng thái cực trị và chuyển tiếp của chu kỳ bước đi.
• Khảo sát không gian màu và kỹ thuật pooling: Luận án đánh giá hiệu năng của bộ mô tả GOG trên các không gian màu RGB, CIE $L^*a^b^$ và HSV khi kết hợp với ba kỹ thuật gom cụm: Min pooling, Max pooling và Average pooling.
• Kết quả thực nghiệm: Trên hai tập dữ liệu PRID-2011 và iLIDS-VID, việc sử dụng 4 khung hình khóa kết hợp với kỹ thuật pooling cho phép giảm đáng kể thời gian tính toán và dung lượng bộ nhớ so với khi dùng toàn bộ chuỗi khung hình, trong khi độ chính xác nhận dạng tại Rank-1 vẫn duy trì ở mức tương đương hoặc vượt trội so với chọn 4 khung hình ngẫu nhiên hoặc 1 khung hình đơn lẻ.

Chương 3: Person ReID performance improvement based on fusion schemes (Nâng cao hiệu năng tái định danh người dựa trên các lược đồ kết hợp)

Chương 3 tập trung nâng cao độ chính xác nhận dạng thông qua việc kết hợp các đặc trưng có tính chất bổ trợ:

• Lược đồ kết hợp cho Thiết lập 1 (Setting 1): Áp dụng trên bài toán tái định danh dạng ảnh-đến-nhiều ảnh (image-to-images) và nhiều ảnh-đến-nhiều ảnh (images-to-images) không yêu cầu liên kết thời gian trên tập CAVIAR4REID và RAiD. Luận án khảo sát sự kết hợp giữa ba loại đặc trưng: GOG, KDES và CNN. Kết quả cho thấy phương pháp kết hợp muộn (late fusion) trên điểm số xác suất vượt trội so với việc chỉ sử dụng từng đặc trưng đơn lẻ.
• Lược đồ kết hợp cho Thiết lập 2 (Setting 2): Đề xuất mô hình kết hợp học khoảng cách (metric learning) và gán trọng số thích ứng cho từng ảnh truy vấn (adaptive query-dependent weights).
  • Thay vì cố định trọng số như các phương pháp truyền thống, trọng số gán cho các đặc trưng (GOG, ResNet-50) được tính toán động dựa trên đặc điểm nội dung của từng ảnh truy vấn $Q_i$. Đặc trưng nào thể hiện độ tin cậy và khả năng phân biệt cao hơn trên mẫu truy vấn đó sẽ được tự động gán trọng số lớn hơn trong hàm tính điểm tổng hợp.
• Đánh giá thực nghiệm: Các thử nghiệm trên PRID-2011 và iLIDS-VID (chia 10 lần ngẫu nhiên) chứng minh lược đồ gán trọng số thích ứng giúp cải thiện đáng kể độ chính xác tại Rank-1 và hình dạng đường cong CMC ở cả ba trường hợp: sử dụng 4 khung hình khóa, chu kỳ bước đi và toàn bộ khung hình.

Chương 4: Quantitative evaluation of an end-to-end person ReID pipeline (Đánh giá định lượng quy trình tái định danh người toàn diện từ đầu đến cuối)

Chương 4 nghiên cứu sự tương tác giữa các giai đoạn trong một hệ thống ReID tự động hoàn chỉnh (gồm phát hiện người, phân đoạn người, bám vết và tái định danh):

• Tái hiện và tối ưu hóa bộ mô tả GOG: Tác giả lập trình lại bộ mô tả GOG bằng C++, phân tích chi tiết thời gian tính toán của từng bước trích xuất và tối ưu hóa tham số số lượng vùng chia ($N$) trên ảnh.
• Tác động của phát hiện người (Human Detection): Luận án khảo sát ba bộ phát hiện đại diện: Aggregate Channel Features (ACF), You Only Look Once (YOLO) và Mask R-CNN. Đánh giá sự suy giảm độ chính xác ReID khi chuyển từ hộp bao cắt thủ công sang hộp bao phát hiện tự động do ảnh hưởng của việc căn chỉnh lệch và tỷ lệ phát hiện sai.
• Tác động của phân đoạn người (Human Segmentation): Khảo sát mô hình phân tích cấu trúc người đi bộ Pedparsing (dựa trên mạng Deep Decompositional Network - DDN) để tách nền.
• Thực nghiệm trên kịch bản Single-shot và Multi-shot: Đánh giá so sánh trên tập VIPeR và PRID-2011 giữa ba trường hợp: (1) Ảnh gốc chưa phân đoạn; (2) Ảnh phân đoạn thủ công; (3) Ảnh phân đoạn tự động bằng Pedparsing/Mask R-CNN. Kết quả định lượng chỉ ra rằng việc phân đoạn tự động loại bỏ bớt nhiễu nền phức tạp nhưng nếu mặt nạ phân đoạn bị cắt lẹm vào chi tiết cơ thể có thể làm suy giảm độ chính xác; do đó việc tối ưu hóa ranh giới phân đoạn đóng vai trò then chốt đối với hiệu năng ReID trong môi trường thực tế.

Kết quả và những đóng góp mới

1. Đóng góp về phương pháp biểu diễn đa khung hình hiệu quả: Đề xuất quy trình ReID đa khung hình 4 giai đoạn dựa trên việc chọn lọc khung hình đại diện qua phân tích chu kỳ bước đi FEP và trích xuất 4 khung hình khóa. Giải pháp này giúp cắt giảm thời gian xử lý và dung lượng lưu trữ bộ nhớ nhưng vẫn bảo toàn đầy đủ các đặc trưng ngoại hình mang tính phân biệt cao của người đi bộ.
2. Đóng góp về cơ chế kết hợp đặc trưng thích ứng: Xây dựng các lược đồ kết hợp muộn đa đặc trưng (kết hợp GOG, KDES và mạng học sâu GoogLeNet/ResNet-50). Đặc biệt ở Thiết lập 2, luận án tích hợp thành công mô hình học khoảng cách với cơ chế gán trọng số thích ứng theo từng truy vấn (query-dependent adaptive weighting), cho phép tối ưu hóa đóng góp của từng loại đặc trưng trên từng đối tượng cụ thể.
3. Đóng góp về đánh giá định lượng hệ thống ReID toàn diện: Cung cấp bức tranh thực nghiệm định lượng về mức độ ảnh hưởng của các thuật toán phát hiện người (ACF, YOLO, Mask R-CNN) và phân đoạn người (Pedparsing / DDN) đối với hiệu năng của bài toán ReID trong cả hai kịch bản single-shot và multi-shot.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của luận án:

• Phạm vi nghiên cứu giới hạn trong điều kiện ánh sáng ban ngày và kịch bản tái định danh ngắn hạn, chưa giải quyết trường hợp người đi bộ thay đổi quần áo hoặc phụ kiện theo thời gian dài.
• Phương pháp tập trung giải quyết bài toán tập đóng (closed-set ReID) trong đó giả định đối tượng luôn xuất hiện ở ít nhất hai camera, chưa mở rộng sang các trường hợp tập mở (open-set) hoàn toàn.
• Quá trình chọn lọc 4 khung hình khóa giúp tối ưu hóa thời gian tính toán nhưng có thể dẫn đến việc mất mát một phần thông tin chuyển động liên tục so với việc xử lý toàn bộ chuỗi video.

Hướng nghiên cứu tiếp theo:

• Mở rộng thuật toán để thích ứng với các điều kiện môi trường quan sát phức tạp hơn như ban đêm, môi trường có độ tương phản cao hoặc có sự thay đổi trang phục.
• Nghiên cứu các mô hình học không giám sát (unsupervised learning) hoặc học bán giám sát để giải quyết vấn đề gán nhãn dữ liệu quy mô lớn trong hệ thống camera giám sát thực tế.
• Tối ưu hóa sâu hơn việc tích hợp liên tục giữa thuật toán bám vết đối tượng và mô hình ReID nhằm hạn chế tối đa sai số lan truyền từ bước phát hiện/bám vết sang bước tái định danh.

Giá trị tham khảo

• Đối với nghiên cứu sinh và học viên cao học ngành Kỹ thuật Điện tử, Khoa học Máy tính và Thị giác Máy tính: Luận án là tài liệu tham khảo hệ thống về cấu trúc toán học của bài toán ReID, tổng quan tài liệu đa dạng từ đặc trưng thủ công (GOG, LOMO, KDES) đến các mạng học sâu (SCNN, FPNN, RNN, LSTM, ResNet), cũng như cách xây dựng các phép đo kiểm chuẩn trên đường cong CMC.
• Đối với kỹ sư và nhà phát triển hệ thống camera giám sát thông minh: Các phân tích tại Chương 2 (về tối ưu hóa 4 khung hình khóa để tiết kiệm bộ nhớ và thời gian tính toán) và Chương 4 (đánh giá thực tế sai số từ các mô hình phát hiện ACF, YOLO, Mask R-CNN và phân đoạn Pedparsing) cung cấp các chỉ dẫn kỹ thuật trực tiếp cho việc triển khai các hệ thống ReID trong thực tế.

Câu hỏi thường gặp

1. Luận án phân biệt sự khác nhau giữa bài toán Person ReID và Bám vết đa mục tiêu đa camera (MTMCT) như thế nào?

Theo luận án, MTMCT và Person ReID có mục tiêu và thước đo đánh giá hoàn toàn khác nhau. Mục tiêu của MTMCT là xác định tọa độ không-thời gian của từng người đi bộ từ các luồng video và được đánh giá bằng tỷ lệ lỗi phân lớp (classification error rates). Ngược lại, Person ReID giải quyết bài toán: "Những hình ảnh nào trong tập gallery thuộc về một người truy vấn xác định", kết quả trả về là một danh sách các cá nhân được xếp hạng theo độ tương đồng và hiệu năng được đánh giá bằng độ chính xác xếp hạng qua đường cong CMC.

2. Hai thiết lập đánh giá (Setting 1 và Setting 2) trong luận án được định nghĩa ra sao?

• Thiết lập 1 (Setting 1): Các danh tính xuất hiện trong tập kiểm tra (testing set) đã từng xuất hiện trong tập huấn luyện (training set), nghĩa là mô hình diện mạo của đối tượng đã được học trước (bài toán quy về dạng tìm kiếm/truy xuất người đã biết).
• Thiết lập 2 (Setting 2): Các cá nhân trong tập kiểm tra hoàn toàn khác biệt và không trùng lặp với các cá nhân trong tập huấn luyện, nghĩa là mô hình diện mạo của người cần kiểm tra chưa từng được học trước đó.

3. Nguyên lý trích xuất khung hình đại diện trong Chương 2 được thực hiện như thế nào?

Tác giả dựa trên quan sát rằng người đi bộ di chuyển trong trường nhìn của camera thường có các chu kỳ bước đi lặp lại. Luận án tính toán thông tin dòng quang học để xác định các thành phần vận tốc $V_x, V_y$, xây dựng đường bao năng lượng chuyển động (Flow Energy Profile - FEP) và làm mịn qua bộ lọc Gauss ($\mu = 0.7$). Từ đó, hệ thống tự động trích xuất các khung hình nằm trong một chu kỳ bước đi hoặc rút gọn thành đúng 4 khung hình khóa đại diện cho các tư thế chính để đưa vào bước trích xuất đặc trưng và gom cụm theo thời gian.

4. Cơ chế gán trọng số thích ứng (adaptive weighting) trong Chương 3 hoạt động ra sao?

Thay vì áp dụng trọng số cố định cho các loại đặc trưng (như GOG và ResNet) trên mọi mẫu thử, cơ chế gán trọng số thích ứng sẽ phân tích nội dung và đặc tính riêng của từng hình ảnh truy vấn $Q_i$. Dựa trên độ tin cậy và khả năng phân biệt của từng loại đặc trưng đối với mẫu ảnh cụ thể đó, một trọng số lớn hơn sẽ được tự động gán cho đặc trưng có hiệu quả cao hơn, giúp điểm số khớp tổng hợp đạt độ chính xác tối ưu.

5. Việc tích hợp các bộ phát hiện và phân đoạn người ảnh hưởng thế nào đến hiệu năng ReID trong Chương 4?

Thực nghiệm của luận án chỉ ra rằng các lỗi phát sinh từ bước phát hiện người (như sai lệch vị trí hộp bao của ACF, YOLO, Mask R-CNN) làm suy giảm độ chính xác tái định danh so với khi sử dụng hộp bao cắt thủ công chuẩn. Đối với bước phân đoạn người (Pedparsing / DDN), việc loại bỏ hậu cảnh giúp giảm bớt nhiễu môi trường, tuy nhiên nếu thuật toán phân đoạn cắt mất các phần đặc trưng cơ thể của người đi bộ thì độ chính xác ReID cũng bị ảnh hưởng tiêu cực.

Kết luận

Luận án tiến sĩ của tác giả Nguyễn Thúy Bình đã giải quyết bài toán tái định danh người trong mạng camera giám sát thông qua ba hướng tiếp cận bổ trợ: đề xuất kỹ thuật chọn lọc 4 khung hình khóa dựa trên chu kỳ bước đi kết hợp gom cụm đặc trưng theo thời gian để tối ưu hóa bộ nhớ và tốc độ xử lý; xây dựng các lược đồ kết hợp đặc trưng thủ công và học sâu với cơ chế gán trọng số thích ứng theo từng truy vấn nhằm nâng cao độ chính xác; và thực hiện đánh giá định lượng tác động của các khâu phát hiện, phân đoạn người trong một quy trình ReID toàn diện từ đầu đến cuối. Các kết quả thực nghiệm trên 5 tập dữ liệu chuẩn (VIPeR, CAVIAR4REID, RAiD, PRID-2011, iLIDS-VID) đã chứng minh tính hiệu quả của các mô hình đề xuất trong cả hai kịch bản phân tích hình ảnh và chuỗi video.

Trích đoạn nội dung tài liệu

MINISTRY OF EDUCATION AND TRAINING HANOI UNIVERSITY OF SCIENCE AND TECHNOLOGY NGUYEN THUY BINH PERSON RE-IDENTIFICATION IN A SURVEILLANCE CAMERA NETWORK DOCTORAL DISSERTATION OF ELECTRONICS ENGINEERING Hanoi−2020 luan an MINISTRY OF EDUCATION AND TRAINING HANOI UNIVERSITY OF SCIENCE AND TECHNOLOGY NGUYEN THUY BINH PERSON RE-IDENTIFICATION IN A SURVEILLANCE CAMERA NETWORK Major: Electronics Engineering Code: 9520203 DOCTORAL DISSERTATION OF ELECTRONICS ENGINEERING SUPERVISORS: 1. Pham Ngoc Nam 2. Le Thi Lan Hanoi−2020 luan an DECLARATION OF AUTHORSHIP I, Nguyen Thuy Binh, declare that the thesis titled "Person re-identification in a surveillance camera network" has been entirely composed by myself. I assure some points as follows:  This work was done wholly or mainly while in candidature for a Ph.

research degree at Hanoi University of Science and Technology.  The work has not be submitted for any other degree or qualifications at Hanoi University of Science and Technology or any other institutions.  Appropriate acknowledge has been given within this thesis where reference has been made to the published work of others.  The thesis submitted is my own, except where work in the collaboration has been included.

The collaborative contributions have been clearly indicated. Hanoi, 24/11/ 2020 PhD Student SUPERVISORS i luan an ACKNOWLEDGEMENT This dissertation was written during my doctoral course at School of Electronics and Telecommunications (SET) and International Research Institute of Multimedia, Infor- mation, Communication and Applications (MICA), Hanoi University of Science and Technology (HUST). I am so grateful for all people who always support and encourage me for completing this study. First, I would like to express my sincere gratitude to my advisors Assoc.

Pham Ngoc Nam and Assoc. Le Thi Lan for their effective guidance, their patience, continuous support and encouragement, and their immense knowledge. I would like to express my gratitude to Dr. Vo Le Cuong and Dr.

Ha thi Thu Lan for their help. I would like to thank to all member of School of Electronics and Telecom- munications, International Research Institute of Multimedia, Information, Communi- cations and Applications (MICA), Hanoi University of Science and Technology (HUST) as well as all of my colleagues in Faculty of Electrical-Electronic Engineering, University of Transport and Communications (UTC). They have always helped me on research process and given helpful advises for me to overcome my own difficulties. Moreover, the attention at scientific conferences has always been a great experience for me to receive many the useful comments.

During my PhD course, I have received many supports from the Management Board of School of Electronics and Telecommunications, MICA Institute, and Faculty of Electrical-Electronic Engineering. My sincere thank to Assoc. Nguyen Huu Thanh, Dr. Nguyen Viet Son and Assoc.

Nguyen Thanh Hai who gave me a lot of support and help. Without their precious support, it has been impossible to conduct this research. Thanks to my employer, University of Transport and Communications (UTC) for all necessary support and encouragement during my PhD journey. I am also grateful to Vietnam’s Program 911, HUST and UTC projects for their generous financial support.

Special thanks to my family and relatives, particularly, my beloved husband and our children, for their never-ending support and sacrifice. Student ii luan an CONTENTS DECLARATION OF AUTHORSHIP. vi LIST OF TABLES. x LIST OF FIGURES.

Person ReID classifications. Single-shot versus Multi-shot. Closed-set versus Open-set person ReID. Supervised and unsupervised person ReID.

Datasets and evaluation metrics. Hand-designed features. Deep-learned features. Metric learning and person matching.

Fusion schemes for person ReID. Representative frame selection. Fully automated person ReID systems. Research on person ReID in Vietnam.

MULTI-SHOT PERSON RE-ID THROUGH REPRESEN- TATIVE FRAMES SELECTION AND TEMPORAL FEATURE POOLING 36 2. Representative image selection. 37 iii luan an 2. Image-level feature extraction.

Temporal feature pooling. Evaluation of representative frame extraction and temporal feature pooling schemes. Quantitative evaluation of the trade-off between the accuracy and compu- tational time. Comparison with state-of-the-art methods.

Conclusions and Future work. PERSON RE-ID PERFORMANCE IMPROVEMENT BASED ON FUSION SCHEMES. Fusion schemes for the first setting of person ReID. Image-to-images person ReID.

Images-to-images person ReID. Obtained results on the first setting .