Chương 1: Tổng quan tình hình nghiên cứu Chương này giới thiệu tổng quan trình hình nghiên cứu trong lĩnh vực Person Re- Identification, giới thiệu vẻ các tập dữ liêu tiêu chuẩn đang được các nhà nghiên cứu sử dung, trình bày các phương pháp sử dụng học sâu và những công trình tiêu biểu tương ứng với từng phương pháp. Chương 2: Cơ sở lý thuyết Chương này chúng tôi sẽ trình bày lần lượt tổng quan các phương pháp phát hiên, theo vét và tái nhận dạng đỗi tương. Đồng thời trong từng phương pháp, chúng tôi cũng nêu ra khái niệm cũng như ưu-khuyết điểm về một số thuật toán, kiến trúc mô hình tiêu biểu để làm cơ sở chọn lựa mô hình phù hợp với đẻ tài. Chương 3: Phương pháp phát hiện và theo vết người thông qua video camera giám sát Trình bày chỉ tiết phương pháp mà chúng tôi sử dụng để định danh và truy vấn hình ảnh người đi bộ khi những người này đi chuyển giữa các khung hình khác nhau trong hệ thông các camera.
Phương pháp chính là kết hợp đồng thời cả ba phương pháp: phát hiện, theo vết và tái nhận dạng dối tượng. II Chương 4: Thực nghiệm và đánh giá Chương này so sánh và đánh giá kết quả đạt được khi thực hiện chương trình với một số pre-trained model trên các tập dữ liệu và chiến lượt phân vùng khác nhau. Chương 5: Kết luận và hướng phát triển Tổng kết lại kết quả đã đạt được và chưa đạt được sau quá trình nghiên cứu, tiễn hành thực nghiệm. Từ đó nêu lên những hướng nghiên cứu và phát triển tiếp theo trong tương lai để nâng cao hiệu suất khi định danh cũng như để khắc phục các hạn chế hiện tại.
TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU 1.1 Tổng quan Person Re Identification là một hướng nghiên cứu vẻ truy vết và định danh người trong các hệ thong camera giám sát với góc nhìn của các camera không chồng lắp nhau. IÌminh họa hệ thông camera nay, ở đây các cham màu là các đối tượng. ví dụ: đối tượng màu xanh lá cây khi xuất hiện ở khung hình của camera 2 thì được gán định danh (ID) là 3, khi đối tượng màu xanh lá cây đó di chuyển ra khỏi khung bình của camera 2 và đi vào khung hình của camera ! thì lúc này hệ thong vẫn xác định đôi tượng màu xanh lá cây đó có ID là 3 (cùng là một người). Đây được xem là một công nghệ quan trọng trong lĩnh vực thị giác máy tính và có ý nghĩa thực tiễn trong việc xây dựng các hệ thông giám sát thông minh.
Với sự phát triển của Deep Learning đặc biệt là Convolutional Neural Networks, Person Re-ID đã dat được những tiền bộ quan trong trong những năm gần đây. Khái niệm về Person Re-ID lan dau được giới thiệu vào năm 2006. Cho đến nay, lĩnh vực nghiên cứu này đã phát triển nhanh chóng và đã thu hút được rắt nhiều các học 13 giả trên khắp thé giới tham gia vào. Từ đó, số lượng các bài báo khoa học trên các hội nghị hàng dau vẻ chủ dé này không ngừng tăng lên qua từng năm như được minh họa trong hinh{T-3} mee CVPR mEmICCV mem ECCV mem AAA em TIP %zTPAMI =@=Toal TM~ an Pcaoupntesr 80 oewm.
Ì Ủ | 0 wa be => 302 203 20 205 206 207 20§ 2019 209 2021 Years Hình 1.2 Thống kê số lượng bài báo về Person Re-ID ở những hội nghị hàng đầu qua từng năm [2} Trong khoảng thời gian dau, các nhà nghiên cứu thường sử dung các phương pháp thủ công để giải quyết bài toán định danh lại người. Trong bài báo [3] Gray và Tao đã phân vùng hình ảnh người đi bộ và nhiều sọc ngang (horizontal stripes) để trích xuất đặc trưng vẻ màu và kết cau. Một số nhà nghiên cứu khác sử dụng những chiến lược phân vùng phức tạp hơn. Gheissari và các cộng sự {4} đã chia hình ảnh người đi bộ thành một vài hình tam giác để trích xuất đặc trưng theo từng phan, Das và các cộng sự [5] đã áp dụng biểu đỗ HSV (HSV histograms) dựa trên các bộ phận cơ thể như dau, thân minh, chân để nam bat được những thông tin về không gian (spatial information) nhằm thực hiện định danh lại người đi bộ.
Mặc dù có nhiều công trình nghiên cứu vé chủ dé này, song vẫn còn tổn tại một số van đẻ thực tiễn ma Person Re-ID vẫn chưa được giải quyết. Tiêu biểu là trường hợp đối tương người cần nhận dang lai bị che khuất bởi các đối tượng khác ma Jiaxuan Zhuo 14 và các cộng sự đã quan tâm trong bài báo "Occluded person re-identification” [6]. That vậy, trong thực tế các đối tượng người có thể để đàng bị che khuất bởi các vật cản. Cụ thể như hình[1.3Ìbên dưới, đối tượng cần nhận dang lại bị che bởi người khác, cây cối, hành ly, 6, biển bao, 6 tô, xe máy, .3 Minh hoa một số trường hợp đối tượng bị che khuất (6) 1.22 Các phương pháp sử dụng mô hình học sâu Deep Learning Based Person Re-ID Methods í x ; + ; + Ỳ | Deep metric Local feature Guatrs Sequence learning learning Adversarial Feature Networks Learning Hình 1.4 Phan loại các phương pháp tai nhận dang người dựa trên mô hình hoc sau 15 Tiếp theo, chúng tôi xin được giới thiêu tổng quan vẻ các phương pháp đang được sử dụng phổ biến hiện nay.
Các phương pháp này dựa trên deep learning và được phan thành bốn nhóm chính được minh họa như trong hinh{I.1 Deep Metric Learning Phương pháp này nhắm đến mục tiêu là xác định độ tương đồng hoặc không tương đồng giữa hai đổi tượng (trong trường hợp này là người đi bộ) bằng cách học các đặc trưng phân biệt từ hình ảnh dau vào và sử dung một hàm đo khoảng cách (distance function). Khoảng cách giữa hai người sẽ có giá trị nhỏ nếu tương đồng (cùng một người) và ngược lại. Deep metric learning chủ yêu được dùng để ràng buộc quá trình học các đặc trưng phân biệt thông qua việc thiết kế một hàm mất mát (loss function) cho mô hình. Các nhà nghiên cứu thường sử dụng các ham mắt mát như: classification loss, verification loss, triplet loss và contrastive loss, Như trong bai báo Ú].
Hermans và các công sự đã sử dung triplet loss và nhận được một kết quả rat tốt (state-of-the-art result) trên mô hình được huắn luyện từ trước (pre-trained model) cũng như mô hình được huắn luyện từ đầu, tác giả nhắn mạnh rằng việc thiết kế một triplet loss tốt sẽ có tác động đáng kể đến kết quả và hy vọng các nhà nghiên cứu khác có thể tiếp tục phát huy hết tiém năng của triplet loss. Y tưởng của triplet loss được minh họa trong hình|I.5 Minh họa ý tưởng của Triplet Loss is) Triplet loss sẽ nhận ba hình ảnh dau vào trong đó có hai hình ảnh là của cùng một người, một hình ánh là của một người khác. sau đó hình ảnh sẽ được đưa vào trong deep l6 neural network để trích xuất đặc trưng. triplet loss được sử dung để tim ra hai vector đặc trưng của cùng một người và phân biệt với vector đặc trưng của người còn lại.
Local Feature Learning Phương pháp này học các đặc trưng phân biệt (distinguishing features) để thực hiện phân loại hai đối tượng là giống hay khác nhau, các đặc trưng phân biệt này đến từ đặc trưng cục bộ (local feature) trên hình ảnh đâu vào. Mạng nơ-ron được sử dụng để có thể tự động tìm ra các vùng cục bộ chứa những thông tin quan trong và sau đó trích xuất đặc trưng phân biệt từ những vùng này. Các đặc trưng cục bộ trong phương thức này phải có sự liên kết với nhau để đảm bảo tính chính xác cho kết quả đầu ra. Các phương pháp local feature learning thường được sử dụng là predefined stripe segmentation, multi-scale fusion, soft attention, pedestrian semantic extraction va global-local feature learning.
Nhu trong bai bao (9) Wang và các cộng sự đã dé xuất chiến lược học các đặc trưng phân biệt dựa trên nhiều chỉ tiết thông qua áp dụng phương pháp global-local learning. Tác giả đã thiết kế Multiple Granularity Network (MGN) là một kiến trúc mang học sâu gồm nhiều nhánh trong đó gồm một nhánh dành cho việc biểu diễn các đặc trưng toàn cục và hai nhánh dành cho việc biểu diễn các đặc trưng cục bộ. GO hai nhánh học các đặc trưng cục bộ. tác giả sử dụng phương pháp phân vùng đồng nhất để phân hình anh dau vào thành nhiều phần (phân theo chiều ngang) và sự đa dang về số lượng của các phần ở các nhánh khác nhau giúp mô hình biểu diễn được các đặc trưng ở nhiều chi tiết.
Phương pháp này đã dat được một hiệu suất cao và vượt qua các phương pháp trước đó. Y tưởng của phương pháp được minh hoa trong hình Phan đầu tiên đại diện cho nhánh học các đặc trưng toàn cục, nhánh này sử dụng nguyên bản hình ảnh đầu vào và trích xuất đặc trưng trên đó. Phan ở giữa và phan cuỗi cùng đại điện cho hai nhánh học các đặc trưng cục bộ, việc phân hình ảnh dau vào thành nhiều phan nhỏ và thay đổi số lượng các phần giữa hai nhánh giúp mô hình có thể biểu điển các đặc trưng tốt hơn. Hay như trong bài "Person Re-identification using Heterogeneous Local Graph Attention Networks” {10], Zhong Zhang và các cộng sự giúp đồng thời mô hình hóa mối 17 Hình 1.6 Minh họa ý tưởng của Multiple Granularity Network (9) quan hệ giữa các đặc trưng cục bộ trong mét hình và mỗi quan hệ của các đặc trưng giữa các hình khác nhau.
Ho xây dựng biểu dé đặc trưng cục bộ và sử dụng cơ chế chú ý để tống hợp các đặc trưng này trong quá trình huấn luyện để nhắn mạnh tam quan trọng của các đặc trưng khác nhau.3 Generative Adversarial Networks GAN (HÌ được giới thiệu bởi lan Goodfellow và phát triển nhanh chóng trong những năm gan đây. Ung dụng chính của GAN là để sinh ra hình ảnh mới nhăm mục tiêu mớ rộng tập dữ liệu (2). Trong Person Re-Identification một vài nhà nghiên cứu sử dụng GAN để sinh ra những hình ảnh người mới với những khác nhau về ngoại hình, tư thé thậm chí là độ tương phản vẻ ánh sáng và độ phân giải. có những nhà nghiên cứu thực hiện chuyển đổi phong cách của những hình ảnh giữa những tập dữ liệu khác nhau bằng kĩ thuật CycleGAN (3).
Lay cảm hứng từ đó, Wei và các công su đã để xuất một phương pháp gọi là PTGAN nhằm chuyển đổi phong cách của hình ảnh trong miễn của một tập dữ liệu gốc sang miễn của một tập dữ liệu khác trong khi vẫn giữ nguyên định danh của người trong miễn gốc, qua đó các nhà nghiên cứu hướng đến việc chuyển đổi ngoại cảnh và độ sáng của miễn gốc sang miễn còn lại nhằm tăng tính da dạng cho dữ liêu.