Mở đầu Để hiểu rõ bài toán person re-ID, ta cần làm rõ các khái niệm liên quan, đồng thời tìm hiểu một số phương pháp tiếp cận hiện nay. Vì vậy, trong chương này, tôi sẽ giới thiệu một số khái niệm cơ bản đồng thời khảo sát các hướng tiếp cận để giải quyết bài toán.2 Giới thiệu bài toán person re-ID Person re-Id là nhiệm vụ liên kết hình ảnh của cùng một người được chụp từ các máy ảnh khác nhau hoặc cùng một máy ảnh trong các thời điểm khác nhau. Mục tiêu của bài toán person re-ID là tìm kiếm sự xuất hiện một người từ nhiều camera tại những thời điểm khác nhau. Person re-ID được ứng dụng để giải quyết các bài toán trong các lĩnh vực an ninh như: theo dõi mục tiêu qua nhiều camera,.
Dé theo dõi mục tiêu trên nhiều camera với phương pháp thủ công là huy động nhân lực để theo dõi cần nhiều thời gian và công sức. Do đó cần có phương pháp thực hiện công việc này một cách tự động, đó là lý do person re-ID ngày càng được quan tâm và nghiên cứu. Bài toán person re-ID có hai hướng tiếp cận phổ biến là: phương pháp học các đặc điểm nổi bật của người trong hình ảnh và các phương pháp học dựa việc học cách biểu diễn các đặc trưng ảnh. Các hướng tiếp cận này sẽ được thảo luận cụ thể trong các mục tiếp theo.
Các hướng tiếp cận Dựa trên việc học các đặc điểm phân biệt của người trong ảnh, bài toán person re-ID có hai hướng tiếp cận chính hiện nay [1]: phương pháp hoc dựa trên các đặc điểm nổi bật và phương pháp học cách biểu diễn các đặc trưng ảnh. Phương pháp học các đặc điểm nổi bật của người trong ảnh chủ yếu tập trung vào việc thiết kế các chiến lược giúp tìm kiếm các vùng nổi bật của một hình ảnh người từ đó tìm kiếm các hình ảnh của cùng một người bằng cách so sánh độ tương đồng của các vùng này. Phương pháp này thường sử dụng khi góc nhìn về các hình ảnh của cùng một người có sự thay đổi không lớn, các đặc điểm hình dáng bên ngoài của các người khác nhau là tương đối khác nhau. Nhưng khi khi góc nhìn thay đổi đủ lớn, các đặc tính hình dáng có nhiều điểm tương đồng hoặc miễn ảnh nền của các hình ảnh khá giống nhau thì phương pháp này thường cho kết quả không tốt.
Dựa trên sự phát triển của các mạng thần kinh sâu, rất nhiều phương pháp dựa trên phương pháp học các biểu diễn tính năng của hình ảnh đã ra đời và ngày càng có các kết quả tốt hơn: * Local Feature Learning: phương pháp nay học đặc điểm cục bộ ở theo từng phần sau đó kết hợp để tạo thành một biểu diễn kết hợp cho mỗi hình ảnh người. * Generative Adversarial Learning: hoc cách biểu diễn các đặc trưng của hình ảnh với đa dạng ngữ cảnh, học các đặc điểm ngoại cảnh của hình ảnh này để làm ngoại cảnh cho hình ảnh khác hoặc trích xuất các đặc điểm bat biên. * Deep Metric Learning: Ý tưởng của phương pháp này là việc thiết kế các hàm mất mát tốt hơn để đào tạo mô hình. Các hàm mat mát phổ biến đối với peron Re-ID bao gồm: classification loss, verification loss, contrastive loss, triplet loss and quadruplet loss.
Các mô hình có hiệu xuất tốt thường sử dụng kết hợp các hàm mất mát(hàm loss) lại với nhau để tận dụng ưu điểm và hạn chế các ưu điểm của nhau. Local feature learning Generative Học các đặc adversarial trưng learning Deep metric learning Hình 2.1: Các hướng tiếp cận phổ biến hiện nay cho bài toán Person Re-ID Ở các phần tiếp theo chúng tôi sẽ nêu chỉ tiết về các phương pháp được đề xuất ở trong các hướng tiếp cận, các hướng này tập trung vào việc xây dựng các mạng dựa trên ý tưởng về mạng của học sâu.1 Local feature learning Dựa trên các đặc điểm được trích xuất từ hình ảnh người, các phương pháp person Re-ID có thể được phân thành các phương pháp dựa trên học đặc điểm toàn cục và phương pháp dựa trên học đặc điểm cục bộ. Các phương pháp học đặc trưng toàn cục thường trích xuất một đặc trưng cụ thể của hình ảnh người [4], phương pháp này rất khó nắm bắt thông tin, những đặc điểm chỉ tiết về người trong ảnh. Do đó, làm thế nào để trích xuất các đặc điểm phân biệt cục bộ của hình ảnh người với sự khác biệt tinh tế trở thành một van dé đáng quan tâm: « Phương pháp dựa trên học tập tính năng cục bộ nhằm mục dich học các tính năng phân biệt dành cho hình ảnh người và đảm bảo sự liên kết của từng tính năng địa phương.
Chú thích thủ công hoặc mạng thần kinh thường được sử dụng để tự động tập trung vào các vùng cục bộ nhất định với thông tin chính và trích xuất các đặc trưng phân biệt từ các vùng này. * Các phương pháp được sử dụng phổ biến gồm: chia hình ảnh thành các được xác định dé học các đặc trưng từng ving[5](Predefined stripe seg- mentation), kết hợp học các Fearture maps 6 nhiều tỷ lệ khác nhau[6](Multi- scale fusion), học việc tìm ra các khu vực có tác động lớn hơn trên các FM và tập trung mô hình vào các bộ phận cục bộ có tính phân biệt của ngoại hình cơ thể để điều chỉnh khác biệt giữa các hình ảnh cùng một người, loại bỏ nhiễu từ background[7] (soft attention), khai thác ngữ nghĩa dành cho hình ảnh người [8] và học đặc trưng toàn cục kết hợp với các đặc trưng cục bộ. Nhìn chung, phương pháp Predefined stripe segmentation là phương pháp phân đoạn khó và yêu cầu độ liên kết hình ảnh cao. Với sự thay đổi của chế độ xem camera cảnh thực và tư thế của người đi bộ, chiến lược phân đoạn cố định không thể giải quyết tốt van dé các đặc điểm phân biệt của người phân bố rất khác nhau ở từng hình anh.
Phương pháp Multi-scale fusion có thể tìm hiểu các tín hiệu sâu hơn của hình ảnh người đi bộ, nhưng sẽ có các tính năng dư thừa và xung đột khi kết hợp ở các tỷ lệ khác nhau. Soft attention chi tập trung vào các đặc điểm cục bộ của hình ảnh người và rất dễ bỏ qua các đặc điểm nổi bật của các khu vực ngoài đặc điểm của người trong ảnh. Phương pháp trích xuất ngữ nghĩa có thể định vị chính xác các đặc điểm cục bộ của người đi bộ bằng cách học thông tin cấu trúc của tư thế người đi bộ, nhưng nó yêu cầu tính toán bổ sung các mô hình học thông tin về các tư thế. Phương pháp học đặc trưng toàn cầu kết hợp cục bộ có thể sử dụng hiệu quả các lợi thế bổ sung của các đặc trưng toàn cục và cục bộ và là một trong những phương pháp phổ biến được các nhà nghiên cứu sử dụng để cải thiện hiệu suất mô hình, tuy nhiên việc xây dựng các mô hình mạng để phân chia các vùng phục vụ cho việc học các đặc điểm từng vùng và kết hợp với các đặc điểm toàn cục là rất khó khăn và có thể tốn nhiều chi phí.2 Generative adversarial learning Năm 2014, mang GAN xuất hiện và tao hình ảnh là một trong những ứng dung quan trọng của GAN được sử dụng cho bài toán person Re-ID.
Trong giai đoạn đào tạo, bộ tạo G4 chuyển đổi hình ảnh A thành hình ảnh B với nhiễu ngẫu nhiên, trình tao Gg chuyển đổi hình ảnh B thành hình anh A va bộ phân biệt Dg xác định xem hình ảnh được tạo B có gần giống với hình ảnh gốc B (thật hay giả ). Bộ tạo Generator và bộ phân biệt Discriminator được sử dụng cho đến khi mô hình hội tụ bằng cách giảm thiểu giá trị hàm loss của bộ phân biệt va L¿ loss. Có nghiên cứu đã sử dụng GAN để chuyển đổi kiểu hình ảnh hoặc thống nhất các kiểu hình ảnh khác nhau để giảm thiểu sự khác biệt về kiểu hình ảnh giữa 10 Taal cc ca ¬ i lỊ Discriminator De Real or Puke ? Hình 2.2: Sơ đồ quy trình làm việc của GAN để tạo hình anh[1]. các bộ dữ liệu khác nhau hoặc trong cùng một bộ dữ liệu [10].
Một số công trình đã sử dụng GAN để tổng hợp hình ảnh người với tư thé, ánh sáng và độ phân giải khác nhau nhằm bổ sung thêm cho bộ dữ liệu nhằm nâng cao khả năng khái quát hóa của mô hình [11] với các trường hợp khác nhau. Các phương pháp này có thể giảm bớt hạn chế về số lượng dif liệu không đủ cho việc đào tạo hoặc tạo sự đa dạng hình ảnh về độ phân giải hình ảnh, các hình ảnh với lượng ánh sáng khác nhau, góc độ xem ảnh qua camera và biến thể tư thé người trong ảnh. Với các đặc điểm và ứng dụng của GAN, [1] chia các phương pháp person Re-ID dựa trên ứng dụng việc tạo ảnh từ GAN thành ba loại: học chuyển kiểu hình ảnh-hình ảnh, tăng cường dữ liệu va học tính năng bắt biến. s Đối với các phương pháp chuyển kiểu hình ảnh-hình ảnh, GAN đã sử dụng background, độ phân giải, ánh sáng và các đặc điểm của hình ảnh khác nhau và kết hợp các đặc điểm này sang các hình ảnh khác để tạo sự đa dạng về bối cảnh cho các hình ảnh của cùng một người.
« Đối với các phương pháp tăng cường dữ liệu, các nhà nghiên cứu tập trung nâng cao chất lượng dữ liệu, tạo sự đa dạng về mẫu được tạo bởi GAN để 11 mở rộng tập dif liệu đã được sử dung để tăng khả năng học các biểu diễn tính năng. « Đối với phương pháp học các tính năng học bất biến, GAN được sử dụng để học học các tính năng liên quan đến việc nhận diện danh tính của một người không phụ thuộc vào nhiễu (giảm sự phụ thuộc về tư thế, ánh sáng, độ phân giải,. của hình ảnh). Với hiệu quả tuyệt vời của GAN trong việc tạo ảnh từ ảnh gốc, các mô hình học cách biểu diễn tính năng sẽ có tính tổng quát hơn trong việc biểu diễn các tính năng của ảnh.
Tuy nhiên, cũng có những rủi ro gặp phải khi việc trình tạo ảnh của GAN tạo ra các ảnh không có giá trị cao trong việc học các đặc điểm, hoặc vô tình tạo ra các nhiễu cho tập dữ liệu do kết hợp nhiều yếu tố.