Chương 1. Dong lực nghiên ctu. eee eee eeeeceeeseeeeeeeeeceeseseeeececassnseeeseeeaseneeeeees 1 1. Phát biểu bài toán 1.
_ Các thách thức. Mục tiêu và phạm vi nghién CỨU. Đóng góp của nghiÊn CỨU. Bố cục của luận VAN ceeceescessecssessssessesseesevessessseessessevesersssessuessuessesssesseesseeeuees 6 Chuong 2.
CAC NGHIÊN CỨU LIÊN QUAN. Các bài toán Nhận thức thị giác (Visual Perception Tasks). _ Bài toán Phân loại hình ảnh (Image Classification). _ Bài toán Phát hiện đối tượng (Object Detection).
Bài toán Ước lượng tư thế người (Human Pose Estimation). Các bài toán Hiểu thị giác (Visual Understanding Tasks). Bài toán Phát hiện tương tác giữa con người và đối tượng (Human-Object Interaction Deft€CfiOI)). Mô hình hoá bài toán.
Các hướng tiếp cận chính. Hướng tiếp cận với các mô hình tuần tự. Hướng tiếp cận với các mô hình song song. Hướng tiếp cận với mô hình dựa trên Transformer.
Bộ dit liệu và độ đo.-- «nén th H111 re 8 Chương 3._ PHƯƠNG PHAP ĐÈ XUẤTT. Tổng quan phương pháp đề xuất. Phương pháp cơ sở HOTTR. Mô-đun Semantic-Guided.
Mô-đun Multi-Level Cross-Atfention. Mô-đun Enhanced Instance Pointers. Mô-đun Cross-Attention Semantic Queries. Bộ dữ liệu.
Bộ dữ liệu V-COCO. Bộ dữ liệu HICO-DET. Intersection over Union (IOU). Recall va Precision.
True Positive trong bai toán phat diện tương tac người vật. Cài đặt chỉ tiẾt. Các kết quả chính 4. Phân tích kết quả trực quan hóa.- 2-©+++22E++zt22EE++tttrrszrrrrrxee 42 4.
Nghiên cứu tac động của từng mô-đun. Enhanced Instance Pointers (EIP). Semantic-guided mechanism (S). Multi-level cross-attention (MCA).- «7c Set 47 Chương 5.
KET LUẬN VÀ HƯỚNG PHAT TRIEN. Hướng phát triển. crre49 PHỤ LỤC CÔNG TRÌNH NGHIÊN CỨU. Phụ lục 1: Toàn văn bài báo của nhóm tác giả tại tạp chí Pattern Recognition Letters (2023) (Dang phản biện round 2) .--- - + 5+5 S++x‡x+keEtrerrkrkererrrre 1 Phụ lục 2: Toàn văn bài báo của nhóm tác giả tại hội nghị MAPR 2023 (Đã Cu ốc cố ẦỐ.
10 DANH MỤC CÔNG TRINH CUA NHÓM TÁC GIA .-------- 1 TÀI LIEU THAM KHẢO.- 5< seVVE++sEEEYxeeetrvvseeerrvesrrrrrsssrrrre 2 xii DANH MỤC HÌNH 55 Hình 1-1: Minh hoa đầu vào và dau ra của bài toán. 3 Hình 2-1: Kết quả tác vụ phát hiện đối tượng bằng FasterRCNN. Hình ảnh được lay từ bộ dữ liệu HICO-DET. 9 Hình 2-2: Hình ảnh của một vận động viên được phủ bản đồ điểm đặc trưng của con người, minh hoạ quy trình các thuật toán tao ra tư thế.---‹s- 11 Hình 2-3: Mau dit liệu từ bộ HICO-DET.ccscccsssessssessssecssseesssecsssecssseessseesssnecsses 13 Hình 2-4: Định nghĩa bài toán.
Mẫu dữ liệu lấy từ bộ HICO-DET. 14 Hình 2-5: Các cột mốc quan trọng trong lĩnh vực nghiên cứu phát hiện HOI. I5 Hình 3-1: Tổng quan phương pháp dé xuất.22:222222+z+2222S+ervcvvrrcrrx 23 Hình 3-2: Tổng quan kiến trúc phương pháp baseline HOTR.---- 24 Hình 3-3: Minh họa khái niệm cách con trỏ HO liên kết các biểu diễn tương tác với các biểu điễn thể hiện. ccrrr 26 Hình 3-4: Minh hoạ kiến trúc của 3 mô dun SG, MCA và EIP.----:szcc5s¿ 28 Hình 3-5: Minh hoạ kiến trúc của mô đun ©9900.
31 Hình 4-1: Một số hình ảnh trong bộ dữ liệu V-COCO.- c++scvxseexsxser+ 34 Hình 4-2: Một số hình ảnh trong bộ dữ liệu HICO-DETT.---+-+-s+<+<+++ 36 Hình 4-3: Minh họa cách tính IoU.- ¿c2 S22 S232 S28 *£t££E£t£EeEeEexeeveeeexeexex 37 Hình 4-4: Trực quan hoá kết quả của 3 mô-đun EIP, SG và MCA trên bộ dữ liệu V- COCO, we. 43 Hinh 4-5: Truc quan hoa két quả của 3 mô-đun EIP, SG va MCA trên bộ dữ liệu l0i99095a00ĐẺ. 44 Hinh 4-6: Truc quan hoa két qua của riêng mô-đun CASQ trên mẫu đữ liệu từ bộ dữ I0 0909000008086. 45 xiii DANH MỤC BANG ose Bang 2-1: Tom tắt thuộc tính của các bộ dữ liệu.-- ¿+ t+x+EvEeEztsxerererxsed 20 Bảng 4-1: Bảng so sánh hiệu suất của mô hình trên bộ dit liệu V-COCO.
39 Bảng 4-2: Bảng so sánh hiệu suất của mô hình trên bộ dữ liệu HICO-DETT. 40 Bảng 4-3: Tác động của từng mô-đun trong phương pháp HOST trên tập V-COCO | >) OP c tđd. 46 Bảng 4-4: Kết quả thử nghiệm áp dụng EIP với số lớp giải mã tương tác khác nhau trên tập V-COCO test S€K. Gà HH TH HH HH HH HH 47 Bang 4-5: Kết quả thử nghiệm áp dung MCA với số lượng lớp mã hóa khác nhau.48 DANH MỤC TỪ VIET TAT Từ viết tắt Từ nguyên gốc AP Average PrecIsion mAP mean Average Precision COCO Common Objects in Context FFN Feed-Forward Network GPU Graphical Processing Unit HOI Human-Object Interaction IOU/ IoU Intersection Over Union mAP mean Average Precision NLP Natural Language Processing RPN Region Proposal Network SOTA State of The Art VinVL Visual Representations in Vision-Language Models XV TÓM TẮT KHÓA LUẬN Trong lĩnh vực thị giác máy tính, mục tiêu quan trọng là phát triển các mô hình hiểu được thế giới hình ảnh phong phú xung quanh và nhận diện các hoạt động đa dạng bên trong đó.
Tuy nhiên, hầu hết các tiến bộ trong lĩnh vực này tập trung vào việc sử dụng đặc trưng thị giác dé huấn luyện các mô hình, thường bỏ qua giá trị của thông tin ngữ nghĩa. Trong luận văn này, chúng tôi tập trung phát triên mô hình dành cho bài toán phát hiện tương tác giữa người và đối tượng, tên gọi là HOST (Human-Object Semantic Transformer). Chúng tôi chứng minh răng thông tin ngữ nghĩa (vi dụ từ nhãn đối tượng) có thé cung cấp các tiên đề thông tin hữu ích cho việc tìm kiếm các đối tượng tham gia tương tác và nhận diện tương tác. Đề đánh giá hiệu quả của mô hình cải tiễn, chúng tôi đã thực nghiệm trên hai bộ dữ liệu HOI tiêu chuẩn mạnh mẽ nhất hiện nay, bao gồm V-COCO và HICO-DET.
Kết quả thực nghiệm cho thấy mô hình của chúng tôi cải thiện đáng kể độ chính xác của việc phát hiện hành động và các đối tượng liên quan trong hình ảnh, đồng thời cũng cải thiện khả năng phân loại hành động tương tác giữa các đối tượng. Chúng tôi đã cải thiện độ chính xác trên bài toán này dựa theo hướng tiếp cận phát hiện đối tượng và vật thé đồng thời, dựa trên mô hình co sở có tên HOTR. Chúng tôi đã đề xuất các mô-đun tích hợp mới, có tên Semantic-Guided (SG), Multi-Level Cross-Attention (MCA), Enhanced Instance Pointers (EIP) va Cross Attention Semantic Queries (CASQ), giúp tận dụng thông tin từ nhãn và mối quan hệ giữa các đối tượng và hành động chính xác hơn. Mục tiêu phụ của luận văn này là xây dựng HOST như một kiến trúc phát hiện tương tác người-đối tượng thống nhất, sử dụng duy nhất một kiến trúc transformer, nhưng vẫn tận dụng hết các thông tin giá trị từ lớp mã hóa cấp thấp và thông tin ngữ nghĩa từ nhãn vật thể và tương tác.
Các mô-đun đề xuất của chúng tôi vượt qua các phương pháp phát hiện HOI tiên tiến nhất và giúp tăng cường sự hiểu biết hình ảnh về các hoạt động con người phong phú trong thé giới xung quanh. Động lực nghiên cứu Phát hiện tương tác người — đối tượng (Human-Object Interaction detection) là một bài toán nghiên cứu quan trọng trong lĩnh vực thị giác máy tính và học máy. Động lực lớn nhất cho việc nghiên cứu bai toán này là tiềm năng ứng dụng rộng rãi của các ứng dụng liên quan đến tương tác con người - đối tượng, chăng hạn như trong các lĩnh vực như xe tự hành, thị giác máy tính, robot hợp tác con người và các ứng dụng AI khác. Phạm vi ứng dụng trên có được là nhờ việc phát hiện và phân tích tương tác giữa con người và đối tượng trong hình ảnh có thé cung cấp thông tin quan trọng về hành động và mối quan hệ giữa các đối tượng trong một tình huống.
Trong những năm gần đây đã có nhiều nghiên cứu có gắng tăng hiệu suất của bài toán này. Mục tiêu là tìm một phương pháp tối ưu đề phát hiện và phân tích tương tác giữa con người và đối tượng trong hình ảnh, đồng thời giải quyết được các thách thức về tính phức tạp của các tương tác này. Một số phương pháp tiếp cận nổi bật bao gồm việc sử dụng các mô hình tổng hợp thông tin dé xử ly các mối quan hệ phức tạp giữa con người và đối tượng, sử dụng các mô hình chú ý (attention) để tập trung vào các vùng quan trọng của hình ảnh và các tương tác có liên quan, và sử dụng các mô hình đa nhiệm dé đồng thời giải quyết các bài toán khác nhau liên quan đến thị giác máy tính. Tuy nhiên, vẫn còn nhiều thách thức cần được giải quyết để đạt được kết quả phát hiện HOI chính xác và đáng tin cậy, như việc cải thiện khả năng xử lý các tương tác phức tạp giữa nhiều con người và đối tượng, hay tương tác phong phú giữa nhiều con người và đối tượng trong một hình ảnh.
Tuy nhiên, các nghiên cứu phát hiện HOI gần đây trên bài toán này đã đạt được một bước tiến lớn với sự ra đời của mô hình HOI Transformer (HOTR). HOTR là một mô hình phát hiện HOI dựa trên kiến trúc transformer, giúp giải quyết được các thách thức về tương tác phức tạp giữa con người và đối tượng trong hình ảnh. HOTR sử dụng kiên trúc transformer đê tìm kiêm các môi quan hệ phức tạp giữa các đôi tượng trong hình ảnh và xác định các tương tác giữa con người và đối tượng. Mô hình này có khả năng tự động học được các mối quan hệ phức tạp giữa các đối tượng và tương tác giữa con người và đối tượng thông qua một cơ chế tự chú ý (self-attention) và cơ chế chú ý chéo (cross-attention) giữa các đối tượng và con người.
HOTR đã đạt được kết quả tốt hơn so với các phương pháp trước đó trên các tập dữ liệu phố biến, nhưng vẫn còn một số thách thức cần được giải quyết, như tăng cường khả năng xử lý các tương tác phức tạp giữa nhiều con người và đối tượng, và cải thiện khả năng tự học và tự động điều chỉnh của mô hình. Ngoài ra, các bộ dữ liệu hiện có cho bai toán phát hiện HOI cũng đang được phat triển và cung cấp một nguồn tài nguyên quan trọng dé huấn luyện và đánh giá các phương pháp phát hiện HOI. Các bộ dữ liệu như HICO-DET, V-COCO và HOI-A đã được công bố và sử dụng rộng rãi trong các nghiên cứu liên quan đến phát hiện HOI. Năm bắt được xu hướng nghiên cứu và nhận thấy tiềm năng của bài toán cho lĩnh vực phát hiện HOI trong tương lai, chúng tôi quyết định lựa chọn bài toán này dé tìm hiểu, nghiên cứu và thực hiện khóa luận tốt nghiệp, với mục tiêu sẽ khảo sát và tìm ra các cách tiếp cận tốt hơn tận dụng các đặc trưng ngữ nghĩa cũng như mối quan hệ giữa các đối tượng và hành động, và mong muôn sẽ đạt được kết qua state-of-the-art trên bài toán này.