Bối cảnh và vấn đề nghiên cứu

Phát hiện tương tác giữa con người và đối tượng (Human-Object Interaction Detection - HOI Detection) là một bài toán nền tảng trong lĩnh vực Thị giác máy tính (Computer Vision) và Học máy. Nhiệm vụ chính của bài toán là hiểu nội dung ngữ nghĩa của hình ảnh ở mức độ sâu hơn so với nhận dạng đơn thuần, thông qua việc xác định đồng thời vị trí của con người, vị trí và nhãn của vật thể, cũng như các hành động/mối tương quan thị giác giữa người và vật thể đó. Bối cảnh thực tiễn của nghiên cứu xuất phát từ nhu cầu ứng dụng công nghệ hiểu ngữ cảnh trực quan trong các hệ thống thông minh như xe tự hành, tương tác robot - người, giám sát an ninh và các hệ thống trí tuệ nhân tạo tương tác.

Thách thức của bài toán HOI phát sinh từ bản chất đa dạng và phức tạp của bối cảnh thực tế:

  1. Tính đa dạng của đối tượng: Hành động có thể diễn ra giữa con người với nhiều loại thực thể khác nhau; kích thước vật thể có thể rất nhỏ hoặc bị che khuất một phần trong quá trình tương tác.
  2. Tính đa dạng của tương tác: Tương tác có thể diễn ra trực tiếp hoặc gián tiếp, nhiều người cùng thực hiện một tương tác, một người tương tác đồng thời với nhiều vật thể (ví dụ: vừa ngồi ghế vừa gõ bàn phím), hoặc nhiều người cùng chia sẻ một tương tác với một vật thể.
  3. Tính phức tạp về không gian và thời gian: Tương tác có thể diễn ra ở các vị trí giải phẫu cơ thể khác nhau hoặc các tọa độ không gian biến đổi.
  4. Sự khác biệt giữa ngữ cảnh và tình huống: Mô hình cần năng lực tự thích ứng và phân biệt hành vi theo ngữ cảnh trực quan đa dạng.

Bài toán tổng quát bao gồm bốn tác vụ con: Phát hiện đối tượng (Object Detection), Phân loại hành động (Action Classification), Phát hiện tương tác (Interaction Detection) và Phân loại loại tương tác (Interaction Classification).

Mục tiêu nghiên cứu (được xác định cụ thể trong đề tài):

  1. Khảo sát và đánh giá hệ thống các phương pháp phát hiện tương tác người - vật hiện có, trọng tâm là các mô hình đầu-cuối (end-to-end) dựa trên Transformer.
  2. Tìm hiểu chi tiết phương pháp cơ sở HOTR (Human-Object Transformer).
  3. Đề xuất kiến trúc Transformer thống nhất mang tên HOST (Human-Object Semantic Transformer) nhằm khắc phục các hạn chế của HOTR, thông qua việc tích hợp 04 cơ chế cải tiến:
    • Tận dụng đặc trưng ngữ nghĩa từ nhãn đối tượng (Semantic Feature).
    • Tận dụng đặc trưng đa tầng trừu tượng từ bộ mã hóa (Multi-Level Encoder Features).
    • Nâng cao khả năng biểu diễn và so khớp thể hiện vật thể (Instance Representation / Instance Pointers).
    • Khởi tạo truy vấn tương tác riêng biệt có định hướng ngữ nghĩa cho từng hình ảnh (Cross-Attention Semantic Queries).
  4. Thực nghiệm, đối sánh và phân tích định lượng mô hình đề xuất trên hai bộ dữ liệu tiêu chuẩn là V-COCO và HICO-DET.
  5. Xây dựng chương trình ứng dụng minh họa nhận diện HOI trên nền tảng di động.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Các giải thuật học sâu cho bài toán phát hiện HOI; kiến trúc Transformer cho thị giác máy tính; cơ chế nhúng ngữ nghĩa (semantic embedding) và cơ chế chú ý chéo (cross-attention).
  • Phạm vi dữ liệu: Dữ liệu ảnh tĩnh từ hai tập dữ liệu benchmark chuẩn là V-COCO (Verbs in COCO) và HICO-DET.
  • Phạm vi thời gian thực hiện: Từ ngày 20/02/2023 đến ngày 26/06/2023.

Cơ sở lý thuyết và phương pháp

Khung lý thuyết và mô hình nền tảng

  • Mô hình hóa toán học bài toán HOI: Với một ảnh đầu vào $I$, mô hình cần dự đoán một tập hợp các bộ ba $(h_i, o_i, i_t)$, trong đó:
    • $h_i = {b_h}$: Thể hiện của người, xác định bởi hộp giới hạn (bounding box) $b_h \in \mathbb{R}^4$.
    • $o_i = {b_o, y_o}$: Thể hiện của đối tượng, gồm hộp giới hạn $b_o \in \mathbb{R}^4$ và nhãn phân lớp $y_o \in \mathcal{O} = {c_1, c_2, \dots, c_N}$.
    • $i_t \in \mathcal{A} = {a_1, a_2, \dots, a_M}$: Nhãn phân loại hành động tương tác giữa người và vật thể.
    • Tọa độ hộp giới hạn được chuẩn hóa dưới dạng $[x, y, w, h]$ với $x, y, w, h \in [0, 1]$.
  • Kiến trúc Transformer trong Thị giác máy tính: Cơ chế Self-Attention và Cross-Attention (Vaswani et al.), mô hình phát hiện đối tượng DETR (Carion et al.).
  • Mô hình cơ sở HOTR (Kim et al.): Mạng trích xuất đặc trưng tích chập (CNN Backbone ResNet-50) kết hợp với bộ mã hóa (Transformer Encoder) để tạo không gian ẩn toàn cục $Z$, sau đó sử dụng hai bộ giải mã song song gồm Instance Decoder (dự đoán hộp giới hạn và phân lớp thể hiện $R_{inst}$) và Interaction Decoder (dự đoán tương tác $R_{intr}$ và sinh các con trỏ HO Pointer $H, O$ để liên kết tương tác với thể hiện).
  • Mô hình nhúng ngữ nghĩa hỗ trợ: Mô hình tiền huấn luyện VinVL (trích xuất đặc trưng thể hiện), mô hình ngôn ngữ FastText (chuyển đổi nhãn lớp sang không gian vector) và mô hình đa phương thức CLIP (tạo nhúng ngữ nghĩa từ nhãn có độ tin cậy cao).

Phương pháp nghiên cứu

Khóa luận sử dụng phương pháp nghiên cứu thực nghiệm kết hợp thiết kế - tối ưu hóa kiến trúc mạng nơ-ron sâu:

  1. Phân tích lý thuyết và mô hình hóa các luồng thông tin trong kiến trúc Transformer giải bài toán HOI.
  2. Thiết kế và tích hợp 04 mô-đun mới (SG, MCA, EIP, CASQ) vào framework HOTR cơ sở.
  3. Đánh giá thực nghiệm định lượng trên các tập kiểm thử chuẩn theo quy trình đánh giá chuẩn mực của bài toán HOI.

Nguồn dữ liệu và độ đo đánh giá

  • Nguồn dữ liệu:
    • V-COCO: 10.346 ảnh huấn luyện/xác thực và 4.915 ảnh kiểm thử; gán nhãn 26 lớp hành động trên 80 lớp đối tượng nền tảng của MS-COCO.
    • HICO-DET: 47.776 ảnh; bao gồm 600 lớp tương tác HOI tạo thành từ 117 hành động và 80 danh mục đối tượng, có gán nhãn chi tiết ở cấp độ thể hiện (instance-level).
  • Độ đo đánh giá:
    • Intersection over Union (IoU): Đánh giá độ trùng khớp không gian giữa hộp dự đoán và hộp nhãn thực (ngưỡng chuẩn $IoU \ge 0.5$).
    • Mean Average Precision (mAP): Độ chính xác trung bình trên các lớp tương tác. Trên V-COCO đánh giá theo hai kịch bản: $AP_{agent}$ (nhận diện tác nhân thực hiện hành động) và $AP_{role}$ (nhận diện đầy đủ tác nhân và vai trò đối tượng). Trên HICO-DET đánh giá theo thiết lập Default và Known Object.
Bộ dữ liệu Số lượng ảnh Số lớp tương tác Số lớp đối tượng Cấp độ gán nhãn
HICO 47.774 600 80 Image-level
HICO-DET 47.776 600 80 Instance-level
V-COCO 10.346 26 80 Instance-level
HCVRD 52.855 927 1.824 Instance-level

Nội dung chính theo từng chương

Chương 1. Động lực nghiên cứu

Chương 1 thiết lập nền tảng khoa học của đề tài. Tác giả phân tích tính tất yếu của việc mở rộng khả năng hiểu ngữ nghĩa hình ảnh từ nhận thức sơ cấp (phân loại, phát hiện vị trí) sang hiểu tương quan hành vi cấp cao (HOI). Khóa luận làm rõ phát biểu bài toán dưới dạng dự đoán tập hợp bộ ba $(h_i, o_i, i_t)$, phân tích chi tiết bốn thách thức cốt lõi (tính đa dạng đối tượng, tính đa dạng tương tác, tính phức tạp không-thời gian, sự phụ thuộc ngữ cảnh), đồng thời xác định rõ mục tiêu, phạm vi và bố cục 5 chương của công trình.

Chương 2. Các nghiên cứu liên quan

Chương 2 cung cấp bức tranh tổng quan toàn diện về tiến trình phát triển của các bài toán nhận thức thị giác và hiểu thị giác:

  • Các bài toán Nhận thức thị giác (Visual Perception): Khảo sát bài toán Phân loại hình ảnh (Image Classification), bài toán Phát hiện đối tượng (Object Detection với mô hình hai giai đoạn như họ R-CNN, Faster R-CNN và một giai đoạn như SSD, họ YOLO), bài toán Ước lượng tư thế người (Human Pose Estimation dựa trên hồi quy tọa độ hoặc bản đồ nhiệt heatmap).
  • Các bài toán Hiểu thị giác (Visual Understanding): Phân tích bài toán Phát hiện tương quan thị giác tổng quát (Visual Relationship Detection dạng <subject, predicate, object>) và bài toán HOI.
  • Phân loại các hướng tiếp cận HOI:
    1. Mô hình hai giai đoạn tuần tự (Sequential): Tách biệt bước phát hiện đối tượng (Faster R-CNN) và bước phân loại tương tác; linh hoạt nhưng tốn chi phí tính toán và sinh nhiều cặp ứng viên dư thừa.
    2. Mô hình một giai đoạn song song (Parallel): Dự đoán đồng thời hộp giới hạn và điểm tương tác qua các nhánh song song rồi so khớp; tốc độ cao hơn nhưng dễ thiếu tối ưu liên kết.
    3. Mô hình dựa trên Transformer (Transformer-based): Sử dụng cơ chế dự đoán tập hợp (set prediction) trực tiếp qua Encoder-Decoder (như HOTR), loại bỏ hậu xử lý phức tạp.
  • Hệ thống dữ liệu và độ đo chuẩn: Phân tích chi tiết các bộ dữ liệu HICO, HICO-DET, V-COCO, HCVRD, UnRel cùng quy chuẩn tính mAP, IoU, Precision, Recall và True Positive trong bài toán HOI.

Chương 3. Phương pháp đề xuất

Chương 3 trình bày chi tiết cấu trúc kiến trúc của mô hình HOST (Human-Object Semantic Transformer) được xây dựng trên nền tảng HOTR với 04 mô-đun cải tiến:

[Ảnh đầu vào I] --> [CNN Backbone ResNet-50] --> [Đặc trưng F]
                                                         |
                   +-------------------------------------+
                   |
                   v
      [Mô-đun Semantic-Guided (SG)] <--- [Nhúng ngữ nghĩa FastText/VinVL]
                   |
                   v
   [Mô-đun Multi-Level Cross-Attention (MCA)] (α = 0.7)
                   |
                   +-------------------+-------------------+
                   |                                       |
                   v                                       v
        [Instance Decoder]                        [Interaction Decoder]
         (Truy vấn W_inst)                         (Truy vấn W_intr)
                   |                                       |
                   +---> [Phân loại C_inst]                |
                   +---> [Hộp bao B_inst]                  |
                   |                                       |
                   +---> [Mô-đun CASQ (CLIP)] ------------>+
                   |                                       |
                   +-------------------+-------------------+
                                       |
                                       v
                    [Mô-đun Enhanced Instance Pointers (EIP)]
                                       |
                                       v
                      [Tập dự đoán bộ ba <h, o, i>]
  1. Phương pháp cơ sở HOTR: Trích xuất đặc trưng ảnh $F = \text{FeatureExtractor}(I)$ qua ResNet-50, đưa qua Transformer Encoder thành $Z = \text{TransformerEncoder}(F)$. Hai bộ giải mã độc lập sinh biểu diễn thể hiện $R_{inst} = \text{InstanceDecoder}(Z, W_{inst})$ và biểu diễn tương tác $R_{intr} = \text{InteractionDecoder}(Z, W_{intr})$. Từ đó các mạng FFN dự đoán hộp bao $B_{inst}$, lớp $C_{inst}$, phân lớp tương tác $I_{intr}$ và con trỏ $P_{human}, P_{object}$.
  2. Mô-đun Semantic-Guided (SG): Sử dụng VinVL và FastText để chuyển đổi nhãn đối tượng thành vector ngữ nghĩa $S$. Bộ mã hóa xử lý song song luồng trực quan $V$ và luồng ngữ nghĩa $S$ trong $M-1$ tầng đầu: $$Y_i = \text{EncoderLayer}i(S) \quad (\text{với } i < M)$$ $$Z_i = \text{EncoderLayer}i(Z{i-1} + Y{M-1}) \quad (\text{với } i = M)$$ Đầu ra kết hợp tại tầng cuối cùng: $Z_D = Z_{N-1} + Z_{M-1} + Y_{M-1}$.
  3. Mô-đun Multi-Level Cross-Attention (MCA): Kết hợp các tầng mã hóa cấp cao với các tầng cấp thấp thông qua cơ chế chú ý chéo với siêu tham số điều khiển $\alpha = 0.7$: $$Q = W^Q \times Z_i, \quad K = W^K \times Z_{i-1}, \quad V = W^V \times Z_{i-1}$$ $$\hat{Z}_i = \alpha \times \text{softmax}\left(\frac{Q K^T}{\sqrt{d_k}}\right)V + (1 - \alpha) \times Z_i$$
  4. Mô-đun Enhanced Instance Pointers (EIP): Khắc phục việc chỉ so khớp ở tầng giải mã cuối cùng bằng cách tính độ tương đồng cosin trung bình trên $N$ tầng giải mã thể hiện: $$\overline{sim}^h = \frac{1}{N}\sum_{x=1}^{N} sim(v^h, u_j^{(x)}), \quad \overline{sim}^o = \frac{1}{N}\sum_{x=1}^{N} sim(v^o, u_j^{(x)})$$ $$c^h = \arg\max(\overline{sim}^h), \quad c^o = \arg\max(\overline{sim}^o)$$
  5. Mô-đun Cross-Attention Semantic Queries (CASQ): Lấy $N$ dự đoán phân lớp đối tượng có độ tin cậy cao nhất từ Instance Decoder, đưa qua mô hình CLIP để tạo nhúng từ $TE_{inst}$, sau đó thực hiện chú ý chéo với truy vấn tương tác ban đầu $W_{intr}$: $$W_{intr}' = \alpha \times \text{softmax}\left(\frac{(W^Q TE_{inst})(W^K W_{intr})^T}{\sqrt{d_k}}\right)(W^V W_{intr}) + (1 - \alpha) \times W_{intr}$$

Chương 4. Kết quả thực nghiệm

Chương 4 trình bày toàn bộ quy trình kiểm chứng thực nghiệm:

  • Thiết lập thực nghiệm: Sử dụng mạng xương sống ResNet-50, huấn luyện và đánh giá trên hai bộ dữ liệu V-COCO và HICO-DET.
  • Phân tích định lượng và so sánh: Đánh giá hiệu quả tổng thể của mô hình HOST so với mô hình cơ sở HOTR và các phương pháp SOTA.
  • Nghiên cứu triệt tiêu (Ablation Study):
    • Khảo sát sự đóng góp độc lập và kết hợp của từng mô-đun (EIP, SG, MCA, CASQ).
    • Khảo sát số lượng tầng giải mã tương tác tối ưu khi áp dụng EIP trên tập V-COCO test.
    • Khảo sát số lượng tầng mã hóa tối ưu tham gia vào cơ chế MCA.
  • Phân tích định tính (Trực quan hóa): Trực quan hóa bản đồ chú ý và các dự đoán bộ ba thực tế của các mô-đun EIP, SG, MCA, CASQ trên các mẫu ảnh phức tạp từ V-COCO và HICO-DET.

Chương 5. Kết luận và hướng phát triển

Chương 5 đúc kết lại các mục tiêu nghiên cứu đã hoàn thành của khóa luận, xác nhận tính đúng đắn của việc khai thác đặc trưng ngữ nghĩa và cấu trúc đa tầng trong Transformer cho bài toán HOI, đồng thời đề xuất các hướng mở rộng kỹ thuật trong tương lai.

Kết quả và đóng góp

Đóng góp khoa học và kỹ thuật

  1. Đề xuất kiến trúc HOST hoàn chỉnh: Xây dựng thành công một framework Transformer thống nhất, tích hợp sâu thông tin ngữ nghĩa nhãn lớp và đặc trưng đa tầng trừu tượng mà không làm mất đi tính nguyên bản của kiến trúc end-to-end.
  2. Thiết kế 04 mô-đun chuyên biệt:
    • Semantic-Guided (SG): Khai thác triệt để tri thức ngữ nghĩa từ nhãn đối tượng hỗ trợ quá trình trích xuất đặc trưng.
    • Multi-Level Cross-Attention (MCA): Tận dụng thông tin phong phú từ các tầng mã hóa cấp thấp để làm giàu đặc trưng tầng cao.
    • Enhanced Instance Pointers (EIP): Tăng độ chính xác liên kết giữa biểu diễn tương tác và biểu diễn thể hiện thông qua trung bình tương đồng đa tầng giải mã.
    • Cross-Attention Semantic Queries (CASQ): Khởi tạo các truy vấn tương tác động, mang tính thích ứng theo từng mẫu ảnh dựa trên nhúng ngữ nghĩa CLIP.
  3. Công bố khoa học từ kết quả đề tài:
    • 01 bài báo toàn văn nộp tại tạp chí quốc tế Pattern Recognition Letters (đang trong quá trình phản biện vòng 2).
    • 01 bài báo toàn văn đã được chấp nhận và công bố tại Hội nghị quốc tế MAPR 2023 (International Conference on Multimedia Analysis and Pattern Recognition).
  4. Sản phẩm ứng dụng: Xây dựng hoàn chỉnh chương trình ứng dụng minh họa trên nền tảng thiết bị di động, cho phép nhận ảnh tĩnh và hiển thị trực quan các bộ ba phát hiện HOI.
Mô-đun đề xuất Vai trò kỹ thuật chính Công nghệ / Mô hình hỗ trợ
SG (Semantic-Guided) Kết hợp nhúng ngữ nghĩa nhãn lớp vào bộ mã hóa thị giác VinVL, FastText
MCA (Multi-Level Cross-Attention) Hợp nhất thông tin đặc trưng đa tầng trừu tượng từ Encoder Cross Self-Attention ($\alpha = 0.7$)
EIP (Enhanced Instance Pointers) So khớp con trỏ HO dựa trên trung bình độ tương đồng đa tầng Decoder Cosine Similarity đa tầng
CASQ (Cross-Attention Semantic Queries) Tạo truy vấn tương tác thích ứng riêng biệt cho từng ảnh suy luận CLIP, Softmax confidence ranking

Hạn chế và hướng nghiên cứu tiếp

Dựa trên nội dung được tác giả trình bày trong luận văn, các hạn chế hiện tại và hướng mở rộng nghiên cứu bao gồm:

Hạn chế

  • Mô hình phụ thuộc vào chất lượng của các mô hình tiền huấn luyện bên ngoài (như VinVL, FastText, CLIP) trong việc tạo vector nhúng ngữ nghĩa; độ trễ suy luận có thể bị ảnh hưởng khi kết hợp nhiều mô hình trích xuất.
  • Thời gian thực hiện khóa luận có giới hạn (khoảng 4 tháng), chưa kịp thử nghiệm mở rộng trên các mô hình mạng xương sống (backbone) lớn hơn ngoài ResNet-50 hoặc các bộ dữ liệu tương tác không gian mở rộng (như HCVRD, UnRel).

Hướng nghiên cứu tiếp

  1. Khảo sát và tối ưu hóa các cơ chế kết hợp ngữ nghĩa nhẹ hơn để giảm thiểu chi phí tính toán trong giai đoạn tiền xử lý nhãn.
  2. Mở rộng đánh giá mô hình HOST trên các bài toán học mở rộng như Zero-Shot HOI Detection (phát hiện các tương tác chưa từng xuất hiện trong tập huấn luyện) hoặc Weakly-Supervised HOI Detection.
  3. Tích hợp sâu hơn thông tin tư thế người (Human Pose Keypoints) vào luồng chú ý ngữ nghĩa để nâng cao độ chính xác ở các hành động đòi hỏi sự phân biệt chi tiết các bộ phận cơ thể.

Giá trị tham khảo

Tài liệu khóa luận có giá trị tham khảo chuyên môn cao đối với:

  • Sinh viên, học viên cao học ngành Khoa học Máy tính, Trí tuệ Nhân tạo và Thị giác Máy tính: Cung cấp tài liệu tổng quan toàn diện về tiến trình nghiên cứu bài toán HOI từ các mô hình CNN cổ điển đến các kiến trúc Transformer hiện đại.
  • Nhà nghiên cứu phát triển mô hình dựa trên Transformer: Chương 3 là tài liệu tham khảo chi tiết về kỹ thuật can thiệp vào không gian tiềm ẩn (latent space), kỹ thuật kết hợp luồng đa phương thức (Vision-Language Fusion) và phương pháp tối ưu hóa cơ chế truy vấn (query mechanism) cùng con trỏ liên kết (instance pointers).
  • Kỹ sư phát triển ứng dụng AI: Phần quy trình tiền xử lý, định dạng nhãn dữ liệu chuẩn (V-COCO, HICO-DET) và thiết lập môi trường thực nghiệm là nguồn chỉ dẫn thực hành rõ ràng cho các bài toán phát hiện hành vi và phân tích ngữ cảnh hình ảnh.

Câu hỏi thường gặp

1. Đầu vào và đầu ra của bài toán phát hiện tương tác người - đối tượng (HOI) trong khóa luận được định nghĩa như thế nào?

Trả lời: Đầu vào của bài toán là một bức ảnh tĩnh $I$ chứa một hoặc nhiều người đang tương tác với một hoặc nhiều vật thể. Đầu ra là một tập hợp các bộ ba $(h_i, o_i, i_t)$, trong đó $h_i = {b_h}$ biểu thị hộp giới hạn của người, $o_i = {b_o, y_o}$ biểu thị hộp giới hạn và phân lớp của vật thể tham gia tương tác, và $i_t \in \mathcal{A}$ biểu thị nhãn phân lớp của hành động tương tác.

2. Mô hình cơ sở HOTR gặp phải những hạn chế cụ thể nào khiến nhóm tác giả đề xuất mô hình HOST?

Trả lời: HOTR chỉ tập trung sử dụng đặc trưng thị giác mà bỏ qua giá trị của thông tin ngữ nghĩa từ nhãn; việc kết hợp đặc trưng có thể làm tăng độ phức tạp của output embedding khiến mô hình bỏ qua thông tin giá trị ở các tầng mã hóa cấp thấp; cơ chế con trỏ HO Pointer chỉ dựa vào tầng giải mã cuối cùng của Instance Decoder nên chưa tối ưu khả năng so khớp; và hai bộ giải mã (Instance Decoder và Interaction Decoder) hoạt động độc lập, chưa chia sẻ thông tin ngữ nghĩa để khởi tạo truy vấn tương tác tối ưu cho từng ảnh.

3. Mô-đun Semantic-Guided (SG) đưa thông tin ngữ nghĩa vào bộ mã hóa như thế nào?

Trả lời: Mô-đun SG sử dụng mô hình VinVL để trích xuất phân lớp đối tượng dự đoán, sau đó dùng FastText chuyển đổi thành vector nhúng ngữ nghĩa $S$. Trong $M-1$ tầng đầu của bộ mã hóa, mô hình xử lý song song luồng trực quan $V$ và luồng ngữ nghĩa $S$. Trước khi đưa vào tầng thứ $M$, đầu ra của hai luồng được cộng lại ($Z_{i-1} + Y_{M-1}$), giúp bộ mã hóa tích hợp được mối quan hệ giữa nhãn đối tượng và hành động.

4. Cơ chế Enhanced Instance Pointers (EIP) cải tiến điểm gì so với con trỏ HO Pointer truyền thống trong HOTR?

Trả lời: Trong HOTR gốc, con trỏ HO chỉ tính toán độ tương đồng với biểu diễn thể hiện ở tầng giải mã cuối cùng của Instance Decoder. EIP cải tiến bằng cách tính độ tương đồng cosin trung bình giữa vector đặc trưng tương tác với biểu diễn thể hiện qua $N$ tầng giải mã khác nhau ($\overline{sim} = \frac{1}{N}\sum_{x=1}^N sim(v, u^{(x)})$), từ đó tích hợp thông tin ở nhiều cấp độ trừu tượng khác nhau để xác định chỉ số con trỏ chính xác hơn.

5. Mô-đun CASQ sử dụng mô hình CLIP cho mục đích gì trong giai đoạn suy luận?

Trả lời: Sau khi Instance Decoder dự đoán phân lớp đối tượng, mô-đun CASQ chọn ra $N$ dự đoán có điểm tin cậy cao nhất và dùng mô hình CLIP để chuyển đổi các nhãn này thành vector nhúng từ $TE_{inst}$. Sau đó, CASQ thực hiện cơ chế chú ý chéo giữa $TE_{inst}$ và truy vấn tương tác ban đầu $W_{intr}$ (kết hợp qua tham số cân bằng $\alpha$), giúp tạo ra các truy vấn tương tác động mang thông tin ngữ nghĩa riêng biệt cho từng hình ảnh đầu vào.

Kết luận

Khóa luận tốt nghiệp của sinh viên Lê Việt Thịnh và Văn Nguyễn Ngọc Huyền đã giải quyết trọn vẹn bài toán phát hiện tương tác người - đối tượng thông qua việc đề xuất kiến trúc HOST dựa trên Transformer thống nhất. Bằng cách tích hợp bốn mô-đun cải tiến có cơ sở toán học chặt chẽ gồm Semantic-Guided, Multi-Level Cross-Attention, Enhanced Instance Pointers và Cross-Attention Semantic Queries, mô hình đã khai thác hiệu quả mối liên kết giữa đặc trưng thị giác và ngữ nghĩa nhãn lớp. Đề tài được bảo chứng học thuật vững chắc qua các thực nghiệm trên hai bộ dữ liệu chuẩn V-COCO, HICO-DET cùng 02 công bố khoa học tại tạp chí và hội nghị chuyên ngành uy tín.