Giới thiệu dự án
Thị giác máy tính (Computer Vision) đang chứng kiến bước chuyển dịch từ bài toán nhận thức thị giác cơ bản (Visual Perception) sang bài toán hiểu ngữ cảnh thị giác cấp cao (Visual Understanding). Trong bức tranh công nghệ toàn cầu, các hệ thống xe tự hành cấp độ 4/5 (Level 4/5 Autonomous Driving), robot cộng tác công nghiệp (Cobots) và hệ thống giám sát an ninh thông minh (Smart Surveillance) đòi hỏi khả năng nhận biết tương tác theo thời gian thực với độ chính xác cao. Theo các khảo sát thị trường từ Gartner và MarketsandMarkets, thị trường thị giác máy tính ứng dụng AI ước tính đạt quy mô hơn 41,11 tỷ USD vào năm 2030 với tốc độ tăng trưởng kép (CAGR) trên 16%. Tuy nhiên, các hệ sinh thái thị giác hiện tại phần lớn dừng lại ở việc định vị vật thể rời rạc mà thiếu năng lực giải thích mối quan hệ hành vi giữa các thực thể.
Bài toán Phát hiện tương tác giữa người và đối tượng (Human-Object Interaction Detection - HOI Detection) được định nghĩa là tác vụ xác định và nhận diện tập hợp các bộ ba ngữ nghĩa:
$$\mathcal{T} = {(h_i, o_i, i_i)}$$
Trong đó:
- $h_i = {b_h}$ với $b_h \in \mathbb{R}^4$ là bounding box chuẩn hóa $[x, y, w, h]$ của con người ($x, y, w, h \in [0, 1]$).
- $o_i = {b_o, y_o}$ với $b_o \in \mathbb{R}^4$ là bounding box của vật thể và $y_o \in \mathcal{O} = {c_1, c_2, \dots, c_N}$ là phân lớp đối tượng ($N$ là kích thước không gian nhãn đối tượng).
- $i_i \in \mathcal{A} = {a_1, a_2, \dots, a_M}$ biểu thị phân lớp hành động/tương tác ($M$ là số lượng lớp hành động).
+---------------------------------------------+
| Input Image |
+---------------------------------------------+
|
v
+---------------------------------------------+
| HOST (Semantic Transformer) |
+---------------------------------------------+
|
+--------------------------------------+--------------------------------------+
| | |
v v v
+------------------+ +-------------------+ +-------------------+
| Human Box: b_h | | Object: b_o, y_o | | Action: i_i \in A |
| [0.15,0.2,0.4,0.8]| | [0.3,0.5,0.2,0.2]| | P(ride_bicycle) |
+------------------+ +-------------------+ +-------------------+
Problem Statement và Pain Points kỹ thuật
- Phân phối đuôi dài (Long-tail Distribution): Các bộ dữ liệu HOI chứa các tương tác hiếm gặp nhưng quan trọng (ví dụ: "người cho ngựa vằn ăn" so với "người cho ngựa ăn"), dẫn đến mô hình bị thiên lệch (bias) về các lớp phổ biến.
- Sự bùng nổ không gian tìm kiếm: Khi số lượng đối tượng trong ảnh tăng lên, số lượng tổ hợp cặp đôi tiềm năng tăng theo cấp số nhân $\mathcal{O}(N \times M)$, tạo ra tải trọng tính toán khổng lồ cho các mô hình phát hiện tuần tự (Sequential Detectors).
- Mất mát đặc trưng ngữ nghĩa (Semantic Information Loss): Các mô hình Transformer phát hiện tập hợp (Set Prediction) cơ sở như HOTR (Kim et al., CVPR 2021) phụ thuộc hoàn toàn vào đặc trưng thị giác (Visual Features) từ backbone ResNet, bỏ qua sự tương hỗ giữa nhãn ngữ nghĩa (Semantic Labels) và ngữ cảnh tương tác.
- Suy giảm đặc trưng qua các tầng sâu: Các tầng cuối của Transformer Encoder thường làm mờ nhạt các đặc trưng cục bộ (Local Features) chi tiết từ các lớp mã hóa cấp thấp.
Project Objectives
- Nghiên cứu và chuẩn hóa kiến trúc Transformer hướng tương tác end-to-end dựa trên phương pháp cơ sở HOTR.
- Thiết kế và phát triển mô hình HOST (Human-Object Semantic Transformer) tích hợp 04 mô-đun cải tiến:
- Semantic-Guided (SG): Tích hợp word embedding từ nhãn đối tượng vào quá trình mã hóa thị giác.
- Multi-Level Cross-Attention (MCA): Tận dụng thông tin trừu tượng đa tầng từ Encoder.
- Enhanced Instance Pointers (EIP): Tối ưu hóa cơ chế liên kết HO Pointers qua nhiều tầng giải mã.
- Cross-Attention Semantic Queries (CASQ): Khởi tạo vector truy vấn tương tác động thông qua mô hình ngôn ngữ - thị giác CLIP.
- Đánh giá thực nghiệm hiệu năng trên hai tập dữ liệu benchmark tiêu chuẩn: V-COCO (Verbs in COCO) và HICO-DET.
- Tối ưu hóa hiệu năng đạt mức tăng trưởng từ 3% đến 4% mAP so với phương pháp cơ sở HOTR.
- Triển khai mô hình mẫu dạng ứng dụng di động/REST API phục vụ suy luận thời gian thực.
Scope và Giới hạn (Limitations)
- Phạm vi dữ liệu: Huấn luyện và kiểm thử giới hạn trên 80 lớp đối tượng MS-COCO, 26 lớp hành động V-COCO và 600 tương tác HICO-DET.
- Giới hạn phần cứng: Đánh giá thử nghiệm dựa trên kiến trúc backbone ResNet-50; không áp dụng các backbone quy mô cực lớn như ViT-G/Swin-L do giới hạn tài nguyên tính toán trong môi trường học thuật.
Phân tích và thiết kế giải pháp
Phân tích hiện trạng
| Phương pháp |
Tiếp cận |
Ưu điểm |
Nhược điểm |
mAP (V-COCO Role) |
Tốc độ suy luận |
| Sequential (VSRL, GP-NN) |
2 giai đoạn: Faster R-CNN $\to$ Crop/Pair $\to$ Multi-stream CNN |
Tận dụng tốt pre-trained Object Detector; linh hoạt kết hợp tư thế (Human Pose). |
Tốc độ chậm; nghẽn cổ chai tính toán do sinh quá nhiều cặp ứng viên vô nghĩa; lỗi tích lũy giữa 2 giai đoạn. |
~45.5 - 50.5% |
Rất chậm (~5-10 FPS) |
| Parallel (PPDM, UnionDet) |
1 giai đoạn: CNN song song trích xuất điểm tương tác (Interaction Point) |
Xử lý song song, tốc độ suy luận nhanh; huấn luyện toàn diện (End-to-end). |
Cần mô-đun hậu xử lý phức tạp (NMS ghép cặp); khó mô hình hóa các mối quan hệ không gian phức tạp. |
~47.0 - 52.3% |
Nhanh (~25-30 FPS) |
| Transformer Set Prediction (HOTR baseline) |
Bộ giải mã Transformer song song với HO Pointers |
Loại bỏ bước hậu xử lý NMS; tối ưu hóa trực tiếp hàm mất mát đối sánh tập hợp (Bipartite Matching). |
Bỏ qua đặc trưng ngữ nghĩa của nhãn; chỉ dùng tầng Encoder cuối cùng; Interaction Query tĩnh. |
55.2% |
Trung bình (~15-20 FPS) |
| HOST (Proposed) |
Unified Semantic Transformer (SG + MCA + EIP + CASQ) |
Tận dụng triệt để Semantic Priors và đặc trưng đa tầng; Query động theo từng ảnh; độ chính xác cao nhất. |
Kiến trúc mở rộng tăng nhẹ tham số tính toán trong quá trình huấn luyện. |
58.6% - 59.2% |
Tối ưu (~18 FPS) |
Yêu cầu hệ thống theo mô hình MoSCoW
- Must-have:
- Bộ trích xuất đặc trưng ResNet-50 kết hợp Transformer Encoder-Decoder 6 tầng tiêu chuẩn.
- Tích hợp cơ chế liên kết thể hiện EIP và Semantic-Guided qua FastText/VinVL.
- Xuất kết quả phát hiện dạng bộ ba tọa độ và điểm tin cậy xác suất tương tác.
- Should-have:
- Cơ chế CASQ tạo tương tác động sử dụng CLIP ViT-B/32 text encoder.
- Pipeline huấn luyện hỗ trợ Distributed Data Parallel (DDP).
- Could-have:
- Module quantization (INT8/FP16) giảm dung lượng mô hình khi chạy Edge Deployment.
- Won't-have (giai đoạn này):
- Hỗ trợ nhận diện tương tác 3D và Video Streaming liên tục ở mức >60 FPS trên thiết bị nhúng công suất thấp.
+------------------------+
| Input Image [B,3,H,W] |
+------------------------+
|
v
+------------------------+
| ResNet-50 Backbone |
+------------------------+
| Visual Features: V
v
+-------------------------------------------------------------+
| HOST TRANSFORMER |
| |
| +-----------------------+ +-----------------------+ |
| | Semantic-Guided (SG) | --> | Multi-Level Cross-Attn| |
| | (FastText/VinVL + V) | | (MCA: Z_i <-> Z_{i-1})| |
| +-----------------------+ +-----------------------+ |
| | |
| v Latent Space Z|
| +---------------------------------+-----------+ |
| | | |
| v v |
| +-----------------------+ +-------+---+-----------+
| | Instance Decoder | | Interaction Decoder |
| | (Queries: \omega_ins)| | (Queries: \omega_int)|
| +-----------------------+ +-----------------------+
| | R_inst | R_intr
| | |
| +----------------------+----------------------+
| |
| v
| +------------------------------------+
| | Enhanced Instance Pointers (EIP) |
| | + CASQ Semantic Query Update |
| +------------------------------------+
+-------------------------------------------------------------+
|
v
+--------------------------------+
| Output Triples: <Human, Obj, I>|
+--------------------------------+
Thiết kế hệ thống và Technology Stack
- Ngôn ngữ lập trình: Python
v3.8.12
- Deep Learning Framework: PyTorch
v1.12.1+cu113, Torchvision v0.13.1
- Pre-trained Embeddings:
- FastText (
gensim wrapper, vector dimension $d = 300$)
- OpenAI CLIP
v1.0 (ViT-B/32 Text Transformer)
- VinVL (Visual Representations in Vision-Language Models)
- Backbone: ResNet-50 (Pretrained on ImageNet-1k, frozen Batch Normalization)
- Training Hardware: 4x NVIDIA RTX 3090 (24GB VRAM per GPU), Intel Xeon Gold 6226R @ 2.90GHz, 128GB DDR4 RAM
- Serialization & Deployment: ONNX Runtime
v1.14.0, Flask v2.2.2 REST API, Docker Engine v20.10.21
API Design Interface (RESTful Spec)
- Endpoint:
POST /api/v1/hoi/predict
- Request:
multipart/form-data chứa file: image.jpg, threshold: float (default=0.2)
- Response Schema:
{
"status": "success",
"inference_time_ms": 52.4,
"predictions": [
{
"human_box": [0.124, 0.342, 0.456, 0.891],
"object_box": [0.412, 0.654, 0.589, 0.812],
"object_class": "bicycle",
"object_confidence": 0.942,
"actions": [
{"action": "ride", "score": 0.887},
{"action": "hold", "score": 0.761}
]
}
]
}
Methodology
Dự án áp dụng mô hình phát triển phần mềm và nghiên cứu thực nghiệm theo khung Agile/CRISP-DM (Cross-Industry Standard Process for Data Mining) kéo dài 18 tuần:
- Tuần 1 - 4: Tổng hợp tài liệu, khảo sát các kiến trúc Sequential, Parallel và Set-Prediction Transformers; thiết lập môi trường và nạp bộ dữ liệu V-COCO, HICO-DET.
- Tuần 5 - 8: Tái thiết lập kiến trúc cơ sở HOTR (Baseline); hiện thực hóa mô-đun Semantic-Guided (SG) và Multi-Level Cross-Attention (MCA).
- Tuần 9 - 12: Cải tiến mô-đun Enhanced Instance Pointers (EIP) và Cross-Attention Semantic Queries (CASQ); thực hiện Ablation Studies và Tuning siêu tham số $\alpha$.
- Tuần 13 - 16: Đóng gói mô hình thành service; xây dựng ứng dụng di động minh họa trích xuất tương tác.
- Tuần 17 - 18: Hoàn thiện báo cáo kỹ thuật, kiểm định độ ổn định hệ thống và chuẩn bị bài báo khoa học.
Implementation và kết quả
Development process & Core Algorithms
Kiến trúc HOST xử lý dữ liệu qua 4 thành phần toán học trọng tâm:
1. Bộ mã hóa ngữ nghĩa định hướng (Semantic-Guided - SG)
Đặc trưng trực quan $V \in \mathbb{R}^{C \times H' \times W'}$ từ backbone và đặc trưng ngữ nghĩa $S \in \mathbb{R}^{K \times d}$ từ nhãn được xử lý qua $N$ tầng Encoder ($M$ tầng đầu xử lý song song):
$$Y_i = \text{EncoderLayer}_i(S), \quad \forall i < M$$
$$Z_i = \begin{cases}
\text{EncoderLayer}0(V), & i = 0 \
\text{EncoderLayer}M(Z{M-1} + Y{M-1}), & i = M \
\text{EncoderLayer}i(Z{i-1}), & \text{khác}
\end{cases}$$
Đầu ra biểu diễn không gian ẩn cuối cùng kết hợp:
$$Z_D = Z_{N-1} + Z_{M-1} + Y_{M-1}$$
2. Chú ý chéo đa tầng (Multi-Level Cross-Attention - MCA)
Để chống thất thoát đặc trưng độ phân giải cao từ các tầng thấp, cơ chế Cross Self-Attention với trọng số điều tiết $\alpha = 0.7$ được thiết lập:
$$Q = W^q Z_i, \quad K = W^k Z_{i-1}, \quad V = W^v Z_{i-1}$$
$$\hat{Z}_i = \alpha \cdot \text{softmax}\left(\frac{Q K^T}{\sqrt{d_k}}\right)V + (1 - \alpha) \cdot Z_i$$
3. Con trỏ thể hiện nâng cao (Enhanced Instance Pointers - EIP)
Thay vì chỉ lấy thông tin từ tầng giải mã cuối cùng, EIP tính toán độ tương đồng trung bình qua $K$ tầng giải mã:
$$\text{sim}j^h = \frac{1}{K}\sum{k=1}^K \text{sim}(\phi^k, u_j^{(k)}), \quad \text{sim}j^o = \frac{1}{K}\sum{k=1}^K \text{sim}(\psi^k, u_j^{(k)})$$
$$c^h = \arg\max_j (\text{sim}_j^h), \quad c^o = \arg\max_j (\text{sim}_j^o)$$
Trong đó $\phi^k = \text{FFN}h(R{intr}^{(k)})$ và $\psi^k = \text{FFN}o(R{intr}^{(k)})$, còn $u_j^{(k)}$ là vector biểu diễn thể hiện thứ $j$ tại tầng thứ $k$.
4. Module PyTorch Implementation mẫu (MCA Layer)
import torch
import torch.nn as nn
class MultiLevelCrossAttention(nn.Module):
"""
Multi-Level Cross-Attention (MCA) Module for HOST Architecture.
Combines representations between consecutive encoder layers (Z_i and Z_{i-1}).
"""
def __init__(self, d_model: int = 256, nhead: int = 8, alpha: float = 0.7):
super(MultiLevelCrossAttention, self).__init__()
self.alpha = alpha
self.cross_attn = nn.MultiheadAttention(embed_dim=d_model, num_heads=nhead, batch_first=True)
self.norm = nn.LayerNorm(d_model)
self.dropout = nn.Dropout(0.1)
def forward(self, z_curr: torch.Tensor, z_prev: torch.Tensor) -> torch.Tensor:
"""
Args:
z_curr: High-level features from current encoder layer [Batch, Seq_Len, d_model]
z_prev: Intermediate features from previous encoder layer [Batch, Seq_Len, d_model]
Returns:
Enhanced latent representation z_out [Batch, Seq_Len, d_model]
"""
# Query from current layer, Key and Value from previous layer
attn_output, _ = self.cross_attn(query=z_curr, key=z_prev, value=z_prev)
# Weighted residual combination via hyperparameter alpha
z_fused = self.alpha * attn_output + (1.0 - self.alpha) * z_curr
z_out = self.norm(z_curr + self.dropout(z_fused))
return z_out
Testing và validation
Hiệu năng mô hình được đánh giá thông qua chỉ số mAP (mean Average Precision) theo tiêu chuẩn đánh giá của tập dữ liệu V-COCO và HICO-DET:
- Một dự đoán được tính là True Positive (TP) khi và chỉ khi:
- Bounding box của con người đạt $\text{IoU}(b_h, \hat{b}_h) \ge 0.5$.
- Bounding box của đối tượng đạt $\text{IoU}(b_o, \hat{b}_o) \ge 0.5$.
- Phân lớp đối tượng dự đoán khớp với nhãn thực: $\hat{y}_o = y_o$.
- Phân lớp hành động tương tác chính xác: $\hat{i}_i = i_i$.
Bảng so sánh kết quả thực nghiệm chi tiết
| Bộ dữ liệu |
Mô hình |
Backbone |
mAP Role (Scenario 1) |
mAP Role (Scenario 2) |
mAP Agent |
| V-COCO |
VSRL (Baseline CNN) |
ResNet-50-FPN |
47.9% |
51.0% |
68.4% |
|
UnionDet |
ResNet-50-FPN |
47.5% |
56.2% |
69.0% |
|
HOTR (CVPR 2021) |
ResNet-50 |
55.2% |
64.4% |
72.8% |
|
HOST (Ours - EIP + SG + MCA) |
ResNet-50 |
58.6% |
67.8% |
75.3% |
|
HOST + CASQ (Full Configuration) |
ResNet-50 |
59.4% |
68.7% |
76.1% |
Nghiên cứu tác động của từng mô-đun (Ablation Study trên V-COCO)
| Cấu hình |
SG (Semantic-Guided) |
MCA (Multi-Level) |
EIP (Enhanced Pointers) |
CASQ (Semantic Queries) |
$mAP_{role}^{S1}$ |
Delta Improvement |
| 1 (HOTR) |
- |
- |
- |
- |
55.2% |
Baseline |
| 2 |
$\checkmark$ |
- |
- |
- |
56.4% |
+1.2% |
| 3 |
- |
$\checkmark$ |
- |
- |
56.1% |
+0.9% |
| 4 |
- |
- |
$\checkmark$ |
- |
56.8% |
+1.6% |
| 5 |
$\checkmark$ |
$\checkmark$ |
$\checkmark$ |
- |
58.6% |
+3.4% |
| 6 (Full) |
$\checkmark$ |
$\checkmark$ |
$\checkmark$ |
$\checkmark$ |
59.4% |
+4.2% |
Đổi mới và đóng góp
- Khắc phục hạn chế Single-Layer Output của Transformer: Hầu hết các kiến trúc Vision Transformer (DETR, HOTR) chỉ tận dụng đầu ra của lớp Encoder thứ 6. HOST thiết lập đường truyền thông tin liên tầng thông qua module Multi-Level Cross-Attention (MCA), duy trì biểu diễn đặc trưng biên cạnh và hình học chi tiết ở các tầng mã hóa sớm.
- Khai thác Semantic Priors toàn diện: Thay vì coi việc phân loại nhãn và phát hiện vị trí là các tác vụ độc lập, HOST tích hợp vector đặc trưng ngôn ngữ tự nhiên từ FastText và VinVL trực tiếp vào không gian tiềm ẩn thị giác, giúp mô hình "hiểu" ngữ nghĩa rằng nhãn bicycle thường đi kèm hành động ride hoặc repair, thay vì eat.
- Cải tiến cơ chế HO Pointers đa tầng (EIP): Tối ưu hóa việc liên kết bộ ba tương tác bằng cách lấy trung bình có trọng số các phân phối tương đồng từ tất cả các lớp của Instance Decoder, giải quyết triệt để hiện tượng sai lệch dự đoán khi một người thực hiện cùng lúc nhiều hành vi phức tạp.
- Đóng góp học thuật: Nghiên cứu đã công bố 01 bài báo tại Hội nghị quốc tế MAPR 2023 và 01 công trình gửi phản biện tại tạp chí quốc tế chuyên ngành Pattern Recognition Letters (Elsevier).
Ứng dụng thực tế và triển khai
Real-world Use Cases
- Hệ thống giám sát an ninh thông minh (Smart Surveillance): Tự động phát hiện các hành vi bất thường tại khu vực công cộng như "đặt hành lý vô chủ", "cầm hung khí", hoặc "trèo qua rào chắn".
- Phân tích hành vi bán lẻ (Retail Analytics): Đo lường mức độ tương tác của khách hàng với sản phẩm ("cầm sản phẩm lên xem", "đọc nhãn mác", "đặt vào giỏ hàng"), tối ưu hóa luồng trưng bày hàng hóa.
- Hỗ trợ lái xe an toàn (Advanced Driver Assistance Systems - ADAS): Dự đoán ý định của người đi bộ thông qua nhận diện tương tác ("người đang sử dụng điện thoại khi qua đường", "người chuẩn bị bước xuống từ xe buýt").
Kiến trúc triển khai hệ thống (Edge/Cloud)
- Yêu cầu hạ tầng Cloud: 1x GPU NVIDIA T4 hoặc A10G (phục vụ 8 luồng camera 1080p @ 15 FPS qua batch processing).
- Tối ưu hóa Edge: Chuyển đổi mô hình sang định dạng TensorRT FP16, giảm 42% độ trễ suy luận từ 55ms xuống 32ms trên thiết bị nhúng NVIDIA Jetson Orin.
Hạn chế và hướng phát triển
Hạn chế kỹ thuật hiện tại
- Tài nguyên bộ nhớ trong quá trình huấn luyện: Do cơ chế tính toán Attention đa tầng qua MCA và lưu trữ embedding từ CLIP/FastText, mô hình đòi hỏi dung lượng VRAM lớn trong quá trình backward pass (khuyến nghị $\ge 16\text{GB}$ VRAM/GPU).
- Xử lý tương tác trong không gian tối/bị che khuất cao: Khi đối tượng vật thể bị che khuất trên 80% (heavy occlusion), việc trích xuất visual feature bị suy giảm, dẫn đến việc gán nhãn phụ thuộc hoàn toàn vào semantic priors, đôi khi tạo ra dự đoán ảo (hallucination).
Hướng phát triển tương lai
- Mở rộng kiến trúc sang bài toán Video HOI Detection bằng cách tích hợp mô-đun Temporal Self-Attention để liên kết hành động liên tục qua chuỗi khung hình.
- Tích hợp các mô hình ngôn ngữ lớn đa phương thức (Vision-Language LLMs như LLaVA, BLIP-2) nhằm chuyển đổi bài toán sang Open-Vocabulary HOI Detection (nhận diện các tương tác chưa từng xuất hiện trong tập huấn luyện - Zero-Shot Setting).
Đối tượng hưởng lợi
+-----------------------------------------------------------------------------+
| ĐỐI TƯỢNG HƯỞNG LỢI |
+----------------------+----------------------+-------------------------------+
| Sinh viên | Kỹ sư AI | Doanh nghiệp |
| - Khung tham khảo | - Module tái sử dụng| - Nền tảng phân tích hành vi |
| - Mã nguồn mở mẫu | - Pipeline tối ưu | - Cắt giảm chi phí R&D |
+----------------------+----------------------+-------------------------------+
- Sinh viên và Học viên Cao học: Nguồn tài liệu tham khảo hoàn chỉnh về cách áp dụng kiến trúc Transformer vào các bài toán Computer Vision phức tạp ngoài Object Detection tiêu chuẩn.
- Kỹ sư AI và Computer Vision Developers: Bộ mã nguồn mô-đun hóa cao, dễ dàng tích hợp các thành phần SG, MCA vào các framework phát hiện tập hợp khác như DETR, Deformable DETR, Conditional DETR.
- Doanh nghiệp và Đơn vị phát triển giải pháp Smart City/Retail: Tiết kiệm từ 3 - 6 tháng nghiên cứu cơ sở; sở hữu ngay giải pháp nhận diện hành vi có độ chính xác cao (mAP vượt trội ~4.2% so với baseline thương mại thông thường).
- Nhà nghiên cứu (Researchers): Dữ liệu thực nghiệm phong phú và phương pháp luận rõ ràng về sự kết hợp giữa tri thức ngôn ngữ (Language Semantics) và thị giác máy tính.
Câu hỏi thường gặp
1. Cần cấu hình phần cứng tối thiểu nào để triển khai mô hình HOST?
Để suy luận (Inference) ở môi trường production với thời gian đáp ứng $\le 60\text{ms/frame}$, hệ thống cần tối thiểu 01 GPU NVIDIA GTX 1660 Super (6GB VRAM) hoặc môi trường CPU Intel Core i7 Gen 11th (sử dụng OpenVINO/ONNX Runtime tối ưu hóa). Đối với quá trình huấn luyện lại (Re-training), khuyến nghị sử dụng GPU tối thiểu 12GB VRAM (NVIDIA RTX 3060/3080/V100).
2. Mô hình xử lý thế nào khi một người thực hiện đồng thời nhiều hành động?
Kiến trúc HOST thiết lập hàm mất mát phân loại tương tác dưới dạng Multi-label Binary Cross-Entropy Loss tại nhánh $\text{FFN}_I$ thay vì hàm Softmax đơn nhãn. Do đó, mô hình có thể dự đoán độc lập xác suất của nhiều hành động cùng một lúc cho một cặp thực thể (ví dụ: vừa hold phone vừa read phone với độ tin cậy đều $>0.7$).
3. Việc tích hợp đặc trưng ngữ nghĩa FastText/CLIP có làm chậm tốc độ suy luận không?
Không đáng kể. Trong quá trình suy luận, các vector embedding của danh mục nhãn đối tượng ($N=80$) được trích xuất trước (pre-computed) và lưu trữ dưới dạng Lookup Table trên bộ nhớ GPU. Thời gian truy vấn vector nhúng chỉ chiếm chưa đầy $0.5\text{ms}$, do đó không gây tắc nghẽn đường ống xử lý.
4. Làm thế nào để mở rộng mô hình nhận diện thêm các hành động mới?
Để mở rộng thêm các lớp tương tác tùy chỉnh:
- Định nghĩa tập từ vựng hành động và liên kết nhãn đối tượng trong file cấu hình ontology.
- Trích xuất Semantic Embedding mới qua CLIP/FastText và nạp vào bảng tra cứu.
- Fine-tune các tầng Feed-Forward Networks ($\text{FFN}_I$) và Interaction Decoder trên tập dữ liệu chú thích mới (khoảng 100 - 200 mẫu cho mỗi lớp mới) trong 15 - 20 epochs.
5. Chi phí triển khai và thời gian hoàn vốn (ROI) ước tính cho doanh nghiệp?
Triển khai hệ thống phân tích camera thông minh sử dụng mô hình HOST trên một cụm 16 luồng camera tại chuỗi bán lẻ ước tính chi phí phần cứng khoảng $3,500 - $5,000 USD (bao gồm Edge Server). Hệ thống giúp tự động hóa khâu giám sát, tối ưu luồng vận hành và ngăn ngừa thất thoát hàng hóa, mang lại điểm hòa vốn (ROI) trong vòng 6 đến 9 tháng vận hành thực tế.
Kết luận
Đồ án tốt nghiệp "Kiến trúc Transformer thống nhất cho bài toán phát hiện tương tác giữa người và đối tượng" đã giải quyết triệt để các rào cản kỹ thuật của các mô hình HOI truyền thống. Bằng việc đề xuất kiến trúc HOST với 4 mô-đun đột phá (Semantic-Guided, Multi-Level Cross-Attention, Enhanced Instance Pointers, Cross-Attention Semantic Queries), nghiên cứu đã thiết lập chuẩn hiệu năng mới trên tập dữ liệu V-COCO với kết quả 59.4% mAP, cải thiện vượt bậc +4.2% mAP so với phương pháp cơ sở HOTR.
Công trình không chỉ mang lại giá trị học thuật với các bài báo công bố quốc tế mà còn mở ra tiềm năng ứng dụng thực tế mạnh mẽ trong giám sát an ninh thông minh, xe tự hành và phân tích hành vi thị giác. Mã nguồn và cấu hình thử nghiệm được chuẩn hóa nhằm đóng góp tích cực cho cộng đồng nghiên cứu AI và thị giác máy tính mã nguồn mở.
