Giới thiệu dự án

Trong kỷ nguyên bùng nổ dữ liệu đa phương tiện, theo thống kê từ Merrill Lynch, hơn 85% dữ liệu doanh nghiệp và internet tồn tại dưới dạng phi cấu trúc (hình ảnh, video, âm thanh, văn bản tự nhiên). Các công cụ tìm kiếm truyền thống chủ yếu dựa trên từ khóa (Text-to-Image) hoặc tìm kiếm theo ảnh tương đồng (Content-Based Image Retrieval - CBIR). Tuy nhiên, cả hai phương thức này đều gặp phải rào cản lớn về "khoảng cách ý định" (Intention Gap): người dùng khó có thể mô tả chi tiết một hình ảnh phức tạp chỉ bằng văn bản đơn thuần, đồng thời một bức ảnh mẫu có sẵn lại không thể hiện được những tinh chỉnh mong muốn trong tương lai (ví dụ: "tìm đôi giày giống ảnh này nhưng đổi sang màu đỏ và cổ cao").

Đề tài "Kết hợp ảnh và câu mô tả tăng cường tiếng Việt cho truy vấn ảnh" (Composed Image Retrieval with Vietnamese Modification Text) do sinh viên Nguyễn Trường Phát thực hiện dưới sự hướng dẫn của TS. Nguyễn Vinh Tiệp tại Trường Đại học Công nghệ Thông tin - ĐHQG-TP.HCM (Khoa Khoa học Máy tính) tập trung giải quyết bài toán truy vấn ảnh đa phương thức (Multimodal Image Retrieval). Hệ thống nhận đầu vào gồm một ảnh tham khảo (reference image) cùng một câu mô tả chỉnh sửa bằng tiếng Việt (modification text) để truy xuất các ảnh mục tiêu phù hợp nhất trong cơ sở dữ liệu.

[Ảnh tham khảo] + [Câu mô tả tăng cường Tiếng Việt] ---> [Mô hình TIRG] ---> [Vectơ biểu diễn kết hợp] ---> [Truy vấn Top-K ảnh mục tiêu]

Mục tiêu của dự án:

  1. Nghiên cứu và chuẩn hóa cơ chế học biểu diễn đa phương thức (Multimodal Representation Learning) cho bài toán truy vấn ảnh có điều kiện biến đổi thuộc tính cục bộ và toàn cục.
  2. Xây dựng kiến trúc mô hình Text-Image Residual Gating (TIRG) tối ưu cho ngôn ngữ tiếng Việt, giải quyết triệt để bài toán nhập nhằng khoảng trắng âm tiết và thích ứng từ vựng ngoài tập dữ liệu (Out-of-Vocabulary - OOV).
  3. Phát triển bộ công cụ dịch tự động dựa trên cây cú pháp URBANS và công bố mã nguồn mở trên PyPI (pyurbans).
  4. Xây dựng và chuẩn hóa tập dữ liệu CSS-VN (2D/3D shapes composition) và đánh giá độ chính xác trên tập benchmark quốc tế MIT-States.

Phạm vi và giới hạn:

  • Phạm vi: Tập trung vào các biến đổi thuộc tính hình ảnh (local visual transformations và global state transitions) với ngôn ngữ tự nhiên tiếng Việt không dấu/có dấu, hỗ trợ cả từ phân loại (classifiers) và ngữ pháp phi biến tố.
  • Giới hạn: Tập trung vào các tập dữ liệu chuẩn hóa dạng đối tượng và trạng thái (CSS-VN, MIT-States); chưa tích hợp các không gian mở không giới hạn miền dữ liệu (Open-domain Web Scale Retrieval).

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Trước khi kiến trúc TIRG ra đời, các phương pháp kết hợp ảnh và văn bản chủ yếu được thiết kế cho bài toán Hỏi đáp trên ảnh (Visual Question Answering - VQA), cố gắng ánh xạ cả hai phương thức vào một không gian độc lập thứ ba (Image-Text Joint Space), làm mất đi tính chất không gian metric vốn có của ảnh mục tiêu.

Phương pháp Cơ chế kết hợp Ưu điểm Nhược điểm đối với bài toán Retrieval
Concatenation Baseline Nối chuỗi đặc trưng vector $[\phi_v; \phi_t]$ Đơn giản, tính toán nhanh Biểu diễn thô sơ, không học được tương tác phi tuyến sâu
Show and Tell (LSTM) Đưa đặc trưng ảnh vào time-step đầu của LSTM Xử lý tuần tự tốt Mất mát thông tin ảnh qua các time-step dài của câu
Parameter Hashing Băm vector văn bản $\phi_t$ thành ma trận trọng số $T_t$ Tạo ma trận biến đổi linh hoạt Không gian tham số lớn, khó hội tụ khi dữ liệu phức tạp
FiLM Điều chế tuyến tính đặc trưng: $\gamma(\phi_t) \cdot \phi_v + \beta(\phi_t)$ Nhẹ, dễ tích hợp vào CNN Phép biến đổi tuyến tính đơn giản, phải nhúng vào mọi lớp
TIRG (Đề xuất) Cổng điều khiển Residual: $W_g * \phi_v + W_r * \phi_t$ kết hợp gating Bảo toàn không gian ảnh gốc, học được quan hệ phi tuyến Cần tối ưu hóa cấu trúc tách từ và embedding ngôn ngữ

Đặc thù ngôn ngữ tiếng Việt và Thách thức kỹ thuật:

  • Hiện tượng nhập nhằng khoảng trắng: Khác với tiếng Anh (khoảng trắng là ranh giới phân tách từ), tiếng Việt sử dụng khoảng trắng để ngăn cách âm tiết. Có đến 85% từ tiếng Việt được tạo thành từ 2 âm tiết trở lên và hơn 80% âm tiết bản thân nó có thể đóng vai trò là một từ độc lập. Việc tách từ sai (quần_áo vs quần áo) sẽ làm sụp đổ hoàn toàn vector nhúng từ.
  • Lợi thế phi biến tố (Non-inflection): Tiếng Việt không biến đổi hình thái từ theo thì hay ngôi (như -ed, -s trong tiếng Anh) mà sử dụng phụ từ thời gian (đã, đang, sẽ) và hệ thống từ phân loại phong phú (con, cái, quyển, chiếc), giúp mô hình hồi quy dễ dàng nắm bắt ngữ nghĩa nếu được tiền xử lý chuẩn xác.

Yêu cầu người dùng theo mô hình MoSCoW:

  • Must-have (Bắt buộc): Trích xuất chính xác đặc trưng ảnh tham khảo; xử lý tách từ tiếng Việt tự động; tính toán độ tương đồng cosine/Euclidean giữa query kết hợp và cơ sở dữ liệu ảnh.
  • Should-have (Cần có): Khả năng xử lý từ ngoài từ điển (OOV) thông qua mô hình ngôn ngữ tiền huấn luyện; cơ chế Residual Gating ở tầng Fully Connected hoặc Convolutional.
  • Could-have (Có thể có): Công cụ dịch tự động tập luật cây cú pháp phục vụ mở rộng dữ liệu từ tiếng Anh sang tiếng Việt.
  • Won't-have (Chưa thực hiện): Tìm kiếm tức thời thời gian thực trên video trực tuyến độ phân giải 4K.

Thiết kế hệ thống

Kiến trúc hệ thống sử dụng nguyên lý học khoảng cách metric sâu với hàm mất mát Triplet Loss.

                                  +-----------------------+
                                  |   Reference Image     |
                                  +-----------+-----------+
                                              |
                                              v
                                   [ ResNet Backbone ]
                                              |
                                              v Feature \phi_v
                                              |
+------------------------------+              v
|  Vietnamese Text Query       |       +---------------+
|  "đổi sang màu đỏ hình trụ"  | ----> |  TIRG Gated   | ---> Combined Query \phi_{x,t}
+--------------+---------------+       |  Residual     |           |
               |                       +---------------+           |
               v                                                   v
      [ RDRSegmenter ]                                   [ Metric Distance ]
               |                                                   ^
               v                                                   |
      [ PhoBERT / LSTM ] --------------------------------> [ Image DB Embeddings ]
               |
               v Feature \phi_t

1. Trích xuất đặc trưng hình ảnh ($\phi_v$):

Sử dụng kiến trúc mạng tích chập ResNet (Residual Network), áp dụng các khối nối tắt identity block $H(X) = F(X) + X$ nhằm khắc phục hiện tượng tiêu biến gradient (vanishing gradient). Vector đặc trưng hình ảnh $\phi_v \in \mathbb{R}^D$ được rút trích từ tầng Global Average Pooling hoặc tầng Fully Connected cuối cùng.

2. Trích xuất đặc trưng văn bản tiếng Việt ($\phi_t$):

  • Giai đoạn 1 (Tách từ): Bộ tách từ RDRSegmenter (thuộc bộ công cụ VnCoreNLP) phân đoạn văn bản thành các token đơn vị ngữ nghĩa hoàn chỉnh (loại bỏ nhập nhằng âm tiết).
  • Giai đoạn 2 (Biểu diễn từ & Chuỗi): Sử dụng PhoBERT (kiến trúc RoBERTa tiền huấn luyện trên 20GB ngữ liệu tiếng Việt) thay thế lớp Embedding tĩnh truyền thống, kết hợp mạng Long Short-Term Memory (LSTM) để nắm bắt quan hệ ngữ cảnh phụ thuộc dài (long-term dependencies).

3. Mô-đun Text-Image Residual Gating (TIRG):

Cơ chế TIRG xây dựng vector truy vấn kết hợp $\phi_{x,t}$ bằng cách sử dụng đặc trưng văn bản $\phi_t$ để dịch chuyển trực tiếp đặc trưng ảnh $\phi_v$ ngay trên không gian vector của ảnh gốc (thay vì ánh xạ sang không gian thứ ba):

$$\phi_{x,t} = w_1 \cdot f_{\text{gate}}(\phi_v, \phi_t) \odot \phi_v + w_2 \cdot f_{\text{res}}(\phi_v, \phi_t)$$

Trong đó:

  • $f_{\text{gate}}(\phi_v, \phi_t) = \sigma(W_{g,v} * \phi_v + W_{g,t} * \phi_t + b_g)$ đóng vai trò là cổng điều khiển thông tin cần giữ lại hoặc xóa bỏ từ ảnh tham khảo ($\sigma$ là hàm kích hoạt Sigmoid, $\odot$ là phép nhân Hadamard từng phần tử).
  • $f_{\text{res}}(\phi_v, \phi_t) = \text{ReLU}(W_{r,v} * \phi_v + W_{r,t} * \phi_t + b_r)$ là thành phần phần dư (residual) thể hiện các thuộc tính thị giác mới cần được bổ sung.
  • $w_1, w_2$ là các trọng số chuẩn hóa khả vi.
import torch
import torch.nn as nn

class TextImageResidualGating(nn.Module):
    def __init__(self, feature_dim):
        super(TextImageResidualGating, self).__init__()
        # Module Gating
        self.fc_gate_v = nn.Linear(feature_dim, feature_dim)
        self.fc_gate_t = nn.Linear(feature_dim, feature_dim)
        self.sigmoid = nn.Sigmoid()
        
        # Module Residual Transformation
        self.fc_res_v = nn.Linear(feature_dim, feature_dim)
        self.fc_res_t = nn.Linear(feature_dim, feature_dim)
        self.relu = nn.ReLU()
        
        # Scale parameters
        self.w1 = nn.Parameter(torch.ones(1))
        self.w2 = nn.Parameter(torch.ones(1))

    def forward(self, phi_v, phi_t):
        # 1. Tinh toan cong gating de loc thuoc tinh cu
        gate = self.sigmoid(self.fc_gate_v(phi_v) + self.fc_gate_t(phi_t))
        gated_visual = gate * phi_v
        
        # 2. Tinh toan thanh phan residual de them thuoc tinh moi
        residual = self.relu(self.fc_res_v(phi_v) + self.fc_res_t(phi_t))
        
        # 3. Tong hop bieu dien tren khong gian anh goc
        phi_out = self.w1 * gated_visual + self.w2 * residual
        # Chuan hoa L2 vector dau ra
        phi_out = nn.functional.normalize(phi_out, p=2, dim=1)
        return phi_out

Technology Stack:

  • Ngôn ngữ: Python 3.8+
  • Deep Learning Framework: PyTorch 1.8.1, Torchvision 0.9.1
  • NLP & Language Modeling: HuggingFace Transformers (PhoBERT-base v1.0), VnCoreNLP (RDRSegmenter 1.1.1)
  • Data Engineering: PyURBANS (pyurbans 0.1.2), NumPy, Pandas, NLTK
  • Tối ưu hóa & Huấn luyện: Adam Optimizer, Triplet Margin Loss, Cosine Annealing Learning Rate Decay

Implementation và kết quả

Development process

Quá trình phát triển được thực hiện thông qua 4 giai đoạn chuẩn hóa:

  1. Xây dựng bộ ngữ liệu CSS-VN: Dựa trên tập dữ liệu gốc CSS (Clevr-based Shape Sequences), tác giả xây dựng công cụ URBANS phân tích cây cú pháp (Syntax Tree Parser), thiết lập tập luật ngữ pháp đảo ngữ tiếng Anh - tiếng Việt và ánh xạ từ vựng 1-1 để tạo ra tập dữ liệu CSS-VN gồm 18.000 cặp (ảnh gốc, văn bản biến đổi, ảnh đích).
  2. Tiền xử lý & Tokenization: Tích hợp mô hình học máy tách từ RDRSegmenter nhằm chuyển đổi chuỗi văn bản dạng "xóa khối hình trụ màu xanh lá" thành ["xóa", "khối", "hình_trụ", "màu_xanh_lá"].
  3. Thiết lập Pipeline huấn luyện: Sử dụng mạng nơ-ron Triplet Network với hàm mất mát Triplet Margin Loss tối ưu hóa khoảng cách không gian metric:

$$\mathcal{L}{\text{triplet}} = \sum{i=1}^{N} \max\left(0, |\phi_{x,t}^{(i)} - \phi_{\text{target}}^{(i)}|2^2 - |\phi{x,t}^{(i)} - \phi_{\text{negative}}^{(i)}|_2^2 + \alpha\right)$$

Trong đó $\alpha = 0.2$ là khoảng cách biên (margin), $\phi_{\text{target}}$ là vector biểu diễn của ảnh đích phù hợp (positive), và $\phi_{\text{negative}}$ là ảnh không phù hợp (negative). Quá trình huấn luyện tích hợp kỹ thuật Learning Rate Decay và Early Stopping (dừng sớm dựa trên tập phát triển sau 5 epochs không cải thiện).

Testing và validation

Hiệu năng của mô hình được đánh giá toàn diện bằng độ đo Recall@K (R@K) với $K \in {1, 5, 10, 50}$, đo lường tỷ lệ các truy vấn mà trong đó ảnh mục tiêu chính xác xuất hiện trong top $K$ kết quả trả về của hệ thống.

                    +-------------------------------------------------+
                    |       Recall@K Evaluation Performance           |
+-------------------+--------------------+----------------------------+
| Metric            | TIRG-FC-Embedding  | TIRG-FC-PhoBERT (Cải tiến) |
+-------------------+--------------------+----------------------------+
| Recall@1 (R@1)    |       72.4%        |           78.9%            |
| Recall@5 (R@5)    |       89.1%        |           93.4%            |
| Recall@10 (R@10)  |       94.6%        |           97.1%            |
| Recall@50 (R@50)  |       98.8%        |           99.6%            |
+-------------------+--------------------+----------------------------+

Phân tích thực nghiệm chuyên sâu:

  1. So sánh cấu hình kết hợp TIRG-FC và TIRG-Conv:

    • TIRG-FC (Gating ở lớp Fully Connected): Đạt R@1 cao hơn 4.2% trên tập dữ liệu có biến đổi thuộc tính toàn cục (MIT-States) nhờ khả năng tổng hợp đặc trưng ngữ nghĩa mức cao.
    • TIRG-Conv (Gating ở lớp Convolutional 2D): Giữ lại tốt hơn các thông tin vị trí không gian (spatial layout), phù hợp với các tác vụ thêm/xóa vật thể cục bộ.

  2. Khả năng thích ứng với từ ngoài từ điển (OOV Adaptation): Trong các bài kiểm tra với câu truy vấn chứa các tính từ mới chưa từng xuất hiện trong tập huấn luyện (ví dụ thay thế nhỏ/lớn bằng bé/to):

    • Mô hình TIRG-Embedding truyền thống bị suy giảm độ chính xác nghiêm trọng (R@1 tụt giảm từ 72.4% xuống còn 31.2% do gán vector ngẫu nhiên cho token lạ <UNK>).
    • Mô hình TIRG-PhoBERT duy trì hiệu năng vững chắc ở mức 74.6% R@1 (cải thiện tương đối hơn 139% so với baseline) nhờ không gian nhúng ngữ nghĩa sâu của BERT.

Đổi mới và đóng góp

  1. Tiên phong áp dụng TIRG trên ngôn ngữ tiếng Việt: Là công trình đầu tiên tại Việt Nam giải quyết bài toán Composed Image Retrieval trên dữ liệu tiếng Việt, vượt qua giới hạn của các hệ thống tìm kiếm đơn phương thức truyền thống.
  2. Kiến trúc Lai kết hợp RDRSegmenter và PhoBERT: Đột phá trong việc giải quyết vấn đề nhập nhằng khoảng trắng âm tiết và bài toán từ vựng mở (Out-of-Vocabulary), giúp hệ thống hoạt động ổn định trước các câu lệnh ngôn ngữ tự nhiên đa dạng ngoài thực tế.
  3. Phát hành gói thư viện mã nguồn mở URBANS trên PyPI: Đóng góp bộ công cụ chuyển đổi ngôn ngữ dựa trên tập luật cây cú pháp chuẩn xác cao, tốn ít tài nguyên tính toán hơn so với dịch máy nơ-ron truyền thống, phục vụ cộng đồng nghiên cứu xử lý ngôn ngữ đa phương thức.
  4. Bộ dữ liệu chuẩn CSS-VN: Xây dựng tập dữ liệu benchmark 18.000 mẫu đầu tiên cho bài toán biến đổi thuộc tính ảnh bằng tiếng Việt, cung cấp nền tảng đánh giá cho các nghiên cứu tiếp theo.

Ứng dụng thực tế và triển khai

+-----------------------------------------------------------------------------+
|                               HỆ THỐNG THỰC TẾ                              |
|                                                                             |
|  [E-Commerce App]  ---> [FastAPI Gateway] ---> [TIRG Model Service (GPU)]   |
|                                                      |                      |
|                                                      v Query Vector (512d)  |
|                                            [Milvus / FAISS Vector DB]       |
|                                                      |                      |
|                                                      v Top-K IDs            |
|  [Hiển thị sản phẩm đích] <--- [Metadata Fetcher] <--+                      |
+-----------------------------------------------------------------------------+

Kịch bản ứng dụng trong Thương mại điện tử (E-Commerce):

  • Tìm kiếm thời trang & Nội thất thông minh: Khách hàng tải lên hình ảnh một chiếc áo sơ mi có sẵn và nhập câu lệnh: "thay bằng vải kẻ caro và thêm túi ngực". Hệ thống ngay lập tức định vị sản phẩm chính xác trong kho hàng mà không cần người bán phải gán thẻ (tagging) hàng trăm thuộc tính thủ công.
  • Biên tập & Quản trị tài nguyên số (Digital Asset Management): Cho phép các nhà sáng tạo nội dung tìm kiếm nhanh các stock photo/vector minh họa thông qua ảnh gốc kèm ghi chú chỉnh sửa mong muốn.

Thông số kỹ thuật triển khai hệ thống:

  • Hạ tầng phục vụ suy luận (Inference): 01 GPU NVIDIA T4 hoặc RTX 3060 (12GB VRAM), CPU 4 cores, 16GB RAM.
  • Thời gian phản hồi (Latency): $\approx 45\text{ms}$ cho bước trích xuất đặc trưng đa phương thức và $< 10\text{ms}$ cho bước tìm kiếm vector tương đồng trên cơ sở dữ liệu 1.000.000 ảnh sử dụng chỉ mục HNSW (Hierarchical Navigable Small World) của FAISS.
  • Hiệu quả kinh tế (ROI): Giảm tỷ lệ thoát trang (bounce rate) do tìm kiếm không thấy sản phẩm ước tính 25%, tăng tỷ lệ chuyển đổi đơn hàng (conversion rate) từ tìm kiếm hình ảnh lên 18-35%.

Hạn chế và hướng phát triển

  • Hạn chế hiện tại:
    • Tập dữ liệu CSS-VN chủ yếu gồm các vật thể hình học 2D/3D nhân tạo; chưa bao phủ toàn diện các ngữ cảnh ảnh chụp đời thực phức tạp với nhiều đối tượng chồng lấn.
    • Mô hình PhoBERT có số lượng tham số lớn (135M parameters), làm tăng độ trễ tính toán so với tầng Embedding tuyến tính nếu không thực hiện tối ưu lượng tử hóa (Quantization).
  • Hướng phát triển tương lai:
    • Mở rộng kiến trúc TIRG sang các mô hình nền tảng đa phương thức quy mô lớn như CLIP (Contrastive Language-Image Pre-Training) và Vision-Language Transformers (ViT + RoBERTa).
    • Tích hợp kỹ thuật nén mô hình (Knowledge Distillation, ONNX Runtime, TensorRT) để triển khai trực tiếp trên các thiết bị di động biên (Edge Devices).
    • Mở rộng tập dữ liệu sang lĩnh vực thời trang tiếng Việt thực tế (Vietnamese Fashion-IQ Dataset).

Đối tượng hưởng lợi

  • Sinh viên & Học viên cao học: Tiếp cận tài liệu chuẩn mực về Multimodal Learning, mã nguồn mở tái hiện kiến trúc TIRG và quy trình xử lý ngôn ngữ tự nhiên tiếng Việt nâng cao.
  • Kỹ sư AI & Lập trình viên: Ứng dụng trực tiếp cấu hình mạng PyTorch, giải pháp tích hợp RDRSegmenter + PhoBERT để giải quyết bài toán OOV trong các hệ thống trích xuất thông tin.
  • Doanh nghiệp bán lẻ & E-Commerce: Nắm bắt kiến trúc giải pháp tìm kiếm thế hệ mới, tối ưu hóa trải nghiệm khách hàng và gia tăng doanh số thông qua công cụ tìm kiếm trực quan.
  • Nhà nghiên cứu khoa học: Kế thừa bộ ngữ liệu CSS-VN và công cụ URBANS làm nền tảng phát triển các mô hình Cross-Modal Retrieval tiên tiến hơn.

Câu hỏi thường gặp

1. Yêu cầu phần cứng tối thiểu để huấn luyện và triển khai mô hình là gì?

Quá trình huấn luyện yêu cầu tối thiểu GPU NVIDIA có 8GB VRAM (như GTX 1080Ti hoặc RTX 2060 trở lên) với batch size 32. Khi triển khai suy luận (Inference), mô hình có thể chạy ổn định trên CPU máy chủ tiêu chuẩn hoặc GPU giá rẻ như NVIDIA T4 với thời gian phản hồi dưới 100ms.

2. Mô hình xử lý các từ viết tắt, tiếng lóng hoặc sai chính tả trong tiếng Việt như thế nào?

Nhờ sử dụng PhoBERT được tiền huấn luyện trên lượng văn bản tiếng Việt khổng lồ (bao gồm tin tức, mạng xã hội), mô hình có khả năng chịu lỗi (fault-tolerance) cao đối với các biến thể ngữ nghĩa gần gũi. Tuy nhiên, để tối ưu nhất trong sản xuất, hệ thống nên có một tầng tiền xử lý chuẩn hóa chính tả (Spell Correction Module) trước khi đưa vào RDRSegmenter.

3. Tại sao TIRG lại vượt trội hơn phương pháp ghép nối vector (Concatenation) truyền thống?

Phương pháp Concatenation đơn thuần gộp hai vector lại và dùng mạng MLP để phân lớp, ép đặc trưng vào một không gian trừu tượng mới. TIRG bảo toàn không gian vector của ảnh gốc và sử dụng cơ chế Gating thông minh để xác định chính xác thuộc tính nào của ảnh cũ cần loại bỏ, thuộc tính nào từ câu văn bản cần bổ sung, giúp khoảng cách đo lường phản ánh đúng tính chất trực quan của ảnh đích.

4. Cơ chế tích hợp vào các hệ thống cơ sở dữ liệu hiện có như thế nào?

Toàn bộ ảnh trong hệ thống được trích xuất đặc trưng trước một lần (offline) thành các vector nhúng (512 chiều) và lưu vào cơ sở dữ liệu vector chuyên dụng (như Milvus, Qdrant, Pinecone hoặc PostgreSQL với pgvector). Khi có truy vấn từ người dùng, mô hình TIRG chỉ cần tính toán vector cho cặp (Ảnh tham khảo + Câu mô tả) và thực hiện truy vấn k-Nearest Neighbors (k-NN) cực nhanh.

5. Thư viện URBANS có thể mở rộng sang các ngôn ngữ khác ngoài tiếng Anh và tiếng Việt không?

Hoàn toàn có thể. Thư viện URBANS được thiết kế dạng module hóa trừu tượng (abstract modular rules). Người phát triển chỉ cần định nghĩa lại tập luật biến đổi cây cú pháp (Syntax Grammar Mapping) và bảng từ điển ánh xạ ngữ nghĩa là có thể mở rộng cho các cặp ngôn ngữ khác.

Kết luận

Đồ án tốt nghiệp của sinh viên Nguyễn Trường Phát đã giải quyết xuất sắc bài toán truy vấn ảnh kết hợp câu mô tả tăng cường tiếng Việt bằng việc nội địa hóa và cải tiến thành công mô hình Text-Image Residual Gating (TIRG). Với việc tích hợp bộ tách từ RDRSegmenter, mô hình ngôn ngữ tiền huấn luyện PhoBERT, cùng công cụ dịch thuật dựa trên cây cú pháp URBANS, nghiên cứu đã chứng minh tính vượt trội cả về mặt lý thuyết học máy lẫn khả năng giải quyết các thách thức ngôn ngữ thực tế. Công trình đặt nền móng vững chắc cho việc ứng dụng công nghệ trí tuệ nhân tạo đa phương thức vào các hệ thống tìm kiếm thông minh và thương mại điện tử tại Việt Nam.