Khóa Luận Tốt Nghiệp Về Tăng Cường Tiếng Việt Cho Truy Vấn Ảnh

Luận văn tốt nghiệp nghiên cứu tốt nghiệp khoa học máy tính truy vấn ảnh sử dụng câu truy vấn kết hợp ảnh và câu mô tả tăng cường, điều tra thực trạng, phân tích số liệu, đề xuất

• Người hướng dẫn: TS. Nguyễn Vinh Tiệp
• Trường học: Đại Học Quốc Gia TP. Hồ Chí Minh
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Tăng Cường Tiếng Việt Cho Truy Vấn Ảnh
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2021
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Giới thiệu bài toán
• 1.2. Tình hình nghiên cứu của các bài toán liên quan
• 1.3. Mục tiêu nghiên cứu
• 1.4. Đóng góp của khóa luận
• 1.5. Cấu trúc khóa luận tốt nghiệp
• 2. CHƯƠNG 2: KIẾN THỨC NỀN TẢNG
• 2.1. Tổng quan về bài toán truy vấn thông tin
• 2.2. Tổng quan về mạng nơ-ron nhân tạo
• 2.3. Mô hình mạng nơ-ron tích chập cho biểu diễn ảnh kỹ thuật số
• 2.4. Mô hình mạng nơ-ron hồi quy cho biểu diễn văn bản
• 2.5. Tiền xử lý dữ liệu
• 3. CHƯƠNG 3: XÂY DỰNG TẬP DỮ LIỆU TIẾNG VIỆT
• 3.1. Xây dựng công cụ dịch sử dụng cây cú pháp
• 3.2. Xây dựng tập dữ liệu CSS-VN
• 4. CHƯƠNG 4: TEXT-IMAGE RESIDUAL GATING CHO KẾT HỢP ẢNH VÀ CÂU MÔ TẢ TĂNG CƯỜNG TIẾNG VIỆT ĐỂ TRUY VẤN ẢNH
• 4.1. Phương pháp
• 4.2. Hai cấu hình của mô hình Text-Image Residual Gating
• 4.3. Giải quyết sự nhập nhằng khoảng trống sử dụng RDRSegmenter
• 4.4. Thích ứng với dữ liệu mới bằng cách sử dụng PhoBERT làm bộ biểu diễn
• 5. CHƯƠNG 5: THỬ NGHIỆM VÀ KẾT QUẢ
• 5.1. Dữ liệu huấn luyện
• 5.2. Thang đo đánh giá
• KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

Tóm tắt

I. Tổng Quan Về Khóa Luận Tốt Nghiệp Tăng Cường Tiếng Việt

Khóa luận tốt nghiệp là một phần quan trọng trong quá trình học tập của sinh viên, đặc biệt trong lĩnh vực công nghệ thông tin. Đề tài "Tăng Cường Tiếng Việt Cho Truy Vấn Ảnh" không chỉ giúp sinh viên áp dụng kiến thức đã học mà còn mở ra hướng nghiên cứu mới trong việc kết hợp ngôn ngữ và hình ảnh. Việc nghiên cứu này có thể giúp cải thiện khả năng truy vấn thông tin bằng tiếng Việt, một ngôn ngữ có nhiều đặc thù.

1.1. Khái Niệm Về Truy Vấn Ảnh Trong Tiếng Việt

Truy vấn ảnh là quá trình tìm kiếm hình ảnh dựa trên các tiêu chí nhất định. Trong ngữ cảnh tiếng Việt, việc sử dụng câu mô tả tăng cường giúp người dùng truyền tải ý định tìm kiếm một cách chính xác hơn.

1.2. Tầm Quan Trọng Của Khóa Luận Trong Nghiên Cứu

Khóa luận này không chỉ là một sản phẩm học thuật mà còn là một bước tiến trong việc ứng dụng công nghệ vào thực tiễn. Nó giúp sinh viên phát triển kỹ năng nghiên cứu và giải quyết vấn đề trong lĩnh vực công nghệ thông tin.

II. Vấn Đề Trong Việc Tăng Cường Tiếng Việt Cho Truy Vấn Ảnh

Mặc dù có nhiều tiềm năng, việc tăng cường tiếng Việt cho truy vấn ảnh gặp phải một số thách thức. Đặc biệt, ngôn ngữ tiếng Việt có nhiều từ phân loại và cấu trúc ngữ pháp phức tạp, điều này gây khó khăn trong việc xây dựng mô hình học máy hiệu quả.

2.1. Những Khó Khăn Trong Việc Tách Từ Tiếng Việt

Tiếng Việt không có biến tố, dẫn đến việc tách từ trở thành một thách thức lớn. Nhiều từ có thể bị ngắt quãng bởi khoảng trắng, gây khó khăn cho các mô hình học máy trong việc nhận diện và xử lý.

2.2. Đặc Điểm Ngôn Ngữ Ảnh Hưởng Đến Mô Hình Học Máy

Các đặc điểm ngôn ngữ như từ phân loại và cấu trúc ngữ pháp phức tạp có thể ảnh hưởng đến hiệu quả của mô hình học máy. Việc hiểu rõ những đặc điểm này là cần thiết để phát triển các phương pháp phù hợp.

III. Phương Pháp Tăng Cường Tiếng Việt Cho Truy Vấn Ảnh

Để giải quyết các vấn đề nêu trên, một số phương pháp đã được đề xuất. Trong đó, phương pháp Text-Image Residual Gating (TIRG) là một trong những giải pháp hứa hẹn nhất. Phương pháp này cho phép kết hợp hiệu quả giữa đặc trưng ảnh và văn bản.

3.1. Giới Thiệu Về Phương Pháp TIRG

TIRG là một phương pháp mới được đề xuất nhằm cải thiện khả năng truy vấn ảnh bằng cách kết hợp đặc trưng của ảnh và văn bản. Phương pháp này giúp giảm thiểu khoảng cách ý định giữa người dùng và hệ thống.

3.2. Cách Thức Hoạt Động Của TIRG

Phương pháp TIRG hoạt động bằng cách sử dụng các đặc trưng phi tuyến để kết hợp thông tin từ ảnh và văn bản. Điều này giúp tạo ra một không gian biểu diễn chung cho cả hai loại dữ liệu.

IV. Ứng Dụng Thực Tiễn Của Khóa Luận Trong Nghiên Cứu

Khóa luận này không chỉ dừng lại ở lý thuyết mà còn có nhiều ứng dụng thực tiễn. Việc áp dụng phương pháp TIRG trong truy vấn ảnh có thể giúp cải thiện trải nghiệm người dùng trong các hệ thống tìm kiếm thông tin.

4.1. Ứng Dụng Trong Hệ Thống Tìm Kiếm

Phương pháp TIRG có thể được áp dụng trong các hệ thống tìm kiếm hình ảnh, giúp người dùng tìm kiếm thông tin một cách nhanh chóng và chính xác hơn.

4.2. Kết Quả Nghiên Cứu Đạt Được

Kết quả nghiên cứu cho thấy phương pháp TIRG có khả năng cải thiện độ chính xác trong việc truy vấn ảnh, từ đó mở ra nhiều cơ hội nghiên cứu mới trong lĩnh vực này.

V. Kết Luận Và Hướng Phát Triển Tương Lai

Khóa luận này đã chỉ ra rằng việc tăng cường tiếng Việt cho truy vấn ảnh là một lĩnh vực nghiên cứu đầy tiềm năng. Những kết quả đạt được từ nghiên cứu này có thể là nền tảng cho các nghiên cứu tiếp theo trong tương lai.

5.1. Tóm Tắt Những Đóng Góp Của Khóa Luận

Khóa luận đã đóng góp vào việc phát triển phương pháp truy vấn ảnh bằng tiếng Việt, đồng thời mở ra hướng nghiên cứu mới cho các sinh viên và nhà nghiên cứu trong lĩnh vực này.

5.2. Hướng Nghiên Cứu Tương Lai

Trong tương lai, cần tiếp tục nghiên cứu và phát triển các phương pháp mới để cải thiện khả năng truy vấn ảnh, đồng thời mở rộng ứng dụng của chúng trong các lĩnh vực khác nhau.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong kỷ nguyên số, sự gia tăng nhanh chóng của dữ liệu trực tuyến đặt ra thách thức lớn về tình trạng quá tải thông tin, đặc biệt là đối với các loại dữ liệu phi cấu trúc như hình ảnh và văn bản. Trong lĩnh vực Truy vấn thông tin (Information Retrieval), việc tìm kiếm ảnh theo phương thức truyền thống thông qua văn bản đơn thuần (Text-to-Image) hoặc truy vấn bằng ảnh mẫu (Content-Based Image Retrieval) bộc lộ rào cản lớn về "khoảng cách ý định" (intention gap). Người dùng thường hình dung rõ nhu cầu tìm kiếm trong tâm trí nhưng gặp khó khăn khi diễn đạt toàn bộ nội dung mong muốn chỉ qua từ khóa, hoặc chỉ có một bức ảnh tương đồng nhưng lại cần biến đổi một số thuộc tính cụ thể.

Nhằm khắc phục giới hạn này, bài toán truy vấn ảnh sử dụng kết hợp ảnh tham khảo và câu mô tả tăng cường bằng ngôn ngữ tự nhiên đã xuất hiện. Đầu vào của hệ thống là một tấm ảnh tham khảo kèm một câu mô tả các thay đổi mong muốn (ví dụ: "không có người và chuyển sang trời tối"), cùng với một cơ sở dữ liệu ảnh; đầu ra là danh sách ảnh mục tiêu được xếp hạng theo mức độ phù hợp giảm dần. Mặc dù là hướng nghiên cứu giàu tiềm năng ứng dụng, tác vụ này trước thời điểm nghiên cứu chưa từng được khai thác trên ngữ liệu tiếng Việt.

Tiếng Việt có những đặc thù ngôn ngữ học riêng biệt: sở hữu hệ thống từ phân loại phong phú đóng vai trò trợ từ cho danh từ (như "con", "cái", "quyển"), đồng thời là ngôn ngữ không có biến tố (không chia động từ qua phụ tố như "-ed" hay "-s" trong tiếng Anh mà dùng các hư từ chỉ thời gian như "đã"). Tuy nhiên, tiếng Việt tồn tại sự nhập nhằng khoảng trắng lớn: khoảng trắng chỉ đóng vai trò phân tách âm tiết chứ không phân tách từ, với khoảng 85% từ được cấu thành bởi hai âm tiết và hơn 80% âm tiết bản thân nó đã là một từ hoàn chỉnh, khiến tác vụ phân tách từ trở nên phức tạp.

Khóa luận xác định 3 nhiệm vụ nghiên cứu cụ thể được đánh số như sau:

1. Nghiên cứu và tìm hiểu về các phương pháp cho bài toán kết hợp ảnh và câu mô tả tăng cường cho truy vấn ảnh.
2. Nghiên cứu xây dựng mô hình Text-Image Residual Gating (TIRG) cho bài toán truy vấn ảnh dựa trên ảnh và câu mô tả tăng cường, đề xuất các cải tiến cụ thể để mô hình thích ứng hiệu quả với đặc thù tiếng Việt.
3. Tiến hành xây dựng tập dữ liệu tiếng Việt CSS-VN phục vụ việc huấn luyện và đánh giá bài toán.

Đối tượng nghiên cứu là các phương pháp học biểu diễn đa phương tiện kết hợp giữa thị giác máy tính và xử lý ngôn ngữ tự nhiên. Phạm vi nghiên cứu tập trung vào không gian dữ liệu biến đổi thuộc tính cục bộ (tập dữ liệu CSS-VN) và biến đổi trạng thái toàn cục (tập dữ liệu MIT-States), thực hiện tại Phòng thí nghiệm Truyền thông Đa phương tiện (MMLab), Trường Đại học Công nghệ Thông tin - Đại học Quốc gia TP. Hồ Chí Minh năm 2021.

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập nền tảng dựa trên lý thuyết truy vấn thông tin phi cấu trúc với khái niệm "Tiêu chuẩn vàng" (Gold Standard) gồm: cơ sở dữ liệu, tập nhu cầu thông tin dưới dạng câu truy vấn, và tập nhãn đánh giá tính phù hợp của từng cặp truy vấn - mục tiêu. Đề tài tiếp cận bài toán dưới góc nhìn của lý thuyết Học hỗn hợp (Compositionality), phân rã thực thể thành các tổ hợp thuộc tính đơn giản nhằm mô hình hóa sự thay đổi thuộc tính ảnh thông qua văn bản điều khiển.

Tác giả khảo sát và đối chiếu các phương pháp kết hợp đặc trưng ảnh và văn bản hiện hành:

• Phương pháp nối ghép (Concatenation): ghép nối trực tiếp vector đặc trưng ảnh và vector văn bản để đưa vào mạng lan truyền thuận.
• Show and Tell: sử dụng mạng LSTM mã hóa bản đồ đặc trưng ảnh tại các bước thời gian đầu tiên, tiếp nối bằng các từ trong câu.
• Relationship: trích xuất bản đồ đặc trưng cục bộ bằng CNN, kết hợp với đặc trưng văn bản rồi đưa qua mạng nơ-ron đa tầng và lấy trung bình.
• Parameter Hashing: băm đặc trưng văn bản thành ma trận biến đổi để nhân với bản đồ đặc trưng ảnh.
• Feature-wise Linear Modulation (FiLM): dùng đặc trưng văn bản làm tham số điều khiển biến đổi affine tuyến tính trong lớp kết nối đầy đủ của CNN.

Mô hình nền tảng được khóa luận lựa chọn là Text-Image Residual Gating (TIRG) công bố tại hội nghị CVPR 2019. Điểm khác biệt bản chất của TIRG so với các hướng tiếp cận trên nằm ở không gian biểu diễn: thay vì chiếu cả hai phương thức vào một không gian thứ ba hoàn toàn mới (Image-Text Space) vốn làm mất vai trò gốc của ảnh, TIRG sử dụng đặc trưng văn bản để định hướng dịch chuyển đặc trưng ảnh ngay trong không gian gốc của ảnh thông qua cơ chế cổng dư phi tuyến.

Về phương pháp thực nghiệm và kỹ thuật:

• Biểu diễn thị giác: Khóa luận khảo sát sự phát triển của mạng nơ-ron tích chập (CNN) gồm LeNet-5, AlexNet, VGG-16, GoogLeNet và ứng dụng ResNet với khối nối tắt (identity block) giúp triệt tiêu hiện tượng tiêu biến đạo hàm (vanishing gradient).
• Biểu diễn ngôn ngữ: Khảo sát mạng hồi quy RNN, LSTM với cơ chế cổng quên, cổng vào và cổng ra nhằm duy trì bộ nhớ dài hạn. Để xử lý tiếng Việt, tác giả tích hợp công cụ RDRSegmenter xử lý nhập nhằng khoảng trắng, đồng thời thay thế lớp Embedding thông thường bằng mô hình ngôn ngữ tiền huấn luyện PhoBERT để trích xuất ngữ cảnh và xử lý từ ngoài từ điển (OOV).
• Hàm tối ưu và huấn luyện: Khóa luận sử dụng hàm Triplet Loss với khoảng cách biên (margin) để tối ưu hóa không gian biểu diễn sao cho khoảng cách giữa mẫu mốc (anchor) và mẫu phù hợp (positive) tiệm cận cực tiểu, đồng thời nới rộng khoảng cách tới mẫu tương phản (negative). Quá trình huấn luyện ứng dụng thuật toán Gradient Descent, kỹ thuật suy giảm tốc độ học (learning rate decay) và dừng sớm (Early Stopping) để chống quá khớp (overfitting).
• Nguồn dữ liệu: Dữ liệu thực nghiệm bao gồm tập MIT-States (chuyển đổi trạng thái tự nhiên toàn cục) và bộ dữ liệu CSS-VN do tác giả xây dựng từ tập CSS gốc (biến đổi vật thể 2D/3D cục bộ) thông qua công cụ dịch tự động dựa trên cây cú pháp và tập luật URBANS.

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương này giới thiệu tổng quan về bối cảnh bùng nổ dữ liệu trực tuyến và định nghĩa hình thức của bài toán truy vấn ảnh sử dụng kết hợp ảnh và câu mô tả tăng cường. Tác giả phân tích khoảng cách ý định (intention gap) trong các hệ thống tìm kiếm truyền thống, đồng thời chỉ ra tính chất ngôn ngữ học của tiếng Việt: sự thuận lợi khi xử lý từ phân loại (classifiers) và tính phi biến tố (non-inflection), đi kèm thách thức từ hiện tượng nhập nhằng khoảng trắng. Tác giả khảo sát các công trình liên quan như bài toán Hỏi đáp trên ảnh (VQA) với các phương pháp Concatenation, Show and Tell, Relationship, Parameter Hashing và FiLM. Chương này xác định rõ 3 mục tiêu nghiên cứu, nêu bật 4 đóng góp chính và phác thảo cấu trúc 6 chương của khóa luận.

Chương 2: Kiến thức nền tảng

Chương 2 hệ thống hóa cơ sở lý thuyết về truy vấn thông tin và mạng nơ-ron nhân tạo:

• Trình bày định nghĩa truy vấn thông tin phi cấu trúc, đánh giá tính phù hợp chủ quan và mô hình hệ thống truy vấn tiêu chuẩn.
• Phân tích cấu trúc mạng nơ-ron lan truyền thuận đa lớp, các hàm kích hoạt (Sigmoid, ReLU, Softmax), và các hàm mất mát (Mean Square Error, Categorical Cross-Entropy, Triplet Loss).
• Trình bày các kỹ thuật huấn luyện mạng sâu gồm thuật toán Gradient Descent, learning rate decay, chuẩn hóa dữ liệu đầu vào và cơ chế điều hòa phi tường minh Early Stopping.
• Trình bày sự phát triển của mạng tích chập (CNN) từ LeNet-5, AlexNet, VGG-16, GoogLeNet đến kiến trúc khối nối tắt của ResNet.
• Trình bày mô hình mạng hồi quy RNN và cấu trúc tế bào nhớ của LSTM nhằm khắc phục tiêu biến thông tin chuỗi; cùng các nguyên lý tiền xử lý dữ liệu và tách từ trong xử lý ngôn ngữ tự nhiên.

Chương 3: Xây dựng tập dữ liệu tiếng Việt

Chương này tập trung vào quy trình xây dựng tập ngữ liệu CSS-VN phục vụ thực nghiệm:

• Tác giả phân tích đặc trưng ngữ pháp của tập dữ liệu CSS gốc và thiết kế công cụ dịch dựa trên cây cú pháp kết hợp tập luật có tên URBANS. Công cụ này xử lý việc biến đổi cú pháp và ánh xạ từ vựng một-một giữa tiếng Anh và tiếng Việt một cách tự động, tốn ít tài nguyên tính toán nhưng vẫn bảo đảm tính nhất quán ngữ nghĩa.
• Xây dựng hoàn chỉnh bộ ngữ liệu CSS-VN và phiên bản mở rộng CSS-VN-augmented. Toàn bộ công cụ URBANS được đóng gói thành mã nguồn mở, ban hành kịch bản kiểm thử độc lập và đăng tải công khai trên kho lưu trữ PyPI (pyurbans/urbans).

Chương 4: Text-Image Residual Gating cho kết hợp ảnh và câu mô tả tăng cường tiếng Việt để truy vấn ảnh

Chương 4 mô tả chi tiết phương pháp học biểu diễn đa phương tiện được cải tiến cho tiếng Việt:

• Trình bày kiến trúc tổng thể và quy trình huấn luyện của mạng Text-Image Residual Gating (TIRG).
• Khảo sát hai cấu hình kết hợp đặc trưng: TIRG-FC (thực hiện mô-đun kết hợp ở lớp Fully Connected) và TIRG-Conv (thực hiện mô-đun kết hợp tại lớp Convolution).
• Tích hợp bộ công cụ RDRSegmenter vào tiền xử lý nhằm chuẩn hóa việc phân tách từ ghép tiếng Việt, triệt tiêu sự nhập nhằng do khoảng cách âm tiết gây ra.
• Đề xuất thay thế lớp Embedding truyền thống của mạng LSTM bằng mô hình ngôn ngữ tiền huấn luyện PhoBERT, cho phép hệ thống biểu diễn các biểu thức ngôn ngữ phức tạp và thích ứng với các từ vựng ngoài từ điển (out-of-vocabulary) trong các câu truy vấn thực tế.

Chương 5: Thử nghiệm và kết quả

Chương 5 trình bày toàn bộ thiết lập thực nghiệm, phân tích kết quả định lượng và nghiên cứu cắt bỏ:

• Thống kê chi tiết các tham số của tập dữ liệu CSS, CSS-VN và MIT-States cùng cấu hình siêu tham số huấn luyện tương ứng.
• Đánh giá mô hình thông qua thang đo tiêu chuẩn Recall@K (R@1, R@5, R@10, R@50).
• Trình bày kết quả tái hiện mô hình TIRG trên tập dữ liệu gốc CSS và MIT-States; so sánh hiệu năng giữa hai biến thể kiến trúc TIRG-FC và TIRG-Conv trên tập CSS-VN.
• So sánh định lượng giữa mô hình sử dụng lớp Embedding gốc (TIRG-FC-Embedding) và mô hình tích hợp PhoBERT (TIRG-FC-PhoBERT), đặc biệt tập trung vào khả năng thích ứng với các từ thay thế mới như "bé" và "to".
• Thực hiện các nghiên cứu cắt bỏ (ablation study) đối với các mô-đun kết hợp đặc trưng ảnh - văn bản và mô-đun phân tách từ, đồng thời trực quan hóa không gian biểu diễn 2D và minh họa các kết quả truy vấn ảnh thực tế.

Chương 6: Kết luận và hướng phát triển

Chương cuối tóm tắt lại các mục tiêu đã hoàn thành, tổng kết những phát hiện chính trong quá trình thực nghiệm, chỉ ra những hạn chế cố hữu về dữ liệu và đề xuất phương hướng nghiên cứu tiếp theo cho bài toán truy vấn ảnh đa phương tiện tiếng Việt.

Kết quả và đóng góp

Khóa luận đã ghi nhận các kết quả thực nghiệm và đóng góp cụ thể sau:

Nhóm nội dung	Chi tiết ghi nhận trong văn bản
Tái hiện phương pháp TIRG	Tái hiện thành công mô hình TIRG (CVPR 2019) trên tập dữ liệu gốc tiếng Anh CSS và tập ảnh tự nhiên MIT-States với độ chính xác tương đương công bố gốc, đồng thời kiểm chứng tính khả thi của mô hình trên dữ liệu tiếng Việt.
Cấu hình mô hình trên CSS-VN	So sánh thực nghiệm giữa TIRG-FC (kết hợp ở lớp liên kết đầy đủ) và TIRG-Conv (kết hợp ở lớp tích chập), xác định cấu hình TIRG-FC mang lại hiệu quả vượt trội trong việc dịch chuyển vector đặc trưng.
Cải tiến biểu diễn với PhoBERT	Chứng minh mô hình TIRG-FC-PhoBERT vượt trội so với TIRG-FC-Embedding truyền thống trong việc xử lý các câu mô tả chứa từ ngữ ngoài tập từ điển huấn luyện (đặc biệt qua thử nghiệm kiểm chứng với các từ thay thế như "bé" và "to").
Giải quyết nhập nhằng tiếng Việt	Nghiên cứu cắt bỏ khẳng định việc sử dụng công cụ tách từ RDRSegmenter đóng vai trò thiết yếu giúp nâng cao độ chính xác truy vấn so với việc chỉ tách từ theo khoảng trắng thông thường.
Bộ dữ liệu CSS-VN	Xây dựng thành công bộ dữ liệu chuẩn CSS-VN và CSS-VN-augmented phục vụ bài toán truy vấn ảnh kết hợp câu mô tả tăng cường tiếng Việt.
Đóng góp công cụ mã nguồn mở	Thiết kế bộ công cụ dịch dựa trên tập luật và cây cú pháp URBANS, xây dựng kịch bản kiểm thử hoàn chỉnh và phát hành chính thức trên kho thư viện mã nguồn mở PyPI.

Các giải pháp kỹ thuật do tác giả đề xuất tập trung vào việc nội địa hóa và tối ưu hóa mô hình học sâu cho tiếng Việt, bao gồm: chuỗi tiền xử lý chuẩn hóa với RDRSegmenter, cơ chế biểu diễn từ sâu với PhoBERT, và công cụ chuyển ngữ dựa trên luật cú pháp URBANS.

Hạn chế và hướng nghiên cứu tiếp

Văn bản khóa luận ghi nhận một số hạn chế gắn liền với phạm vi triển khai:

• Tập dữ liệu CSS-VN được xây dựng dựa trên tập dữ liệu tổng hợp CSS mô phỏng các vật thể hình học nhân tạo 2D và 3D với các biến đổi cục bộ, chưa phản ánh đầy đủ tính đa dạng và sự phức tạp của ngữ cảnh hình ảnh thế giới thực.
• Thử nghiệm trên ảnh tự nhiên mới chỉ dừng lại ở tập dữ liệu MIT-States với tác vụ biến đổi trạng thái toàn cục (ví dụ: biến đổi tính chất nông sản từ "tươi sống" sang "mốc meo"), chưa mở rộng sang các bài toán thương mại điện tử thực tế như tìm kiếm trang phục hay phụ kiện thời trang.
• Phương pháp dịch dựa trên tập luật của URBANS dù đạt độ chính xác cao trên cấu trúc câu chuẩn tắc của tập CSS nhưng đòi hỏi phải định nghĩa lại cây cú pháp nếu áp dụng cho các cấu trúc ngôn ngữ tự do phức tạp hơn.

Hướng phát triển tiếp theo được tác giả đề xuất:

• Mở rộng bài toán và tập dữ liệu tiếng Việt sang các miền dữ liệu ảnh tự nhiên phức tạp với mô tả tự do hơn.
• Thử nghiệm các kiến trúc trích xuất đặc trưng hình ảnh sâu hơn và nâng cấp cơ chế tương tác đa phương tiện giữa các vùng ảnh cục bộ và các cụm từ trong câu mô tả.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo hữu ích cho sinh viên, học viên cao học và các nhà nghiên cứu thuộc các chuyên ngành Khoa học máy tính, Trí tuệ nhân tạo, Thị giác máy tính và Xử lý ngôn ngữ tự nhiên.

Những nội dung có giá trị tham khảo chuyên môn cao bao gồm:

• Quy trình toán học và kiến trúc triển khai của mô hình Text-Image Residual Gating (TIRG), đặc biệt là cơ chế dịch chuyển vector dư trong không gian gốc của ảnh thay vì chiếu vào không gian thứ ba.
• Phương pháp tích hợp chuỗi công cụ xử lý ngôn ngữ tự nhiên tiếng Việt chuyên biệt (RDRSegmenter và PhoBERT) vào mạng học sâu đa phương tiện để xử lý triệt để hiện tượng nhập nhằng khoảng trắng và từ ngoài từ điển.
• Thiết kế hệ thống luật và cây cú pháp trong công cụ URBANS để chuyển dịch tự động các tập ngữ liệu thị giác - ngôn ngữ có kiểm soát ngữ nghĩa.
• Phương pháp luận thực nghiệm hệ thống truy vấn đa phương tiện: từ xây dựng cấu hình hàm Triplet Loss, các kỹ thuật kiểm soát hội tụ (learning rate decay, Early Stopping) đến thiết lập thang đo đánh giá độ chính xác xếp hạng Recall@K.

Câu hỏi thường gặp

1. Bài toán truy vấn ảnh sử dụng ảnh kết hợp câu mô tả tăng cường giải quyết vấn đề gì trong tìm kiếm thông tin?
Bài toán giải quyết "khoảng cách ý định" (intention gap) khi người dùng có sẵn một hình ảnh tham khảo nhưng muốn tìm kiếm một hình ảnh mục tiêu khác biệt ở một số thuộc tính cụ thể. Thay vì phải mô tả lại toàn bộ bức ảnh bằng từ khóa hoặc chỉ tìm kiếm các bức ảnh giống hệt ảnh mẫu, người dùng cung cấp ảnh gốc kèm một câu mô tả ngôn ngữ tự nhiên thể hiện sự thay đổi mong muốn (ví dụ: đổi màu sắc, thay đổi trạng thái, thêm hoặc bớt đối tượng).

2. Điểm khác biệt cốt lõi giữa phương pháp TIRG và các phương pháp kết hợp đặc trưng như FiLM hay Concatenation là gì?
Các phương pháp như Concatenation, Relationship hay Parameter Hashing thường cố gắng biến đổi cả ảnh và văn bản để đưa về một không gian chung thứ ba (Image-Text Space), làm mất đi cấu trúc biểu diễn nguyên bản của ảnh. Phương pháp FiLM chỉ áp dụng biến đổi tuyến tính đơn giản với ít tham số và buộc phải nhúng vào tất cả các lớp của CNN. Ngược lại, TIRG sử dụng đặc trưng văn bản để định hướng dịch chuyển vector đặc trưng ảnh thông qua các phép biến đổi phi tuyến giàu tham số, giữ cho vector kết hợp vẫn nằm trọn vẹn trong không gian biểu diễn gốc của ảnh mục tiêu, do đó phù hợp trực tiếp với tác vụ truy vấn ảnh.

3. Tại sao tác giả phải thay thế lớp Embedding truyền thống bằng PhoBERT và tích hợp RDRSegmenter?
Tiếng Việt có hiện tượng nhập nhằng khoảng trắng do khoảng trắng chỉ phân tách âm tiết chứ không phân tách từ (85% từ cấu tạo bởi hai âm tiết), do đó việc tích hợp công cụ RDRSegmenter giúp tách từ ghép chính xác. Đồng thời, lớp Embedding tĩnh thông thường chỉ ghi nhận được các từ đã xuất hiện trong tập huấn luyện. Việc tích hợp mô hình ngôn ngữ tiền huấn luyện PhoBERT giúp hệ thống hiểu được ngữ cảnh sâu hơn và có khả năng biểu diễn, thích ứng tốt với những từ vựng mới nằm ngoài tập từ điển ban đầu (out-of-vocabulary), ví dụ như các tính từ thay thế "bé" và "to".

4. Công cụ URBANS do tác giả phát triển hoạt động trên nguyên lý nào và có thể tiếp cận ở đâu?
Công cụ URBANS hoạt động dựa trên cây cú pháp và hệ thống luật biến đổi ngôn ngữ kết hợp ánh xạ từ vựng một-một để dịch tự động các mẫu văn bản từ tiếng Anh sang tiếng Việt với chi phí tính toán thấp và bảo đảm cấu trúc ngữ nghĩa chuẩn xác. Công cụ này được phát triển dưới dạng mã nguồn mở, đi kèm kịch bản kiểm thử độc lập và được phát hành công khai trên kho lưu trữ thư viện Python chính thức (PyPI) tại gói pyurbans/urbans.

5. Hàm mất mát Triplet Loss thực hiện vai trò gì trong việc huấn luyện mạng TIRG?
Triplet Loss đóng vai trò tối ưu hóa không gian biểu diễn vector bằng cách thiết lập ràng buộc khoảng cách giữa bộ ba phần tử: mẫu mốc (anchor - biểu diễn kết hợp giữa ảnh tham khảo và câu mô tả), mẫu phù hợp (positive - ảnh mục tiêu đúng) và mẫu tương phản (negative - ảnh không phù hợp). Hàm mất mát ép khoảng cách giữa vector mốc và vector phù hợp tiệm cận 0, đồng thời nới rộng khoảng cách giữa vector mốc và vector tương phản vượt qua một ngưỡng biên an toàn xác định (margin).

Kết luận

Khóa luận tốt nghiệp của tác giả Nguyễn Trường Phát đã nghiên cứu và ứng dụng thành công phương pháp Text-Image Residual Gating (TIRG) cho bài toán truy vấn ảnh sử dụng kết hợp ảnh và câu mô tả tăng cường tiếng Việt. Nghiên cứu đã giải quyết hiệu quả các rào cản ngôn ngữ đặc thù của tiếng Việt thông qua việc tích hợp bộ tách từ RDRSegmenter và mô hình ngôn ngữ PhoBERT, giúp hệ thống thích ứng tốt với từ vựng ngoài từ điển. Đồng thời, công trình đóng góp bộ ngữ liệu thực nghiệm CSS-VN cùng công cụ dịch cú pháp URBANS được phát hành dưới dạng mã nguồn mở trên PyPI, đặt nền móng kỹ thuật và thực nghiệm vững chắc cho các nghiên cứu tiếp theo về truy vấn đa phương tiện tại Việt Nam.

Trích đoạn nội dung tài liệu

Chương 1. TONG QUAN 9 Với cách biểu diễn này, khi thực hiện những sự thay đổi nhỏ trên giá trị của các thuộc tính trên của mèo, chúng ta có hoàn toàn có thể tạo ra một thực thể mèo mới hoàn toàn khác mà không cần phải định nghĩa một loài động vật mới. Trong bài toán mà chúng tôi nghiên cứu, câu mô tả tăng cường là một dạng thể hiện cho sự thay đổi mong muốn trên thuộc tính của bức ảnh tham khảo đầu vào của người dung trên cùng một không gian biểu diễn chung. “Không có người và chuyển sang trời tối” —————>- Có Trời Có mặt Có Trời Có mặt người? sáng? đường? người? | sáng? đường? Có Có | có Không Không Có Ảnh 1.

Minh họa cho sự thay đổi thuộc tính trong bài toán kết hợp ảnh và câu mô tả tăng cường 1. Nhận xét Chúng ta đã có những phương pháp để kết hợp ảnh và văn bản được ứng dụng trong tác vụ Hỏi đáp trên ảnh,. Tuy nhiên ở những bài báo trên, cách kết hợp chủ yếu là xây dựng một không gian biểu diễn “hoàn toàn mới” để dung nạp ảnh và văn bản, cố gắng đưa biểu diễn ảnh về không gian thứ ba, do đó không phù hợp để giải quyết bài toán truy vấn ảnh. Trong đó phương pháp gần với phương pháp chúng tôi nhất là phương pháp FiLM, phương pháp này sử dung ít tham số hơn và chỉ có thể thực hiện một số phép biến đổi đơn giản khi kết hợp ảnh và văn bản, do đó không gian biểu diễn bị hạn chế.

Nguyên nhân chính đặc trưng kết hợp này được xây dựng để phục vụ bài toán khác không phải truy vấn, do đó bỏ qua vai trò của biểu diễn ảnh. TONG QUAN 10 Các phương pháp kết hợp khác Phương pháp TIRG Image-Text Space Image space Text space lmage space Text space Wy„ 2, Anh 1. Cách xây dung đặc trưng biến đổi của các phương pháp khác so với phương pháp TIRG. Các phương pháp khác sẽ xây dựng đặc trưng kết hợp bằng cách đưa về không gian chung thứ ba Image-Text Space.

Còn phương pháp TIRG sử dụng đặc trưng văn bản để dịch chuyển đặc trưng ảnh thành đặc trưng kết hợp trên không gian gốc của ảnh, do đó sẽ phù hợp hơn với bài toán truy vấn. Chúng ta cũng thấy tình hình nghiên cứu Học máy sôi động của các bài toán Xử lí ngôn ngữ tự nhiên trên tiếng Việt: rất nhiều phương pháp, bài toán và tập dữ liệu đánh giá ra đời trong thời gian gần đây. Đây là một làn gió mới với hi vọng mang những công cụ Học máy để giải quyết các bài toán tiếng Việt của chúng ta, vốn mang tính đặc thù về địa phương cao. Mục tiêu nghiên cứu Sau khi tìm hiểu sơ bộ về bài toán kết hợp ảnh và câu mô tả tăng cường cho truy van ảnh, chúng tôi xác định mục tiêu nghiên cứu như sau: e (i) Dau tiên chúng tôi nghiên cứu và tìm hiểu về các phương pháp cho bài toán kết hợp ảnh và câu mô tả tăng cường cho truy vấn ảnh.

e (ii) Chúng tôi nghiên cứu xây dựng mô hình TIRG cho bài toán kết hợp ảnh và câu mô tả tăng cường cho truy vấn ảnh, với những cải tiến cụ thể, Chương 1. TỔNG QUAN 11 dé mô hình hoạt động tốt trên dữ liệu tiếng Việt, với những đặc thù về ngôn ngữ rất khác biệt so với tiếng Anh. (iii) Chúng tôi tiến hành xây dựng tập dữ liệu CSS-VN để phục vu bài toán trên. Đóng góp của khóa luận (ï) Chúng tôi đã nghiên cứu, tìm hiểu và ứng dụng phương pháp Text- Image Residual Gating (TIRG) [1] được đề xuất ở hội nghị CVPR2019 để giải quyết bài toán truy vấn ảnh sử dụng kết hợp ảnh và câu mô tả tăng cường.