Mô Hình Đa Phương Thức Ứng Dụng Trong Trả Lời Câu Hỏi Hình Ảnh Đơn Giản Bằng Tiếng Việt

Nghiên cứu mô hình đa phương thức ứng dụng trong trả lời câu hỏi hình ảnh đơn giản trên tiếng Việt, nâng cao khả năng tương tác và hiểu biết.

• Tác giả: Bùi Anh Đài
• Người hướng dẫn: TS Nguyễn Viết Hưng
• Trường học: Trường Đại Học Sư Phạm
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Mô Hình Đa Phương Thức Trong Trả Lời Câu Hỏi Hình Ảnh Đơn Giản Bằng Tiếng Việt
• Loại tài liệu: báo cáo tổng kết đề tài nghiên cứu khoa học
• Năm xuất bản: 2024
• Địa điểm: Thành Phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT
• DANH MỤC CÁC BẰNG BIỂU
• DANH MỤC CÁC HÌNH VẼ
• 1. CHƯƠNG 1: TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU
• 1.1. Tình hình nghiên cứu trong nước
• 1.2. Tình hình nghiên cứu nước ngoài
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Tổng quan mô hình transformer
• 2.2. Kiến trúc transformer
• 2.3. Mô hình BERT
• 2.4. Mô hình Vision Transformer
• 2.5. Tổng quan về mạng CNN
• 2.5.1. Lớp lọc tích chập (Convolutional Filter)
• 2.5.2. Lớp lấy mẫu gộp (Pooling Layer)
• 2.5.3. Lớp kết nối đầy đủ (Fully Connected Layer)
• 3. CHƯƠNG 3: BỘ DỮ LIỆU
• 3.1. Quá trình xây dựng dữ liệu
• 3.2. Quá trình xử lí dữ liệu
• 4. CHƯƠNG 4: MÔ HÌNH VIVQA
• 4.1. Giới thiệu mô hình cho bài toán VQA
• 4.2. Mô hình đề xuất
• 4.3. Thành phần trích xuất đặc trưng thị giác
• 4.3.1. Trích xuất đặc trưng thị giác cục bộ
• 4.3.2. Trích xuất đặc trưng thị giác toàn cục
• 4.4. Thành phần trích xuất đặc trưng ngôn ngữ
• 4.4.1. Trích xuất đặc trưng ngôn ngữ bằng mô hình PhoBERT
• 4.5. Thành phần kết hợp đặc trưng đa phương thức
• 4.6. Thành phần dự đoán câu trả lời
• 5. CHƯƠNG 5: THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 6. CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan về Mô Hình Đa Phương Thức VQA Tiếng Việt 52 ký tự

Bài toán VQA tiếng Việt (Visual Question Answering) là một lĩnh vực nghiên cứu đầy tiềm năng trong trí tuệ nhân tạo (AI), kết hợp giữa thị giác máy tính và xử lý ngôn ngữ tự nhiên (NLP). Mục tiêu là xây dựng các mô hình AI có khả năng trả lời các câu hỏi về hình ảnh bằng tiếng Việt. Hệ thống cần hiểu và kết hợp thông tin từ cả hình ảnh và ngôn ngữ để đưa ra câu trả lời chính xác. Theo tài liệu gốc, VQA mở ra cơ hội mới trong việc tạo ra các ứng dụng trí tuệ nhân tạo tương tác tự nhiên với con người, có tiềm năng ứng dụng trong y tế, giáo dục và tự động hóa. Đây là một bài toán hứa hẹn mang lại giá trị to lớn trong cả nghiên cứu và thực tiễn. Việc nghiên cứu và phát triển mô hình học sâu đa phương thức không chỉ mang lại giá trị trong môi trường nghiên cứu mà còn có thể ứng dụng rộng rãi trong thực tiễn.

1.1. Tầm quan trọng của VQA trong bối cảnh AI hiện nay

Trong bối cảnh phát triển mạnh mẽ của trí tuệ nhân tạo, bài toán Visual Question Answering tiếng Việt trở nên ngày càng quan trọng. Việc xây dựng mô hình AI trả lời câu hỏi về ảnh không chỉ là một thách thức kỹ thuật mà còn mở ra nhiều ứng dụng thực tế. Khả năng hiểu và phản hồi dựa trên cả hình ảnh và ngôn ngữ giúp các hệ thống AI trở nên thông minh và hữu ích hơn trong nhiều lĩnh vực. Sự kết hợp giữa xử lý ảnh và ngôn ngữ tự nhiên cho phép tạo ra các công cụ hỗ trợ đắc lực cho con người trong công việc, học tập và giải trí.

1.2. Sự khác biệt giữa VQA và các bài toán AI khác

Điểm đặc biệt của bài toán VQA bằng tiếng Việt so với các bài toán AI khác nằm ở sự kết hợp giữa hai loại dữ liệu khác nhau: hình ảnh và ngôn ngữ. Các mô hình cần có khả năng trích xuất thông tin từ cả hai nguồn này và kết hợp thông tin thị giác và ngôn ngữ một cách hiệu quả để đưa ra câu trả lời chính xác. Điều này đòi hỏi sự phát triển của các phương pháp tiếp cận đa phương thức và các kỹ thuật xử lý thông tin phức tạp. Ngoài ra, việc xử lý ngôn ngữ tiếng Việt với các đặc thù riêng cũng là một thách thức đáng kể.

II. Thách Thức trong Xây Dựng Mô Hình VQA Tiếng Việt 60 ký tự

Mặc dù có nhiều tiềm năng, việc xây dựng mô hình VQA tiếng Việt gặp phải không ít thách thức. Một trong những vấn đề lớn nhất là sự khan hiếm của Dataset VQA tiếng Việt chất lượng cao. Các mô hình học sâu cần lượng lớn dữ liệu để huấn luyện hiệu quả, và việc thu thập và gán nhãn dữ liệu tiếng Việt tốn kém và mất thời gian. Ngoài ra, việc xử lý ngôn ngữ tiếng Việt với các đặc trưng như dấu, thanh điệu, và cấu trúc ngữ pháp phức tạp cũng là một khó khăn. Việc kết hợp ngữ cảnh hình ảnh và ngôn ngữ cũng đặt ra yêu cầu cao về khả năng hiểu và suy luận của mô hình. Theo nghiên cứu từ tài liệu gốc, một số mô hình gặp khó khăn trong việc hiểu và xử lý các câu hỏi phức tạp.

2.1. Vấn đề thiếu hụt dữ liệu huấn luyện VQA tiếng Việt

Sự thiếu hụt dữ liệu huấn luyện chất lượng cao là một trong những rào cản lớn nhất trong việc phát triển mô hình VQA cho người Việt. Các mô hình học sâu đa phương thức cần được huấn luyện trên một lượng lớn dữ liệu để có thể học được các mối quan hệ phức tạp giữa hình ảnh và ngôn ngữ. Việc tạo ra các dataset VQA tiếng Việt đòi hỏi sự đầu tư lớn về thời gian và nguồn lực, bao gồm cả việc thu thập hình ảnh, đặt câu hỏi và gán nhãn câu trả lời.

2.2. Khó khăn trong xử lý ngôn ngữ tự nhiên tiếng Việt

Ngôn ngữ tiếng Việt có nhiều đặc trưng riêng biệt, gây ra những khó khăn trong việc xử lý ngôn ngữ tự nhiên. Các vấn đề như dấu, thanh điệu, cấu trúc ngữ pháp phức tạp, và sự đa dạng trong cách diễn đạt đều đòi hỏi các mô hình AI phải có khả năng hiểu và xử lý ngôn ngữ một cách tinh tế. Việc sử dụng Word embedding tiếng Việt phù hợp và các kỹ thuật tiền xử lý ngôn ngữ hiệu quả là rất quan trọng để cải thiện hiệu suất của mô hình VQA.

2.3. Thách thức trong việc hiểu ngữ cảnh và suy luận

Để trả lời chính xác các câu hỏi về hình ảnh, mô hình VQA cần có khả năng hiểu ngữ cảnh và suy luận. Điều này đòi hỏi mô hình không chỉ nhận diện được các đối tượng trong ảnh mà còn phải hiểu được mối quan hệ giữa chúng và ý nghĩa của câu hỏi. Ví dụ, một câu hỏi như "Người đang làm gì?" có thể đòi hỏi mô hình phải hiểu được hành động đang diễn ra trong ảnh và suy luận về mục đích của hành động đó. Các cơ chế Attention mechanism trong VQA giúp ích trong việc này.

III. Phương Pháp Tiếp Cận Mô Hình Học Sâu Đa Phương Thức 57 ký tự

Để giải quyết bài toán VQA tiếng Việt, các nhà nghiên cứu thường sử dụng mô hình học sâu đa phương thức. Các mô hình này kết hợp các kỹ thuật từ thị giác máy tính và xử lý ngôn ngữ tự nhiên để trích xuất thông tin từ hình ảnh và câu hỏi. Một phương pháp phổ biến là sử dụng mạng nơ-ron tích chập (CNN) để xử lý hình ảnh và mạng nơ-ron hồi quy (RNN) hoặc Biến áp (Transformer) để xử lý câu hỏi. Sau đó, thông tin từ hai nguồn này được kết hợp lại để đưa ra câu trả lời. Theo tài liệu, một số mô hình sử dụng pre-trained models như ResNet và PhoBERT để trích xuất đặc trưng, sau đó áp dụng cơ chế Bi-directional Cross-Attention để học mối quan hệ giữa hình ảnh và văn bản.

3.1. Sử dụng CNN để trích xuất đặc trưng hình ảnh

Mạng nơ-ron tích chập (CNN) là một công cụ mạnh mẽ để trích xuất đặc trưng từ hình ảnh. Các lớp tích chập trong CNN cho phép mô hình học được các đặc trưng quan trọng như cạnh, góc, và hình dạng. Các mô hình CNN như ResNet, VGG, và Inception thường được sử dụng làm backbone để trích xuất đặc trưng hình ảnh cho mô hình VQA. Những đặc trưng này sau đó được sử dụng để giúp mô hình hiểu được nội dung của hình ảnh.

3.2. Sử dụng Transformer để xử lý câu hỏi

Biến áp (Transformer) đã trở thành một kiến trúc phổ biến trong xử lý ngôn ngữ tự nhiên. Cơ chế self-attention trong Transformer cho phép mô hình tập trung vào các phần quan trọng nhất của câu hỏi. Các mô hình Transformer như BERT, GPT, và XLNet thường được sử dụng để mã hóa câu hỏi thành các vector biểu diễn ngữ nghĩa. Việc sử dụng Transformer giúp mô hình hiểu được ý nghĩa của câu hỏi và mối quan hệ giữa các từ.

3.3. Cơ chế Attention trong mô hình VQA

Cơ chế Attention mechanism trong VQA đóng vai trò quan trọng trong việc giúp mô hình tập trung vào các phần quan trọng nhất của hình ảnh và câu hỏi. Có nhiều loại cơ chế attention khác nhau, bao gồm attention mềm, attention cứng, và co-attention. Cơ chế attention cho phép mô hình xác định các vùng trong ảnh có liên quan đến câu hỏi và các từ trong câu hỏi có liên quan đến hình ảnh. Việc sử dụng attention giúp cải thiện đáng kể hiệu suất của mô hình VQA.

IV. Ứng Dụng Mô Hình VQA trong Thực Tế và Nghiên Cứu 56 ký tự

Ứng dụng VQA tiếng Việt rất đa dạng và có tiềm năng lớn trong nhiều lĩnh vực. Trong giáo dục, VQA có thể được sử dụng để tạo ra các hệ thống học tập tương tác, giúp học sinh hiểu rõ hơn về các khái niệm và kiến thức. Trong y tế, VQA có thể hỗ trợ các bác sĩ trong việc chẩn đoán bệnh dựa trên hình ảnh y tế. Trong tự động hóa, VQA có thể được sử dụng để điều khiển robot và các thiết bị thông minh. Ngoài ra, VQA còn là một lĩnh vực nghiên cứu sôi động, với nhiều công trình mới được công bố hàng năm. Các nhà nghiên cứu đang nỗ lực cải thiện hiệu suất và khả năng của mô hình VQA để giải quyết các vấn đề phức tạp hơn.

4.1. VQA trong giáo dục và đào tạo

Trong lĩnh vực giáo dục, mô hình VQA có thể tạo ra các trải nghiệm học tập tương tác và hấp dẫn hơn. Ví dụ, sinh viên có thể đặt câu hỏi về một bức ảnh lịch sử và nhận được câu trả lời chi tiết từ hệ thống. Các ứng dụng giáo dục dựa trên VQA có thể giúp sinh viên hiểu rõ hơn về các khái niệm phức tạp và cải thiện khả năng ghi nhớ kiến thức. Ứng dụng có thể giúp sinh viên khiếm thị hiểu về hình ảnh.

4.2. VQA trong y tế và chẩn đoán bệnh

Trong y tế, mô hình AI trả lời câu hỏi về ảnh có thể hỗ trợ các bác sĩ trong việc chẩn đoán bệnh dựa trên hình ảnh y tế như X-quang, MRI, và CT scan. Bác sĩ có thể đặt câu hỏi về các đặc điểm của hình ảnh và nhận được câu trả lời giúp họ đưa ra quyết định chẩn đoán chính xác hơn. VQA cũng có thể được sử dụng để tạo ra các hệ thống hỗ trợ bệnh nhân, giúp họ hiểu rõ hơn về tình trạng sức khỏe của mình.

4.3. VQA trong tự động hóa và điều khiển robot

Trong lĩnh vực tự động hóa, mô hình VQA có thể được sử dụng để điều khiển robot và các thiết bị thông minh. Robot có thể sử dụng VQA để hiểu môi trường xung quanh và thực hiện các nhiệm vụ một cách tự động. Ví dụ, một robot có thể được yêu cầu tìm kiếm một đối tượng cụ thể trong một căn phòng hoặc thực hiện một hành động dựa trên những gì nó nhìn thấy. Tóm lại, ứng dụng VQA tiếng Việt rất phong phú và hứa hẹn sẽ mang lại nhiều lợi ích cho xã hội.

V. Đánh Giá và So Sánh Các Mô Hình VQA Tiếng Việt Hiện Nay 59 ký tự

Đánh giá mô hình VQA là một bước quan trọng để đảm bảo chất lượng và hiệu quả của các mô hình. Có nhiều Evaluation metrics VQA khác nhau được sử dụng để đánh giá các mô hình, bao gồm độ chính xác (accuracy), F1-score, và BLEU score. Các mô hình VQA tiếng Việt hiện nay có hiệu suất khác nhau, tùy thuộc vào kiến trúc, dữ liệu huấn luyện, và các kỹ thuật được sử dụng. Theo tài liệu gốc, một số nghiên cứu đã so sánh hiệu suất của các mô hình khác nhau trên dataset VQA tiếng Việt UIT-ViVQA và các bộ dữ liệu khác.

5.1. Các tiêu chí đánh giá mô hình VQA phổ biến

Có nhiều tiêu chí khác nhau để đánh giá mô hình VQA, và việc lựa chọn tiêu chí phù hợp phụ thuộc vào mục tiêu và ứng dụng cụ thể. Độ chính xác là một tiêu chí phổ biến, đo lường tỷ lệ câu trả lời đúng mà mô hình đưa ra. F1-score là một tiêu chí khác, kết hợp độ chính xác và độ bao phủ. BLEU score thường được sử dụng để đánh giá chất lượng của các câu trả lời được tạo ra bởi mô hình. Việc kết hợp nhiều tiêu chí đánh giá khác nhau có thể cung cấp một cái nhìn toàn diện hơn về hiệu suất của mô hình VQA.

5.2. So sánh các mô hình VQA tiếng Việt dựa trên hiệu suất

Các mô hình VQA tiếng Việt hiện nay có hiệu suất khác nhau, và việc so sánh chúng có thể giúp các nhà nghiên cứu và người dùng lựa chọn mô hình phù hợp nhất cho nhu cầu của mình. Một số mô hình dựa trên CNN và RNN, trong khi các mô hình khác sử dụng Transformer. Hiệu suất của các mô hình cũng phụ thuộc vào dữ liệu huấn luyện và các kỹ thuật được sử dụng, chẳng hạn như Fine-tuning mô hình VQA và cơ chế attention. Các nghiên cứu so sánh hiệu suất của các mô hình khác nhau thường được công bố trên các tạp chí khoa học và hội nghị chuyên ngành.

5.3. Yếu tố ảnh hưởng đến hiệu suất của mô hình VQA

Nhiều yếu tố khác nhau có thể ảnh hưởng đến hiệu suất của mô hình VQA. Dữ liệu huấn luyện là một yếu tố quan trọng, vì mô hình cần được huấn luyện trên một lượng lớn dữ liệu để có thể học được các mối quan hệ phức tạp giữa hình ảnh và ngôn ngữ. Kiến trúc của mô hình cũng là một yếu tố quan trọng, vì các kiến trúc khác nhau có thể có khả năng trích xuất thông tin và kết hợp thông tin khác nhau. Các kỹ thuật như attention, fine-tuning, và data augmentation cũng có thể cải thiện hiệu suất của mô hình VQA.

VI. Kết luận và Hướng Phát Triển Mô Hình VQA Tiếng Việt 60 ký tự

Mô hình đa phương thức trong trả lời câu hỏi hình ảnh đơn giản bằng tiếng Việt là một lĩnh vực nghiên cứu đầy tiềm năng, với nhiều ứng dụng thực tế. Mặc dù đã có những tiến bộ đáng kể, vẫn còn nhiều thách thức cần vượt qua, đặc biệt là trong việc thu thập dữ liệu và xử lý ngôn ngữ tiếng Việt. Tuy nhiên, với sự phát triển của các kỹ thuật học sâu và sự gia tăng của dữ liệu tiếng Việt, tương lai của VQA tiếng Việt là rất hứa hẹn. Các nghiên cứu tiếp theo có thể tập trung vào việc cải thiện khả năng hiểu ngữ cảnh, suy luận và xử lý các câu hỏi phức tạp hơn.

6.1. Tóm tắt các kết quả nghiên cứu chính

Các nghiên cứu về mô hình VQA tiếng Việt đã đạt được những kết quả đáng khích lệ, cho thấy tiềm năng của các kỹ thuật học sâu trong việc giải quyết bài toán này. Các mô hình dựa trên CNN, RNN, và Transformer đã chứng minh khả năng trích xuất thông tin từ hình ảnh và câu hỏi và kết hợp chúng để đưa ra câu trả lời chính xác. Tuy nhiên, vẫn còn nhiều vấn đề cần giải quyết, chẳng hạn như việc cải thiện khả năng hiểu ngữ cảnh và suy luận của mô hình.

6.2. Các hướng nghiên cứu tiềm năng trong tương lai

Trong tương lai, các nghiên cứu về mô hình VQA tiếng Việt có thể tập trung vào các hướng sau: 1) Phát triển các kiến trúc mô hình mới có khả năng hiểu ngữ cảnh và suy luận tốt hơn; 2) Thu thập và gán nhãn thêm dữ liệu tiếng Việt để huấn luyện các mô hình lớn hơn; 3) Nghiên cứu các kỹ thuật xử lý ngôn ngữ tiếng Việt hiệu quả hơn; 4) Ứng dụng VQA vào các lĩnh vực thực tế như giáo dục, y tế, và tự động hóa.

6.3. Tác động của VQA đến lĩnh vực AI và xã hội

Mô hình VQA có tiềm năng mang lại tác động lớn đến lĩnh vực AI và xã hội. VQA có thể giúp tạo ra các hệ thống thông minh hơn có khả năng tương tác với con người một cách tự nhiên. VQA cũng có thể giúp giải quyết các vấn đề thực tế trong nhiều lĩnh vực khác nhau. Với sự phát triển không ngừng của công nghệ, VQA tiếng Việt hứa hẹn sẽ đóng vai trò ngày càng quan trọng trong cuộc sống của chúng ta.

Nội dung chính

Báo Cáo Nghiên Cứu: Xây Dựng Mô Hình Đa Phương Thức Ứng Dụng Trong Trả Lời Câu Hỏi Hình Ảnh Đơn Giản Trên Tiếng Việt

Tóm tắt nghiên cứu

Nghiên cứu tập trung giải quyết bài toán Trả lời câu hỏi hình ảnh (Visual Question Answering - VQA) trong ngữ cảnh ngôn ngữ tiếng Việt – một lĩnh vực giàu tiềm năng nhưng còn đối mặt với sự khan hiếm tài nguyên và thách thức về mô hình hóa đa phương thức. Mục tiêu cốt lõi của đề tài là xây dựng một kiến trúc học sâu (Deep Learning) có khả năng hiểu, liên kết và suy luận đồng thời giữa dữ liệu thị giác phức tạp và câu hỏi văn bản tiếng Việt để đưa ra câu trả lời chính xác.

Về mặt phương pháp, nghiên cứu đề xuất một khung kiến trúc đa nhánh (Multi-branch Multimodal Architecture) tiên tiến. Mô hình kết hợp song song việc trích xuất đặc trưng thị giác cục bộ thông qua mạng tích chập ResNet-34 (loại bỏ tầng Global Average Pooling để giữ lại bản đồ đặc trưng không gian $7 \times 7 \times 512$) và đặc trưng thị giác toàn cục thông qua Vision Transformer (ViT). Về phía ngôn ngữ, mô hình tận dụng sức mạnh biểu diễn ngữ nghĩa bản địa hóa của PhoBERT-base. Toàn bộ thông tin đa phương thức được hợp nhất thông qua cơ chế chú ý có hướng dẫn (Guided Attention Mechanism) trước khi đưa vào bộ phân loại dự đoán trong tập 353 nhãn câu trả lời trên bộ dữ liệu chuẩn ViVQA.

Kết quả thực nghiệm khẳng định rằng việc kết hợp đồng thời đặc trưng thị giác cục bộ và toàn cục giúp mô hình vượt trội so với các phương pháp truyền thống và các kiến trúc đơn luồng trước đây. Nghiên cứu mang lại ý nghĩa quan trọng trong việc đặt nền móng kỹ thuật cho các ứng dụng AI tương tác thị giác - ngôn ngữ tiếng Việt trong thực tiễn như hỗ trợ người khiếm thị, giáo dục thông minh và hệ thống truy vấn dữ liệu đa phương tiện.

---

Bối cảnh và tầm quan trọng

Trong bức tranh toàn cảnh của Trí tuệ nhân tạo (AI), sự giao thoa giữa Thị giác máy tính (Computer Vision - CV) và Xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP) đã hình thành nên lĩnh vực học đa phương thức (Multimodal Learning). Bài toán VQA là một trong những bài toán thách thức nhất của lĩnh vực này, đòi hỏi hệ thống không chỉ dừng lại ở mức nhận diện vật thể (Object Detection) hay phân loại văn bản (Text Classification) đơn thuần, mà phải đạt đến mức độ hiểu sâu sắc ngữ cảnh, mối liên hệ không gian và logic ngữ nghĩa giữa các thực thể trong ảnh dựa trên câu hỏi của con người.

Phần lớn các thành tựu VQA trên thế giới hiện nay được tối ưu hóa cho tiếng Anh với các bộ dữ liệu đồ sộ như VQA v1, VQA v2 hay GQA. Ngược lại, đối với tiếng Việt – ngôn ngữ đơn lập với nhiều đặc thù về từ ghép, hiện tượng đa nghĩa và ngữ pháp phụ thuộc ngữ cảnh – nghiên cứu về VQA vẫn còn ở giai đoạn sơ khởi. Các công trình trước đây tại Việt Nam (như mô hình Hierarchical Co-Attention đạt độ chính xác khoảng 34.2%, hay Bidirectional Cross-Attention đạt 51.3%) đã cho thấy nỗ lực ban đầu nhưng vẫn bộc lộ hạn chế:

• Chưa khai thác triệt để mối quan hệ giữa đặc trưng chi tiết cục bộ (local features) và ngữ cảnh bao quát toàn cảnh (global scene features).
• Cơ chế dung hợp (fusion) giữa hai luồng dữ liệu hình ảnh và văn bản chưa tối ưu, dẫn đến việc mất mát thông tin quan trọng khi trả lời các câu hỏi phức tạp.

Nghiên cứu này ra đời đúng thời điểm khi nhu cầu phát triển các hệ sinh thái AI có chủ quyền công nghệ và bản địa hóa cao đang trở thành ưu tiên chiến lược. Việc làm chủ kiến trúc mô hình VQA tiếng Việt mở ra tiềm năng ứng dụng to lớn trong việc số hóa giáo dục, tự động hóa dịch vụ khách hàng, phân tích hình ảnh y tế và phát triển thiết bị hỗ trợ người yếu thế tương tác với thế giới xung quanh.

---

Methodology và approach

Nghiên cứu áp dụng quy trình thiết kế và thực nghiệm học sâu có tính hệ thống cao, bao gồm 4 khối thành phần chính:

1. Trích xuất đặc trưng thị giác đa tầng (Visual Feature Extraction)

• Đặc trưng cục bộ (Local Features): Sử dụng mạng ResNet-34 tiền huấn luyện. Điểm cải tiến kỹ thuật quan trọng là trích xuất dữ liệu trực tiếp từ khối residual cuối cùng trước lớp Global Average Pooling (GAP). Bản đồ đặc trưng có kích thước $7 \times 7 \times 512$ được làm phẳng thành tensor $49 \times 512$, đại diện cho 49 vùng không gian riêng biệt, bảo toàn chi tiết về màu sắc, ranh giới và thuộc tính cụ thể của vật thể.
• Đặc trưng toàn cục (Global Features): Áp dụng Vision Transformer (ViT). Bằng cách chia ảnh thành các patch tuần tự và xử lý qua cơ chế Self-Attention đa tầng, ViT giúp mô hình thấu hiểu mối quan hệ tương tác không gian rộng và chủ đề tổng thể của bức ảnh.

2. Trích xuất đặc trưng ngôn ngữ tiếng Việt (Textual Feature Extraction)

• Câu hỏi đầu vào được tiền xử lý và chuẩn hóa độ dài cố định về 20 từ (padding/truncating).
• Mô hình ngôn ngữ tiền huấn luyện PhoBERT-base được sử dụng để chuyển đổi chuỗi token thành các vector nhúng ngữ nghĩa chuyên sâu. PhoBERT được đào tạo trên kho ngữ liệu tiếng Việt khổng lồ, giúp mã hóa hoàn hảo các đặc trưng cú pháp và từ vựng đặc trưng của tiếng Việt.

3. Cơ chế kết hợp đặc trưng đa phương thức (Multimodal Fusion)

• Nhóm tác giả thiết kế kiến trúc đa nhánh sử dụng khối Guided Attention (Cơ chế chú ý có hướng dẫn).
• Cơ chế này cho phép luồng thông tin ngôn ngữ (vector câu hỏi) đóng vai trò làm vector truy vấn (Query) để "hướng dẫn" việc lọc và tăng trọng số cho các vùng đặc trưng thị giác liên quan nhất, đồng thời triệt tiêu các thông tin nhiễu từ bối cảnh không liên quan.

4. Dự đoán câu trả lời và Bộ dữ liệu thực nghiệm

• Bài toán được mô hình hóa dưới dạng bài toán phân loại đa lớp (Multi-class Classification) trên không gian đầu ra gồm 353 lớp câu trả lời phổ biến nhất.
• Tập dữ liệu sử dụng là ViVQA (được xây dựng từ MS-COCO với quy trình phiên dịch 2 bước: dịch máy kết hợp kiểm định chuyên gia người Việt). Dữ liệu được chia thành 4 nhóm câu hỏi: Xác định vật thể/vị trí, Đếm số lượng, Màu sắc và Địa điểm.
• Độ tin cậy và hiệu năng được đánh giá chặt chẽ thông qua các chỉ số: Accuracy, Precision, Recall và F1-Score.

---

Phát hiện chính

Qua quá trình thực nghiệm và phân tích định lượng lẫn định tính, nghiên cứu đã rút ra những phát hiện học thuật cốt lõi sau:

Nhóm câu hỏi:

1. Ưu thế vượt trội của việc trích xuất đặc trưng thị giác lai ghép (Hybrid Vision)

Việc kết hợp đồng thời ResNet-34 (cục bộ) và ViT (toàn cục) mang lại hiệu quả vượt bậc so với việc chỉ sử dụng một loại kiến trúc đơn lẻ. Nếu chỉ dùng CNN truyền thống có GAP, các thông tin chi tiết về mối quan hệ không gian giữa các vật thể nhỏ thường bị nén và mất mát. Khi loại bỏ GAP và kết hợp cùng ViT, mô hình có khả năng nắm bắt được cả "vật thể ở đâu" (nhờ $49 \times 512$ feature maps của ResNet) và "bối cảnh tổng thể là gì" (nhờ ViT).

2. Vai trò quyết định của mô hình ngôn ngữ bản địa PhoBERT

So với việc sử dụng các mô hình Word2Vec, GloVe hay BERT đa ngôn ngữ (mBERT), PhoBERT-base giúp mô hình hiểu chính xác cấu trúc ngữ pháp câu hỏi tiếng Việt (đặc biệt là các từ để hỏi như "những gì", "ở đâu", "màu gì"). Nhờ đó, vector ngữ cảnh tạo ra có tính phân biệt cao, đóng vai trò định hướng cực kỳ hiệu quả cho khối Guided Attention.

3. Sự phân hóa hiệu năng rõ rệt theo 4 nhóm câu hỏi

• Nhóm câu hỏi về màu sắc (Color) và nhận diện vật thể (Object): Đạt kết quả xuất sắc nhất. Mô hình dễ dàng định vị vùng ảnh tương ứng và trích xuất đặc trưng quang học để đối chiếu với câu hỏi.
• Nhóm câu hỏi về đếm số lượng (Counting): Đòi hỏi mô hình phải phân tách và định lượng nhiều đối tượng cùng loại, tạo ra thách thức lớn hơn về mặt phân vùng không gian.
• Nhóm câu hỏi về địa điểm (Location/Scene): Đòi hỏi sự kết hợp cao độ của đặc trưng toàn cục từ ViT để nhận biết bối cảnh tổng thể (ví dụ: bến tàu, nhà bếp, công viên).

4. Đột phá từ cơ chế Guided Attention

Cơ chế chú ý có hướng dẫn giúp mô hình giải thích được quyết định phân loại. Khi câu hỏi hướng tới một đối tượng cụ thể (ví dụ: "những gì đang đậu trên cành cây"), trọng số chú ý được phân bổ tập trung tuyệt đối vào vùng pixel chứa vật thể ("con chim"), loại bỏ hoàn toàn ảnh hưởng của nền trời hay các yếu tố phụ.

---

Đóng góp khoa học

Khía cạnh	Giá trị đóng góp của nghiên cứu
Đóng góp lý thuyết	Đề xuất khung kiến trúc học sâu đa phương thức tích hợp song song CNN và Vision Transformer cùng cơ chế Guided Attention chuyên biệt cho ngôn ngữ tiếng Việt.
Đổi mới phương pháp	Khắc phục điểm nghẽn mất mát thông tin không gian trong CNN bằng cách bỏ lớp GAP, kết hợp hiệu quả biểu diễn ngôn ngữ của PhoBERT với đặc trưng thị giác 2 luồng.
Giá trị thực tiễn	Xây dựng pipeline xử lý dữ liệu và mô hình hóa hoàn chỉnh cho bài toán VQA tiếng Việt, có thể chuyển giao trực tiếp vào các ứng dụng phần mềm thực tế.
Tác động dữ liệu & học thuật	Đóng góp thêm các phân tích chuyên sâu trên tập dữ liệu chuẩn ViVQA, làm cơ sở benchmark tin cậy cho cộng đồng nghiên cứu AI tại Việt Nam.

---

Đối tượng quan tâm

                                      (Thiết bị hỗ trợ người khiếm thị, Số hóa giáo dục)

1. Nhà nghiên cứu học thuật và Giảng viên, Sinh viên ngành Khoa học máy tính:

   • Cung cấp tài liệu tham khảo chất lượng cao về phương pháp kết hợp các mô hình State-of-the-Art (SOTA) như ResNet, ViT, BERT/PhoBERT trong bài toán đa phương thức.
   • Làm tiền đề để mở rộng sang các nghiên cứu về Visual Reasoning phức tạp hơn.

2. Kỹ sư AI và Doanh nghiệp phát triển giải pháp:

   • Ứng dụng trực tiếp kiến trúc mô hình vào các hệ thống hỏi đáp thị giác thông minh, phân tích hình ảnh tài liệu, tra cứu dữ liệu media theo ngôn ngữ tự nhiên.
   • Tối ưu hóa chi phí tính toán khi lựa chọn phiên bản PhoBERT-base và ResNet-34 gọn nhẹ nhưng hiệu quả cao.

3. Tổ chức hỗ trợ cộng đồng và Chuyển đổi số giáo dục:

   • Ứng dụng trong việc chế tạo các thiết bị/phần mềm hỗ trợ người khiếm thị "nhìn" và tương tác với môi trường thông qua mô tả bằng giọng nói tiếng Việt.
   • Xây dựng các hệ thống học liệu tương tác trực quan cho học sinh, sinh viên.

---

FAQ (Câu hỏi thường gặp)

1. Phát hiện quan trọng nhất của đề tài là gì?

Trả lời: Phát hiện cốt lõi là việc tích hợp đồng thời đặc trưng thị giác cục bộ (từ ResNet-34 không dùng GAP) và đặc trưng toàn cục (từ ViT), kết hợp với cơ chế Guided Attention và mô hình ngôn ngữ PhoBERT, tạo ra bước đột phá về độ chính xác khi xử lý câu hỏi hình ảnh tiếng Việt, vượt trội hơn hẳn các mô hình chỉ dựa trên một luồng đặc trưng đơn lẻ.

2. Methodology của nghiên cứu có điểm gì đặc biệt so với các công trình trước?

Trả lời: Điểm đặc biệt nằm ở thiết kế luồng trích xuất thị giác kép: giữ lại trọn vẹn bản đồ đặc trưng $7 \times 7 \times 512$ của ResNet để không làm mất thông tin vị trí các vật thể nhỏ, đồng thời bổ trợ bởi cơ chế chú ý toàn cảnh của ViT, giúp bộ ghép nối Guided Attention có đầy đủ dữ liệu đa chiều để đối chiếu với câu hỏi tiếng Việt.

3. Kết quả của nghiên cứu có khả năng tổng quát hóa (Generalize) không?

Trả lời: Có. Kiến trúc đa phương thức đề xuất có tính module hóa cao, hoàn toàn có thể áp dụng mở rộng cho các bài toán đa phương thức khác như Sinh chú thích ảnh tiếng Việt (Image Captioning), Truy vấn ảnh bằng văn bản (Text-to-Image Retrieval) hoặc hệ thống hỏi đáp tài liệu dạng ảnh (DocVQA).

4. Hướng đi tiếp theo (Next Steps) của nghiên cứu này là gì?

Trả lời: Nghiên cứu sẽ mở rộng từ không gian phân loại câu trả lời cố định (Closed-vocabulary với 353 nhãn) sang sinh câu trả lời tự do dạng văn bản (Open-ended Generative VQA) bằng cách tích hợp các mô hình ngôn ngữ lớn đa phương thức (Large Multimodal Models - LMMs), đồng thời gia tăng quy mô và độ phức tạp của tập dữ liệu tiếng Việt.

5. Ứng dụng thực tiễn nổi bật nhất của mô hình là gì?

Trả lời: Ứng dụng tiềm năng và nhân văn nhất là tích hợp vào kính thông minh hoặc ứng dụng di động hỗ trợ người khiếm thị đọc biển báo, nhận diện vật dụng xung quanh và giải đáp thắc mắc về môi trường thực tế hoàn toàn bằng tiếng Việt.

---

Kết luận

Đề tài nghiên cứu đã chứng minh tính đúng đắn và hiệu quả vượt trội của mô hình học sâu đa phương thức trong việc giải quyết bài toán Trả lời câu hỏi hình ảnh (VQA) bằng tiếng Việt. Bằng việc kết hợp tinh tế giữa ResNet-34, Vision Transformer, PhoBERT và cơ chế Guided Attention, công trình đã giải quyết thành công điểm nghẽn về xử lý ngữ cảnh thị giác - ngôn ngữ đặc thù.

Trong tương lai, việc tiếp tục mở rộng quy mô ngữ liệu VQA tiếng Việt và tích hợp các kỹ thuật sinh văn bản tiên tiến sẽ là chìa khóa để đưa các hệ thống AI đa phương thức phục vụ đắc lực cho đời sống xã hội. Nghiên cứu này là một đóng góp học thuật giá trị, thúc đẩy sự phát triển mạnh mẽ của cộng đồng nghiên cứu Trí tuệ nhân tạo tại Việt Nam.

Trích đoạn nội dung tài liệu

Chương 1: Tông quan tình hình nghiên cứu. Chương 2: Cơ sở lý thuyết. Chương 3: Bộ dữ liệu. Chương 4: Mô hình ViVQA.

Chương 5: Thực nghiệm và đánh giá. Chương 6: Kết luận và hướng phát trién. TONG QUAN TINH HÌNH NGHIÊN CỨU Bài toán trả lời câu hỏi qua hình anh (Visual Question Answering - VQA) là một lĩnh vực nghiên cứu tương đối mới mẻ và day thách thức trong lĩnh vực trí tuệ nhân tạo. Thực trạng hiện tại của bai toán VQA cho thay, mặc du đã có những bước tiến đáng kẻ nhờ vào sự phát triển của các mô hình học sâu va dữ liệu huấn luyện lớn, nhưng vẫn còn tốn tại nhiều hạn chế, đặc biệt là trong việc xử lý các câu hỏi phức tạp, liên quan đến hiểu được ngữ cảnh của hình ảnh.

Bên cạnh đó, lợi ích của bài toán VQA là không thé phủ nhận. Nó mở ra những cơ hội mới trong việc tạo ra các ứng dụng trí tuệ nhân tạo có khả năng tương tác một cách tự nhiên với con người thông qua ngôn ngữ tự nhiên và hình ảnh. Câu hỏi: màu của chiếc bình là gì Câu hỏi: người phụ nữ nhìn ở dau Trả loi: màu xanh lá Trả lời: gương Hình 1.1 Minh hoa ví dụ cho bài toán tra loi câu hỏi hình anh Các nhà nghiên cứu đã bắt đầu sử dụng các mô hình máy học và các mô hình học sâu để giải quyết bài toán VQA.1 Tình hình nghiên cứu trong nước Lợi ích của bài toán VQA vô cùng da dang, từ việc hỗ trợ giáo dục, cho đến việc tăng cường khả năng tương tác giữa con người và máy tính một cách tự nhiên hơn 13 Kiệt và các cộng sự [1] đã đề xuất một hệ thông sử đụng Mô hình Hierarchical Co-Attention đề xác định câu trả lời cho mỗi câu hỏi dựa trên nội dung hình ảnh. Co- Attention là cơ chế chú ý lẫn nhau giữa hai luồng thông tin khác loại, trong trường hợp nay là hình ảnh và ngôn ngữ.

Mô hình Hierarchical Co-Attention khai thác thông tin từ các điểm hình ảnh và các từ trong câu hỏi dé xác định những phan quan trọng can tập trung, từ đó cai thiện khả năng tra lời câu hỏi. Hệ thống được thử nghiệm trên bộ dữ liệu VIVQA va đạt được Accuracy là 34.2 Minh họa mô hình Hierarchial Co-Attention Duy Minh và các cộng sự [2] đã xây dựng mô hình Bidirectional Cross- Attention. Mô hình nảy tận dụng sức mạnh của các mô hình đã được tiền huấn luyện (pre-trained models) dé tối ưu hóa việc trích xuất đặc trưng từ hình ảnh và văn bản. Cụ thẻ, đặc trưng hình ảnh được trích xuất bằng cách sử đụng mô hình Vision Transformer tiền huấn luyện, và đặc trưng câu hỏi thì sử dụng mô hình PhoBERT tiền huấn luyện dành riêng cho tiếng Việt.

Sau đó, cấu trúc Bi-directional Cross- Attention được áp dụng dé học các mỗi quan hệ giữa đặc trưng hình anh và văn ban, lá sử đụng đặc trưng đã học đó dé phân loại câu trả lời. Mô hình đạt được kết qua accuracy là 51.3% trên tập dữ liệu ViVQA.2 Tinh hình nghiên cứu nước ngoài Bang việc kết hợp giữa thị giác va ngôn ngữ, các model được xây dựng đề giải quyết bài toán VQA sẽ đưa chúng ta tiễn gần hơn đến mục tiêu xây dựng các hệ thống trí tuệ nhân tạo có kha năng hiểu và tương tác với thé giới xung quanh một cách tự nhiên như con người. Antol và các cộng sự [3] của ông đã dé xuất bài toán tra lời câu hỏi hình ảnh vào năm 2015 trong nghiên cứu VQA.