Mô Hình Đa Phương Thức Ứng Dụng Trong Trả Lời Câu Hỏi Hình Ảnh Đơn Giản Bằng Tiếng Việt

Nghiên cứu mô hình đa phương thức ứng dụng trong trả lời câu hỏi hình ảnh đơn giản trên tiếng Việt, nâng cao khả năng tương tác và hiểu biết.

• Tác giả: Bùi Anh Đài
• Người hướng dẫn: TS Nguyễn Viết Hưng
• Trường học: Trường Đại Học Sư Phạm
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Mô Hình Đa Phương Thức Trong Trả Lời Câu Hỏi Hình Ảnh Đơn Giản Bằng Tiếng Việt
• Loại tài liệu: báo cáo tổng kết đề tài nghiên cứu khoa học
• Năm xuất bản: 2024
• Địa điểm: Thành Phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT
• DANH MỤC CÁC BẰNG BIỂU
• DANH MỤC CÁC HÌNH VẼ
• 1. CHƯƠNG 1: TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU
• 1.1. Tình hình nghiên cứu trong nước
• 1.2. Tình hình nghiên cứu nước ngoài
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Tổng quan mô hình transformer
• 2.2. Kiến trúc transformer
• 2.3. Mô hình BERT
• 2.4. Mô hình Vision Transformer
• 2.5. Tổng quan về mạng CNN
• 2.5.1. Lớp lọc tích chập (Convolutional Filter)
• 2.5.2. Lớp lấy mẫu gộp (Pooling Layer)
• 2.5.3. Lớp kết nối đầy đủ (Fully Connected Layer)
• 3. CHƯƠNG 3: BỘ DỮ LIỆU
• 3.1. Quá trình xây dựng dữ liệu
• 3.2. Quá trình xử lí dữ liệu
• 4. CHƯƠNG 4: MÔ HÌNH VIVQA
• 4.1. Giới thiệu mô hình cho bài toán VQA
• 4.2. Mô hình đề xuất
• 4.3. Thành phần trích xuất đặc trưng thị giác
• 4.3.1. Trích xuất đặc trưng thị giác cục bộ
• 4.3.2. Trích xuất đặc trưng thị giác toàn cục
• 4.4. Thành phần trích xuất đặc trưng ngôn ngữ
• 4.4.1. Trích xuất đặc trưng ngôn ngữ bằng mô hình PhoBERT
• 4.5. Thành phần kết hợp đặc trưng đa phương thức
• 4.6. Thành phần dự đoán câu trả lời
• 5. CHƯƠNG 5: THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 6. CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan về Mô Hình Đa Phương Thức VQA Tiếng Việt 52 ký tự

Bài toán VQA tiếng Việt (Visual Question Answering) là một lĩnh vực nghiên cứu đầy tiềm năng trong trí tuệ nhân tạo (AI), kết hợp giữa thị giác máy tính và xử lý ngôn ngữ tự nhiên (NLP). Mục tiêu là xây dựng các mô hình AI có khả năng trả lời các câu hỏi về hình ảnh bằng tiếng Việt. Hệ thống cần hiểu và kết hợp thông tin từ cả hình ảnh và ngôn ngữ để đưa ra câu trả lời chính xác. Theo tài liệu gốc, VQA mở ra cơ hội mới trong việc tạo ra các ứng dụng trí tuệ nhân tạo tương tác tự nhiên với con người, có tiềm năng ứng dụng trong y tế, giáo dục và tự động hóa. Đây là một bài toán hứa hẹn mang lại giá trị to lớn trong cả nghiên cứu và thực tiễn. Việc nghiên cứu và phát triển mô hình học sâu đa phương thức không chỉ mang lại giá trị trong môi trường nghiên cứu mà còn có thể ứng dụng rộng rãi trong thực tiễn.

1.1. Tầm quan trọng của VQA trong bối cảnh AI hiện nay

Trong bối cảnh phát triển mạnh mẽ của trí tuệ nhân tạo, bài toán Visual Question Answering tiếng Việt trở nên ngày càng quan trọng. Việc xây dựng mô hình AI trả lời câu hỏi về ảnh không chỉ là một thách thức kỹ thuật mà còn mở ra nhiều ứng dụng thực tế. Khả năng hiểu và phản hồi dựa trên cả hình ảnh và ngôn ngữ giúp các hệ thống AI trở nên thông minh và hữu ích hơn trong nhiều lĩnh vực. Sự kết hợp giữa xử lý ảnh và ngôn ngữ tự nhiên cho phép tạo ra các công cụ hỗ trợ đắc lực cho con người trong công việc, học tập và giải trí.

1.2. Sự khác biệt giữa VQA và các bài toán AI khác

Điểm đặc biệt của bài toán VQA bằng tiếng Việt so với các bài toán AI khác nằm ở sự kết hợp giữa hai loại dữ liệu khác nhau: hình ảnh và ngôn ngữ. Các mô hình cần có khả năng trích xuất thông tin từ cả hai nguồn này và kết hợp thông tin thị giác và ngôn ngữ một cách hiệu quả để đưa ra câu trả lời chính xác. Điều này đòi hỏi sự phát triển của các phương pháp tiếp cận đa phương thức và các kỹ thuật xử lý thông tin phức tạp. Ngoài ra, việc xử lý ngôn ngữ tiếng Việt với các đặc thù riêng cũng là một thách thức đáng kể.

II. Thách Thức trong Xây Dựng Mô Hình VQA Tiếng Việt 60 ký tự

Mặc dù có nhiều tiềm năng, việc xây dựng mô hình VQA tiếng Việt gặp phải không ít thách thức. Một trong những vấn đề lớn nhất là sự khan hiếm của Dataset VQA tiếng Việt chất lượng cao. Các mô hình học sâu cần lượng lớn dữ liệu để huấn luyện hiệu quả, và việc thu thập và gán nhãn dữ liệu tiếng Việt tốn kém và mất thời gian. Ngoài ra, việc xử lý ngôn ngữ tiếng Việt với các đặc trưng như dấu, thanh điệu, và cấu trúc ngữ pháp phức tạp cũng là một khó khăn. Việc kết hợp ngữ cảnh hình ảnh và ngôn ngữ cũng đặt ra yêu cầu cao về khả năng hiểu và suy luận của mô hình. Theo nghiên cứu từ tài liệu gốc, một số mô hình gặp khó khăn trong việc hiểu và xử lý các câu hỏi phức tạp.

2.1. Vấn đề thiếu hụt dữ liệu huấn luyện VQA tiếng Việt

Sự thiếu hụt dữ liệu huấn luyện chất lượng cao là một trong những rào cản lớn nhất trong việc phát triển mô hình VQA cho người Việt. Các mô hình học sâu đa phương thức cần được huấn luyện trên một lượng lớn dữ liệu để có thể học được các mối quan hệ phức tạp giữa hình ảnh và ngôn ngữ. Việc tạo ra các dataset VQA tiếng Việt đòi hỏi sự đầu tư lớn về thời gian và nguồn lực, bao gồm cả việc thu thập hình ảnh, đặt câu hỏi và gán nhãn câu trả lời.

2.2. Khó khăn trong xử lý ngôn ngữ tự nhiên tiếng Việt

Ngôn ngữ tiếng Việt có nhiều đặc trưng riêng biệt, gây ra những khó khăn trong việc xử lý ngôn ngữ tự nhiên. Các vấn đề như dấu, thanh điệu, cấu trúc ngữ pháp phức tạp, và sự đa dạng trong cách diễn đạt đều đòi hỏi các mô hình AI phải có khả năng hiểu và xử lý ngôn ngữ một cách tinh tế. Việc sử dụng Word embedding tiếng Việt phù hợp và các kỹ thuật tiền xử lý ngôn ngữ hiệu quả là rất quan trọng để cải thiện hiệu suất của mô hình VQA.

2.3. Thách thức trong việc hiểu ngữ cảnh và suy luận

Để trả lời chính xác các câu hỏi về hình ảnh, mô hình VQA cần có khả năng hiểu ngữ cảnh và suy luận. Điều này đòi hỏi mô hình không chỉ nhận diện được các đối tượng trong ảnh mà còn phải hiểu được mối quan hệ giữa chúng và ý nghĩa của câu hỏi. Ví dụ, một câu hỏi như "Người đang làm gì?" có thể đòi hỏi mô hình phải hiểu được hành động đang diễn ra trong ảnh và suy luận về mục đích của hành động đó. Các cơ chế Attention mechanism trong VQA giúp ích trong việc này.

III. Phương Pháp Tiếp Cận Mô Hình Học Sâu Đa Phương Thức 57 ký tự

Để giải quyết bài toán VQA tiếng Việt, các nhà nghiên cứu thường sử dụng mô hình học sâu đa phương thức. Các mô hình này kết hợp các kỹ thuật từ thị giác máy tính và xử lý ngôn ngữ tự nhiên để trích xuất thông tin từ hình ảnh và câu hỏi. Một phương pháp phổ biến là sử dụng mạng nơ-ron tích chập (CNN) để xử lý hình ảnh và mạng nơ-ron hồi quy (RNN) hoặc Biến áp (Transformer) để xử lý câu hỏi. Sau đó, thông tin từ hai nguồn này được kết hợp lại để đưa ra câu trả lời. Theo tài liệu, một số mô hình sử dụng pre-trained models như ResNet và PhoBERT để trích xuất đặc trưng, sau đó áp dụng cơ chế Bi-directional Cross-Attention để học mối quan hệ giữa hình ảnh và văn bản.

3.1. Sử dụng CNN để trích xuất đặc trưng hình ảnh

Mạng nơ-ron tích chập (CNN) là một công cụ mạnh mẽ để trích xuất đặc trưng từ hình ảnh. Các lớp tích chập trong CNN cho phép mô hình học được các đặc trưng quan trọng như cạnh, góc, và hình dạng. Các mô hình CNN như ResNet, VGG, và Inception thường được sử dụng làm backbone để trích xuất đặc trưng hình ảnh cho mô hình VQA. Những đặc trưng này sau đó được sử dụng để giúp mô hình hiểu được nội dung của hình ảnh.

3.2. Sử dụng Transformer để xử lý câu hỏi

Biến áp (Transformer) đã trở thành một kiến trúc phổ biến trong xử lý ngôn ngữ tự nhiên. Cơ chế self-attention trong Transformer cho phép mô hình tập trung vào các phần quan trọng nhất của câu hỏi. Các mô hình Transformer như BERT, GPT, và XLNet thường được sử dụng để mã hóa câu hỏi thành các vector biểu diễn ngữ nghĩa. Việc sử dụng Transformer giúp mô hình hiểu được ý nghĩa của câu hỏi và mối quan hệ giữa các từ.

3.3. Cơ chế Attention trong mô hình VQA

Cơ chế Attention mechanism trong VQA đóng vai trò quan trọng trong việc giúp mô hình tập trung vào các phần quan trọng nhất của hình ảnh và câu hỏi. Có nhiều loại cơ chế attention khác nhau, bao gồm attention mềm, attention cứng, và co-attention. Cơ chế attention cho phép mô hình xác định các vùng trong ảnh có liên quan đến câu hỏi và các từ trong câu hỏi có liên quan đến hình ảnh. Việc sử dụng attention giúp cải thiện đáng kể hiệu suất của mô hình VQA.

IV. Ứng Dụng Mô Hình VQA trong Thực Tế và Nghiên Cứu 56 ký tự

Ứng dụng VQA tiếng Việt rất đa dạng và có tiềm năng lớn trong nhiều lĩnh vực. Trong giáo dục, VQA có thể được sử dụng để tạo ra các hệ thống học tập tương tác, giúp học sinh hiểu rõ hơn về các khái niệm và kiến thức. Trong y tế, VQA có thể hỗ trợ các bác sĩ trong việc chẩn đoán bệnh dựa trên hình ảnh y tế. Trong tự động hóa, VQA có thể được sử dụng để điều khiển robot và các thiết bị thông minh. Ngoài ra, VQA còn là một lĩnh vực nghiên cứu sôi động, với nhiều công trình mới được công bố hàng năm. Các nhà nghiên cứu đang nỗ lực cải thiện hiệu suất và khả năng của mô hình VQA để giải quyết các vấn đề phức tạp hơn.

4.1. VQA trong giáo dục và đào tạo

Trong lĩnh vực giáo dục, mô hình VQA có thể tạo ra các trải nghiệm học tập tương tác và hấp dẫn hơn. Ví dụ, sinh viên có thể đặt câu hỏi về một bức ảnh lịch sử và nhận được câu trả lời chi tiết từ hệ thống. Các ứng dụng giáo dục dựa trên VQA có thể giúp sinh viên hiểu rõ hơn về các khái niệm phức tạp và cải thiện khả năng ghi nhớ kiến thức. Ứng dụng có thể giúp sinh viên khiếm thị hiểu về hình ảnh.

4.2. VQA trong y tế và chẩn đoán bệnh

Trong y tế, mô hình AI trả lời câu hỏi về ảnh có thể hỗ trợ các bác sĩ trong việc chẩn đoán bệnh dựa trên hình ảnh y tế như X-quang, MRI, và CT scan. Bác sĩ có thể đặt câu hỏi về các đặc điểm của hình ảnh và nhận được câu trả lời giúp họ đưa ra quyết định chẩn đoán chính xác hơn. VQA cũng có thể được sử dụng để tạo ra các hệ thống hỗ trợ bệnh nhân, giúp họ hiểu rõ hơn về tình trạng sức khỏe của mình.

4.3. VQA trong tự động hóa và điều khiển robot

Trong lĩnh vực tự động hóa, mô hình VQA có thể được sử dụng để điều khiển robot và các thiết bị thông minh. Robot có thể sử dụng VQA để hiểu môi trường xung quanh và thực hiện các nhiệm vụ một cách tự động. Ví dụ, một robot có thể được yêu cầu tìm kiếm một đối tượng cụ thể trong một căn phòng hoặc thực hiện một hành động dựa trên những gì nó nhìn thấy. Tóm lại, ứng dụng VQA tiếng Việt rất phong phú và hứa hẹn sẽ mang lại nhiều lợi ích cho xã hội.

V. Đánh Giá và So Sánh Các Mô Hình VQA Tiếng Việt Hiện Nay 59 ký tự

Đánh giá mô hình VQA là một bước quan trọng để đảm bảo chất lượng và hiệu quả của các mô hình. Có nhiều Evaluation metrics VQA khác nhau được sử dụng để đánh giá các mô hình, bao gồm độ chính xác (accuracy), F1-score, và BLEU score. Các mô hình VQA tiếng Việt hiện nay có hiệu suất khác nhau, tùy thuộc vào kiến trúc, dữ liệu huấn luyện, và các kỹ thuật được sử dụng. Theo tài liệu gốc, một số nghiên cứu đã so sánh hiệu suất của các mô hình khác nhau trên dataset VQA tiếng Việt UIT-ViVQA và các bộ dữ liệu khác.

5.1. Các tiêu chí đánh giá mô hình VQA phổ biến

Có nhiều tiêu chí khác nhau để đánh giá mô hình VQA, và việc lựa chọn tiêu chí phù hợp phụ thuộc vào mục tiêu và ứng dụng cụ thể. Độ chính xác là một tiêu chí phổ biến, đo lường tỷ lệ câu trả lời đúng mà mô hình đưa ra. F1-score là một tiêu chí khác, kết hợp độ chính xác và độ bao phủ. BLEU score thường được sử dụng để đánh giá chất lượng của các câu trả lời được tạo ra bởi mô hình. Việc kết hợp nhiều tiêu chí đánh giá khác nhau có thể cung cấp một cái nhìn toàn diện hơn về hiệu suất của mô hình VQA.

5.2. So sánh các mô hình VQA tiếng Việt dựa trên hiệu suất

Các mô hình VQA tiếng Việt hiện nay có hiệu suất khác nhau, và việc so sánh chúng có thể giúp các nhà nghiên cứu và người dùng lựa chọn mô hình phù hợp nhất cho nhu cầu của mình. Một số mô hình dựa trên CNN và RNN, trong khi các mô hình khác sử dụng Transformer. Hiệu suất của các mô hình cũng phụ thuộc vào dữ liệu huấn luyện và các kỹ thuật được sử dụng, chẳng hạn như Fine-tuning mô hình VQA và cơ chế attention. Các nghiên cứu so sánh hiệu suất của các mô hình khác nhau thường được công bố trên các tạp chí khoa học và hội nghị chuyên ngành.

5.3. Yếu tố ảnh hưởng đến hiệu suất của mô hình VQA

Nhiều yếu tố khác nhau có thể ảnh hưởng đến hiệu suất của mô hình VQA. Dữ liệu huấn luyện là một yếu tố quan trọng, vì mô hình cần được huấn luyện trên một lượng lớn dữ liệu để có thể học được các mối quan hệ phức tạp giữa hình ảnh và ngôn ngữ. Kiến trúc của mô hình cũng là một yếu tố quan trọng, vì các kiến trúc khác nhau có thể có khả năng trích xuất thông tin và kết hợp thông tin khác nhau. Các kỹ thuật như attention, fine-tuning, và data augmentation cũng có thể cải thiện hiệu suất của mô hình VQA.

VI. Kết luận và Hướng Phát Triển Mô Hình VQA Tiếng Việt 60 ký tự

Mô hình đa phương thức trong trả lời câu hỏi hình ảnh đơn giản bằng tiếng Việt là một lĩnh vực nghiên cứu đầy tiềm năng, với nhiều ứng dụng thực tế. Mặc dù đã có những tiến bộ đáng kể, vẫn còn nhiều thách thức cần vượt qua, đặc biệt là trong việc thu thập dữ liệu và xử lý ngôn ngữ tiếng Việt. Tuy nhiên, với sự phát triển của các kỹ thuật học sâu và sự gia tăng của dữ liệu tiếng Việt, tương lai của VQA tiếng Việt là rất hứa hẹn. Các nghiên cứu tiếp theo có thể tập trung vào việc cải thiện khả năng hiểu ngữ cảnh, suy luận và xử lý các câu hỏi phức tạp hơn.

6.1. Tóm tắt các kết quả nghiên cứu chính

Các nghiên cứu về mô hình VQA tiếng Việt đã đạt được những kết quả đáng khích lệ, cho thấy tiềm năng của các kỹ thuật học sâu trong việc giải quyết bài toán này. Các mô hình dựa trên CNN, RNN, và Transformer đã chứng minh khả năng trích xuất thông tin từ hình ảnh và câu hỏi và kết hợp chúng để đưa ra câu trả lời chính xác. Tuy nhiên, vẫn còn nhiều vấn đề cần giải quyết, chẳng hạn như việc cải thiện khả năng hiểu ngữ cảnh và suy luận của mô hình.

6.2. Các hướng nghiên cứu tiềm năng trong tương lai

Trong tương lai, các nghiên cứu về mô hình VQA tiếng Việt có thể tập trung vào các hướng sau: 1) Phát triển các kiến trúc mô hình mới có khả năng hiểu ngữ cảnh và suy luận tốt hơn; 2) Thu thập và gán nhãn thêm dữ liệu tiếng Việt để huấn luyện các mô hình lớn hơn; 3) Nghiên cứu các kỹ thuật xử lý ngôn ngữ tiếng Việt hiệu quả hơn; 4) Ứng dụng VQA vào các lĩnh vực thực tế như giáo dục, y tế, và tự động hóa.

6.3. Tác động của VQA đến lĩnh vực AI và xã hội

Mô hình VQA có tiềm năng mang lại tác động lớn đến lĩnh vực AI và xã hội. VQA có thể giúp tạo ra các hệ thống thông minh hơn có khả năng tương tác với con người một cách tự nhiên. VQA cũng có thể giúp giải quyết các vấn đề thực tế trong nhiều lĩnh vực khác nhau. Với sự phát triển không ngừng của công nghệ, VQA tiếng Việt hứa hẹn sẽ đóng vai trò ngày càng quan trọng trong cuộc sống của chúng ta.

Trích đoạn nội dung tài liệu

Chương 1: Tông quan tình hình nghiên cứu. Chương 2: Cơ sở lý thuyết. Chương 3: Bộ dữ liệu. Chương 4: Mô hình ViVQA.

Chương 5: Thực nghiệm và đánh giá. Chương 6: Kết luận và hướng phát trién. TONG QUAN TINH HÌNH NGHIÊN CỨU Bài toán trả lời câu hỏi qua hình anh (Visual Question Answering - VQA) là một lĩnh vực nghiên cứu tương đối mới mẻ và day thách thức trong lĩnh vực trí tuệ nhân tạo. Thực trạng hiện tại của bai toán VQA cho thay, mặc du đã có những bước tiến đáng kẻ nhờ vào sự phát triển của các mô hình học sâu va dữ liệu huấn luyện lớn, nhưng vẫn còn tốn tại nhiều hạn chế, đặc biệt là trong việc xử lý các câu hỏi phức tạp, liên quan đến hiểu được ngữ cảnh của hình ảnh.

Bên cạnh đó, lợi ích của bài toán VQA là không thé phủ nhận. Nó mở ra những cơ hội mới trong việc tạo ra các ứng dụng trí tuệ nhân tạo có khả năng tương tác một cách tự nhiên với con người thông qua ngôn ngữ tự nhiên và hình ảnh. Câu hỏi: màu của chiếc bình là gì Câu hỏi: người phụ nữ nhìn ở dau Trả loi: màu xanh lá Trả lời: gương Hình 1.1 Minh hoa ví dụ cho bài toán tra loi câu hỏi hình anh Các nhà nghiên cứu đã bắt đầu sử dụng các mô hình máy học và các mô hình học sâu để giải quyết bài toán VQA.1 Tình hình nghiên cứu trong nước Lợi ích của bài toán VQA vô cùng da dang, từ việc hỗ trợ giáo dục, cho đến việc tăng cường khả năng tương tác giữa con người và máy tính một cách tự nhiên hơn 13 Kiệt và các cộng sự [1] đã đề xuất một hệ thông sử đụng Mô hình Hierarchical Co-Attention đề xác định câu trả lời cho mỗi câu hỏi dựa trên nội dung hình ảnh. Co- Attention là cơ chế chú ý lẫn nhau giữa hai luồng thông tin khác loại, trong trường hợp nay là hình ảnh và ngôn ngữ.

Mô hình Hierarchical Co-Attention khai thác thông tin từ các điểm hình ảnh và các từ trong câu hỏi dé xác định những phan quan trọng can tập trung, từ đó cai thiện khả năng tra lời câu hỏi. Hệ thống được thử nghiệm trên bộ dữ liệu VIVQA va đạt được Accuracy là 34.2 Minh họa mô hình Hierarchial Co-Attention Duy Minh và các cộng sự [2] đã xây dựng mô hình Bidirectional Cross- Attention. Mô hình nảy tận dụng sức mạnh của các mô hình đã được tiền huấn luyện (pre-trained models) dé tối ưu hóa việc trích xuất đặc trưng từ hình ảnh và văn bản. Cụ thẻ, đặc trưng hình ảnh được trích xuất bằng cách sử đụng mô hình Vision Transformer tiền huấn luyện, và đặc trưng câu hỏi thì sử dụng mô hình PhoBERT tiền huấn luyện dành riêng cho tiếng Việt.

Sau đó, cấu trúc Bi-directional Cross- Attention được áp dụng dé học các mỗi quan hệ giữa đặc trưng hình anh và văn ban, lá sử đụng đặc trưng đã học đó dé phân loại câu trả lời. Mô hình đạt được kết qua accuracy là 51.3% trên tập dữ liệu ViVQA.2 Tinh hình nghiên cứu nước ngoài Bang việc kết hợp giữa thị giác va ngôn ngữ, các model được xây dựng đề giải quyết bài toán VQA sẽ đưa chúng ta tiễn gần hơn đến mục tiêu xây dựng các hệ thống trí tuệ nhân tạo có kha năng hiểu và tương tác với thé giới xung quanh một cách tự nhiên như con người. Antol và các cộng sự [3] của ông đã dé xuất bài toán tra lời câu hỏi hình ảnh vào năm 2015 trong nghiên cứu VQA. Đây là nền tảng khởi đầu cho hệ thông VQA với sự kết hợp các lĩnh vực quan trọng là Thị giác máy tính - Computer Vision (CV) cùng xử lý ngôn ngữ tự nhiên (NLP), kết hợp với bộ dit liệu bao gồm 614,163 câu hỏi và 7,984,199 câu trả lời cho 204,721 hình ảnh từ bộ anh Microsoft COCO.

Độ chính xác của mô hình tốt nhất (LSTM Q+I được chọn dựa trên độ chính xác của VQA test-dev) trên VQA test-standard là 54. Đối với hình ánh trừu tượng, vô thực thì Pang Zhang cùng Yash Goyal [4] và đồng nghiệp của mình đã phát triển một Công trình Nghiên cứu Khoa học “Yin and Yang: Balancing and Answering Binary Visual Questions” đẻ giải quyết van đề mô hình có thé cho ra kết quả khá tốt nhưng thực sự không hiểu nội dung trong anh. Bằng cách phân tích câu hỏi và chuyền đôi thành một tuple dé tóm gọn một cách chính xác khái niệm cân tìm, đưa ra câu trả lời có hoặc không dựa theo nó. Họ đã thu thập các 15 cặp bồi cảnh chỉnh sửa chi tiết sao cho với cùng một câu hỏi, các bối cảnh sẽ có câu trả lời khác nhau, như vậy sẽ giảm bớt các câu trả lời đúng chỉ dựa trên may mắn.

Mô hình dé xuất đạt được hiệu suat tốt trên bộ đữ liệu cân bằng, vượt qua cả phương pháp tiếp cận VQA tiên tiến và các mô hình chỉ sử dụng ngôn ngữ, cho thấy sự can thiết của việc hiểu và xử lý thông tin hình ảnh chỉ tiết. Qua thử nghiệm với bộ dữ liệu đã cân bằng, mô hình chứng minh kha năng phân biệt và tra lời chính xác các câu hỏi đối với những cặp cảnh gần giống nhau nhưng có câu trả lời trái ngược. Một công trình nghiên cứu Khoa học đề xuất một phương pháp mới - "A Multi- World Approach to Question Answering about Real-World Scenes based on Uncertain Input", được phat triển bởi Mateus Malinowski va Mario Fritz [5] đã kết hợp các phan đoạn tự động, ngữ nghĩa của các cảnh đời thực với ly luận tượng trưng dựa trên khuôn khé Bayes bằng việc để xuất một cách tiếp cận đa thế giới đề trả lời câu hỏi một cách tự động. Mỗi "thé giới" là một điển giải khác nhau của cảnh quan, cho phép mô hình xem xét đa dạng các cách giải thích về cảnh và câu hỏi.

Với hơn 12,000 cặp câu hỏi-trả lời cho hình ảnh RGBD được con người cung cấp như một cách tiếp cận hiện đại cho lĩnh vực VQA. Kết quả thử nghiệm cho thấy rằng phương pháp đa thế giới có lợi thế so với tiếp cận dựa trên một thế giới duy. nhất công trình nảy sẽ được làm tiêu chuẩn cho các thử thách lớn hơn trong lĩnh vực VQA Bài báo về "Making the V in VQA Matter: Elevating the Role of Image Understanding in Visual Question Answering" của tác giả Yash Goyal, Tejas Khot và các đồng nghiệp [6] tập trung vào việc cải thiện việc phân tích hình ảnh trong Visual Question Answering (VQA) bing cach can bằng các bộ dit liệu VQA sao cho mỗi câu hỏi trong bộ dữ liệu sẽ không chi đi kèm với một hình ảnh ma sẽ là một cặp hình ảnh, dẫn tới hai câu trả lời khác nhau, dẫn đến bộ dữ liệu này sẽ cân bằng hơn so với bộ dữ liệu ban đầu, với khoảng gấp 2 lần lượng cặp ảnh-câu hỏi. Từ đó, học có thé phát triển được mô hình diễn giải tốt hơn ngoài việc chỉ cung cấp một câu trả lời cho mỗi câu hỏi.

Bải báo này nhân mạnh tầm quan trọng của việc hiểu biết sâu sắc về hình ảnh và cung cấp một hướng mới cho việc giải thích quyết định của mô hình, từ đó giúp người ding cảm thấy model này đáng tin hơn. l6 Bài báo "Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering” của Peter Anderson và cộng sự [7] đề xuất một cơ chế chú ý kết hợp bottom-up và top-down dé cải thiện việc nhận dạng hình ảnh và trả lời câu hỏi dựa trên hình ảnh (VQA). M6 hình bottom-up attention sử dung Faster R-CNN [28] dé đề xuất các vùng ảnh nỗi bật, mỗi vùng được biêu diễn bởi một vector đặc trưng. Mô hình top-dow attention sử dụng nội dung của câu hỏi làm ngữ cảnh đề xác định các vùng của ảnh mà thông tin liên quan đến câu tra lời có thé được tìm thấy.

Mô hình đạt 70.3% độ chính xác tông thê trên server thir nghiệm VQA v2. Những kết qua này minh chứng cho hiệu qua của phương pháp kết hợp bottom-up attention va top-down attention, không chi trong việc cải thiện dang ké hiệu suất của các nhiệm vụ như tạo chú thích anh và VQA ma còn trong việc mở ra hướng nghiên cứu mới cho việc kết hợp sâu sắc giữa hiểu biết về thông tin hình ảnh và ngữ nghĩa trong văn bản. Bai báo "Simple Baseline for Visual Question Answering" của Bolei Zhou, Yuandong Tian, Sainbayar Sukhbaatar, Arthur Szlam, va Rob Fergus [8] trình bay một mô hình baseline đơn giản cho nhiệm vụ Tra lời Câu hỏi Hình ảnh (VQA), nhắn mạnh sự can thiết của việc kết hợp hiểu biết ngữ cảnh ngôn ngữ và đặc trưng hình ảnh dé đưa ra câu trả lời chính xác. Tác giả đã dé xuất Mô hình iBOWIMG là một cách tiếp cận đơn giản nhưng hiệu qua cho nhiệm vụ Tra lời Câu hỏi Hình ánh (VQA).

Tác giả sử dụng Bag of Words (BoW) dé chuyên đôi mỗi câu hỏi thành một vector đặc trưng dang túi từ. Cụ thẻ, mỗi từ trong câu hỏi được biéu điễn dưới dang one-hot encoding vector, nơi mỗi chỉ sé trong vector tương ứng với một từ trong từ điền và GoogLeNet dé trích xuất đặc trưng hình ảnh, một kiến trúc mạng nơ-ron tích chập sâu. Lớp đặc trưng cuối củng (trước lớp softmax) của mạng GoogLeNet được sử dụng dé biểu diễn hình ảnh. Vector đặc trưng từ câu hỏi và vector đặc trưng hình ảnh sau đó được nối lại thành một vector duy nhất.

Việc nay tạo ra một biểu diễn đặc trưng tông hợp chứa thông tin từ cả câu hỏi và hình ảnh. Mô hình đạt độ chính xác tong thé là 55.72% trên tập dit liệu kiểm tra (test-dev), và 61.68% trên tập dữ liệu kiểm tra chuan (test-standard) cho nhiệm vu Trả lời Câu hỏi Mở rộng (Open-Ended) 17 CHƯƠNG 2.1 Tông quan mô hình transformer Kiến trúc Transformer, từ khi được giới thiệu trong bài báo "Attention is All You Need" vào năm 2017 [9], đã nhanh chóng trở thành một trong những đột phá quan trọng nhất trong lĩnh vực học máy, đặc biệt là trong bỗi cảnh xử lý ngôn ngữ tự nhiên (NLP). Sức mạnh của Transformer đến từ việc sử dụng cơ chế self-attention, một phương pháp cho phép mô hình đồng thời xem xét các phần khác nhau của chuỗi đầu vào dé xác định các phần quan trọng nhất can tập trung vào. Điều này tạo ra một cách tiếp cận hiệu quả và linh hoạt hơn so với các kiến trúc truyền thống dựa trên mang nơ-ron hồi quy (RNN) và mạng nơ-ron tích chập (CNN).