Tổng quan nghiên cứu

Visual Question Answering (VQA) là một lĩnh vực nghiên cứu mới nổi trong trí tuệ nhân tạo, tập trung vào việc phát triển các hệ thống có khả năng hiểu và trả lời các câu hỏi dựa trên nội dung hình ảnh. Theo ước tính, với sự phát triển nhanh chóng của các mô hình học sâu và sự gia tăng của các bộ dữ liệu lớn, VQA đã đạt được nhiều tiến bộ đáng kể trong những năm gần đây. Tuy nhiên, các hệ thống VQA truyền thống thường chỉ trả lời được các câu hỏi đơn giản liên quan đến đối tượng hoặc hành động trong ảnh, còn hạn chế trong việc xử lý các câu hỏi phức tạp đòi hỏi kiến thức sâu rộng bên ngoài hình ảnh.

Để khắc phục hạn chế này, nghiên cứu tập trung vào Knowledge-based Visual Question Answering (KBVQA) – một hướng đi mới kết hợp giữa xử lý ngôn ngữ tự nhiên, xử lý hình ảnh và truy xuất thông tin từ cơ sở tri thức (knowledge base). Mục tiêu chính của luận văn là đánh giá hiệu quả của các mô hình baseline trong nhiệm vụ KBVQA, cụ thể là hai mô hình: KBVQA sử dụng BERT base kết hợp CNN và KBVQA sử dụng BERT large kết hợp CLIP, trên bộ dữ liệu ViQuAE với các câu hỏi đã được phân loại và câu trả lời chuẩn xác. Phạm vi nghiên cứu tập trung vào ngôn ngữ tiếng Anh, sử dụng các mô hình học sâu hiện đại và kỹ thuật hợp nhất đa phương thức (multimodal fusion) trong khoảng thời gian từ tháng 2 đến tháng 6 năm 2023 tại Trường Đại học Bách Khoa TP. Hồ Chí Minh.

Nghiên cứu có ý nghĩa quan trọng trong việc nâng cao khả năng hiểu và trả lời các câu hỏi mở rộng, phức tạp dựa trên hình ảnh, góp phần phát triển các hệ thống AI thông minh hơn, có thể ứng dụng trong nhiều lĩnh vực như trợ lý ảo, giáo dục, và phân tích dữ liệu đa phương tiện.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình chính sau:

  • Convolutional Neural Networks (CNNs): Mạng nơ-ron tích chập được sử dụng để trích xuất đặc trưng hình ảnh. CNN có khả năng học các mẫu phức tạp từ dữ liệu hình ảnh với kiến trúc gồm các lớp tích chập, pooling và fully connected. Mạng ResNet với kỹ thuật skip connection được áp dụng để giải quyết vấn đề biến mất gradient khi mạng sâu.

  • Bidirectional Encoder Representations from Transformers (BERT): Mô hình ngôn ngữ dựa trên kiến trúc Transformer, có khả năng học biểu diễn ngữ cảnh hai chiều của từ trong câu. BERT được huấn luyện với hai nhiệm vụ chính là Masked Language Model và Next Sentence Prediction, giúp nâng cao khả năng hiểu ngôn ngữ tự nhiên.

  • Contrastive Language-Image Pre-Training (CLIP): Mô hình học đa phương thức được huấn luyện trên 400 triệu cặp ảnh và văn bản, sử dụng mục tiêu đối chiếu (contrastive learning) để liên kết biểu diễn hình ảnh và ngôn ngữ. CLIP giúp mã hóa hình ảnh thành vector đặc trưng có thể kết hợp với các mô hình ngôn ngữ.

  • Knowledge Base (Wikipedia): Cơ sở tri thức được sử dụng là Wikipedia, cung cấp thông tin phong phú về các thực thể trong ảnh. Việc truy xuất thông tin từ KB giúp hệ thống trả lời các câu hỏi mở rộng, vượt ra ngoài nội dung trực tiếp của hình ảnh.

Các khái niệm chính bao gồm: multimodal fusion (hợp nhất đa phương thức), late fusion (hợp nhất muộn), entity recognition (nhận dạng thực thể), information retrieval (truy xuất thông tin), và question answering (trả lời câu hỏi).

Phương pháp nghiên cứu

  • Nguồn dữ liệu: Sử dụng bộ dữ liệu ViQuAE, bao gồm các câu hỏi đã được phân loại và câu trả lời chuẩn xác (ground truth), cùng với cơ sở tri thức Wikipedia phiên bản 2019/08/01.

  • Phương pháp phân tích: Nghiên cứu áp dụng kỹ thuật late fusion để kết hợp các mô hình học sâu xử lý ngôn ngữ (BERT base và BERT large) với mô hình xử lý hình ảnh (CNN và CLIP). Các mô hình được huấn luyện và đánh giá dựa trên các chỉ số precision, recall và F1-score. Ngoài ra, mô hình GPT-2 được thử nghiệm để mở rộng khả năng sinh câu trả lời chi tiết hơn.

  • Timeline nghiên cứu: Quá trình nghiên cứu diễn ra từ tháng 2 đến tháng 6 năm 2023, bao gồm các bước thu thập dữ liệu, xây dựng mô hình, huấn luyện, đánh giá và phân tích kết quả.

  • Cỡ mẫu và chọn mẫu: Bộ dữ liệu ViQuAE được sử dụng làm tập huấn luyện và kiểm thử, đảm bảo tính đại diện cho các câu hỏi về thực thể nổi tiếng. Phương pháp chọn mẫu dựa trên phân loại câu hỏi và thực thể trong ảnh.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

  1. Hiệu quả của mô hình BERT large kết hợp CLIP vượt trội hơn BERT base kết hợp CNN: Mô hình BERT large + CLIP đạt F1-score cao hơn khoảng 15% so với mô hình BERT base + CNN trên bộ dữ liệu ViQuAE, cho thấy khả năng hiểu ngôn ngữ và trích xuất đặc trưng hình ảnh tốt hơn.

  2. Khả năng trả lời các câu hỏi mở rộng về thực thể: Mô hình tích hợp knowledge base có thể trả lời chính xác các câu hỏi như "Thành tựu nghiên cứu nổi bật của Albert Einstein là gì?" trong khi mô hình truyền thống chỉ trả lời được các câu hỏi về đặc điểm hình ảnh như màu sắc hay số lượng.

  3. Ứng dụng GPT-2 giúp mở rộng câu trả lời: Việc tích hợp GPT-2 vào module trả lời giúp sinh ra các câu trả lời chi tiết và tự nhiên hơn, tăng tính thuyết phục và độ phong phú của thông tin cung cấp.

  4. Hạn chế trong phát hiện đối tượng và nhận dạng khuôn mặt: Do giới hạn thời gian và phạm vi nghiên cứu, các module phát hiện đối tượng và nhận dạng khuôn mặt chưa được triển khai đầy đủ, ảnh hưởng đến khả năng nhận diện chính xác thực thể trong ảnh.

Thảo luận kết quả

Kết quả cho thấy việc sử dụng mô hình BERT large với CLIP giúp cải thiện đáng kể hiệu suất KBVQA nhờ khả năng học biểu diễn ngôn ngữ và hình ảnh sâu sắc hơn. So với các nghiên cứu trước đây chỉ sử dụng CNN hoặc LSTM, việc áp dụng Transformer và mô hình học đa phương thức đã nâng cao khả năng xử lý các câu hỏi phức tạp. Việc tích hợp knowledge base Wikipedia cung cấp nguồn thông tin phong phú, giúp hệ thống trả lời các câu hỏi đòi hỏi kiến thức nền tảng bên ngoài hình ảnh.

Tuy nhiên, việc chưa hoàn thiện module nhận dạng thực thể làm giảm độ chính xác trong một số trường hợp, đặc biệt khi ảnh chứa nhiều đối tượng hoặc thực thể phức tạp. Biểu đồ so sánh F1-score giữa các mô hình baseline minh họa rõ sự vượt trội của BERT large + CLIP. Bảng thống kê kết quả chi tiết cũng cho thấy sự khác biệt về precision và recall giữa các mô hình.

Những phát hiện này khẳng định tiềm năng của phương pháp multimodal fusion kết hợp knowledge base trong việc phát triển các hệ thống VQA thông minh hơn, đồng thời chỉ ra các hướng cải tiến cần thiết như nâng cao khả năng nhận dạng thực thể và mở rộng dữ liệu huấn luyện.

Đề xuất và khuyến nghị

  1. Mở rộng và đa dạng hóa bộ dữ liệu huấn luyện: Đào tạo các mô hình BERT với bộ dữ liệu lớn hơn và đa dạng hơn về ngôn ngữ và chủ đề để nâng cao khả năng hiểu ngôn ngữ và xử lý các câu hỏi phức tạp. Thời gian thực hiện dự kiến 6-12 tháng, do nhóm nghiên cứu AI và dữ liệu đảm nhiệm.

  2. Phát triển module phát hiện đối tượng và nhận dạng khuôn mặt: Triển khai các kỹ thuật hiện đại như Faster R-CNN, FaceNet để nhận diện chính xác thực thể trong ảnh, làm đầu vào cho hệ thống truy xuất knowledge base. Dự kiến hoàn thành trong 3-6 tháng, do nhóm thị giác máy tính thực hiện.

  3. Tích hợp các mô hình sinh ngôn ngữ nâng cao: Sử dụng GPT-3 hoặc các biến thể mới hơn để cải thiện khả năng sinh câu trả lời tự nhiên, chi tiết và phù hợp ngữ cảnh. Thời gian triển khai 4-6 tháng, do nhóm NLP đảm nhận.

  4. Tối ưu hóa kỹ thuật hợp nhất đa phương thức: Nghiên cứu và áp dụng các phương pháp fusion sớm (early fusion) hoặc attention-based fusion để tăng cường tương tác giữa đặc trưng hình ảnh và ngôn ngữ, nâng cao hiệu quả mô hình. Thời gian thực hiện 6 tháng, phối hợp giữa các nhóm AI.

  5. Xây dựng giao diện người dùng thân thiện: Phát triển ứng dụng hoặc API để người dùng cuối có thể tương tác trực tiếp với hệ thống KBVQA, phục vụ các mục đích giáo dục, trợ lý ảo hoặc phân tích dữ liệu. Thời gian dự kiến 3-4 tháng, do nhóm phát triển phần mềm đảm nhiệm.

Đối tượng nên tham khảo luận văn

  1. Nhà nghiên cứu và sinh viên ngành trí tuệ nhân tạo, xử lý ngôn ngữ tự nhiên và thị giác máy tính: Luận văn cung cấp cái nhìn tổng quan về các mô hình học sâu hiện đại, kỹ thuật hợp nhất đa phương thức và ứng dụng knowledge base trong VQA, giúp mở rộng kiến thức và định hướng nghiên cứu.

  2. Chuyên gia phát triển hệ thống trợ lý ảo và chatbot: Các giải pháp KBVQA có thể được áp dụng để nâng cao khả năng hiểu và trả lời câu hỏi dựa trên hình ảnh, cải thiện trải nghiệm người dùng trong các ứng dụng thực tế.

  3. Doanh nghiệp và tổ chức nghiên cứu phát triển sản phẩm AI đa phương thức: Tham khảo để áp dụng các mô hình và kỹ thuật mới trong việc xây dựng các hệ thống phân tích hình ảnh kết hợp ngôn ngữ, phục vụ các lĩnh vực như y tế, giáo dục, an ninh.

  4. Nhà quản lý và hoạch định chính sách trong lĩnh vực công nghệ thông tin: Hiểu rõ tiềm năng và thách thức của công nghệ KBVQA để định hướng đầu tư, phát triển nguồn nhân lực và ứng dụng công nghệ AI trong các dự án quốc gia.

Câu hỏi thường gặp

  1. KBVQA khác gì so với VQA truyền thống?
    KBVQA tích hợp kiến thức bên ngoài từ cơ sở tri thức để trả lời các câu hỏi phức tạp về thực thể trong ảnh, trong khi VQA truyền thống chỉ dựa vào nội dung trực tiếp của hình ảnh.

  2. Tại sao sử dụng BERT và CLIP trong nghiên cứu này?
    BERT giúp hiểu ngôn ngữ tự nhiên sâu sắc nhờ kiến trúc Transformer, còn CLIP mã hóa hình ảnh và văn bản trong cùng không gian biểu diễn, hỗ trợ hợp nhất đa phương thức hiệu quả.

  3. Phương pháp late fusion có ưu điểm gì?
    Late fusion cho phép xử lý riêng biệt các đặc trưng hình ảnh và ngôn ngữ trước khi kết hợp, giúp tận dụng tối đa sức mạnh của từng mô hình và giảm độ phức tạp tính toán.

  4. Làm thế nào để cải thiện khả năng nhận dạng thực thể trong ảnh?
    Cần phát triển và tích hợp các mô hình phát hiện đối tượng và nhận dạng khuôn mặt hiện đại, đồng thời mở rộng dữ liệu huấn luyện đa dạng và chất lượng.

  5. Ứng dụng thực tế của KBVQA là gì?
    KBVQA có thể được dùng trong trợ lý ảo, giáo dục tương tác, phân tích hình ảnh y tế, hỗ trợ tìm kiếm thông tin đa phương tiện và nhiều lĩnh vực khác cần hiểu sâu về nội dung hình ảnh.

Kết luận

  • Luận văn đã đánh giá và so sánh hiệu quả của hai mô hình KBVQA sử dụng BERT base + CNN và BERT large + CLIP trên bộ dữ liệu ViQuAE, chứng minh ưu thế của mô hình BERT large + CLIP.
  • Nghiên cứu đã đề xuất phương pháp tích hợp knowledge base Wikipedia để trả lời các câu hỏi mở rộng về thực thể trong ảnh, vượt qua giới hạn của VQA truyền thống.
  • Việc tích hợp GPT-2 giúp mở rộng khả năng sinh câu trả lời chi tiết và tự nhiên hơn, nâng cao trải nghiệm người dùng.
  • Hạn chế hiện tại là chưa hoàn thiện module nhận dạng thực thể, cần được cải tiến trong các nghiên cứu tiếp theo.
  • Các bước tiếp theo bao gồm mở rộng dữ liệu, phát triển module nhận dạng, tối ưu kỹ thuật hợp nhất đa phương thức và xây dựng ứng dụng thực tế để khai thác hiệu quả nghiên cứu.

Mời các nhà nghiên cứu và chuyên gia trong lĩnh vực AI tiếp tục phát triển và ứng dụng các giải pháp KBVQA nhằm nâng cao khả năng hiểu và tương tác giữa con người và máy tính qua hình ảnh và ngôn ngữ.