Mở đầu, sinh viên trình bày động lực nghiên cứu, phát biểu hai bài toán mô tả ảnh mà khóa luận này giải quyết: 1) mô tả ảnh dựa trên văn bản và 2) mô tả ảnh trên Tiếng Việt. Bên cạnh đó, sinh viên cũng trình bày các thách thức, mục tiêu và phạm vi nghiên cứu của đề tài. Động lực nghiên cứu Mô tả ảnh là một bài toán mô tả các nội dung thị giác trong một bức ảnh bằng ngôn ngữ tự nhiên. Đây là một chủ đề vô cùng thú vị vì nó là điểm giao giữa hai hướng nghiên cứu nổi tiếng trong lĩnh vực trí tuệ nhân tạo: Xử lý ngôn ngữ tự nhiên và Thị giác máy tính.
Trong những năm gần đây đã có nhiều nghiên cứu cố gắng tăng hiệu suất của bài toán này. Mục tiêu là tìm một phương pháp tối ưu đề xử lý một bức ảnh đầu vào, biểu diễn ngữ nghĩa của nó, và biến đổi bức ảnh sang một chuỗi các từ bằng cách tạo ra sự kết nói giữa các đối tượng thị giác và ngôn ngữ trong khi đó vẫn giữ sự tự nhiên trong ngôn ngữ. Nói đơn giản, mô tả ảnh là một bài toán image-to- sequence, tức là biến đổi ảnh sang chuỗi, trong đó đầu vào là một chuỗi các pixel của ảnh. Chuỗi các pixel sẽ được mã hóa thành một hoặc nhiều vector đặc trưng trong bước mã hóa thị giác đề sinh đầu vào cho bước kế tiếp, gọi là mô hình ngôn ngữ.
Mô hình ngôn ngữ nhận đầu vào là các vector mã hóa thị giác, sau đó sẽ sinh một chuỗi các từ, trong đó các từ này thông thường sẽ có sẵn trong một tập từ vựng có sẵn. Tuy nhiên, các nghiên cứu gần đây trên bài toán này đã đạt hiệu quả tương đối cao trên bộ MS-COCO. Hiện nay kết quả cao nhất đạt được trên bài toán này là 41.7% với độ đo BLEU4 trong nghiên cứu thực hiện bởi [1]. Bài toán mô tả ảnh trên bộ MS- COCO vẫn được tiếp tục, tuy nhiên cộng đồng nghiên cứu đã dần chuyển sang bài toán thú vị và thách thức hơn: mô tả ảnh dựa trên văn bản [2].
Các nhà nghiên cứu cho rằng việc sinh câu mô tả từ đặc trưng toàn cục của ảnh dan lỗi thời, vi nó có thể không mô tả được đầy đủ các thông tin trong ảnh, trong đó có thông tin về văn bản. Do đó, Facebook đã cho ra đời bộ dữ liệu TextCaps, chính là bộ dữ liệu đầu tiên và duy nhất tính tới thời điểm này trên bai toán này, thúc day giới nghiên cứu tìm lời giải cho nó. Mô ta ảnh dựa trên văn bản có trong ngữ cảnh dan nới rộng giới han của trí tuệ nhân tạo hơn, khi giờ đây những câu mô tả sinh ra từ máy móc sẽ trở nên chân thật hơn, rõ nghĩa hơn, giúp con người hình dung tốt hơn trong điều kiện hạn chế thị giác. Đây là một bài toán vô cùng mới, chỉ mới xuất hiện từ năm 2020.
Do đó, những nhóm nghiên cứu về chủ đề này chính là những người tiên phong. Nắm bắt được xu hướng nghiên cứu và nhận thấy tiềm năng của bài toán, đo đó tôi quyết định lựa chọn bài toán mô tả ảnh dựa trên văn bản dé tìm hiểu, nghiên cứu và thực hiện khóa luận tốt nghiệp, với mục tiêu sẽ khảo sát và tìm ra các cách tiếp cận tốt hơn về không gian nhúng, và mong muốn sẽ đạt được state-of-the-art trên bài toán này. Đối với bài toán mô tả ảnh truyền thống, các nghiên cứu trên Tiếng Việt của bài toán này vẫn còn rat hạn chế. Việc này khá dễ hiéu, bởi vì chúng ta có thể mang các mô hình hoạt động tốt trên Tiếng Anh để huấn luyện và dự đoán trên Tiếng Việt, sau đó sử dụng một mô hình dịch máy bên thứ 3 đề dịch từ Tiếng Anh sang Tiếng Việt, hoặc các ngôn ngữ khác.
Tuy nhiên, việc này sẽ dẫn đến một số hạn chế nhất định, nồi bật nhất là nội dung từ Tiếng Anh chuyên sang Tiếng Việt đôi khi không được tự nhiên do ngôn ngữ Tiếng Việt phong phú và đa nghĩa hơn. Do đó, ở khóa luận này, sinh viên nghiên cứu và tìm hiều bài toán sinh câu mô tả ảnh truyền thống, và áp dụng trên miền dữ liệu Tiếng Việt. Hơn nữa, sinh viên tìm một cách kết hợp hiệu quả các mô hình sinh câu mô tả ảnh state-of-the-art hiện có trên thế giới, và thực hiện tinh chỉnh để phù hợp với miền dữ liệu Tiếng Việt. Phát biểu bài toán Đầu vào của bài toán là một bức ảnh, đầu ra là câu mô tả thích hợp với ngữ cảnh bức ảnh, tuy nhiên có sử dụng các thông tin về văn bản đề giúp câu mô tả trở nên trọn vẹn nghĩa hơn.
Đầura Soccer player on field sponsor A blackberry phone on a white signs from dw sports fitness and whicker surface that says Google on 188bet. the screen (Một cầu thủ bóng đá trên sân có (Điện thoại blackberry trên bề mặt biển tài trợ từ dw sports và 188bet) dan lát màu trắng có dòng chữ Google trên màn hình) Hình 1. Đầu vào và đầu ra của bài toán mô tả ảnh dựa trên văn bản Có thé thấy ngoài việc đề cập tới những đối tượng thị giác rõ ràng như “cầu thủ”, “điện thoại”, “biển tài trợ”, các mô hình trong bài toán mô tả ảnh dựa trên văn bản còn phải dé cập/suy luận các văn bản xuất hiện trong ảnh như “188bet”, “dw sports”, “blackberry”, “Google”. Các thách thức Vi đây là một bài toán vô cùng mới mẻ, thách thức đi kèm cũng không ít.
Sau đây tôi trình bày các thách thức chính như sau [2]: a) Mối quan hệ giữa văn bản và ngữ nghĩa thị giác: Mô hình phải xác định được mối quan hệ giữa các văn bản OCR (gọi là OCR token) khác nhau; mối quan hệ giữa các OCR token và các ngữ nghĩa thị giác, để xác định rằng liệu một OCR token có nên được đề cập đến trong câu mô tả hay không, và những OCR token nào nên được ghép chung lại với nhau. b) Sự linh hoạt: Mô hình cần phải linh hoạt thay đôi dự đoán tại các thời điểm t giữa các từ có trong bộ từ vựng và các OCR token có trong ảnh. c) Diễn giải và suy luận: Mô hình cần có khả năng diễn giải các văn bản OCR có trong anh dé câu mô tả trở nên chân thật và rõ nghĩa. d) Zero-shot: Có những OCR token không có trong bộ dữ liệu, do đó mô hình cần có khả năng dự đoán tốt trên mẫu dữ liệu mới.
Bên cạnh đó, bài toán mô tả ảnh dựa trên văn bản là một bài toán lớn bao gồm các bài toán con sau đây: - Phat hién đối tượng (Object detection). - Phat hién van ban trong anh (Scene text detection). - Nhận diện văn bản trong anh (Scene text recognition). - Mô tả anh (Image Captioning).
Theo sự hiểu biết tốt nhất của tôi, hiện nay chưa có mô hình nào thật sự giải quyết được các van đề kể trên. Độ chính xác BLEU4 trên bài toán này hiện chưa thể vượt qua ngưỡng 30. Do đó, đây là một bài toán vẫn còn rất mới, cần thêm rất nhiều các khảo sát/ nghiên cứu để cải thiện độ chính xác. Mục tiêu và phạm vi nghiên cứu Trong nội dung đề tài, sinh viên tiến hành nghiên cứu các nội dung chính: - Khảo sát các nghiên cứu liên quan trên bai toán mô ta anh (Image Captioning) bao gồm cách biểu diễn ảnh và các mô hình ngôn ngữ thường được sử dụng.
- Khao sát các nghiên cứu liên quan trên bai toán mô ta anh dựa trên văn bản (Text-based Image Captioning). - Tìm hiểu chi tiết các mô hình ngôn ngữ liên quan đến bài toán mô tả ảnh: Long short-term memory (LSTM) và Transformer. - Tìm hiểu phương pháp cơ sở M4C-Captioner dựa trên kiến trúc Multimodal Memory Copy Mesh (M4C) cho bài toán mô tả ảnh dựa trên văn bản. - Thử nghiệm thêm nhiều cách biểu diễn ảnh từ các mô hình tiền huấn luyện khác nhau.
- Đề xuất các cách biêu diễn không gian nhúng tăng cường cho ảnh và văn bản. - Đề xuất một cách tiếp cận mới trong kiến trúc dự đoán câu mô tả đầu Ta. Đóng góp của nghiên cứu Nội dung cuốn báo cáo trình bày các chỉ tiết cách tiếp cận trước đây cho bài toán mô tả ảnh truyền thống (Image Captioning). Đối với bài toán mô tả ảnh dựa trên văn bản (Text-based Image Captioning), báo cáo trình bày đầy đủ toàn bộ các công trình đã có trước đây cũng như phân tích ưu nhược điểm của các phương pháp tiền nhiệm, như là một tài liệu tổng hợp đầy đủ nhất trên bài toán này.
Bên cạnh đó, báo cáo đề cập đến các bộ dữ liệu hiện có cho cả hai bài toán mô tả ảnh và mô tả ảnh dựa trên văn bản, bao gồm cả trong nước và ngoài nước. Cuối cùng, khóa luận trình bày một vài cách tiếp cận khác của sinh viên cho bài toán mô tả ảnh dựa trên văn bản, bao gồm thử nghiệm các cách biểu diễn ảnh khác và đề xuất các thay đổi để hướng đến kết quả cao hơn so với phương pháp cơ sở M4C- Captioner. Bố cục của luận văn Phần còn lại của khóa luận được trình bày theo bố cục như sau: CHƯƠNG 2 - CÁC NGHIÊN CỨU LIEN QUAN: trình bày một khảo sát đầy đủ nhất các cách tiếp cận ở các công trình trước đây trên cả hai bài toán bao gdm mô tả ảnh và mô tả ảnh dựa trên văn bản. CHƯƠNG 3 - PHƯƠNG PHÁP ĐÈ XUẤT CHO BÀI TOÁN MÔ TA ANH DỰA TRÊN VĂN BẢN: trình bày một cải tiến dựa trên phương pháp cơ sở M4C- Captioner giúp cải thiện độ chính xác, nội dung của Chương này đã được công bố trong công trình số [CTI][CT2] CHUONG 4- KET QUA THUC NGHIỆM: trình bày về bộ dữ liệu TextCaps cho bài toán mô tả ảnh dựa trên văn bản và kết quả các thử nghiệm khác nhau trong quá trình nghiên cứu.
CHƯƠNG 5 - KET LUẬN VA HƯỚNG PHÁT TRIEN: điểm lại một số nội dung chính trong toàn bộ nội dung nghiên cứu và trình bày một số ý tưởng cải tiễn mà sinh viên chưa kịp thực hiện trong nội dung khóa luận này. CÁC NGHIÊN CỨU LIEN QUAN Ở Chương 2— Các nghiên cứu liên quan, sinh viên trình bày các công trình liên quan đến 02 bài toán mô tả ảnh dựa trên văn bản và mô ta ảnh truyền thống. Cách tiếp cận trên bài toán mô tả ảnh Trong những năm gần đây, cộng đồng nghiên cứu về bài toán mô tả ảnh đã có những cải tiến đáng kể.