Trả lời câu hỏi trực quan đa ngôn ngữ - Luận văn Thạc sĩ Nguyễn Duy Việt Toàn

Luận văn nghiên cứu bài toán trả lời câu hỏi trực quan đa ngôn ngữ, đề xuất mô hình Transformer tối ưu tài nguyên và đạt độ chính xác cao.

• Tác giả: Nguyễn Duy Việt Toàn
• Người hướng dẫn: Tiến Sĩ Nguyễn Tiến Thịnh
• Trường học: Đại học Bách khoa - Đại học Quốc gia Thành phố Hồ Chí Minh
• Chuyên ngành: Khoa học Máy tính
• Đề tài: Trả lời câu hỏi trực quan đa ngôn ngữ
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2024
• Địa điểm: Thành phố Hồ Chí Minh

Tóm tắt

I. Giới thiệu về Trả Lời Câu Hỏi Trực Quan Đa Ngôn Ngữ

Trả lời câu hỏi trực quan là một lĩnh vực nghiên cứu quan trọng kết hợp giữa thị giác máy tính và xử lý ngôn ngữ tự nhiên. Nhiệm vụ này nhằm mục tiêu tạo ra những câu trả lời chính xác dựa trên một hình ảnh cụ thể và một câu hỏi được đặt bằng ngôn ngữ tự nhiên. Luận văn của Nguyễn Duy Việt Toàn từ Trường Đại học Bách Khoa TP.HCM tập trung vào việc giải quyết những thách thức của bài toán đa ngôn ngữ trong lĩnh vực này. Nghiên cứu này không chỉ đặt ra mục tiêu đạt độ chính xác cao mà còn tối ưu hóa tài nguyên tính toán để ứng dụng có thể triển khai hiệu quả. Đây là một bước tiến quan trọng trong việc phát triển các hệ thống AI thông minh và thân thiện với người dùng.

1.1. Định Nghĩa và Tầm Quan Trọng

Trả lời câu hỏi trực quan (Visual Question Answering - VQA) là nhiệm vụ yêu cầu hệ thống hiểu đồng thời hình ảnh và ngôn ngữ. Tầm quan trọng của bài toán này nằm ở ứng dụng thực tiễn như hỗ trợ người khiếm thị, giáo dục thông minh và các hệ thống tương tác với người dùng. Việc phát triển giải pháp đa ngôn ngữ mở rộng khả năng ứng dụng đến nhiều ngôn ngữ khác nhau trên toàn thế giới.

1.2. Thách Thức Chính

Các thách thức chính bao gồm: độ chính xác trong hiểu nội dung hình ảnh, xử lý câu hỏi đa dạng, hỗ trợ đa ngôn ngữ và hạn chế về tài nguyên tính toán. Luận văn cần giải quyết vấn đề tạo ra mô hình tối ưu hiệu suất mà không làm giảm độ chính xác so với các mô hình SOTA (State-of-the-Art).

II. Phương Pháp Tiếp Cận và Kiến Trúc Mô Hình

Luận văn của Nguyễn Duy Việt Toàn sử dụng kiến trúc Transformer làm nền tảng chính cho mô hình được đề xuất. Transformer là một cấu trúc mạnh mẽ trong xử lý thông tin đa phương thức, cho phép xử lý đồng thời thông tin hình ảnh và văn bản. Theo hướng tiếp cận này, học viên đã phân tích các giải pháp hiện có trong lĩnh vực trả lời câu hỏi trực quan để hiểu rõ ưu và nhược điểm của từng phương pháp. Dựa trên nền tảng nghiên cứu này, một mô hình đề xuất mới được xây dựng nhằm cải thiện hiệu suất trong bối cảnh tài nguyên hạn chế. Mô hình này không chỉ đạt được độ chính xác tương đương các mô hình hàng đầu mà còn giảm đáng kể yêu cầu tính toán.

2.1. Kiến Trúc Transformer

Kiến trúc Transformer dựa trên cơ chế Self-Attention cho phép mô hình tập trung vào các phần quan trọng của hình ảnh và câu hỏi. Cấu trúc này bao gồm encoder để xử lý đầu vào và decoder để sinh ra câu trả lời. Lợi ích chính là khả năng xử lý song song cao và hiểu được mối quan hệ phức tạp giữa các thành phần trong dữ liệu.

2.2. Tối Ưu Hóa Tài Nguyên Tính Toán

Mục tiêu chính của luận văn là tối ưu hóa tài nguyên bằng cách giảm số lượng tham số và tăng hiệu quả tính toán. Các kỹ thuật như Knowledge Distillation và Model Compression được áp dụng để đạt được mô hình nhẹ hơn. Điều này cho phép mô hình chạy trên các thiết bị với tài nguyên hạn chế như mobile hoặc edge devices.

III. Hiện Thực và Huấn Luyện Mô Hình

Quá trình hiện thực mô hình bao gồm việc chuẩn bị dữ liệu, thiết kế kiến trúc chi tiết và thiết lập quy trình huấn luyện. Học viên đã sử dụng các bộ dữ liệu công khai phổ biến trong lĩnh vực để đánh giá hiệu suất mô hình. Quá trình huấn luyện được thực hiện với các siêu tham số được tối ưu để đạt kết quả tốt nhất. Mô hình được huấn luyện trên các tác vụ liên quan bao gồm miêu tả hình ảnh và trả lời câu hỏi trực quan nhằm cải thiện khả năng hiểu và tương tác của mô hình. Việc áp dụng kỹ thuật chuyển giao học tập giúp tận dụng các mô hình được huấn luyện sẵn để giảm thời gian huấn luyện và cải thiện hiệu suất.

3.1. Chuẩn Bị Dữ Liệu

Dữ liệu được chuẩn bị bao gồm hình ảnh, câu hỏi bằng nhiều ngôn ngữ khác nhau và các câu trả lời tương ứng. Tiền xử lý dữ liệu là bước quan trọng bao gồm chuẩn hóa hình ảnh, tokenization câu hỏi và mã hóa các câu trả lời. Các bộ dữ liệu được chia thành các tập huấn luyện, xác thực và kiểm thử để đánh giá chính xác hiệu suất mô hình.

3.2. Quy Trình Huấn Luyện

Quy trình huấn luyện sử dụng hàm mất mát phù hợp và các bộ tối ưu hóa hiện đại. Việc theo dõi độ chính xác trên tập xác thực giúp tránh overfitting và đảm bảo khả năng tổng quát hóa của mô hình. Các kỹ thuật như early stopping và learning rate scheduling được áp dụng để cải thiện quá trình huấn luyện.

IV. Đánh Giá Kết Quả và Đóng Góp Khoa Học

Kết quả thực nghiệm của luận văn chứng minh rằng mô hình đề xuất đạt được độ chính xác cao so với các mô hình SOTA trong khi sử dụng ít tài nguyên tính toán hơn. Các chỉ số đánh giá như BLEU, CIDEr được sử dụng để đo lường chất lượng câu trả lời. Luận văn cũng đã được công bố dưới dạng bài báo khoa học để chia sẻ những phát hiện và đóng góp với cộng đồng nghiên cứu. Đóng góp chính của luận văn bao gồm: đề xuất một kiến trúc mô hình hiệu quả cho bài toán đa ngôn ngữ, chứng minh khả năng tối ưu hóa tài nguyên mà không ảnh hưởng đến độ chính xác, và cung cấp một hướng tiếp cận khả thi cho việc triển khai các hệ thống VQA trong thực tế.

4.1. Các Chỉ Số Đánh Giá

Các chỉ số đánh giá chính bao gồm độ chính xác (Accuracy), BLEU score để đo độ tương đồng giữa câu trả lời được sinh và câu trả lời tham chiếu. CIDEr và METEOR cũng được sử dụng để đánh giá chất lượng tổng thể. Việc so sánh với baseline models giúp xác định hiệu suất tương đối của mô hình đề xuất.

4.2. Đóng Góp và Ứng Dụng Thực Tiễn

Luận văn mở ra những hướng ứng dụng thực tiễn như hệ thống trợ giúp người khiếm thị, giáo dục kỹ thuật số và các ứng dụng thương mại. Mô hình được tối ưu có thể được triển khai trên các thiết bị di động và các hệ thống edge computing. Những phát hiện này là bước tiến quan trọng trong việc phát triển các giải pháp AI thân thiện với người dùng và bền vững về mặt tài nguyên.

Trích đoạn nội dung tài liệu

Chương 1, GIỚI THIỆU: Trình bày tổng quan về đề tài, lý do thực hiện đề tài và ý nghĩa thực tiễn của bài toán, cũng như giới hạn và phạm vi của đề tài. Cuối cùng là nhiệm vụ và cấu trúc của luận văn. • Chương 2, CƠ SỞ LÝ THUYẾT: Tổng hợp những vấn đề học thuật liên quan nhất sẽ áp dụng để giải quyết bài toán, tập trung chủ yếu vào nội dung của kiến trúc Transformer, từ các cơ chế Self-Attention, Cross-attention tới mô hình ngôn ngữ, và kỹ thuật huấn luyện Low Rank Adaptation. • Chương 3, CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN: Trình bày một cách tổng quát về những nghiên cứu liên quan đã và đang được thực hiện, cũng như xu hướng chung hiện nay trong việc giải quyết bài toán.

Phần này cũng đưa ra những bàn luận và đánh giá cho các phương pháp kể trên vì đó là cơ sở quan trọng cho những nghiên cứu của học viên trong quá trình thực hiện luận văn. • Chương 4, MÔ HÌNH ĐỀ XUẤT: Giới thiệu mô hình cơ sở cho Bài toán trả lời câu hỏi trực quan. Đồng thời đưa ra các cải tiến và động lực cho các đề xuất đó. • Chương 5, KẾT QUẢ THỰC NGHIỆM: Học viên trình bày các bước tiến hành thí nghiệm trên những tập dữ liệu khác nhau và đánh giá kết quả của những cải tiến so với mô 4 GIỚI THIỆU hình cơ sở.

• Chương 6, KẾT LUẬN: Tổng hợp các kết quả đạt được trong quá trình thực hiện luận văn từ bước nghiên cứu và xây dựng giả thuyết đến triển khai thực nghiệm. Phần này cũng trình bày những hạn chế và vấn đề tồn đọng, cuối cùng đề xuất các giải pháp cải tiến trong tương lai. Mục lục, Danh sách hình vẽ, Danh sách bảng được cung cấp ở đầu luận văn. Tài liệu tham khảo sẽ được trình bày ở cuối luận văn.

5 CƠ SỞ LÝ THUYẾT Chương 2 CƠ SỞ LÝ THUYẾT 2.1 Kiến trúc Transformer 2.1 Kiến trúc Self-attention Trước khi đi vào tìm hiểu Self-attention, tác giả sẽ nhắc lại định nghĩa về cơ chế Attention. Cơ chế Attention được đề xuất lần đầu tiên bởi Bahdanau và cộng sự [1] vào năm 2015 với mục đích cải tiến hiệu quả của bài toán dịch máy. Mục tiêu của Bahdanau và cộng sự là xây dựng mô hình dịch máy gồm hai phần Encoder và Decoder, trong đó Encoder là phần học và rút trích thông tin từng từ trong câu ngôn ngữ gốc bằng mô hình RNN [2]. Decoder là phần học cách dịch những thông tin đã học được trong phần Encoder.

Bahdanau và cộng sự đã nhận thấy rằng trong từng bước xử lý của phần Decoder chỉ cần dùng một phần liên quan trong vector ngữ cảnh, kết quả của quá trình Encoder là đủ thông tin để dự đoán từ tiếp theo trong câu ngôn ngữ dịch. Phương pháp này được đặt tên là Attention là cơ chế tạo sự chú ý đến những phần thông tin liên quan đến việc dự đoán trong Encoder thay vì là tất cả thông tin như hầu hết các công trình nghiên cứu về học máy trước đó. Các bước áp dụng cơ chế Attention trong bài toán dịch máy được mô tả trong hình 2.1 và liệt kê các bước chi tiết như sau: 1. Nhận vector trạng thái ẩn của Decoder ht và tất cả các vector trạng thái ẩn của Encoder hs.

Tính Attention score từng trạng thái ẩn s của Encoder bằng thực hiện phép tính nhân vô hướng giữa ht và hs. Sau đó đưa tất cả giá trị này qua hàm softmax để nhận được Attention distribution: α(t, s) = softmax(ht. Cuối cùng tạo ra Attention vector bằng tích vô hướng của Attention distribution và tất cả 6 CƠ SỞ LÝ THUYẾT vector trạng thái ẩn của Encoder hs : ct = ∑ α(t, s).1: Cơ chế Attention trong bài toán dịch câu tiếng Việt sang câu tiếng Anh Self-attention được nhắc tới lần đầu tiên ở [3]. Có một yếu tố then chốt để phân biệt giữa Attention và Self-attention, trong khi Attention đánh giá sự liên kết của một trạng thái cho những trạng thái đã được tính toán ở trước đó thì Self-attention liên kết đến tất cả các trạng thái trong chuỗi hiện tại, tạo khả năng xử lý song song.

Đặc biệt, đối với tất cả các key, query và value được đóng gói vào các ma trận K, Q và V. Cách tính toán của Self-attention cho phép √ dùng tích vô hướng tính toán các ma trận này. Sau đó chia kết quả cho dk và áp dụng hàm softmax để xác định Attention distribution và Attention vector: QK T Attention(Q, K,V ) = softmax( √ )V dk 7 CƠ SỞ LÝ THUYẾT √ Hệ số tỉ lệ dk dùng để làm giảm ảnh hưởng của chiều dữ liệu của kết quả cuối cùng. Có hai hàm Attention phổ biến đó là Addition Attention và Dot-Product Attention.

Cả hai hàm Attention này đều giống nhau về mặt lý thuyết, thì Dot-Product Attention nhanh hơn và hiệu quả hơn ở thực tế. Thêm một điều nữa trong kiến trúc Transformer mà các nhà nghiên cứu tìm ra là lợi ích khi tiến hành Attention nhiều lần. Multi-Head Attention cho phép mô hình tham gia vào nhiều khía cạnh đại diện tại các góc độ khác nhau. Khi sử dụng một Attention duy nhất, mô hình sẽ học trung bình tất cả các khía cạnh, không chi tiết.

Multi-Head Attention được mô tả trong hình 2.2 và định nghĩa như sau: Multi-Head(Q, K,V ) = concat(head1 , ., headh )W O , với headi = Attention(QWiQ , KWiK ,VWiV ), chú ý rằng WiQ ∈ Rdmodel ×dk , WiK ∈ Rdmodel ×dk , WiV ∈ Rdmodel ×dk là các ma trận tham số cho phép chiếu các query, key, value. Đặc biệt, dk = dv = dmodel /h với h là số lượng phép Attention.2: Hai cơ chế Scaled Dot-Product Attention và Multi-Head Attention 2.2 Kiến trúc Cross-attention Cross-attention đã được giới thiệu trong kiến trúc Transformer [3] như trong hình 2. Trong lớp Transformer Decoder, vector đầu ra của Encoder đã cung cấp key và value cho cơ chế Multi- Head Self-attention trong lớp Decoder, còn query được lấy từ vector đặc trưng từ đầu vào của Decoder, từ đó Decoder đoán được mã token tiếp theo cho đầu ra, quá trình này được lặp đi lặp lại đến khi token EOS được sinh ra, kết thúc câu đầu ra. 8 CƠ SỞ LÝ THUYẾT Hình 2.3: Cơ chế Cross-attention được giới thiệu trong kiến trúc Transformer Decoder Hình 2.4: Chi tiết cơ chế Cross-attention Cross-attention là một cơ chế rất giống Self-attention, ngoại trừ việc chúng ta dùng hai chuỗi đầu vào một cách đồng thời.

Một chuỗi cung cấp được cung cấp query, còn chuỗi kia cung cấp key và value. Công thức tính Cross-attention của hai chuỗi đầu vào S1 , S2 được tính như sau: Cross-attention(QS2 , KS1 ,VS1 ) = Attention(QS2 WQS2 , KS1 WKS1 ,VS1 WVS1 ) Với công thức trên, ta có thể liệt kê các đặc điểm của Cross-attention sau đây: • Cross-attention là một cơ chế Attention trong kiến trúc Transformer khi kết hợp hai chuỗi vector đặc trưng khác nhau. 9 CƠ SỞ LÝ THUYẾT • Hai chuỗi vector đặc trưng phải có cùng chiều. • Hai chuỗi vector đặc trưng có thể được mã hóa từ các loại dữ liệu đầu vào khác nhau: hình ảnh, âm thanh, văn bản,.

• Một chuỗi vector đặc trưng cung cấp query và định nghĩa luôn độ dài đầu ra, còn chuỗi vector đặc trưng còn lại lại cung cấp key và value.3 Kiến trúc Vision Transformer Khái niệm Vision Transformer hay ViT, lần đầu tiên được trình bày ở [4] là một mô hình phân loại ảnh sử dụng kiến trúc Transformer trên từng mảnh (patch) của hình ảnh. Một hình ảnh được chia thành các mảnh có kích thước cố định, mỗi mảnh trong đó được làm phẳng thành các vector đặc trưng tuyến tính thêm vào là vector thông tin vị trí, và chuỗi vector đó được cho vào bộ Encoder của một kiến trúc Transformer. Với mục tiêu thực hiện nhiệm vụ phân loại thì một token [CLS] được thêm vào chuỗi. Với mục tiêu cấu trúc hình ảnh đầu vào tương tự theo cách cấu trúc một đầu vào của ngôn ngữ tự nhiên (một chuỗi của các từ đơn lẻ) thì hình ảnh đầu vào có chiều cao H, chiều rộng W , và số lượng kênh (channel) C, được cắt nhỏ ra thành các mảnh hai chiều nhỏ hơn.

Kết quả sẽ tạo thành N = HWP2 số mảnh, với mỗi mảnh có độ phân giải (P, P). Trước khi cho dữ liệu vào mô hình Transformer, các bước tiếp theo được ứng dụng: 1. Mỗi mảnh được làm phẳng thành một vector, xnp , có độ dài P2 ×C, với n = 1,. Một chuỗi của các mảnh được sinh ra bằng cách ánh xạ các chuỗi được làm phẳng thành D chiều, với một phép chiều tuyến tính có thể huấn luyện, E.

Một lớp trích xuất đặc trưng xclass được thêm vào chuỗi đặc trưng. Giá trị của xclass sẽ đại diện cho giá trị đầu ra y của nhiệm vụ phân lớp. Cuối cùng, chuỗi đặc trưng được tăng cường khi gắn thêm vào một vector một chiều mang thông tin vị trí, E pos. Chuỗi của các vector đặc trưng là kết quả của các bước ở trên: z0 = [xclass ; x1p E; ., xNp E] + E pos Với mục đích phân loại, các tác giả cho chuỗi đầu vào bộ Encoder của kiến trúc Transformer, gồm L lớp.

Sau đó, họ lấy giá trị trong đầu ra của xclass tại lớp thứ Lth , và bỏ nó vào bộ phân loại. Shifted windows Transformer (Swin Transformer) [5] có thể được coi là bản nâng cấp của Vision Transformer, những điểm mới của kiến trúc này có thể kể đến như: 10 CƠ SỞ LÝ THUYẾT • Kiến trúc Transformer phân cấp, tại các layer sau, các mảnh gần nhau sẽ dần dần được hợp nhất lại. • Sử dụng Self-attention trên một vùng cục bộ thay vì toàn bộ ảnh. • Sử dụng cửa sổ trượt giúp các mảnh không bị bó cứng khi phải Seft-attention trong một cửa sổ cục bộ mà sẽ có cơ hội được tính Self-attention cùng với các mảnh khác trong một cửa sổ mới.

• Cho nhiều tỉ lệ đầu ra khác nhau, đây là một tính chất khá quan trọng của convolution neutral network (CNN) cũng như là một yếu tố để giải quyết các bài toán về hình ảnh.5: Kiến trúc mô hình Swin Transformer Hình 2.5 biểu diễn cấu trúc tổng quát của Swin Transformer. Đầu tiên, ảnh đầu RGB vào được chia nhỏ thành mỗi mảnh (patch) giống như ViT. Mỗi mảnh có kích thước 4 × 4 được chuyển thành vector có kích thước 4 × 4 × 3 = 48. Mỗi mảnh này được coi như một token.

• Tại Stage 1, lớp ánh xạ tuyến tính biến không gian vector gốc (48 chiều) thành một không gian vector khác có số chiều là C, sau đó được đưa qua một vài Swin Transformer Block, lúc này số lượng token (mảnh) là H4 × W4 và và độ dài của một token là C.