Tìm Hiểu Kiến Trúc Transformer và Ứng Dụng Cho Bài Toán Trả Lời Câu Hỏi

Trước khi có Transformer architecture, hầu hết các hệ thống NLP tiên tiến đều dựa… 65 trang · Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh · 2023.

• Tác giả: Trần Quốc Tuấn
• Người hướng dẫn: Th.S Quách Đình Hoàng
• Trường học: Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Tìm Hiểu Kiến Trúc Transformer và Ứng Dụng Cho Bài Toán Trả Lời Câu Hỏi
• Loại tài liệu: Khóa Luận Tốt Nghiệp
• Năm xuất bản: 2023
• Địa điểm: Hồ Chí Minh

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. PHẦN 1: MỞ ĐẦU
• 1.1. CHƯƠNG 1: TỔNG QUAN
• 1.1.1. Đặt vấn đề
• 1.1.2. Mục tiêu nghiên cứu
• 1.1.3. Phạm vi nghiên cứu
• 1.1.4. Tầm quan trọng của đồ án
• 1.1.5. Phương pháp nghiên cứu
• 2. PHẦN 2: NỘI DUNG
• 2.1. CHƯƠNG 2: KIẾN TRÚC TRANSFORMER
• 2.1.1. Giới thiệu
• 2.1.2. Kiến trúc Transformer
• 2.1.3. Input Embedding
• 2.1.4. Positional Encoding
• 2.1.5. Encoder
• 2.1.6. Decoder
• 2.2. CHƯƠNG 3: MÔ HÌNH BERT
• 2.2.1. Giới thiệu về mô hình BERT
• 2.2.2. Sơ lược về pre-train và fine-tuning BERT
• 2.2.3. Mô hình PhoBERT
• 2.3. CHƯƠNG 4: XÂY DỰNG MÔ HÌNH ÁP DỤNG KIẾN TRÚC TRANSFORMER CHO BÀI TOÁN TRẢ LỜI CÂU HỎI
• 2.3.1. Tập dữ liệu
• 2.3.2. Tổng quan về tập dữ liệu
• 2.3.3. Quá trình xử lý dữ liệu
• 2.3.4. Mô hình dùng để huấn luyện cho bài toán trả lời câu hỏi
• 2.3.5. Quá trình huấn luyện mô hình
• 2.3.6. Tổ chức file
• 2.3.7. Các thư viện Python được sử dụng
• 2.3.8. Các hàm huấn luyện
• 2.3.9. Fine-tuning mô hình PhoBERT
• 2.3.10. Phương pháp đánh giá mô hình
• 2.3.11. Hàm đánh giá mô hình
• 2.4. CHƯƠNG 5: ỨNG DỤNG WEBSITE TRẢ LỜI CÂU HỎI
• 2.4.1. Ý tưởng dựng sản phẩm
• 2.4.2. Công nghệ sử dụng cho website
• 2.4.3. Cấu trúc source code
• 2.4.4. Các lệnh dùng để chạy ứng dụng
• 2.4.5. Chạy ở môi trường máy cá nhân (local)
• 2.4.6. Phát triển ứng dụng lên các môi trường khác
• 2.4.7. Giao diện của website
• 2.4.8. Trang upload file
• 2.4.9. Trang đặt câu hỏi
• 2.4.10. Trang trả lời câu hỏi
• PHẦN 3: KẾT LUẬN
• 6. CHƯƠNG 6: TỔNG KẾT VỀ ĐỒ ÁN
• 6.1. Những điều đã làm được
• 6.2. Những mặt cần khắc phục
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tìm Hiểu Kiến Trúc Transformer Tổng Quan Chi Tiết Nhất

Trước khi có Transformer architecture, hầu hết các hệ thống NLP tiên tiến đều dựa vào RNN, như LSTM và GRU. Sự ra đời của cơ chế Attention mechanism vào năm 2017 đã tạo ra một kiến trúc mới dành cho các bài toán NLP mà không cần có sự xuất hiện của mạng nơ-ron hồi tiếp (RNN, LSTM,…) hay là mạng nơ-ron tích chập (CNN) đó là Transformer. Transformer là một mô hình Deep Learning được giới thiệu vào năm 2017 thường được dùng chủ yếu ở các lĩnh vực xử lý các ngôn ngữ tự nhiên (NLP) và thị giác máy tính (CV). Ngoài ra, mô hình còn hỗ trợ lĩnh vực âm thanh nó có thể giúp nhận dạng giọng nói và phân loại từng loại âm thanh hoặc ở lĩnh vực đa phương thức Transformer còn hỗ trợ trả lời câu hỏi trên bảng, nhận dạng ký tự quang học, trích xuất thông tin từ tài liệu được quét và phân loại video và trả lời câu hỏi bằng hình ảnh. Transformer cũng xử lý dữ liệu tuần tự giống như mạng nơron hồi quy (Recurrent Neural Network - RNN). Tuy nhiên khác với RNN, nó không yêu cầu dữ liệu tuần tự phải được xử lý một cách thứ tự. Ví dụ: Chúng ta có một câu ngôn ngữ tự nhiên thay vì như trước đây ta phải xử lý đầu câu rồi mới đến cuối câu. Nhưng Transformer không yêu cầu điều đó nó cả thể xử lý cả câu văn nên Transformer cho phép thực hiện nhiều phép tính song song điều này giúp giảm thời gian huấn luyện mô hình một cách đáng kể.

1.1. Lịch Sử Phát Triển của Kiến Trúc Transformer

Trước khi Transformer architecture ra đời, các mô hình RNN như LSTM và GRU là chủ đạo trong NLP. Tuy nhiên, các mô hình này gặp khó khăn trong việc xử lý các chuỗi dài và các mối quan hệ xa. Sự ra đời của cơ chế Attention mechanism đã mở ra một hướng đi mới. Transformer, được giới thiệu vào năm 2017, đã khắc phục được những hạn chế này và trở thành một kiến trúc nền tảng cho nhiều ứng dụng NLP hiện đại. Điểm đột phá của Transformer là khả năng xử lý song song dữ liệu, giúp giảm thời gian huấn luyện và tăng hiệu quả. Kiến trúc này cũng cho phép mô hình tập trung vào các phần quan trọng của chuỗi đầu vào, giúp cải thiện độ chính xác.

1.2. Ưu Điểm Vượt Trội Của Transformer So Với RNN

So với các mô hình RNN, Transformer architecture có nhiều ưu điểm vượt trội. Thứ nhất, Transformer có thể xử lý song song dữ liệu, trong khi RNN phải xử lý tuần tự. Điều này giúp Transformer huấn luyện nhanh hơn đáng kể. Thứ hai, Transformer có cơ chế Self-attention, cho phép mô hình tập trung vào các phần quan trọng của chuỗi đầu vào. Điều này giúp Transformer hiểu rõ hơn ngữ cảnh của câu và đưa ra dự đoán chính xác hơn. Thứ ba, Transformer ít bị ảnh hưởng bởi vấn đề biến mất gradient hơn so với RNN, cho phép mô hình học được các mối quan hệ xa tốt hơn.

II. Giải Mã Kiến Trúc Transformer Encoder và Decoder Chi Tiết

Kiến trúc Transformer gồm hai thành phần chính là Encoder và Decoder, cả hai thành phần này đều có cấu tạo tương tự nhau gồm nhiều Layers, mỗi Layer được thiết kế với nhiều Sub-Layer. Sub-Layer đầu tiên là Multi-Head Attention Layer, Sub- Layer tiếp theo là Feed Forward Neral Network Layer. Tất cả các thuật toán học sâu đều yêu cầu đầu vào là dữ liệu dạng số. Tuy nhiên, trong ngôn ngữ tự nhiên, các từ không phải là các giá trị số. Do đó, chúng ta cần phải chuyển đổi các từ sang dạng số để có thể đưa chúng vào mô hình học sâu. Một trong những cách để chuyển đổi từ sang số là sử dụng một lớp nhúng từ (Word Embedding Layer). Lớp này hoạt động như một bảng tra cứu để lấy một biểu diễn vectơ đã học của mỗi từ. Các mạng nơ-ron học thông qua các số nên mỗi từ sẽ được ánh xạ sang một vector với các giá trị liên tục để biểu diễn từ đó. Ví dụ, các từ "học sinh" và "đi học" có thể được ánh xạ sang các vector khác nhau nhưng vẫn giữ nguyên các mối quan hệ giữa chúng. Điều này cho phép mô hình học được các đặc trưng của từ và sử dụng chúng để thực hiện các tác vụ như phân loại văn bản hay dịch máy. Các con số sẽ dùng để ánh xạ các từ tới một vector có các giá trị liên tục để biểu thị từ đó.

2.1. Vai Trò Của Encoder Trong Transformer Architecture

Encoder trong Transformer architecture có vai trò ánh xạ tất cả các chuỗi đầu vào thành một biểu diễn liên tục chứa thông tin đã học cho toàn bộ chuỗi đó. Mỗi Encoder sẽ gồm hai thành phần chính là Multi-Headed Attention và Feed Forward Network, ngoài ra còn có cả Skip Connection và Normalization. Encoder giúp mô hình hiểu được ngữ nghĩa của câu đầu vào bằng cách trích xuất các đặc trưng quan trọng và mối quan hệ giữa các từ. Các lớp Encoder được xếp chồng lên nhau để tạo thành một mạng lưới sâu, cho phép mô hình học được các biểu diễn phức tạp hơn của dữ liệu.

2.2. Chức Năng Của Decoder Trong Transformer Architecture

Decoder chính là đầu ra của Encoder. Mục đích của Decoder là tìm ra phân phối xác suất từ các features learning ở Encoder từ đó xác định đâu là nhãn đầu ra. Kết quả đầu ra của Decoder tùy thuộc vào đầu vào của Encoder nó có thể là một nhãn đối với mô hình phân loại hoặc một chuỗi theo thứ tự thời gian đối với mô hình Sequence-to-sequence. Ví dụ: Trong bài toán chuyển từ một câu tiếng Anh sang tiếng Pháp thì công việc của Decoder là giải mã (translate) thông tin từ Encoder và sinh ra từng từ tiếng Pháp dựa trên những từ trước đó. Mỗi Decoder sẽ gồm 3 thành phần chính: Self-Attention, Multi-Head Attention, Feed-forward Neural Network.

2.3. Vị trí Embedding và Positional Encoding

Trước khi đi vào Encoder, thì xin giới thiệu một cơ chế rất thú vị là Positional Encoding mang thông tin về vị trí các từ để truyền vào bên trong kiến trúc Transformer. Trước tiên, các từ được biểu diễn bằng một vector sử dụng một ma trận Word Embedding có số dòng bằng kích thước của tập từ vựng. Tiếp theo các từ trong câu được tìm kiếm trong ma trận này, và được nối với nhau thành các dòng của một ma trận hai chiều chứa ngữ nghĩa của từng từ riêng biệt. Nhưng do Transformer xử lý các từ một cách song song do đó chỉ sử dụng Word Embedding thì mô hình không thể nào biết được vị trí các từ. Như vậy mô hình cần có một cơ chế để đưa thông tin về về vị trí các từ vào trong vector đầu vào. Đó là lúc Positional Encoding xuất hiện và giải quyết vấn đề này.

III. Cơ Chế Attention Bí Quyết Sức Mạnh Của Transformer NLP

Thành phần Self-Attention ở Decoder giống như ở Encoder nó cho phép mỗi từ trong câu đầu ra chú ý đến các từ khác có trong câu đó và tính toán trọng số của các từ đó để tính toán vector biểu diễn từ đó. Nhiệm vụ của Self-Attention trong Decoder giống với Encoder là giúp cho mô hình học được mối quan hệ giữa các từ trong câu đầu ra giúp đưa ra các từ đúng thứ tự và phù hợp ngữ cảnh. Thành phần Multi-Head Attention cũng giống như ở Encoder. Sau khi đã hoàn thành xong việc tính toán trọng số của các từ trong các câu đầu vào, vector biểu diễn của từ tiếp theo trong câu đầu ra sẽ được tính toán bằng cách tính trung bình các trọng số các vector biểu diễn các từ trong câu đầu vào và vector biểu diễn các từ đang dự đoán trước. Khi đã tính trung bình các trọng số các vector xong các từ này sẽ được đưa vào Feed Forward để tiếp tục xử lý. Feed Forward ở Decoder có nhiệm vụ giống như ở Encoder là xử lý các vector biểu diễn các từ và trích xuất các đặc trưng quan trọng. Ở Decoder, Transformer có thể học được cách dự đoán từ tiếp theo trong câu đầu ra và dựa trên các đặc trưng hay ngữ cảnh của câu đầu vào và các từ đã xử lý trong câu đầu ra.

3.1. Phân Tích Chi Tiết Về Self Attention Mechanism

Cơ chế Self-attention là một thành phần quan trọng của Transformer NLP. Nó cho phép mô hình học được mối quan hệ giữa các từ trong một câu. Mỗi từ trong câu sẽ được biểu diễn bằng một vector. Sau đó, Self-attention sẽ tính toán trọng số của mỗi từ dựa trên mức độ liên quan của nó đến các từ khác trong câu. Trọng số này được sử dụng để tính toán một vector biểu diễn mới cho mỗi từ, thể hiện mối quan hệ của nó với các từ khác trong câu. Cơ chế này giúp mô hình hiểu được ngữ cảnh của câu và đưa ra dự đoán chính xác hơn.

3.2. Multi Head Attention Nâng Cao Khả Năng Học Biểu Diễn

Multi-Head Attention là một cải tiến của Self-attention. Thay vì chỉ sử dụng một head để tính toán trọng số, Multi-Head Attention sử dụng nhiều head khác nhau. Mỗi head sẽ học một biểu diễn khác nhau của mối quan hệ giữa các từ. Điều này giúp mô hình học được nhiều góc nhìn khác nhau về dữ liệu và cải thiện khả năng học biểu diễn. Các head được kết hợp lại để tạo ra một vector biểu diễn cuối cùng, thể hiện tất cả các khía cạnh của mối quan hệ giữa các từ.

IV. Ứng Dụng Transformer BERT Trong Bài Toán Trả Lời Câu Hỏi

Mô hình BERT (Bidirectional Encoder Representations from Transformers) là một kiến trúc Transformer mạnh mẽ được sử dụng rộng rãi trong nhiều tác vụ NLP, bao gồm cả bài toán Question Answering. BERT được huấn luyện trước trên một lượng lớn dữ liệu văn bản, cho phép mô hình học được các biểu diễn ngôn ngữ phong phú. Sau đó, BERT có thể được tinh chỉnh (fine-tuning) cho các tác vụ cụ thể, chẳng hạn như Question Answering. Trong bài toán Question Answering, BERT có thể được sử dụng để xác định đoạn văn trong tài liệu chứa câu trả lời cho câu hỏi. Điều này được thực hiện bằng cách huấn luyện BERT để dự đoán vị trí bắt đầu và kết thúc của câu trả lời trong đoạn văn. Mô hình PhoBERT là một phiên bản của BERT được huấn luyện trên dữ liệu tiếng Việt.

4.1. Tổng Quan Về Mô Hình BERT Bidirectional Encoder

BERT (Bidirectional Encoder Representations from Transformers) là một mô hình dựa trên kiến trúc Transformer được thiết kế để học các biểu diễn ngữ cảnh sâu sắc từ dữ liệu văn bản. Điểm đặc biệt của BERT là khả năng học theo hai hướng (bidirectional), cho phép mô hình hiểu rõ hơn ngữ cảnh của câu và đưa ra dự đoán chính xác hơn. BERT đã đạt được những kết quả vượt trội trong nhiều tác vụ NLP, bao gồm cả Question Answering.

4.2. Fine tuning BERT Cho Bài Toán Question Answering QA

Để sử dụng BERT cho bài toán Question Answering, cần thực hiện quá trình fine-tuning. Quá trình này bao gồm việc huấn luyện lại BERT trên một tập dữ liệu Question Answering cụ thể. Trong quá trình fine-tuning, BERT sẽ học cách xác định đoạn văn trong tài liệu chứa câu trả lời cho câu hỏi. Sau khi fine-tuning, BERT có thể được sử dụng để trả lời các câu hỏi mới với độ chính xác cao.

V. Xây Dựng Mô Hình Transformer Trả Lời Câu Hỏi Thực Tế

Việc xây dựng mô hình Transformer cho bài toán trả lời câu hỏi bao gồm các bước chính sau: Thu thập và xử lý dữ liệu, lựa chọn kiến trúc mô hình, huấn luyện mô hình, đánh giá mô hình và triển khai mô hình. Dữ liệu cần được thu thập từ các nguồn khác nhau và xử lý để đảm bảo chất lượng. Kiến trúc mô hình cần được lựa chọn phù hợp với đặc điểm của dữ liệu và yêu cầu của bài toán. Mô hình cần được huấn luyện trên một tập dữ liệu lớn và đánh giá trên một tập dữ liệu kiểm tra để đảm bảo hiệu quả. Cuối cùng, mô hình có thể được triển khai để sử dụng trong thực tế. Quá trình Fine-tuning đóng vai trò quan trọng trong việc tối ưu hóa hiệu suất của mô hình.

5.1. Chuẩn Bị Dữ Liệu Huấn Luyện Training Data

Dữ liệu huấn luyện đóng vai trò then chốt trong việc xây dựng một mô hình Transformer hiệu quả cho bài toán trả lời câu hỏi. Dữ liệu huấn luyện cần phải đủ lớn, đa dạng và chất lượng cao. Dữ liệu cần bao gồm các cặp câu hỏi và câu trả lời tương ứng. Các câu hỏi cần bao phủ nhiều chủ đề khác nhau và có độ phức tạp khác nhau. Câu trả lời cần chính xác, ngắn gọn và dễ hiểu. Dữ liệu cũng cần được xử lý trước để loại bỏ các lỗi và đảm bảo tính nhất quán. Training data ảnh hưởng trực tiếp đến khả năng học hỏi và tổng quát hóa của mô hình.

5.2. Phương Pháp Đánh Giá Hiệu Năng Mô Hình Evaluation

Đánh giá hiệu năng mô hình là một bước quan trọng để đảm bảo mô hình hoạt động tốt trong thực tế. Có nhiều phương pháp đánh giá hiệu năng mô hình khác nhau, bao gồm Exact Match, F1-Score, Precision và Recall. Exact Match đo lường tỷ lệ các câu trả lời chính xác hoàn toàn. F1-Score là trung bình điều hòa của Precision và Recall. Precision đo lường tỷ lệ các câu trả lời được mô hình đưa ra là chính xác. Recall đo lường tỷ lệ các câu trả lời chính xác được mô hình tìm thấy. Việc lựa chọn phương pháp đánh giá phù hợp phụ thuộc vào yêu cầu của bài toán.

VI. Kết Luận Tương Lai Ứng Dụng Transformer Trong Trả Lời Câu Hỏi

Kiến trúc Transformer đã chứng minh được sức mạnh của mình trong bài toán trả lời câu hỏi và nhiều lĩnh vực NLP khác. Với khả năng học biểu diễn ngôn ngữ sâu sắc và xử lý song song dữ liệu, Transformer đã mở ra những khả năng mới cho việc xây dựng các hệ thống Question Answering thông minh và hiệu quả. Trong tương lai, chúng ta có thể kỳ vọng vào những ứng dụng đột phá hơn nữa của Transformer trong việc giải quyết các vấn đề thực tiễn liên quan đến xử lý ngôn ngữ tự nhiên và trí tuệ nhân tạo.

6.1. Tổng Kết Những Thành Công Đã Đạt Được

Luận văn đã thành công trong việc tìm hiểu sâu về kiến trúc Transformer, cơ chế Attention mechanism, và ứng dụng của chúng trong bài toán trả lời câu hỏi. Đã xây dựng được một mô hình Question Answering dựa trên Transformer và đánh giá hiệu năng của mô hình trên tập dữ liệu tiếng Việt. Các kết quả cho thấy Transformer có tiềm năng lớn trong việc giải quyết các bài toán NLP phức tạp. Những thành công này mở đường cho các nghiên cứu tiếp theo về ứng dụng Transformer trong nhiều lĩnh vực khác.

6.2. Hướng Phát Triển Tiềm Năng Trong Tương Lai

Trong tương lai, có nhiều hướng phát triển tiềm năng cho kiến trúc Transformer và ứng dụng của nó trong bài toán trả lời câu hỏi. Một hướng là nghiên cứu các kiến trúc Transformer mới, hiệu quả hơn và phù hợp hơn với các bài toán cụ thể. Một hướng khác là khám phá các phương pháp Pre-training và Fine-tuning tiên tiến hơn để cải thiện hiệu năng của mô hình. Ngoài ra, cũng có thể nghiên cứu các ứng dụng mới của Transformer trong các lĩnh vực khác như dịch máy, tóm tắt văn bản và tạo sinh văn bản. Sự kết hợp giữa Transformer và các công nghệ khác như đồ họa tri thức cũng hứa hẹn mang lại những kết quả ấn tượng.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong lĩnh vực Xử lý Ngôn ngữ Tự nhiên (Natural Language Processing - NLP), bài toán Trả lời Câu hỏi (Question Answering - QA) đóng vai trò then chốt nhằm đáp ứng nhu cầu tìm kiếm đáp án chính xác, nhanh chóng cho người dùng. Trước khi các mô hình học sâu phát triển mạnh mẽ, các hệ thống QA chủ yếu dựa trên kỹ thuật so khớp từ khóa, phương pháp thống kê hoặc các mô hình xử lý ngôn ngữ truyền thống như N-gram, RNN, LSTM và GRU. Mặc dù các mạng nơ-ron hồi tiếp đã phần nào cải thiện vấn đề phụ thuộc xa (long-term dependency), hiệu quả xử lý đối với các câu hỏi phức tạp hoặc yêu cầu ngữ cảnh sâu vẫn còn nhiều hạn chế. Sự ra đời của cơ chế Attention và kiến trúc Transformer (năm 2017) đã giải quyết triệt để rào cản xử lý tuần tự, cho phép tính toán song song toàn bộ câu văn và nắm bắt ngữ cảnh hai chiều hiệu quả.

Tại Việt Nam, các nghiên cứu và ứng dụng bài toán trả lời câu hỏi tự động dành riêng cho tập ngữ liệu tiếng Việt vẫn còn tương đối hạn chế về số lượng và tài nguyên công bố. Xuất phát từ bối cảnh đó, khóa luận tốt nghiệp ngành Kỹ thuật Dữ liệu / Công nghệ Thông tin tại Trường Đại học Sư phạm Kỹ thuật TP. Hồ Chí Minh của nhóm tác giả Trần Quốc Tuấn và Nguyễn Lâm Sơn (dưới sự hướng dẫn của ThS. Quách Đình Hoàng) đã thực hiện đề tài nhằm nghiên cứu chuyên sâu về kiến trúc Transformer và triển khai thử nghiệm mô hình trả lời câu hỏi tự động trên văn bản tiếng Việt.

Nhiệm vụ và mục tiêu nghiên cứu của đề tài được xác định cụ thể như sau:

1. Về mặt lý thuyết: Tìm hiểu chi tiết các thành phần cấu tạo, nguyên lý vận hành toán học của kiến trúc Transformer (gồm khối Encoder, Decoder, Positional Encoding, Multi-Head Attention, Add & Normalize, Feed Forward) và các mô hình ngôn ngữ kế thừa như BERT, PhoBERT.
2. Về mặt ứng dụng: Áp dụng mô hình ngôn ngữ dựa trên Transformer kết hợp kỹ thuật tinh chỉnh (fine-tuning) trên tập dữ liệu tiếng Việt UIT-ViSQuAD; từ đó xây dựng hệ thống ứng dụng website hỗ trợ người dùng tải tệp văn bản và đặt câu hỏi để nhận câu trả lời tự động trích xuất từ ngữ cảnh.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Kiến trúc học sâu Transformer, cơ chế Self-Attention, mô hình biểu diễn ngôn ngữ tiếng Việt tiền huấn luyện PhoBERT (phiên bản PhoBERT-large), cùng các phương pháp xử lý văn bản tiếng Việt.
• Phạm vi nghiên cứu: Bài toán Machine Reading Comprehension (Đọc hiểu văn bản máy) dạng trích xuất câu trả lời (extractive QA) trên tập dữ liệu tiếng Việt UIT-ViSQuAD thu thập được (quy mô 19.240 cặp câu hỏi - đáp án).

Cơ sở lý thuyết và phương pháp nghiên cứu

Khóa luận xây dựng nền tảng lý luận dựa trên các công trình học sâu tiêu biểu trong NLP:

• Kiến trúc Transformer: Mô hình gồm hai khối chính là Encoder và Decoder. Khóa luận phân tích chi tiết cơ chế biểu diễn vị trí (Positional Encoding) sử dụng các hàm lượng giác Sin và Cos với các bước sóng khác nhau từ $2\pi$ đến 10.000 để bù đắp thông tin thứ tự từ bị thiếu do cơ chế tính toán song song. Khối chú ý tích vô hướng có tỷ lệ (Scaled Dot-Product Attention) vận hành trên ba ma trận Truy vấn (Query - $Q$), Khóa (Key - $K$) và Giá trị (Value - $V$):

$$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$

• Cơ chế Multi-Head Attention: Mở rộng từ Scaled Dot-Product Attention bằng cách chiếu $Q, K, V$ qua nhiều không gian đặc trưng con độc lập, cho phép mô hình đồng thời quan sát thông tin từ nhiều khía cạnh ngữ cảnh khác nhau trước khi ghép nối (concatenate) và nhân với ma trận trọng số đầu ra.
• Kỹ thuật Add & Normalize: Sử dụng kết nối tắt (Skip Connection / Residual Connection) cộng với chuẩn hóa theo lớp (Layer Normalization) sau mỗi tầng con, giúp duy trì phân phối chuẩn của dữ liệu (trung bình bằng 0, độ lệch chuẩn bằng 1), ngăn chặn hiện tượng bùng nổ trọng số (weight explosion) và tăng tốc độ hội tụ.
• Mô hình BERT và PhoBERT: BERT (Bidirectional Encoder Representations from Transformers) huấn luyện biểu diễn ngữ cảnh hai chiều. Đối với tiếng Việt, khóa luận tiếp cận mô hình PhoBERT được huấn luyện trước trên 20 GB ngữ liệu văn bản tiếng Việt (gồm 1 GB Wikipedia tiếng Việt và 19 GB báo chí đã lọc trùng lặp từ tập 50 GB, tương đương 145 triệu câu và gần 3 tỷ tokens), kết hợp công cụ phân đoạn từ RDRSegmenter của VnCoreNLP để giải quyết ranh giới âm tiết và từ ghép đặc thù trong tiếng Việt.

Phương pháp nghiên cứu kết hợp giữa nghiên cứu lý thuyết tổng hợp, nghiên cứu thực nghiệm tối ưu hóa mô hình và xây dựng ứng dụng phần mềm hoàn chỉnh.

Nguồn dữ liệu sử dụng là tập dữ liệu UIT-ViSQuAD (Vietnamese University Information Technology SQuAD) do Trường Đại học Công nghệ Thông tin - ĐHQG TP.HCM xây dựng từ 5.109 đoạn văn bản thuộc 174 bài viết Wikipedia tiếng Việt. Tập dữ liệu mà nhóm tác giả thu thập và sử dụng trong nghiên cứu gồm 19.240 cặp câu hỏi - đáp án dạng JSON, chứa các trường thông tin: id, question, context, text (nội dung câu trả lời) và start_position (vị trí ký tự bắt đầu của câu trả lời trong đoạn văn).

Thiết kế và triển khai hệ thống

Quy trình tiền xử lý dữ liệu

Dữ liệu dạng chuỗi văn bản được đưa qua quy trình xử lý chuyên biệt cho tiếng Việt:

1. Kiểm tra dữ liệu rác: Đánh giá các giá trị Null và NA trên toàn bộ tập dữ liệu (kết quả kiểm tra không ghi nhận mẫu rỗng).
2. Tách từ và gán nhãn: Sử dụng thư viện VnCoreNLP để thực hiện phân đoạn từ (Word Segmentation), gán nhãn từ loại (POS Tagging), nhận dạng thực thể (NER) và phân tích cú pháp phụ thuộc.
3. Phân tích độ dài: Thống kê độ dài đoạn văn bản cho thấy 97% các đoạn văn có độ dài dưới 256 tokens. Nhóm tác giả chọn ngưỡng cắt ngắn chuỗi đầu vào tối đa là 256 tokens để tối ưu hóa tài nguyên phần cứng.
4. Chuẩn hóa nhãn câu trả lời: Xây dựng hàm checkAns để định vị lại vị trí câu trả lời trong ngữ cảnh nếu có sai lệch ký tự; hàm checkTempAns để phát hiện và sửa chữa các trường hợp câu trả lời bị cắt cụt đầu/đuôi do quá trình tách từ; lớp VnCoreSquad (kế thừa từ SquadProcessor) và lớp đối tượng SquadExample để đóng gói dữ liệu đầu vào chuẩn hóa.

Tập dữ liệu 19.240 mẫu được phân chia theo tỷ lệ:

• Tập huấn luyện (train_vi): 80%
• Tập kiểm thử (test_vi): 10%
• Tập xác thực (val_vi): 10%

Tham số cấu hình	Giá trị thiết lập	Ràng buộc kỹ thuật / Mục đích
Mô hình nền tảng	PhoBERT-large	Tối ưu hóa biểu diễn ngữ cảnh chuyên sâu cho tiếng Việt
Độ dài chuỗi tối đa (max_seq_length)	256 tokens	Bao phủ 97% dữ liệu, hạn chế tràn bộ nhớ đệm
Bước trượt phân đoạn (doc_stride)	81 tokens	Đảm bảo không mất thông tin khi chia nhỏ văn bản dài
Độ dài câu hỏi tối đa (max_query_length)	81 tokens	Xử lý trọn vẹn câu hỏi có độ dài trung bình và dài
Kích thước batch (batch_size)	16	Chiếm dụng 14.5 GB / 15.0 GB RAM GPU trên môi trường Google Colab
Số lượng epoch (num_epochs)	4	Tối ưu theo giới hạn thời gian chạy và độ hội tụ
Thuật toán tối ưu hóa	AdamW	learning_rate = 3e-5, epsilon = 1e-8
Chiến lược dừng sớm (Early Stopping)	3 epochs	Dừng nếu hiệu suất trên tập xác thực không tăng sau 3 epoch liên tiếp

Kiến trúc và triển khai ứng dụng Website

Hệ thống được đóng gói để phục vụ người dùng cuối với các thành phần:

• Môi trường phát triển: Huấn luyện trên nền tảng Google Colab sử dụng PyTorch và Hugging Face Transformers; lưu trữ và quản lý tài nguyên qua Google Drive.
• Backend & Triển khai: Xây dựng dịch vụ xử lý trên môi trường máy cục bộ (local) và đóng gói container hóa thông qua Docker (docker build, docker run).
• Giao diện người dùng (Frontend): Thiết kế 3 phân hệ chức năng:
  • Trang Upload File: Tiếp nhận tệp tài liệu văn bản từ người dùng và kiểm tra đúng định dạng tệp tải lên.
  • Trang Đặt câu hỏi: Cung cấp khung nhập câu hỏi tương tác trực tiếp dựa trên nội dung tệp đã tải.
  • Trang Trả lời câu hỏi: Hiển thị câu trả lời do mô hình PhoBERT trích xuất từ ngữ cảnh, đi kèm nút thao tác đặt câu hỏi mới hoặc chọn tệp mới.

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương 1 thiết lập cơ sở đặt vấn đề về sự cần thiết của bài toán Trả lời Câu hỏi tự động trong kỷ nguyên bùng nổ thông tin. Tác giả phân tích bước chuyển dịch công nghệ từ các hệ thống đối sánh từ khóa/N-gram sang các mô hình chuỗi (RNN, LSTM, GRU), đồng thời chỉ ra tính cấp thiết của việc nghiên cứu cơ chế Attention và kiến trúc Transformer cho ngôn ngữ tiếng Việt. Chương này xác định rõ mục tiêu lý thuyết, mục tiêu ứng dụng, phạm vi dữ liệu và phương pháp thực nghiệm của đề tài.

Chương 2: Kiến trúc Transformer

Chương 2 trình bày toàn diện cấu trúc toán học của Transformer. Tác giả đi sâu vào từng khối chức năng:

• Cơ chế nhúng từ (Input Embedding) và mã hóa vị trí (Positional Encoding) qua hàm sin/cos.
• Khối Encoder với cơ chế Self-Attention và Feed Forward Network.
• Khối Decoder và cơ chế Masked Multi-Head Attention nhằm ngăn chặn việc rò rỉ thông tin từ các từ ở vị trí tương lai trong quá trình sinh chuỗi.
• Phân tích chi tiết sự khác biệt giữa Batch Normalization và Layer Normalization trong xử lý độ dài chuỗi biến đổi.

Chương 3: Mô hình BERT

Chương 3 tập trung vào mô hình biểu diễn ngôn ngữ hai chiều BERT do Google phát triển, giải thích cơ chế tiền huấn luyện (Pre-training) với các tác vụ Masked Language Model (MLM), Next Sentence Prediction (NSP) và cơ chế tinh chỉnh (Fine-tuning) cho Downstream Tasks. Tác giả phân tích sâu về mô hình PhoBERT: chỉ ra hai điểm hạn chế cốt lõi của các mô hình BERT đa ngôn ngữ khi áp dụng cho tiếng Việt (kích thước dữ liệu tiếng Việt quá nhỏ và sự khác biệt giữa âm tiết với từ ghép), từ đó chứng minh sự cần thiết của việc sử dụng 20 GB dữ liệu văn bản tiếng Việt và công cụ RDRSegmenter của VnCoreNLP.

Chương 4: Xây dựng mô hình áp dụng kiến trúc Transformer cho bài toán trả lời câu hỏi

Đây là chương trọng tâm về thực nghiệm. Tác giả mô tả chi tiết:

• Phân tích tập dữ liệu UIT-ViSQuAD (cấu trúc JSON, phân bố độ dài văn bản).
• Quy trình tổ chức mã nguồn, thư viện (transformers, torch, vncorenlp) và luồng tiền xử lý văn bản tiếng Việt qua các hàm tự định nghĩa (VnCoreNLP1, checkAns, checkTempAns, _create_examples).
• Thiết lập pipeline tinh chỉnh mô hình PhoBERT-large với bộ tối ưu hóa AdamW.
• Xây dựng hàm đánh giá hiệu năng tự động trên tập kiểm thử và tập xác thực.

Chương 5: Ứng dụng website trả lời câu hỏi

Chương 5 mô tả thiết kế hệ thống phần mềm ứng dụng thực tế. Tác giả trình bày cấu trúc cây thư mục mã nguồn (backend, frontend), các dòng lệnh thực thi môi trường local, quy trình đóng gói container bằng Docker (Dockerfile), và các luồng giao diện người dùng (tải tài liệu, kiểm tra lỗi định dạng tệp, giao diện nhập câu hỏi và hiển thị kết quả trích xuất đáp án).

Chương 6: Tổng kết về đồ án

Chương cuối cùng tổng kết các kết quả đạt được về mặt nắm vững lý thuyết Transformer/BERT/PhoBERT, xây dựng thành công pipeline tinh chỉnh mô hình QA tiếng Việt và hoàn thiện website demo. Đồng thời, chương này chỉ ra các mặt hạn chế về hạ tầng phần cứng và đề xuất các định hướng cải tiến trong tương lai.

Kết quả và đóng góp

Kết quả đánh giá mô hình

Hiệu năng của mô hình trả lời câu hỏi được đánh giá thông qua hai độ đo tiêu chuẩn:

• Độ chính xác tuyệt đối (Exact Match - EM): Tỷ lệ phần trăm các câu trả lời dự đoán trùng khớp hoàn toàn 100% từng ký tự và ranh giới từ so với đáp án chuẩn.
• Điểm F1 (F1-Score): Đo lường mức độ chồng chéo token giữa câu trả lời dự đoán và đáp án thực tế thông qua hai chỉ số thành phần:
  • Precision: Tỷ lệ token dự đoán đúng trên tổng số token được mô hình sinh ra: $\text{Precision} = \frac{\text{Num}(TP)}{\text{Num}(TP) + \text{Num}(FP)}$
  • Recall: Tỷ lệ token dự đoán đúng trên tổng số token của đáp án chuẩn: $\text{Recall} = \frac{\text{Num}(TP)}{\text{Num}(TP) + \text{Num}(FN)}$
  • F1-Score: Trung bình điều hòa giữa Precision và Recall: $\text{F1} = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}}$

Quá trình huấn luyện PhoBERT-large được giám sát tự động: mô hình có kết quả tốt nhất trên tập xác thực (val_vi) được lưu lại sau mỗi epoch và dừng sớm nếu không có tiến triển sau 3 epoch.

Đóng góp của đề tài

1. Hệ thống hóa lý thuyết: Cung cấp tài liệu phân tích toán học và cấu trúc kỹ thuật của kiến trúc Transformer, cơ chế Self-Attention, cơ chế mã hóa vị trí và mô hình ngôn ngữ PhoBERT tiếng Việt.
2. Tối ưu hóa pipeline xử lý tiếng Việt: Đề xuất và triển khai thành công quy trình xử lý dữ liệu SQuAD cho tiếng Việt sử dụng VnCoreNLP, kết hợp các hàm kiểm tra sai lệch ranh giới từ (checkAns) và sửa lỗi cắt cụt chuỗi (checkTempAns).
3. Hiện thực hóa sản phẩm ứng dụng: Xây dựng hoàn chỉnh một website hỏi đáp văn bản có khả năng chạy cục bộ hoặc triển khai linh hoạt qua Docker, trích xuất trực tiếp câu trả lời từ tài liệu do người dùng tải lên.

Hạn chế và hướng nghiên cứu tiếp

Dựa trên các nội dung được nhóm tác giả nêu trong văn bản, đề tài còn tồn tại một số hạn chế:

• Tài nguyên tính toán: Việc huấn luyện phụ thuộc vào GPU miễn phí trên Google Colab dẫn đến giới hạn dung lượng RAM (chiếm tới 14.5 GB / 15 GB), buộc phải giới hạn batch_size ở mức 16 và số lượng epoch dừng ở mức 4, chưa thể mở rộng khảo sát các siêu tham số lớn hơn.
• Giới hạn độ dài ngữ cảnh: Ngưỡng max_seq_length bị cố định ở mức 256 tokens, khiến các văn bản hoặc câu hỏi có cấu trúc quá dài phải cắt bớt, có thể ảnh hưởng đến các đoạn văn bản phức tạp.
• Quy mô dữ liệu: Khóa luận thực hiện trên tập trích xuất 19.240 cặp câu hỏi - đáp án của UIT-ViSQuAD, chưa mở rộng sang các miền dữ liệu chuyên ngành đặc thù ngoài Wikipedia.

Hướng nghiên cứu tiếp theo được tác giả định hướng:

• Mở rộng huấn luyện mô hình trên các cụm máy chủ phần cứng mạnh hơn để nâng cao số lượng epoch và kích thước batch.
• Nghiên cứu cơ chế trượt văn bản linh hoạt hơn cho các tài liệu dài nhiều trang.
• Tối ưu hóa và triển khai ứng dụng web lên các nền tảng đám mây công cộng phục vụ nhiều người dùng đồng thời.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo hữu ích cho sinh viên, giảng viên và các kỹ sư thuộc ngành Công nghệ Thông tin, Khoa học Dữ liệu, Trí tuệ Nhân tạo đang nghiên cứu về Xử lý Ngôn ngữ Tự nhiên tiếng Việt:

• Phần lý thuyết kiến trúc (Chương 2 và Chương 3): Phù hợp cho người học cần nắm bắt bản chất toán học của cơ chế Self-Attention, Positional Encoding và sự khác biệt giữa các biến thể BERT.
• Phần tiền xử lý và tinh chỉnh mã nguồn (Chương 4): Cung cấp mẫu mã nguồn thực tế (PyTorch, Transformers, VnCoreNLP) có giá trị cao trong việc xử lý bài toán Đọc hiểu máy (MRC) và Question Answering trên tập dữ liệu tiếng Việt dạng SQuAD.
• Phần đóng gói triển khai (Chương 5): Cung cấp cấu hình Docker và luồng backend/frontend cho việc hiện thực hóa mô hình AI thành ứng dụng web.

Câu hỏi thường gặp

1. Khóa luận sử dụng mô hình ngôn ngữ nào làm nền tảng để tinh chỉnh cho bài toán trả lời câu hỏi? Tác giả sử dụng mô hình PhoBERT phiên bản PhoBERT-large được tải từ Hugging Face. Đây là mô hình được huấn luyện trước trên 20 GB văn bản tiếng Việt và tối ưu hóa phân đoạn từ bằng công cụ VnCoreNLP.

2. Tập dữ liệu UIT-ViSQuAD được xử lý và phân chia như thế nào trong khóa luận? Tập dữ liệu gồm 19.240 cặp câu hỏi - câu trả lời được phân tích độ dài văn bản để chọn ngưỡng cắt max_seq_length = 256 tokens (chiếm 97% độ dài phổ biến). Toàn bộ tập dữ liệu được chia theo tỷ lệ 80% cho tập huấn luyện (train_vi), 10% cho tập xác thực (val_vi) và 10% cho tập kiểm thử (test_vi).

3. Hàm checkAns và checkTempAns trong khóa luận có chức năng gì? Hàm checkAns dùng để kiểm tra xem đoạn văn bản câu trả lời có trùng khớp chính xác với đoạn văn gốc hay không; nếu không khớp, hàm sẽ tìm kiếm vị trí lân cận để lấy câu trả lời gần đúng nhất. Hàm checkTempAns dùng để phát hiện và sửa chữa câu trả lời bị cắt cụt (thiếu từ ở đầu hoặc cuối) do quá trình phân đoạn từ gây ra.

4. Các siêu tham số chính trong quá trình huấn luyện mô hình PhoBERT-large được thiết lập ra sao? Quá trình huấn luyện sử dụng thuật toán tối ưu hóa AdamW với tốc độ học learning_rate = 3e-5, hệ số epsilon = 1e-8, batch_size = 16, num_epochs = 4, doc_stride = 81 và max_query_length = 81, chạy trên môi trường Google Colab chiếm dụng 14.5 GB / 15 GB RAM GPU.

5. Ứng dụng website trả lời câu hỏi được xây dựng với các chức năng chính nào? Hệ thống website cho phép người dùng tải tệp tài liệu văn bản lên hệ thống (có kiểm tra lỗi định dạng), nhập câu hỏi trực tiếp liên quan đến tài liệu, hiển thị câu trả lời được mô hình tự động trích xuất từ văn bản, và hỗ trợ chuyển đổi tệp hoặc đặt câu hỏi mới.

Kết luận

Khóa luận tốt nghiệp của sinh viên Trần Quốc Tuấn và Nguyễn Lâm Sơn đã nghiên cứu chi tiết cơ sở lý thuyết của kiến trúc Transformer và mô hình PhoBERT trong xử lý ngôn ngữ tự nhiên. Đề tài đã xây dựng thành công quy trình tiền xử lý ngữ liệu tiếng Việt, tinh chỉnh mô hình PhoBERT-large trên tập dữ liệu UIT-ViSQuAD và đóng gói hoàn chỉnh ứng dụng website trả lời câu hỏi tự động. Công trình là tài liệu tham khảo có giá trị về mặt học thuật và thực nghiệm cho các nghiên cứu tiếp theo về bài toán đọc hiểu văn bản tiếng Việt.

Trích đoạn nội dung tài liệu

Đặt vấn đề Nhân loại ngày càng phát triển, mọi công việc của chúng ta đều đòi hỏi tốc độ và độ chính xác ngày càng cao. Cùng với sự phát triển đó, việc tìm được đáp án chính xác và nhanh chóng cho mỗi câu hỏi là một nhu cầu quan trọng và cấp thiết. Đây cũng chính là những mục tiêu của bài toán trả lời câu hỏi (Question Answering - QA). Trong lĩnh vực xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP), nó là một bài toán quan trọng.

Trước kia, các phương pháp trả lời câu hỏi dựa trên các kỹ thuật tìm kiếm theo từ khóa hoặc hoặc các mô hình xử lý ngôn ngữ truyền thống như N-gram. Tuy nhiên, những phương pháp này không đủ chính xác khi xử lý những câu hỏi phức tạp hoặc yêu cầu các kiến thức đặc biệt. Trong những năm gần đây, các công ty về lĩnh vực AI đã phát triển ra các mô hình hiện đại hơn cho bài toán trả lời câu hỏi. Trong đó, có rất nhiều mô hình dựa trên kiến trúc Transformer đã được phát triển và trở thành công cụ hữu ích.

Kiến trúc Transformer giúp các mô hình có khả năng xử lý dữ liệu dạng chuỗi với độ dài khác nhau và hiểu được ngữ cảnh của các từ trong câu dựa vào cơ chế Attention. Những ứng dụng của kiến trúc Transformer có thể xây dựng các mô hình học sâu cho bài toán trả lời câu hỏi với độ chính xác cao hơn và khả năng xử lý các câu hỏi phức tạp tốt hơn. Mục tiêu nghiên cứu - Về lý thuyết, chúng tôi muốn tìm hiểu các thành phần chi tiết của kiến trúc Transformer và cách hoạt động của nó. Kiến trúc này gồm hai thành phần chính là Encoder và Decoder.

- Về ứng dụng, chúng tôi sẽ áp dụng các mô hình dựa trên kiến trúc Transformer kết hợp với kỹ thuật Fine-Tuning cho bài toán trả lời câu hỏi dùng tập dữ liệu tiếng Việt để xây dựng một ứng dụng trả lời câu hỏi bằng tiếng Việt. Phạm vi nghiên cứu - Kiến trúc Transformer và các khái niệm liên quan. - Tập dữ liệu Tiếng Việt liên quan đến bài toán trả lời câu hỏi mà chúng tôi có thể thu thập được.Tầm quan trọng của đồ án Đây là một kiến trúc hiện đại và quan trọng trong để giải quyết bài toán trả lời câu hỏi tự động, đặc biệt là trong lĩnh vực xử lý ngôn ngữ tự nhiên. Để có thể sử dụng các mô hình dựa trên kiến trúc Transformer hiệu quả, chúng ta cần phải hiểu rõ được các thành phần của nó và phải tinh chỉnh (fine-tune) mô hình trên tập dữ liệu mà ta làm 2 việc.

Ngoài ra, ở nước ta có rất ít trường nghiên cứu bài toán trả lời câu hỏi áp dụng cho bộ từ ngữ tiếng Việt. Đây cũng là một động lực để chúng tôi thực hiện nghiên cứu này. Việc sử dụng kiến trúc Transformer và phương pháp fine-tuning giúp tăng độ chính xác của các mô hình trả lời câu hỏi, từ đó giúp giải quyết các vấn đề thực tiễn như tăng hiệu quả và độ chính xác của các hệ thống trả lời câu hỏi tự động trong các ứng dụng thương mại điện tử và cải thiện trải nghiệm người dùng khi tương tác với các hệ thống AI. Phương pháp nghiên cứu Chúng tôi tiến hành nghiên cứu dựa bao gồm hai thành phần chính: ● Nghiên cứu dựa trên lý thuyết: chúng tôi sẽ tiến hành nghiên cứu các tài liệu liên quan về Transformer và các ứng dụng của nó trong bài toán trả lời câu hỏi (bao gồm các tài liệu từ các bài báo khoa học, các tài liệu tham khảo từ các ứng dụng thực tế, và các khóa học trực tuyến về chủ đề này).