Tìm Hiểu Kiến Trúc Transformer và Ứng Dụng Cho Bài Toán Trả Lời Câu Hỏi

• Tác giả: Trần Quốc Tuấn
• Người hướng dẫn: Th.S Quách Đình Hoàng
• Trường học: Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Tìm Hiểu Kiến Trúc Transformer và Ứng Dụng Cho Bài Toán Trả Lời Câu Hỏi
• Loại tài liệu: Khóa Luận Tốt Nghiệp
• Năm xuất bản: 2023
• Địa điểm: Hồ Chí Minh

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. PHẦN 1: MỞ ĐẦU
• 1.1. CHƯƠNG 1: TỔNG QUAN
• 1.1.1. Đặt vấn đề
• 1.1.2. Mục tiêu nghiên cứu
• 1.1.3. Phạm vi nghiên cứu
• 1.1.4. Tầm quan trọng của đồ án
• 1.1.5. Phương pháp nghiên cứu
• 2. PHẦN 2: NỘI DUNG
• 2.1. CHƯƠNG 2: KIẾN TRÚC TRANSFORMER
• 2.1.1. Giới thiệu
• 2.1.2. Kiến trúc Transformer
• 2.1.3. Input Embedding
• 2.1.4. Positional Encoding
• 2.1.5. Encoder
• 2.1.6. Decoder
• 2.2. CHƯƠNG 3: MÔ HÌNH BERT
• 2.2.1. Giới thiệu về mô hình BERT
• 2.2.2. Sơ lược về pre-train và fine-tuning BERT
• 2.2.3. Mô hình PhoBERT
• 2.3. CHƯƠNG 4: XÂY DỰNG MÔ HÌNH ÁP DỤNG KIẾN TRÚC TRANSFORMER CHO BÀI TOÁN TRẢ LỜI CÂU HỎI
• 2.3.1. Tập dữ liệu
• 2.3.2. Tổng quan về tập dữ liệu
• 2.3.3. Quá trình xử lý dữ liệu
• 2.3.4. Mô hình dùng để huấn luyện cho bài toán trả lời câu hỏi
• 2.3.5. Quá trình huấn luyện mô hình
• 2.3.6. Tổ chức file
• 2.3.7. Các thư viện Python được sử dụng
• 2.3.8. Các hàm huấn luyện
• 2.3.9. Fine-tuning mô hình PhoBERT
• 2.3.10. Phương pháp đánh giá mô hình
• 2.3.11. Hàm đánh giá mô hình
• 2.4. CHƯƠNG 5: ỨNG DỤNG WEBSITE TRẢ LỜI CÂU HỎI
• 2.4.1. Ý tưởng dựng sản phẩm
• 2.4.2. Công nghệ sử dụng cho website
• 2.4.3. Cấu trúc source code
• 2.4.4. Các lệnh dùng để chạy ứng dụng
• 2.4.5. Chạy ở môi trường máy cá nhân (local)
• 2.4.6. Phát triển ứng dụng lên các môi trường khác
• 2.4.7. Giao diện của website
• 2.4.8. Trang upload file
• 2.4.9. Trang đặt câu hỏi
• 2.4.10. Trang trả lời câu hỏi
• PHẦN 3: KẾT LUẬN
• 6. CHƯƠNG 6: TỔNG KẾT VỀ ĐỒ ÁN
• 6.1. Những điều đã làm được
• 6.2. Những mặt cần khắc phục
• TÀI LIỆU THAM KHẢO

I. Tìm Hiểu Kiến Trúc Transformer Tổng Quan Chi Tiết Nhất

Trước khi có Transformer architecture, hầu hết các hệ thống NLP tiên tiến đều dựa vào RNN, như LSTM và GRU. Sự ra đời của cơ chế Attention mechanism vào năm 2017 đã tạo ra một kiến trúc mới dành cho các bài toán NLP mà không cần có sự xuất hiện của mạng nơ-ron hồi tiếp (RNN, LSTM,…) hay là mạng nơ-ron tích chập (CNN) đó là Transformer. Transformer là một mô hình Deep Learning được giới thiệu vào năm 2017 thường được dùng chủ yếu ở các lĩnh vực xử lý các ngôn ngữ tự nhiên (NLP) và thị giác máy tính (CV). Ngoài ra, mô hình còn hỗ trợ lĩnh vực âm thanh nó có thể giúp nhận dạng giọng nói và phân loại từng loại âm thanh hoặc ở lĩnh vực đa phương thức Transformer còn hỗ trợ trả lời câu hỏi trên bảng, nhận dạng ký tự quang học, trích xuất thông tin từ tài liệu được quét và phân loại video và trả lời câu hỏi bằng hình ảnh. Transformer cũng xử lý dữ liệu tuần tự giống như mạng nơron hồi quy (Recurrent Neural Network - RNN). Tuy nhiên khác với RNN, nó không yêu cầu dữ liệu tuần tự phải được xử lý một cách thứ tự. Ví dụ: Chúng ta có một câu ngôn ngữ tự nhiên thay vì như trước đây ta phải xử lý đầu câu rồi mới đến cuối câu. Nhưng Transformer không yêu cầu điều đó nó cả thể xử lý cả câu văn nên Transformer cho phép thực hiện nhiều phép tính song song điều này giúp giảm thời gian huấn luyện mô hình một cách đáng kể.

1.1. Lịch Sử Phát Triển của Kiến Trúc Transformer

Trước khi Transformer architecture ra đời, các mô hình RNN như LSTM và GRU là chủ đạo trong NLP. Tuy nhiên, các mô hình này gặp khó khăn trong việc xử lý các chuỗi dài và các mối quan hệ xa. Sự ra đời của cơ chế Attention mechanism đã mở ra một hướng đi mới. Transformer, được giới thiệu vào năm 2017, đã khắc phục được những hạn chế này và trở thành một kiến trúc nền tảng cho nhiều ứng dụng NLP hiện đại. Điểm đột phá của Transformer là khả năng xử lý song song dữ liệu, giúp giảm thời gian huấn luyện và tăng hiệu quả. Kiến trúc này cũng cho phép mô hình tập trung vào các phần quan trọng của chuỗi đầu vào, giúp cải thiện độ chính xác.

1.2. Ưu Điểm Vượt Trội Của Transformer So Với RNN

So với các mô hình RNN, Transformer architecture có nhiều ưu điểm vượt trội. Thứ nhất, Transformer có thể xử lý song song dữ liệu, trong khi RNN phải xử lý tuần tự. Điều này giúp Transformer huấn luyện nhanh hơn đáng kể. Thứ hai, Transformer có cơ chế Self-attention, cho phép mô hình tập trung vào các phần quan trọng của chuỗi đầu vào. Điều này giúp Transformer hiểu rõ hơn ngữ cảnh của câu và đưa ra dự đoán chính xác hơn. Thứ ba, Transformer ít bị ảnh hưởng bởi vấn đề biến mất gradient hơn so với RNN, cho phép mô hình học được các mối quan hệ xa tốt hơn.

II. Giải Mã Kiến Trúc Transformer Encoder và Decoder Chi Tiết

Kiến trúc Transformer gồm hai thành phần chính là Encoder và Decoder, cả hai thành phần này đều có cấu tạo tương tự nhau gồm nhiều Layers, mỗi Layer được thiết kế với nhiều Sub-Layer. Sub-Layer đầu tiên là Multi-Head Attention Layer, Sub- Layer tiếp theo là Feed Forward Neral Network Layer. Tất cả các thuật toán học sâu đều yêu cầu đầu vào là dữ liệu dạng số. Tuy nhiên, trong ngôn ngữ tự nhiên, các từ không phải là các giá trị số. Do đó, chúng ta cần phải chuyển đổi các từ sang dạng số để có thể đưa chúng vào mô hình học sâu. Một trong những cách để chuyển đổi từ sang số là sử dụng một lớp nhúng từ (Word Embedding Layer). Lớp này hoạt động như một bảng tra cứu để lấy một biểu diễn vectơ đã học của mỗi từ. Các mạng nơ-ron học thông qua các số nên mỗi từ sẽ được ánh xạ sang một vector với các giá trị liên tục để biểu diễn từ đó. Ví dụ, các từ "học sinh" và "đi học" có thể được ánh xạ sang các vector khác nhau nhưng vẫn giữ nguyên các mối quan hệ giữa chúng. Điều này cho phép mô hình học được các đặc trưng của từ và sử dụng chúng để thực hiện các tác vụ như phân loại văn bản hay dịch máy. Các con số sẽ dùng để ánh xạ các từ tới một vector có các giá trị liên tục để biểu thị từ đó.

2.1. Vai Trò Của Encoder Trong Transformer Architecture

Encoder trong Transformer architecture có vai trò ánh xạ tất cả các chuỗi đầu vào thành một biểu diễn liên tục chứa thông tin đã học cho toàn bộ chuỗi đó. Mỗi Encoder sẽ gồm hai thành phần chính là Multi-Headed Attention và Feed Forward Network, ngoài ra còn có cả Skip Connection và Normalization. Encoder giúp mô hình hiểu được ngữ nghĩa của câu đầu vào bằng cách trích xuất các đặc trưng quan trọng và mối quan hệ giữa các từ. Các lớp Encoder được xếp chồng lên nhau để tạo thành một mạng lưới sâu, cho phép mô hình học được các biểu diễn phức tạp hơn của dữ liệu.

2.2. Chức Năng Của Decoder Trong Transformer Architecture

Decoder chính là đầu ra của Encoder. Mục đích của Decoder là tìm ra phân phối xác suất từ các features learning ở Encoder từ đó xác định đâu là nhãn đầu ra. Kết quả đầu ra của Decoder tùy thuộc vào đầu vào của Encoder nó có thể là một nhãn đối với mô hình phân loại hoặc một chuỗi theo thứ tự thời gian đối với mô hình Sequence-to-sequence. Ví dụ: Trong bài toán chuyển từ một câu tiếng Anh sang tiếng Pháp thì công việc của Decoder là giải mã (translate) thông tin từ Encoder và sinh ra từng từ tiếng Pháp dựa trên những từ trước đó. Mỗi Decoder sẽ gồm 3 thành phần chính: Self-Attention, Multi-Head Attention, Feed-forward Neural Network.

2.3. Vị trí Embedding và Positional Encoding

Trước khi đi vào Encoder, thì xin giới thiệu một cơ chế rất thú vị là Positional Encoding mang thông tin về vị trí các từ để truyền vào bên trong kiến trúc Transformer. Trước tiên, các từ được biểu diễn bằng một vector sử dụng một ma trận Word Embedding có số dòng bằng kích thước của tập từ vựng. Tiếp theo các từ trong câu được tìm kiếm trong ma trận này, và được nối với nhau thành các dòng của một ma trận hai chiều chứa ngữ nghĩa của từng từ riêng biệt. Nhưng do Transformer xử lý các từ một cách song song do đó chỉ sử dụng Word Embedding thì mô hình không thể nào biết được vị trí các từ. Như vậy mô hình cần có một cơ chế để đưa thông tin về về vị trí các từ vào trong vector đầu vào. Đó là lúc Positional Encoding xuất hiện và giải quyết vấn đề này.

III. Cơ Chế Attention Bí Quyết Sức Mạnh Của Transformer NLP

Thành phần Self-Attention ở Decoder giống như ở Encoder nó cho phép mỗi từ trong câu đầu ra chú ý đến các từ khác có trong câu đó và tính toán trọng số của các từ đó để tính toán vector biểu diễn từ đó. Nhiệm vụ của Self-Attention trong Decoder giống với Encoder là giúp cho mô hình học được mối quan hệ giữa các từ trong câu đầu ra giúp đưa ra các từ đúng thứ tự và phù hợp ngữ cảnh. Thành phần Multi-Head Attention cũng giống như ở Encoder. Sau khi đã hoàn thành xong việc tính toán trọng số của các từ trong các câu đầu vào, vector biểu diễn của từ tiếp theo trong câu đầu ra sẽ được tính toán bằng cách tính trung bình các trọng số các vector biểu diễn các từ trong câu đầu vào và vector biểu diễn các từ đang dự đoán trước. Khi đã tính trung bình các trọng số các vector xong các từ này sẽ được đưa vào Feed Forward để tiếp tục xử lý. Feed Forward ở Decoder có nhiệm vụ giống như ở Encoder là xử lý các vector biểu diễn các từ và trích xuất các đặc trưng quan trọng. Ở Decoder, Transformer có thể học được cách dự đoán từ tiếp theo trong câu đầu ra và dựa trên các đặc trưng hay ngữ cảnh của câu đầu vào và các từ đã xử lý trong câu đầu ra.

3.1. Phân Tích Chi Tiết Về Self Attention Mechanism

Cơ chế Self-attention là một thành phần quan trọng của Transformer NLP. Nó cho phép mô hình học được mối quan hệ giữa các từ trong một câu. Mỗi từ trong câu sẽ được biểu diễn bằng một vector. Sau đó, Self-attention sẽ tính toán trọng số của mỗi từ dựa trên mức độ liên quan của nó đến các từ khác trong câu. Trọng số này được sử dụng để tính toán một vector biểu diễn mới cho mỗi từ, thể hiện mối quan hệ của nó với các từ khác trong câu. Cơ chế này giúp mô hình hiểu được ngữ cảnh của câu và đưa ra dự đoán chính xác hơn.

3.2. Multi Head Attention Nâng Cao Khả Năng Học Biểu Diễn

Multi-Head Attention là một cải tiến của Self-attention. Thay vì chỉ sử dụng một head để tính toán trọng số, Multi-Head Attention sử dụng nhiều head khác nhau. Mỗi head sẽ học một biểu diễn khác nhau của mối quan hệ giữa các từ. Điều này giúp mô hình học được nhiều góc nhìn khác nhau về dữ liệu và cải thiện khả năng học biểu diễn. Các head được kết hợp lại để tạo ra một vector biểu diễn cuối cùng, thể hiện tất cả các khía cạnh của mối quan hệ giữa các từ.

IV. Ứng Dụng Transformer BERT Trong Bài Toán Trả Lời Câu Hỏi

Mô hình BERT (Bidirectional Encoder Representations from Transformers) là một kiến trúc Transformer mạnh mẽ được sử dụng rộng rãi trong nhiều tác vụ NLP, bao gồm cả bài toán Question Answering. BERT được huấn luyện trước trên một lượng lớn dữ liệu văn bản, cho phép mô hình học được các biểu diễn ngôn ngữ phong phú. Sau đó, BERT có thể được tinh chỉnh (fine-tuning) cho các tác vụ cụ thể, chẳng hạn như Question Answering. Trong bài toán Question Answering, BERT có thể được sử dụng để xác định đoạn văn trong tài liệu chứa câu trả lời cho câu hỏi. Điều này được thực hiện bằng cách huấn luyện BERT để dự đoán vị trí bắt đầu và kết thúc của câu trả lời trong đoạn văn. Mô hình PhoBERT là một phiên bản của BERT được huấn luyện trên dữ liệu tiếng Việt.

4.1. Tổng Quan Về Mô Hình BERT Bidirectional Encoder

BERT (Bidirectional Encoder Representations from Transformers) là một mô hình dựa trên kiến trúc Transformer được thiết kế để học các biểu diễn ngữ cảnh sâu sắc từ dữ liệu văn bản. Điểm đặc biệt của BERT là khả năng học theo hai hướng (bidirectional), cho phép mô hình hiểu rõ hơn ngữ cảnh của câu và đưa ra dự đoán chính xác hơn. BERT đã đạt được những kết quả vượt trội trong nhiều tác vụ NLP, bao gồm cả Question Answering.

4.2. Fine tuning BERT Cho Bài Toán Question Answering QA

Để sử dụng BERT cho bài toán Question Answering, cần thực hiện quá trình fine-tuning. Quá trình này bao gồm việc huấn luyện lại BERT trên một tập dữ liệu Question Answering cụ thể. Trong quá trình fine-tuning, BERT sẽ học cách xác định đoạn văn trong tài liệu chứa câu trả lời cho câu hỏi. Sau khi fine-tuning, BERT có thể được sử dụng để trả lời các câu hỏi mới với độ chính xác cao.

V. Xây Dựng Mô Hình Transformer Trả Lời Câu Hỏi Thực Tế

Việc xây dựng mô hình Transformer cho bài toán trả lời câu hỏi bao gồm các bước chính sau: Thu thập và xử lý dữ liệu, lựa chọn kiến trúc mô hình, huấn luyện mô hình, đánh giá mô hình và triển khai mô hình. Dữ liệu cần được thu thập từ các nguồn khác nhau và xử lý để đảm bảo chất lượng. Kiến trúc mô hình cần được lựa chọn phù hợp với đặc điểm của dữ liệu và yêu cầu của bài toán. Mô hình cần được huấn luyện trên một tập dữ liệu lớn và đánh giá trên một tập dữ liệu kiểm tra để đảm bảo hiệu quả. Cuối cùng, mô hình có thể được triển khai để sử dụng trong thực tế. Quá trình Fine-tuning đóng vai trò quan trọng trong việc tối ưu hóa hiệu suất của mô hình.

5.1. Chuẩn Bị Dữ Liệu Huấn Luyện Training Data

Dữ liệu huấn luyện đóng vai trò then chốt trong việc xây dựng một mô hình Transformer hiệu quả cho bài toán trả lời câu hỏi. Dữ liệu huấn luyện cần phải đủ lớn, đa dạng và chất lượng cao. Dữ liệu cần bao gồm các cặp câu hỏi và câu trả lời tương ứng. Các câu hỏi cần bao phủ nhiều chủ đề khác nhau và có độ phức tạp khác nhau. Câu trả lời cần chính xác, ngắn gọn và dễ hiểu. Dữ liệu cũng cần được xử lý trước để loại bỏ các lỗi và đảm bảo tính nhất quán. Training data ảnh hưởng trực tiếp đến khả năng học hỏi và tổng quát hóa của mô hình.

5.2. Phương Pháp Đánh Giá Hiệu Năng Mô Hình Evaluation

Đánh giá hiệu năng mô hình là một bước quan trọng để đảm bảo mô hình hoạt động tốt trong thực tế. Có nhiều phương pháp đánh giá hiệu năng mô hình khác nhau, bao gồm Exact Match, F1-Score, Precision và Recall. Exact Match đo lường tỷ lệ các câu trả lời chính xác hoàn toàn. F1-Score là trung bình điều hòa của Precision và Recall. Precision đo lường tỷ lệ các câu trả lời được mô hình đưa ra là chính xác. Recall đo lường tỷ lệ các câu trả lời chính xác được mô hình tìm thấy. Việc lựa chọn phương pháp đánh giá phù hợp phụ thuộc vào yêu cầu của bài toán.

VI. Kết Luận Tương Lai Ứng Dụng Transformer Trong Trả Lời Câu Hỏi

Kiến trúc Transformer đã chứng minh được sức mạnh của mình trong bài toán trả lời câu hỏi và nhiều lĩnh vực NLP khác. Với khả năng học biểu diễn ngôn ngữ sâu sắc và xử lý song song dữ liệu, Transformer đã mở ra những khả năng mới cho việc xây dựng các hệ thống Question Answering thông minh và hiệu quả. Trong tương lai, chúng ta có thể kỳ vọng vào những ứng dụng đột phá hơn nữa của Transformer trong việc giải quyết các vấn đề thực tiễn liên quan đến xử lý ngôn ngữ tự nhiên và trí tuệ nhân tạo.

6.1. Tổng Kết Những Thành Công Đã Đạt Được

Luận văn đã thành công trong việc tìm hiểu sâu về kiến trúc Transformer, cơ chế Attention mechanism, và ứng dụng của chúng trong bài toán trả lời câu hỏi. Đã xây dựng được một mô hình Question Answering dựa trên Transformer và đánh giá hiệu năng của mô hình trên tập dữ liệu tiếng Việt. Các kết quả cho thấy Transformer có tiềm năng lớn trong việc giải quyết các bài toán NLP phức tạp. Những thành công này mở đường cho các nghiên cứu tiếp theo về ứng dụng Transformer trong nhiều lĩnh vực khác.

6.2. Hướng Phát Triển Tiềm Năng Trong Tương Lai

Trong tương lai, có nhiều hướng phát triển tiềm năng cho kiến trúc Transformer và ứng dụng của nó trong bài toán trả lời câu hỏi. Một hướng là nghiên cứu các kiến trúc Transformer mới, hiệu quả hơn và phù hợp hơn với các bài toán cụ thể. Một hướng khác là khám phá các phương pháp Pre-training và Fine-tuning tiên tiến hơn để cải thiện hiệu năng của mô hình. Ngoài ra, cũng có thể nghiên cứu các ứng dụng mới của Transformer trong các lĩnh vực khác như dịch máy, tóm tắt văn bản và tạo sinh văn bản. Sự kết hợp giữa Transformer và các công nghệ khác như đồ họa tri thức cũng hứa hẹn mang lại những kết quả ấn tượng.