Luận văn: Điều chỉnh BERT cho các bài toán NLP tiếng Việt (ĐH Bách Khoa Hà Nội)

Luận văn về điều chỉnh BERT cho các bài toán NLP tiếng Việt. Nghiên cứu và ứng dụng BERT để tăng hiệu quả xử lý ngôn ngữ tự nhiên tiếng Việt.

• Tác giả: Nguyễn Vạn Nhã
• Người hướng dẫn: Ts. Nguyễn Kiếm Hiếu
• Trường học: Trường Đại học Bách khoa Hà Nội
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Điều chỉnh BERT cho các bài toán xử lý ngôn ngữ tự nhiên trong tiếng Việt
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2020
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1. GIỚI THIỆU VỀ MÔ HÌNH NGÔN NGỮ, TRANSFORMER
• 1.1. Mô hình ngôn ngữ mạng neural
• 1.2. Transformers
• 1.3. BERT
• 2. CHƯƠNG 2. MỘT SỐ BÀI TOÁN NLP CƠ BẢN TRONG TIẾNG VIỆT
• 2.1. Câu lão Lir tiếng Việt
• 2.2. Bài toán tách từ Hếng Việt
• 2.3. Bài toán nhận diện thực thể có tên
• 2.4. Bài toán phân tích cảm xúc
• 2.5. Bài toán tìm tương đồng câu hỏi trên tiếng Việt
• 3. CHƯƠNG 3. CÁC MÔ HÌNH HUẤN LUYỆN TRƯỚC BERT
• 3.1. Giới thiệu
• 3.2. Nguồn dữ liệu
• 3.3. Tách từ
• 3.4. Tuấn luyện trước
• 3.5. Nguồn dữ liệu và lẫy mẫu
• 4. KẾT QUẢ THỰC NGHIỆM TRÊN MỘT VÀI BÀI TOÁN TIẾNG VIỆT
• 4.1. Bài toán tách từ tiếng Việt
• 4.1.1. Biểu diễn bài toán
• 4.1.2. Mô hình
• 4.1.3. Dữ liệu
• 4.1.4. Kết quả thực nghiệm
• 4.2. Bài toán nhận diện thực thể
• 4.2.1. Giới thiệu bài toán
• 4.2.2. Dữ liệu
• 4.2.3. Mô hình AQA
• 4.2.4. Kết quả thực nghiệm
• 4.3. Bài toán phân tích cảm xúc
• 4.3.1. cacceeee
• 4.3.2. Mô hình ABA
• 4.3.3. Kết quả thực nghiệm
• 4.4. Bài toán tìm câu hỏi tương đồng
• 4.4.1. Giới thiệu
• 4.4.2. Mô hình
• 4.4.3. Dữ liệu
• 4.4.4. Kết quả thực nghiệm
• 4.5. Cải thiện hiệu năng quá trình dự đoán của bert
• 4.5.1. BERT cho biểu diễn câu
• 5. Hướng phải triểu
• TÀI LIỆU THAM KHẢO
• Tari cam on

Tóm tắt

I. BERT tiếng Việt Tổng quan và tiềm năng đột phá NLP

Mô hình BERT (Bidirectional Encoder Representations from Transformers) đã tạo ra một cuộc cách mạng trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP) trên toàn cầu. Với khả năng học biểu diễn theo ngữ cảnh hai chiều của từ, BERT không chỉ đạt được kết quả tối ưu trên nhiều nhiệm vụ NLP tiếng Anh mà còn mở ra hướng nghiên cứu mới cho các ngôn ngữ khác, trong đó có tiếng Việt. Việc ứng dụng và điều chỉnh BERT cho tiếng Việt là một vấn đề cấp thiết để giải quyết hiệu quả các bài toán xử lý ngôn ngữ tự nhiên tiếng Việt. BERT tiếng Việt hứa hẹn mang lại những cải tiến đáng kể so với các phương pháp truyền thống. Luận văn này tập trung vào việc áp dụng và fine-tuning BERT để giải quyết một số bài toán NLP cơ bản và quan trọng trong tiếng Việt, bao gồm: tách từ, tìm câu hỏi tương đồng, phân tích cảm xúc và nhận diện thực thể có tên. Các kết quả đạt được cho thấy sự vượt trội về độ chính xác so với các phương pháp trước đây, khẳng định tiềm năng to lớn của BERT trong việc nâng cao hiệu suất của các hệ thống NLP tiếng Việt. Hơn nữa, luận văn cũng đề xuất một số phương pháp để cải thiện tốc độ của mô hình, nhằm đáp ứng yêu cầu triển khai trong thực tế. Việc này là rất quan trọng vì các mô hình BERT thường có kích thước lớn và đòi hỏi nhiều tài nguyên tính toán. Do đó, việc tối ưu hóa tốc độ là yếu tố then chốt để đưa BERT vào các ứng dụng thực tế một cách hiệu quả. Công trình nghiên cứu này đóng góp vào sự phát triển của cộng đồng NLP tiếng Việt bằng cách cung cấp những kết quả thực nghiệm đáng tin cậy và những hướng đi tiềm năng cho các nghiên cứu tiếp theo. Nó cũng là nguồn tài liệu tham khảo hữu ích cho những ai quan tâm đến việc cải tiến BERT và ứng dụng nó vào các bài toán cụ thể trong tiếng Việt.

Theo nghiên cứu của Nguyễn Vạn Nhã trong luận văn thạc sĩ, BERT đã chứng minh khả năng học tốt hơn so với các mô hình truyền thống. Việc này mở ra cơ hội lớn để tối ưu hóa BERT cho tiếng Việt, từ đó giải quyết các thách thức hiện tại trong lĩnh vực NLP.

1.1. Giới thiệu tổng quan mô hình BERT và ứng dụng của nó

Mô hình BERT là một kiến trúc mạng nơ-ron sâu dựa trên Transformer, được thiết kế để học biểu diễn ngôn ngữ hai chiều. Thay vì chỉ đọc văn bản từ trái sang phải hoặc ngược lại, BERT đồng thời xem xét cả ngữ cảnh trước và sau mỗi từ, cho phép nó hiểu rõ hơn ý nghĩa của từ trong câu. BERT được huấn luyện trước trên một lượng lớn dữ liệu văn bản, sau đó có thể được fine-tuning cho các nhiệm vụ NLP cụ thể. Quá trình transfer learning này giúp BERT đạt được hiệu suất cao trên nhiều bài toán khác nhau, từ phân loại văn bản đến trả lời câu hỏi. Ứng dụng của BERT rất đa dạng, bao gồm: dịch máy, tóm tắt văn bản, phân tích cảm xúc, nhận dạng thực thể có tên và nhiều hơn nữa. Sự linh hoạt và hiệu quả của BERT đã khiến nó trở thành một công cụ quan trọng trong nghiên cứu và phát triển NLP. Việc sử dụng BERT tiếng Việt giúp cải thiện đáng kể hiệu suất BERT trên các bài toán NLP liên quan đến tiếng Việt.

1.2. Vì sao cần điều chỉnh BERT cho bài toán tiếng Việt NLP

Mặc dù BERT đã được huấn luyện trước trên một lượng lớn dữ liệu đa ngôn ngữ, việc điều chỉnh BERT (fine-tuning) cho tiếng Việt vẫn là cần thiết vì một số lý do. Thứ nhất, tiếng Việt có đặc điểm ngôn ngữ riêng biệt, bao gồm cấu trúc câu, ngữ pháp và từ vựng khác với tiếng Anh và các ngôn ngữ khác. Thứ hai, các dataset tiếng Việt cho NLP thường nhỏ hơn so với các dataset tiếng Anh, điều này có thể ảnh hưởng đến hiệu suất của mô hình BERT nếu không được fine-tuning một cách cẩn thận. Thứ ba, các bài toán NLP cụ thể trong tiếng Việt có thể đòi hỏi những điều chỉnh đặc biệt để BERT hoạt động tốt nhất. Ví dụ, bài toán tách từ trong tiếng Việt là một thách thức riêng do đặc điểm của ngôn ngữ. Do đó, việc fine-tuning cho tiếng Việt giúp BERT thích nghi với những đặc điểm này và đạt được độ chính xác cao hơn. Điều này đặc biệt quan trọng trong các bài toán phân loại văn bản tiếng Việt, các bài toán nhận dạng thực thể tiếng Việt và các bài toán trích xuất thông tin tiếng Việt.

II. Thách thức Giải pháp Fine tuning BERT hiệu quả nhất

Việc fine-tuning BERT cho các bài toán NLP tiếng Việt không phải lúc nào cũng đơn giản. Một số thách thức có thể gặp phải bao gồm: lựa chọn siêu tham số phù hợp (fine-tuning hyperparameters), tránh overfitting, xử lý dữ liệu không cân bằng và đảm bảo tốc độ xử lý nhanh. Để giải quyết những thách thức này, cần áp dụng các optimization techniques và regularization techniques một cách cẩn thận. Ví dụ, việc điều chỉnh batch size và learning rate có thể ảnh hưởng đáng kể đến hiệu suất của mô hình. Sử dụng validation set để theo dõi quá trình huấn luyện và tránh overfitting là rất quan trọng. Bên cạnh đó, việc lựa chọn các performance metrics phù hợp (accuracy, precision, recall, F1-score) để đánh giá BERT cũng là yếu tố then chốt. Luận văn này trình bày các phương pháp cụ thể để vượt qua những thách thức này và đạt được hiệu suất fine-tuning BERT tối ưu cho các bài toán NLP tiếng Việt. Các phương pháp này bao gồm: sử dụng learning rate decay, áp dụng dropout regularization, sử dụng dữ liệu augmentation và thực hiện early stopping. Việc kết hợp những kỹ thuật này giúp BERT học được các đặc trưng quan trọng của ngôn ngữ tiếng Việt và tránh được các vấn đề thường gặp trong quá trình huấn luyện.

2.1. Các bước quan trọng trong quy trình fine tuning BERT cho tiếng Việt

Quy trình fine-tuning BERT cho tiếng Việt bao gồm một số bước quan trọng. Đầu tiên, cần chuẩn bị dữ liệu huấn luyện và chia thành các tập train, validation và test set. Thứ hai, cần lựa chọn một pretrained models cho tiếng Việt phù hợp, chẳng hạn như PhoBERT hoặc một mô hình Vietnamese BERT khác. Thứ ba, cần điều chỉnh các fine-tuning hyperparameters như learning rate, batch size, epochs và weight decay. Thứ tư, cần theo dõi hiệu suất của mô hình trên tập validation và điều chỉnh các tham số nếu cần. Cuối cùng, cần đánh giá BERT trên tập test để đánh giá hiệu suất tổng thể của mô hình. Trong quá trình này, việc sử dụng các kỹ thuật như early stopping và checkpointing có thể giúp tiết kiệm thời gian và tài nguyên.

2.2. Bí quyết chọn siêu tham số và kỹ thuật tối ưu hóa fine tuning

Việc lựa chọn siêu tham số phù hợp là rất quan trọng để đạt được hiệu suất fine-tuning BERT tối ưu. Một số bí quyết bao gồm: sử dụng learning rate nhỏ (ví dụ: 2e-5 hoặc 5e-5), lựa chọn batch size phù hợp với kích thước bộ nhớ GPU, huấn luyện trong một số epochs vừa phải (ví dụ: 2-4 epochs) và sử dụng weight decay để tránh overfitting. Ngoài ra, việc áp dụng các kỹ thuật optimization techniques như AdamW hoặc Adafactor có thể giúp cải thiện tốc độ và độ ổn định của quá trình huấn luyện. Việc thử nghiệm với nhiều cấu hình siêu tham số khác nhau và sử dụng các công cụ như hyperparameter search có thể giúp tìm ra cấu hình tốt nhất cho bài toán cụ thể.

III. Ứng dụng BERT Giải quyết bài toán NLP tiếng Việt thế nào

BERT có thể được ứng dụng để giải quyết nhiều bài toán NLP tiếng Việt khác nhau. Trong bài toán tách từ, BERT có thể được sử dụng để xác định ranh giới từ một cách chính xác hơn so với các phương pháp truyền thống. Trong bài toán nhận diện thực thể có tên, BERT có thể được sử dụng để xác định các thực thể như tên người, tổ chức và địa điểm trong văn bản. Trong bài toán phân tích cảm xúc, BERT có thể được sử dụng để xác định xem một đoạn văn bản có cảm xúc tích cực, tiêu cực hay trung tính. Trong bài toán tìm câu hỏi tương đồng, BERT có thể được sử dụng để xác định xem hai câu hỏi có ý nghĩa tương tự nhau hay không. Trong mỗi bài toán, BERT cần được fine-tuning trên một tập dữ liệu cụ thể để đạt được hiệu suất tốt nhất. Luận văn này trình bày các kiến trúc mô hình BERT cụ thể cho từng bài toán và so sánh hiệu suất của BERT với các phương pháp khác. Ứng dụng BERT trong NLP tiếng Việt giúp giải quyết nhiều vấn đề thực tế, từ phân tích ý kiến khách hàng đến xây dựng chatbot thông minh.

3.1. BERT cho bài toán tách từ tiếng Việt Mô hình và thực nghiệm

Bài toán tách từ tiếng Việt là một thách thức do đặc điểm ngôn ngữ. BERT có thể được sử dụng để giải quyết bài toán này bằng cách xem xét ngữ cảnh của từ trong câu. Mô hình BERT cho bài toán tách từ thường bao gồm một lớp embedding tiếng Việt, một lớp Transformer và một lớp phân loại. Lớp phân loại sẽ dự đoán xem mỗi ký tự trong câu có phải là điểm bắt đầu của một từ mới hay không. Các kết quả thực nghiệm cho thấy rằng BERT có thể đạt được độ chính xác cao hơn so với các phương pháp tách từ truyền thống, đặc biệt là khi xử lý các từ phức tạp hoặc các trường hợp mơ hồ.

3.2. Nhận dạng thực thể tên NER với BERT Kết quả và phân tích

Bài toán nhận dạng thực thể có tên (NER) là một bài toán quan trọng trong NLP. BERT có thể được sử dụng để giải quyết bài toán này bằng cách gán nhãn cho mỗi từ trong câu với một loại thực thể phù hợp (ví dụ: PERSON, ORGANIZATION, LOCATION). Mô hình BERT cho bài toán NER thường bao gồm một lớp embedding tiếng Việt, một lớp Transformer và một lớp phân loại. Lớp phân loại sẽ dự đoán xem mỗi từ trong câu thuộc loại thực thể nào. Các kết quả thực nghiệm cho thấy rằng BERT có thể đạt được độ chính xác cao trong bài toán NER tiếng Việt, đặc biệt là khi sử dụng các dataset tiếng Việt cho NLP lớn và chất lượng.

IV. Đánh giá So sánh Hiệu suất BERT so với mô hình khác

Luận văn này thực hiện đánh giá BERT một cách toàn diện trên nhiều bài toán NLP tiếng Việt khác nhau. Hiệu suất của BERT được so sánh với các so sánh các mô hình BERT khác nhau, bao gồm cả các mô hình truyền thống và các mô hình deep learning khác. Các performance metrics như accuracy, precision, recall và F1-score được sử dụng để đánh giá hiệu suất của các mô hình. Kết quả cho thấy rằng BERT thường vượt trội hơn so với các mô hình khác, đặc biệt là trên các bài toán phức tạp đòi hỏi khả năng hiểu ngữ cảnh sâu sắc. Tuy nhiên, BERT cũng có một số hạn chế, chẳng hạn như yêu cầu nhiều tài nguyên tính toán và có thể gặp vấn đề overfitting nếu không được fine-tuning một cách cẩn thận. Do đó, việc lựa chọn mô hình phù hợp cần cân nhắc kỹ lưỡng các yếu tố như hiệu suất, tài nguyên và độ phức tạp của bài toán.

4.1. So sánh hiệu năng BERT với các mô hình deep learning LSTM CNN

BERT thường đạt hiệu suất cao hơn so với các mô hình deep learning truyền thống như LSTM và CNN trên nhiều bài toán NLP tiếng Việt. LSTM và CNN có thể gặp khó khăn trong việc nắm bắt các phụ thuộc xa trong câu, trong khi BERT có thể xử lý các phụ thuộc này một cách hiệu quả nhờ kiến trúc Transformer. Tuy nhiên, LSTM và CNN có thể nhanh hơn và yêu cầu ít tài nguyên tính toán hơn so với BERT. Do đó, việc lựa chọn mô hình phù hợp cần cân nhắc giữa hiệu suất và tài nguyên.

4.2. Phân tích ưu điểm và hạn chế của BERT trong bài toán NLP tiếng Việt

BERT có nhiều ưu điểm trong bài toán NLP tiếng Việt, bao gồm khả năng hiểu ngữ cảnh sâu sắc, khả năng transfer learning và khả năng đạt được hiệu suất cao trên nhiều bài toán khác nhau. Tuy nhiên, BERT cũng có một số hạn chế, bao gồm yêu cầu nhiều tài nguyên tính toán, có thể gặp vấn đề overfitting và có thể khó giải thích. Việc hiểu rõ những ưu điểm và hạn chế này giúp chúng ta sử dụng BERT một cách hiệu quả nhất.

V. Tối ưu BERT Bí quyết tăng tốc độ và giảm tài nguyên hiệu quả

Một trong những thách thức khi sử dụng BERT trong thực tế là yêu cầu về tài nguyên tính toán. BERT có kích thước lớn và đòi hỏi nhiều bộ nhớ và thời gian xử lý. Để giải quyết vấn đề này, có thể áp dụng các kỹ thuật tối ưu hóa BERT để tăng tốc độ và giảm tài nguyên mà không làm giảm đáng kể hiệu suất. Một số kỹ thuật phổ biến bao gồm: sử dụng mô hình distilBERT tiếng Việt hoặc ALBERT tiếng Việt, lượng tử hóa mô hình, tỉa bớt các kết nối không quan trọng và sử dụng các kỹ thuật nén mô hình. Luận văn này trình bày các kết quả thực nghiệm về hiệu quả của các kỹ thuật tối ưu hóa BERT và so sánh chúng với mô hình BERT gốc. Việc cải thiện BERT giúp triển khai các ứng dụng NLP tiếng Việt trên các thiết bị có tài nguyên hạn chế.

5.1. Kỹ thuật Distillation và Pruning Giảm kích thước mô hình BERT

Kỹ thuật Distillation cho phép chúng ta tạo ra một mô hình BERT nhỏ hơn (ví dụ: distilBERT tiếng Việt) bằng cách huấn luyện nó để bắt chước hành vi của mô hình BERT lớn hơn. Kỹ thuật Pruning cho phép chúng ta loại bỏ các kết nối không quan trọng trong mô hình BERT, giảm kích thước mô hình mà không làm giảm đáng kể hiệu suất. Cả hai kỹ thuật này đều giúp giảm yêu cầu về tài nguyên và tăng tốc độ xử lý.

5.2. Lượng tử hóa và nén mô hình Giải pháp tiết kiệm bộ nhớ cho BERT

Lượng tử hóa là kỹ thuật giảm độ chính xác của các tham số trong mô hình BERT, ví dụ từ float32 xuống int8. Kỹ thuật này giúp giảm kích thước mô hình và tăng tốc độ tính toán. Nén mô hình là kỹ thuật sử dụng các thuật toán nén dữ liệu để giảm kích thước của mô hình BERT. Cả hai kỹ thuật này đều giúp tiết kiệm bộ nhớ và giảm yêu cầu về băng thông.

VI. Kết luận Tương lai và hướng phát triển của BERT tiếng Việt

BERT đã chứng minh là một công cụ mạnh mẽ cho NLP tiếng Việt. Việc điều chỉnh BERT giúp cải thiện đáng kể hiệu suất của các hệ thống NLP và mở ra nhiều cơ hội mới cho nghiên cứu và phát triển. Tuy nhiên, vẫn còn nhiều thách thức cần giải quyết, chẳng hạn như tăng tốc độ xử lý, giảm yêu cầu về tài nguyên và cải thiện khả năng giải thích của mô hình. Các hướng nghiên cứu tiềm năng bao gồm: phát triển các pretrained models cho tiếng Việt lớn hơn và chất lượng hơn, khám phá các kiến trúc BERT mới và phát triển các phương pháp tối ưu hóa BERT hiệu quả hơn. Tương lai của BERT tiếng Việt hứa hẹn sẽ mang lại những đột phá lớn trong lĩnh vực NLP và ứng dụng vào thực tế.

6.1. Tóm tắt đóng góp của luận văn và kết quả đạt được

Luận văn này đã đóng góp vào sự phát triển của cộng đồng NLP tiếng Việt bằng cách áp dụng và điều chỉnh BERT cho một số bài toán NLP cơ bản. Các kết quả đạt được cho thấy sự vượt trội của BERT so với các phương pháp truyền thống. Luận văn cũng đề xuất một số phương pháp để cải thiện tốc độ và giảm tài nguyên, giúp triển khai BERT trong thực tế.

6.2. Hướng nghiên cứu tiếp theo và tiềm năng ứng dụng BERT trong NLP

Các hướng nghiên cứu tiếp theo bao gồm: phát triển các pretrained models cho tiếng Việt lớn hơn, khám phá các kiến trúc BERT mới và phát triển các phương pháp tối ưu hóa BERT hiệu quả hơn. Tiềm năng ứng dụng của BERT trong NLP là rất lớn, bao gồm: phân tích ý kiến khách hàng, xây dựng chatbot thông minh, dịch máy và nhiều hơn nữa. Việc tiếp tục nghiên cứu và phát triển BERT tiếng Việt sẽ mang lại nhiều lợi ích cho xã hội.

Nội dung chính

Tổng quan nghiên cứu

Sự phát triển mạnh mẽ của các mô hình ngôn ngữ học sâu đã tạo nên bước ngoặt lớn trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP). Kể từ khi kiến trúc BERT (Bidirectional Encoder Representations from Transformers) được giới thiệu, mô hình này đã thiết lập kỷ lục hiệu năng mới trên 11 tác vụ NLP chuẩn tiếng Anh như GLUE benchmark hay SQuAD. Tuy nhiên, việc áp dụng trực tiếp các kiến trúc này sang tiếng Việt gặp phải nhiều rào cản do đặc thù ngữ pháp đơn lập, hiện tượng từ ghép đa âm tiết phức tạp và sự thiếu hụt các bộ ngữ liệu quy mô lớn được tinh chỉnh tối ưu. Trong các giai đoạn trước năm 2020, phần lớn hệ thống NLP tiếng Việt vẫn phụ thuộc vào các mạng nơ-ron truyền thống như RNN, LSTM hoặc CNN kết hợp biểu diễn từ tĩnh (Word2Vec, FastText), khiến độ chính xác F1-score thường bị giới hạn trong khoảng 82% đến 87%.

Luận văn thạc sĩ chuyên ngành Hệ thống thông tin của tác giả Nguyễn Vạn Nhã, dưới sự hướng dẫn khoa học của TS. Nguyễn Kiêm Hiếu tại Viện Công nghệ thông tin và Truyền thông – Trường Đại học Bách Khoa Hà Nội (thực hiện và bảo vệ vào tháng 10 năm 2020), tập trung giải quyết bài toán: Nghiên cứu, thực nghiệm và điều chỉnh mô hình học chuyển giao BERT nhằm tối ưu hóa hiệu năng cho 4 bài toán xử lý ngôn ngữ tự nhiên cốt lõi trong tiếng Việt. Các tác vụ này bao gồm: tách từ, nhận diện thực thể có tên lồng nhau (NER), phân tích cảm xúc văn bản và tìm kiếm câu hỏi tương đồng ngữ nghĩa. Đồng thời, nghiên cứu đề xuất giải pháp tối ưu hóa tốc độ suy luận bằng mô hình Sentence-BERT (S-BERT) nhằm đáp ứng yêu cầu triển khai thực tế trên các hệ thống doanh nghiệp với độ trễ thấp và độ chính xác vượt trội.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng lý thuyết mạng nơ-ron học sâu và kiến trúc học biểu diễn ngôn ngữ hiện đại:

1. Kiến trúc Transformer và cơ chế Attention: Khác với mạng hồi quy RNN và LSTM bị giới hạn bởi khả năng tính toán tuần tự và suy giảm gradient trên chuỗi dài, Transformer sử dụng cơ chế Self-Attention và Multi-Head Attention. Cơ chế này cho phép tính toán đồng thời mối liên hệ tương quan ngữ nghĩa giữa tất cả các vị trí từ trong câu, từ đó xây dựng không gian biểu diễn ngữ cảnh đa chiều toàn diện.
2. Mô hình học biểu diễn hai chiều BERT: BERT được huấn luyện trước trên kho ngữ liệu khổng lồ thông qua hai cơ chế tự giám sát: Mô hình ngôn ngữ ẩn (Masked Language Model - MLM) giúp học ngữ cảnh từ cả hai phía trái và phải, cùng tác vụ dự đoán câu kế tiếp (Next Sentence Prediction - NSP). Nhờ đó, vector nhúng của từng từ sẽ biến thiên linh hoạt tùy theo ngữ cảnh xuất hiện.
3. Các khái niệm chuyên ngành nền tảng: Nghiên cứu tập trung khai thác các khái niệm then chốt gồm: biểu diễn ngữ cảnh động (Contextualized Embeddings), nhận diện thực thể có tên phân cấp (Nested Named Entity Recognition), phân loại sắc thái cảm xúc đa mức độ (Sentiment Classification), độ tương đồng ngữ nghĩa câu (Semantic Sentence Similarity) và mạng Si-a-mê (Siamese Neural Network) trong trích xuất đặc trưng câu.

Phương pháp nghiên cứu

Nghiên cứu áp dụng quy trình thực nghiệm nghiêm ngặt trên các bộ ngữ liệu chuẩn tiếng Việt với các thông số cụ thể:

• Nguồn dữ liệu và kích thước mẫu:
  • Bài toán tách từ và nhận diện thực thể lồng nhau sử dụng bộ dữ liệu chuẩn VLSP 2018 với hơn 10.000 câu gán nhãn chi tiết đa tầng thực thể.
  • Bài toán phân tích cảm xúc sử dụng tập dữ liệu từ cuộc thi Aivivn Contest với hơn 16.000 bình luận và phản hồi đánh giá của người dùng.
  • Bài toán tìm câu hỏi tương đồng sử dụng tập dữ liệu thực tế thu thập từ hệ thống hỏi đáp thương mại điện tử Thế Giới Di Động gồm hơn 5.000 cặp câu hỏi khách hàng.
• Phương pháp chọn mẫu và phân chia dữ liệu: Sử dụng phương pháp phân tầng ngẫu nhiên (Stratified Sampling) nhằm đảm bảo sự cân bằng về phân phối nhãn. Toàn bộ dữ liệu được chia theo tỷ lệ tiêu chuẩn: 80% cho tập huấn luyện (Training Set), 10% cho tập phát triển/tối ưu siêu tham số (Development/Validation Set) và 10% cho tập kiểm thử độc lập (Test Set).
• Phương pháp phân tích và lý do lựa chọn: Áp dụng kỹ thuật tinh chỉnh (Fine-tuning) mô hình BERT tiền huấn luyện kết hợp với các tầng đầu ra chuyên biệt (như cơ chế gán nhãn liên kết Joint Tagging cho bài toán NER lồng nhau và kiến trúc S-BERT cho bài toán tìm câu hỏi tương đồng). Lý do lựa chọn cách tiếp cận này là vì BERT có khả năng giải quyết triệt để hiện tượng đa nghĩa của từ ngữ tiếng Việt, trong khi S-BERT giải quyết được bài toán bùng nổ chi phí tính toán khi so khớp hàng triệu cặp câu trong các hệ thống thực tế.
• Thời gian nghiên cứu: Quá trình thu thập dữ liệu, xây dựng mô hình, tối ưu hóa siêu tham số và đánh giá thực nghiệm được triển khai liên tục từ tháng 11 năm 2019 đến tháng 10 năm 2020.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình đánh giá thực nghiệm trên các tập dữ liệu chuẩn đã ghi nhận 4 phát hiện quan trọng:

1. Hiệu năng vượt trội trong bài toán nhận diện thực thể có tên (NER): Khi tích hợp cơ chế Joint Tagging để nhận diện đồng thời các thực thể lồng nhau trên tập dữ liệu VLSP 2018, mô hình BERT đạt điểm F1-score tổng thể trên 89,5%, vượt khoảng 4,2% so với mô hình Bi-LSTM-CRF truyền thống (vốn chỉ đạt xấp xỉ 85,3%).
2. Cải thiện độ chính xác phân loại cảm xúc: Trên tập dữ liệu thử nghiệm Aivivn Contest, mô hình BERT sau khi tinh chỉnh đạt độ chính xác F1-score đạt khoảng 90,3%, cao hơn 3,8% so với mô hình tốt nhất dựa trên kiến trúc CNN kết hợp FastText (đạt 86,5%).
3. Độ chính xác cao trong truy vấn câu hỏi tương đồng: Trên tập dữ liệu hỏi đáp Thế Giới Di Động, mô hình đạt chỉ số độ chính xác trung bình MAP (Mean Average Precision) trên 86,2% và hệ số diện tích dưới đường cong ROC-AUC đạt mức 0,91, vượt trội rõ rệt so với các thuật toán so khớp từ vựng truyền thống.
4. Đột phá về tốc độ xử lý khi cải tiến với S-BERT: Trong khi mô hình BERT chuẩn đòi hỏi đưa từng cặp câu qua mạng nơ-ron khiến thời gian so khớp 1.000 câu hỏi kéo dài hơn 120 giây, kiến trúc S-BERT chuyển đổi vector câu độc lập đã rút ngắn thời gian xử lý xuống dưới 1,5 giây (tăng tốc độ tính toán hơn 80 lần) mà vẫn giữ được độ chính xác tương đương ở mức 85,8% MAP.

Thảo luận kết quả

Các kết quả thực nghiệm chứng minh rằng cơ chế Multi-Head Self-Attention của BERT đặc biệt hiệu quả trong việc nắm bắt cấu trúc từ ghép và trật tự từ linh hoạt của tiếng Việt.

Khi trực quan hóa ma trận Attention (Attention Matrix), biểu đồ nhiệt cho thấy mô hình tự động phân bổ trọng số cao vào các cặp từ mang tính định hướng cảm xúc mạnh (như "rất tốt", "kém chất lượng", "giao hàng chậm") cũng như nhận biết chính xác ranh giới của các thực thể phức tạp nhiều tầng. Biểu đồ đường cong ROC (ROC Curves) cho thấy đường hiệu năng của mô hình tinh chỉnh BERT nằm áp sát góc trên bên trái, duy trì tỷ lệ dương tính thật (True Positive Rate) cao vượt trội ở mọi ngưỡng phân loại so với các baseline CNN và LSTM.

Bảng đối sánh hiệu năng tổng thể chỉ ra rằng việc tận dụng tri thức từ quá trình tiền huấn luyện quy mô lớn giúp mô hình đạt điểm hội tụ nhanh hơn, giảm hiện tượng quá khớp (overfitting) trên các tập dữ liệu gán nhãn có kích thước trung bình và nhỏ.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu và những cải tiến kỹ thuật đã đạt được, luận văn đưa ra 4 khuyến nghị hành động cụ thể dành cho các tổ chức và doanh nghiệp:

1. Chuẩn hóa quy trình làm sạch và gán nhãn dữ liệu tiếng Việt: Các viện nghiên cứu và doanh nghiệp công nghệ cần xây dựng kho ngữ liệu mở chuẩn hóa với quy mô tối thiểu 100.000 văn bản đa lĩnh vực trong giai đoạn 2021–2022 nhằm phục vụ huấn luyện các mô hình ngôn ngữ chuyên sâu.
2. Triển khai kiến trúc Sentence-BERT (S-BERT) vào hệ thống tìm kiếm tự động: Đội ngũ kỹ sư AI tại các doanh nghiệp thương mại điện tử cần ứng dụng S-BERT để nhúng trước toàn bộ kho câu hỏi FAQ, giúp giảm độ trễ phản hồi của hệ thống Chatbot xuống dưới 50 mili-giây và nâng tỷ lệ tự động giải đáp chính xác thắc mắc khách hàng lên trên 90% trong quý 1 năm 2021.
3. Tích hợp mô hình phân tích cảm xúc vào hệ thống chăm sóc khách hàng (CRM): Bộ phận quản trị trải nghiệm khách hàng cần ứng dụng pipeline phân tích cảm xúc tự động dựa trên BERT để rà soát 100% đánh giá sản phẩm trên các sàn thương mại điện tử và mạng xã hội, mục tiêu giảm 25% thời gian phản hồi khiếu nại tiêu cực.
4. Nghiên cứu áp dụng kỹ thuật chưng cất tri thức (Knowledge Distillation) và lượng tử hóa mô hình: Đội ngũ kỹ thuật phần mềm cần thực hiện nén kích thước mô hình BERT xuống dưới 40% dung lượng gốc nhằm tối ưu hóa chi phí hạ tầng máy chủ GPU và hỗ trợ triển khai mượt mà trên các thiết bị biên (Edge Devices) trong giai đoạn 2021–2023.

Đối tượng nên tham khảo luận văn

Luận văn cung cấp nguồn tư liệu học thuật và ứng dụng thực tiễn giá trị cao cho 4 nhóm đối tượng:

1. Học viên cao học và nghiên cứu sinh ngành Khoa học máy tính, Hệ thống thông tin: Luận văn là tài liệu tham khảo chuẩn mực về phương pháp luận thích ứng các mô hình ngôn ngữ lớn (Transformer, BERT) cho ngôn ngữ có tài nguyên trung bình như tiếng Việt, đặc biệt là kỹ thuật xử lý thực thể lồng nhau (Nested NER).
2. Kỹ sư Trí tuệ nhân tạo (AI/NLP Engineers): Cung cấp mã nguồn tham khảo, cấu hình siêu tham số và giải pháp kỹ thuật cụ thể để giải quyết bài toán nút thắt cổ chai về tốc độ suy luận của BERT trong môi trường sản xuất bằng kiến trúc S-BERT.
3. Chuyên viên phân tích dữ liệu và Quản lý sản phẩm (Data Analysts & Product Managers): Giúp nắm bắt phương pháp xây dựng hệ thống thấu hiểu ý kiến khách hàng tự động (Social Listening & Voice of Customer) với độ chính xác đạt trên 90%.
4. Doanh nghiệp phát triển giải pháp Trợ lý ảo và Thương mại điện tử: Tham khảo kiến trúc thiết kế hệ thống tìm kiếm ngữ nghĩa, truy xuất thông tin sản phẩm và tự động hóa tổng đài hỏi đáp (FAQ matching).

Câu hỏi thường gặp

Tại sao việc tinh chỉnh BERT cho tiếng Việt lại cần thiết thay vì sử dụng trực tiếp mô hình BERT đa ngôn ngữ gốc?

Tiếng Việt có cấu trúc âm tiết rời và từ ghép đa dạng, khiến các mô hình đa ngôn ngữ gốc (mBERT) dễ chia sai ranh giới từ vựng. Việc tinh chỉnh trên ngữ liệu tiếng Việt giúp mô hình học chính xác biểu diễn ngữ cảnh của từ ghép, nâng chỉ số F1-score lên cao hơn khoảng 3% đến 5% so với mô hình gốc chưa tối ưu.

Kiến trúc S-BERT giải quyết triệt để bài toán độ trễ trong tìm kiếm câu hỏi tương đồng như thế nào?

BERT chuẩn yêu cầu ghép cặp từng câu đầu vào dẫn đến độ phức tạp tính toán rất lớn khi dữ liệu mở rộng. S-BERT sử dụng mạng Si-a-mê để tính toán vector nhúng độc lập cho từng câu trước, sau đó chỉ cần tính khoảng cách cosine giữa các vector, giúp giảm thời gian truy vấn từ hơn 120 giây xuống dưới 1,5 giây cho 1.000 câu.

Phương pháp Joint Tagging mang lại lợi ích gì cho bài toán nhận diện thực thể tiếng Việt lồng nhau?

Trong tiếng Việt, một thực thể địa danh có thể nằm bên trong một thực thể tổ chức. Kỹ thuật Joint Tagging cho phép gán nhãn đồng thời nhiều cấp độ thực thể cho một từ trong một lượt duyệt duy nhất, giúp mô hình đạt độ chính xác F1-score trên 89,5% trên tập dữ liệu VLSP 2018 mà không cần chạy lặp nhiều mô hình riêng lẻ.

Luận văn sử dụng những thước đo đánh giá nào để đảm bảo tính khách quan của các mô hình?

Nghiên cứu sử dụng hệ thống chỉ số đo lường chuẩn quốc tế gồm: Điểm F1-score (kết hợp độ chính xác Precision và độ bao phủ Recall) cho bài toán tách từ, NER và phân tích cảm xúc; chỉ số MAP (Mean Average Precision) và hệ số diện tích dưới đường cong ROC-AUC (đạt 0,91) cho bài toán tìm câu hỏi tương đồng.

Mô hình phân tích cảm xúc trong luận văn có thể triển khai thực tế trên những nền tảng nào?

Mô hình hoàn toàn tương thích để tích hợp trực tiếp vào hệ thống quản lý phản hồi của các sàn thương mại điện tử, các trang fanpage mạng xã hội và hệ thống CRM nội bộ doanh nghiệp thông qua giao diện lập trình ứng dụng RESTful API, phục vụ phân loại tự động hàng ngàn bình luận mỗi phút.

Kết luận

• Luận văn đã thích ứng và tinh chỉnh thành công kiến trúc tiên tiến BERT trên 4 bài toán xử lý ngôn ngữ tự nhiên quan trọng trong tiếng Việt, thiết lập mức hiệu năng cao hơn từ 3,8% đến 4,2% so với các mạng nơ-ron truyền thống.
• Đề xuất và ứng dụng thành công kỹ thuật Joint Tagging giúp giải quyết trọn vẹn bài toán nhận diện thực thể có tên lồng nhau phức tạp trên tập dữ liệu chuẩn VLSP 2018 với điểm F1-score đạt trên 89,5%.
• Hiện thực hóa kiến trúc Sentence-BERT (S-BERT) trên dữ liệu câu hỏi tiếng Việt thực tế, giúp tăng tốc độ tính toán tương đồng ngữ nghĩa hơn 80 lần mà vẫn duy trì chỉ số MAP vượt 85,8%.
• Định hướng phát triển tiếp theo tập trung vào việc tiền huấn luyện mô hình ngôn ngữ tiếng Việt quy mô lớn trên hạ tầng phân tán, kết hợp kỹ thuật nén mô hình DistilBERT trong giai đoạn 2021–2023.
• Các cá nhân và tổ chức quan tâm có thể khai thác các phương pháp và kiến trúc đề xuất trong luận văn để nâng cấp hệ thống trợ lý ảo, chatbot tự động và công cụ phân tích dữ liệu văn bản tiếng Việt cho đơn vị của mình ngay hôm nay.

Trích đoạn nội dung tài liệu

TRƯỜNG DẠI HỌC BÁCH KIIOA IIÀ NỘI LUẬN VĂN THẠC SĨ Điều chỉnh BERT cho các bài toán xử lý ngôn ngữ tự nhiên trong tiếng Việt NGUYEN VAN NIA [e-mail] Ngành Hệ thống thông tin Giảng viên hướng dẫn: TS. Nguyễn Kiếm Hiểu Cha ky cla GVHD Viện: Công nghệ thông tì và truyền thông HÀ NỘI, 10/2020 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM. Độc lận — Tự do— Hạnh phúc BẢN XÁC NHẬN CLNH SỬA LUẬN VĂN THẠC SĨ Tio và tên tác giả luận văn : Nguyễn Vạn Nhã Tổ tải luận văn : Diễu chỉnh BBRT cho các bài toán xử lý ngôn ngữ tự nhiên trong tiếng Việt Chuyên ngành : lIệ thống thông tim. Mã số SV : CAC19001 Tác giả, Người hướng dẫn khoa học và TIội đồng chấm luận văn xác nhận tác giả dã sử chữa, bỏ sung luận vẫn theo biên bản họp Hội đồng ngày 31/10/2020 với các nội dung sau: STT | Yêu cần cúa hội | Nội mg chỉnh sửa Ghi cha déng 1 Can diễn giải | Trình bày chức năng của từng lớp | Trang 37 cách tiếp cận | của mô hình nhận điện thực thế (mô hinh để | cólên.

xuất cụ thể hơn} 2 Trình bảy rõ | Visualize ảnh hưởng của từ với từ | Trang 46 kịh ban thử | trong bài toán tim câu hỏi tương nghiệm, diễn | đồng giải kếi quả thổ Í trình bày phương pháp tối ưu và | Trang 34 nghiệm tham số sử dạng Thêm biểu đổ ROC-AUC, kết | Trang quả trên lập phái triển bài toán | 44, 45 tìm câu hỏi Lương đồng và nhận xét 'thêm bảng so sánh kết quả của | Trang 3 BBRT dối với từng loại thực thé riéng trong bai loin nhận điện thực thể Thêm cách chia đũ liệu huấn | Trang 40 huyện và phát triển, chọn rô hình s trong bài toán phân tích căm xúc 3 Sửa chữa vẻ Giộp chương 5 với chương 4 Trang 47 hình thúc, lối chính tả trong luận văn. Sửa lỗi chính tả, dòng bộ thuật | Trên ngữ iéng Anh sang tiếng Việt loan luận văn Thêm bảng các từ viết tắt Trang LŨ Thêm trích dẫn tài liệu Trang 11,36 Hà Nội, ngày 26 tháng 11 năm 2020 Giáo viên hướng dẫn ‘Tae gid fugu vin TS. Nguyễn Kiêm Hiếu Nguyễn Vạn Nhã CHỦ TỊCH HỘI ĐỒNG PGS.TS Trần Đình Khang DANH MUC TU VIET TAT BERT Bidirectional Encoder Representations from ‘Transformers T8TM Long Short-Term Memory RNN Recurrent Neural Network MP Natural Language Processing NER Named Lintity Recognition CNN Convolutional Neural Network DANH MUC HiNH VE Hinh 1. Kién tric mang RNN - 13 Hình 1.2 Kiển trúc mang LSTM - 14 Tình 1.3 Mô hình transformers - - - 15 Tình 1.4 Kién tric self attention.5 tric mullihead attention: - - 7 Hình 1.6 Kên trúc của mỏ hình BERT.7 Biểu diễn đầu vào của mô hình BBRT Hình 1.8 Kết quả của BERT trên SquAD1.9 Kết quả của BERT trên GLUE benchmark.1 Mô hình BERT cho bải toán tách từ.2 Kiến tric BERT cho bai Loán nhận điện thực the co lên.3 Kiến trủc BHRT cho bài toàn phần lại cảm xủe.4 Kiến trúc BERT cho bái toàn tìm câu hồi tương dỗng.5 Cac phương pháp deeplearnmg, truyền thông cho bải toán tìm câu hỏi tương dông - - 43 Hinh 4.6 ROC curves của các mô hình trên đứt liệu thở nghiệm - 46 Hình 4.7 Visualize ma trận atiention của BERT and CNN.8 Kiển trúc SBERT.

49 DANH MUC TU VIET TAT BERT Bidirectional Encoder Representations from ‘Transformers T8TM Long Short-Term Memory RNN Recurrent Neural Network MP Natural Language Processing NER Named Lintity Recognition CNN Convolutional Neural Network DANH MUC TU VIET TAT BERT Bidirectional Encoder Representations from ‘Transformers T8TM Long Short-Term Memory RNN Recurrent Neural Network MP Natural Language Processing NER Named Lintity Recognition CNN Convolutional Neural Network ĐANH MỤC BẰNG Bang 4.1 Két qua trên đữ liệu VLSP.2 Thêng kê cáo thục thẻ trên dữ liệu VLPS 2018 36 Bang 4.3 Tao joint tag cho mỗi từ ở tất cả các cấp.4 Kết quả của BERT trên mãi loại thực thể 39 Bang 4.5 Kết quả trên VLSP đữ liệu 2018 39 Bang 4.6 Kết quả trên tập thử nghiệm aivivn contest 4 Bang 4.7 Tham số của các mô hình đeepleaming.8 Tham số điền chỉnh mô hinh BERT 44 Bang 4.8 Tháng kê về dữ liệu câu hỏi thegioidiđona.10 Kết quả mô hình trêu tập phái triển 45 Bảng 4.11 MAP của các mô hình trên dữ liệu thử nghiệm.12 Kết quả S-BERT trên dữ liệu câu hôi thegioididong 30 MUC LUC CHUONG 1. GIOI THIEU VE M6 HINH NGON NGU, TRANSFORMER .11 112 Môhinhngênngữmạng neural l2 1⁄2 ‘Transformers 1⁄3 BUR! CHUONG 2. MOT SO BAI TOAN NLP CO BAN TRONG TIENG VIET 23 21 Céu lao Lir tiéng Vidt.2 Bài toán tách từ Hếng Việt - - - 23 243. Bài toán nhận diệu thực thể có tên - 24 24 Đài toán phân tích câm xúc.5 Bài toán tìm tương đồng câu hỏi trên tiếng Việt - 37 CHƯƠNG 3.

CÁC MÔ HÌNH HUẦẪN LUYỆN TRƯỚC BERT.12 Nguồn dữ liệu và lẫy mẫu,.21 Giớithệu 3⁄22 Nguồn dữ lệ 33 323 Táchtừ.33 333 Tuấn luyện trước. KET QUA THUC NGHTEM TREN MOT VAL BAT TOÁN TIENG VIET 34 41 Bàitoántáchtừtiếng Việt.1 Biểu đến bài loán - - 34 412 Môhinh 34 LOT CAM BOAN 'Tôi - Nguyễn Vạn Nhã - cam kết luận vẫn này là công trinh nghiền cứu cứa bán thân tôi, dưới sự hướng dẫn của TS, Nguyễn Kiều Hiểu. Các kết quả công bỏ trong báo cao way 14 trung tuc, không phải lã sao chép của bất kỳ một cá rhằn, hoặc tổ chức đã được công bố nào khác, Tất cá các trích dẫn được tham chiếu Tổ ràng. Ngày 25 tháng 10 năm 2020 'Tác giá luận văn.

Nguyễn Vận Nhã Xác nhận của người hướng dẫn DANH MUC TU VIET TAT BERT Bidirectional Encoder Representations from ‘Transformers T8TM Long Short-Term Memory RNN Recurrent Neural Network MP Natural Language Processing NER Named Lintity Recognition CNN Convolutional Neural Network ĐANH MỤC BẰNG Bang 4.1 Két qua trên đữ liệu VLSP.2 Thêng kê cáo thục thẻ trên dữ liệu VLPS 2018 36 Bang 4.3 Tao joint tag cho mỗi từ ở tất cả các cấp.4 Kết quả của BERT trên mãi loại thực thể 39 Bang 4.5 Kết quả trên VLSP đữ liệu 2018 39 Bang 4.6 Kết quả trên tập thử nghiệm aivivn contest 4 Bang 4.7 Tham số của các mô hình đeepleaming.8 Tham số điền chỉnh mô hinh BERT 44 Bang 4.8 Tháng kê về dữ liệu câu hỏi thegioidiđona.10 Kết quả mô hình trêu tập phái triển 45 Bảng 4.11 MAP của các mô hình trên dữ liệu thử nghiệm.12 Kết quả S-BERT trên dữ liệu câu hôi thegioididong 30 DANH MUC HiNH VE Hinh 1. Kién tric mang RNN - 13 Hình 1.2 Kiển trúc mang LSTM - 14 Tình 1.3 Mô hình transformers - - - 15 Tình 1.4 Kién tric self attention.5 tric mullihead attention: - - 7 Hình 1.6 Kên trúc của mỏ hình BERT.7 Biểu diễn đầu vào của mô hình BBRT Hình 1.8 Kết quả của BERT trên SquAD1.9 Kết quả của BERT trên GLUE benchmark.1 Mô hình BERT cho bải toán tách từ.2 Kiến tric BERT cho bai Loán nhận điện thực the co lên.3 Kiến trủc BHRT cho bài toàn phần lại cảm xủe.4 Kiến trúc BERT cho bái toàn tìm câu hồi tương dỗng.5 Cac phương pháp deeplearnmg, truyền thông cho bải toán tìm câu hỏi tương dông - - 43 Hinh 4.6 ROC curves của các mô hình trên đứt liệu thở nghiệm - 46 Hình 4.7 Visualize ma trận atiention của BERT and CNN.8 Kiển trúc SBERT. 49 DANH MUC TU VIET TAT BERT Bidirectional Encoder Representations from ‘Transformers T8TM Long Short-Term Memory RNN Recurrent Neural Network MP Natural Language Processing NER Named Lintity Recognition CNN Convolutional Neural Network DANH MUC HiNH VE Hinh 1. Kién tric mang RNN - 13 Hình 1.2 Kiển trúc mang LSTM - 14 Tình 1.3 Mô hình transformers - - - 15 Tình 1.4 Kién tric self attention.5 tric mullihead attention: - - 7 Hình 1.6 Kên trúc của mỏ hình BERT.7 Biểu diễn đầu vào của mô hình BBRT Hình 1.8 Kết quả của BERT trên SquAD1.9 Kết quả của BERT trên GLUE benchmark.1 Mô hình BERT cho bải toán tách từ.2 Kiến tric BERT cho bai Loán nhận điện thực the co lên.3 Kiến trủc BHRT cho bài toàn phần lại cảm xủe.4 Kiến trúc BERT cho bái toàn tìm câu hồi tương dỗng.5 Cac phương pháp deeplearnmg, truyền thông cho bải toán tìm câu hỏi tương dông - - 43 Hinh 4.6 ROC curves của các mô hình trên đứt liệu thở nghiệm - 46 Hình 4.7 Visualize ma trận atiention của BERT and CNN.8 Kiển trúc SBERT.4 — Kết quả thực nghiệm 4.2 Bai tou nbn dién thare thé 66 4.1 Giới thiệu bài toán 422 Dữliệ 423 Môhinh AQA Kết quả thực nghiệm 4.3 Tàitoén phântính cảm xúc.ì cà cecceeee 432 Môhinh.

ABA Kết quá thực nghiệm.4 Bài toán tìm câu hỏi tương đổng. 441 Giớthiệu 442 Môhinh 443 Dữliệ 444 — Kết quả thực nghiệm 4.5 _ Cái thiện hiệu năng quả trinh dự đoán của bert 4.1 BERT cho biểu diễn câu. HE 0e cereeerrer 52 Hướng phải triểu TÀI LIỆU THAM KHẢO. DANH MUC HiNH VE Hinh 1.

Kién tric mang RNN - 13 Hình 1.2 Kiển trúc mang LSTM - 14 Tình 1.3 Mô hình transformers - - - 15 Tình 1.4 Kién tric self attention.5 tric mullihead attention: - - 7 Hình 1.6 Kên trúc của mỏ hình BERT.7 Biểu diễn đầu vào của mô hình BBRT Hình 1.8 Kết quả của BERT trên SquAD1.9 Kết quả của BERT trên GLUE benchmark.1 Mô hình BERT cho bải toán tách từ.2 Kiến tric BERT cho bai Loán nhận điện thực the co lên.3 Kiến trủc BHRT cho bài toàn phần lại cảm xủe.4 Kiến trúc BERT cho bái toàn tìm câu hồi tương dỗng.5 Cac phương pháp deeplearnmg, truyền thông cho bải toán tìm câu hỏi tương dông - - 43 Hinh 4.6 ROC curves của các mô hình trên đứt liệu thở nghiệm - 46 Hình 4.7 Visualize ma trận atiention của BERT and CNN.8 Kiển trúc SBERT.4 — Kết quả thực nghiệm 4.2 Bai tou nbn dién thare thé 66 4.1 Giới thiệu bài toán 422 Dữliệ 423 Môhinh AQA Kết quả thực nghiệm 4.3 Tàitoén phântính cảm xúc.ì cà cecceeee 432 Môhinh. ABA Kết quá thực nghiệm.4 Bài toán tìm câu hỏi tương đổng. 441 Giớthiệu 442 Môhinh 443 Dữliệ 444 — Kết quả thực nghiệm 4.5 _ Cái thiện hiệu năng quả trinh dự đoán của bert 4.1 BERT cho biểu diễn câu. HE 0e cereeerrer 52 Hướng phải triểu TÀI LIỆU THAM KHẢO.

DANH MUC HiNH VE Hinh 1. Kién tric mang RNN - 13 Hình 1.2 Kiển trúc mang LSTM - 14 Tình 1.3 Mô hình transformers - - - 15 Tình 1.4 Kién tric self attention.5 tric mullihead attention: - - 7 Hình 1.6 Kên trúc của mỏ hình BERT.7 Biểu diễn đầu vào của mô hình BBRT Hình 1.8 Kết quả của BERT trên SquAD1.9 Kết quả của BERT trên GLUE benchmark.1 Mô hình BERT cho bải toán tách từ.2 Kiến tric BERT cho bai Loán nhận điện thực the co lên.3 Kiến trủc BHRT cho bài toàn phần lại cảm xủe.4 Kiến trúc BERT cho bái toàn tìm câu hồi tương dỗng.5 Cac phương pháp deeplearnmg, truyền thông cho bải toán tìm câu hỏi tương dông - - 43 Hinh 4.