Luận văn: Điều chỉnh BERT cho các bài toán NLP tiếng Việt (ĐH Bách Khoa Hà Nội)

Luận văn về điều chỉnh BERT cho các bài toán NLP tiếng Việt. Nghiên cứu và ứng dụng BERT để tăng hiệu quả xử lý ngôn ngữ tự nhiên tiếng Việt.

• Tác giả: Nguyễn Vạn Nhã
• Người hướng dẫn: Ts. Nguyễn Kiếm Hiếu
• Trường học: Trường Đại học Bách khoa Hà Nội
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Điều chỉnh BERT cho các bài toán xử lý ngôn ngữ tự nhiên trong tiếng Việt
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2020
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1. GIỚI THIỆU VỀ MÔ HÌNH NGÔN NGỮ, TRANSFORMER
• 1.1. Mô hình ngôn ngữ mạng neural
• 1.2. Transformers
• 1.3. BERT
• 2. CHƯƠNG 2. MỘT SỐ BÀI TOÁN NLP CƠ BẢN TRONG TIẾNG VIỆT
• 2.1. Câu lão Lir tiếng Việt
• 2.2. Bài toán tách từ Hếng Việt
• 2.3. Bài toán nhận diện thực thể có tên
• 2.4. Bài toán phân tích cảm xúc
• 2.5. Bài toán tìm tương đồng câu hỏi trên tiếng Việt
• 3. CHƯƠNG 3. CÁC MÔ HÌNH HUẤN LUYỆN TRƯỚC BERT
• 3.1. Giới thiệu
• 3.2. Nguồn dữ liệu
• 3.3. Tách từ
• 3.4. Tuấn luyện trước
• 3.5. Nguồn dữ liệu và lẫy mẫu
• 4. KẾT QUẢ THỰC NGHIỆM TRÊN MỘT VÀI BÀI TOÁN TIẾNG VIỆT
• 4.1. Bài toán tách từ tiếng Việt
• 4.1.1. Biểu diễn bài toán
• 4.1.2. Mô hình
• 4.1.3. Dữ liệu
• 4.1.4. Kết quả thực nghiệm
• 4.2. Bài toán nhận diện thực thể
• 4.2.1. Giới thiệu bài toán
• 4.2.2. Dữ liệu
• 4.2.3. Mô hình AQA
• 4.2.4. Kết quả thực nghiệm
• 4.3. Bài toán phân tích cảm xúc
• 4.3.1. cacceeee
• 4.3.2. Mô hình ABA
• 4.3.3. Kết quả thực nghiệm
• 4.4. Bài toán tìm câu hỏi tương đồng
• 4.4.1. Giới thiệu
• 4.4.2. Mô hình
• 4.4.3. Dữ liệu
• 4.4.4. Kết quả thực nghiệm
• 4.5. Cải thiện hiệu năng quá trình dự đoán của bert
• 4.5.1. BERT cho biểu diễn câu
• 5. Hướng phải triểu
• TÀI LIỆU THAM KHẢO
• Tari cam on

Tóm tắt

I. BERT tiếng Việt Tổng quan và tiềm năng đột phá NLP

Mô hình BERT (Bidirectional Encoder Representations from Transformers) đã tạo ra một cuộc cách mạng trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP) trên toàn cầu. Với khả năng học biểu diễn theo ngữ cảnh hai chiều của từ, BERT không chỉ đạt được kết quả tối ưu trên nhiều nhiệm vụ NLP tiếng Anh mà còn mở ra hướng nghiên cứu mới cho các ngôn ngữ khác, trong đó có tiếng Việt. Việc ứng dụng và điều chỉnh BERT cho tiếng Việt là một vấn đề cấp thiết để giải quyết hiệu quả các bài toán xử lý ngôn ngữ tự nhiên tiếng Việt. BERT tiếng Việt hứa hẹn mang lại những cải tiến đáng kể so với các phương pháp truyền thống. Luận văn này tập trung vào việc áp dụng và fine-tuning BERT để giải quyết một số bài toán NLP cơ bản và quan trọng trong tiếng Việt, bao gồm: tách từ, tìm câu hỏi tương đồng, phân tích cảm xúc và nhận diện thực thể có tên. Các kết quả đạt được cho thấy sự vượt trội về độ chính xác so với các phương pháp trước đây, khẳng định tiềm năng to lớn của BERT trong việc nâng cao hiệu suất của các hệ thống NLP tiếng Việt. Hơn nữa, luận văn cũng đề xuất một số phương pháp để cải thiện tốc độ của mô hình, nhằm đáp ứng yêu cầu triển khai trong thực tế. Việc này là rất quan trọng vì các mô hình BERT thường có kích thước lớn và đòi hỏi nhiều tài nguyên tính toán. Do đó, việc tối ưu hóa tốc độ là yếu tố then chốt để đưa BERT vào các ứng dụng thực tế một cách hiệu quả. Công trình nghiên cứu này đóng góp vào sự phát triển của cộng đồng NLP tiếng Việt bằng cách cung cấp những kết quả thực nghiệm đáng tin cậy và những hướng đi tiềm năng cho các nghiên cứu tiếp theo. Nó cũng là nguồn tài liệu tham khảo hữu ích cho những ai quan tâm đến việc cải tiến BERT và ứng dụng nó vào các bài toán cụ thể trong tiếng Việt.

Theo nghiên cứu của Nguyễn Vạn Nhã trong luận văn thạc sĩ, BERT đã chứng minh khả năng học tốt hơn so với các mô hình truyền thống. Việc này mở ra cơ hội lớn để tối ưu hóa BERT cho tiếng Việt, từ đó giải quyết các thách thức hiện tại trong lĩnh vực NLP.

1.1. Giới thiệu tổng quan mô hình BERT và ứng dụng của nó

Mô hình BERT là một kiến trúc mạng nơ-ron sâu dựa trên Transformer, được thiết kế để học biểu diễn ngôn ngữ hai chiều. Thay vì chỉ đọc văn bản từ trái sang phải hoặc ngược lại, BERT đồng thời xem xét cả ngữ cảnh trước và sau mỗi từ, cho phép nó hiểu rõ hơn ý nghĩa của từ trong câu. BERT được huấn luyện trước trên một lượng lớn dữ liệu văn bản, sau đó có thể được fine-tuning cho các nhiệm vụ NLP cụ thể. Quá trình transfer learning này giúp BERT đạt được hiệu suất cao trên nhiều bài toán khác nhau, từ phân loại văn bản đến trả lời câu hỏi. Ứng dụng của BERT rất đa dạng, bao gồm: dịch máy, tóm tắt văn bản, phân tích cảm xúc, nhận dạng thực thể có tên và nhiều hơn nữa. Sự linh hoạt và hiệu quả của BERT đã khiến nó trở thành một công cụ quan trọng trong nghiên cứu và phát triển NLP. Việc sử dụng BERT tiếng Việt giúp cải thiện đáng kể hiệu suất BERT trên các bài toán NLP liên quan đến tiếng Việt.

1.2. Vì sao cần điều chỉnh BERT cho bài toán tiếng Việt NLP

Mặc dù BERT đã được huấn luyện trước trên một lượng lớn dữ liệu đa ngôn ngữ, việc điều chỉnh BERT (fine-tuning) cho tiếng Việt vẫn là cần thiết vì một số lý do. Thứ nhất, tiếng Việt có đặc điểm ngôn ngữ riêng biệt, bao gồm cấu trúc câu, ngữ pháp và từ vựng khác với tiếng Anh và các ngôn ngữ khác. Thứ hai, các dataset tiếng Việt cho NLP thường nhỏ hơn so với các dataset tiếng Anh, điều này có thể ảnh hưởng đến hiệu suất của mô hình BERT nếu không được fine-tuning một cách cẩn thận. Thứ ba, các bài toán NLP cụ thể trong tiếng Việt có thể đòi hỏi những điều chỉnh đặc biệt để BERT hoạt động tốt nhất. Ví dụ, bài toán tách từ trong tiếng Việt là một thách thức riêng do đặc điểm của ngôn ngữ. Do đó, việc fine-tuning cho tiếng Việt giúp BERT thích nghi với những đặc điểm này và đạt được độ chính xác cao hơn. Điều này đặc biệt quan trọng trong các bài toán phân loại văn bản tiếng Việt, các bài toán nhận dạng thực thể tiếng Việt và các bài toán trích xuất thông tin tiếng Việt.

II. Thách thức Giải pháp Fine tuning BERT hiệu quả nhất

Việc fine-tuning BERT cho các bài toán NLP tiếng Việt không phải lúc nào cũng đơn giản. Một số thách thức có thể gặp phải bao gồm: lựa chọn siêu tham số phù hợp (fine-tuning hyperparameters), tránh overfitting, xử lý dữ liệu không cân bằng và đảm bảo tốc độ xử lý nhanh. Để giải quyết những thách thức này, cần áp dụng các optimization techniques và regularization techniques một cách cẩn thận. Ví dụ, việc điều chỉnh batch size và learning rate có thể ảnh hưởng đáng kể đến hiệu suất của mô hình. Sử dụng validation set để theo dõi quá trình huấn luyện và tránh overfitting là rất quan trọng. Bên cạnh đó, việc lựa chọn các performance metrics phù hợp (accuracy, precision, recall, F1-score) để đánh giá BERT cũng là yếu tố then chốt. Luận văn này trình bày các phương pháp cụ thể để vượt qua những thách thức này và đạt được hiệu suất fine-tuning BERT tối ưu cho các bài toán NLP tiếng Việt. Các phương pháp này bao gồm: sử dụng learning rate decay, áp dụng dropout regularization, sử dụng dữ liệu augmentation và thực hiện early stopping. Việc kết hợp những kỹ thuật này giúp BERT học được các đặc trưng quan trọng của ngôn ngữ tiếng Việt và tránh được các vấn đề thường gặp trong quá trình huấn luyện.

2.1. Các bước quan trọng trong quy trình fine tuning BERT cho tiếng Việt

Quy trình fine-tuning BERT cho tiếng Việt bao gồm một số bước quan trọng. Đầu tiên, cần chuẩn bị dữ liệu huấn luyện và chia thành các tập train, validation và test set. Thứ hai, cần lựa chọn một pretrained models cho tiếng Việt phù hợp, chẳng hạn như PhoBERT hoặc một mô hình Vietnamese BERT khác. Thứ ba, cần điều chỉnh các fine-tuning hyperparameters như learning rate, batch size, epochs và weight decay. Thứ tư, cần theo dõi hiệu suất của mô hình trên tập validation và điều chỉnh các tham số nếu cần. Cuối cùng, cần đánh giá BERT trên tập test để đánh giá hiệu suất tổng thể của mô hình. Trong quá trình này, việc sử dụng các kỹ thuật như early stopping và checkpointing có thể giúp tiết kiệm thời gian và tài nguyên.

2.2. Bí quyết chọn siêu tham số và kỹ thuật tối ưu hóa fine tuning

Việc lựa chọn siêu tham số phù hợp là rất quan trọng để đạt được hiệu suất fine-tuning BERT tối ưu. Một số bí quyết bao gồm: sử dụng learning rate nhỏ (ví dụ: 2e-5 hoặc 5e-5), lựa chọn batch size phù hợp với kích thước bộ nhớ GPU, huấn luyện trong một số epochs vừa phải (ví dụ: 2-4 epochs) và sử dụng weight decay để tránh overfitting. Ngoài ra, việc áp dụng các kỹ thuật optimization techniques như AdamW hoặc Adafactor có thể giúp cải thiện tốc độ và độ ổn định của quá trình huấn luyện. Việc thử nghiệm với nhiều cấu hình siêu tham số khác nhau và sử dụng các công cụ như hyperparameter search có thể giúp tìm ra cấu hình tốt nhất cho bài toán cụ thể.

III. Ứng dụng BERT Giải quyết bài toán NLP tiếng Việt thế nào

BERT có thể được ứng dụng để giải quyết nhiều bài toán NLP tiếng Việt khác nhau. Trong bài toán tách từ, BERT có thể được sử dụng để xác định ranh giới từ một cách chính xác hơn so với các phương pháp truyền thống. Trong bài toán nhận diện thực thể có tên, BERT có thể được sử dụng để xác định các thực thể như tên người, tổ chức và địa điểm trong văn bản. Trong bài toán phân tích cảm xúc, BERT có thể được sử dụng để xác định xem một đoạn văn bản có cảm xúc tích cực, tiêu cực hay trung tính. Trong bài toán tìm câu hỏi tương đồng, BERT có thể được sử dụng để xác định xem hai câu hỏi có ý nghĩa tương tự nhau hay không. Trong mỗi bài toán, BERT cần được fine-tuning trên một tập dữ liệu cụ thể để đạt được hiệu suất tốt nhất. Luận văn này trình bày các kiến trúc mô hình BERT cụ thể cho từng bài toán và so sánh hiệu suất của BERT với các phương pháp khác. Ứng dụng BERT trong NLP tiếng Việt giúp giải quyết nhiều vấn đề thực tế, từ phân tích ý kiến khách hàng đến xây dựng chatbot thông minh.

3.1. BERT cho bài toán tách từ tiếng Việt Mô hình và thực nghiệm

Bài toán tách từ tiếng Việt là một thách thức do đặc điểm ngôn ngữ. BERT có thể được sử dụng để giải quyết bài toán này bằng cách xem xét ngữ cảnh của từ trong câu. Mô hình BERT cho bài toán tách từ thường bao gồm một lớp embedding tiếng Việt, một lớp Transformer và một lớp phân loại. Lớp phân loại sẽ dự đoán xem mỗi ký tự trong câu có phải là điểm bắt đầu của một từ mới hay không. Các kết quả thực nghiệm cho thấy rằng BERT có thể đạt được độ chính xác cao hơn so với các phương pháp tách từ truyền thống, đặc biệt là khi xử lý các từ phức tạp hoặc các trường hợp mơ hồ.

3.2. Nhận dạng thực thể tên NER với BERT Kết quả và phân tích

Bài toán nhận dạng thực thể có tên (NER) là một bài toán quan trọng trong NLP. BERT có thể được sử dụng để giải quyết bài toán này bằng cách gán nhãn cho mỗi từ trong câu với một loại thực thể phù hợp (ví dụ: PERSON, ORGANIZATION, LOCATION). Mô hình BERT cho bài toán NER thường bao gồm một lớp embedding tiếng Việt, một lớp Transformer và một lớp phân loại. Lớp phân loại sẽ dự đoán xem mỗi từ trong câu thuộc loại thực thể nào. Các kết quả thực nghiệm cho thấy rằng BERT có thể đạt được độ chính xác cao trong bài toán NER tiếng Việt, đặc biệt là khi sử dụng các dataset tiếng Việt cho NLP lớn và chất lượng.

IV. Đánh giá So sánh Hiệu suất BERT so với mô hình khác

Luận văn này thực hiện đánh giá BERT một cách toàn diện trên nhiều bài toán NLP tiếng Việt khác nhau. Hiệu suất của BERT được so sánh với các so sánh các mô hình BERT khác nhau, bao gồm cả các mô hình truyền thống và các mô hình deep learning khác. Các performance metrics như accuracy, precision, recall và F1-score được sử dụng để đánh giá hiệu suất của các mô hình. Kết quả cho thấy rằng BERT thường vượt trội hơn so với các mô hình khác, đặc biệt là trên các bài toán phức tạp đòi hỏi khả năng hiểu ngữ cảnh sâu sắc. Tuy nhiên, BERT cũng có một số hạn chế, chẳng hạn như yêu cầu nhiều tài nguyên tính toán và có thể gặp vấn đề overfitting nếu không được fine-tuning một cách cẩn thận. Do đó, việc lựa chọn mô hình phù hợp cần cân nhắc kỹ lưỡng các yếu tố như hiệu suất, tài nguyên và độ phức tạp của bài toán.

4.1. So sánh hiệu năng BERT với các mô hình deep learning LSTM CNN

BERT thường đạt hiệu suất cao hơn so với các mô hình deep learning truyền thống như LSTM và CNN trên nhiều bài toán NLP tiếng Việt. LSTM và CNN có thể gặp khó khăn trong việc nắm bắt các phụ thuộc xa trong câu, trong khi BERT có thể xử lý các phụ thuộc này một cách hiệu quả nhờ kiến trúc Transformer. Tuy nhiên, LSTM và CNN có thể nhanh hơn và yêu cầu ít tài nguyên tính toán hơn so với BERT. Do đó, việc lựa chọn mô hình phù hợp cần cân nhắc giữa hiệu suất và tài nguyên.

4.2. Phân tích ưu điểm và hạn chế của BERT trong bài toán NLP tiếng Việt

BERT có nhiều ưu điểm trong bài toán NLP tiếng Việt, bao gồm khả năng hiểu ngữ cảnh sâu sắc, khả năng transfer learning và khả năng đạt được hiệu suất cao trên nhiều bài toán khác nhau. Tuy nhiên, BERT cũng có một số hạn chế, bao gồm yêu cầu nhiều tài nguyên tính toán, có thể gặp vấn đề overfitting và có thể khó giải thích. Việc hiểu rõ những ưu điểm và hạn chế này giúp chúng ta sử dụng BERT một cách hiệu quả nhất.

V. Tối ưu BERT Bí quyết tăng tốc độ và giảm tài nguyên hiệu quả

Một trong những thách thức khi sử dụng BERT trong thực tế là yêu cầu về tài nguyên tính toán. BERT có kích thước lớn và đòi hỏi nhiều bộ nhớ và thời gian xử lý. Để giải quyết vấn đề này, có thể áp dụng các kỹ thuật tối ưu hóa BERT để tăng tốc độ và giảm tài nguyên mà không làm giảm đáng kể hiệu suất. Một số kỹ thuật phổ biến bao gồm: sử dụng mô hình distilBERT tiếng Việt hoặc ALBERT tiếng Việt, lượng tử hóa mô hình, tỉa bớt các kết nối không quan trọng và sử dụng các kỹ thuật nén mô hình. Luận văn này trình bày các kết quả thực nghiệm về hiệu quả của các kỹ thuật tối ưu hóa BERT và so sánh chúng với mô hình BERT gốc. Việc cải thiện BERT giúp triển khai các ứng dụng NLP tiếng Việt trên các thiết bị có tài nguyên hạn chế.

5.1. Kỹ thuật Distillation và Pruning Giảm kích thước mô hình BERT

Kỹ thuật Distillation cho phép chúng ta tạo ra một mô hình BERT nhỏ hơn (ví dụ: distilBERT tiếng Việt) bằng cách huấn luyện nó để bắt chước hành vi của mô hình BERT lớn hơn. Kỹ thuật Pruning cho phép chúng ta loại bỏ các kết nối không quan trọng trong mô hình BERT, giảm kích thước mô hình mà không làm giảm đáng kể hiệu suất. Cả hai kỹ thuật này đều giúp giảm yêu cầu về tài nguyên và tăng tốc độ xử lý.

5.2. Lượng tử hóa và nén mô hình Giải pháp tiết kiệm bộ nhớ cho BERT

Lượng tử hóa là kỹ thuật giảm độ chính xác của các tham số trong mô hình BERT, ví dụ từ float32 xuống int8. Kỹ thuật này giúp giảm kích thước mô hình và tăng tốc độ tính toán. Nén mô hình là kỹ thuật sử dụng các thuật toán nén dữ liệu để giảm kích thước của mô hình BERT. Cả hai kỹ thuật này đều giúp tiết kiệm bộ nhớ và giảm yêu cầu về băng thông.

VI. Kết luận Tương lai và hướng phát triển của BERT tiếng Việt

BERT đã chứng minh là một công cụ mạnh mẽ cho NLP tiếng Việt. Việc điều chỉnh BERT giúp cải thiện đáng kể hiệu suất của các hệ thống NLP và mở ra nhiều cơ hội mới cho nghiên cứu và phát triển. Tuy nhiên, vẫn còn nhiều thách thức cần giải quyết, chẳng hạn như tăng tốc độ xử lý, giảm yêu cầu về tài nguyên và cải thiện khả năng giải thích của mô hình. Các hướng nghiên cứu tiềm năng bao gồm: phát triển các pretrained models cho tiếng Việt lớn hơn và chất lượng hơn, khám phá các kiến trúc BERT mới và phát triển các phương pháp tối ưu hóa BERT hiệu quả hơn. Tương lai của BERT tiếng Việt hứa hẹn sẽ mang lại những đột phá lớn trong lĩnh vực NLP và ứng dụng vào thực tế.

6.1. Tóm tắt đóng góp của luận văn và kết quả đạt được

Luận văn này đã đóng góp vào sự phát triển của cộng đồng NLP tiếng Việt bằng cách áp dụng và điều chỉnh BERT cho một số bài toán NLP cơ bản. Các kết quả đạt được cho thấy sự vượt trội của BERT so với các phương pháp truyền thống. Luận văn cũng đề xuất một số phương pháp để cải thiện tốc độ và giảm tài nguyên, giúp triển khai BERT trong thực tế.

6.2. Hướng nghiên cứu tiếp theo và tiềm năng ứng dụng BERT trong NLP

Các hướng nghiên cứu tiếp theo bao gồm: phát triển các pretrained models cho tiếng Việt lớn hơn, khám phá các kiến trúc BERT mới và phát triển các phương pháp tối ưu hóa BERT hiệu quả hơn. Tiềm năng ứng dụng của BERT trong NLP là rất lớn, bao gồm: phân tích ý kiến khách hàng, xây dựng chatbot thông minh, dịch máy và nhiều hơn nữa. Việc tiếp tục nghiên cứu và phát triển BERT tiếng Việt sẽ mang lại nhiều lợi ích cho xã hội.

Trích đoạn nội dung tài liệu

TRƯỜNG DẠI HỌC BÁCH KIIOA IIÀ NỘI LUẬN VĂN THẠC SĨ Điều chỉnh BERT cho các bài toán xử lý ngôn ngữ tự nhiên trong tiếng Việt NGUYEN VAN NIA [e-mail] Ngành Hệ thống thông tin Giảng viên hướng dẫn: TS. Nguyễn Kiếm Hiểu Cha ky cla GVHD Viện: Công nghệ thông tì và truyền thông HÀ NỘI, 10/2020 CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM. Độc lận — Tự do— Hạnh phúc BẢN XÁC NHẬN CLNH SỬA LUẬN VĂN THẠC SĨ Tio và tên tác giả luận văn : Nguyễn Vạn Nhã Tổ tải luận văn : Diễu chỉnh BBRT cho các bài toán xử lý ngôn ngữ tự nhiên trong tiếng Việt Chuyên ngành : lIệ thống thông tim. Mã số SV : CAC19001 Tác giả, Người hướng dẫn khoa học và TIội đồng chấm luận văn xác nhận tác giả dã sử chữa, bỏ sung luận vẫn theo biên bản họp Hội đồng ngày 31/10/2020 với các nội dung sau: STT | Yêu cần cúa hội | Nội mg chỉnh sửa Ghi cha déng 1 Can diễn giải | Trình bày chức năng của từng lớp | Trang 37 cách tiếp cận | của mô hình nhận điện thực thế (mô hinh để | cólên.

xuất cụ thể hơn} 2 Trình bảy rõ | Visualize ảnh hưởng của từ với từ | Trang 46 kịh ban thử | trong bài toán tim câu hỏi tương nghiệm, diễn | đồng giải kếi quả thổ Í trình bày phương pháp tối ưu và | Trang 34 nghiệm tham số sử dạng Thêm biểu đổ ROC-AUC, kết | Trang quả trên lập phái triển bài toán | 44, 45 tìm câu hỏi Lương đồng và nhận xét 'thêm bảng so sánh kết quả của | Trang 3 BBRT dối với từng loại thực thé riéng trong bai loin nhận điện thực thể Thêm cách chia đũ liệu huấn | Trang 40 huyện và phát triển, chọn rô hình s trong bài toán phân tích căm xúc 3 Sửa chữa vẻ Giộp chương 5 với chương 4 Trang 47 hình thúc, lối chính tả trong luận văn. Sửa lỗi chính tả, dòng bộ thuật | Trên ngữ iéng Anh sang tiếng Việt loan luận văn Thêm bảng các từ viết tắt Trang LŨ Thêm trích dẫn tài liệu Trang 11,36 Hà Nội, ngày 26 tháng 11 năm 2020 Giáo viên hướng dẫn ‘Tae gid fugu vin TS. Nguyễn Kiêm Hiếu Nguyễn Vạn Nhã CHỦ TỊCH HỘI ĐỒNG PGS.TS Trần Đình Khang DANH MUC TU VIET TAT BERT Bidirectional Encoder Representations from ‘Transformers T8TM Long Short-Term Memory RNN Recurrent Neural Network MP Natural Language Processing NER Named Lintity Recognition CNN Convolutional Neural Network DANH MUC HiNH VE Hinh 1. Kién tric mang RNN - 13 Hình 1.2 Kiển trúc mang LSTM - 14 Tình 1.3 Mô hình transformers - - - 15 Tình 1.4 Kién tric self attention.5 tric mullihead attention: - - 7 Hình 1.6 Kên trúc của mỏ hình BERT.7 Biểu diễn đầu vào của mô hình BBRT Hình 1.8 Kết quả của BERT trên SquAD1.9 Kết quả của BERT trên GLUE benchmark.1 Mô hình BERT cho bải toán tách từ.2 Kiến tric BERT cho bai Loán nhận điện thực the co lên.3 Kiến trủc BHRT cho bài toàn phần lại cảm xủe.4 Kiến trúc BERT cho bái toàn tìm câu hồi tương dỗng.5 Cac phương pháp deeplearnmg, truyền thông cho bải toán tìm câu hỏi tương dông - - 43 Hinh 4.6 ROC curves của các mô hình trên đứt liệu thở nghiệm - 46 Hình 4.7 Visualize ma trận atiention của BERT and CNN.8 Kiển trúc SBERT.

49 DANH MUC TU VIET TAT BERT Bidirectional Encoder Representations from ‘Transformers T8TM Long Short-Term Memory RNN Recurrent Neural Network MP Natural Language Processing NER Named Lintity Recognition CNN Convolutional Neural Network DANH MUC TU VIET TAT BERT Bidirectional Encoder Representations from ‘Transformers T8TM Long Short-Term Memory RNN Recurrent Neural Network MP Natural Language Processing NER Named Lintity Recognition CNN Convolutional Neural Network ĐANH MỤC BẰNG Bang 4.1 Két qua trên đữ liệu VLSP.2 Thêng kê cáo thục thẻ trên dữ liệu VLPS 2018 36 Bang 4.3 Tao joint tag cho mỗi từ ở tất cả các cấp.4 Kết quả của BERT trên mãi loại thực thể 39 Bang 4.5 Kết quả trên VLSP đữ liệu 2018 39 Bang 4.6 Kết quả trên tập thử nghiệm aivivn contest 4 Bang 4.7 Tham số của các mô hình đeepleaming.8 Tham số điền chỉnh mô hinh BERT 44 Bang 4.8 Tháng kê về dữ liệu câu hỏi thegioidiđona.10 Kết quả mô hình trêu tập phái triển 45 Bảng 4.11 MAP của các mô hình trên dữ liệu thử nghiệm.12 Kết quả S-BERT trên dữ liệu câu hôi thegioididong 30 MUC LUC CHUONG 1. GIOI THIEU VE M6 HINH NGON NGU, TRANSFORMER .11 112 Môhinhngênngữmạng neural l2 1⁄2 ‘Transformers 1⁄3 BUR! CHUONG 2. MOT SO BAI TOAN NLP CO BAN TRONG TIENG VIET 23 21 Céu lao Lir tiéng Vidt.2 Bài toán tách từ Hếng Việt - - - 23 243. Bài toán nhận diệu thực thể có tên - 24 24 Đài toán phân tích câm xúc.5 Bài toán tìm tương đồng câu hỏi trên tiếng Việt - 37 CHƯƠNG 3.

CÁC MÔ HÌNH HUẦẪN LUYỆN TRƯỚC BERT.12 Nguồn dữ liệu và lẫy mẫu,.21 Giớithệu 3⁄22 Nguồn dữ lệ 33 323 Táchtừ.33 333 Tuấn luyện trước. KET QUA THUC NGHTEM TREN MOT VAL BAT TOÁN TIENG VIET 34 41 Bàitoántáchtừtiếng Việt.1 Biểu đến bài loán - - 34 412 Môhinh 34 LOT CAM BOAN 'Tôi - Nguyễn Vạn Nhã - cam kết luận vẫn này là công trinh nghiền cứu cứa bán thân tôi, dưới sự hướng dẫn của TS, Nguyễn Kiều Hiểu. Các kết quả công bỏ trong báo cao way 14 trung tuc, không phải lã sao chép của bất kỳ một cá rhằn, hoặc tổ chức đã được công bố nào khác, Tất cá các trích dẫn được tham chiếu Tổ ràng. Ngày 25 tháng 10 năm 2020 'Tác giá luận văn.

Nguyễn Vận Nhã Xác nhận của người hướng dẫn DANH MUC TU VIET TAT BERT Bidirectional Encoder Representations from ‘Transformers T8TM Long Short-Term Memory RNN Recurrent Neural Network MP Natural Language Processing NER Named Lintity Recognition CNN Convolutional Neural Network ĐANH MỤC BẰNG Bang 4.1 Két qua trên đữ liệu VLSP.2 Thêng kê cáo thục thẻ trên dữ liệu VLPS 2018 36 Bang 4.3 Tao joint tag cho mỗi từ ở tất cả các cấp.4 Kết quả của BERT trên mãi loại thực thể 39 Bang 4.5 Kết quả trên VLSP đữ liệu 2018 39 Bang 4.6 Kết quả trên tập thử nghiệm aivivn contest 4 Bang 4.7 Tham số của các mô hình đeepleaming.8 Tham số điền chỉnh mô hinh BERT 44 Bang 4.8 Tháng kê về dữ liệu câu hỏi thegioidiđona.10 Kết quả mô hình trêu tập phái triển 45 Bảng 4.11 MAP của các mô hình trên dữ liệu thử nghiệm.12 Kết quả S-BERT trên dữ liệu câu hôi thegioididong 30 DANH MUC HiNH VE Hinh 1. Kién tric mang RNN - 13 Hình 1.2 Kiển trúc mang LSTM - 14 Tình 1.3 Mô hình transformers - - - 15 Tình 1.4 Kién tric self attention.5 tric mullihead attention: - - 7 Hình 1.6 Kên trúc của mỏ hình BERT.7 Biểu diễn đầu vào của mô hình BBRT Hình 1.8 Kết quả của BERT trên SquAD1.9 Kết quả của BERT trên GLUE benchmark.1 Mô hình BERT cho bải toán tách từ.2 Kiến tric BERT cho bai Loán nhận điện thực the co lên.3 Kiến trủc BHRT cho bài toàn phần lại cảm xủe.4 Kiến trúc BERT cho bái toàn tìm câu hồi tương dỗng.5 Cac phương pháp deeplearnmg, truyền thông cho bải toán tìm câu hỏi tương dông - - 43 Hinh 4.6 ROC curves của các mô hình trên đứt liệu thở nghiệm - 46 Hình 4.7 Visualize ma trận atiention của BERT and CNN.8 Kiển trúc SBERT. 49 DANH MUC TU VIET TAT BERT Bidirectional Encoder Representations from ‘Transformers T8TM Long Short-Term Memory RNN Recurrent Neural Network MP Natural Language Processing NER Named Lintity Recognition CNN Convolutional Neural Network DANH MUC HiNH VE Hinh 1. Kién tric mang RNN - 13 Hình 1.2 Kiển trúc mang LSTM - 14 Tình 1.3 Mô hình transformers - - - 15 Tình 1.4 Kién tric self attention.5 tric mullihead attention: - - 7 Hình 1.6 Kên trúc của mỏ hình BERT.7 Biểu diễn đầu vào của mô hình BBRT Hình 1.8 Kết quả của BERT trên SquAD1.9 Kết quả của BERT trên GLUE benchmark.1 Mô hình BERT cho bải toán tách từ.2 Kiến tric BERT cho bai Loán nhận điện thực the co lên.3 Kiến trủc BHRT cho bài toàn phần lại cảm xủe.4 Kiến trúc BERT cho bái toàn tìm câu hồi tương dỗng.5 Cac phương pháp deeplearnmg, truyền thông cho bải toán tìm câu hỏi tương dông - - 43 Hinh 4.6 ROC curves của các mô hình trên đứt liệu thở nghiệm - 46 Hình 4.7 Visualize ma trận atiention của BERT and CNN.8 Kiển trúc SBERT.4 — Kết quả thực nghiệm 4.2 Bai tou nbn dién thare thé 66 4.1 Giới thiệu bài toán 422 Dữliệ 423 Môhinh AQA Kết quả thực nghiệm 4.3 Tàitoén phântính cảm xúc.ì cà cecceeee 432 Môhinh.

ABA Kết quá thực nghiệm.4 Bài toán tìm câu hỏi tương đổng. 441 Giớthiệu 442 Môhinh 443 Dữliệ 444 — Kết quả thực nghiệm 4.5 _ Cái thiện hiệu năng quả trinh dự đoán của bert 4.1 BERT cho biểu diễn câu. HE 0e cereeerrer 52 Hướng phải triểu TÀI LIỆU THAM KHẢO. DANH MUC HiNH VE Hinh 1.

Kién tric mang RNN - 13 Hình 1.2 Kiển trúc mang LSTM - 14 Tình 1.3 Mô hình transformers - - - 15 Tình 1.4 Kién tric self attention.5 tric mullihead attention: - - 7 Hình 1.6 Kên trúc của mỏ hình BERT.7 Biểu diễn đầu vào của mô hình BBRT Hình 1.8 Kết quả của BERT trên SquAD1.9 Kết quả của BERT trên GLUE benchmark.1 Mô hình BERT cho bải toán tách từ.2 Kiến tric BERT cho bai Loán nhận điện thực the co lên.3 Kiến trủc BHRT cho bài toàn phần lại cảm xủe.4 Kiến trúc BERT cho bái toàn tìm câu hồi tương dỗng.5 Cac phương pháp deeplearnmg, truyền thông cho bải toán tìm câu hỏi tương dông - - 43 Hinh 4.6 ROC curves của các mô hình trên đứt liệu thở nghiệm - 46 Hình 4.7 Visualize ma trận atiention của BERT and CNN.8 Kiển trúc SBERT.4 — Kết quả thực nghiệm 4.2 Bai tou nbn dién thare thé 66 4.1 Giới thiệu bài toán 422 Dữliệ 423 Môhinh AQA Kết quả thực nghiệm 4.3 Tàitoén phântính cảm xúc.ì cà cecceeee 432 Môhinh. ABA Kết quá thực nghiệm.4 Bài toán tìm câu hỏi tương đổng. 441 Giớthiệu 442 Môhinh 443 Dữliệ 444 — Kết quả thực nghiệm 4.5 _ Cái thiện hiệu năng quả trinh dự đoán của bert 4.1 BERT cho biểu diễn câu. HE 0e cereeerrer 52 Hướng phải triểu TÀI LIỆU THAM KHẢO.

DANH MUC HiNH VE Hinh 1. Kién tric mang RNN - 13 Hình 1.2 Kiển trúc mang LSTM - 14 Tình 1.3 Mô hình transformers - - - 15 Tình 1.4 Kién tric self attention.5 tric mullihead attention: - - 7 Hình 1.6 Kên trúc của mỏ hình BERT.7 Biểu diễn đầu vào của mô hình BBRT Hình 1.8 Kết quả của BERT trên SquAD1.9 Kết quả của BERT trên GLUE benchmark.1 Mô hình BERT cho bải toán tách từ.2 Kiến tric BERT cho bai Loán nhận điện thực the co lên.3 Kiến trủc BHRT cho bài toàn phần lại cảm xủe.4 Kiến trúc BERT cho bái toàn tìm câu hồi tương dỗng.5 Cac phương pháp deeplearnmg, truyền thông cho bải toán tìm câu hỏi tương dông - - 43 Hinh 4.