Tìm Hiểu Về Mô Hình Ngôn Ngữ Phobert Cho Bài Toán Phân Loại Quan Điểm Bình Luận Tiếng Việt

Đồ án kỹ thuật nghiên cứu tốt nghiệp công nghệ thông tin tìm hiểu mô hình ngôn ngữ phobert cho bài toán phân loại quan, thiết kế chi tiết, tính toán kỹ thuật theo tiêu

• Đề tài: Tìm Hiểu Mô Hình Ngôn Ngữ Phobert Trong Phân Loại Bình Luận Tiếng Việt

Mục lục chi tiết

• DANH MỤC CÁC HÌNH VẼ VÀ CÁC BẢNG
• BẢNG CÁC TỪ VIẾT TẮT
• 1. MÔ HÌNH BERT
• 1.1. Tại sao lại cần BERT
• 1.2. Một số khái niệm
• 1.2.1. Nhiệm vụ phía sau (Downstream task)
• 1.2.2. Điểm khái quát đánh giá mức độ hiểu ngôn ngữ (GLUE score benchmark)
• 1.2.3. Phân tích cảm xúc (Sentiment Analysis)
• 1.2.4. Suy luận ngôn ngữ (Natural Language Inference)
• 1.2.5. Quan hệ văn bản (Textual Entailment)
• 1.2.6. Phương pháp Hiện đại nhất (SOTA)
• 1.2.7. Mô hình LTR
• 1.2.8. Mô hình ngôn ngữ được đánh dấu MLM (Masked Language Model)
• 1.3. Ngữ cảnh (Contextual) và vai trò trong NLP
• 1.4. Tiếp cận nông và học sâu trong ứng dụng huấn luyện trước (pre-training) trong NLP
• 1.4.1. Tiếp cận nông (shallow approach)

Tóm tắt

I. Khám Phá Mô Hình Ngôn Ngữ Phobert Chìa Khóa Cho NLP Tiếng Việt

Trong bối cảnh bùng nổ dữ liệu văn bản, lĩnh vực xử lý ngôn ngữ tự nhiên (NLP) đóng vai trò then chốt trong việc giúp máy tính hiểu và tương tác với ngôn ngữ con người. Đặc biệt, NLP tiếng Việt đối mặt với nhiều thách thức riêng do đặc thù ngôn ngữ. Sự ra đời của các mô hình tiền huấn luyện (pre-trained models) dựa trên kiến trúc mô hình Transformer đã tạo ra một cuộc cách mạng. Trong đó, PhoBERT, một mô hình ngôn ngữ do VinAI phát triển, nổi lên như một giải pháp đột phá, được tối ưu hóa riêng cho tiếng Việt. Mô hình này không chỉ kế thừa sức mạnh từ mô hình BERT của Google mà còn được tinh chỉnh để đạt hiệu suất vượt trội trên các tác vụ cụ thể như phân loại bình luận tiếng Việt. Bài viết này sẽ đi sâu phân tích cấu trúc, phương pháp huấn luyện và ứng dụng thực tiễn của PhoBERT, làm rõ tại sao nó trở thành công cụ không thể thiếu cho các nhà phát triển và nghiên cứu trong lĩnh vực học máy cho tiếng Việt hiện nay. Việc hiểu rõ PhoBERT mở ra tiềm năng to lớn trong việc tự động hóa các quy trình phân tích dữ liệu, từ đánh giá sản phẩm đến quản lý danh tiếng thương hiệu trên không gian mạng.

1.1. Giới thiệu tổng quan về xử lý ngôn ngữ tự nhiên

Xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP) là một nhánh của trí tuệ nhân tạo, tập trung vào việc tạo ra các hệ thống có khả năng hiểu, diễn giải và tạo ra ngôn ngữ của con người. Mục tiêu của NLP là thu hẹp khoảng cách giao tiếp giữa máy tính và con người. Các ứng dụng phổ biến của NLP bao gồm dịch máy tự động, trợ lý ảo, phân tích cảm xúc, và tóm tắt văn bản. Trong những năm gần đây, các kỹ thuật học sâu (deep learning) đã thúc đẩy sự phát triển vượt bậc của NLP, đặc biệt là sự ra đời của các kiến trúc mạng nơ-ron phức tạp như mô hình Transformer. Những mô hình này có khả năng nắm bắt các mối quan hệ ngữ nghĩa và ngữ cảnh phức tạp trong văn bản, điều mà các phương pháp thống kê truyền thống khó có thể đạt được. Đối với tiếng Việt, một ngôn ngữ có thanh điệu và cấu trúc ngữ pháp đặc thù, việc áp dụng NLP đòi hỏi những phương pháp tiếp cận chuyên biệt để xử lý hiệu quả.

1.2. Vai trò của các mô hình tiền huấn luyện như PhoBERT

Các mô hình tiền huấn luyện như PhoBERT đóng vai trò nền tảng trong các bài toán NLP hiện đại. Thay vì huấn luyện một mô hình từ đầu cho mỗi tác vụ riêng lẻ, phương pháp này tận dụng một mô hình đã được "dạy" trên một kho dữ liệu văn bản khổng lồ. Quá trình này giúp mô hình học được các biểu diễn ngôn ngữ sâu sắc, bao gồm từ vựng, ngữ pháp và các kiến thức phổ quát về thế giới. Sau đó, mô hình này có thể được tinh chỉnh (fine-tuning) một cách nhanh chóng cho các tác vụ cụ thể với một lượng dữ liệu nhỏ hơn, chẳng hạn như phân loại văn bản hoặc phân tích cảm xúc. Theo tài liệu nghiên cứu, "việc transfer từ một mô hình chung được huấn luyện từ một lượng lớn các dữ liệu không được gán nhãn" giúp giải quyết thách thức thiếu hụt dữ liệu gán nhãn chất lượng cao. PhoBERT, được tiền huấn luyện trên 20GB dữ liệu tiếng Việt, cung cấp một nền tảng word embedding cực kỳ mạnh mẽ, giúp cải thiện đáng kể độ chính xác cho các ứng dụng NLP tiếng Việt.

II. Thách Thức Khi Phân Loại Bình Luận Tiếng Việt Tự Động

Việc phân loại bình luận tiếng Việt một cách tự động là một bài toán phức tạp, ẩn chứa nhiều thách thức đặc thù mà các mô hình ngôn ngữ tổng quát thường gặp khó khăn. Ngôn ngữ trong các bình luận trên mạng xã hội, diễn đàn hay trang thương mại điện tử thường không tuân theo chuẩn mực ngữ pháp, chứa nhiều tiếng lóng, từ viết tắt, và biểu tượng cảm xúc. Sự đa dạng về ngữ cảnh và tính mơ hồ của từ ngữ càng làm cho việc xác định sắc thái tình cảm trở nên khó khăn. Ví dụ, một từ có thể mang ý nghĩa tích cực trong ngữ cảnh này nhưng lại tiêu cực trong ngữ cảnh khác. Các mô hình tiền huấn luyện đa ngôn ngữ, dù mạnh mẽ, thường không được tối ưu cho những đặc điểm này của tiếng Việt. Chúng có thể gặp vấn đề với việc tokenization tiếng Việt hoặc không nắm bắt được các sắc thái văn hóa tinh tế. Chính những hạn chế này đã thúc đẩy nhu cầu về một mô hình chuyên biệt như PhoBERT, được thiết kế để vượt qua các rào cản ngôn ngữ và mang lại độ chính xác cao hơn trong các tác vụ sentiment analysis Vietnamese.

2.1. Đặc thù của bình luận tiếng Việt Ngữ cảnh và mơ hồ

Tiếng Việt là một ngôn ngữ đơn lập, không biến hình, trong đó ranh giới giữa các từ không phải lúc nào cũng rõ ràng. Một chuỗi các âm tiết có thể là một từ đơn hoặc một từ ghép, đòi hỏi một bước phân tách từ (word segmentation) chính xác. Tài liệu nghiên cứu chỉ ra rằng: "khoảng trắng cũng là được sử dụng để tách các âm tiết tạo thành từ khi viết bằng tiếng Việt". Sự mơ hồ này là một thách thức lớn. Thêm vào đó, bình luận của người dùng thường chứa các cấu trúc câu không chính thống, từ viết tắt (vd: "ko" thay cho "không"), và các từ ngữ địa phương. Ngữ cảnh đóng vai trò quyết định ý nghĩa, một câu như "Giá quá tốt" có thể là khen ngợi hoặc mỉa mai tùy thuộc vào các câu xung quanh. Việc thiếu các dấu hiệu hình thái học rõ ràng khiến máy tính khó phân biệt sắc thái nếu không có một mô hình hiểu sâu về ngữ cảnh như PhoBERT.

2.2. Hạn chế của mô hình đa ngôn ngữ như vBERT và XLM R

Các mô hình đa ngôn ngữ như mBERT, vBERT, hay XLM-R được huấn luyện trên kho dữ liệu của hàng trăm ngôn ngữ. Mặc dù điều này giúp chúng có khả năng xử lý nhiều ngôn ngữ, nhưng lại làm giảm hiệu suất trên từng ngôn ngữ cụ thể. Đối với tiếng Việt, chúng thường không thực hiện bước tách từ chuyên biệt mà áp dụng BPE trực tiếp lên chuỗi âm tiết. Điều này dẫn đến việc tạo ra các token (từ phụ) không có ý nghĩa ngữ pháp. Nghiên cứu gốc về PhoBERT nhấn mạnh rằng các mô hình này "không nhận thức được sự khác nhau giữa âm tiết tiếng Việt và mã từ". Kết quả là, chúng không thể nắm bắt đầy đủ mối quan hệ ngữ nghĩa giữa các từ, dẫn đến độ chính xác thấp hơn trong các tác vụ yêu cầu sự tinh tế như phân tích cảm xúc. PhoBERT, với quy trình tiền xử lý và dữ liệu huấn luyện chuyên biệt, đã được chứng minh là vượt trội hơn XLM-R trên nhiều bài toán NLP tiếng Việt.

III. Giải Mã Phobert Kiến Trúc Transformer Tối Ưu Cho Tiếng Việt

Sức mạnh vượt trội của PhoBERT không đến một cách ngẫu nhiên mà bắt nguồn từ một nền tảng kiến trúc vững chắc và những cải tiến chiến lược. Cốt lõi của PhoBERT là kiến trúc mô hình Transformer, một thiết kế đột phá đã thay đổi hoàn toàn bộ mặt của ngành NLP. Thay vì xử lý văn bản một cách tuần tự, Transformer cho phép xử lý song song toàn bộ câu, giúp nắm bắt các mối quan hệ từ xa một cách hiệu quả thông qua cơ chế tự chú ý (self-attention). PhoBERT không chỉ đơn thuần sao chép kiến trúc này mà còn kế thừa những tối ưu hóa quan trọng từ RoBERTa, một biến thể cải tiến của BERT. Bằng cách loại bỏ các nhiệm vụ huấn luyện không cần thiết và tập trung vào việc học biểu diễn ngôn ngữ sâu hơn từ một lượng dữ liệu khổng lồ, PhoBERT đã tạo ra một mô hình vừa mạnh mẽ về mặt lý thuyết, vừa hiệu quả trong thực tiễn cho các bài toán NLP tiếng Việt. Cấu trúc này là nền tảng cho phép PhoBERT hiểu sâu sắc ngữ cảnh và ngữ nghĩa, yếu tố quyết định đến thành công trong việc phân loại bình luận tiếng Việt.

3.1. Nền tảng kiến trúc Transformer và cơ chế Self Attention

Kiến trúc mô hình Transformer, được giới thiệu lần đầu trong bài báo "Attention Is All You Need", loại bỏ hoàn toàn các mạng nơ-ron hồi quy (RNN). Thay vào đó, nó dựa vào cơ chế tự chú ý (self-attention). Cơ chế này cho phép mỗi từ trong câu "nhìn" vào tất cả các từ khác để xác định mức độ quan trọng và mối liên hệ giữa chúng. Bằng cách này, mô hình có thể hiểu được rằng trong câu "Con mèo ngồi trên tấm thảm", từ "nó" trong câu tiếp theo có khả năng ám chỉ "con mèo" chứ không phải "tấm thảm". Kiến trúc này bao gồm hai phần chính là Encoder (bộ mã hóa) để tạo ra biểu diễn số của văn bản đầu vào và Decoder (bộ giải mã) để tạo ra văn bản đầu ra. BERT và các biến thể của nó, bao gồm PhoBERT, chủ yếu sử dụng phần Encoder của kiến trúc Transformer để tạo ra các word embedding phụ thuộc vào ngữ cảnh.

3.2. Cấu trúc PhoBERT Sự kế thừa và tối ưu từ mô hình RoBERTa

PhoBERT được xây dựng dựa trên RoBERTa, một phiên bản tối ưu hóa của mô hình BERT do Facebook AI phát triển. RoBERTa đã thực hiện một số thay đổi quan trọng so với BERT gốc. Theo tài liệu, RoBERTa "huấn luyện mô hình lâu hơn, với batch size lớn hơn và trên nhiều dữ liệu hơn". Một trong những thay đổi đáng chú ý nhất là loại bỏ nhiệm vụ Dự đoán câu tiếp theo (Next Sentence Prediction - NSP), vì nghiên cứu cho thấy nhiệm vụ này ít mang lại lợi ích cho các tác vụ xuôi dòng. PhoBERT kế thừa những cải tiến này, chỉ tập trung vào nhiệm vụ Mô hình ngôn ngữ che dấu (Masked Language Model - MLM) với phương pháp che dấu động (dynamic masking). Điều này cho phép mô hình học được các biểu diễn ngôn ngữ mạnh mẽ và linh hoạt hơn. Có hai phiên bản chính là PhoBERT-base (12 lớp Transformer) và PhoBERT-large (24 lớp Transformer), mang lại sự lựa chọn linh hoạt giữa hiệu suất và chi phí tính toán.

IV. Phương Pháp Huấn Luyện Phobert Bí Quyết Tạo Nên Hiệu Suất Vượt Trội

Hiệu suất ấn tượng của mô hình PhoBERT không chỉ đến từ kiến trúc tiên tiến mà còn phụ thuộc rất lớn vào quy trình huấn luyện và chất lượng dữ liệu. Quá trình này bao gồm hai giai đoạn chính: tiền xử lý dữ liệu và tiền huấn luyện trên một kho văn bản khổng lồ. Giai đoạn tiền xử lý là cực kỳ quan trọng đối với tiếng Việt, bao gồm việc sử dụng các công cụ chuyên dụng để phân tách từ một cách chính xác trước khi áp dụng thuật toán BPE (Byte-Pair Encoding) để tạo ra các token. Bước này đảm bảo rằng mô hình học được các đơn vị ngôn ngữ có ý nghĩa. Tiếp theo, mô hình được tiền huấn luyện trên một tập dữ liệu bình luận tiếng Việt và tin tức lên tới 20GB, lớn hơn đáng kể so với các mô hình trước đó. Sự kết hợp giữa quy trình tiền xử lý thông minh và nguồn dữ liệu dồi dào, chất lượng cao chính là bí quyết giúp PhoBERT tạo ra các biểu diễn word embedding sâu sắc, từ đó đạt được kết quả SOTA trong nhiều bài toán NLP tiếng Việt, bao gồm cả phân loại bình luận.

4.1. Quy trình tiền xử lý Word Segmentation và BPE Tokenization

Không giống các mô hình đa ngôn ngữ, PhoBERT áp dụng một quy trình tiền xử lý hai bước được tối ưu cho tiếng Việt. Đầu tiên, nó sử dụng RDRSegmenter từ thư viện VnCoreNLP để thực hiện phân tách từ (word segmentation). Bước này giúp xác định ranh giới của các từ có ý nghĩa (bao gồm cả từ đơn và từ ghép) trong câu, thay vì chỉ xem mỗi âm tiết là một đơn vị. Sau khi có các từ hoàn chỉnh, PhoBERT tiếp tục áp dụng tokenization tiếng Việt bằng thuật toán fastBPE. BPE giúp chia nhỏ các từ hiếm hoặc từ phức tạp thành các đơn vị con (subwords) phổ biến hơn. Ví dụ, từ "nghiên_cứu_viên" có thể được chia thành các subword như "nghiên_cứu" và "viên". Cách tiếp cận này vừa giúp giảm kích thước từ vựng, vừa cho phép mô hình xử lý các từ chưa từng gặp trong quá trình huấn luyện, giải quyết hiệu quả vấn đề từ ngoài từ vựng (Out-of-Vocabulary).

4.2. Dữ liệu tiền huấn luyện Sức mạnh từ 20GB văn bản tiếng Việt

Chất lượng và quy mô của dữ liệu tiền huấn luyện là yếu tố quyết định sức mạnh của một mô hình ngôn ngữ. PhoBERT được huấn luyện trên một kho văn bản tiếng Việt đồ sộ với tổng dung lượng khoảng 20GB. Nguồn dữ liệu này bao gồm khoảng 1GB từ Wikipedia tiếng Việt và 19GB từ một kho tin tức tiếng Việt đã được làm sạch và loại bỏ trùng lặp. Tài liệu gốc nhấn mạnh, "các mô hình ngôn ngữ được huấn luyện trước có thể được cải thiện đáng kể bằng cách sử dụng nhiều dữ liệu tiền huấn luyện hơn". Việc được tiếp xúc với một lượng lớn văn bản đa dạng về chủ đề và văn phong giúp PhoBERT học được các mẫu ngữ pháp, ngữ nghĩa và kiến thức nền tảng phong phú về tiếng Việt. Đây là lợi thế cạnh tranh cốt lõi so với các mô hình chỉ được huấn luyện trên Wikipedia, vốn có văn phong học thuật và quy mô nhỏ hơn nhiều.

V. Hướng Dẫn Fine tuning Phobert Phân Loại Bình Luận Thực Tế

Sức mạnh thực sự của một mô hình tiền huấn luyện như PhoBERT được thể hiện khi nó được áp dụng vào các bài toán cụ thể thông qua quá trình tinh chỉnh (fine-tuning). Fine-tuning PhoBERT cho phép chuyển giao toàn bộ kiến thức ngôn ngữ mà mô hình đã học được vào một tác vụ mới, chẳng hạn như phân loại bình luận tiếng Việt. Quá trình này hiệu quả hơn nhiều so với việc huấn luyện một mô hình từ đầu, đòi hỏi ít dữ liệu gán nhãn hơn và thời gian huấn luyện ngắn hơn. Bằng cách sử dụng các thư viện phổ biến như PyTorch và Hugging Face Transformers, các nhà phát triển có thể dễ dàng thêm một lớp phân loại vào cuối kiến trúc PhoBERT và huấn luyện nó trên tập dữ liệu bình luận tiếng Việt của riêng mình. Ứng dụng của phương pháp này vô cùng rộng rãi, từ việc tự động đánh giá sản phẩm dựa trên phản hồi của khách hàng, đến xây dựng hệ thống lọc bình luận spam hay theo dõi dư luận xã hội về một thương hiệu.

5.1. Các bước fine tuning PhoBERT với PyTorch và Hugging Face

Quá trình fine-tuning PhoBERT cho bài toán phân loại văn bản có thể được thực hiện một cách tương đối đơn giản nhờ hệ sinh thái mã nguồn mở mạnh mẽ. Bước đầu tiên là chuẩn bị một tập dữ liệu bình luận tiếng Việt đã được gán nhãn dữ liệu (ví dụ: 0 cho tiêu cực, 1 cho tích cực). Tiếp theo, sử dụng thư viện Hugging Face Transformers, ta có thể tải về mô hình PhoBERT đã được tiền huấn luyện. Dữ liệu văn bản sẽ được đưa qua tokenizer của PhoBERT để chuyển thành các ID đầu vào mà mô hình có thể hiểu. Sau đó, một lớp phân loại đơn giản (thường là một lớp linear) được thêm vào phía trên mô hình PhoBERT gốc. Toàn bộ kiến trúc này sau đó được huấn luyện trên tập dữ liệu đã gán nhãn bằng cách sử dụng framework PyTorch. Trong quá trình này, các trọng số của cả mô hình PhoBERT và lớp phân loại mới đều được cập nhật để tối ưu hóa cho tác vụ phân loại cảm xúc.

5.2. Ứng dụng thực tiễn Lọc bình luận spam và đánh giá sản phẩm

Mô hình PhoBERT sau khi được fine-tuning có thể được triển khai vào nhiều hệ thống thực tế. Một ứng dụng phổ biến là tự động hóa việc đánh giá sản phẩm trên các trang thương mại điện tử. Thay vì đọc hàng ngàn bình luận, hệ thống có thể tự động phân loại chúng thành tích cực, tiêu cực, giúp doanh nghiệp nhanh chóng nắm bắt phản hồi của khách hàng. Một ứng dụng quan trọng khác là lọc bình luận spam hoặc các bình luận chứa nội dung độc hại trên các diễn đàn và mạng xã hội. Bằng cách huấn luyện mô hình để nhận diện các đặc điểm của bình luận không mong muốn, hệ thống có thể tự động ẩn hoặc xóa chúng, cải thiện môi trường tương tác cho người dùng. Các doanh nghiệp cũng sử dụng kỹ thuật này để "lắng nghe mạng xã hội", theo dõi và phân tích các cuộc thảo luận liên quan đến thương hiệu của họ, từ đó đưa ra các chiến lược kinh doanh và truyền thông phù hợp.

VI. Tương Lai Của Phobert Và Xu Hướng Xử Lý Ngôn Ngữ Tự Nhiên

Sự thành công của PhoBERT không chỉ đánh dấu một cột mốc quan trọng cho NLP tiếng Việt mà còn mở ra một tương lai đầy hứa hẹn. Mô hình này đã chứng minh rằng các mô hình ngôn ngữ đơn ngữ, được huấn luyện cẩn thận trên dữ liệu lớn và chất lượng, có thể vượt qua cả những mô hình đa ngôn ngữ mạnh nhất cho các tác vụ chuyên biệt. Nhìn về tương lai, xu hướng phát triển sẽ tập trung vào việc tạo ra các phiên bản PhoBERT nhẹ hơn, hiệu quả hơn để triển khai trên các thiết bị có tài nguyên hạn chế. Đồng thời, việc mở rộng và cải thiện bộ dữ liệu tiền huấn luyện, bao gồm nhiều lĩnh vực và văn phong hơn, sẽ tiếp tục nâng cao hiệu suất của mô hình. PhoBERT và các mô hình tương tự sẽ là nền tảng cho sự phát triển của các ứng dụng học máy cho tiếng Việt ngày càng phức tạp và thông minh hơn, từ các hệ thống hỏi đáp có khả năng suy luận đến các trợ lý ảo thực sự hiểu và giao tiếp tự nhiên bằng tiếng Việt.

6.1. So sánh hiệu suất PhoBERT với các mô hình NLP khác

Hiệu suất của PhoBERT đã được kiểm chứng qua nhiều thực nghiệm. Tài liệu nghiên cứu gốc đã thực hiện so sánh chi tiết giữa PhoBERT và các mô hình hàng đầu khác, bao gồm cả XLM-R. Kết quả cho thấy PhoBERT đạt được trạng thái tốt nhất (SOTA - State-of-the-art) trên bốn tác vụ NLP tiếng Việt quan trọng: Gắn nhãn từ loại (POS Tagging), Phân tích cú pháp phụ thuộc (Dependency Parsing), Nhận dạng thực thể tên (NER) và Suy luận ngôn ngữ tự nhiên (NLI). Cụ thể, trong tác vụ NER, "PhoBERT-base cao hơn 2 điểm so với phương pháp SOTA trước đó". Sự vượt trội này khẳng định giá trị của việc xây dựng một mô hình chuyên biệt, có khả năng hiểu sâu sắc cấu trúc và đặc thù của tiếng Việt, thay vì dựa vào các phương pháp tổng quát hóa từ nhiều ngôn ngữ.

6.2. Triển vọng và hướng phát triển của học máy cho tiếng Việt

PhoBERT đã đặt một nền móng vững chắc, thúc đẩy cộng đồng học máy cho tiếng Việt tiến về phía trước. Trong tương lai, các hướng nghiên cứu có thể tập trung vào việc tối ưu hóa kiến trúc để giảm chi phí tính toán, cho phép ứng dụng NLP trên các thiết bị di động. Một hướng khác là phát triển các phiên bản PhoBERT chuyên ngành, được huấn luyện trên các tập dữ liệu đặc thù như y tế, pháp luật, tài chính để tăng cường độ chính xác trong các lĩnh vực này. Hơn nữa, việc kết hợp PhoBERT với các mô hình sinh (generative models) sẽ mở ra khả năng tạo ra các hệ thống có thể tóm tắt văn bản, viết báo hoặc sáng tác nội dung bằng tiếng Việt một cách tự động và mạch lạc. Sự phát triển này sẽ góp phần dân chủ hóa công nghệ AI, mang lại những công cụ mạnh mẽ cho các nhà phát triển và doanh nghiệp Việt Nam.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Sự phát triển mạnh mẽ của Internet, mạng xã hội, diễn đàn trực tuyến và các nền tảng thương mại điện tử đã tạo ra khối lượng dữ liệu văn bản tiếng Việt khổng lồ mỗi ngày. Dữ liệu này bao gồm các dòng trạng thái, bài viết, phản hồi và bình luận thể hiện quan điểm khen - chê, tích cực hoặc tiêu cực của người dùng đối với sản phẩm, dịch vụ và các sự kiện xã hội. Việc thấu hiểu và khai thác tự động luồng thông tin này có ý nghĩa thực tiễn quan trọng đối với các tổ chức và doanh nghiệp trong công tác quản trị thương hiệu, quản trị quan hệ khách hàng và khảo sát ý kiến xã hội học. Thực tế đã chỉ ra rằng các luồng dư luận bất lợi lan truyền nhanh chóng trên mạng xã hội có thể gây ảnh hưởng nghiêm trọng đến hoạt động kinh doanh (điển hình như trường hợp khủng hoảng truyền thông của doanh nghiệp nước giải khát Tân Hiệp Phát), từ đó đặt ra nhu cầu cấp thiết về các hệ thống công nghệ thông tin có khả năng "lắng nghe mạng xã hội" và phân loại sắc thái bình luận theo thời gian thực.

Trong lĩnh vực Xử lý ngôn ngữ tự nhiên (NLP), việc xây dựng các mô hình phân loại quan điểm đối mặt với thách thức lớn về sự thiếu hụt dữ liệu huấn luyện được gán nhãn thủ công chất lượng cao. Các phương pháp biểu diễn từ truyền thống không phụ thuộc ngữ cảnh (như Word2Vec, GloVe, FastText) hoặc mô hình phụ thuộc một chiều (như RNN, ELMo) bộc lộ nhiều hạn chế trong việc nắm bắt toàn diện ý nghĩa ngữ cảnh hai chiều của câu văn. Sự ra đời của mô hình BERT (Bidirectional Encoder Representations from Transformers) của Google AI và mô hình đơn ngữ tiếng Việt PhoBERT đã mang lại giải pháp học chuyển giao (Transfer Learning) hiệu quả, cho phép tận dụng lượng lớn văn bản chưa gán nhãn để tiền huấn luyện trước khi tinh chỉnh cho các tác vụ cụ thể.

Theo văn bản đề tài tốt nghiệp ngành Công nghệ thông tin tại Trường Đại học Quản lý và Công nghệ Hải Phòng, nhiệm vụ nghiên cứu của tác giả Nguyễn Thành Long (Mã SV: 1712111008, Lớp: CT2101C) dưới sự hướng dẫn của ThS. Nguyễn Thị Xuân Hương được xác định gồm 3 nội dung chính:

1. Tìm hiểu về mô hình ngôn ngữ PhoBERT.
2. Tìm hiểu về bài toán phân tích quan điểm người dùng, phân loại quan điểm bình luận Tiếng Việt.
3. Tìm hiểu về ngôn ngữ lập trình Python.

Đối tượng nghiên cứu của đề tài là cấu trúc mô hình ngôn ngữ BERT/PhoBERT và bài toán phân loại quan điểm bình luận tiếng Việt thành 2 lớp sắc thái (tích cực và tiêu cực). Phạm vi nghiên cứu tập trung vào ngữ liệu tiếng Việt, được triển khai thực hiện trong khoảng thời gian từ ngày 16 tháng 07 năm 2021 đến trước ngày 03 tháng 10 năm 2021.

---

Cơ sở lý thuyết và phương pháp

Đề tài xây dựng nền tảng lý thuyết dựa trên các khái niệm và mô hình nền tảng trong học máy và xử lý ngôn ngữ tự nhiên:

• Các mức độ biểu diễn từ trong NLP:
  • Không bối cảnh (Non-context): Các thuật toán như Word2Vec, GloVe, FastText chỉ tạo ra một véc-tơ biểu diễn cố định cho mỗi từ, không thể phản ánh các nét nghĩa khác nhau của từ trong từng ngữ cảnh riêng biệt.
  • Một chiều (Uni-directional): Các mô hình dựa trên mạng nơ-ron hồi quy RNN hoặc ELMo (sử dụng kiến trúc BiLSTM với hai chiều độc lập) chỉ giải thích ngữ cảnh theo một chiều từ trái sang phải hoặc từ phải sang trái.
  • Hai chiều (Bi-directional): Mô hình Transformer với cơ chế tự chú ý (self-attention) cho phép nắm bắt ngữ cảnh đồng thời từ cả hai phía xung quanh từ mục tiêu.
• Mô hình BERT và cơ chế tiền huấn luyện: BERT sử dụng kiến trúc Encoder của Transformer, được huấn luyện trước trên văn bản không giám sát thông qua hai tác vụ: Mô hình ngôn ngữ được đánh dấu (Masked Language Model - MLM) và Dự báo câu tiếp theo (Next Sentence Prediction - NSP).
• Mô hình PhoBERT và RoBERTa: PhoBERT kế thừa kiến trúc tối ưu hóa của RoBERTa, được đào tạo riêng cho tiếng Việt với cách tiếp cận phân đoạn từ ở cấp độ từ (word-level tokenization) kết hợp tách từ tố con BPE (Byte Pair Encoding).
• Các tác vụ xuôi dòng (Downstream tasks) và chuẩn đánh giá GLUE: Các tác vụ chuẩn để kiểm thử khả năng hiểu ngôn ngữ bao gồm Phân tích cảm xúc (Sentiment Analysis), Hỏi đáp (SQuAD), Suy luận ngôn ngữ tự nhiên (NLI), Nhận diện thực thể tên riêng (NER) và Quan hệ văn bản (Textual Entailment).

Phương pháp nghiên cứu thực nghiệm được thực hiện thông qua việc tiếp cận quy trình học chuyển giao (Transfer Learning): sử dụng trọng số mô hình tiền huấn luyện của PhoBERT, áp dụng công cụ tiền xử lý ngôn ngữ tiếng Việt và tiến hành tinh chỉnh (fine-tuning) các lớp mạng nơ-ron trên tập dữ liệu đánh giá phân loại sắc thái bình luận.

Nguồn dữ liệu được đề cập và sử dụng trong nghiên cứu gồm:

• Ngữ liệu 20GB văn bản tiếng Việt dùng trong huấn luyện trước mô hình PhoBERT.
• Các bộ dữ liệu benchmark tiếng Việt tiêu chuẩn: VLSP 2013 (gán nhãn từ loại POS), VnDT v1.1 (ngân hàng câu phân tích cú pháp phụ thuộc), VLSP 2016 (nhận dạng thực thể NER), XNLI v1.0 tiếng Việt (suy luận ngôn ngữ NLI).
• Bộ dữ liệu phân loại bình luận thu thập từ cuộc thi "Phân tích sắc thái bình luận" do AIVIVN tổ chức.

---

Thiết kế và triển khai

Quá trình thiết kế và thử nghiệm hệ thống phân loại quan điểm bình luận tiếng Việt được xây dựng dựa trên ngăn xếp công nghệ mã nguồn mở và môi trường thực nghiệm chuyên dụng:

Công nghệ và thư viện sử dụng

• Ngôn ngữ lập trình: Python.
• Thư viện học sâu và tính toán: TensorFlow.
• Thư viện mô hình chuyển đổi: Transformers (Wolf và cộng sự).
• Thư viện xử lý từ tố và chuỗi: fastBPE và fairseq.
• Công cụ tiền xử lý tiếng Việt: VnCoreNLP (tích hợp bộ phân đoạn từ RDRSegmenter).
• Mô hình nền tảng: Mô hình tiền huấn luyện PhoBERT (pre-trained model).

Quy trình các bước thực hiện

1. Cài đặt môi trường: Cài đặt các thư viện cần thiết gồm tensorflow, transformers, fastbpe, fairseq và vncorenlp.
2. Thu thập dữ liệu và trọng số: Tải bộ dữ liệu từ cuộc thi Phân tích sắc thái bình luận của AIVIVN và tải mô hình pre-trained PhoBERT.
3. Tiền xử lý văn bản tiếng Việt:
   • Sử dụng công cụ RDRSegmenter trong VnCoreNLP để phân đoạn câu văn tiếng Việt từ cấp độ âm tiết thành các từ hoàn chỉnh.
   • Áp dụng thuật toán BPE (thông qua fastBPE) để mã hóa và chuyển đổi các từ thành các đơn vị từ khóa con (subwords).
4. Phân chia dữ liệu: Tách tập dữ liệu đầu vào thành 2 tập riêng biệt gồm tập huấn luyện (training set) và tập kiểm định (validation set) theo tỉ lệ 90:10.
5. Tạo mặt nạ chú ý (Attention Mask): Xây dựng ma trận mask chứa các giá trị 0 và 1 tương ứng với độ dài chuỗi để làm đầu vào cho mô hình Transformer.
6. Huấn luyện và tinh chỉnh: Tiến hành huấn luyện mô hình phân loại sắc thái (Sentiment Analysis Vietnamese - SAV) với đầu vào là đoạn văn bản và đầu ra là phân phối xác suất của 2 lớp nhãn cảm xúc: tích cực (positive) và tiêu cực (negative).

---

Nội dung chính theo từng chương

Chương 1. Mô hình BERT

Chương 1 tập trung hệ thống hóa cơ sở lý thuyết về mô hình BERT (Bidirectional Encoder Representations from Transformers) do Google AI giới thiệu. Nội dung phân tích nguyên nhân ra đời của BERT nhằm giải quyết bài toán thiếu hụt dữ liệu gán nhãn thông qua học chuyển giao (Transfer Learning) từ các kho ngữ liệu phi cấu trúc khổng lồ trên Internet. Chương này trình bày chi tiết các khái niệm:

• Sự khác biệt giữa mô hình đọc một chiều LTR (Left-to-Right) và mô hình học bối cảnh hai chiều MLM (Masked Language Model).
• Cơ chế hoạt động của khối Transformer, bao gồm các tiến trình tự chú ý (self-attention) và chú ý tương tác giữa Encoder và Decoder.
• Quy trình tiền huấn luyện (Pre-training) thông qua hai nhiệm vụ MLM (che ngẫu nhiên các từ và dự đoán) và NSP (Next Sentence Prediction - dự đoán câu tiếp theo).
• Quy trình tinh chỉnh (Fine-tuning) mô hình BERT cho các tác vụ downstream trong thang đo GLUE benchmark như phân tích cảm xúc, hỏi đáp SQuAD, nhận diện thực thể NER và suy luận ngôn ngữ NLI.

Chương 2. Mô hình PhoBERT

Chương 2 trình bày về sự ra đời, cấu trúc và hiệu năng của PhoBERT - mô hình ngôn ngữ đơn ngữ quy mô lớn dành riêng cho tiếng Việt dựa trên nền tảng RoBERTa:

• PhoBERT được huấn luyện trước trên tập ngữ liệu 20GB văn bản tiếng Việt.
• Điểm đặc trưng cốt lõi của PhoBERT là quy trình tiền xử lý thực hiện phân đoạn từ tiếng Việt (thông qua VnCoreNLP) trước khi áp dụng mã hóa BPE, giúp giữ trọn vẹn ngữ nghĩa của từ ghép tiếng Việt thay vì xử lý trực tiếp trên cấp độ âm tiết như các mô hình đa ngôn ngữ.
• Chương này công bố chi tiết kết quả thử nghiệm tinh chỉnh PhoBERT trên 4 tác vụ xuôi dòng chuẩn: Gán nhãn từ loại (POS), Phân tích cú pháp phụ thuộc (Dependency parsing), Nhận diện thực thể (NER) và Suy luận ngôn ngữ tự nhiên (NLI). Kết quả cho thấy PhoBERT vượt trội hơn các mô hình SOTA tiền nhiệm và mô hình đa ngôn ngữ XLM-R.
• Tổng kết các hướng ứng dụng thực tiễn của PhoBERT như tìm từ đồng nghĩa/trái nghĩa, tạo véc-tơ nhúng cho chatbot, trích xuất thực thể, phân loại văn bản và hệ thống gợi ý tìm kiếm.

Chương 3. Ứng dụng PhoBERT vào bài toán phân tích quan điểm bình luận tiếng Việt

Chương 3 đi sâu vào bài toán ứng dụng thực tế:

• Phát biểu bài toán phân tích tình cảm (Sentiment Analysis) / khai phá quan điểm (Opinion Mining), mô hình hóa bài toán dưới góc nhìn học máy thành bài toán phân lớp nhị phân với 2 nhãn cảm xúc tích cực và tiêu cực từ văn bản tiếng Việt.
• Phân tích bài toán quản trị thương hiệu doanh nghiệp và nhu cầu "lắng nghe mạng xã hội" để phát hiện sớm các thông tin bất lợi.
• Chi tiết hóa môi trường thực nghiệm, các thư viện mã nguồn mở Python (TensorFlow, Transformers, fastBPE, fairseq, VnCoreNLP).
• Trình bày đầy đủ quy trình thực nghiệm từ chuẩn bị dữ liệu cuộc thi AIVIVN, phân chia tập dữ liệu 90:10, tạo mask đầu vào và huấn luyện tinh chỉnh mô hình.

---

Kết quả và đóng góp

Kết quả thực nghiệm của mô hình PhoBERT trên các tác vụ chuẩn

Văn bản đồ án tổng hợp kết quả đánh giá thực nghiệm của PhoBERT trên 4 tác vụ xử lý ngôn ngữ tự nhiên tiếng Việt so với các phương pháp hiện đại nhất (SOTA) trước đó:

Tác vụ NLP	Bộ dữ liệu thử nghiệm	Mô hình SOTA trước đó	Hiệu suất SOTA trước (%)	Hiệu suất của PhoBERT (%)	Mức độ cải thiện
Gán nhãn từ loại (POS)	VLSP 2013	WPD / VnCoreNLP-POS	96,0 (Độ chính xác)	96,8 (Độ chính xác)	Tăng +0,8%
Cú pháp phụ thuộc	VnDT v1.1	Trình phân tích Biaffine	75,0 (LAS) / 81,2 (UAS)	78,8 (LAS) / 85,2 (UAS)	Tăng +3,8% - 4,0%
Nhận diện thực thể (NER)	VLSP 2016	VnCoreNLP-NER / BiLSTM-CNN-CRF + ETNLP	Điểm F1 cơ sở	PhoBERTbase vượt +2,0 điểm F1; PhoBERTlarge hơn base +1,1 điểm F1	Tạo mốc SOTA mới
Suy luận ngôn ngữ (NLI)	XNLI v1.0 tiếng Việt	mBERT / XLM-MLM+TLM / XLM-R	Thấp hơn	PhoBERT vượt trội so với XLM-R	Vượt trội với ít tham số hơn

Về quy mô mô hình, PhoBERT đạt hiệu năng cao hơn mô hình đa ngôn ngữ XLM-R dù sử dụng ít tham số hơn đáng kể:

• Phiên bản Base: PhoBERTbase có 135 triệu tham số so với 250 triệu tham số của XLM-Rbase.
• Phiên bản Large: PhoBERTlarge có 370 triệu tham số so với 560 triệu tham số của XLM-Rlarge.
• Mô hình XLM-R sử dụng tập ngữ liệu 2,5TB (chứa 137GB tiếng Việt, gấp khoảng 7 lần so với 20GB của PhoBERT), tuy nhiên PhoBERT vẫn cho kết quả vượt trội nhờ cơ chế phân đoạn từ tiếng Việt trước khi áp dụng BPE.

Đóng góp của đề tài

1. Hệ thống hóa lý thuyết: Làm rõ cơ chế hoạt động của mô hình ngôn ngữ hai chiều Transformer/BERT và cấu trúc tối ưu của PhoBERT đối với đặc thù đơn lập của tiếng Việt.
2. Khẳng định ưu thế của mô hình đơn ngữ: Chứng minh thực nghiệm rằng mô hình ngôn ngữ được đào tạo riêng cho tiếng Việt kết hợp phân đoạn từ (word-level tokenization) mang lại hiệu quả vượt trội hơn so với các mô hình đa ngôn ngữ xử lý ở cấp độ âm tiết.
3. Xây dựng quy trình ứng dụng: Triển khai hoàn chỉnh quy trình kỹ thuật tinh chỉnh PhoBERT với các thư viện Python chuyên dụng để giải quyết bài toán phân tích sắc thái bình luận tiếng Việt phục vụ nhu cầu thực tiễn.

---

Hạn chế và hướng nghiên cứu tiếp

Văn bản đề tài chỉ ra một số hạn chế và định hướng nghiên cứu tiếp theo:

• Hạn chế trong phân tích cú pháp phụ thuộc: Kết quả thực nghiệm cho thấy PhoBERTlarge đạt điểm phân tích cú pháp phụ thuộc thấp hơn 0,9% so với PhoBERTbase. Nguyên nhân được xác định là lớp Transformer cuối cùng trong kiến trúc mô hình có thể không phải là lớp chứa thông tin mã hóa phong phú nhất về mặt cấu trúc cú pháp.
• Phạm vi bài toán phân loại bình luận: Thử nghiệm ứng dụng mới tập trung vào bài toán phân tích cảm xúc nhị phân ở mức độ cơ bản (2 lớp: tích cực và tiêu cực), chưa mở rộng sang bài toán đánh giá mức độ chi tiết (thang điểm từ 1 đến 5) hoặc xác định nguồn gốc, mục tiêu và khía cạnh cảm xúc phức tạp.
• Hướng nghiên cứu tiếp theo:
  • Tiến hành khảo sát, đánh giá hiệu suất trích xuất thông tin cú pháp từ từng lớp Transformer riêng biệt của PhoBERT thay vì chỉ sử dụng lớp đầu ra cuối cùng.
  • Tối ưu hóa các siêu tham số huấn luyện và mở rộng kiểm thử mô hình trên các tập dữ liệu bình luận lớn hơn trong các ngữ cảnh thực tế đa dạng.

---

Giá trị tham khảo

Tài liệu đồ án tốt nghiệp này mang lại giá trị tham khảo chuyên môn cho các đối tượng:

• Sinh viên và học viên chuyên ngành Công nghệ thông tin, Khoa học dữ liệu, Trí tuệ nhân tạo: Nguồn tài liệu hệ thống hóa rõ ràng về kiến trúc mạng nơ-ron Transformer, mô hình BERT và phương pháp học chuyển giao trong xử lý ngôn ngữ tự nhiên.
• Nhà phát triển và người nghiên cứu NLP tiếng Việt: Cung cấp quy trình thực hành chuẩn về cách tích hợp công cụ tách từ VnCoreNLP, thuật toán fastBPE và thư viện transformers để tiền xử lý và tinh chỉnh các mô hình pre-trained tiếng Việt.
• Kỹ sư triển khai hệ thống phân tích dữ liệu mạng xã hội: Tài liệu tham khảo hữu ích cho việc xây dựng các module tự động phân loại cảm xúc người dùng phục vụ bài toán quản trị thương hiệu và chăm sóc khách hàng.

---

Câu hỏi thường gặp

1. Đề tài đồ án do ai thực hiện, thuộc cơ sở đào tạo nào và thời gian thực hiện khi nào? Đề tài do sinh viên Nguyễn Thành Long (Mã SV: 1712111008, Lớp: CT2101C) thực hiện tại Khoa Công nghệ thông tin, Trường Đại học Quản lý và Công nghệ Hải Phòng, dưới sự hướng dẫn của ThS. Nguyễn Thị Xuân Hương. Thời gian giao đề tài từ ngày 16/07/2021 và yêu cầu hoàn thành trước ngày 03/10/2021.

2. Vì sao PhoBERT lại đạt hiệu suất cao hơn mô hình đa ngôn ngữ XLM-R trên các tác vụ tiếng Việt dù sử dụng ít tham số và dữ liệu tiền huấn luyện ít hơn? PhoBERT thực hiện phân đoạn từ tiếng Việt (ở cấp độ từ) bằng công cụ RDRSegmenter trước khi áp dụng BPE để tạo ra các từ tố con, giúp bảo toàn ranh giới từ và ngữ nghĩa đặc thù của tiếng Việt. Ngược lại, XLM-R áp dụng trực tiếp BPE lên các câu ở cấp độ âm tiết. Điều này khẳng định mô hình ngôn ngữ đơn ngữ được thiết kế phù hợp với đặc thù ngôn ngữ sẽ đạt hiệu quả cao hơn mô hình đa ngôn ngữ.

3. Trong quy trình thực nghiệm tại Chương 3, tập dữ liệu bình luận được phân chia như thế nào và dùng công cụ gì để tiền xử lý? Tập dữ liệu từ cuộc thi Phân tích sắc thái bình luận của AIVIVN được phân chia thành tập huấn luyện (train) và tập kiểm định (validation) theo tỉ lệ 90:10. Quá trình tiền xử lý sử dụng thư viện VnCoreNLP để phân đoạn từ, kết hợp thư viện fastBPE để mã hóa từ tố con và tạo mặt nạ chú ý (mask 0, 1) cho thư viện Transformers.

4. Tại sao phiên bản PhoBERTlarge lại có điểm số phân tích cú pháp phụ thuộc thấp hơn phiên bản PhoBERTbase? Theo giải thích trong đồ án, lớp Transformer cuối cùng trong kiến trúc mô hình BERT có thể không phải là nơi lưu trữ thông tin tối ưu và phong phú nhất về cấu trúc cú pháp câu. Do đó, việc PhoBERTlarge có kết quả thấp hơn 0,9% so với PhoBERTbase ở tác vụ này đặt ra nhu cầu cần đánh giá biểu diễn cú pháp từ từng lớp ẩn trung gian của mô hình.

---

Kết luận

Đồ án tốt nghiệp của sinh viên Nguyễn Thành Long đã nghiên cứu toàn diện cơ sở lý thuyết của mô hình ngôn ngữ hai chiều BERT và mô hình đơn ngữ tiếng Việt PhoBERT. Nghiên cứu đã làm rõ ưu thế vượt trội của PhoBERT trên các tác vụ xử lý ngôn ngữ tự nhiên tiếng Việt thông qua các số liệu thực nghiệm benchmark chuẩn xác. Đồng thời, đề tài đã xây dựng thành công quy trình tiền xử lý và tinh chỉnh mô hình trên nền tảng Python, mở ra giải pháp công nghệ hiệu quả cho bài toán phân loại quan điểm bình luận tiếng Việt phục vụ quản trị thông tin thực tiễn.

Trích đoạn nội dung tài liệu

CHƯƠNG 1. MÔ HÌNH BERT 1. Khái niệm BERT ( Bidirectional Encoder Representations from Transformers ) là một mô hình ngôn ngữ ( Language Model ) được tạo ra bởi Google AI và được giới thiệu vào năm 2008. BERT được coi như là đột phá lớn trong Machine Learning bởi vì khả năng ứng dụng của nó vào nhiều bài toán NLP ( Natural Language Processing ) khác nhau: Question Answering, Natural Language Inference,.

với kết quả rất tốt. Các nhà nghiên cứu làm việc tại Google AI tái khẳng định, sự thiếu hụt dữ liệu huấn luyện là một trong những thách thức lớn nhất trong lĩnh vực xử lý ngôn ngữ tự nhiên. Đây là một lĩnh vực rộng lớn và đa dạng với nhiều nhiệm vụ riêng biệt, hầu hết các tập dữ liệu đều chỉ đặc thù cho từng nhiệm vụ. Để thực hiện được tốt những nhiệm vụ này ta cần những bộ dữ liệu lớn chứa hàng triệu thậm chí hàng tỷ ví dụ mẫu.

Tuy nhiên, trong thực tế hầu hết các tập dữ liệu hiện giờ chỉ chứa vài nghìn hoặc vài trăm nghìn mẫu được đánh nhãn bằng tay bởi con người ( các chuyên gia ngôn ngữ học ). Sự thiếu hụt dữ liệu có nhãn chất lượng cao để huấn luyện mô hình gây cản trở lớn cho sự phát triển của NLP nói chung. Để giải quyết thách thức này, các mô hình xử lý ngôn ngữ tự nhiên sử dụng một cơ chế tiền xử lý dữ liệu huấn luyện bằng việc transfer từ một mô hình chung được huấn luyện 6f87e 1b11a 932da b860 f81 b6 f9bdc3 2eca c777 6e0cf7 b60da 52f6cf66 b5ff294 1e747 e từ một lượng lớn các dữ liệu không được gán nhãn. Ví dụ một số mô hình đã được nghiên e1b11a9 32da b860 f81 b6f9bdc32 ecac7776 e0cf7b60da5 2f6 cf66b5ff2941e 747e 6f8 7 932dab860 f81b6f9 bdc32e cac7776e 0cf7b6 0da5 2f6 cf66b5ff2 941e 747e6 f87e 1b1 1a cứu trước đây để thực hiện nhiệm vụ này như Word2vec, Glove hay FastText.

860f8 1b6 f9bdc32eca c77 76e0 cf7 b60 da52 f6cf66 b5ff29 41e74 7e6f87e1 b11a9 32da b f81b6f9 bdc32e cac7 776e0 cf7b6 0da52 f6 cf6 6b5ff2 941e7 47e6 f87e 1b11a 932da b86 0 6f9bdc3 2eca c77 76e0 cf7 b60 da52 f6cf66 b5ff294 1e74 7e6f87e1 b11a9 32dab860 f81 b Việc nghiên cứu các mô hình này sẽ giúp thu hẹp khoảng cách giữa các tập dữ liệu dc32e cac7776 e0cf7b60da5 2f6 cf66b5ff2941e 747e 6f87 e1b1 1a932 dab8 60f81b6 f9 b 32eca c7776 e0cf7 b60da 52f6cf66b5ff2941 e747e 6f8 7e1b11a932 dab8 60f81b6 f9 bdc chuyên biệt cho huấn luyện bằng việc xây dựng mô hình tìm ra đại diện chung của ngôn c7776 e0cf7b60da 52f6 cf66b5ff2941 e747e 6f8 7e1b11a932 dab8 60f81b6 f9 bdc32e ca e0cf7b60 da52 f6 cf6 6b5ff2 941e7 47e6 f87e 1b11a 932da b860 f81 b6 f9bdc3 2eca c777 6 ngữ sử dụng một số lượng lớn các văn bản chưa được gán nhãn lấy từ các trang web. fc3a3 f93a 08582 6d66a 60f835 d2406 ea15 f7e7 b88cbf5e9cb78 cc9e16 d1072 e24 c3ee4 7d0800 c6a8 0136 f54 da448 1c2 b397 7f6 f33 e0be 8a4b3 d678 cc5b77 828 cc3 7ae38 f66a4 Các mô hình được huấn luyện trước khi được tinh chỉnh lại trên các nhiệm vụ khác 9c84a7 1dc1cb825a 4f1 d7c732fb9a4 e5765 f83 10c1984 f96 1e06 cf3 fc71f185b5ad74 b fac7b7b2 0dfcfdcdf1 cf4 2b2 fc6 b5a c1e9 c4a51ae fef5b7 de7f4b3 cc9e5d780d33d5 94 nhau với các bộ dữ liệu nhỏ như Question Answering, Sentiment Analysis,.sẽ dẫn đến sự 9e3f2 1bf4656 147e4 1c5 63d1 76a97 9e946 6be8 9c63 c0e 2907 0df0e654 8e28 c32 c6 f8f7 7ea8e433 c9 f051 8c9 06b9a 684d9d02 5cb598 854db148 3a8024 9bc348 7e1be 4646 2d7a b f21d145b5b08 b8e1 f8 c76 f42 b4ce 759fb93 c48 e7f8a41e7 8571e 64a2 f48b0e5 c8d4 bb8 cải thiện đáng kể về độ chính xác cho so với các mô hình được huấn luyện trước với các df3 fa34df8 f2c9de ba5dcb1e e30bc7d67cb1d4163 72d9 47cdab0 1c5 76b2 b2efb3 c49a2 08d258 539 bc6 96d5a 3b1a4 c49 7180 bae30 dc4 4793a3 dc5d19 4ad09 3cb5c3f9 9f2 02398 bộ dữ liệu này. 30ff2d29 b07 f39 d69e d7d2 e358bfca d25b40c5434 0e68a b4ee2 b76e0 b2a8 65300 be6e 0 95f4 fcb5fd1f4 934 f29e7 ee6d7cfa 31ddc0 5b49 f94 3c1 e22 f3b5 c0e4a d46 2e7c96fc5b Tuy nhiên, các mô hình kể trên có những yếu điểm riêng của nó, đặc biệt là không thể 3f9 f11 c9f0 8a6db91a1 7118e 3de6 3e7a02 f9 c1d19137 7d0a7a 34d40ff5b8 453 f6f4e0e 59e15a9 f853 8397 40b3 e9ac33e6fc51 7d8 b739 3a5076 c67 d16e 7cc03df1 b1f0b9 fc0 46 hiện được sự đại diện theo ngữ cảnh cụ thể của từ trong từng lĩnh vực hay văn cảnh cụ thể. 3a67e368 0a4d3d50 cf8d5 f476 8201 e328 cbbba50 c741 ebd4f6 b2e1 0316e d218 e1d2 918 0d4204 90efb3ab05fb73 c76 f04 f402 4609 30bbbd8c70 8725 e74dc8 cf9a 5b23 c6 ce52 6d 5a2ffad28c03f5ddc8 b5b1 9f6 5a9a4 f8ff22e 5e28b515a6 e2baff25 e0185 e7457 d94 b3 6e74e1a5 eb8e 6a6629 e94dc3 b8533 4599 8a334 c325 5d17 f25 1a9f0fc09d15d4 76fc381 14dd4 024 c2f27f32d2 1896e 863 d2798 93b4 5fb87d4d3 b709a d32bf1 f855 3822 14eb1 0a 4a2b893 e6f264e6 3adfe30c144aa d9ad6 d154a 23f6b2 be48 d55b74c3677 f31a2 6752 77 9 Tiếp nối sự thành công nhất định của các mô hình trước đó, Google đã công bố thêm 1 kỹ thuật mới được gọi là Bidirectional Encoder Representations from Transformers ( BERT ).

Tại sao lại cần BERT Một trong những thách thức lớn nhất của NLP là vấn đề dữ liệu. Trên internet có hàng tá dữ liệu, nhưng những dữ liệu đó không đồng nhất; mỗi phần của nó chỉ được dùng cho một mục đích riêng biệt, do đó khi giải quyết một bài toán cụ thể, ta cần trích ra một bộ dữ liệu thích hợp cho bài toán của mình, và kết quả là ta chỉ có một lượng rất ít dữ liệu. Ví dụ : Trong OpenAI GPT, các tác giả sử dụng đã kiến trúc left-to-right, nghĩa là các từ chỉ phụ thuộc vào các từ ở trước đó. Nhưng có một nghịch lý là các mô hình Deep Learning cần lượng dữ liệu rất lớn - lên tới hàng triệu - để có thể cho ra kết quả tốt.

Do đó một vấn đề được đặt ra: làm thế nào để tận dụng được nguồn dữ liệu vô cùng lớn có sẵn để giải quyết bài toán của mình. Đó là tiền đề cho một kỹ thuật mới ra đời: Transfer Learning. Với Transfer Learning, các mô hình (model) "chung" nhất với tập dữ liệu khổng lồ trên internet ( pre-training ) được xây dựng và có thể được "tinh chỉnh" ( fine-tune ) cho các bài toán cụ thể. Nhờ có kỹ thuật này mà kết quả cho các bài toán được cải thiện rõ rệt, không chỉ trong 6f87e 1b11a 932da b860 f81 b6 f9bdc3 2eca c777 6e0cf7 b60da 52f6cf66 b5ff294 1e747 e xử lý ngôn ngữ tự nhiên mà còn trong các lĩnh vực khác như Computer Vision,.

BERT là e1b11a9 32da b860 f81 b6f9bdc32 ecac7776 e0cf7b60da5 2f6 cf66b5ff2941e 747e 6f8 7 932dab860 f81b6f9 bdc32e cac7776e 0cf7b6 0da5 2f6 cf66b5ff2 941e 747e6 f87e 1b1 1a một trong những đại diện ưu tú nhất trong Transfer Learning cho xử lý ngôn ngữ tự nhiên, 860f8 1b6 f9bdc32eca c77 76e0 cf7 b60 da52 f6cf66 b5ff29 41e74 7e6f87e1 b11a9 32da b f81b6f9 bdc32e cac7 776e0 cf7b6 0da52 f6 cf6 6b5ff2 941e7 47e6 f87e 1b11a 932da b86 0 6f9bdc3 2eca c77 76e0 cf7 b60 da52 f6cf66 b5ff294 1e74 7e6f87e1 b11a9 32dab860 f81 b nó gây tiếng vang lớn không chỉ bởi kết quả mang lại trong nhiều bài toán khác nhau, mà dc32e cac7776 e0cf7b60da5 2f6 cf66b5ff2941e 747e 6f87 e1b1 1a932 dab8 60f81b6 f9 b còn bởi vì nó hoàn toàn miễn phí, tất cả chúng ta đều có thể sử dụng BERT cho bài toán 32eca c7776 e0cf7 b60da 52f6cf66b5ff2941 e747e 6f8 7e1b11a932 dab8 60f81b6 f9 bdc c7776 e0cf7b60da 52f6 cf66b5ff2941 e747e 6f8 7e1b11a932 dab8 60f81b6 f9 bdc32e ca e0cf7b60 da52 f6 cf6 6b5ff2 941e7 47e6 f87e 1b11a 932da b860 f81 b6 f9bdc3 2eca c777 6 của mình. fc3a3 f93a 08582 6d66a 60f835 d2406 ea15 f7e7 b88cbf5e9cb78 cc9e16 d1072 e24 c3ee4 7d0800 c6a8 0136 f54 da448 1c2 b397 7f6 f33 e0be 8a4b3 d678 cc5b77 828 cc3 7ae38 f66a4 9c84a7 1dc1cb825a 4f1 d7c732fb9a4 e5765 f83 10c1984 f96 1e06 cf3 fc71f185b5ad74 b 1. Một số khái niệm fac7b7b2 0dfcfdcdf1 cf4 2b2 fc6 b5a c1e9 c4a51ae fef5b7 de7f4b3 cc9e5d780d33d5 94 9e3f2 1bf4656 147e4 1c5 63d1 76a97 9e946 6be8 9c63 c0e 2907 0df0e654 8e28 c32 c6 f8f7 7ea8e433 c9 f051 8c9 06b9a 684d9d02 5cb598 854db148 3a8024 9bc348 7e1be 4646 2d7a b 1. Nhiệm vụ phía sau (Downstream task) f21d145b5b08 b8e1 f8 c76 f42 b4ce 759fb93 c48 e7f8a41e7 8571e 64a2 f48b0e5 c8d4 bb8 df3 fa34df8 f2c9de ba5dcb1e e30bc7d67cb1d4163 72d9 47cdab0 1c5 76b2 b2efb3 c49a2 08d258 539 bc6 96d5a 3b1a4 c49 7180 bae30 dc4 4793a3 dc5d19 4ad09 3cb5c3f9 9f2 02398 Là những nhiệm vụ học hỏi được giám sát được cải thiện dựa trên những mô hình được 30ff2d29 b07 f39 d69e d7d2 e358bfca d25b40c5434 0e68a b4ee2 b76e0 b2a8 65300 be6e 0 95f4 fcb5fd1f4 934 f29e7 ee6d7cfa 31ddc0 5b49 f94 3c1 e22 f3b5 c0e4a d46 2e7c96fc5b huấn luyện trước.

3f9 f11 c9f0 8a6db91a1 7118e 3de6 3e7a02 f9 c1d19137 7d0a7a 34d40ff5b8 453 f6f4e0e 59e15a9 f853 8397 40b3 e9ac33e6fc51 7d8 b739 3a5076 c67 d16e 7cc03df1 b1f0b9 fc0 46 3a67e368 0a4d3d50 cf8d5 f476 8201 e328 cbbba50 c741 ebd4f6 b2e1 0316e d218 e1d2 918 Ví dụ: Chúng ta sử dụng lại các biểu diễn từ học được từ những mô hình được huấn 0d4204 90efb3ab05fb73 c76 f04 f402 4609 30bbbd8c70 8725 e74dc8 cf9a 5b23 c6 ce52 6d 5a2ffad28c03f5ddc8 b5b1 9f6 5a9a4 f8ff22e 5e28b515a6 e2baff25 e0185 e7457 d94 b3 luyện trước trên bộ văn bản lớn vào một nhiệm vụ phân tích cảm xúc huấn luyện trên bộ 6e74e1a5 eb8e 6a6629 e94dc3 b8533 4599 8a334 c325 5d17 f25 1a9f0fc09d15d4 76fc381 14dd4 024 c2f27f32d2 1896e 863 d2798 93b4 5fb87d4d3 b709a d32bf1 f855 3822 14eb1 0a văn bản có kích thước nhỏ hơn. Áp dụng nhúng huấn luyện trước ( pretrain-embedding ) 4a2b893 e6f264e6 3adfe30c144aa d9ad6 d154a 23f6b2 be48 d55b74c3677 f31a2 6752 77 10 đã giúp cải thiện mô hình. Như vậy nhiệm vụ sử dụng nhúng huấn luyện trước được gọi là nhiệm vụ sau. Điểm khái quát đánh giá mức độ hiểu ngôn ngữ (GLUE score benchmark) GLUE score benchmark là một tập hợp các chỉ số được xây dựng để đánh giá khái quát mức độ hiểu ngôn ngữ của các mô hình NLP.

Các đánh giá được thực hiện trên các bộ dữ liệu tiêu chuẩn được qui định tại các convention về phát triển và thúc đẩy NLP. Mỗi bộ dữ liệu tương ứng với một loại tác NLP vụ như: • Phân tích tình cảm (Sentiment Analysis) • Hỏi đáp (Question and Answering) • Suy luận ngôn ngữ tự nhiên (NLI - Natural Languague Inference) • Dự báo câu tiếp theo (NSP - Next Sentence Prediction) • Nhận diện thực thể trong câu (NER - Name Entity Recognition) 1. Phân tích cảm xúc (Sentiment Analysis) Phân loại cảm xúc văn bản thành 2 nhãn tích cực (positive) và tiêu cực (negative). Thường được sử dụng trong các hệ thống đánh giá bình luận của người dùng.

Hỏi đáp (Question and Answering) 6f87e 1b11a 932da b860 f81 b6 f9bdc3 2eca c777 6e0cf7 b60da 52f6cf66 b5ff294 1e747 e e1b11a9 32da b860 f81 b6f9bdc32 ecac7776 e0cf7b60da5 2f6 cf66b5ff2941e 747e 6f8 7 Là thuật toán hỏi và đáp. Đầu vào là một cặp câu (pair sequence) bao gồm: câu hỏi 932dab860 f81b6f9 bdc32e cac7776e 0cf7b6 0da5 2f6 cf66b5ff2 941e 747e6 f87e 1b1 1a 860f8 1b6 f9bdc32eca c77 76e0 cf7 b60 da52 f6cf66 b5ff29 41e74 7e6f87e1 b11a9 32da b (question) có chức năng hỏi và đoạn văn bản (paragraph) chứa thông tin trả lời cho câu hỏi.