Tìm Hiểu Về Mô Hình Ngôn Ngữ Phobert Cho Bài Toán Phân Loại Quan Điểm Bình Luận Tiếng Việt

Đồ án kỹ thuật nghiên cứu tốt nghiệp công nghệ thông tin tìm hiểu mô hình ngôn ngữ phobert cho bài toán phân loại quan, thiết kế chi tiết, tính toán kỹ thuật theo tiêu

• Đề tài: Tìm Hiểu Mô Hình Ngôn Ngữ Phobert Trong Phân Loại Bình Luận Tiếng Việt

Mục lục chi tiết

• DANH MỤC CÁC HÌNH VẼ VÀ CÁC BẢNG
• BẢNG CÁC TỪ VIẾT TẮT
• 1. MÔ HÌNH BERT
• 1.1. Tại sao lại cần BERT
• 1.2. Một số khái niệm
• 1.2.1. Nhiệm vụ phía sau (Downstream task)
• 1.2.2. Điểm khái quát đánh giá mức độ hiểu ngôn ngữ (GLUE score benchmark)
• 1.2.3. Phân tích cảm xúc (Sentiment Analysis)
• 1.2.4. Suy luận ngôn ngữ (Natural Language Inference)
• 1.2.5. Quan hệ văn bản (Textual Entailment)
• 1.2.6. Phương pháp Hiện đại nhất (SOTA)
• 1.2.7. Mô hình LTR
• 1.2.8. Mô hình ngôn ngữ được đánh dấu MLM (Masked Language Model)
• 1.3. Ngữ cảnh (Contextual) và vai trò trong NLP
• 1.4. Tiếp cận nông và học sâu trong ứng dụng huấn luyện trước (pre-training) trong NLP
• 1.4.1. Tiếp cận nông (shallow approach)

Tóm tắt

I. Khám Phá Mô Hình Ngôn Ngữ Phobert Chìa Khóa Cho NLP Tiếng Việt

Trong bối cảnh bùng nổ dữ liệu văn bản, lĩnh vực xử lý ngôn ngữ tự nhiên (NLP) đóng vai trò then chốt trong việc giúp máy tính hiểu và tương tác với ngôn ngữ con người. Đặc biệt, NLP tiếng Việt đối mặt với nhiều thách thức riêng do đặc thù ngôn ngữ. Sự ra đời của các mô hình tiền huấn luyện (pre-trained models) dựa trên kiến trúc mô hình Transformer đã tạo ra một cuộc cách mạng. Trong đó, PhoBERT, một mô hình ngôn ngữ do VinAI phát triển, nổi lên như một giải pháp đột phá, được tối ưu hóa riêng cho tiếng Việt. Mô hình này không chỉ kế thừa sức mạnh từ mô hình BERT của Google mà còn được tinh chỉnh để đạt hiệu suất vượt trội trên các tác vụ cụ thể như phân loại bình luận tiếng Việt. Bài viết này sẽ đi sâu phân tích cấu trúc, phương pháp huấn luyện và ứng dụng thực tiễn của PhoBERT, làm rõ tại sao nó trở thành công cụ không thể thiếu cho các nhà phát triển và nghiên cứu trong lĩnh vực học máy cho tiếng Việt hiện nay. Việc hiểu rõ PhoBERT mở ra tiềm năng to lớn trong việc tự động hóa các quy trình phân tích dữ liệu, từ đánh giá sản phẩm đến quản lý danh tiếng thương hiệu trên không gian mạng.

1.1. Giới thiệu tổng quan về xử lý ngôn ngữ tự nhiên

Xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP) là một nhánh của trí tuệ nhân tạo, tập trung vào việc tạo ra các hệ thống có khả năng hiểu, diễn giải và tạo ra ngôn ngữ của con người. Mục tiêu của NLP là thu hẹp khoảng cách giao tiếp giữa máy tính và con người. Các ứng dụng phổ biến của NLP bao gồm dịch máy tự động, trợ lý ảo, phân tích cảm xúc, và tóm tắt văn bản. Trong những năm gần đây, các kỹ thuật học sâu (deep learning) đã thúc đẩy sự phát triển vượt bậc của NLP, đặc biệt là sự ra đời của các kiến trúc mạng nơ-ron phức tạp như mô hình Transformer. Những mô hình này có khả năng nắm bắt các mối quan hệ ngữ nghĩa và ngữ cảnh phức tạp trong văn bản, điều mà các phương pháp thống kê truyền thống khó có thể đạt được. Đối với tiếng Việt, một ngôn ngữ có thanh điệu và cấu trúc ngữ pháp đặc thù, việc áp dụng NLP đòi hỏi những phương pháp tiếp cận chuyên biệt để xử lý hiệu quả.

1.2. Vai trò của các mô hình tiền huấn luyện như PhoBERT

Các mô hình tiền huấn luyện như PhoBERT đóng vai trò nền tảng trong các bài toán NLP hiện đại. Thay vì huấn luyện một mô hình từ đầu cho mỗi tác vụ riêng lẻ, phương pháp này tận dụng một mô hình đã được "dạy" trên một kho dữ liệu văn bản khổng lồ. Quá trình này giúp mô hình học được các biểu diễn ngôn ngữ sâu sắc, bao gồm từ vựng, ngữ pháp và các kiến thức phổ quát về thế giới. Sau đó, mô hình này có thể được tinh chỉnh (fine-tuning) một cách nhanh chóng cho các tác vụ cụ thể với một lượng dữ liệu nhỏ hơn, chẳng hạn như phân loại văn bản hoặc phân tích cảm xúc. Theo tài liệu nghiên cứu, "việc transfer từ một mô hình chung được huấn luyện từ một lượng lớn các dữ liệu không được gán nhãn" giúp giải quyết thách thức thiếu hụt dữ liệu gán nhãn chất lượng cao. PhoBERT, được tiền huấn luyện trên 20GB dữ liệu tiếng Việt, cung cấp một nền tảng word embedding cực kỳ mạnh mẽ, giúp cải thiện đáng kể độ chính xác cho các ứng dụng NLP tiếng Việt.

II. Thách Thức Khi Phân Loại Bình Luận Tiếng Việt Tự Động

Việc phân loại bình luận tiếng Việt một cách tự động là một bài toán phức tạp, ẩn chứa nhiều thách thức đặc thù mà các mô hình ngôn ngữ tổng quát thường gặp khó khăn. Ngôn ngữ trong các bình luận trên mạng xã hội, diễn đàn hay trang thương mại điện tử thường không tuân theo chuẩn mực ngữ pháp, chứa nhiều tiếng lóng, từ viết tắt, và biểu tượng cảm xúc. Sự đa dạng về ngữ cảnh và tính mơ hồ của từ ngữ càng làm cho việc xác định sắc thái tình cảm trở nên khó khăn. Ví dụ, một từ có thể mang ý nghĩa tích cực trong ngữ cảnh này nhưng lại tiêu cực trong ngữ cảnh khác. Các mô hình tiền huấn luyện đa ngôn ngữ, dù mạnh mẽ, thường không được tối ưu cho những đặc điểm này của tiếng Việt. Chúng có thể gặp vấn đề với việc tokenization tiếng Việt hoặc không nắm bắt được các sắc thái văn hóa tinh tế. Chính những hạn chế này đã thúc đẩy nhu cầu về một mô hình chuyên biệt như PhoBERT, được thiết kế để vượt qua các rào cản ngôn ngữ và mang lại độ chính xác cao hơn trong các tác vụ sentiment analysis Vietnamese.

2.1. Đặc thù của bình luận tiếng Việt Ngữ cảnh và mơ hồ

Tiếng Việt là một ngôn ngữ đơn lập, không biến hình, trong đó ranh giới giữa các từ không phải lúc nào cũng rõ ràng. Một chuỗi các âm tiết có thể là một từ đơn hoặc một từ ghép, đòi hỏi một bước phân tách từ (word segmentation) chính xác. Tài liệu nghiên cứu chỉ ra rằng: "khoảng trắng cũng là được sử dụng để tách các âm tiết tạo thành từ khi viết bằng tiếng Việt". Sự mơ hồ này là một thách thức lớn. Thêm vào đó, bình luận của người dùng thường chứa các cấu trúc câu không chính thống, từ viết tắt (vd: "ko" thay cho "không"), và các từ ngữ địa phương. Ngữ cảnh đóng vai trò quyết định ý nghĩa, một câu như "Giá quá tốt" có thể là khen ngợi hoặc mỉa mai tùy thuộc vào các câu xung quanh. Việc thiếu các dấu hiệu hình thái học rõ ràng khiến máy tính khó phân biệt sắc thái nếu không có một mô hình hiểu sâu về ngữ cảnh như PhoBERT.

2.2. Hạn chế của mô hình đa ngôn ngữ như vBERT và XLM R

Các mô hình đa ngôn ngữ như mBERT, vBERT, hay XLM-R được huấn luyện trên kho dữ liệu của hàng trăm ngôn ngữ. Mặc dù điều này giúp chúng có khả năng xử lý nhiều ngôn ngữ, nhưng lại làm giảm hiệu suất trên từng ngôn ngữ cụ thể. Đối với tiếng Việt, chúng thường không thực hiện bước tách từ chuyên biệt mà áp dụng BPE trực tiếp lên chuỗi âm tiết. Điều này dẫn đến việc tạo ra các token (từ phụ) không có ý nghĩa ngữ pháp. Nghiên cứu gốc về PhoBERT nhấn mạnh rằng các mô hình này "không nhận thức được sự khác nhau giữa âm tiết tiếng Việt và mã từ". Kết quả là, chúng không thể nắm bắt đầy đủ mối quan hệ ngữ nghĩa giữa các từ, dẫn đến độ chính xác thấp hơn trong các tác vụ yêu cầu sự tinh tế như phân tích cảm xúc. PhoBERT, với quy trình tiền xử lý và dữ liệu huấn luyện chuyên biệt, đã được chứng minh là vượt trội hơn XLM-R trên nhiều bài toán NLP tiếng Việt.

III. Giải Mã Phobert Kiến Trúc Transformer Tối Ưu Cho Tiếng Việt

Sức mạnh vượt trội của PhoBERT không đến một cách ngẫu nhiên mà bắt nguồn từ một nền tảng kiến trúc vững chắc và những cải tiến chiến lược. Cốt lõi của PhoBERT là kiến trúc mô hình Transformer, một thiết kế đột phá đã thay đổi hoàn toàn bộ mặt của ngành NLP. Thay vì xử lý văn bản một cách tuần tự, Transformer cho phép xử lý song song toàn bộ câu, giúp nắm bắt các mối quan hệ từ xa một cách hiệu quả thông qua cơ chế tự chú ý (self-attention). PhoBERT không chỉ đơn thuần sao chép kiến trúc này mà còn kế thừa những tối ưu hóa quan trọng từ RoBERTa, một biến thể cải tiến của BERT. Bằng cách loại bỏ các nhiệm vụ huấn luyện không cần thiết và tập trung vào việc học biểu diễn ngôn ngữ sâu hơn từ một lượng dữ liệu khổng lồ, PhoBERT đã tạo ra một mô hình vừa mạnh mẽ về mặt lý thuyết, vừa hiệu quả trong thực tiễn cho các bài toán NLP tiếng Việt. Cấu trúc này là nền tảng cho phép PhoBERT hiểu sâu sắc ngữ cảnh và ngữ nghĩa, yếu tố quyết định đến thành công trong việc phân loại bình luận tiếng Việt.

3.1. Nền tảng kiến trúc Transformer và cơ chế Self Attention

Kiến trúc mô hình Transformer, được giới thiệu lần đầu trong bài báo "Attention Is All You Need", loại bỏ hoàn toàn các mạng nơ-ron hồi quy (RNN). Thay vào đó, nó dựa vào cơ chế tự chú ý (self-attention). Cơ chế này cho phép mỗi từ trong câu "nhìn" vào tất cả các từ khác để xác định mức độ quan trọng và mối liên hệ giữa chúng. Bằng cách này, mô hình có thể hiểu được rằng trong câu "Con mèo ngồi trên tấm thảm", từ "nó" trong câu tiếp theo có khả năng ám chỉ "con mèo" chứ không phải "tấm thảm". Kiến trúc này bao gồm hai phần chính là Encoder (bộ mã hóa) để tạo ra biểu diễn số của văn bản đầu vào và Decoder (bộ giải mã) để tạo ra văn bản đầu ra. BERT và các biến thể của nó, bao gồm PhoBERT, chủ yếu sử dụng phần Encoder của kiến trúc Transformer để tạo ra các word embedding phụ thuộc vào ngữ cảnh.

3.2. Cấu trúc PhoBERT Sự kế thừa và tối ưu từ mô hình RoBERTa

PhoBERT được xây dựng dựa trên RoBERTa, một phiên bản tối ưu hóa của mô hình BERT do Facebook AI phát triển. RoBERTa đã thực hiện một số thay đổi quan trọng so với BERT gốc. Theo tài liệu, RoBERTa "huấn luyện mô hình lâu hơn, với batch size lớn hơn và trên nhiều dữ liệu hơn". Một trong những thay đổi đáng chú ý nhất là loại bỏ nhiệm vụ Dự đoán câu tiếp theo (Next Sentence Prediction - NSP), vì nghiên cứu cho thấy nhiệm vụ này ít mang lại lợi ích cho các tác vụ xuôi dòng. PhoBERT kế thừa những cải tiến này, chỉ tập trung vào nhiệm vụ Mô hình ngôn ngữ che dấu (Masked Language Model - MLM) với phương pháp che dấu động (dynamic masking). Điều này cho phép mô hình học được các biểu diễn ngôn ngữ mạnh mẽ và linh hoạt hơn. Có hai phiên bản chính là PhoBERT-base (12 lớp Transformer) và PhoBERT-large (24 lớp Transformer), mang lại sự lựa chọn linh hoạt giữa hiệu suất và chi phí tính toán.

IV. Phương Pháp Huấn Luyện Phobert Bí Quyết Tạo Nên Hiệu Suất Vượt Trội

Hiệu suất ấn tượng của mô hình PhoBERT không chỉ đến từ kiến trúc tiên tiến mà còn phụ thuộc rất lớn vào quy trình huấn luyện và chất lượng dữ liệu. Quá trình này bao gồm hai giai đoạn chính: tiền xử lý dữ liệu và tiền huấn luyện trên một kho văn bản khổng lồ. Giai đoạn tiền xử lý là cực kỳ quan trọng đối với tiếng Việt, bao gồm việc sử dụng các công cụ chuyên dụng để phân tách từ một cách chính xác trước khi áp dụng thuật toán BPE (Byte-Pair Encoding) để tạo ra các token. Bước này đảm bảo rằng mô hình học được các đơn vị ngôn ngữ có ý nghĩa. Tiếp theo, mô hình được tiền huấn luyện trên một tập dữ liệu bình luận tiếng Việt và tin tức lên tới 20GB, lớn hơn đáng kể so với các mô hình trước đó. Sự kết hợp giữa quy trình tiền xử lý thông minh và nguồn dữ liệu dồi dào, chất lượng cao chính là bí quyết giúp PhoBERT tạo ra các biểu diễn word embedding sâu sắc, từ đó đạt được kết quả SOTA trong nhiều bài toán NLP tiếng Việt, bao gồm cả phân loại bình luận.

4.1. Quy trình tiền xử lý Word Segmentation và BPE Tokenization

Không giống các mô hình đa ngôn ngữ, PhoBERT áp dụng một quy trình tiền xử lý hai bước được tối ưu cho tiếng Việt. Đầu tiên, nó sử dụng RDRSegmenter từ thư viện VnCoreNLP để thực hiện phân tách từ (word segmentation). Bước này giúp xác định ranh giới của các từ có ý nghĩa (bao gồm cả từ đơn và từ ghép) trong câu, thay vì chỉ xem mỗi âm tiết là một đơn vị. Sau khi có các từ hoàn chỉnh, PhoBERT tiếp tục áp dụng tokenization tiếng Việt bằng thuật toán fastBPE. BPE giúp chia nhỏ các từ hiếm hoặc từ phức tạp thành các đơn vị con (subwords) phổ biến hơn. Ví dụ, từ "nghiên_cứu_viên" có thể được chia thành các subword như "nghiên_cứu" và "viên". Cách tiếp cận này vừa giúp giảm kích thước từ vựng, vừa cho phép mô hình xử lý các từ chưa từng gặp trong quá trình huấn luyện, giải quyết hiệu quả vấn đề từ ngoài từ vựng (Out-of-Vocabulary).

4.2. Dữ liệu tiền huấn luyện Sức mạnh từ 20GB văn bản tiếng Việt

Chất lượng và quy mô của dữ liệu tiền huấn luyện là yếu tố quyết định sức mạnh của một mô hình ngôn ngữ. PhoBERT được huấn luyện trên một kho văn bản tiếng Việt đồ sộ với tổng dung lượng khoảng 20GB. Nguồn dữ liệu này bao gồm khoảng 1GB từ Wikipedia tiếng Việt và 19GB từ một kho tin tức tiếng Việt đã được làm sạch và loại bỏ trùng lặp. Tài liệu gốc nhấn mạnh, "các mô hình ngôn ngữ được huấn luyện trước có thể được cải thiện đáng kể bằng cách sử dụng nhiều dữ liệu tiền huấn luyện hơn". Việc được tiếp xúc với một lượng lớn văn bản đa dạng về chủ đề và văn phong giúp PhoBERT học được các mẫu ngữ pháp, ngữ nghĩa và kiến thức nền tảng phong phú về tiếng Việt. Đây là lợi thế cạnh tranh cốt lõi so với các mô hình chỉ được huấn luyện trên Wikipedia, vốn có văn phong học thuật và quy mô nhỏ hơn nhiều.

V. Hướng Dẫn Fine tuning Phobert Phân Loại Bình Luận Thực Tế

Sức mạnh thực sự của một mô hình tiền huấn luyện như PhoBERT được thể hiện khi nó được áp dụng vào các bài toán cụ thể thông qua quá trình tinh chỉnh (fine-tuning). Fine-tuning PhoBERT cho phép chuyển giao toàn bộ kiến thức ngôn ngữ mà mô hình đã học được vào một tác vụ mới, chẳng hạn như phân loại bình luận tiếng Việt. Quá trình này hiệu quả hơn nhiều so với việc huấn luyện một mô hình từ đầu, đòi hỏi ít dữ liệu gán nhãn hơn và thời gian huấn luyện ngắn hơn. Bằng cách sử dụng các thư viện phổ biến như PyTorch và Hugging Face Transformers, các nhà phát triển có thể dễ dàng thêm một lớp phân loại vào cuối kiến trúc PhoBERT và huấn luyện nó trên tập dữ liệu bình luận tiếng Việt của riêng mình. Ứng dụng của phương pháp này vô cùng rộng rãi, từ việc tự động đánh giá sản phẩm dựa trên phản hồi của khách hàng, đến xây dựng hệ thống lọc bình luận spam hay theo dõi dư luận xã hội về một thương hiệu.

5.1. Các bước fine tuning PhoBERT với PyTorch và Hugging Face

Quá trình fine-tuning PhoBERT cho bài toán phân loại văn bản có thể được thực hiện một cách tương đối đơn giản nhờ hệ sinh thái mã nguồn mở mạnh mẽ. Bước đầu tiên là chuẩn bị một tập dữ liệu bình luận tiếng Việt đã được gán nhãn dữ liệu (ví dụ: 0 cho tiêu cực, 1 cho tích cực). Tiếp theo, sử dụng thư viện Hugging Face Transformers, ta có thể tải về mô hình PhoBERT đã được tiền huấn luyện. Dữ liệu văn bản sẽ được đưa qua tokenizer của PhoBERT để chuyển thành các ID đầu vào mà mô hình có thể hiểu. Sau đó, một lớp phân loại đơn giản (thường là một lớp linear) được thêm vào phía trên mô hình PhoBERT gốc. Toàn bộ kiến trúc này sau đó được huấn luyện trên tập dữ liệu đã gán nhãn bằng cách sử dụng framework PyTorch. Trong quá trình này, các trọng số của cả mô hình PhoBERT và lớp phân loại mới đều được cập nhật để tối ưu hóa cho tác vụ phân loại cảm xúc.

5.2. Ứng dụng thực tiễn Lọc bình luận spam và đánh giá sản phẩm

Mô hình PhoBERT sau khi được fine-tuning có thể được triển khai vào nhiều hệ thống thực tế. Một ứng dụng phổ biến là tự động hóa việc đánh giá sản phẩm trên các trang thương mại điện tử. Thay vì đọc hàng ngàn bình luận, hệ thống có thể tự động phân loại chúng thành tích cực, tiêu cực, giúp doanh nghiệp nhanh chóng nắm bắt phản hồi của khách hàng. Một ứng dụng quan trọng khác là lọc bình luận spam hoặc các bình luận chứa nội dung độc hại trên các diễn đàn và mạng xã hội. Bằng cách huấn luyện mô hình để nhận diện các đặc điểm của bình luận không mong muốn, hệ thống có thể tự động ẩn hoặc xóa chúng, cải thiện môi trường tương tác cho người dùng. Các doanh nghiệp cũng sử dụng kỹ thuật này để "lắng nghe mạng xã hội", theo dõi và phân tích các cuộc thảo luận liên quan đến thương hiệu của họ, từ đó đưa ra các chiến lược kinh doanh và truyền thông phù hợp.

VI. Tương Lai Của Phobert Và Xu Hướng Xử Lý Ngôn Ngữ Tự Nhiên

Sự thành công của PhoBERT không chỉ đánh dấu một cột mốc quan trọng cho NLP tiếng Việt mà còn mở ra một tương lai đầy hứa hẹn. Mô hình này đã chứng minh rằng các mô hình ngôn ngữ đơn ngữ, được huấn luyện cẩn thận trên dữ liệu lớn và chất lượng, có thể vượt qua cả những mô hình đa ngôn ngữ mạnh nhất cho các tác vụ chuyên biệt. Nhìn về tương lai, xu hướng phát triển sẽ tập trung vào việc tạo ra các phiên bản PhoBERT nhẹ hơn, hiệu quả hơn để triển khai trên các thiết bị có tài nguyên hạn chế. Đồng thời, việc mở rộng và cải thiện bộ dữ liệu tiền huấn luyện, bao gồm nhiều lĩnh vực và văn phong hơn, sẽ tiếp tục nâng cao hiệu suất của mô hình. PhoBERT và các mô hình tương tự sẽ là nền tảng cho sự phát triển của các ứng dụng học máy cho tiếng Việt ngày càng phức tạp và thông minh hơn, từ các hệ thống hỏi đáp có khả năng suy luận đến các trợ lý ảo thực sự hiểu và giao tiếp tự nhiên bằng tiếng Việt.

6.1. So sánh hiệu suất PhoBERT với các mô hình NLP khác

Hiệu suất của PhoBERT đã được kiểm chứng qua nhiều thực nghiệm. Tài liệu nghiên cứu gốc đã thực hiện so sánh chi tiết giữa PhoBERT và các mô hình hàng đầu khác, bao gồm cả XLM-R. Kết quả cho thấy PhoBERT đạt được trạng thái tốt nhất (SOTA - State-of-the-art) trên bốn tác vụ NLP tiếng Việt quan trọng: Gắn nhãn từ loại (POS Tagging), Phân tích cú pháp phụ thuộc (Dependency Parsing), Nhận dạng thực thể tên (NER) và Suy luận ngôn ngữ tự nhiên (NLI). Cụ thể, trong tác vụ NER, "PhoBERT-base cao hơn 2 điểm so với phương pháp SOTA trước đó". Sự vượt trội này khẳng định giá trị của việc xây dựng một mô hình chuyên biệt, có khả năng hiểu sâu sắc cấu trúc và đặc thù của tiếng Việt, thay vì dựa vào các phương pháp tổng quát hóa từ nhiều ngôn ngữ.

6.2. Triển vọng và hướng phát triển của học máy cho tiếng Việt

PhoBERT đã đặt một nền móng vững chắc, thúc đẩy cộng đồng học máy cho tiếng Việt tiến về phía trước. Trong tương lai, các hướng nghiên cứu có thể tập trung vào việc tối ưu hóa kiến trúc để giảm chi phí tính toán, cho phép ứng dụng NLP trên các thiết bị di động. Một hướng khác là phát triển các phiên bản PhoBERT chuyên ngành, được huấn luyện trên các tập dữ liệu đặc thù như y tế, pháp luật, tài chính để tăng cường độ chính xác trong các lĩnh vực này. Hơn nữa, việc kết hợp PhoBERT với các mô hình sinh (generative models) sẽ mở ra khả năng tạo ra các hệ thống có thể tóm tắt văn bản, viết báo hoặc sáng tác nội dung bằng tiếng Việt một cách tự động và mạch lạc. Sự phát triển này sẽ góp phần dân chủ hóa công nghệ AI, mang lại những công cụ mạnh mẽ cho các nhà phát triển và doanh nghiệp Việt Nam.

Nội dung chính

Giới thiệu dự án

Trong kỷ nguyên chuyển đổi số và bùng nổ mạng xã hội, dữ liệu văn bản do người dùng tạo ra trên các nền tảng số (Facebook, sàn thương mại điện tử, diễn đàn thảo luận) gia tăng theo cấp số nhân. Theo các thống kê trong ngành phân tích dữ liệu, hơn 80% dữ liệu doanh nghiệp tồn tại dưới dạng phi cấu trúc, trong đó bình luận và phản hồi của khách hàng chiếm tỷ trọng lớn nhất. Việc khai phá và hiểu được sắc thái cảm xúc (Sentiment Analysis / Opinion Mining) của người dùng mang tính sống còn đối với công tác quản trị thương hiệu, quan hệ khách hàng (CRM) và nghiên cứu thị trường.

Tuy nhiên, xử lý ngôn ngữ tự nhiên (NLP) cho tiếng Việt đối mặt với những rào cản đặc thù: ngôn ngữ đơn lập, từ ghép có thể bao gồm nhiều âm tiết phân tách bằng khoảng trắng, hiện tượng đa nghĩa phụ thuộc sâu vào ngữ cảnh, cùng sự thiếu hụt các tập ngữ liệu gán nhãn thủ công quy mô lớn. Các phương pháp biểu diễn từ truyền thống như Bag-of-Words (BoW), TF-IDF hoặc nhúng từ tĩnh (Static Word Embeddings) như Word2Vec, GloVe hay FastText không thể phản ánh chính xác ngữ nghĩa biến đổi của từ theo từng câu cụ thể.

Đồ án tốt nghiệp ngành Công nghệ thông tin tại Trường Đại học Quản lý và Công nghệ Hải Phòng với đề tài "Tìm hiểu mô hình ngôn ngữ PhoBERT cho bài toán phân loại quan điểm bình luận tiếng Việt" do sinh viên Nguyễn Thành Long thực hiện dưới sự hướng dẫn của ThS. Nguyễn Thị Xuân Hương đã tập trung giải quyết bài toán cốt lõi này thông qua kỹ thuật học chuyển giao (Transfer Learning) với mô hình ngôn ngữ ngữ cảnh PhoBERT.

flowchart LR
    A["Văn bản thô (Bình luận)"] --> B["Tiền xử lý & Tách từ (VnCoreNLP)"]
    B --> C["Phân đoạn Subword (fastBPE)"]
    C --> D["Mô hình PhoBERT Pre-trained"]
    D --> E["Tầng phân loại (Dense + Softmax)"]
    E --> F["Dự đoán nhãn (Positive / Negative)"]

Mục tiêu của dự án

1. Nghiên cứu cơ sở lý thuyết chuyên sâu: Phân tích cấu trúc mạng Transformer, cơ chế Self-Attention đa đầu (Multi-Head Self-Attention), phương pháp mô hình ngôn ngữ mặt nạ (Masked Language Model - MLM) và kiến trúc biểu diễn ngữ cảnh hai chiều (Bidirectional Representation) của BERT và RoBERTa.
2. Khảo sát và đánh giá mô hình PhoBERT: Khảo cứu quy trình tiền huấn luyện (Pre-training) của PhoBERT trên 20GB ngữ liệu văn bản tiếng Việt đơn ngữ, so sánh các kiến trúc PhoBERT-base (135M tham số) và PhoBERT-large (370M tham số).
3. Xây dựng Pipeline phân loại quan điểm: Thiết kế quy trình tiền xử lý chuẩn hóa văn bản tiếng Việt (kết hợp VnCoreNLP và fastBPE), xây dựng kiến trúc tinh chỉnh (Fine-tuning) tích hợp đầu ra của PhoBERT với tầng phân loại nhị phân.
4. Thực nghiệm và đánh giá định lượng: Huấn luyện và kiểm thử hệ thống trên tập dữ liệu đánh giá sắc thái bình luận thực tế (ngữ liệu AIVIVN Sentiment Benchmark), đối chuẩn hiệu năng với các phương pháp học sâu và mô hình đa ngôn ngữ hiện hành.

Phạm vi và kết quả kỳ vọng

• Phạm vi nghiên cứu: Tập trung vào bài toán phân loại quan điểm bình luận nhị phân gồm 2 lớp: Tích cực (Positive) và Tiêu cực (Negative) trên văn bản tiếng Việt.
• Kết quả kỳ vọng: Đạt độ chính xác (Accuracy) trên 90% và F1-Score trên 89% trên tập dữ liệu kiểm thử độc lập, giảm thiểu hiện tượng Overfitting khi huấn luyện trên tập dữ liệu có kích thước vừa và nhỏ.

---

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Trước khi kiến trúc BERT ra đời, các kỹ thuật biểu diễn từ trong NLP đã trải qua nhiều bước tiến hóa nhưng vẫn tồn tại những hạn chế cố hữu:

Phương pháp biểu diễn	Cơ chế hoạt động	Ưu điểm	Nhược điểm cốt tử
Word2Vec / FastText / GloVe	Nhúng từ tĩnh (Static Embedding) dựa trên phân phối đồng xuất hiện.	Tốc độ huấn luyện nhanh, chi phí tính toán thấp.	Biểu diễn từ cố định, không nhận biết được ngữ cảnh (từ "đồng" trong "đồng ý" và "đồng tiền" có cùng vector).
ELMo / BiLSTM	Nhúng ngữ cảnh dựa trên mạng nơ-ron hồi quy hai chiều.	Vector thay đổi theo ngữ cảnh câu.	Mô hình hóa tuần tự (Sequential) hạn chế tính toán song song, chỉ kết hợp ngữ cảnh trái-phải độc lập ở tầng cuối.
Multilingual BERT / XLM-R	Transformer hai chiều huấn luyện trên ngữ liệu đa ngôn ngữ.	Hiểu ngữ cảnh sâu, hỗ trợ dịch chuyển ngôn ngữ (Cross-lingual).	Tokenizer tách theo âm tiết (Syllable-level), không tối ưu cho cấu trúc từ ghép tiếng Việt; kích thước mô hình cồng kềnh (XLM-R Base: 250M tham số).
PhoBERT (Giải pháp đề xuất)	Transformer tối ưu hóa theo chuẩn RoBERTa trên 20GB văn bản tiếng Việt.	Tách từ cấp độ từ ghép (Word-level), nắm bắt trọn vẹn ngữ nghĩa tiếng Việt, tham số gọn (135M).	Đòi hỏi bước tiền xử lý tách từ bắt buộc trước khi đưa vào Tokenizer.

Thiết kế hệ thống và kiến trúc luồng dữ liệu

Kiến trúc hệ thống phân tích quan điểm bình luận gồm 4 thành phần chính được kết nối liên tục:

graph TD
    subgraph "1. Tiền xử lý & Tokenization"
        InputText["Bình luận người dùng"] --> CleanText["Chuẩn hóa ký tự & Teencode"]
        CleanText --> WordSeg["Tách từ tiếng Việt (VnCoreNLP)"]
        WordSeg --> BPE["Mã hóa Subword (fastBPE / Tokenizer)"]
    end

    subgraph "2. Biểu diễn ngôn ngữ (PhoBERT)"
        BPE --> InputEmbeddings["Token + Position + Segment Embeddings"]
        InputEmbeddings --> TransBlocks["12 Lớp Transformer Encoder (Multi-Head Self-Attention)"]
        TransBlocks --> CLSRep["Vector đặc trưng [CLS] (Hidden Size = 768)"]
    end

    subgraph "3. Phân loại quan điểm"
        CLSRep --> Dropout["Dropout Layer (p = 0.1)"]
        Dropout --> FC["Linear Classifier (768 -> 2)"]
        FC --> Softmax["Hàm kích hoạt Softmax"]
        Softmax --> Output["Xác suất: P(Positive), P(Negative)"]
    end

Chi tiết các thành phần công nghệ (Technology Stack)

• Ngôn ngữ lập trình: Python 3.8+
• Framework Deep Learning: PyTorch 1.9.0 / TensorFlow 2.6.0
• Thư viện mô hình cốt lõi: Hugging Face transformers (v4.11.3), fairseq (v0.10.2)
• Thư viện tách từ tiếng Việt: vncorenlp (v1.1.1 - Wrapper Python cho công cụ VnCoreNLP viết bằng Java)
• Thư viện mã hóa Byte-Pair Encoding: fastBPE
• Công cụ tính toán & Đánh giá: NumPy, Scikit-learn (v0.24.2), Pandas

Phương pháp luận (Methodology)

Dự án áp dụng phương pháp nghiên cứu thực nghiệm lặp kết hợp Fine-tuning mô hình ngôn ngữ đã tiền huấn luyện:

1. Chuẩn hóa dữ liệu: Thu thập tập dữ liệu bình luận từ cuộc thi phân tích sắc thái AIVIVN, làm sạch nhiễu HTML, loại bỏ ký tự rác và đưa văn bản về bảng mã Unicode UTF-8 chuẩn.
2. Word Segmentation (Tách từ): Tiếng Việt có hiện tượng từ ghép bao gồm nhiều âm tiết tạo nghĩa hoàn chỉnh (ví dụ: "học sinh", "sản phẩm"). Module RDRSegmenter trong VnCoreNLP thực hiện ghép các âm tiết tạo thành từ đơn vị bằng dấu gạch dưới (học_sinh, sản_phẩm).
3. Subword Segmentation: Áp dụng thuật toán BPE dựa trên bộ từ điển (Dictionary) và tập luật ghép (Merge codes) của PhoBERT để xử lý các từ hiếm (OOV - Out of Vocabulary).
4. Fine-tuning End-to-End: Cập nhật toàn bộ trọng số của PhoBERT cùng với các trọng số của tầng phân loại Linear thông qua thuật toán tối ưu AdamW và hàm mất mát hàm hợp Cross-Entropy Loss.

---

Triển khai thực nghiệm và kết quả

Quy trình triển khai mã nguồn

Quy trình cài đặt môi trường và cấu hình pipeline suy luận được chuẩn hóa qua các đoạn mã nguồn PyTorch dưới đây:

import torch
import torch.nn as nn
from transformers import AutoModel, AutoTokenizer
from vncorenlp import VnCoreNLP

# Khởi tạo công cụ phân đoạn từ tiếng Việt
rdrsegmenter = VnCoreNLP(
    "/content/vncorenlp/VnCoreNLP-1.1.1.jar",
    annotators="wseg",
    max_heap_size="-Xmx500m"
)

# Tải pre-trained Tokenizer và Model của PhoBERT-base
PRETRAINED_MODEL_NAME = "vinai/phobert-base"
tokenizer = AutoTokenizer.from_pretrained(PRETRAINED_MODEL_NAME, use_fast=False)
phobert_backbone = AutoModel.from_pretrained(PRETRAINED_MODEL_NAME)

class PhoBERTSentimentClassifier(nn.Module):
    def __init__(self, phobert_model, num_classes=2, dropout_rate=0.1):
        super(PhoBERTSentimentClassifier, self).__init__()
        self.phobert = phobert_model
        self.dropout = nn.Dropout(p=dropout_rate)
        self.classifier = nn.Linear(self.phobert.config.hidden_size, num_classes)

    def forward(self, input_ids, attention_mask):
        # Truy xuất biểu diễn ẩn từ PhoBERT
        outputs = self.phobert(input_ids=input_ids, attention_mask=attention_mask)
        
        # Lấy vector đại diện tại token đầu tiên [CLS]
        cls_output = outputs[0][:, 0, :]
        
        # Áp dụng Dropout và Linear Layer
        dropped = self.dropout(cls_output)
        logits = self.classifier(dropped)
        return logits

def preprocess_vietnamese_text(text: str) -> str:
    """Tách từ tiếng Việt trước khi đưa vào Tokenizer của PhoBERT"""
    sentences = rdrsegmenter.tokenize(text)
    tokenized_text = " ".join([" ".join(sent) for sent in sentences])
    return tokenized_text

Cấu hình siêu tham số huấn luyện (Hyperparameters)

Mô hình được huấn luyện trên môi trường phần cứng GPU NVIDIA Tesla T4 (16GB VRAM) với các tham số tối ưu:

• Tối ưu hóa (Optimizer): AdamW (Learning Rate $\eta = 1\times 10^{-5}$, $\beta_1 = 0.9$, $\beta_2 = 0.999$, Weight Decay = $0.01$)
• Kích thước Batch (Batch Size): 32
• Độ dài chuỗi tối đa (Max Sequence Length): 256 tokens
• Số kỷ nguyên huấn luyện (Epochs): 30 epochs (áp dụng cơ chế Early Stopping với Patience = 5)
• Phân chia dữ liệu: 90% tập huấn luyện (Train Set) và 10% tập kiểm định (Validation/Test Set)
• Hàm mất mát: Categorical Cross-Entropy Loss

# Cấu hình huấn luyện mô hình
optimizer = torch.optim.AdamW(model.parameters(), lr=1e-5, eps=1e-8, weight_decay=0.01)
criterion = nn.CrossEntropyLoss()
total_epochs = 30

Kết quả thử nghiệm và đánh giá đối chuẩn

Mô hình PhoBERT được kiểm nghiệm qua hai nhóm dữ liệu: đánh giá hiệu năng tổng thể trên các tác vụ downstream NLP tiêu chuẩn và đánh giá trực tiếp trên bài toán phân loại quan điểm bình luận.

1. Đánh giá đối chuẩn trên các tác vụ NLP tiếng Việt tiêu chuẩn (Benchmark Results)

Tác vụ NLP	Bộ dữ liệu chuẩn	Mô hình Baseline tốt nhất trước đó	PhoBERT-base	PhoBERT-large	Cải thiện tuyệt đối
Gán nhãn từ loại (POS)	VLSP 2013	96.00% (VnCoreNLP-POS)	96.80%	96.75%	+0.80%
Phân tích cú pháp (Dep. Parsing)	VnDT v1.1	75.00% LAS / 81.20% UAS (Biaffine)	78.80% LAS / 85.20% UAS	79.20% LAS / 85.50% UAS	+4.20% LAS
Nhận dạng thực thể (NER)	VLSP 2016	89.60 F1 (BiLSTM-CNN-CRF + ETNLP)	91.60 F1	92.70 F1	+3.10 F1
Suy luận ngôn ngữ (NLI)	XNLI Vietnamese	74.00% Acc (XLM-R-base: 250M params)	76.20% Acc	78.50% Acc	+4.50% Acc

2. Kết quả trên bài toán phân loại bình luận tiếng Việt (AIVIVN Dataset)

Sau 30 kỷ nguyên huấn luyện, mô hình đạt các chỉ số thực nghiệm vượt trội so với các kiến trúc học máy truyền thống và mạng nơ-ron cơ bản:

Mô hình thử nghiệm	Accuracy (%)	Precision (%)	Recall (%)	F1-Score (%)
SVM + TF-IDF (N-gram)	82.35	81.20	80.50	80.85
TextCNN	84.60	83.40	84.10	83.75
BiLSTM + Attention	86.15	85.00	85.80	85.40
Multilingual BERT (mBERT)	87.90	87.20	86.90	87.05
PhoBERT-base (Đồ án đề xuất)	90.45	89.90	90.10	90.00

---

Đổi mới và đóng góp kỹ thuật

1. Khắc phục triệt để nhược điểm Tokenization tiếng Việt: Khác với mô hình đa ngôn ngữ XLM-R áp dụng BPE trực tiếp trên chuỗi âm tiết thô, đồ án tích hợp thành công giải pháp tách từ cấp độ hình vị (RDRSegmenter) trước khi mã hóa Subword. Điều này giúp mô hình nhận diện chính xác các thực thể từ vựng đa âm tiết mà không làm vỡ cấu trúc ngữ nghĩa tiếng Việt.
2. Tối ưu hóa hiệu năng tính toán trên mô hình đơn ngữ: Chứng minh rằng mô hình ngôn ngữ đơn ngữ chuyên biệt (PhoBERT-base với 135M tham số) đạt độ chính xác cao hơn 2.2% so với mô hình đa ngôn ngữ khổng lồ (XLM-R-base với 250M tham số), đồng thời tiết kiệm 46% bộ nhớ đồ họa khi triển khai phục vụ suy luận.
3. Quy trình Fine-tuning chuẩn hóa cho dữ liệu Social Media: Xây dựng thành công quy trình xử lý nhiễu đặc trưng của văn bản bình luận mạng xã hội (từ viết tắt, teencode, thiếu dấu), giúp mô hình thích nghi tốt với ngôn ngữ đời sống thực tế.

---

Ứng dụng thực tế và triển khai hệ thống

Hệ thống phân tích quan điểm bình luận ứng dụng mô hình PhoBERT được thiết kế để tích hợp trực tiếp vào các hệ thống phần mềm doanh nghiệp:

flowchart TD
    Social["Nguồn dữ liệu: Facebook, Sàn TMĐT, Forum"] --> Ingestion["Hệ thống Social Listening (Data Scraper / Webhook)"]
    Ingestion --> API["FastAPI Inference Gateway"]
    API --> TorchEngine["PhoBERT Inference Engine (ONNX / TensorRT)"]
    TorchEngine --> Dashboard["Bảng điều khiển Quản trị Thương hiệu (Alert / Analytics)"]
    TorchEngine --> CRM["Hệ thống CRM / Chăm sóc khách hàng tự động"]

Các kịch bản ứng dụng tiêu biểu

1. Quản trị khủng hoảng truyền thông (Social Media Listening): Tự động quét và phát hiện các bài đăng, bình luận có sắc thái tiêu cực đột biến về sản phẩm/doanh nghiệp trên các mạng xã hội theo thời gian thực (như bài học thực tế từ khủng hoảng thương hiệu của các tập đoàn lớn), cảnh báo ngay lập tức cho đội ngũ PR.
2. Hệ thống định tuyến hỗ trợ khách hàng (Auto CRM Ticket Routing): Phân loại phản hồi của khách hàng gửi về trung tâm dịch vụ; các khiếu nại tiêu cực gay gắt được tự động gắn cờ ưu tiên giải quyết trong vòng 5 phút.
3. Phân tích đánh giá sản phẩm thương mại điện tử: Tự động tổng hợp hàng chục nghìn lượt đánh giá trên các sàn Shopee, Tiki, Lazada để xuất báo cáo phân tích ưu/nhược điểm sản phẩm cho bộ phận R&D.

Phân tích hiệu quả kinh tế (ROI)

• Tiết kiệm chi phí: Thay thế 75% khối lượng công việc kiểm duyệt và phân loại bình luận thủ công của đội ngũ nhân sự vận hành.
• Thời gian đáp ứng: Tốc độ suy luận đạt trung bình 35ms/bình luận trên GPU T4 và 120ms/bình luận trên CPU đa nhân (sau khi tối ưu hóa ONNX Runtime), đáp ứng khả năng xử lý hàng triệu bình luận mỗi ngày.

---

Hạn chế và hướng phát triển

Hạn chế kỹ thuật hiện tại

• Phụ thuộc vào công cụ tách từ ban đầu: Nếu module tách từ (VnCoreNLP) phân đoạn sai từ ghép trong các ngữ cảnh câu quá phức tạp hoặc có nhiều từ mới/tiếng lóng chưa được cập nhật, mô hình BERT phía sau sẽ nhận đầu vào không chuẩn xác.
• Độ phức tạp tính toán: Kiến trúc Transformer đòi hỏi tài nguyên tính toán phần cứng cao (yêu cầu GPU để đạt tốc độ xử lý tối ưu), gây khó khăn khi triển khai trên các thiết bị biên (Edge Devices) hoặc server cấu hình thấp.
• Hiện tượng mỉa mai (Sarcasm/Irony): Khả năng nhận diện các câu mang tính châm biếm sâu cay (khen bề ngoài nhưng mang hàm ý chỉ trích) vẫn còn hạn chế do đặc tính ngôn ngữ phức tạp.

Hướng phát triển trong tương lai

1. Nén mô hình (Model Compression): Ứng dụng kỹ thuật chưng cất tri thức (Knowledge Distillation) để huấn luyện phiên bản DistilPhoBERT hoặc lượng tử hóa trọng số (INT8 Quantization) nhằm giảm 50% kích thước mô hình và tăng gấp đôi tốc độ suy luận trên CPU.
2. Phân tích quan điểm dựa trên khía cạnh (Aspect-Based Sentiment Analysis - ABSA): Mở rộng bài toán để không chỉ phân loại chung toàn câu mà còn bóc tách chi tiết từng khía cạnh cụ thể (ví dụ: bình luận "Đồ ăn ngon nhưng phục vụ quá chậm" sẽ nhận diện: Món ăn = Tích cực, Dịch vụ = Tiêu cực).
3. Mở rộng ngữ liệu Teencode: Xây dựng module tự động chuẩn hóa teencode và ngôn ngữ gen Z tiếng Việt trước khi đưa vào pipeline tách từ.

---

Đối tượng hưởng lợi từ dự án

mindmap
  root((Đối tượng hưởng lợi))
    Sinh viên & Giảng viên
      Tài liệu tham khảo chuyên sâu về BERT tiếng Việt
      Bộ mã nguồn chuẩn cho các bài tập lớn, đồ án NLP
    Kỹ sư AI & Developers
      Pipeline tiền xử lý chuẩn hóa tiếng Việt
      Code template Fine-tuning tối ưu bằng PyTorch
    Doanh nghiệp & Marketers
      Công cụ lắng nghe mạng xã hội tự động
      Giảm thiểu rủi ro khủng hoảng truyền thông
    Cộng đồng nghiên cứu NLP
      Bộ số liệu benchmark đối chuẩn rõ ràng
      Thực nghiệm so sánh giữa mô hình đơn ngữ và đa ngữ

---

Câu hỏi thường gặp

1. Yêu cầu phần cứng tối thiểu để triển khai và chạy mô hình là gì?

• Môi trường huấn luyện: Khuyến nghị sử dụng GPU có VRAM tối thiểu 8GB (như NVIDIA GTX 1080Ti, RTX 2060, T4).
• Môi trường suy luận (Production): Có thể triển khai trên CPU từ 4 Cores, 8GB RAM với thông lượng đạt khoảng 15-25 requests/giây; hoặc GPU T4 để đạt thông lượng trên 150 requests/giây.

2. Tại sao PhoBERT lại vượt trội hơn mBERT và XLM-R trong tiếng Việt?

PhoBERT được huấn luyện chuyên biệt trên 20GB văn bản tiếng Việt đơn ngữ và sử dụng phương pháp tách từ ghép (word-level tokenization) trước khi mã hóa BPE. Ngược lại, mBERT và XLM-R phải chia sẻ không gian từ vựng cho hơn 100 ngôn ngữ và tách từ theo cấp độ âm tiết, làm phân mảnh ngữ nghĩa đặc trưng của tiếng Việt.

3. Hệ thống xử lý các từ viết tắt và tiếng lóng mạng xã hội như thế nào?

Dự án tích hợp một bước tiền xử lý chuẩn hóa ký tự trước khi tách từ, kết hợp với cơ chế Subword của BPE giúp phân rã các từ lạ thành các chuỗi con phổ biến để nắm bắt một phần ngữ nghĩa thay vì gán nhãn [UNK] (Unknown).

4. Chi phí vận hành hệ thống phân tích bình luận tự động là bao nhiêu?

Nếu triển khai trên các dịch vụ đám mây (Cloud) như AWS, GCP hoặc hạ tầng Server riêng, một Server tầm trung (chi phí khoảng 1 - 2 triệu VNĐ/tháng) có thể xử lý mượt mà 500.000 đến 1.000.000 bình luận/tháng.

5. Làm thế nào để tích hợp mô hình này vào website hoặc app di động hiện có?

Mô hình có thể được đóng gói thành RESTful API hoặc gRPC Service thông qua framework FastAPI hoặc Triton Inference Server. Ứng dụng Web/App chỉ cần gửi chuỗi bình luận qua HTTP POST request và nhận về kết quả JSON chứa nhãn phân loại cùng độ tin cậy.

---

Kết luận

Đồ án tốt nghiệp "Tìm hiểu mô hình ngôn ngữ PhoBERT cho bài toán phân loại quan điểm bình luận tiếng Việt" đã hoàn thành toàn diện các mục tiêu nghiên cứu và thực nghiệm đề ra. Dự án không chỉ hệ thống hóa nền tảng lý thuyết vững chắc về kiến trúc Transformer và học chuyển giao trong xử lý ngôn ngữ tự nhiên, mà còn hiện thực hóa thành công một giải pháp kỹ thuật có tính ứng dụng thực tiễn cao cho thị trường công nghệ thông tin tại Việt Nam.

Với độ chính xác đạt trên 90.45% trên tập dữ liệu kiểm thử thực tế và tốc độ xử lý nhanh, mô hình chứng minh sự vượt trội rõ rệt của phương pháp nhúng ngữ cảnh đơn ngữ so với các giải pháp truyền thống. Kết quả của đồ án mở ra tiền đề quan trọng cho việc ứng dụng rộng rãi các mô hình ngôn ngữ lớn (LLMs) chuyên biệt vào hệ thống lắng nghe mạng xã hội, chăm sóc khách hàng tự động và quản trị danh tiếng số cho doanh nghiệp trong tương lai.

Trích đoạn nội dung tài liệu

CHƯƠNG 1. MÔ HÌNH BERT 1. Khái niệm BERT ( Bidirectional Encoder Representations from Transformers ) là một mô hình ngôn ngữ ( Language Model ) được tạo ra bởi Google AI và được giới thiệu vào năm 2008. BERT được coi như là đột phá lớn trong Machine Learning bởi vì khả năng ứng dụng của nó vào nhiều bài toán NLP ( Natural Language Processing ) khác nhau: Question Answering, Natural Language Inference,.

với kết quả rất tốt. Các nhà nghiên cứu làm việc tại Google AI tái khẳng định, sự thiếu hụt dữ liệu huấn luyện là một trong những thách thức lớn nhất trong lĩnh vực xử lý ngôn ngữ tự nhiên. Đây là một lĩnh vực rộng lớn và đa dạng với nhiều nhiệm vụ riêng biệt, hầu hết các tập dữ liệu đều chỉ đặc thù cho từng nhiệm vụ. Để thực hiện được tốt những nhiệm vụ này ta cần những bộ dữ liệu lớn chứa hàng triệu thậm chí hàng tỷ ví dụ mẫu.

Tuy nhiên, trong thực tế hầu hết các tập dữ liệu hiện giờ chỉ chứa vài nghìn hoặc vài trăm nghìn mẫu được đánh nhãn bằng tay bởi con người ( các chuyên gia ngôn ngữ học ). Sự thiếu hụt dữ liệu có nhãn chất lượng cao để huấn luyện mô hình gây cản trở lớn cho sự phát triển của NLP nói chung. Để giải quyết thách thức này, các mô hình xử lý ngôn ngữ tự nhiên sử dụng một cơ chế tiền xử lý dữ liệu huấn luyện bằng việc transfer từ một mô hình chung được huấn luyện 6f87e 1b11a 932da b860 f81 b6 f9bdc3 2eca c777 6e0cf7 b60da 52f6cf66 b5ff294 1e747 e từ một lượng lớn các dữ liệu không được gán nhãn. Ví dụ một số mô hình đã được nghiên e1b11a9 32da b860 f81 b6f9bdc32 ecac7776 e0cf7b60da5 2f6 cf66b5ff2941e 747e 6f8 7 932dab860 f81b6f9 bdc32e cac7776e 0cf7b6 0da5 2f6 cf66b5ff2 941e 747e6 f87e 1b1 1a cứu trước đây để thực hiện nhiệm vụ này như Word2vec, Glove hay FastText.

860f8 1b6 f9bdc32eca c77 76e0 cf7 b60 da52 f6cf66 b5ff29 41e74 7e6f87e1 b11a9 32da b f81b6f9 bdc32e cac7 776e0 cf7b6 0da52 f6 cf6 6b5ff2 941e7 47e6 f87e 1b11a 932da b86 0 6f9bdc3 2eca c77 76e0 cf7 b60 da52 f6cf66 b5ff294 1e74 7e6f87e1 b11a9 32dab860 f81 b Việc nghiên cứu các mô hình này sẽ giúp thu hẹp khoảng cách giữa các tập dữ liệu dc32e cac7776 e0cf7b60da5 2f6 cf66b5ff2941e 747e 6f87 e1b1 1a932 dab8 60f81b6 f9 b 32eca c7776 e0cf7 b60da 52f6cf66b5ff2941 e747e 6f8 7e1b11a932 dab8 60f81b6 f9 bdc chuyên biệt cho huấn luyện bằng việc xây dựng mô hình tìm ra đại diện chung của ngôn c7776 e0cf7b60da 52f6 cf66b5ff2941 e747e 6f8 7e1b11a932 dab8 60f81b6 f9 bdc32e ca e0cf7b60 da52 f6 cf6 6b5ff2 941e7 47e6 f87e 1b11a 932da b860 f81 b6 f9bdc3 2eca c777 6 ngữ sử dụng một số lượng lớn các văn bản chưa được gán nhãn lấy từ các trang web. fc3a3 f93a 08582 6d66a 60f835 d2406 ea15 f7e7 b88cbf5e9cb78 cc9e16 d1072 e24 c3ee4 7d0800 c6a8 0136 f54 da448 1c2 b397 7f6 f33 e0be 8a4b3 d678 cc5b77 828 cc3 7ae38 f66a4 Các mô hình được huấn luyện trước khi được tinh chỉnh lại trên các nhiệm vụ khác 9c84a7 1dc1cb825a 4f1 d7c732fb9a4 e5765 f83 10c1984 f96 1e06 cf3 fc71f185b5ad74 b fac7b7b2 0dfcfdcdf1 cf4 2b2 fc6 b5a c1e9 c4a51ae fef5b7 de7f4b3 cc9e5d780d33d5 94 nhau với các bộ dữ liệu nhỏ như Question Answering, Sentiment Analysis,.sẽ dẫn đến sự 9e3f2 1bf4656 147e4 1c5 63d1 76a97 9e946 6be8 9c63 c0e 2907 0df0e654 8e28 c32 c6 f8f7 7ea8e433 c9 f051 8c9 06b9a 684d9d02 5cb598 854db148 3a8024 9bc348 7e1be 4646 2d7a b f21d145b5b08 b8e1 f8 c76 f42 b4ce 759fb93 c48 e7f8a41e7 8571e 64a2 f48b0e5 c8d4 bb8 cải thiện đáng kể về độ chính xác cho so với các mô hình được huấn luyện trước với các df3 fa34df8 f2c9de ba5dcb1e e30bc7d67cb1d4163 72d9 47cdab0 1c5 76b2 b2efb3 c49a2 08d258 539 bc6 96d5a 3b1a4 c49 7180 bae30 dc4 4793a3 dc5d19 4ad09 3cb5c3f9 9f2 02398 bộ dữ liệu này. 30ff2d29 b07 f39 d69e d7d2 e358bfca d25b40c5434 0e68a b4ee2 b76e0 b2a8 65300 be6e 0 95f4 fcb5fd1f4 934 f29e7 ee6d7cfa 31ddc0 5b49 f94 3c1 e22 f3b5 c0e4a d46 2e7c96fc5b Tuy nhiên, các mô hình kể trên có những yếu điểm riêng của nó, đặc biệt là không thể 3f9 f11 c9f0 8a6db91a1 7118e 3de6 3e7a02 f9 c1d19137 7d0a7a 34d40ff5b8 453 f6f4e0e 59e15a9 f853 8397 40b3 e9ac33e6fc51 7d8 b739 3a5076 c67 d16e 7cc03df1 b1f0b9 fc0 46 hiện được sự đại diện theo ngữ cảnh cụ thể của từ trong từng lĩnh vực hay văn cảnh cụ thể. 3a67e368 0a4d3d50 cf8d5 f476 8201 e328 cbbba50 c741 ebd4f6 b2e1 0316e d218 e1d2 918 0d4204 90efb3ab05fb73 c76 f04 f402 4609 30bbbd8c70 8725 e74dc8 cf9a 5b23 c6 ce52 6d 5a2ffad28c03f5ddc8 b5b1 9f6 5a9a4 f8ff22e 5e28b515a6 e2baff25 e0185 e7457 d94 b3 6e74e1a5 eb8e 6a6629 e94dc3 b8533 4599 8a334 c325 5d17 f25 1a9f0fc09d15d4 76fc381 14dd4 024 c2f27f32d2 1896e 863 d2798 93b4 5fb87d4d3 b709a d32bf1 f855 3822 14eb1 0a 4a2b893 e6f264e6 3adfe30c144aa d9ad6 d154a 23f6b2 be48 d55b74c3677 f31a2 6752 77 9 Tiếp nối sự thành công nhất định của các mô hình trước đó, Google đã công bố thêm 1 kỹ thuật mới được gọi là Bidirectional Encoder Representations from Transformers ( BERT ).

Tại sao lại cần BERT Một trong những thách thức lớn nhất của NLP là vấn đề dữ liệu. Trên internet có hàng tá dữ liệu, nhưng những dữ liệu đó không đồng nhất; mỗi phần của nó chỉ được dùng cho một mục đích riêng biệt, do đó khi giải quyết một bài toán cụ thể, ta cần trích ra một bộ dữ liệu thích hợp cho bài toán của mình, và kết quả là ta chỉ có một lượng rất ít dữ liệu. Ví dụ : Trong OpenAI GPT, các tác giả sử dụng đã kiến trúc left-to-right, nghĩa là các từ chỉ phụ thuộc vào các từ ở trước đó. Nhưng có một nghịch lý là các mô hình Deep Learning cần lượng dữ liệu rất lớn - lên tới hàng triệu - để có thể cho ra kết quả tốt.

Do đó một vấn đề được đặt ra: làm thế nào để tận dụng được nguồn dữ liệu vô cùng lớn có sẵn để giải quyết bài toán của mình. Đó là tiền đề cho một kỹ thuật mới ra đời: Transfer Learning. Với Transfer Learning, các mô hình (model) "chung" nhất với tập dữ liệu khổng lồ trên internet ( pre-training ) được xây dựng và có thể được "tinh chỉnh" ( fine-tune ) cho các bài toán cụ thể. Nhờ có kỹ thuật này mà kết quả cho các bài toán được cải thiện rõ rệt, không chỉ trong 6f87e 1b11a 932da b860 f81 b6 f9bdc3 2eca c777 6e0cf7 b60da 52f6cf66 b5ff294 1e747 e xử lý ngôn ngữ tự nhiên mà còn trong các lĩnh vực khác như Computer Vision,.

BERT là e1b11a9 32da b860 f81 b6f9bdc32 ecac7776 e0cf7b60da5 2f6 cf66b5ff2941e 747e 6f8 7 932dab860 f81b6f9 bdc32e cac7776e 0cf7b6 0da5 2f6 cf66b5ff2 941e 747e6 f87e 1b1 1a một trong những đại diện ưu tú nhất trong Transfer Learning cho xử lý ngôn ngữ tự nhiên, 860f8 1b6 f9bdc32eca c77 76e0 cf7 b60 da52 f6cf66 b5ff29 41e74 7e6f87e1 b11a9 32da b f81b6f9 bdc32e cac7 776e0 cf7b6 0da52 f6 cf6 6b5ff2 941e7 47e6 f87e 1b11a 932da b86 0 6f9bdc3 2eca c77 76e0 cf7 b60 da52 f6cf66 b5ff294 1e74 7e6f87e1 b11a9 32dab860 f81 b nó gây tiếng vang lớn không chỉ bởi kết quả mang lại trong nhiều bài toán khác nhau, mà dc32e cac7776 e0cf7b60da5 2f6 cf66b5ff2941e 747e 6f87 e1b1 1a932 dab8 60f81b6 f9 b còn bởi vì nó hoàn toàn miễn phí, tất cả chúng ta đều có thể sử dụng BERT cho bài toán 32eca c7776 e0cf7 b60da 52f6cf66b5ff2941 e747e 6f8 7e1b11a932 dab8 60f81b6 f9 bdc c7776 e0cf7b60da 52f6 cf66b5ff2941 e747e 6f8 7e1b11a932 dab8 60f81b6 f9 bdc32e ca e0cf7b60 da52 f6 cf6 6b5ff2 941e7 47e6 f87e 1b11a 932da b860 f81 b6 f9bdc3 2eca c777 6 của mình. fc3a3 f93a 08582 6d66a 60f835 d2406 ea15 f7e7 b88cbf5e9cb78 cc9e16 d1072 e24 c3ee4 7d0800 c6a8 0136 f54 da448 1c2 b397 7f6 f33 e0be 8a4b3 d678 cc5b77 828 cc3 7ae38 f66a4 9c84a7 1dc1cb825a 4f1 d7c732fb9a4 e5765 f83 10c1984 f96 1e06 cf3 fc71f185b5ad74 b 1. Một số khái niệm fac7b7b2 0dfcfdcdf1 cf4 2b2 fc6 b5a c1e9 c4a51ae fef5b7 de7f4b3 cc9e5d780d33d5 94 9e3f2 1bf4656 147e4 1c5 63d1 76a97 9e946 6be8 9c63 c0e 2907 0df0e654 8e28 c32 c6 f8f7 7ea8e433 c9 f051 8c9 06b9a 684d9d02 5cb598 854db148 3a8024 9bc348 7e1be 4646 2d7a b 1. Nhiệm vụ phía sau (Downstream task) f21d145b5b08 b8e1 f8 c76 f42 b4ce 759fb93 c48 e7f8a41e7 8571e 64a2 f48b0e5 c8d4 bb8 df3 fa34df8 f2c9de ba5dcb1e e30bc7d67cb1d4163 72d9 47cdab0 1c5 76b2 b2efb3 c49a2 08d258 539 bc6 96d5a 3b1a4 c49 7180 bae30 dc4 4793a3 dc5d19 4ad09 3cb5c3f9 9f2 02398 Là những nhiệm vụ học hỏi được giám sát được cải thiện dựa trên những mô hình được 30ff2d29 b07 f39 d69e d7d2 e358bfca d25b40c5434 0e68a b4ee2 b76e0 b2a8 65300 be6e 0 95f4 fcb5fd1f4 934 f29e7 ee6d7cfa 31ddc0 5b49 f94 3c1 e22 f3b5 c0e4a d46 2e7c96fc5b huấn luyện trước.

3f9 f11 c9f0 8a6db91a1 7118e 3de6 3e7a02 f9 c1d19137 7d0a7a 34d40ff5b8 453 f6f4e0e 59e15a9 f853 8397 40b3 e9ac33e6fc51 7d8 b739 3a5076 c67 d16e 7cc03df1 b1f0b9 fc0 46 3a67e368 0a4d3d50 cf8d5 f476 8201 e328 cbbba50 c741 ebd4f6 b2e1 0316e d218 e1d2 918 Ví dụ: Chúng ta sử dụng lại các biểu diễn từ học được từ những mô hình được huấn 0d4204 90efb3ab05fb73 c76 f04 f402 4609 30bbbd8c70 8725 e74dc8 cf9a 5b23 c6 ce52 6d 5a2ffad28c03f5ddc8 b5b1 9f6 5a9a4 f8ff22e 5e28b515a6 e2baff25 e0185 e7457 d94 b3 luyện trước trên bộ văn bản lớn vào một nhiệm vụ phân tích cảm xúc huấn luyện trên bộ 6e74e1a5 eb8e 6a6629 e94dc3 b8533 4599 8a334 c325 5d17 f25 1a9f0fc09d15d4 76fc381 14dd4 024 c2f27f32d2 1896e 863 d2798 93b4 5fb87d4d3 b709a d32bf1 f855 3822 14eb1 0a văn bản có kích thước nhỏ hơn. Áp dụng nhúng huấn luyện trước ( pretrain-embedding ) 4a2b893 e6f264e6 3adfe30c144aa d9ad6 d154a 23f6b2 be48 d55b74c3677 f31a2 6752 77 10 đã giúp cải thiện mô hình. Như vậy nhiệm vụ sử dụng nhúng huấn luyện trước được gọi là nhiệm vụ sau. Điểm khái quát đánh giá mức độ hiểu ngôn ngữ (GLUE score benchmark) GLUE score benchmark là một tập hợp các chỉ số được xây dựng để đánh giá khái quát mức độ hiểu ngôn ngữ của các mô hình NLP.

Các đánh giá được thực hiện trên các bộ dữ liệu tiêu chuẩn được qui định tại các convention về phát triển và thúc đẩy NLP. Mỗi bộ dữ liệu tương ứng với một loại tác NLP vụ như: • Phân tích tình cảm (Sentiment Analysis) • Hỏi đáp (Question and Answering) • Suy luận ngôn ngữ tự nhiên (NLI - Natural Languague Inference) • Dự báo câu tiếp theo (NSP - Next Sentence Prediction) • Nhận diện thực thể trong câu (NER - Name Entity Recognition) 1. Phân tích cảm xúc (Sentiment Analysis) Phân loại cảm xúc văn bản thành 2 nhãn tích cực (positive) và tiêu cực (negative). Thường được sử dụng trong các hệ thống đánh giá bình luận của người dùng.

Hỏi đáp (Question and Answering) 6f87e 1b11a 932da b860 f81 b6 f9bdc3 2eca c777 6e0cf7 b60da 52f6cf66 b5ff294 1e747 e e1b11a9 32da b860 f81 b6f9bdc32 ecac7776 e0cf7b60da5 2f6 cf66b5ff2941e 747e 6f8 7 Là thuật toán hỏi và đáp. Đầu vào là một cặp câu (pair sequence) bao gồm: câu hỏi 932dab860 f81b6f9 bdc32e cac7776e 0cf7b6 0da5 2f6 cf66b5ff2 941e 747e6 f87e 1b1 1a 860f8 1b6 f9bdc32eca c77 76e0 cf7 b60 da52 f6cf66 b5ff29 41e74 7e6f87e1 b11a9 32da b (question) có chức năng hỏi và đoạn văn bản (paragraph) chứa thông tin trả lời cho câu hỏi.