Bối cảnh và vấn đề nghiên cứu

Sự bùng nổ của mạng Internet, các nền tảng mạng xã hội, diễn đàn trực tuyến và các website thương mại điện tử đã tạo ra khối lượng dữ liệu văn bản khổng lồ mỗi ngày. Nhu cầu giao tiếp, chia sẻ quan điểm và đánh giá về sản phẩm, dịch vụ của người dùng ngày càng gia tăng. Đối với các tổ chức và doanh nghiệp, việc nắm bắt và thấu hiểu phản hồi từ khách hàng—xác định xem các đánh giá là khen hay chê, mang tính tích cực hay tiêu cực—đóng vai trò quan trọng trong việc quản trị thương hiệu, nâng cao chất lượng dịch vụ và hỗ trợ ra quyết định kinh doanh.

Để giải quyết bài toán này trên quy mô lớn, việc ứng dụng các kỹ thuật xử lý ngôn ngữ tự nhiên (NLP) là hướng tiếp cận tất yếu. Một trong những thách thức cốt lõi của NLP là phương pháp biểu diễn ngôn ngữ nhằm trích xuất các đặc trưng ngữ nghĩa hữu ích. Sự ra đời của mô hình ngôn ngữ BERT (Google AI) và tiếp sau đó là PhoBERT (mô hình BERT tiền huấn luyện dành riêng cho tiếng Việt) đã mang lại những bước tiến lớn về độ chính xác cho nhiều tác vụ xử lý văn bản tiếng Việt. Trên cơ sở đó, đề tài tốt nghiệp "Tìm hiểu mô hình ngôn ngữ PhoBert cho bài toán phân loại quan điểm bình luận Tiếng Việt" được thực hiện.

Mục tiêu và nhiệm vụ nghiên cứu của đồ án bao gồm ba nội dung chính:

  1. Tìm hiểu về kiến trúc và nguyên lý hoạt động của mô hình ngôn ngữ tiền huấn luyện PhoBERT.
  2. Tìm hiểu về bài toán phân tích quan điểm người dùng (Sentiment Analysis) và ứng dụng mô hình để phân loại quan điểm bình luận tiếng Việt.
  3. Tìm hiểu và sử dụng ngôn ngữ lập trình Python cùng các thư viện chuyên dụng phục vụ việc cài đặt, thực nghiệm bài toán.

Đối tượng nghiên cứu của đồ án là mô hình học sâu BERT, biến thể RoBERTa, mô hình ngôn ngữ đơn ngữ PhoBERT và bài toán phân loại cảm xúc nhị phân (tích cực/tiêu cực) đối với văn bản tiếng Việt. Phạm vi dữ liệu bao gồm kho ngữ liệu tiền huấn luyện tiếng Việt (20GB) và tập dữ liệu bình luận tiếng Việt từ cuộc thi phân tích sắc thái bình luận của cộng đồng AIVIVN. Đồ án được hoàn thành và bảo vệ tại Trường Đại học Quản lý và Công nghệ Hải Phòng vào năm 2021.

Cơ sở lý thuyết và phương pháp

Đồ án xây dựng nền tảng nghiên cứu dựa trên các lý thuyết và mô hình học máy, học sâu tiên tiến trong lĩnh vực xử lý ngôn ngữ tự nhiên:

  • Kiến trúc Transformer: Mô hình chuỗi sang chuỗi (Seq2Seq) loại bỏ mạng hồi quy RNN, vận hành dựa trên cơ chế tự chú ý (Self-Attention) và chú ý đa đầu (Multi-Head Attention) kết hợp tầng kết nối đầy đủ (Fully Connected Layer) ở cả hai pha mã hóa (Encoder) và giải mã (Decoder).
  • Mô hình BERT (Bidirectional Encoder Representations from Transformers): Kỹ thuật biểu diễn ngữ cảnh hai chiều không phụ thuộc hướng (bidirectional/non-directional). BERT sử dụng hai mục tiêu tiền huấn luyện không giám sát là Mô hình ngôn ngữ che dấu (Masked Language Model - MLM) và Dự báo câu tiếp theo (Next Sentence Prediction - NSP).
  • Biến thể RoBERTa (Facebook AI): Cải tiến từ BERT thông qua việc loại bỏ tác vụ NSP, áp dụng cơ chế che dấu động (dynamic masking), tăng kích thước lô (batch size) và huấn luyện trên tập dữ liệu văn bản lớn hơn.
  • Mô hình PhoBERT: Mô hình ngôn ngữ đơn ngữ tiền huấn luyện quy mô lớn dành riêng cho tiếng Việt, kế thừa kiến trúc RoBERTa, tích hợp công cụ tách từ tiếng Việt VnCoreNLP (RDRSegmenter) và thuật toán mã hóa từ phụ fastBPE.
  • Khai phá quan điểm và phân tích cảm xúc (Sentiment Analysis / Opinion Mining): Khung bài toán phân loại văn bản nhằm gán nhãn sắc thái thái độ người dùng theo hai lớp nhị phân: tích cực (Positive) và tiêu cực (Negative).

Phương pháp nghiên cứu được tác giả áp dụng bao gồm:

  • Phương pháp tổng hợp và phân tích lý thuyết: Hệ thống hóa các phương pháp biểu diễn từ trong NLP (từ biểu diễn không ngữ cảnh Word2Vec, FastText; biểu diễn một chiều ELMo đến biểu diễn hai chiều Transformer/BERT) và phương pháp học chuyển giao (Transfer Learning / Fine-tuning).
  • Phương pháp thực nghiệm mô hình học sâu: Triển khai pipeline tiền xử lý văn bản tiếng Việt, nạp trọng số mô hình PhoBERT đã tiền huấn luyện, thêm tầng phân loại tuyến tính (Linear Layer) và tinh chỉnh mô hình trên tập dữ liệu phân loại bình luận.

Nguồn dữ liệu sử dụng trong nghiên cứu gồm:

  • Ngữ liệu tiền huấn luyện của PhoBERT: 20GB văn bản tiếng Việt gồm ~1GB từ Wikipedia tiếng Việt và ~19GB trích xuất từ kho tin tức tiếng Việt (đã lọc trùng từ tập dữ liệu thô 50GB).
  • Dữ liệu thực nghiệm phân loại quan điểm: Bộ dữ liệu cuộc thi "Phân tích sắc thái bình luận" từ nền tảng AIVIVN.

Thiết kế và triển khai

Quá trình thiết kế và cài đặt thực nghiệm bài toán phân loại quan điểm bình luận tiếng Việt được xây dựng dưới dạng quy trình xử lý luồng dữ liệu (pipeline) với các công nghệ và công cụ mã nguồn mở:

Thành phần Công nghệ / Thư viện sử dụng Vai trò trong hệ thống
Ngôn ngữ lập trình Python Ngôn ngữ thực thi chính cho toàn bộ quá trình xử lý và mô hình hóa
Học sâu (Deep Learning) TensorFlow Nền tảng xây dựng và huấn luyện mô hình mạng nơ-ron
Mô hình ngôn ngữ Transformers (Hugging Face) & fairseq Nạp cấu trúc mô hình BERT/PhoBERT và tinh chỉnh siêu tham số
Tách từ tiếng Việt VnCoreNLP (RDRSegmenter) Tách từ ghép và phân đoạn câu theo cấp độ từ tiếng Việt
Mã hóa chuỗi fastBPE Phân đoạn chuỗi từ thành các đơn vị từ phụ (subword tokens) với từ điển 64K
Trọng số tiền huấn luyện PhoBERT pre-trained weights Khởi tạo biểu diễn vector nhúng ngữ cảnh cho dữ liệu tiếng Việt

Quy trình triển khai thực nghiệm bao gồm 5 bước cụ thể:

  1. Cài đặt môi trường và thư viện: Thiết lập môi trường Python, cài đặt các gói phụ thuộc gồm VnCoreNLP, fastBPE, fairseq, transformers và tensorflow.
  2. Thu thập và nạp dữ liệu: Tải bộ dữ liệu bình luận từ cuộc thi của AIVIVN và trọng số tiền huấn luyện của PhoBERT.
  3. Phân chia tập dữ liệu: Tách bộ dữ liệu đã gán nhãn thành hai tập riêng biệt gồm tập huấn luyện (training set) và tập kiểm chứng (validation set) theo tỷ lệ 90:10.
  4. Tiền xử lý và tạo mặt nạ (Attention Mask): Dùng VnCoreNLP tách từ, chuyển đổi văn bản sang chuỗi chỉ số thông qua fastBPE, sau đó tạo ma trận mặt nạ chứa các giá trị 0 và 1 để định hướng cơ chế Self-Attention của thư viện Transformers nhận biết độ dài chuỗi hợp lệ.
  5. Huấn luyện và tinh chỉnh (Fine-tuning): Tích hợp tầng phân loại trên đỉnh của PhoBERT, tối ưu hóa toàn bộ tham số mô hình thông qua thuật toán lan truyền ngược để dự đoán xác suất hai nhãn cảm xúc: Tích cực (Positive) và Tiêu cực (Negative).

Nội dung chính theo từng chương

Chương 1. Mô hình BERT

Chương này cung cấp cái nhìn toàn diện về lịch sử phát triển của các phương pháp xử lý ngôn ngữ tự nhiên, tập trung vào nguyên lý giải quyết thách thức khan hiếm dữ liệu có nhãn thông qua học chuyển giao (Transfer Learning).

Tác giả phân loại quá trình tiến hóa của các phương pháp nhúng từ thành ba cấp độ:

  • Không bối cảnh (Non-contextual): Word2Vec, GloVe, FastText—mỗi từ chỉ có một biểu diễn vector duy nhất, không phản ánh được tính đa nghĩa theo ngữ cảnh.
  • Một chiều (Uni-directional): RNN, LSTM, ELMo—xem xét ngữ cảnh theo hướng từ trái sang phải hoặc từ phải sang trái một cách độc lập.
  • Hai chiều (Bi-directional): BERT, RoBERTa—học biểu diễn từ dựa trên toàn bộ ngữ cảnh xung quanh đồng thời theo cả hai phía nhờ cơ chế Attention của Transformer.

Về mặt kiến trúc, chương 1 đi sâu vào cấu trúc Transformer với 6 khối Encoder và 6 khối Decoder, cơ chế Self-Attention và Encoder-Decoder Attention. Mô hình BERT kế thừa phần Encoder của Transformer và được tối ưu hóa qua hai tác vụ tiền huấn luyện đồng thời:

  • Masked Language Model (MLM): Che ngẫu nhiên khoảng 15% mã thông báo (token) trong câu bằng mã [MASK], buộc mô hình dự đoán từ gốc dựa trên 85% ngữ cảnh xung quanh.
  • Next Sentence Prediction (NSP): Dự đoán xem câu thứ hai có phải là câu tiếp nối của câu thứ nhất hay không (50% mẫu đúng - nhãn 1, 50% mẫu ghép ngẫu nhiên - nhãn 0), sử dụng mã [CLS] ở đầu chuỗi và [SEP] để phân tách.

Chương này cũng trình bày hai cấu hình chuẩn của BERT: $\text{BERT}{\text{BASE}}$ (12 tầng, ẩn 768, 12 heads, 110 triệu tham số) và $\text{BERT}{\text{LARGE}}$ (24 tầng, ẩn 1024, 16 heads, 340 triệu tham số). Đồng thời, tác giả phân tích dự án RoBERTa của Facebook với việc huấn luyện trên 160GB dữ liệu không nén, áp dụng mặt nạ động (dynamic masking), tăng batch size và loại bỏ tác vụ NSP. Kỹ thuật mã hóa từ phụ BPE (Byte Pair Encoding) được giới thiệu chi tiết nhằm giải quyết triệt để bài toán từ ngoài từ điển (out-of-vocabulary).

Chương 2. Sự ra đời của PhoBERT

Chương 2 trình bày chi tiết về mô hình PhoBERT—mô hình ngôn ngữ đơn ngữ quy mô lớn đầu tiên dành riêng cho tiếng Việt. Tác giả chỉ ra hai hạn chế lớn của các mô hình BERT đa ngôn ngữ (Multilingual BERT) khi áp dụng cho tiếng Việt:

  • Chỉ sử dụng tập ngữ liệu Wikipedia tiếng Việt tương đối nhỏ (~1GB không nén), thiếu tính đa dạng của ngôn ngữ đời sống.
  • Không phân biệt được sự khác biệt giữa âm tiết và từ ghép trong tiếng Việt (khoảng trắng vừa dùng để tách âm tiết vừa dùng để ghép từ), dẫn đến việc áp dụng BPE trực tiếp ở cấp độ âm tiết làm giảm độ chính xác ngữ nghĩa ở cấp độ từ.

PhoBERT khắc phục các nhược điểm trên bằng cấu trúc và quy trình tiền huấn luyện chuyên biệt:

  • Kiến trúc: Gồm hai phiên bản $\text{PhoBERT}{\text{base}}$ (12 khối Transformer, 135 triệu tham số) và $\text{PhoBERT}{\text{large}}$ (24 khối Transformer, 370 triệu tham số).
  • Tập ngữ liệu tiền huấn luyện: 20GB văn bản tiếng Việt, kết hợp giữa 1GB Wikipedia tiếng Việt và 19GB ngữ liệu tin tức đã loại bỏ trùng lặp (trích xuất từ 50GB dữ liệu thô). Dữ liệu sau khi xử lý đạt ~145 triệu câu (~3 tỷ mã thông báo từ).
  • Quy trình xử lý: Sử dụng công cụ RDRSegmenter của VnCoreNLP để phân đoạn từ, sau đó dùng fastBPE để chia từ thành các từ phụ với kích thước từ điển 64K đơn vị (trung bình 24,4 mã thông báo từ phụ trên mỗi câu).
  • Thiết lập tối ưu hóa: Sử dụng thư viện fairseq, độ dài chuỗi tối đa 256 tokens, 4 GPU V100 (16GB mỗi GPU), huấn luyện trong 40 epochs. $\text{PhoBERT}{\text{base}}$ sử dụng batch size 1024, learning rate cực đại 0,0004 (huấn luyện trong 3 tuần, ~540K bước); $\text{PhoBERT}{\text{large}}$ sử dụng batch size 512, learning rate cực đại 0,0002 (huấn luyện trong 5 tuần, ~1,08 triệu bước).
  • Đánh giá trên 4 tác vụ NLP tiếng Việt: Gán nhãn từ loại (POS) trên bộ dữ liệu VLSP 2013; Phân tích cú pháp phụ thuộc (DP) trên ngân hàng câu VnDT v1.1; Nhận dạng thực thể tên riêng (NER) trên bộ dữ liệu VLSP 2016; Suy luận ngôn ngữ tự nhiên (NLI) trên tập ngữ liệu XNLI v1.0.

Chương 3. Ứng dụng PhoBERT vào bài toán phân tích quan điểm bình luận tiếng Việt

Chương 3 tập trung vào bài toán phân tích cảm xúc (Sentiment Analysis) và phân loại quan điểm người dùng. Tác giả phân chia bài toán thành ba cấp độ phức tạp:

  • Đơn giản: Phân loại cảm xúc nhị phân 2 lớp (tích cực/positive và tiêu cực/negative).
  • Phức tạp hơn: Xếp hạng sắc thái theo thang điểm từ 1 đến 5 sao.
  • Khó: Xác định đối tượng, nguồn gốc cảm xúc và các trạng thái cảm xúc phức tạp (yêu, ghét, đánh giá, mong mỏi).

Trong phạm vi đồ án, tác giả tập trung giải quyết bài toán ở cấp độ phân loại 2 lớp tích cực và tiêu cực thông qua mô hình SAV (Sentiment Analysis Vietnamese). Văn bản đầu vào là một đoạn bình luận tiếng Việt, đầu ra là phân phối xác suất thuộc về hai lớp cảm xúc tương ứng.

Chương này cũng phân tích bối cảnh ứng dụng thực tế của công nghệ phân tích quan điểm trong quản trị thương hiệu doanh nghiệp và quản trị quan hệ khách hàng. Tác giả dẫn chứng vụ việc khủng hoảng truyền thông "con ruồi trong chai nước ngọt" của doanh nghiệp Tân Hiệp Phát để làm rõ tầm quan trọng của các giải pháp "lắng nghe mạng xã hội" (Social Listening) theo thời gian thực nhằm phát hiện và ngăn chặn sớm các thông tin bất lợi. Cuối chương là chi tiết các bước cài đặt kỹ thuật, tiền xử lý dữ liệu từ cuộc thi AIVIVN và thực nghiệm tinh chỉnh mô hình PhoBERT.

Kết quả và đóng góp

Đồ án đã tổng hợp các kết quả thực nghiệm chuẩn hóa của mô hình PhoBERT trên các bộ dữ liệu đánh giá tiêu chuẩn của tiếng Việt, chứng minh sự vượt trội của mô hình đơn ngữ so với các nghiên cứu trước đó và mô hình đa ngôn ngữ XLM-R:

Nhiệm vụ NLP Bộ dữ liệu đánh giá Chỉ số đánh giá Mô hình SOTA trước đó $\text{PhoBERT}_{\text{base}}$ $\text{PhoBERT}_{\text{large}}$
Gán nhãn từ loại (POS) VLSP 2013 Độ chính xác (%) ~96,0% (WPD / VnCoreNLP-POS) 96,8% 96,8%
Phân tích cú pháp phụ thuộc VnDT v1.1 LAS (%)
UAS (%)		 75,0% (Biaffine Parser)
81,2% (Biaffine Parser)		 78,8%
85,2%		 77,9%
84,3%
Nhận dạng thực thể (NER) VLSP 2016 F1-score (%) 89,6% (VnCoreNLP-NER) 91,6% 92,7%
Suy luận ngôn ngữ (NLI) XNLI v1.0 Độ chính xác (%) Vượt Multilingual BERT và XLM-R Vượt trội Vượt trội

Các kết quả định lượng cụ thể từ văn bản cho thấy:

  • Ở tác vụ gán nhãn từ loại (POS), PhoBERT đạt độ chính xác cao hơn 0,8% so với hai mô hình SOTA trước đó là WPD và VnCoreNLP-POS.
  • Ở tác vụ phân tích cú pháp phụ thuộc, PhoBERT giúp cải thiện mô hình phân tích cú pháp Biaffine thêm khoảng 4% tuyệt đối, đạt 78,8% điểm LAS và 85,2% điểm UAS.
  • Ở tác vụ nhận dạng thực thể tên riêng (NER), $\text{PhoBERT}{\text{base}}$ đạt điểm F1 cao hơn 2 điểm so với các phương pháp nơ-ron trước đó (VnCoreNLP-NER, BiLSTM-CNN-CRF), và $\text{PhoBERT}{\text{large}}$ tiếp tục cao hơn $\text{PhoBERT}_{\text{base}}$ 1,1 điểm F1.
  • Ở tác vụ suy luận ngôn ngữ tự nhiên (NLI), PhoBERT cho hiệu suất cao hơn mô hình đa ngôn ngữ tốt nhất là XLM-R dù sử dụng ít tham số hơn đáng kể (135 triệu tham số của $\text{PhoBERT}{\text{base}}$ so với 250 triệu của $\text{XLM-R}{\text{base}}$; 370 triệu tham số của $\text{PhoBERT}{\text{large}}$ so với 560 triệu của $\text{XLM-R}{\text{large}}$).

Đóng góp của đồ án:

  • Tổng hợp và hệ thống hóa lý thuyết hoàn chỉnh về cơ chế Transformer, quy trình huấn luyện hai tác vụ MLM/NSP của BERT, kiến trúc RoBERTa và cấu trúc của PhoBERT.
  • Làm rõ tính ưu việt của việc kết hợp công cụ tách từ tiếng Việt (VnCoreNLP) trước khi áp dụng BPE trong việc xây dựng mô hình ngôn ngữ đơn ngữ tiếng Việt.
  • Xây dựng quy trình thử nghiệm hoàn chỉnh ứng dụng PhoBERT để phân loại quan điểm bình luận tiếng Việt trên tập dữ liệu thực tế từ AIVIVN.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được tác giả và văn bản chỉ ra:

  • Phiên bản $\text{PhoBERT}{\text{large}}$ có điểm phân tích cú pháp phụ thuộc thấp hơn 0,9% so với phiên bản $\text{PhoBERT}{\text{base}}$. Nguyên nhân được xác định là do lớp Transformer cuối cùng trong kiến trúc BERT có thể không phải là lớp mã hóa tối ưu và phong phú nhất về cấu trúc cú pháp.
  • Ứng dụng phân tích cảm xúc trong đồ án mới chỉ dừng lại ở bài toán phân loại nhị phân 2 lớp (tích cực và tiêu cực), chưa mở rộng sang việc phân loại đa mức độ (1-5 sao) hoặc phân tích quan điểm dựa trên khía cạnh chi tiết (Aspect-Based Sentiment Analysis).

Hướng nghiên cứu tiếp theo:

  • Đánh giá hiệu suất trích xuất đặc trưng từ từng lớp ẩn (hidden layers) khác nhau của PhoBERT để tìm ra tầng Transformer lưu trữ thông tin cú pháp phong phú nhất.
  • Mở rộng ứng dụng của mô hình PhoBERT sang các bài toán NLP phức tạp khác trong tiếng Việt như: xây dựng hệ thống hỏi đáp tự động (Question Answering), tóm tắt văn bản tự động, chatbot hội thoại và hệ thống trích xuất quan hệ văn bản.

Giá trị tham khảo

Đồ án tốt nghiệp là tài liệu tham khảo hữu ích cho sinh viên, học viên chuyên ngành Công nghệ thông tin, Khoa học dữ liệu và Trí tuệ nhân tạo đang nghiên cứu về lĩnh vực Xử lý ngôn ngữ tự nhiên (NLP) cho tiếng Việt.

Các nội dung có giá trị tham khảo cao trong đồ án bao gồm:

  • Phần tổng quan lý thuyết mạch lạc, giải thích chi tiết các khái niệm kỹ thuật cốt lõi: cơ chế Self-Attention, cấu trúc Encoder-Decoder của Transformer, phương pháp tiền huấn luyện BERT và RoBERTa.
  • Toàn bộ thông số cấu hình huấn luyện của PhoBERT (kích thước dữ liệu 20GB, số câu, từ điển 64K subwords, tham số bộ tối ưu AdamW, tốc độ học, cấu hình GPU V100).
  • Hướng dẫn quy trình tiền xử lý văn bản tiếng Việt kết hợp giữa VnCoreNLP (RDRSegmenter) và fastBPE cùng các bước tích hợp mô hình với thư viện Transformers của Hugging Face.

Câu hỏi thường gặp

1. Vì sao mô hình BERT đa ngôn ngữ của Google chưa đạt hiệu quả tối ưu cho tiếng Việt và PhoBERT đã khắc phục bằng cách nào? Mô hình BERT đa ngôn ngữ của Google chỉ được tiền huấn luyện trên tập dữ liệu Wikipedia tiếng Việt tương đối nhỏ (~1GB không nén) và áp dụng thuật toán BPE trực tiếp ở cấp độ âm tiết mà không nhận biết ranh giới từ ghép tiếng Việt. PhoBERT đã khắc phục bằng cách sử dụng tập dữ liệu 20GB (gồm cả tin tức báo chí), đồng thời tích hợp công cụ RDRSegmenter của VnCoreNLP để tách từ trước khi đưa qua fastBPE tạo mã từ phụ.

2. Tập dữ liệu tiền huấn luyện của PhoBERT có dung lượng bao nhiêu và gồm những nguồn nào? Tập dữ liệu tiền huấn luyện của PhoBERT có dung lượng 20GB văn bản tiếng Việt không nén, bao gồm ~1GB từ kho ngữ liệu Wikipedia tiếng Việt và ~19GB ngữ liệu tin tức tiếng Việt được lọc trùng từ 50GB dữ liệu thô. Tập dữ liệu này chứa khoảng 145 triệu câu đã tách từ, tương đương khoảng 3 tỷ mã thông báo từ.

3. Tại sao điểm phân tích cú pháp phụ thuộc của phiên bản $\text{PhoBERT}{\text{large}}$ lại thấp hơn $\text{PhoBERT}{\text{base}}$ 0,9%? Theo giải thích trong văn bản, nguyên nhân là do lớp Transformer cuối cùng trong kiến trúc mạng của mô hình có thể không phải là lớp mã hóa thông tin phong phú và tối ưu nhất về cấu trúc cú pháp của câu. Tác giả đề xuất hướng nghiên cứu tiếp theo là đánh giá hiệu suất cú pháp trên từng lớp ẩn riêng biệt của mô hình.

4. Dữ liệu thực nghiệm phân loại bình luận trong đồ án được lấy từ nguồn nào và phân chia ra sao? Dữ liệu thực nghiệm phân loại quan điểm bình luận tiếng Việt được tải về từ trang chủ cuộc thi "Phân tích sắc thái bình luận" của cộng đồng AIVIVN. Tập dữ liệu này sau đó được tác giả phân chia thành hai tập huấn luyện (training set) và kiểm chứng (validation set) theo tỷ lệ 90:10.

5. Đồ án sử dụng những công cụ và thư viện chính nào để triển khai thực nghiệm? Các công cụ và thư viện chính được sử dụng bao gồm: ngôn ngữ lập trình Python, thư viện học sâu TensorFlow, thư viện mô hình ngôn ngữ Transformers (Hugging Face) và fairseq (Facebook AI), công cụ phân đoạn từ VnCoreNLP và thư viện mã hóa từ phụ fastBPE.

Kết luận

Đồ án tốt nghiệp của sinh viên Nguyễn Thành Long đã trình bày hệ thống và toàn diện cơ sở lý thuyết về kiến trúc Transformer, mô hình BERT, RoBERTa và mô hình ngôn ngữ đơn ngữ tiếng Việt PhoBERT. Nghiên cứu đã làm rõ cấu trúc tiền huấn luyện, tập dữ liệu 20GB và hiệu suất vượt trội của PhoBERT trên 4 tác vụ NLP tiêu chuẩn (POS, DP, NER, NLI) so với mô hình đa ngôn ngữ XLM-R. Đồng thời, đồ án đã triển khai thành công quy trình thực nghiệm ứng dụng PhoBERT kết hợp các công cụ VnCoreNLP, fastBPE và Transformers để giải quyết bài toán phân loại quan điểm bình luận tiếng Việt nhị phân, phục vụ định hướng ứng dụng thực tế trong quản trị thương hiệu và lắng nghe mạng xã hội.