Bối cảnh và vấn đề nghiên cứu

Trong kỷ nguyên số hóa cùng sự bùng nổ của mạng Internet và các nền tảng mạng xã hội, khối lượng dữ liệu văn bản tiếng Việt được sản sinh hàng ngày từ báo điện tử, trang tin tức, tài liệu học thuật và các kênh thông tin trực tuyến đang gia tăng với tốc độ nhanh chóng. Dữ liệu văn bản này phần lớn tồn tại ở dạng phi cấu trúc, dẫn đến nhu cầu cấp thiết về các hệ thống tự động hóa quá trình tiếp nhận, xử lý và phân loại thông tin nhằm phục vụ các hoạt động quản lý, lưu trữ, tìm kiếm và gợi ý nội dung. Lĩnh vực Xử lý ngôn ngữ tự nhiên (NLP) đóng vai trò then chốt trong việc giải quyết bài toán tương tác giữa máy tính và ngôn ngữ tự nhiên của con người.

Đối với ngôn ngữ tiếng Việt, việc phân loại văn bản tin tức tự động đối mặt với nhiều rào cản đặc thù do tính chất đa nghĩa, cấu trúc từ ghép, hệ thống thanh điệu phức tạp và phong cách biểu đạt đa dạng của báo chí trực tuyến. Sự ra đời của kiến trúc Transformer cùng các mô hình ngôn ngữ lớn dựa trên cơ chế tiền huấn luyện (pre-training) và tinh chỉnh (fine-tuning) như BERT (Bidirectional Encoder Representations from Transformers) do Google AI phát triển đã mang lại những bước tiến lớn cho các bài toán NLP. Tại Việt Nam, mô hình PhoBERT được xây dựng riêng cho tiếng Việt đã khẳng định hiệu quả vượt trội so với các mô hình đa ngôn ngữ tổng quát. Nhằm khai thác sức mạnh của các kiến trúc học sâu tiên tiến này trong việc phân loại bài báo tiếng Việt, đề tài khóa luận tốt nghiệp "Phân loại văn bản dùng mô hình BERT" được thực hiện bởi nhóm tác giả tại Khoa Công nghệ Thông tin, Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh.

Mục tiêu và nhiệm vụ nghiên cứu của đề tài được xác định cụ thể trong văn bản bao gồm:

  • Mục tiêu nghiên cứu: Xây dựng hệ thống phân loại văn bản tin tức tiếng Việt theo các chủ đề dựa trên tập nhãn xác định trước thông qua việc nghiên cứu, làm chủ lý thuyết và thực nghiệm các mô hình học sâu tiên tiến, đặc biệt là BERT và các biến thể như PhoBERT, Longformer PhoBERT.
  • Nhiệm vụ nghiên cứu (gồm 5 nhiệm vụ chính):
    1. Tìm hiểu tổng quan về bài toán phân loại văn bản và các đặc thù ngữ pháp, ngữ nghĩa của ngôn ngữ tiếng Việt.
    2. Nghiên cứu cơ sở lý thuyết, kiến trúc mạng và cách thức triển khai của các mô hình Bi-LSTM, BERT, PhoBERT và Longformer PhoBERT.
    3. Thu thập, làm sạch và thực hiện tiền xử lý tập dữ liệu bài báo tin tức tiếng Việt.
    4. Huấn luyện, tối ưu hóa siêu tham số và đánh giá hiệu năng phân loại của các mô hình trên tập dữ liệu thực nghiệm.
    5. Thiết kế và triển khai giao diện phân loại trực quan bằng thư viện Streamlit, phục vụ việc thử nghiệm mô hình thực tế.

Đối tượng nghiên cứu của khóa luận là các bài báo, tin tức tiếng Việt được thu thập từ các nguồn báo điện tử và mạng xã hội trực tuyến. Phạm vi nghiên cứu giới hạn ở việc phân loại bài viết đơn ngữ tiếng Việt vào các danh mục chủ đề chính (như chính trị, kinh tế, xã hội, thể thao, giải trí...), không mở rộng sang các ngôn ngữ khác, đồng thời tập trung đánh giá so sánh hiệu năng giữa ba kiến trúc mô hình: mạng nơ-ron hồi quy hai chiều Bi-LSTM, mô hình ngôn ngữ PhoBERT và mô hình xử lý chuỗi dài Longformer PhoBERT.

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập nền tảng lý thuyết vững chắc dựa trên sự phát triển của các kiến trúc học sâu trong xử lý chuỗi và mô hình ngôn ngữ tự nhiên:

  • Mạng nơ-ron truy hồi (RNN) và Bi-LSTM: Mạng RNN xử lý dữ liệu tuần tự theo thời gian thông qua việc cập nhật trạng thái ẩn: $$a_t = g_1(W_{aa} a_{t-1} + W_{ax} x_t + b_a)$$ Để khắc phục hiện tượng triệt tiêu đạo hàm (vanishing gradient) và bùng nổ đạo hàm (exploding gradient) khi xử lý chuỗi dài của RNN truyền thống, kiến trúc LSTM bổ sung ba cổng kiểm soát thông tin: cổng vào ($i$), cổng quên ($f$), cổng ra ($o$) và trạng thái ô nhớ ($C_t$). Mô hình Bi-LSTM (Bidirectional LSTM) tiếp tục nâng cấp khả năng tiếp nhận ngữ cảnh bằng cách kết hợp song song hai luồng xử lý: luồng chuyển tiếp (forward pass) từ đầu đến cuối chuỗi và luồng lùi (backward pass) từ cuối về đầu chuỗi, giúp vector đặc trưng tại mỗi bước thời gian chứa thông tin của cả quá khứ lẫn tương lai.
  • Kiến trúc Transformer và cơ chế Self-Attention: Khắc phục hạn chế không thể tính toán song song của mạng tuần tự, Transformer sử dụng cơ chế chú ý tự thân (Self-Attention) tính toán mức độ liên quan giữa các từ trong câu thông qua bộ ba vector Query ($Q$), Key ($K$) và Value ($V$): $$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$ Đi kèm với đó là kỹ thuật Positional Encoding (mã hóa vị trí), Multi-head Attention (chú ý đa đầu), liên kết dư (Residuals), chuẩn hóa lớp (Layer Normalization) và mạng truyền thẳng (Feed-Forward Network).
  • Kiến trúc Longformer: Mô hình Transformer chuẩn có độ phức tạp tính toán theo bậc hai $O(N^2)$ theo chiều dài chuỗi đầu vào $N$, dẫn đến giới hạn xử lý tối đa 512 tokens của BERT tiêu chuẩn. Longformer khắc phục hạn chế này bằng cách giảm độ phức tạp xuống mức tuyến tính $O(N \times w)$ thông qua sự kết hợp các cơ chế chú ý:
    • Sliding Window Attention: Cơ chế cửa sổ trượt cục bộ với độ dài $w$.
    • Dilated Sliding Window Attention: Cửa sổ trượt giãn cách với khoảng cách $d$ nhằm mở rộng trường tiếp nhận mà không làm tăng tài nguyên bộ nhớ.
    • Global Sliding Window Attention: Thiết lập một số token được chọn lọc (như token đại diện phân loại) có quyền chú ý toàn cục đến toàn bộ các token khác và ngược lại.
  • Mô hình BERT và biến thể tiếng Việt PhoBERT: BERT áp dụng bộ mã hóa Transformer hai chiều với hai mục tiêu tiền huấn luyện chính: Masked Language Model (MLM - che ngẫu nhiên 15% token để mô hình dự đoán) và Next Sentence Prediction (NSP - dự đoán câu tiếp theo). Đầu vào của BERT là sự kết hợp của Token Embeddings, Segment Embeddings và Position Embeddings. Phiên bản tiếng Việt PhoBERT (gồm $\text{PhoBERT}{\text{base}}$ với 12 khối Transformer và $\text{PhoBERT}{\text{large}}$ với 24 khối Transformer) được huấn luyện trên 20GB dữ liệu văn bản (1GB Wikipedia tiếng Việt và 19GB tin tức tiếng Việt). PhoBERT sử dụng công cụ tách từ RDRSegmenter thuộc bộ công cụ VnCoreNLP trước khi áp dụng thuật toán mã hóa Byte Pair Encoding (BPE), và chỉ sử dụng tác vụ huấn luyện MLM.

Phương pháp nghiên cứu thực nghiệm được triển khai theo hai hướng tiếp cận chính:

  1. Phương pháp trích xuất đặc trưng (Feature Extraction): Giữ cố định (đóng băng toàn bộ trọng số) của mô hình ngôn ngữ PhoBERT, sử dụng biểu diễn trạng thái ẩn ở lớp cuối cùng (last hidden states) để tạo ma trận đặc trưng, sau đó huấn luyện một mạng phân loại bên ngoài trên tập đặc trưng này.
  2. Phương pháp tinh chỉnh (Fine-tuning): Cập nhật toàn bộ hoặc một phần trọng số của mô hình PhoBERT và Longformer PhoBERT cùng với một lớp phân loại (Linear layer kết hợp Softmax) được đặt trên đầu token [CLS] để tối ưu hóa trực tiếp cho bài toán phân loại nhãn tin tức.

Tập dữ liệu thực nghiệm gồm các văn bản báo chí tiếng Việt được phân chia theo quy chuẩn thành ba tập: tập huấn luyện (train set), tập kiểm tra (test set) và tập xác thực (validation set).

Thiết kế và triển khai

Hệ thống được thiết kế theo quy trình xử lý dữ liệu và mô hình hóa bài toán phân loại văn bản một cách tuần tự và tối ưu:

Thành phần hệ thống Công nghệ / Phương thức thực hiện Mô tả chi tiết chức năng
Môi trường & Ngôn ngữ Python, Phần cứng GPU Cấu hình máy tính chuyên dụng phục vụ việc huấn luyện mạng nơ-ron sâu và tối ưu hóa siêu tham số.
Thư viện chuyên dụng PyTorch, Hugging Face Transformers, VnCoreNLP Xây dựng kiến trúc mô hình, nạp trọng số tiền huấn luyện PhoBERT/Longformer, thực hiện token hóa văn bản.
Tiền xử lý dữ liệu Regex, RDRSegmenter (VnCoreNLP), BPE Tokenizer Chuẩn hóa văn bản, đưa về chữ thường, loại bỏ ký tự nhiễu, tách từ ghép tiếng Việt và mã hóa thành chuỗi chỉ số token.
Kiến trúc mô hình 1 Bi-LSTM + Tuning Mạng học sâu hai chiều với các tầng LSTM kết hợp tối ưu siêu tham số.
Kiến trúc mô hình 2 PhoBERT Fine-tuning Nạp mô hình tiền huấn luyện tiếng Việt, gắn lớp phân loại đa lớp trên token [CLS].
Kiến trúc mô hình 3 Longformer PhoBERT Áp dụng cơ chế chú ý cửa sổ trượt để xử lý các bài báo có độ dài vượt giới hạn 512 tokens.
Giao diện người dùng Thư viện Streamlit Thiết kế giao diện web trực quan cho phép người dùng nhập nội dung văn bản bài báo và nhận nhãn dự đoán tức thì.
Nền tảng triển khai Hugging Face Spaces Đóng gói mã nguồn và triển khai ứng dụng phân loại trực tuyến phục vụ kiểm thử thực tế.

Pipeline xử lý bắt đầu từ việc nhận văn bản thô, tiền xử lý và tách từ thông qua RDRSegmenter, chuyển đổi thành vector nhúng thông qua bộ Tokenizer tương ứng của từng mô hình, đưa qua mạng nơ-ron để trích xuất ngữ cảnh và đưa ra phân phối xác suất phân loại qua hàm Softmax.

Nội dung chính theo từng chương

Phần mở đầu

Trình bày cơ sở khoa học và thực tiễn của đề tài trong bối cảnh bùng nổ dữ liệu văn bản số tiếng Việt. Xác định mục tiêu tổng quát là phân loại tin tức tiếng Việt theo chủ đề dựa trên các mô hình học sâu. Liệt kê chi tiết 5 nhiệm vụ nghiên cứu, xác định đối tượng là văn bản bài báo tin tức tiếng Việt trực tuyến và phạm vi giới hạn trong các chủ đề chính cùng các mô hình Bi-LSTM, BERT, PhoBERT và Longformer PhoBERT.

Chương 1: Bài toán phân loại văn bản

Tổng hợp tổng quan lý thuyết về bài toán phân loại văn bản trong NLP. Trình bày chi tiết 9 dạng phân loại phổ biến: phân tích cảm xúc (Sentiment Analysis), phát hiện độc hại (Toxicity Detection), nhận diện ý định (Intent Recognition), phân loại nhị phân (Binary Classification), phân loại đa lớp (Multiclass Classification), phân loại chủ đề (Topic Categorization), xác định ngôn ngữ (Language Identification), nhận dạng thực thể định danh (NER) và phân loại câu hỏi (Question Classification).

Chương 1 cũng chuẩn hóa quy trình thực hiện bài toán qua 8 giai đoạn: Thu thập dữ liệu $\rightarrow$ Tiền xử lý $\rightarrow$ Tách từ (Tokenization) $\rightarrow$ Trích xuất đặc trưng $\rightarrow$ Huấn luyện mô hình $\rightarrow$ Đánh giá $\rightarrow$ Tinh chỉnh siêu tham số $\rightarrow$ Triển khai mô hình. Phân tích các đặc thù của tiếng Việt (hệ thống 6 dấu thanh, từ đơn âm, từ ghép đa nghĩa, ngữ pháp linh hoạt) cùng các thách thức khi phân loại bài báo. Điểm qua 4 công trình liên quan tiêu biểu:

  • Nghiên cứu mô hình PhoBERT của Dat Quoc Nguyen và Anh Tuan Nguyen.
  • Nghiên cứu phân loại bài báo tiếng Việt dùng mạng nơ-ron của Nguyễn Phước Vinh và Hà Hoàng Kha.
  • Phương pháp học chuyển giao ULMFiT của Jeremy Howard và Sebastian Ruder.
  • Phương pháp học chương trình động SPDCL cho dữ liệu mất cân bằng của Xulong Zhang cùng các cộng sự.

Chương 2: Các mô hình sử dụng

Phân tích chuyên sâu về mặt cấu trúc toán học và cơ chế vận hành của các mô hình học máy:

  • Bi-LSTM: Trình bày từ nguyên lý mạng RNN, cơ chế lan truyền trạng thái ẩn, các vấn đề về gradient, đến cấu trúc 3 cổng của LSTM và kiến trúc xử lý 2 chiều (forward/backward pass) của Bi-LSTM.
  • Transformer: Trình bày cơ chế Sequence-to-Sequence, Input Embedding, Positional Encoding, phép toán Self-Attention, Multi-head Attention, cơ chế kết nối dư (Residuals), chuẩn hóa lớp (Layer Normalization), mạng Feed-Forward và cơ chế Masked Attention trong bộ giải mã.
  • Longformer: Phân tích nguyên nhân dẫn đến quy mô tính toán bậc hai $O(N^2)$ của Self-Attention chuẩn và giải pháp mở rộng tuyến tính $O(N \times w)$ qua các cơ chế: Full Attention, Sliding Window Attention, Dilated Sliding Window Attention và Global Sliding Window Attention, cho phép xử lý văn bản dài vượt ngưỡng 512 token gấp nhiều lần.
  • Mô hình BERT: Trình bày kiến trúc bộ mã hóa đa tầng, khái niệm Downstream Task, cơ chế biểu diễn ngữ cảnh, hai nhiệm vụ tiền huấn luyện MLM và NSP, cấu hình tham số của $\text{BERT}{\text{BASE}}$ (12 tầng, 768 ẩn, 12 heads, 110 triệu tham số) và $\text{BERT}{\text{LARGE}}$ (24 tầng, 1024 ẩn, 16 heads, 340 triệu tham số) cùng ứng dụng token [CLS] trong phân loại.
  • Mô hình PhoBERT và Longformer PhoBERT: Trình bày lịch sử phát triển, cấu trúc 12 và 24 khối Transformer, tập dữ liệu tiền huấn luyện 20GB (1GB Wikipedia, 19GB tin tức), quy trình tiền xử lý tách từ bằng RDRSegmenter (VnCoreNLP) và mã hóa BPE.

Chương 3: Thực nghiệm và đánh giá kết quả

Mô tả chi tiết môi trường phần cứng, các thư viện Python được sử dụng và cấu hình dữ liệu ban đầu cho các tập train, test, validate. Trình bày các bước thực nghiệm: tiền xử lý văn bản tiếng Việt, trích xuất đặc trưng với PhoBERT đóng băng trọng số, quá trình tối ưu hóa siêu tham số trên mô hình Bi-LSTM, quy trình thiết lập fine-tune cho PhoBERT và Longformer PhoBERT. Đánh giá chi tiết hiệu năng của từng mô hình thông qua ma trận nhầm lẫn (Confusion Matrix), các bảng đánh giá độ chính xác trên từng nhãn chủ đề và bảng so sánh tổng thể giữa ba mô hình Bi-LSTM, PhoBERT và Longformer PhoBERT.

Phần kết luận

Đánh giá tổng kết các mục tiêu đã hoàn thành của đề tài, thẳng thắn chỉ ra những hạn chế thực tế liên quan đến tài nguyên phần cứng tính toán và đề xuất các giải pháp, phương hướng phát triển tiếp theo cho hệ thống phân loại.

Kết quả và đóng góp

Khóa luận đã hoàn thành đầy đủ các mục tiêu và nhiệm vụ nghiên cứu đặt ra, ghi nhận các kết quả và đóng góp cụ thể:

  • Kết quả thực nghiệm mô hình:
    • Hoàn thành việc huấn luyện và tối ưu hóa siêu tham số cho mô hình tuần tự Bi-LSTM phục vụ làm mô hình cơ sở (baseline).
    • Triển khai thành công kỹ thuật tinh chỉnh (fine-tuning) và trích xuất đặc trưng trên mô hình tiền huấn luyện tiếng Việt PhoBERT.
    • Áp dụng thành công kiến trúc Longformer PhoBERT với cơ chế chú ý cửa sổ trượt, giải quyết triệt để rào cản độ dài văn bản khi xử lý các bài báo tin tức dài vượt mức 512 tokens.
    • Thiết lập ma trận nhầm lẫn (Confusion Matrix) và bảng so sánh định lượng chi tiết trên từng nhãn chủ đề cũng như đánh giá tổng thể giữa ba mô hình (Bi-LSTM, PhoBERT, Longformer PhoBERT).
  • Kết quả xây dựng ứng dụng: Xây dựng hoàn chỉnh giao diện phân loại trực quan bằng thư viện Streamlit và thực hiện triển khai (deploy) mô hình lên nền tảng Hugging Face, cho phép thử nghiệm phân loại trực tiếp các bài báo tiếng Việt theo thời gian thực.
  • Đóng góp học thuật và thực tiễn:
    • Cung cấp cái nhìn toàn diện và có hệ thống về quá trình chuyển giao công nghệ học sâu (Transfer Learning) từ các mô hình ngôn ngữ lớn sang bài toán phân loại đơn ngữ tiếng Việt.
    • Đánh giá thực nghiệm khách quan về sự khác biệt hiệu năng giữa kiến trúc xử lý chuỗi truyền thống (Bi-LSTM) và các kiến trúc dựa trên Transformer/Longformer trên tập dữ liệu tin tức tiếng Việt.

Hạn chế và hướng nghiên cứu tiếp

Dựa trên các nội dung được nhóm tác giả trình bày trong tài liệu, các hạn chế và hướng mở của đề tài bao gồm:

  • Hạn chế của đề tài:
    • Quá trình thực nghiệm gặp giới hạn lớn về tài nguyên phần cứng máy tính (tài nguyên GPU và bộ nhớ), dẫn đến việc nhóm nghiên cứu phải chủ động giới hạn quy mô độ lớn của tập dữ liệu huấn luyện và thử nghiệm trong các giai đoạn tinh chỉnh mô hình.
    • Phạm vi nghiên cứu mới chỉ tập trung vào phân loại văn bản tin tức đơn ngữ tiếng Việt theo các chủ đề cố định, chưa mở rộng sang các dạng văn bản chuyên ngành đặc thù hoặc các bài toán phân loại đa nhãn phức tạp hơn.
  • Phương hướng phát triển:
    • Mở rộng quy mô tập dữ liệu huấn luyện khi được trang bị hạ tầng tính toán phần cứng mạnh mẽ hơn nhằm nâng cao độ chính xác và khả năng tổng quát hóa của mô hình.
    • Nghiên cứu kết hợp thêm các kỹ thuật tối ưu hóa trọng số và các cơ chế attention tiên tiến nhằm nâng cao tốc độ suy luận (inference speed) của Longformer PhoBERT trên các văn bản siêu dài.
    • Mở rộng ứng dụng mô hình sang các bài toán NLP khác cho tiếng Việt như tóm tắt văn bản tự động, phân tích cảm xúc hoặc gán nhãn thực thể định danh.

Giá trị tham khảo

Báo cáo khóa luận tốt nghiệp là tài liệu tham khảo hữu ích cho các đối tượng và mục đích cụ thể sau:

  • Sinh viên và nhà nghiên cứu ngành Kỹ thuật Dữ liệu, Khoa học Dữ liệu và Công nghệ Thông tin: Là tài liệu tham khảo chi tiết về mặt lý thuyết toán học và kiến trúc mạng nơ-ron từ RNN, LSTM, Bi-LSTM đến Transformer, cơ chế Self-Attention, Longformer và BERT.
  • Người thực hiện các đề tài về Xử lý ngôn ngữ tự nhiên (NLP) tiếng Việt: Cung cấp quy trình chuẩn mực về tiền xử lý văn bản tiếng Việt, cách sử dụng công cụ tách từ RDRSegmenter (VnCoreNLP), phương pháp mã hóa BPE và hai hướng tiếp cận thực tế khi làm việc với PhoBERT (Feature Extraction và Fine-tuning).
  • Kỹ sư phát triển hệ thống: Cung cấp giải pháp xử lý văn bản dài bằng Longformer nhằm khắc phục giới hạn 512 token của BERT, đồng thời hướng dẫn phương thức xây dựng giao diện tương tác với Streamlit và triển khai mô hình lên môi trường đám mây Hugging Face Spaces.

Câu hỏi thường gặp

1. Điểm khác biệt cốt lõi giữa cơ chế Attention trong Longformer và Self-Attention trong Transformer chuẩn là gì?
Trong Transformer chuẩn, cơ chế Self-Attention tính toán sự chú ý giữa từng từ với tất cả các từ còn lại trong câu, dẫn đến độ phức tạp tính toán tăng theo bậc hai $O(N^2)$, khiến mô hình bị giới hạn tối đa ở 512 tokens. Longformer giải quyết vấn đề này bằng cách kết hợp Sliding Window Attention (cửa sổ trượt cục bộ), Dilated Sliding Window Attention (cửa sổ trượt giãn cách) và Global Sliding Window Attention (chú ý toàn cục cho một số token đại diện), giúp đưa độ phức tạp tính toán về mức tuyến tính $O(N \times w)$ và cho phép xử lý văn bản dài gấp nhiều lần.

2. Mô hình PhoBERT được tiền huấn luyện trên tập dữ liệu nào và sử dụng công cụ gì để tách từ tiếng Việt?
PhoBERT được tiền huấn luyện trên tập dữ liệu văn bản tiếng Việt có dung lượng khoảng 20GB, bao gồm 1GB dữ liệu từ Wikipedia tiếng Việt và 19GB dữ liệu từ các nguồn tin tức tiếng Việt. Về mặt tiền xử lý, PhoBERT sử dụng công cụ RDRSegmenter thuộc bộ thư viện VnCoreNLP để thực hiện tách từ trước khi áp dụng thuật toán mã hóa Byte Pair Encoding (BPE).

3. Nhóm tác giả đã triển khai hai hướng tiếp cận nào khi áp dụng mô hình PhoBERT vào bài toán phân loại văn bản?
Nhóm nghiên cứu triển khai hai hướng tiếp cận gồm: (1) Sử dụng PhoBERT như bộ trích xuất đặc trưng (Feature Extraction) bằng cách đóng băng toàn bộ các lớp của mô hình, lấy biểu diễn trạng thái ẩn cuối cùng để huấn luyện bộ phân loại bên ngoài; và (2) Tinh chỉnh mô hình (Fine-tuning) bằng cách điều chỉnh trực tiếp các trọng số của PhoBERT kết hợp cùng một lớp phân loại được gắn trên token [CLS] trên tập dữ liệu bài báo cụ thể.

4. Khóa luận trình bày các thông số cấu hình nào cho hai phiên bản $\text{BERT}{\text{BASE}}$ và $\text{BERT}{\text{LARGE}}$?
Theo nội dung khóa luận, mô hình $\text{BERT}{\text{BASE}}$ được cấu hình với 12 tầng mã hóa (layers), kích thước đơn vị ẩn là 768, 12 đầu chú ý (attention heads) và có tổng cộng 110 triệu tham số. Trong khi đó, phiên bản $\text{BERT}{\text{LARGE}}$ gồm 24 tầng mã hóa, kích thước đơn vị ẩn là 1024, 16 đầu chú ý và có tổng cộng 340 triệu tham số.

5. Khó khăn chính về mặt thực nghiệm mà nhóm tác giả gặp phải trong quá trình thực hiện khóa luận là gì?
Khó khăn lớn nhất được ghi nhận là sự thiếu hụt tài nguyên phần cứng tính toán để huấn luyện các mô hình học sâu kích thước lớn. Do không đủ tài nguyên phần cứng để huấn luyện trên toàn bộ dữ liệu lớn ban đầu, nhóm tác giả đã phải điều chỉnh và giới hạn độ lớn của tập dữ liệu thực nghiệm trong quá trình huấn luyện và kiểm thử mô hình.

Kết luận

Khóa luận tốt nghiệp "Phân loại văn bản dùng mô hình BERT" của sinh viên Nguyễn Thị Diệu Hiền và Bùi Tấn Đạt (ngành Kỹ thuật Dữ liệu, Trường Đại học Sư phạm Kỹ thuật TP.HCM) đã nghiên cứu toàn diện cơ sở lý thuyết và triển khai thực nghiệm các mô hình học sâu tiên tiến gồm Bi-LSTM, PhoBERT và Longformer PhoBERT cho bài toán phân loại tin tức tiếng Việt. Công trình đã làm rõ ưu thế của các mô hình dựa trên kiến trúc Transformer và giải pháp giảm tải tính toán của Longformer khi xử lý văn bản có độ dài lớn. Đồng thời, nhóm tác giả đã hoàn thiện ứng dụng phân loại trực quan thông qua Streamlit và triển khai thành công lên nền tảng Hugging Face, mang lại giá trị tham khảo kỹ thuật rõ ràng cho các nghiên cứu ứng dụng NLP tiếng Việt tiếp theo.