Bối cảnh và vấn đề nghiên cứu

Sự phát triển mạnh mẽ của thương mại điện tử và các nền tảng mạng xã hội đã tạo ra khối lượng dữ liệu phản hồi, đánh giá khổng lồ từ người tiêu dùng sau khi trải nghiệm sản phẩm hoặc dịch vụ. Nguồn dữ liệu bình luận sơ cấp này chứa đựng tâm lý và ý kiến thực tế của khách hàng, đóng vai trò quan trọng giúp doanh nghiệp thấu hiểu mức độ hài lòng, nâng cao chất lượng phục vụ và tối ưu hóa hoạt động tiếp thị. Tuy nhiên, khối lượng dữ liệu phi cấu trúc quá lớn khiến việc phân tích thủ công trở nên bất khả thi. Doanh nghiệp đòi hỏi các giải pháp tự động hóa dựa trên xử lý ngôn ngữ tự nhiên (NLP) và học máy để chuyển hóa dữ liệu văn bản thô thành tri thức hỗ trợ ra quyết định.

Bản chất của bài toán phân tích ý kiến (Sentiment Analysis) trong đồ án được định hình là bài toán phân loại văn bản (Text Classification):

  • Đầu vào (Input): Các văn bản bình luận thô bằng ngôn ngữ tự nhiên của người dùng trên môi trường trực tuyến.
  • Đầu ra (Output): Nhãn phân loại trạng thái cảm xúc của bình luận (Tích cực, Tiêu cực, hoặc Trung tính).

Quá trình phân loại bình luận tiếng Việt trực tuyến đối mặt với nhiều rào cản và thách thức đặc thù:

  1. Bình luận chứa nhiều từ viết tắt, ký hiệu tối nghĩa, ngôn ngữ mạng (teen code) do người dùng diễn đạt tự do theo thói quen cá nhân.
  2. Bình luận xuất hiện nhiều lỗi chính tả, câu từ chêm xen tiếng nước ngoài.
  3. Bình luận sử dụng tiếng lóng, từ ngữ địa phương đa dạng theo vùng miền.
  4. Cách thức biểu đạt ngữ nghĩa phức tạp, xuất hiện các hiện tượng nghịch lý ngôn ngữ (sử dụng từ ngữ có vẻ tiêu cực nhưng thực chất mang hàm ý khen ngợi hoặc ngược lại).

Mục tiêu và nhiệm vụ nghiên cứu của đồ án bao gồm 4 nội dung chính:

  1. Nghiên cứu tổng quan về hệ thống phân loại ý kiến bình luận, các phương pháp biểu diễn đặc trưng từ vựng (n-grams, TF-IDF, Word2Vec) cùng các mô hình học máy truyền thống và học sâu.
  2. Tìm hiểu sâu cơ sở lý thuyết kiến trúc Transformer và mô hình biểu diễn ngôn ngữ hai chiều BERT (Bidirectional Encoder Representations from Transformers).
  3. Triển khai xây dựng và thực nghiệm tinh chỉnh (fine-tuning) mô hình BERT, đánh giá so sánh hiệu năng với các phương pháp đối chuẩn (Naive Bayes, SVM, CNN, LSTM) trên các tập dữ liệu tiếng Việt thực tế.
  4. Xây dựng giao diện ứng dụng thử nghiệm (demo) hệ thống phân tích cảm xúc bình luận trực tuyến.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Các phương pháp học máy, mạng nơ-ron học sâu và mô hình ngôn ngữ ngữ cảnh BERT ứng dụng trong bài toán phân loại ý kiến; dữ liệu bình luận trực tuyến bằng tiếng Việt.
  • Phạm vi dữ liệu: Bộ ngữ liệu chuẩn NTC-sv (dữ liệu đánh giá ẩm thực từ website Foody.vn) và bộ ngữ liệu bình luận thực tế thu thập từ website bán lẻ thegioididong.com.
  • Phạm vi không gian và thời gian: Đồ án tốt nghiệp đại học chính quy ngành Công nghệ thông tin (chuyên ngành Hệ thống thông tin, Lớp D17HTTT6), Khoa Công nghệ thông tin, Học viện Công nghệ Bưu chính Viễn thông, hoàn thành vào tháng 01/2022.

Cơ sở lý thuyết và phương pháp nghiên cứu

Đồ án xây dựng nền tảng lý thuyết thông qua việc phân tích và đối sánh các mô hình toán học và cấu trúc mạng học máy:

  • Naive Bayes: Thuật toán phân loại có giám sát dựa trên định lý xác suất Bayes với giả định các thuộc tính độc lập điều kiện đôi một:

$$P(C_i|X) = \frac{P(X|C_i)P(C_i)}{P(X)}$$

Trong đó xác suất có điều kiện của mẫu $X = (x_1, x_2, ..., x_n)$ được tính bằng tích xác suất của từng thuộc tính:

$$P(X|C_i) = \prod_{k=1}^n P(x_k|C_i)$$

Mẫu mới $X^{\text{new}}$ được gán vào lớp $C_i$ có xác suất hậu nghiệm lớn nhất: $\arg\max_i \left(P(C_i) \prod_{k=1}^n P(x_k|C_i)\right)$.

  • Support Vector Machine (SVM): Phương pháp phân loại tối ưu hóa tìm kiếm siêu phẳng quyết định $w \cdot x + b = 0$ trên không gian đặc trưng nhằm tối đa hóa khoảng cách biên (margin) giữa hai lớp dữ liệu. Các điểm dữ liệu nằm trên hai siêu phẳng biên song song được gọi là các Support Vectors, trực tiếp quyết định vị trí hàm phân tách. Đối với bài toán phân loại đa lớp ($k > 2$), đồ án trình bày chiến lược một-đối-một (one-against-one) thực hiện $k(k-1)/2$ lần phân lớp nhị phân kết hợp các hàm biến đổi hạt nhân (kernel).
  • Convolutional Neural Network (CNN): Mạng nơ-ron tích chập sử dụng các bộ lọc (filters) có kích thước khác nhau (ví dụ: 2, 3, 4) trượt qua ma trận biểu diễn câu để trích xuất các bản đồ đặc trưng (feature maps). Cơ chế 1-max pooling được áp dụng nhằm trích chọn giá trị đặc trưng lớn nhất từ mỗi bản đồ, sau đó ghép nối thành vector đặc trưng cố định đưa qua lớp Fully Connected và hàm Softmax để phân loại.
  • Long Short-Term Memory (LSTM): Biến thể của mạng hồi quy RNN được thiết kế nhằm khắc phục hiện tượng triệt tiêu đạo hàm (vanishing gradient) khi xử lý các chuỗi phụ thuộc xa. Kiến trúc ô nhớ (cell) của LSTM duy trì trạng thái ô ($c_t$) và trạng thái ẩn ($h_t$) thông qua 3 cổng điều khiển:
    • Cổng quên (Forget gate): $f_t = \sigma(U_f x_t + W_f h_{t-1} + b_f)$
    • Cổng vào (Input gate): $i_t = \sigma(U_i x_t + W_i h_{t-1} + b_i)$
    • Trạng thái ô ứng viên: $\tilde{c}t = \tanh(U_c x_t + W_c h{t-1} + b_c)$
    • Cập nhật trạng thái ô: $c_t = f_t \odot c_{t-1} + i_t \odot \tilde{c}_t$
    • Cổng ra (Output gate): $o_t = \sigma(U_o x_t + W_o h_{t-1} + b_o)$
    • Trạng thái ẩn đầu ra: $h_t = o_t \odot \tanh(c_t)$
  • Kiến trúc Transformer & Self-Attention: Hoạt động dựa trên cơ chế chú ý tự thân (Self-Attention) tính toán mối tương quan giữa các từ trong chuỗi thông qua bộ ba ma trận Query ($Q$), Key ($K$) và Value ($V$):

$$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{Q K^T}{\sqrt{d_k}}\right) V$$

Để bảo toàn thông tin thứ tự từ khi xử lý song song, mô hình sử dụng hàm mã hóa vị trí hình sin (Sinusoidal Positional Encoding):

$$PE_{(t, 2k)} = \sin\left(\frac{t}{10000^{2k/d}}\right)$$

$$PE_{(t, 2k+1)} = \cos\left(\frac{t}{10000^{2k/d}}\right)$$

Trong đó $t$ là vị trí từ trong câu, $d$ là số chiều vector nhúng và $k$ là chỉ số chiều. Kiến trúc tích hợp Multi-Head Attention, liên kết tắt (Residual Connection) và chuẩn hóa tầng (Layer Normalization).

  • Mô hình BERT: Mô hình biểu diễn ngôn ngữ hai chiều sâu (Bidirectional) được huấn luyện trước trên kho ngữ liệu lớn (Wikipedia 2.500 triệu từ và BookCorpus 800 triệu từ) qua 2 tác vụ: Mô hình ngôn ngữ có mặt nạ (Masked LM) và Dự đoán câu tiếp theo (Next Sentence Prediction). Vector đầu vào của BERT là tổng hợp của ba thành phần: Token Embeddings, Segment Embeddings và Position Embeddings. Hai phiên bản chuẩn gồm BERT-Base (12 lớp, 12 attention heads, 110 triệu tham số) và BERT-Large (24 lớp, 16 attention heads, 340 triệu tham số).

Phương pháp nghiên cứu thực nghiệm:

  • Phương pháp phân tích tài liệu: Kế thừa các công trình nghiên cứu đi trước (nghiên cứu kết hợp SVM và SVD của Trần Cao Đệ và Phạm Nguyên Khang; kiến trúc C-LSTM của Chunting Zhou et al., 2015).
  • Phương pháp thực nghiệm mô hình hóa: Dữ liệu văn bản được tiền xử lý (tách từ, làm sạch), biểu diễn qua các không gian vector (TF-IDF, Word2Vec, BERT embeddings).
  • Kỹ thuật Fine-tuning BERT: Sử dụng mô hình BERT tiền huấn luyện, trích xuất vector trạng thái ẩn độ dài 768 tại vị trí token đặc biệt [CLS] (đại diện cho toàn bộ câu), kết nối với một tầng tuyến tính Fully Connected chưa huấn luyện có kích thước $[768 \times K]$ (với $K$ là số lượng nhãn phân loại), tính toán phân phối xác suất qua hàm Softmax:

$$P(c_i|x_j) = \text{softmax}(z_i) = \frac{e^{z_i}}{\sum_{j=1}^K e^{z_j}}$$

Nhãn dự đoán được xác định theo: $C = \arg\max_i P(c_i|x_j)$, tối ưu hóa bằng hàm mất mát Cross-Entropy.

  • Phương pháp đánh giá: Sử dụng hai chỉ số định lượng là Độ chính xác (Accuracy) và Điểm F1 (F1-score).

Nguồn dữ liệu thực nghiệm:

  1. Bộ dữ liệu NTC-sv (tập dữ liệu phản hồi ẩm thực từ Foody.vn).
  2. Bộ dữ liệu bình luận người dùng lấy từ website thegioididong.com.

Nội dung chính theo từng chương

Chương 1: Đặt vấn đề

Chương 1 thiết lập bức tranh tổng quan về bài toán phân tích ý kiến bình luận khách hàng trong thương mại điện tử, nêu rõ tính cấp thiết của việc tự động hóa xử lý phản hồi người dùng. Tác giả tổng thuật các công trình nghiên cứu liên quan, tiêu biểu là nghiên cứu của Trần Cao Đệ và Phạm Nguyên Khang về phân loại văn bản sử dụng SVM kết hợp kỹ thuật giảm chiều SVD (đạt độ chính xác trung bình 91% so với Cây quyết định đạt 84%), và công trình C-LSTM của Chunting Zhou et al. (2015) kết hợp CNN và LSTM trong phân loại câu hỏi (đạt 94,6% so với SVM đạt 95%).

Chương này phân tích sâu sắc các thách thức ngôn ngữ của bình luận tiếng Việt (teencode, viết tắt, lỗi chính tả, đa nghĩa) và chỉ rõ các đóng góp chính của đồ án. Tiếp đó, tác giả phân loại các phương pháp tiếp cận dựa trên học máy thành hai nhóm: học máy truyền thống và mạng nơ-ron nhân tạo, đồng thời làm rõ sự khác biệt căn bản giữa hai nhóm:

  • Trích xuất đặc trưng: Học máy truyền thống đòi hỏi kỹ thuật viên can thiệp trích xuất đặc trưng thủ công; mạng nơ-ron có khả năng tự động học biểu diễn đặc trưng từ dữ liệu thô.
  • Phụ thuộc dữ liệu: Học máy truyền thống nhanh chóng đạt điểm bão hòa hiệu suất khi dữ liệu tăng; mạng nơ-ron học sâu tiếp tục gia tăng độ chính xác khi quy mô dữ liệu mở rộng.
  • Phần cứng và thời gian: Học máy truyền thống chạy tốt trên máy tính tiêu chuẩn và huấn luyện nhanh; mạng nơ-ron phụ thuộc vào phần cứng hiệu năng cao (GPU) để xử lý nhân ma trận và đòi hỏi thời gian huấn luyện dài.

Toàn bộ cơ sở toán học chi tiết của các mô hình Naive Bayes, Support Vector Machine (SVM), mạng nơ-ron tích chập (CNN) và mạng nơ-ron hồi quy bộ nhớ dài-ngắn (LSTM) được phân tích đầy đủ về mặt công thức và thuật toán xử lý.

Chương 2: Phân loại cảm xúc bình luận sử dụng mô hình BERT

Chương 2 trình bày có hệ thống quá trình tiến hóa của các kiến trúc NLP dẫn tới sự ra đời của mô hình BERT:

  • Mô hình Seq2Seq (Sequence-to-Sequence): Phân tích kiến trúc Encoder-Decoder của Sutskever et al. (2014) và Bahdanau et al., chỉ ra hạn chế của việc nén toàn bộ chuỗi đầu vào thành một vector ngữ cảnh có kích thước cố định.
  • Cơ chế Attention: Phân tích cơ chế Soft Attention và Hard Attention, minh chứng cách thức mô hình gán trọng số ngữ cảnh động cho từng thành phần trong câu thay vì nén cố định.
  • Mô hình Transformer: Phân tích bài báo "Attention Is All You Need" (Vaswani et al., 2017), làm rõ cơ chế Self-Attention với phép tính tích vô hướng chuẩn hóa (Dot-Product Attention), cấu trúc Multi-Head Attention song song $N$ nhánh, hàm Sinusoidal Positional Encoding, các khối liên kết tắt (Residuals Connection), tầng chuẩn hóa (Layer Normalization) và cấu trúc Decoder có mặt nạ (Masked Multi-Head Attention).
  • Kiến trúc và cơ chế BERT: Phân tích sự chuyển dịch từ biểu diễn từ tĩnh (Word2Vec, GloVe) và biểu diễn một chiều (RNN/LSTM) sang biểu diễn ngữ cảnh hai chiều thực sự. Trình bày chi tiết 2 cấu hình BERT-Base (12 lớp, 12 heads, 110M tham số) và BERT-Large (24 lớp, 16 heads, 340M tham số), cơ chế nhúng đầu vào (Token + Segment + Position Embeddings) cùng 2 tác vụ pre-training (Masked LM và NSP).
  • Phương pháp Fine-tuning: Phân tích 3 chiến lược tinh chỉnh mô hình tiền huấn luyện (đào tạo toàn bộ kiến trúc, đóng băng một phần, và đóng băng toàn bộ chỉ huấn luyện thêm tầng phân loại). Tác giả lựa chọn phương án gắn một lớp tuyến tính (Linear Layer) kích thước $[768 \times K]$ trực tiếp vào vector đầu ra của token đại diện [CLS], tối ưu phân phối xác suất Softmax bằng hàm mất mát Cross-Entropy với thuật toán tối ưu Adam. Các dải siêu tham số khuyến nghị gồm: Batch size (16, 32), Learning rate ($5\times 10^{-5}, 3\times 10^{-5}, 2\times 10^{-5}$) và số lượng Epochs (2, 3, 4).

Chương 3: Thực nghiệm và đánh giá

Chương 3 trình bày toàn bộ quy trình thực nghiệm định lượng trên các tập dữ liệu bình luận tiếng Việt:

  • Thu thập và thống kê số liệu trên hai kho ngữ liệu: Bộ dữ liệu NTC-sv (Foody) và bộ dữ liệu bình luận từ website thegioididong.com.
  • Thiết lập các phương pháp biểu diễn đặc trưng văn bản tương ứng với từng mô hình (TF-IDF cho học máy truyền thống, Word2Vec cho CNN/LSTM, và biểu diễn nhúng ngữ cảnh cho BERT).
  • Cài đặt thực nghiệm và đo lường hiệu năng 5 mô hình: Naive Bayes, SVM, CNN, LSTM và BERT.
  • Tổng hợp bảng số liệu so sánh kết quả phân loại trên từng tập dữ liệu, đối sánh trực quan các chỉ số Accuracy và F1-score.

Thiết kế và triển khai hệ thống thử nghiệm

Bên cạnh việc thực nghiệm mô hình toán học, đồ án xây dựng một hệ thống phần mềm thử nghiệm (trình bày tại Phụ lục A) nhằm trực quan hóa khả năng phân loại ý kiến người dùng:

  • Công cụ phát triển hệ thống: Sử dụng ngôn ngữ lập trình Python kết hợp các thư viện xử lý ngôn ngữ tự nhiên và học máy/học sâu chuyên dụng.
  • Quy trình hoạt động của hệ thống:
    1. Người dùng truy cập giao diện, lựa chọn mô hình học máy cần thực thi (BERT hoặc các mô hình so sánh).
    2. Người dùng lựa chọn ngành hàng/ngữ cảnh dữ liệu phân tích.
    3. Người dùng nhập nội dung văn bản bình luận tiếng Việt bất kỳ vào khung tương tác và nhấn nút phân tích.
    4. Hệ thống tiền xử lý chuỗi văn bản, đưa qua mô hình BERT đã fine-tune để tính toán và trả về kết quả nhãn phân loại cảm xúc (Tích cực/Tiêu cực/Trung tính) cùng độ tin cậy xác suất tương ứng.
  • Các màn hình giao diện chính được thiết kế:
    • Giao diện lựa chọn mô hình: Cho phép chuyển đổi linh hoạt giữa các bộ phân loại đã huấn luyện (Hình 28 trong văn bản).
    • Giao diện lựa chọn ngành hàng: Tùy biến ngữ cảnh phân tích theo lĩnh vực sản phẩm/dịch vụ (Hình 29 trong văn bản).
    • Giao diện nhập liệu bình luận: Tiếp nhận văn bản ngôn ngữ tự nhiên thô từ người dùng (Hình 30 trong văn bản).
    • Giao diện hiển thị kết quả: Trình bày nhãn cảm xúc và phân phối dự đoán của mô hình BERT (Hình 31 trong văn bản).

Kết quả và đóng góp

Kết quả thực nghiệm chính

Kết quả thực nghiệm trên hai tập dữ liệu bình luận tiếng Việt được tác giả tổng hợp cụ thể qua các bảng số liệu sau:

Tập dữ liệu thực nghiệm Mô hình Độ chính xác (Accuracy) Điểm F1 (F1-score)
Bộ dữ liệu NTC-sv (Foody.vn) BERT 86,10% 85,35%
Bộ dữ liệu Thế giới di động BERT 87,18% 78,48%

Ghi chú số liệu: Dữ liệu được trích xuất chính xác theo Bảng 3, Bảng 4 và phần Tóm tắt trong văn bản đồ án.

Kết quả thực nghiệm cho thấy mô hình BERT đạt hiệu năng vượt trội trên cả hai miền dữ liệu, chứng minh khả năng biểu diễn ngữ cảnh hai chiều sâu sắc của kiến trúc Transformer giúp nhận diện chính xác các sắc thái cảm xúc phức tạp trong bình luận tiếng Việt so với các thuật toán học máy truyền thống (Naive Bayes, SVM) và mạng nơ-ron tuần tự (CNN, LSTM).

Đóng góp của đồ án

  1. Hệ thống hóa cơ sở học thuật: Tổng hợp toàn diện lý thuyết về phân loại văn bản và xử lý ngôn ngữ tự nhiên, từ các mô hình xác suất cổ điển (Naive Bayes), tối ưu hóa hình học (SVM), mạng nơ-ron sâu (CNN, LSTM) đến kiến trúc tự chú ý Transformer và mô hình ngôn ngữ BERT.
  2. Triển khai kỹ thuật fine-tuning cho tiếng Việt: Xây dựng thành công quy trình tinh chỉnh mô hình tiền huấn luyện BERT áp dụng cho bài toán phân loại cảm xúc bình luận tiếng Việt trực tuyến với cấu hình siêu tham số tối ưu.
  3. Thực nghiệm đối chuẩn đa mô hình: Cung cấp số liệu kiểm chứng thực nghiệm khách quan, so sánh hiệu năng giữa 5 mô hình phân loại trên 2 tập dữ liệu thương mại điện tử thực tế tại Việt Nam.
  4. Hiện thực hóa ứng dụng: Xây dựng phần mềm demo trực quan minh chứng tính khả thi của việc ứng dụng mô hình BERT vào quy trình khai thác phản hồi khách hàng tự động cho doanh nghiệp.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của nghiên cứu được ghi nhận trong văn bản:

  • Xử lý các bình luận phi chuẩn chứa nhiều teen code phức tạp, tiếng lóng địa phương dị thường, lỗi chính tả nghiêm trọng hoặc các cấu trúc câu mang tính mỉa mai, ẩn ý vẫn là rào cản làm giảm độ chính xác phân loại.
  • Mô hình BERT sở hữu số lượng tham số rất lớn (từ 110 triệu tham số trở lên), dẫn tới sự phụ thuộc cao vào tài nguyên phần cứng tính toán chuyên dụng (GPU) và thời gian huấn luyện/suy luận kéo dài hơn nhiều so với các mô hình học máy truyền thống.
  • Dữ liệu thực nghiệm mới chỉ tập trung khảo sát trên hai lĩnh vực cụ thể là dịch vụ ẩm thực (Foody) và bán lẻ thiết bị di động (Thế giới di động), chưa bao quát toàn bộ các ngành hàng thương mại điện tử khác.

Hướng nghiên cứu và phát triển tiếp theo:

  • Mở rộng quy mô và độ đa dạng của kho ngữ liệu bình luận tiếng Việt trên nhiều nền tảng và ngành hàng khác nhau.
  • Nghiên cứu sâu các kỹ thuật tiền xử lý chuyên biệt nhằm chuẩn hóa teen code, sửa lỗi chính tả tự động và nhận diện tiếng lóng tiếng Việt.
  • Thử nghiệm các biến thể mô hình ngôn ngữ tiếng Việt chuyên sâu hoặc tối ưu hóa kiến trúc mạng nhằm giảm thiểu kích thước mô hình và chi phí tính toán khi triển khai thực tế.

Giá trị tham khảo

Tài liệu đồ án mang lại giá trị tham khảo thiết thực cho các nhóm đối tượng:

  • Sinh viên và học viên chuyên ngành CNTT, Hệ thống thông tin, Khoa học dữ liệu và Trí tuệ nhân tạo: Là tài liệu học thuật hoàn chỉnh giúp nắm bắt từ nền tảng toán học của các thuật toán phân loại kinh điển (Naive Bayes, SVM, CNN, LSTM) đến các kiến trúc hiện đại (Seq2Seq, Attention, Transformer, BERT).
  • Người nghiên cứu và kỹ sư NLP tiếng Việt: Cung cấp quy trình chi tiết về cách thiết lập vector đầu vào, cơ chế biểu diễn vị trí Sinusoidal Positional Encoding, và kỹ thuật tinh chỉnh Linear Layer trên đầu ra token [CLS] của BERT.
  • Doanh nghiệp và nhà phát triển ứng dụng thương mại điện tử: Cung cấp cơ sở khoa học và mô hình thực nghiệm để xây dựng hệ thống lắng nghe phản hồi khách hàng, tự động đo lường mức độ hài lòng và đánh giá sản phẩm.

Câu hỏi thường gặp

1. Tác giả đã khảo nghiệm và so sánh những mô hình phân loại nào trong đồ án?
Tác giả đã triển khai thực nghiệm và so sánh hiệu năng của 5 mô hình phân loại văn bản: hai phương pháp học máy truyền thống gồm Naive Bayes và Support Vector Machine (SVM); hai mô hình học sâu gồm Convolutional Neural Network (CNN) và Long Short-Term Memory (LSTM); cùng mô hình biểu diễn ngôn ngữ hai chiều BERT.

2. Kết quả độ chính xác và điểm F1 cụ thể của mô hình BERT trên hai bộ dữ liệu thực nghiệm là bao nhiêu?
Theo số liệu công bố trong đồ án, mô hình BERT đạt:

  • Trên bộ dữ liệu Foody (NTC-sv): Độ chính xác (Accuracy) đạt 86,10%, điểm F1 đạt 85,35%.
  • Trên bộ dữ liệu website Thế giới di động: Độ chính xác (Accuracy) đạt 87,18%, điểm F1 đạt 78,48%.

3. Vector đầu vào đưa vào mô hình BERT được cấu tạo từ những thành phần nhúng nào?
Chuỗi đầu vào của mô hình BERT được ghép nối bắt đầu bằng token phân loại đặc biệt [CLS] và kết thúc hoặc phân tách bằng token [SEP]. Mỗi biểu diễn đầu vào là tổng hợp của 3 vector nhúng:

  • Token Embeddings: Biểu diễn vector của từng từ/mảnh từ vựng.
  • Segment Embeddings: Biểu diễn phân đoạn giúp phân biệt giữa các câu trong cặp câu đầu vào.
  • Position Embeddings: Biểu diễn thông tin vị trí thứ tự của các từ trong chuỗi văn bản.

4. Kỹ thuật fine-tuning mô hình BERT được tác giả triển khai như thế nào?
Tác giả sử dụng mô hình BERT đã được tiền huấn luyện, trích xuất vector trạng thái ẩn độ dài 768 tại vị trí token [CLS] (đại diện cho toàn bộ câu), kết nối với một tầng tuyến tính bổ sung (Linear Layer) có kích thước ma trận trọng số $[768 \times K]$ (với $K$ là số lớp phân loại), sử dụng hàm kích hoạt Softmax để tính phân phối xác suất nhãn và tối ưu hóa qua hàm mất mát Cross-Entropy với thuật toán Adam.

5. Cơ chế Positional Encoding trong kiến trúc Transformer được tính toán theo công thức toán học nào?
Transformer tính toán vector mã hóa vị trí bằng các hàm lượng giác hình sin và cosin xen kẽ theo công thức:

  • Tại các vị trí phần tử chẵn ($i = 2k$): $PE_{(t, 2k)} = \sin\left(\frac{t}{10000^{2k/d}}\right)$
  • Tại các vị trí phần tử lẻ ($i = 2k + 1$): $PE_{(t, 2k+1)} = \cos\left(\frac{t}{10000^{2k/d}}\right)$
    Trong đó $t$ là vị trí của từ trong chuỗi văn bản, $d$ là số chiều của vector nhúng từ, và $k$ là chỉ số chiều tương ứng.

Kết luận

Đồ án tốt nghiệp "Phân tích ý kiến bình luận của người dùng trực tuyến sử dụng mô hình BERT" của sinh viên Nguyễn Thị Hà (Học viện Công nghệ Bưu chính Viễn thông) đã giải quyết trọn vẹn bài toán phân loại cảm xúc phản hồi khách hàng bằng tiếng Việt trên môi trường số. Bằng việc kết hợp chặt chẽ giữa cơ sở lý thuyết sâu sắc từ học máy truyền thống đến mô hình ngôn ngữ ngữ cảnh hiện đại, nghiên cứu đã chứng minh tính ưu việt của mô hình BERT với độ chính xác đạt trên 86% trên cả hai bộ dữ liệu thực tế NTC-sv (Foody) và Thế giới di động. Công trình không chỉ cung cấp tài liệu tham khảo học thuật có giá trị cao về mặt phương pháp luận và kỹ thuật tinh chỉnh mô hình Transformer cho tiếng Việt mà còn mang tính ứng dụng thực tiễn rõ nét thông qua hệ thống phần mềm thử nghiệm phân tích ý kiến trực quan.