Bối cảnh và vấn đề nghiên cứu

Đề tài được thực hiện trong khuôn khổ dự án học phần Xử lý ngôn ngữ tự nhiên (Natural Language Processing Midterm Project) tại Khoa Công nghệ Thông tin, Trường Đại học Tôn Đức Thắng, niên khóa 24 (năm 2023), dưới sự hướng dẫn chuyên môn của giảng viên Thầy Lê Anh Cường và do hai sinh viên Hồ Đăng Phúc Bảo (MSSV: 520H0448), Phạm Hùng Phát (MSSV: 520H0272) thực hiện.

Bối cảnh thực tiễn của nghiên cứu xuất phát từ sự bùng nổ của thông tin báo chí trực tuyến tại Việt Nam. Việc quản trị, khai phá và xử lý nguồn dữ liệu văn bản tiếng Việt quy mô lớn đòi hỏi phải xây dựng các hệ thống tự động có khả năng phân tích nội dung, tìm kiếm văn bản tương đồng, phân loại chuyên mục và mô hình hóa chuỗi ngôn ngữ. Ngôn ngữ tự nhiên nói chung và tiếng Việt nói riêng có tính đa nghĩa, cấu trúc từ ghép phức tạp, do đó việc chuyển đổi văn bản sang dạng biểu diễn vector phù hợp là điều kiện tiên quyết quyết định độ chính xác của các thuật toán xử lý hạ tầng tiếp theo.

Nhiệm vụ nghiên cứu của đề tài được chia thành bốn nội dung cốt lõi:

  1. Phân tích cấu trúc và đặc trưng của tập dữ liệu bài báo tiếng Việt.
  2. Xây dựng và đánh giá mô hình tìm kiếm bài báo có nội dung gần nhất với bài báo mới dựa trên các phương pháp biểu diễn vector và độ đo khoảng cách.
  3. Xây dựng và so sánh thực nghiệm mô hình phân loại chuyên mục bài báo bằng việc kết hợp các kỹ thuật trích xuất đặc trưng với các thuật toán học máy có giám sát.
  4. Xây dựng mô hình ngôn ngữ thống kê n-gram kết hợp kỹ thuật làm mịn Laplace smoothing để thực hiện bài toán dự đoán từ tiếp theo và sinh văn bản tự động.

Đối tượng nghiên cứu là tập dữ liệu bài báo tiếng Việt được thu thập trong phạm vi thời gian một năm. Dữ liệu khảo sát bao gồm ba trường thông tin cơ bản: phân loại thể loại (category), tiêu đề bài viết (title), và nội dung chi tiết (content).

Cơ sở lý thuyết và phương pháp

Khung lý thuyết và các kỹ thuật biểu diễn văn bản

Đề tài khảo cứu và ứng dụng bốn kỹ thuật biểu diễn văn bản chính từ mức độ thống kê truyền thống đến biểu diễn ngữ nghĩa phân tán:

  • Bag-of-Words (BOW): Kỹ thuật chuyển đổi văn bản thành không gian vector dựa trên tần suất xuất hiện của từ trong tài liệu. Mô hình này xem văn bản là một túi từ độc lập, bỏ qua hoàn toàn cấu trúc ngữ pháp, ngữ cảnh và trật tự xuất hiện của các từ.
  • Term Frequency - Inverse Document Frequency (TF-IDF): Kỹ thuật định lượng mức độ quan trọng của từ thông qua tích số giữa tần số xuất hiện của từ trong văn bản ($TF$) và tần số nghịch đảo của từ trong toàn bộ kho ngữ liệu ($IDF$). Công thức giúp giảm trọng số của các từ xuất hiện phổ biến trong mọi văn bản và tăng trọng số của các từ mang tính đặc trưng cho từng văn bản.
  • Word2Vec: Mô hình biểu diễn phân tán (distributed representation) được công bố bởi Tomas Mikolov và nhóm nghiên cứu tại Google (2013). Kỹ thuật này học biểu diễn vector cho từng từ trong không gian nhiều chiều thông qua ngữ cảnh xung quanh, giúp các từ có quan hệ ngữ nghĩa gần nhau sẽ có vị trí gần nhau trong không gian vector.
  • Doc2Vec: Kỹ thuật mở rộng từ Word2Vec cho phép ánh xạ toàn bộ một câu hoặc một văn bản thành một vector đặc trưng có kích thước cố định, đại diện cho ngữ nghĩa toàn cục của văn bản đó.

Độ đo tương đồng và khoảng cách

Đề tài sử dụng hai độ đo toán học để định lượng mức độ tương đồng giữa các vector đại diện cho văn bản:

  • Độ đo tương đồng Cosine (Cosine Similarity): Xác định góc giữa hai vector trong không gian đa chiều, giá trị nằm trong khoảng từ -1 đến 1 (với dữ liệu vector tần số không âm, giá trị thực tế nằm từ 0 đến 1). Giá trị càng tiến gần 1 thể hiện mức độ tương đồng về phương hướng nội dung càng cao, không bị phụ thuộc vào độ dài tuyệt đối của văn bản.
  • Khoảng cách Euclidean (Euclidean Distance): Độ đo khoảng cách hình học đường thẳng giữa hai điểm vector trong không gian đa chiều, được tính bằng căn bậc hai của tổng bình phương độ lệch giữa các tọa độ thành phần. Khoảng cách càng nhỏ thể hiện hai văn bản càng gần nhau.

Mô hình học máy và mô hình ngôn ngữ

  • Mô hình học máy phân loại: Sáu thuật toán học máy được triển khai gồm Naive Bayes (NB), K-Nearest Neighbor (KNN), Decision Trees (DT), Logistic Regression (LR), Support Vector Machines (SVM), và Random Forest (RF).
  • Mô hình ngôn ngữ N-gram: Nghiên cứu áp dụng mô hình Bigram ($n=2$) để tính xác suất có điều kiện của một từ xuất hiện khi biết từ đứng trước $P(w_i | w_{i-1})$.
  • Kỹ thuật làm mịn Laplace (Laplace Smoothing / Add-1 Smoothing): Kỹ thuật cộng thêm giá trị cố định vào tần số đếm nhằm loại bỏ xác suất bằng 0 đối với các cụm từ chưa từng xuất hiện trong tập huấn luyện (zero probability problem). Công thức được sử dụng:

$$\text{Probability} = \frac{\text{count}(\text{bigram}) + 1}{\text{count}(\text{condition_word}) + \text{vocab_size}}$$

Trong đó:

  • $\text{count}(\text{bigram})$ là số lần xuất hiện của cặp từ liền kề.

  • $\text{count}(\text{condition_word})$ là số lần xuất hiện của từ điều kiện đứng trước.

  • $\text{vocab_size}$ là tổng số lượng từ duy nhất trong bộ từ điển.

  • Phương pháp tiền xử lý: Sử dụng phương thức phân đoạn từ tiếng Việt (Word Segmentation) để chia câu thành các token từ có nghĩa, chuyển đổi chữ in hoa thành chữ thường và loại bỏ các ký tự dấu câu không mang giá trị ngữ nghĩa.

Nội dung chính theo từng chương

Part 1: Phân tích dữ liệu bài báo

Phần này tập trung phân tích tổng thể cấu trúc tập ngữ liệu bài báo tiếng Việt được thu thập trong khoảng thời gian một năm. Mỗi bản ghi dữ liệu được chuẩn hóa theo ba trường thông tin:

  • category: Nhãn thể loại bài viết, đóng vai trò là biến mục tiêu cho các bài toán phân loại có giám sát.
  • title: Tiêu đề bài báo, chứa đựng các từ khóa tóm tắt ngắn gọn.
  • content: Phần thân bài viết với độ dài văn bản biến thiên, là nguồn dữ liệu chính để trích xuất đặc trưng và tính toán phân phối từ vựng.

Part 2: Xây dựng mô hình tìm bài báo gần nhất với bài báo mới

Phần 2 trình bày quy trình xây dựng hệ thống gợi ý và tìm kiếm bài báo tương tự thông qua việc thử nghiệm chéo ba phương pháp vector hóa (BOW, TF-IDF, Word2Vec) với hai độ đo khoảng cách (Cosine Similarity, Euclidean Distance).

Để kiểm thử thực nghiệm, nhóm tác giả sử dụng câu truy vấn đầu vào có nội dung "bóng đá Việt Nam" và tiến hành đo đạc thời gian tính toán cùng độ chính xác trả về của hệ thống.

Bảng phân tích ưu - nhược điểm của các phương pháp biểu diễn trong bài toán tìm kiếm:

Phương pháp Ưu điểm ghi nhận Nhược điểm ghi nhận
BOW Biểu diễn vector đơn giản; tính toán nhanh; xử lý được văn bản dài và từ vựng phong phú; độ chính xác tốt trên văn bản ngắn. Bỏ qua hoàn toàn trật tự từ; bị ảnh hưởng nặng bởi các hư từ; kém hiệu quả đối với các văn bản có ngữ cảnh tương đồng.
TF-IDF Phù hợp dữ liệu lớn; kích thước vector tối ưu hơn từ điển đầy đủ; đánh giá chính xác độ quan trọng của từ đặc trưng. Không lưu cấu trúc cú pháp và ngữ nghĩa sâu; gặp khó khăn với từ đa nghĩa hoặc đồng âm (ví dụ: "các", "cựu").
Word2Vec Biểu diễn ngữ nghĩa phân tán; có tính đối xứng quan hệ từ; ứng dụng tốt cho nhiều bài toán tìm kiếm tương đồng. Đòi hỏi dữ liệu huấn luyện lớn và cấu hình phần cứng mạnh; không xử lý được từ mới ngoài từ điển (OOV); độ đo Euclidean không phản ánh đúng do lệch kích thước vector.

Đánh giá thực nghiệm về thời gian phản hồi:

  • Với độ đo Cosine Similarity: Cả ba phương pháp có thời gian thực hiện chênh lệch không quá lớn; trong đó TF-IDF có thời gian phản hồi nhanh nhất và BOW có thời gian chậm nhất.
  • Với độ đo Euclidean Distance: Thời gian chênh lệch giữa các mô hình rất rõ rệt; phương pháp TF-IDF tiếp tục đạt tốc độ xử lý nhanh nhất, trong khi Word2Vec có thời gian thực hiện chậm nhất.
  • Đánh giá chung: TF-IDF là phương pháp tối ưu nhất cho bài toán tìm bài báo gần nhất khi kết hợp với độ đo Cosine Similarity.

Part 3: Xây dựng mô hình phân loại bài báo sử dụng các phương pháp học máy khác nhau

Phần 3 thực hiện huấn luyện và kiểm thử chéo 4 phương pháp biểu diễn văn bản (BOW, TF-IDF, Word2Vec, Doc2Vec) trên 6 thuật toán học máy (NB, KNN, DT, LR, SVM, RF).

Bảng tổng hợp độ chính xác phân loại bài báo ghi nhận trong báo cáo:

Phương pháp biểu diễn Naive Bayes (NB) K-Nearest Neighbor (KNN) Decision Trees (DT) Logistic Regression (LR) Support Vector Machines (SVM) Random Forest (RF)
BOW 0.77 (Cao nhất) Có thử nghiệm Thấp nhất Có thử nghiệm Có thử nghiệm Có thử nghiệm
TF-IDF Có thử nghiệm — Thấp nhất 0.77 (Cao nhất) 0.77 (Cao nhất) Có thử nghiệm
Word2Vec Thấp nhất Có thử nghiệm Có thử nghiệm Có thử nghiệm 0.75 (Cao nhất) Có thử nghiệm
Doc2Vec Thấp nhất Có thử nghiệm Có thử nghiệm Có thử nghiệm 0.69 (Cao nhất) Có thử nghiệm

Nhận xét từ kết quả thực nghiệm:

  1. Nhóm BOW: Mô hình Naive Bayes đạt độ chính xác cao nhất (0.77) do tính chất giả định độc lập có điều kiện phù hợp với biểu diễn đếm từ; mô hình Decision Trees có độ chính xác thấp nhất.
  2. Nhóm TF-IDF: Mô hình Logistic Regression và SVM cùng đạt độ chính xác cao nhất (0.77), cho thấy các mô hình phân tách tuyến tính và tối ưu biên hoạt động hiệu quả trên không gian vector thưa có trọng số; Decision Trees đạt kết quả thấp nhất.
  3. Nhóm Word2Vec: SVM đạt kết quả cao nhất (0.75), Naive Bayes cho độ chính xác thấp nhất do phân phối vector liên tục không còn phù hợp với giả định phân phối rời rạc truyền thống của NB.
  4. Nhóm Doc2Vec: SVM đạt độ chính xác cao nhất (0.69), Naive Bayes có kết quả thấp nhất. Mức độ chính xác chung của Doc2Vec thấp hơn BOW và TF-IDF do kích thước dữ liệu huấn luyện nhúng chưa đủ lớn để đạt trạng thái hội tụ tối ưu.

Part 4: Xây dựng mô hình ngôn ngữ dựa theo phương pháp N-gram

Phần 4 triển khai xây dựng mô hình sinh chuỗi văn bản tự động thông qua bốn bước kỹ thuật:

  1. Tiền xử lý văn bản: Loại bỏ dấu câu, chuẩn hóa chữ thường và thực hiện Word Segmentation để nhận diện đơn vị từ ghép tiếng Việt.
  2. Xây dựng từ điển và ngữ cảnh: Chia văn bản thành các câu đơn, trích xuất danh sách từ vựng độc nhất và thiết lập bảng đếm tần suất xuất hiện của các cặp từ liền kề (Bigram context).
  3. Thực hiện kỹ thuật làm mịn: Tích hợp thuật toán Laplace Smoothing vào ma trận xác suất điều kiện nhằm đảm bảo không có cặp từ nào nhận giá trị xác suất bằng 0.
  4. Dự đoán và sinh văn bản: Nhập chuỗi từ mồi, tính toán phân phối xác suất của từ tiếp theo và nối chuỗi lặp để sinh đoạn văn bản mới.

Kiểm thử thực tế được thực hiện với đoạn văn bản đầu vào là: “Đơn hàng chưa”. Hệ thống đã tính toán thành công xác suất điều kiện của các bigram tương ứng và sinh ra chuỗi văn bản tiếp theo hoàn chỉnh dựa trên phân phối xác suất huấn luyện.

Kết quả và đóng góp

Kết quả chính

  • Xác định được hiệu năng tìm kiếm văn bản tương đồng: Phương pháp TF-IDF kết hợp độ đo Cosine Similarity cho tốc độ xử lý nhanh nhất và chất lượng so khớp tốt hơn so với BOW và Word2Vec.
  • Xác định được độ chính xác phân loại của các cặp mô hình:
    • BOW kết hợp Naive Bayes đạt độ chính xác $0.77$.
    • TF-IDF kết hợp Logistic Regression và SVM cùng đạt độ chính xác $0.77$.
    • Word2Vec kết hợp SVM đạt độ chính xác $0.75$.
    • Doc2Vec kết hợp SVM đạt độ chính xác $0.69$.
  • Triển khai thành công hàm tính xác suất bigram có làm mịn Laplace Smoothing, phục vụ dự đoán và sinh văn bản tự động trên dữ liệu thực nghiệm tiếng Việt.

Đóng góp thực tiễn

  • Cung cấp bức tranh so sánh thực nghiệm toàn diện giữa các kỹ thuật trích xuất đặc trưng cổ điển (tần số đếm, trọng số TF-IDF) và hiện đại (nhúng từ Word2Vec, nhúng văn bản Doc2Vec) trên cùng một tập ngữ liệu báo chí tiếng Việt.
  • Đánh giá thực tế sự tương thích giữa dạng biểu diễn dữ liệu đầu vào với 6 thuật toán học máy phổ biến, chỉ ra rằng SVM và Logistic Regression có tính ổn định cao trên cả không gian vector thưa lẫn vector nhúng liên tục.

Hạn chế và hướng nghiên cứu tiếp

  • Hạn chế:
    • Các phương pháp nhúng ngữ nghĩa (Word2Vec, Doc2Vec) chưa phát huy tối đa hiệu quả do giới hạn về quy mô tập dữ liệu huấn luyện và tài nguyên tính toán.
    • Mô hình n-gram mới dừng lại ở bậc Bigram ($n=2$) với kỹ thuật làm mịn cơ bản Laplace Smoothing, chưa thử nghiệm các bậc n-gram cao hơn ($n \ge 3$) hoặc các phương pháp làm mịn nâng cao.
    • Báo cáo chưa đề cập chi tiết quá trình tối ưu hóa siêu tham số (hyperparameter tuning) cho từng thuật toán học máy.
  • Hướng nghiên cứu mở rộng:
    • Mở rộng tập dữ liệu huấn luyện báo chí tiếng Việt với quy mô lớn hơn để cải thiện chất lượng của vector nhúng Word2Vec và Doc2Vec.
    • Tích hợp các kiến trúc mô hình ngôn ngữ dựa trên Transformer (như BERT, PhoBERT) để giải quyết triệt để bài toán hiểu ngữ cảnh và từ đa nghĩa trong tiếng Việt.

Giá trị tham khảo

Báo cáo dự án là tài liệu học tập và tham khảo phù hợp cho:

  • Sinh viên ngành Công nghệ Thông tin, Khoa học Dữ liệu, Trí tuệ Nhân tạo đang tiếp cận môn học Xử lý ngôn ngữ tự nhiên hoặc Khai phá dữ liệu văn bản.
  • Người nghiên cứu muốn tìm hiểu quy trình xây dựng thực nghiệm từ tiền xử lý, trích xuất đặc trưng văn bản tiếng Việt đến so sánh đối chuẩn hiệu năng giữa các thuật toán phân loại học máy.
  • Tài liệu cung cấp mã giả/quy trình thuật toán rõ ràng cho việc tính toán khoảng cách vector và công thức làm mịn Laplace cho bài toán mô hình ngôn ngữ thống kê.

Câu hỏi thường gặp

1. Tập dữ liệu thực nghiệm trong đề tài bao gồm những trường thông tin nào?
Tập dữ liệu bài báo tiếng Việt được thu thập trong vòng 1 năm và gồm 3 trường thông tin chính: category (thể loại/chủ đề bài báo), title (tiêu đề bài báo), và content (nội dung chi tiết bài báo).

2. Phương pháp biểu diễn nào đạt độ chính xác phân loại cao nhất và kết hợp với mô hình học máy nào?
Độ chính xác cao nhất đạt mức $0.77$, được ghi nhận ở hai tổ hợp: phương pháp BOW kết hợp với mô hình Naive Bayes, và phương pháp TF-IDF kết hợp với mô hình Logistic Regression hoặc Support Vector Machines (SVM).

3. Tại sao độ đo Euclidean Distance không phù hợp khi sử dụng cùng phương pháp Word2Vec?
Độ đo khoảng cách Euclidean bị ảnh hưởng bởi độ dài và sự khác biệt về kích thước hình học giữa các vector biểu diễn từ, do đó không phản ánh chính xác độ tương đồng về mặt hướng và ngữ nghĩa của từ như độ đo Cosine Similarity.

4. Công thức Laplace Smoothing được triển khai như thế nào trong mô hình Bigram của đề tài?
Công thức được áp dụng là:
$$\text{Probability} = \frac{\text{count}(\text{bigram}) + 1}{\text{count}(\text{condition_word}) + \text{vocab_size}}$$
Trong đó tử số được cộng thêm 1 và mẫu số cộng thêm tổng số lượng từ duy nhất ($\text{vocab_size}$) để tránh hiện tượng xác suất bằng 0.

5. Cụm từ nào đã được sử dụng để kiểm thử chức năng sinh văn bản tự động của mô hình N-gram?
Tác giả đã sử dụng cụm từ đầu vào là “Đơn hàng chưa” để đưa vào mô hình Bigram nhằm tính xác suất điều kiện và dự đoán chuỗi từ tiếp theo.

Kết luận

Báo cáo dự án giữa kỳ môn Xử lý ngôn ngữ tự nhiên của nhóm tác giả tại Trường Đại học Tôn Đức Thắng đã hoàn thành trọn vẹn bốn nhiệm vụ nghiên cứu trên tập ngữ liệu bài báo tiếng Việt. Nghiên cứu cung cấp các kết quả so sánh định lượng chi tiết giữa các kỹ thuật biểu diễn văn bản (BOW, TF-IDF, Word2Vec, Doc2Vec) kết hợp với các thuật toán học máy và độ đo khoảng cách. Đồng thời, đề tài đã hiện thực hóa thành công mô hình ngôn ngữ Bigram có làm mịn Laplace phục vụ bài toán dự đoán và sinh văn bản tự động.