Tổng quan luận án

Công trình "Nghiên cứu ứng dụng kỹ thuật học bán giám sát vào lĩnh vực phân loại văn bản tiếng Việt" được tác giả Võ Duy Thanh thực hiện tại Đại học Đà Nẵng năm 2017, thuộc chuyên ngành Khoa học máy tính (mã số 62 48 01 01) dưới sự hướng dẫn khoa học của Đoàn Văn Ban. Luận án giải quyết các vấn đề kỹ thuật trong việc phân loại tự động tài liệu số tiếng Việt bằng cách tiếp cận định lượng và mô hình hóa toán học trong học máy bán giám sát (Semi-Supervised Learning).

Tính cấp thiết và khoảng trống nghiên cứu

Sự gia tăng nhanh chóng của khối lượng tài liệu số trên môi trường mạng (thư viện điện tử, cổng thông tin điện tử, báo mạng, các ứng dụng tìm kiếm) đặt ra yêu cầu cấp thiết về phân loại văn bản tự động nhằm giảm thiểu chi phí và thời gian so với phương pháp thủ công. Trong học máy, thuật toán máy véc tơ hỗ trợ (Support Vector Machine - SVM) là công cụ phân loại nhị phân hiệu quả cao. Tuy nhiên, khi ứng dụng vào văn bản tiếng Việt, việc sử dụng mô hình không gian véc tơ truyền thống bộc lộ hai rào cản lớn:

  1. Đặc trưng phức tạp của ngôn ngữ tiếng Việt với nhiều hiện tượng từ đồng âm khác nghĩa hoặc các từ khác nhau về mặt ký tự nhưng tương đương về mặt ngữ nghĩa phân loại. Trong không gian véc tơ Euclid thông thường, các văn bản chứa từ đồng âm khác nghĩa vẫn có khoảng cách ngắn dù nội dung khác biệt, dẫn đến phân loại sai lệch.
  2. Sự khan hiếm của các kho ngữ liệu tiếng Việt được gán nhãn sẵn phục vụ huấn luyện mô hình học có giám sát. Việc gán nhãn thủ công đòi hỏi chi phí lớn và thời gian kéo dài (thực nghiệm của Lang chỉ ra việc gán nhãn 1.000 bài báo chỉ mang lại độ chính xác khoảng 50%).

Khoảng trống nghiên cứu mà luận án tập trung giải quyết là xây dựng các giải pháp học bán giám sát để tận dụng lượng lớn văn bản chưa gán nhãn kết hợp với lượng nhỏ văn bản đã gán nhãn (seed set), cải tiến hàm khoảng cách và giảm số chiều véc tơ biểu diễn văn bản tiếng Việt.

Mục tiêu nghiên cứu

Luận án xác định mục tiêu chung là nghiên cứu ứng dụng kỹ thuật học bán giám sát vào phân loại văn bản tiếng Việt, cùng 3 mục tiêu cụ thể:

  1. Hệ thống hóa và phân tích đầy đủ các vấn đề liên quan đến phân loại văn bản gồm: các mô hình phân loại, các phương pháp, kỹ thuật học có giám sát, học không có giám sát, học bán giám sát và học tăng cường.
  2. Đề xuất các giải pháp nhằm cải tiến phương pháp phân loại văn bản tiếng Việt để cải thiện chất lượng phân loại cả về kết quả lẫn tốc độ xử lý.
  3. Tạo ra kho dữ liệu và các công cụ phục vụ phân loại văn bản tiếng Việt.

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Kỹ thuật học bán giám sát; các thuật toán phân loại, phân cụm dữ liệu trong cơ sở dữ liệu có cấu trúc và bán cấu trúc; phương pháp tách từ, tách câu trong các loại văn bản; một số hệ thống phân loại văn bản hiện có.
  • Phạm vi nghiên cứu:
    • Về kỹ thuật: Giới hạn nghiên cứu ở một số kỹ thuật học bán giám sát dựa trên SVM, phân loại bán giám sát với quá trình xử lý hồi quy Gauss, phân loại học bán giám sát sử dụng hàm nhân, kỹ thuật nhân đồ thị sử dụng phép biến đổi phổ, phương pháp cự ly trắc địa kết hợp với máy véc tơ hỗ trợ, thuật toán tìm đường đi ngắn nhất trong mô hình cự ly trắc địa để xây dựng ma trận nhân trong SVM, phương pháp rút gọn số chiều véc tơ và gom cụm từ.
    • Về ứng dụng ngôn ngữ: Tập trung cho bài toán phân loại văn bản tiếng Việt.

Tổng quan tài liệu và vị trí của luận án

Luận án phân tích có hệ thống các công trình nghiên cứu trong và ngoài nước về học bán giám sát và xử lý văn bản:

Hướng nghiên cứu quốc tế

  • Phát triển kỹ thuật học bán giám sát: Các nghiên cứu sơ khởi trước năm 2005 của Seeger [70], Cozman và Cohen [12], [13] đã đề xuất các thuật toán áp dụng giới hạn trong một số lĩnh vực. Giai đoạn sau năm 2005, các công trình tổng quan của Zhu [93], [95], Chapelle, Schölkopf và Zien [10], Balcan và Blum [4], Bennett và Demiriz [7] đã khái quát hóa bài toán.
  • Các mô hình học bán giám sát cụ thể: Hướng tiếp cận bán giám sát dựa trên máy véc tơ hỗ trợ (S3VM, TSVM) được nghiên cứu bởi Vapnik (1998) [36], Collobert và cộng sự [7], Fung và Mangasarian [26], Gieseke và cộng sự [28], Joachims [36], Sindhwani và Keerthi [72], Wang và Shen [80], Zhao và cộng sự [94]. Học bán giám sát với cây Bayes được phát triển bởi Brefeld và Scheffer [8], Gao và cộng sự [32]. Phương pháp phân loại bán giám sát với quá trình hồi quy Gauss do Lawrence và Jordan [56] thực hiện. Thuật toán cực đại kỳ vọng (EM) kết hợp dữ liệu chưa gán nhãn được nghiên cứu bởi Dempster và cộng sự [14], Ghahramani và Jordan [23], Nigam và cộng sự [60]. Thuật toán Co-training dựa trên hai khung nhìn độc lập điều kiện được Blum và Mitchell (1998) [2], Mitchell [11], Nigam và Ghani [52], Steedman và cộng sự [76], Zhou và Li [97] chứng minh bằng lý thuyết học PAC. Ứng dụng Co-training trong khử nhập nhằng nghĩa từ được Yarowsky (1995) [88] thực hiện, nhận dạng thực thể tên riêng bởi Collins và Singer [12], phân lớp cụm danh từ địa lý bởi Jones [40], Phillips và Riloff [64], Riloff và Jones [66].
  • Biểu diễn văn bản và không gian phân loại: Joachims [36], [49] chứng minh SVM hoạt động hiệu quả trên không gian véc tơ số chiều lớn (>10.000 chiều) so với Naïve Bayes (khoảng 2.000 chiều) và k-Nearest Neighbors (khoảng 2.415 chiều). Kỹ thuật biểu diễn từ phân tán (Word Embedding) và học sâu được phát triển bởi Bengio và cộng sự [5], Hinton và Salakhutdinov [34], Mikolov và cộng sự [44], Turian và cộng sự [91].

Hướng nghiên cứu trong nước

Các nghiên cứu xử lý ngôn ngữ tự nhiên tiếng Việt tập trung vào kỹ thuật n-grams của Đinh Điền và cộng sự [73], [74]; tách từ và gán nhãn từ loại của Đỗ Bích Nhiệm [20]; phân loại văn bản dựa trên tập thô của Đỗ Trung Tuấn và cộng sự [21], [58]; rút trích và tóm tắt nội dung trang web của Hà Hải Nam và cộng sự [30]; ứng dụng tập phổ biến và luật kết hợp có ngữ cảnh của Võ Đình Bảy [86]; gom cụm đồ thị rút trích nội dung diễn đàn của Đặng Trần Khánh [22]; đo độ tương đồng ngữ nghĩa câu ứng dụng cho công cụ tìm kiếm VNSEN của Phan Huy Khánh và cộng sự [79], [82]; ứng dụng tập phổ biến tối đại hỗ trợ phân lớp SVM của Đỗ Thị Kim Phụng và cộng sự [25], [81].

Vị trí và khoảng trống luận án lựa chọn

Các nghiên cứu trong nước trước đó chủ yếu áp dụng học có giám sát hoặc các kỹ thuật thống kê truyền thống, ít khai thác học bán giám sát cho văn bản tiếng Việt. Luận án định vị nghiên cứu vào việc kết hợp mô hình cự ly trắc địa (Geodesic Distance) trên đồ thị với hàm nhân của SVM để vượt qua giới hạn của khoảng cách Euclid phẳng, đồng thời phát triển phương pháp giảm số chiều véc tơ dựa trên phân cụm từ phân cấp qua đồ thị Dendrogram từ ngữ liệu Wikipedia tiếng Việt.

Cơ sở lý thuyết và phương pháp nghiên cứu

Cơ sở lý thuyết và khung phân tích

  • Lý thuyết học máy và phân loại học máy: Luận án tiếp cận học máy theo hai nhánh suy luận: quy nạp (dựa trên dữ liệu thu thập) và suy diễn (dựa trên luật chuyên ngành). Các khung mô hình chính gồm:
    • Học có giám sát (Supervised Learning): Ánh xạ từ tập huấn luyện $L = {(x_1, y_1), \dots, (x_n, y_n)}$ với $x_i \in \mathbb{R}^d, y_i \in Y$ theo giả thiết phân phối độc lập và đồng nhất ($i.i.d$). Phân biệt mô hình sinh (Generative Model: $p(x|y)$ và lý thuyết Bayes) và mô hình có điều kiện (Discriminative Model: đánh giá trực tiếp $p(y|x)$ hoặc siêu phẳng phân tách).
    • Học bán giám sát (Semi-Supervised Learning): Tập huấn luyện kết hợp mẫu có nhãn và chưa gán nhãn $L \cup U = {(x_1, y_1), \dots, (x_k, y_k), x_{k+1}, \dots, x_n}$. Dựa trên giả thiết bán giám sát của Chapelle (nếu hai điểm thuộc vùng mật độ cao gần nhau thì nhãn đầu ra tương ứng phải gần nhau).
    • Thuật toán Self-training và Co-training: Self-training sử dụng một bộ phân lớp tự gán nhãn các mẫu có độ tin cậy cao nhất để đưa vào tập huấn luyện mới. Co-training sử dụng hai bộ phân lớp độc lập trên hai khung nhìn đặc trưng $X = X_1 \times X_2$ với hai giả thiết: tính tương thích $P = 1 - Pr_D[(x_1, x_2): f_1(x_1) \neq f_2(x_2)]$ và độc lập điều kiện.
    • Máy véc tơ hỗ trợ (SVM) và TSVM: Tìm siêu phẳng $w \cdot x - b = 0$ tối đa hóa khoảng cách lề $2/|w|$, quy về bài toán tối ưu bậc hai: $$\min_{w, b, \eta} \frac{1}{2} |w|^2 + C \sum_{i=1}^n \eta_i \quad \text{với } y_i(w \cdot x_i - b) \ge 1 - \eta_i, \quad \eta_i \ge 0$$ Giải bằng phương pháp đối ngẫu Lagrange với các số nhân $\alpha_i$ và kiểm tra điều kiện Karush-Kuhn-Tucker (KKT).
    • Mô hình cự ly trắc địa (Geodesic Distance): Đo khoảng cách thực tế giữa các điểm phân bố trên mặt cong đa tạp (manifold) thay vì đo đường thẳng chim bay Euclid, tính toán thông qua cấu trúc đồ thị láng giềng và thuật toán tìm đường đi ngắn nhất.
    • Đồ thị Dendrogram: Cấu trúc phân cấp hình cây thể hiện mức độ kết cụm của các từ dựa trên ma trận tần số xuất hiện đồng thời (co-occurrence matrix).

Phương pháp nghiên cứu thực tế

  • Phương pháp tài liệu: Khảo sát, phân tích các công trình lý thuyết về học máy, SVM, giải thuật tối ưu toàn phương, cấu trúc dữ liệu đồ thị và xử lý văn bản.
  • Phương pháp thực nghiệm: Xây dựng phần mềm thử nghiệm, thực hiện tiền xử lý văn bản tiếng Việt, tính toán ma trận tương quan, xây dựng hàm nhân SVM trắc địa, phân cụm Dendrogram và đo lường độ chính xác phân loại qua nhiều lần huấn luyện lặp lại.
  • Phương pháp chuyên gia: Tham khảo ý kiến chuyên gia trong lĩnh vực xử lý ngôn ngữ tự nhiên và học máy để hiệu chỉnh quy trình thực nghiệm.

Nguồn tư liệu và dữ liệu

  • Dữ liệu văn bản tiếng Việt thu thập từ các trang tin điện tử phục vụ xây dựng kho ngữ liệu chuẩn hóa gồm 5.027 tập tin thuộc 5 chủ đề.
  • Cơ sở dữ liệu Bách khoa toàn thư mở Wikipedia tiếng Việt dùng để tính toán ma trận đồng xuất hiện của các cặp từ.

Nội dung chính theo từng chương

Chương 1: Nghiên cứu tổng quan

Chương 1 hệ thống hóa nền tảng lý thuyết về học máy và các mô hình phân loại dữ liệu:

  • Phân loại các phương pháp học máy: Phân tích chi tiết 5 nhánh: học có giám sát, học không giám sát, học bán giám sát, học tăng cường (dựa trên quy trình quyết định Markov - MDP, bài toán đánh đổi khám phá và khai thác multi-armed bandit), và học sâu (biểu diễn từ qua One-hot vector, Vector ngẫu nhiên, Word Embedding).
  • Các dạng dữ liệu học máy: Đặc tả 9 dạng dữ liệu gồm véc tơ, danh sách, tập hợp, ma trận, hình ảnh, video, cây/đồ thị, xâu ký tự và cấu trúc hợp nhất.
  • Phân tích thuật toán bán giám sát: Đi sâu vào cơ chế hoạt động của thuật toán Cực đại kỳ vọng (EM với 2 bước E-step và M-step), SVM truyền dẫn (TSVM), giải thuật Self-training và Co-training. Luận án phân tích ưu nhược điểm của từng phương pháp: Co-training yêu cầu hai khung nhìn độc lập điều kiện (khó thỏa mãn tuyệt đối trong thực tế), trong khi Self-training dễ triển khai hơn nhưng có nguy cơ tích lũy lỗi nếu mẫu gán nhãn ban đầu không chuẩn xác.
  • SVM trong phân lớp văn bản: Trình bày mô hình toán học của SVM từ siêu phẳng tối ưu, hàm mục tiêu cực tiểu lề sai số, phương pháp phân rã quy hoạch toàn phương dựa trên điều kiện KKT. Đánh giá ưu thế vượt trội của SVM trong việc tự tìm tham số tối ưu trên không gian đặc trưng văn bản có số chiều lớn (>10.000 chiều).
+-------------------------------------------------------------------------+
|                CÁC PHƯƠNG PHÁP HỌC MÁY TRONG CHƯƠNG 1                  |
+-------------------+-----------------------------------------------------+
| Phương pháp       | Đặc điểm cấu trúc tập dữ liệu đầu vào               |
+-------------------+-----------------------------------------------------+
| Có giám sát       | Tập huấn luyện đã gán nhãn hoàn toàn: L = {(xi,yi)} |
| Không giám sát    | Tập dữ liệu hoàn toàn chưa gán nhãn: L = {xi}       |
| Bán giám sát      | Kết hợp lượng nhỏ nhãn L và lượng lớn chưa nhãn U   |
| Tăng cường        | Tương tác môi trường theo MDP, tối đa hóa phần thưởng|
| Học sâu           | Học biểu diễn qua nhiều lớp biến đổi phi tuyến      |
+-------------------+-----------------------------------------------------+

Chương 2: Xây dựng kho dữ liệu

Chương 2 trình bày thiết kế và xây dựng kho dữ liệu (Data Warehouse - DWH) chuyên biệt phục vụ bài toán phân loại văn bản tiếng Việt:

  • Kiến trúc kho dữ liệu: Khảo sát các mô hình kiến trúc DWH (kiến trúc cơ bản, kiến trúc có khu vực xử lý staging area, kiến trúc kết hợp kho dữ liệu chủ đề Data Marts - DM). Đề xuất mô hình tổng quát kho dữ liệu phục vụ phân loại văn bản.
  • Quy trình thu thập và tiền xử lý: Văn bản thô được thu thập từ báo điện tử, trải qua các bước tiền xử lý: bóc tách HTML, tách từ tiếng Việt, loại bỏ từ dừng (stop-words), lọc bỏ ký tự đặc biệt và chuẩn hóa chính tả.
  • Biểu diễn dữ liệu: Dữ liệu sau tiền xử lý được chuyển đổi sang mô hình không gian véc tơ dựa trên tần suất từ (Term Frequency - TF) và tần số nghịch đảo văn bản (Inverse Document Frequency - IDF). Sử dụng thử nghiệm thuật toán Naïve Bayes để kiểm tra tính phân tách của các tập dữ liệu.
  • Kết quả xây dựng kho ngữ liệu: Xây dựng thành công kho ngữ liệu thử nghiệm chuẩn hóa gồm 5.027 văn bản tiếng Việt phân bổ trên 5 chủ đề xác định, làm tập dữ liệu chuẩn phục vụ cho toàn bộ các thực nghiệm tại Chương 3 và Chương 4.

Chương 3: Phân loại văn bản dựa trên mô hình cự ly trắc địa

Chương 3 trình bày giải pháp cải tiến hàm khoảng cách trong SVM bằng mô hình cự ly trắc địa:

  • Cơ sở mô hình cự ly trắc địa: Khoảng cách Euclid truyền thống giả định không gian phẳng, nối hai điểm theo đường thẳng mà bỏ qua cấu trúc phân bố thực tế của dữ liệu. Cự ly trắc địa (Geodesic Distance) đo khoảng cách dọc theo mặt cong phân bố của tập dữ liệu đa tạp (manifold).
  • Thuật toán tính toán trên đồ thị: Biểu diễn mỗi văn bản là một đỉnh trên đồ thị. Khoảng cách giữa các văn bản lân cận được tính toán cục bộ, sau đó áp dụng thuật toán tìm đường đi ngắn nhất trên đồ thị để xác định cự ly trắc địa giữa tất cả các cặp điểm trong không gian.
  • Xây dựng hàm nhân SVM trắc địa: Tích hợp ma trận cự ly trắc địa vào hàm nhân (kernel function) của SVM. Ưu điểm nổi bật của mô hình kết hợp lý thuyết đồ thị này là cho phép phân lớp đa lớp (multi-class) trực tiếp trên các cấu trúc hình học phức tạp thay vì chỉ giới hạn ở phân lớp nhị phân phẳng.
  • Kết quả thực nghiệm: Triển khai chương trình phân loại trên kho dữ liệu 5.027 văn bản qua 5 lần thử nghiệm độc lập. Kết quả so sánh giữa SVM sử dụng cự ly Euclid truyền thống và SVM sử dụng mô hình cự ly trắc địa chứng minh mô hình trắc địa cho tỷ lệ phân loại chính xác trung bình cao hơn và độ lệch chuẩn ổn định qua các lần thử nghiệm (Bảng 3.2 đến Bảng 3.11, Hình 3.4).

Chương 4: Rút gọn số chiều véc tơ dựa trên đồ thị Dendrogram

Chương 4 giải quyết bài toán bùng nổ số chiều khi biểu diễn văn bản tiếng Việt bằng kỹ thuật phân cụm phân cấp:

  • Mô hình đồ thị Dendrogram: Định nghĩa và thiết lập đồ thị phân cấp dạng cây (Dendrogram) để thể hiện quan hệ ngữ nghĩa và mức độ liên kết giữa các từ.
  • Quy trình khai thác ngữ liệu Wikipedia:
    1. Thuật toán xử lý dữ liệu Wikipedia: Bóc tách tập tin dữ liệu Bách khoa toàn thư Wikipedia tiếng Việt, làm sạch và trích xuất các văn bản chứa tri thức đa ngành.
    2. Thuật toán xử lý từ điển: Xây dựng tập từ vựng chuẩn từ văn bản Wikipedia.
    3. Tính toán ma trận tần số xuất hiện chung P: Thống kê tần số đồng xuất hiện của các cặp từ trong cùng ngữ cảnh văn bản để lượng hóa mối tương quan ngữ nghĩa.
    4. Xây dựng đồ thị Dendrogram: Áp dụng giải thuật phân cụm phân cấp từ dưới lên (agglomerative hierarchical clustering) dựa trên ma trận P.
  • Kỹ thuật cắt đồ thị và rút gọn véc tơ: Sử dụng ngưỡng cắt đồ thị Dendrogram để hợp nhất các từ có độ tương quan cao thành một cụm đặc trưng duy nhất. Kỹ thuật này gom các từ đồng nghĩa hoặc liên quan chặt chẽ theo chủ đề (ví dụ: các từ thuộc nhóm âm nhạc hoặc y học) vào cùng một chiều đặc trưng.
  • Hiệu quả thực nghiệm:
    • Giảm đáng kể dung lượng bộ nhớ lưu trữ không gian véc tơ biểu diễn văn bản.
    • Rút ngắn thời gian gán nhãn và thời gian huấn luyện mô hình qua 5 lần thử nghiệm (Hình 4.13, 4.14).
    • Tăng tốc độ phân loại văn bản trung bình nhưng vẫn duy trì tỷ lệ phân loại chính xác ở mức cao (Bảng 4.1, Hình 4.15, 4.16).

Kết quả và những đóng góp mới

Luận án tự nêu 2 đóng góp chính về mặt khoa học lý thuyết/phương pháp và 1 đóng góp có giá trị thực tiễn:

+----------------------------------------------------------------------------------------------------+
|                                BẢNG TỔNG HỢP CÁC ĐÓNG GÓP CỦA LUẬN ÁN                              |
+---+----------------------------+-----------------------------------+-------------------------------+
| STT| Nội dung đóng góp           | Bản chất giải pháp kỹ thuật       | Công trình công bố gắn liền   |
+---+----------------------------+-----------------------------------+-------------------------------+
| 1 | Phân loại văn bản dựa trên  | Thay thế cự ly Euclid bằng cự ly  | Hội thảo quốc tế ISDA 2014    |
|   | mô hình cự ly trắc địa     | trắc địa trên đồ thị; tích hợp vào| (IEEJ catalog,                |
|   | và lý thuyết đồ thị       | hàm nhân SVM phân lớp đa lớp      | ISSN: 2150-7996)              |
+---+----------------------------+-----------------------------------+-------------------------------+
| 2 | Rút gọn số chiều véc tơ    | Phân cụm từ đồng xuất hiện từ     | Hội thảo quốc tế ACIS 2014    |
|   | dựa trên đồ thị Dendrogram | Wikipedia bằng Dendrogram để hợp  | (ISBN: 978-4-88686-7)         |
|   | và dữ liệu Wikipedia       | nhất các chiều véc tơ đặc trưng   |                               |
+---+----------------------------+-----------------------------------+-------------------------------+
| 3 | Xây dựng kho ngữ liệu thử  | Thu thập, tiền xử lý và gán nhãn  | Ứng dụng trực tiếp trong      |
|   | nghiệm văn bản tiếng Việt  | 5.027 văn bản tiếng Việt (5 chủ đề)| toàn bộ thực nghiệm luận án   |
+---+----------------------------+-----------------------------------+-------------------------------+

Chi tiết các đóng góp mới

  1. Giải pháp phân loại văn bản dựa trên mô hình cự ly trắc địa và lý thuyết đồ thị:
    • Khắc phục nhược điểm của khoảng cách Euclid (chỉ đo đường thẳng không tính đến mặt cong phân bố dữ liệu trong không gian nhiều chiều).
    • Mô hình hóa tập dữ liệu thành đồ thị, tính toán cự ly trắc địa thông qua đường đi ngắn nhất giữa các đỉnh để xây dựng ma trận nhân mới cho SVM.
    • Cho phép phân loại văn bản thành nhiều lớp trực tiếp thay vì chỉ phân lớp nhị phân như SVM truyền thống, nâng cao độ chính xác phân loại văn bản tiếng Việt.
  2. Giải pháp rút gọn số chiều của véc tơ biểu diễn văn bản dựa trên đồ thị Dendrogram:
    • Sử dụng ngữ liệu Wikipedia tiếng Việt để tính toán ma trận tần số xuất hiện đồng thời của các cặp từ.
    • Ứng dụng đồ thị Dendrogram để phân cụm và hợp nhất các chiều đặc trưng có liên quan ngữ nghĩa chặt chẽ.
    • Giúp giảm thiểu đáng kể số chiều véc tơ, tiết kiệm thời gian huấn luyện và phân loại mà không làm suy giảm độ chính xác; có khả năng mở rộng sang các bài toán biểu diễn văn bản khác.
  3. Đóng góp về mặt dữ liệu và công cụ:
    • Xây dựng kho dữ liệu thử nghiệm chuẩn hóa gồm 5.027 văn bản tiếng Việt thuộc 5 chủ đề đã được tiền xử lý hoàn chỉnh.
    • Xây dựng các mô-đun phần mềm thực nghiệm phục vụ việc thử nghiệm, so sánh và kiểm chứng các giải pháp phân loại văn bản tiếng Việt.

Hạn chế và hướng nghiên cứu tiếp

Căn cứ vào phạm vi và nội dung trình bày trong văn bản luận án, các giới hạn và định hướng được xác định như sau:

Hạn chế

  • Quy mô và phạm vi ngữ liệu: Kho dữ liệu thử nghiệm được xây dựng và kiểm chứng giới hạn ở 5.027 văn bản phân bổ trên 5 chủ đề xác định, chưa bao phủ toàn bộ các phong cách văn bản và thể loại ngôn luận đa dạng của tiếng Việt.
  • Phạm vi thuật toán: Luận án tập trung vào việc cải tiến SVM qua cự ly trắc địa và phân cụm từ Dendrogram, chưa mở rộng thực nghiệm so sánh trên diện rộng với tất cả các biến thể học sâu phức tạp hoặc các mô hình đồ thị ngẫu nhiên có điều kiện khác trong NLP.

Hướng nghiên cứu tiếp

  • Mở rộng quy mô và tính đa dạng của kho ngữ liệu tiếng Việt sang nhiều lĩnh vực chuyên ngành và nguồn dữ liệu văn bản khác nhau.
  • Ứng dụng giải pháp cự ly trắc địa và kỹ thuật rút gọn số chiều Dendrogram vào các bài toán xử lý ngôn ngữ tự nhiên khác như đo độ tương đồng văn bản, nhận dạng ngôn ngữ, tóm tắt văn bản tự động và phân loại cấu trúc siêu văn bản.

Giá trị tham khảo

Luận án mang lại giá trị tham khảo rõ ràng cho các nhóm đối tượng học thuật và ứng dụng thực tiễn:

  • Nghiên cứu sinh, học viên cao học ngành Khoa học máy tính và Xử lý ngôn ngữ tự nhiên: Tham khảo phương pháp xây dựng hàm nhân dựa trên cự ly trắc địa, kỹ thuật phân cụm phân cấp Dendrogram trên dữ liệu đồng xuất hiện từ ngữ liệu lớn, và cơ sở toán học của các thuật toán học bán giám sát (EM, Self-training, Co-training, TSVM).
  • Giảng viên và nhà nghiên cứu: Sử dụng làm tài liệu tham khảo cho các học phần Học máy nâng cao, Khai phá dữ liệu văn bản và Xử lý ngôn ngữ tự nhiên tiếng Việt; tham khảo thiết kế thực nghiệm so sánh thuật toán qua các chỉ số trung bình và độ lệch chuẩn.
  • Kỹ sư phát triển phần mềm và các đơn vị quản trị thông tin: Tham khảo quy trình xây dựng kho dữ liệu văn bản tiếng Việt (tách từ, loại từ dừng, trích xuất đặc trưng) và ứng dụng kiến trúc phân loại tự động vào các hệ thống quản lý tài liệu số, báo điện tử và cổng thông tin.

Câu hỏi thường gặp

1. Tại sao việc sử dụng khoảng cách Euclid trong không gian véc tơ truyền thống lại hạn chế hiệu quả phân loại văn bản tiếng Việt?

Khoảng cách Euclid đo khoảng cách theo đường thẳng ("đường chim bay") giữa hai điểm mà không tính đến mặt cong phân bố thực tế của dữ liệu trong không gian nhiều chiều. Trong tiếng Việt, hiện tượng từ đồng âm khác nghĩa và từ đồng nghĩa rất phổ biến; khi biểu diễn bằng véc tơ từ thông thường, hai văn bản chứa từ đồng âm khác nghĩa vẫn có khoảng cách Euclid ngắn dù nội dung hoàn toàn khác biệt, dẫn đến việc phân loại không chính xác.

2. Mô hình cự ly trắc địa giải quyết bài toán phân loại đa lớp trong SVM như thế nào?

Luận án chuyển đổi tập dữ liệu thành một đồ thị, trong đó mỗi văn bản là một đỉnh. Khoảng cách giữa các đỉnh lân cận được xác định cục bộ và cự ly trắc địa giữa các cặp điểm được tính toán thông qua thuật toán tìm đường đi ngắn nhất trên đồ thị. Khi tích hợp cự ly trắc địa vào hàm nhân của SVM, mô hình cho phép phân chia các đỉnh đồ thị thành nhiều nhóm/lớp trực tiếp thay vì chỉ phân chia nhị phân hai lớp phẳng như phương pháp Euclid truyền thống.

3. Quy trình rút gọn số chiều véc tơ bằng đồ thị Dendrogram từ ngữ liệu Wikipedia được thực hiện qua các bước nào?

Quy trình gồm 4 bước: (1) Bóc tách và làm sạch dữ liệu văn bản từ Bách khoa toàn thư Wikipedia tiếng Việt; (2) Xử lý từ điển chuẩn hóa; (3) Tính toán ma trận tần số xuất hiện đồng thời $P$ của các cặp từ trong văn bản; (4) Xây dựng đồ thị phân cấp Dendrogram và tiến hành cắt đồ thị theo ngưỡng phù hợp để hợp nhất các từ có liên quan ngữ nghĩa chặt chẽ vào một chiều véc tơ đặc trưng duy nhất.

4. Quy mô và đặc điểm của kho dữ liệu thử nghiệm trong luận án là gì?

Kho dữ liệu được xây dựng gồm 5.027 văn bản tiếng Việt thu thập từ các nguồn tin điện tử, đã trải qua các bước tiền xử lý chuẩn hóa (tách từ tiếng Việt, loại bỏ từ dừng, lọc ký tự đặc biệt) và được gán nhãn phân chia thành 5 chủ đề khác nhau. Toàn bộ các thử nghiệm phân loại của luận án đều thực hiện nhất quán trên kho dữ liệu này.

5. Sự khác biệt căn bản giữa hai thuật toán học bán giám sát Self-training và Co-training là gì?

Self-training là thuật toán wrapper sử dụng một bộ phân lớp duy nhất trên một khung nhìn dữ liệu; sau mỗi vòng lặp, các mẫu chưa gán nhãn có độ tin cậy dự đoán cao nhất sẽ được đưa vào tập huấn luyện để học lại. Co-training yêu cầu dữ liệu phải được phân chia thành hai khung nhìn đặc trưng độc lập điều kiện ($X_1$ và $X_2$); hai bộ phân lớp riêng biệt được huấn luyện trên từng khung nhìn và cung cấp các mẫu tự gán nhãn có độ tin cậy cao cho nhau ở mỗi vòng lặp.

Kết luận

Luận án tiến sĩ kỹ thuật của tác giả Võ Duy Thanh đã giải quyết bài toán phân loại văn bản tiếng Việt bằng kỹ thuật học bán giám sát, khắc phục tình trạng thiếu hụt dữ liệu gán nhãn và tính phức tạp về ngữ nghĩa của tiếng Việt. Hai đóng góp học thuật nổi bật của công trình là đề xuất mô hình cự ly trắc địa trên đồ thị kết hợp với hàm nhân SVM và kỹ thuật rút gọn số chiều véc tơ bằng đồ thị Dendrogram khai thác ngữ liệu Wikipedia. Các giải pháp đề xuất đều được kiểm chứng thực nghiệm trên kho ngữ liệu 5.027 văn bản tiếng Việt, chứng minh sự cải thiện về độ chính xác phân loại và tối ưu hóa thời gian xử lý dữ liệu.