Bối cảnh và vấn đề nghiên cứu

Khóa luận tốt nghiệp đại học hệ chính quy ngành Công nghệ thông tin của tác giả Nguyễn Trung Kiên (Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội, năm 2006), dưới sự hướng dẫn của TS. Hà Quang Thụy và TS. Nguyễn Lê Minh, tập trung giải quyết bài toán phân đoạn từ cho văn bản tiếng Việt. Bối cảnh nghiên cứu xuất phát từ sự gia tăng nhanh chóng của lượng thông tin văn bản và dữ liệu web tiếng Việt. Nhằm khai thác nguồn dữ liệu này để phục vụ mục tiêu xây dựng cơ sở tri thức tiếng Việt, các tác vụ xử lý ngôn ngữ tự nhiên như phân loại văn bản, tóm tắt tự động, dịch tự động và tìm kiếm thông tin trở thành nhu cầu cấp thiết. Năm 2006, Bộ Khoa học và Công nghệ đã phê duyệt đề tài cấp nhà nước "Nghiên cứu phát triển một số sản phẩm thiết yếu về xử lý tiếng nói và văn bản tiếng Việt", trong đó phân đoạn từ là bước kỹ thuật cơ bản và mang tính tiên quyết.

Trong tiếng Việt, bài toán phân đoạn từ có đặc thù phân hóa rõ rệt so với các ngôn ngữ phương Tây như tiếng Anh: ranh giới giữa các từ trong câu thường không được biểu diễn duy nhất bằng dấu cách trống (khoảng trắng). Một từ tiếng Việt có thể được cấu tạo từ một hoặc nhiều tiếng (âm tiết). Tác giả xác định hai khó khăn lớn nhất mà các hệ thống phân đoạn từ tiếng Việt phải đối mặt:

  1. Hiện tượng nhập nhằng ngôn ngữ: Bao gồm nhập nhằng chồng chéo (chuỗi $abc$ có các tổ hợp $ab$ và $bc$ đều có mặt trong từ điển, ví dụ chuỗi "ông già đi") và nhập nhằng kết hợp (chuỗi $abc$ có cả $a$, $b$, và $ab$ đều là từ hợp lệ trong từ điển, ví dụ chuỗi "bàn là").
  2. Khả năng nhận diện từ mới (từ chưa biết trước): Máy tính khó xác định ranh giới của các thực thể tên riêng (tên người, tên địa danh, tên tổ chức), từ láy, thành ngữ hoặc các từ mượn tiếng nước ngoài.

Mục tiêu của khóa luận được phân định thành ba nhiệm vụ cụ thể:

  1. Xây dựng một hệ thống phân đoạn từ tiếng Việt đạt độ chính xác cao dựa trên mô hình học máy, có khả năng khắc phục các nhược điểm của các phương pháp hiện hành và đáp ứng yêu cầu ứng dụng thực tế.
  2. Xây dựng bộ công cụ chuyển đổi dữ liệu về dạng chuẩn phục vụ huấn luyện mô hình học máy, bao gồm chuỗi quy trình: thu thập dữ liệu từ Internet, trích rút nội dung chính, phân đoạn từ bán tự động và chuyển đổi dữ liệu sang định dạng chuẩn IOB2.
  3. Xác định và thiết lập tập thuộc tính tối ưu cho mô hình học máy Conditional Random Fields (CRFs) dựa trên các đặc trưng ngữ âm, từ vựng và cấu tạo từ đặc thù của tiếng Việt.

Đối tượng nghiên cứu của khóa luận là các văn bản tiếng Việt thuộc nhiều chủ đề khác nhau và mô hình học máy Conditional Random Fields. Phạm vi ngữ liệu thực nghiệm bao gồm 305 bài báo điện tử được thu thập trực tiếp từ các báo trực tuyến tại Việt Nam trong năm 2006, cùng các bộ danh sách tên riêng và từ điển ngữ vựng tiếng Việt.

Cơ sở lý thuyết và phương pháp

Khóa luận xây dựng hệ thống phân đoạn từ dựa trên nền tảng kết hợp giữa lý thuyết ngôn ngữ học tiếng Việt và các mô hình học máy thống kê cho xử lý dữ liệu dạng chuỗi:

Cơ sở ngôn ngữ học tiếng Việt

Tác giả tiếp cận đơn vị cấu tạo từ tiếng Việt dưới góc độ cấu trúc hình thái học:

  • Khái niệm tiếng: Tiếng là đơn vị cơ sở cấu tạo nên từ, tương đương với âm tiết (syllable) về mặt ngữ âm và hình tiết (morphemesyllable) về mặt hình thái học. Cấu trúc của tiếng gồm 5 thành tố: Âm đầu, Thanh điệu (6 thanh: sắc, huyền, hỏi, ngã, nặng, bằng), Âm đệm, Âm chính và Âm cuối (trong đó cụm âm đệm, âm chính, âm cuối hợp thành vần).
  • Phân loại từ: Từ tiếng Việt được chia thành từ đơn (cấu tạo từ một tiếng duy nhất) và từ ghép (từ ghép đẳng lập, từ ghép chính phụ) cùng hệ thống từ láy (từ láy hoàn toàn đối thanh điệu, đối âm cuối, đối trọng âm; từ láy bộ phận điệp âm đầu đối vần hoặc điệp vần đối âm đầu).

Khảo sát các phương pháp phân đoạn từ hiện hành

Tác giả phân tích ưu điểm và nhược điểm của ba phương pháp tiếp cận phổ biến trước đó:

  • Phương pháp Maximum Matching (Khớp tối đa): Áp dụng thuật toán của Chih-Hao Tsai (1996) ở dạng đơn giản và dạng phức tạp sử dụng tiêu chuẩn "3-từ tốt nhất" của Chen & Liu (1992) dựa trên độ dài trung bình lớn nhất và độ lệch độ dài nhỏ nhất. Phương pháp này có tốc độ xử lý nhanh, không cần huấn luyện nhưng gặp nhiều lỗi khi xử lý nhập nhằng và không có khả năng nhận diện từ mới ngoài từ điển.
  • Phương pháp Transformation-Based Learning (TBL): Thuật toán học chuyển đổi của Eric Brill (1992) sinh các luật sửa đổi lặp. Nhược điểm là thời gian huấn luyện kéo dài và tiêu tốn bộ nhớ lớn do bùng nổ các luật trung gian.
  • Phương pháp Weighted Finite-State Transducer (WFST): Sử dụng máy chuyển dịch trạng thái hữu hạn có trọng số với chi phí ước lượng $C = -\log(f/N)$ (trong đó $f$ là tần số xuất hiện của từ, $N$ là kích thước tập mẫu). Phương pháp này dễ xảy ra hiện tượng bùng nổ không gian tìm kiếm khi câu quá dài và phụ thuộc lớn vào tần số thống kê.

Mô hình Conditional Random Fields (CRFs)

Để giải quyết bài toán phân đoạn từ dạng gán nhãn chuỗi, tác giả lựa chọn mô hình Conditional Random Fields (Lafferty, 2001). So với mô hình Markov ẩn (HMMs - mô hình sinh bị ràng buộc bởi giả thiết độc lập giữa các quan sát) và mô hình Markov cực đại hóa entropy (MEMMs - mô hình điều kiện bị hiện tượng lệch nhãn "label bias"), CRFs định nghĩa một phân phối xác suất điều kiện duy nhất trên toàn bộ chuỗi trạng thái $Y$ khi biết chuỗi quan sát $X$:

$$P(y|x) = \frac{1}{Z(x)} \exp\left( \sum_{i,k} \lambda_k f_k(y_{i-1}, y_i, x) + \sum_{i,k} \mu_k g_k(y_i, x) \right)$$

Trong đó:

  • $Z(x)$ là thừa số chuẩn hóa toàn cục.
  • $f_k$ là hàm thuộc tính chuyển trạng thái giữa vị trí $i-1$ và $i$.
  • $g_k$ là hàm thuộc tính trạng thái tại vị trí $i$.
  • $\lambda_k, \mu_k$ là các trọng số tham số mô hình.

Quy trình ước lượng tham số của mô hình được thực hiện bằng cách cực đại hóa hàm log-likelihood thông qua phương pháp tối ưu hóa số bậc hai L-BFGS (Limited-memory Broyden-Fletcher-Goldfarb-Shanno) do Malouf (2002) đề xuất, giúp xấp xỉ nghịch đảo ma trận Hessian $B^{-1}(\theta)$ để tiết kiệm bộ nhớ và đảm bảo tốc độ hội tụ nhanh. Quá trình suy diễn tìm chuỗi nhãn tối ưu $y^* = \arg\max P(y|x)$ được thực thi bằng thuật toán quy hoạch động Viterbi.

Phương pháp nghiên cứu thực nghiệm và dữ liệu

  • Quy đổi bài toán: Bài toán phân đoạn từ được quy về bài toán gán nhãn cho từng âm tiết theo tập nhãn IOB2 gồm 3 nhãn: B_W (bắt đầu một từ), I_W (bên trong một từ), và O (nằm ngoài từ, dùng cho dấu câu hoặc ký tự đặc biệt).
  • Nguồn dữ liệu: Thu thập 305 bài viết từ các báo trực tuyến (VnExpress, Người lao động, VietNamNet, Tuổi trẻ) thuộc 7 lĩnh vực; danh mục 20.672 tên người Việt Nam (từ Internet và vietnamica.com); danh mục 707 địa danh Việt Nam (từ vi.wikipedia.org); và bộ từ điển tiếng Việt Lạc Việt.
  • Quy trình chuẩn bị dữ liệu bán tự động 2 pha: Giai đoạn 1 sử dụng công cụ WordMatching (của CN. Nguyễn Cẩm Tú) dựa trên thuật toán Maximum Matching kết hợp từ điển Lạc Việt để phân đoạn sơ bộ; Giai đoạn 2 tiến hành kiểm tra chéo độc lập bởi 2 người và hội ý giải quyết nhập nhằng để thu được dữ liệu chuẩn phục vụ huấn luyện.
  • Phương pháp đánh giá: Sử dụng phương pháp kiểm định chéo 5 tập con ($k$-fold cross-validation với $k=5$). Các độ đo đánh giá gồm Độ chính xác (Precision), Độ hồi tưởng (Recall) và Điểm F1 (F-measure), được đo đạc ở cả mức nhãn âm tiết và mức từ hoàn chỉnh.

Nội dung chính theo từng chương

Chương 1. Phân đoạn từ tiếng Việt

Chương 1 hệ thống hóa các khái niệm ngôn ngữ học tiếng Việt làm cơ sở cho xử lý văn bản bằng máy tính. Tác giả phân tích bản chất của "tiếng" với tư cách là đơn vị phát âm nhỏ nhất không thể chia cắt và mô hình hóa cấu trúc 5 thành tố của tiếng:

Thành tố Vai trò trong âm tiết tiếng Việt Ví dụ minh họa
Âm đầu Mở đầu âm tiết, tạo sự khu biệt phụ âm đầu "nắng" và "mắng"
Thanh điệu Gồm 6 thanh (sắc, huyền, hỏi, ngã, nặng, bằng), phân biệt cao độ "việt" và "viết"
Âm đệm Biến đổi âm sắc của âm tiết ngay sau âm đầu "toán" và "tán"
Âm chính Hạt nhân mang âm sắc chủ đạo của âm tiết "túy" và "túi"
Âm cuối Kết thúc âm tiết với âm sắc khu biệt "bàn" và "bài"

Chương này cũng phân loại các kiểu cấu tạo từ tiếng Việt (từ đơn, từ ghép, từ láy), chỉ rõ hai cơ chế nhập nhằng từ vựng chính (chồng chéo và kết hợp), đồng thời khảo cứu chi tiết 3 phương pháp phân tách từ tự động truyền thống gồm Maximum Matching, TBL và WFST. Qua việc chỉ ra hạn chế của các phương pháp này trong việc khử nhập nhằng và bắt từ mới, tác giả đề xuất luận điểm áp dụng mô hình CRFs.

Chương 2. Conditional Random Field

Chương 2 trình bày cơ sở toán học của mô hình học máy trường ngẫu nhiên điều kiện (CRFs). Tác giả so sánh nguyên lý hoạt động của CRFs với các mô hình chuỗi tiền nhiệm như HMMs và MEMMs, giải thích cơ chế loại bỏ hiện tượng "label bias" nhờ thừa số chuẩn hóa toàn cục trên toàn đồ thị chuỗi trạng thái. Chương này mô tả chi tiết:

  • Định nghĩa đồ thị vô hướng $G=(V, E)$ và tính chất Markov cục bộ.
  • Xây dựng hàm tiềm năng dựa trên nguyên lý cực đại hóa Entropy liên kết với các hệ số Lagrange.
  • Phương pháp tối ưu hóa hàm log-likelihood lõm bằng giải thuật tối ưu bậc hai L-BFGS, giải thích kỹ thuật cập nhật vector gradient và ma trận xấp xỉ nghịch đảo Hessian $B^{-1}(\theta)$ trong điều kiện giới hạn bộ nhớ.
  • Thuật toán Viterbi mở rộng cho mô hình CRFs để giải bài toán suy diễn tìm chuỗi nhãn tối ưu $y^*$.

Chương 3. Phân đoạn từ tiếng Việt với mô hình CRF

Chương 3 trình bày chi tiết phương pháp chuyển giao bài toán phân đoạn từ tiếng Việt vào mô hình CRFs thông qua định dạng gán nhãn IOB2. Tác giả thống kê cấu trúc ngữ liệu thực nghiệm và hệ thống hóa 5 nhóm mẫu vị từ ngữ cảnh (context predicate templates) để sinh thuộc tính tự động:

Nhóm mẫu ngữ cảnh Mẫu cụ thể Mô tả chức năng trích xuất thuộc tính
1. Kết hợp âm tiết (Syllable Conjunction) $S_{-2}, S_{-1}, S_1, S_2, S_0S_1, S_{-1}S_0, S_{-2}S_{-1}, S_{-1}S_0S_1$ Trích xuất các tổ hợp âm tiết lân cận xung quanh vị trí khảo sát với kích thước cửa sổ trượt (sliding window) bằng 5
2. Biểu thức chính quy (Regex) ^\d+[\.,]\d+$, ^\d+[/|-]\d+[/|-]\d+$, ^\d+[/|-]\d+$, ^\d+%$ Nhận diện các định dạng số, ngày tháng đầy đủ, ngày tháng ngắn, và tỷ lệ phần trăm
3. Từ điển & Thực thể (Lexicon) in_lacviet_dict, family_name, middle_name, last_name, vnlocation Kiểm tra sự xuất hiện trong từ điển Lạc Việt, nhận diện họ, tên đệm, tên chính tiếng Việt và tên địa danh
4. Đặc trưng chữ hoa & Ký hiệu InitialCap, AllCap, FirstObsr, Mark Kiểm tra viết hoa chữ cái đầu, viết hoa toàn bộ (tên tổ chức viết tắt), vị trí đầu câu, và dấu câu
5. Âm tiết & Từ láy not_valid_vnsyll, Full_Dup, Part_Dup Kiểm tra âm tiết không hợp lệ trong tiếng Việt, phát hiện hiện tượng láy toàn bộ và láy bộ phận

Chương này cũng thiết lập phương thức kiểm định chéo 5 tập con ($k=5$) và công thức hóa các độ đo hiệu năng Precision, Recall, F1 tính theo mức nhãn và mức từ, phân biệt sự khác nhau giữa trung bình cộng từng tập (Avg1) và trung bình cộng tổng thể (Avg2).

Chương 4. Thử nghiệm và đánh giá

Chương 4 thiết lập hệ thống thử nghiệm thực nghiệm trên máy tính IBM (CPU Intel Pentium 4 2.40GHz, RAM 382 MB) sử dụng framework mã nguồn mở FlexCRFs (phát triển bởi ThS. Phan Xuân Hiếu và TS. Nguyễn Lê Minh) và phần mềm WordMatching. Tác giả cấu hình các tham số huấn luyện của FlexCRFs:

  • init_lamda_val = 0 (giá trị khởi tạo trọng số).
  • num_iterations = 150 (số bước lặp tối đa).
  • f_rare_threshold = 1 và cp_rare_threshold = 1 (ngưỡng tần số xuất hiện tối thiểu để tích hợp thuộc tính).
  • eps_log_likelihood = 0.01 (ngưỡng dừng hội tụ giữa hai bước lặp liên tiếp).

Tác giả thiết kế và tiến hành 5 kịch bản thử nghiệm nhằm đánh giá ảnh hưởng độc lập và kết hợp của từng nhóm thuộc tính ngữ cảnh đối với chất lượng mô hình phân đoạn.

Kết quả và đóng góp

Kết quả định lượng từ thực nghiệm

Tác giả đã triển khai 5 kịch bản thử nghiệm có kiểm soát. Kết quả đo đạc trung bình qua 5 lần kiểm định chéo ($k=5$) giữa các cấu hình thử nghiệm chính được tổng hợp chi tiết trong bảng sau:

Thử nghiệm Mô tả cấu hình thuộc tính Mức đánh giá Precision (%) Recall (%) F1-measure (%)
Thử nghiệm 1 Maximum Matching (baseline với từ điển Lạc Việt) Mức từ Được đo qua 5 lần thử nghiệm để làm mốc đối chuẩn
Thử nghiệm 2 CRF + Nhóm 1 (Kết hợp âm tiết) + Nhóm 2 (Regex) Mức nhãn 95,342 95,342 95,342
Mức từ 90,11 94,60 92,29
Thử nghiệm 3 CRF + Nhóm 1 + Nhóm 2 + Thuộc tính từ điển Lạc Việt (in_lacviet_dict) Mức nhãn 97,098 97,098 97,098
Mức từ 93,19 95,74 94,44
Thử nghiệm 4 CRF + Nhóm 1, 2, 3 + Bổ sung nhận diện tên người, địa danh và âm tiết tiếng Việt Mức từ Đánh giá mức độ đóng góp của dữ liệu thực thể địa danh và tên người
Thử nghiệm 5 CRF + Toàn bộ 5 nhóm thuộc tính (bổ sung thuộc tính nhận diện từ láy) Mức từ Cấu hình đầy đủ nhất nhằm xử lý triệt để hiện tượng láy và từ mới

Ở lần thử nghiệm đạt kết quả tốt nhất của Thử nghiệm 2, mô hình ghi nhận các chỉ số ở mức nhãn đạt Precision 95,62%, Recall 95,62%, F1 95,62% (khớp 29.094 nhãn trên tổng số 30.426 nhãn thực tế); ở mức từ đạt Precision 87,01%, Recall 91,10%, F1 89,01% (khớp 19.808 từ trên 21.743 từ thực tế). Khi tích hợp thêm thuộc tính từ điển ở Thử nghiệm 3, hiệu năng tăng rõ rệt: ở mức từ đạt Precision trung bình 93,19%, Recall 95,74% và F1 94,44%, chứng minh việc kết hợp tri thức từ vựng với mô hình học máy thống kê chuỗi giúp giảm thiểu đáng kể lỗi nhập nhằng.

Đóng góp học thuật và thực tiễn của khóa luận

  1. Đề xuất hướng tiếp cận mới: Khóa luận là một trong những công trình nghiên cứu sớm tại Việt Nam áp dụng thành công mô hình học máy Conditional Random Fields cho bài toán phân đoạn từ tiếng Việt, giải quyết được đồng thời hạn chế phụ thuộc độc lập của HMMs và hạn chế lệch nhãn của MEMMs.
  2. Xây dựng hệ thống mẫu ngữ cảnh đặc thù: Thiết kế thành công tập mẫu ngữ cảnh khai thác sâu các đặc trưng ngôn ngữ học tiếng Việt như âm tiết hợp lệ, cấu trúc từ láy, cấu tạo tên riêng tiếng Việt và định dạng số/ngày tháng.
  3. Đóng góp tập ngữ liệu chuẩn: Xây dựng một tập dữ liệu gồm 305 bài báo đa lĩnh vực được gán nhãn IOB2 chuẩn hóa thông qua quy trình bán tự động và kiểm tra chéo thủ công 2 người, có giá trị tái sử dụng cho các nghiên cứu tiếp theo.
  4. Định hướng ứng dụng: Cung cấp giải pháp nền tảng phục vụ các ứng dụng thực tế trong công nghệ ngôn ngữ tiếng Việt như máy tìm kiếm thông tin, dịch tự động và kiểm tra lỗi chính tả.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận tự chỉ ra các giới hạn nghiên cứu xuất phát từ điều kiện thời gian và tài nguyên thực hiện:

  • Hạn chế về quy mô dữ liệu: Do hạn chế về thời gian thực hiện, tập dữ liệu huấn luyện mới chỉ dừng lại ở 305 bài báo điện tử, chưa bao quát được toàn diện các phong cách ngôn ngữ và văn bản khác nhau.
  • Hạn chế về phạm vi thử nghiệm: Khóa luận chưa triển khai được các thử nghiệm diện rộng trên nhiều thể loại văn bản đặc thù ngoài báo chí điện tử.

Hướng phát triển tiếp theo được tác giả xác định:

  • Thu thập và chuẩn hóa thêm các nguồn dữ liệu văn bản phong phú hơn, bao gồm sách báo, tác phẩm truyện hiện đại và các văn bản tiếng Việt cổ (như Truyện Kiều) để kiểm nghiệm khả năng bao quát của mô hình.
  • Phát triển mô hình thành một phần mềm phân đoạn từ hoàn chỉnh, có giao diện tiện dụng và độ chính xác cao phục vụ tích hợp thực tế.
  • Mở rộng phạm vi nghiên cứu từ phân đoạn từ sang các giai đoạn tiếp theo của quá trình xử lý văn bản tiếng Việt, tiêu biểu là bài toán phân loại văn bản tự động.

Giá trị tham khảo

Khóa luận mang lại giá trị tham khảo thiết thực cho các đối tượng và mục đích nghiên cứu sau:

  • Sinh viên và nhà nghiên cứu ngành Công nghệ thông tin, Khoa học dữ liệu: Đặc biệt là những người định hướng nghiên cứu chuyên sâu về Xử lý ngôn ngữ tự nhiên (NLP) cho tiếng Việt, có thể tham khảo phương pháp luận mô hình hóa bài toán ngôn ngữ thành bài toán gán nhãn chuỗi.
  • Thiết kế thuộc tính cho mô hình học máy chuỗi: Chương 3 cung cấp bản đặc tả chi tiết về cách thiết lập các mẫu vị từ ngữ cảnh (context predicate templates) kết hợp hài hòa giữa tri thức ngôn ngữ học (từ láy, âm tiết, tên người) và biểu thức chính quy.
  • Quy trình gán nhãn và tiền xử lý ngữ liệu: Phương pháp kiểm tra chéo hai pha kết hợp giữa công cụ tự động (WordMatching) và hiệu chỉnh thủ công là tài liệu tham khảo tốt cho việc xây dựng bộ ngữ liệu tiếng Việt chuẩn theo định dạng IOB2.
  • Kỹ thuật tối ưu hóa mô hình: Phần lý thuyết toán học tại Chương 2 cung cấp tài liệu giải thích rõ ràng về thuật toán tối ưu L-BFGS và thuật toán Viterbi áp dụng cho trường ngẫu nhiên điều kiện.

Câu hỏi thường gặp

1. Tại sao mô hình CRFs lại được lựa chọn thay thế cho MEMMs và HMMs trong bài toán phân đoạn từ tiếng Việt?

Mô hình Markov ẩn (HMMs) là mô hình sinh, giả định các biến quan sát độc lập với nhau với điều kiện biết trạng thái hiện tại, khiến mô hình không thể tích hợp các thuộc tính ngữ cảnh phụ thuộc phong phú của chuỗi âm tiết. Mô hình Markov cực đại hóa entropy (MEMMs) dù giải quyết được tính phụ thuộc ngữ cảnh nhưng lại định nghĩa xác suất chuyển tiếp cục bộ trên từng trạng thái, dẫn tới hiện tượng lệch nhãn (label bias). Mô hình CRFs định nghĩa một phân phối xác suất điều kiện duy nhất trên toàn bộ chuỗi trạng thái khi biết chuỗi quan sát, cho phép tích hợp hàng nghìn thuộc tính ngữ cảnh phức tạp mà không bị vi phạm giả thiết độc lập hay lỗi lệch nhãn.

2. Dữ liệu ngữ liệu huấn luyện trong khóa luận được thu thập và tiền xử lý bán tự động theo các bước nào?

Dữ liệu huấn luyện gồm 305 bài báo trực tuyến thuộc 7 lĩnh vực (Kinh tế, CNTT, Giáo dục, Ô tô - xe máy, Thể thao, Pháp luật, Văn hóa - xã hội), kết hợp danh mục 20.672 tên người và 707 địa danh. Quy trình tiền xử lý gồm hai giai đoạn: Giai đoạn 1 sử dụng phần mềm WordMatching (áp dụng thuật toán Maximum Matching với từ điển Lạc Việt) để phân đoạn sơ bộ; Giai đoạn 2 tiến hành kiểm tra thủ công chéo giữa 2 người nhằm phát hiện lỗi chính tả, xử lý từ mới ngoài từ điển và thống nhất phương án khử nhập nhằng trước khi xuất sang định dạng chuẩn IOB2.

3. Tập thuộc tính của mô hình phân đoạn từ tiếng Việt gồm những nhóm mẫu ngữ cảnh nào?

Hệ thống thuộc tính được trích xuất tự động từ 5 nhóm mẫu vị từ ngữ cảnh:

  • Nhóm 1 (Syllable Conjunction): Kết hợp các âm tiết trong phạm vi cửa sổ trượt kích thước 5 ($S_{-2}$ đến $S_2$).
  • Nhóm 2 (Regex): Các biểu thức chính quy nhận dạng số thực, tỷ lệ phần trăm, định dạng ngày tháng.
  • Nhóm 3 (Lexicon): Thuộc tính kiểm tra từ điển Lạc Việt và nhận diện tên họ, tên đệm, tên chính, tên địa danh.
  • Nhóm 4 (Thực thể & Chữ hoa): Mẫu nhận dạng viết hoa đầu từ (InitialCap), viết in hoa toàn bộ (AllCap), vị trí đầu câu (FirstObsr) và dấu câu (Mark).
  • Nhóm 5 (Âm tiết & Từ láy): Kiểm tra âm tiết không hợp lệ trong tiếng Việt (not_valid_vnsyll), phát hiện từ láy toàn bộ (Full_Dup) và từ láy bộ phận (Part_Dup).

4. Thuật toán tối ưu hóa nào được sử dụng để ước lượng tham số của mô hình CRF trong khóa luận?

Khóa luận sử dụng thuật toán tối ưu hóa số bậc hai L-BFGS (Limited-memory Broyden-Fletcher-Goldfarb-Shanno) để cực đại hóa hàm log-likelihood. Khác với các phương pháp lặp IIS hay GIS, L-BFGS xấp xỉ nghịch đảo ma trận đạo hàm bậc hai Hessian ($B^{-1}(\theta)$) dựa trên sự biến thiên của vector gradient qua từng bước lặp mà không cần lưu trữ hay nghịch đảo trực tiếp toàn bộ ma trận cỡ lớn, giúp thuật toán tiết kiệm bộ nhớ máy tính và đạt tốc độ hội tụ nhanh trên tập thuộc tính lớn.

5. Việc bổ sung thuộc tính từ điển Lạc Việt vào mô hình CRF mang lại cải thiện hiệu năng như thế nào?

Trong Thử nghiệm 2, khi mô hình CRF chỉ sử dụng các thuộc tính kết hợp âm tiết (cửa sổ trượt 5) và biểu thức chính quy, kết quả trung bình 5 lần kiểm tra chéo ở mức từ đạt Precision 90,11%, Recall 94,60% và F1 92,29%. Khi chuyển sang Thử nghiệm 3, bổ sung thêm thuộc tính kiểm tra từ điển Lạc Việt (in_lacviet_dict), hiệu năng trung bình ở mức từ tăng lên Precision 93,19%, Recall 95,74% và F1 đạt 94,44% (ở mức nhãn âm tiết, F1 tăng từ 95,342% lên 97,098%). Điều này chứng minh thuộc tính từ điển đóng vai trò quan trọng trong việc hỗ trợ mô hình xác định chính xác ranh giới từ ghép và giảm thiểu lỗi nhập nhằng.

Kết luận

Khóa luận tốt nghiệp của tác giả Nguyễn Trung Kiên đã nghiên cứu và ứng dụng mô hình học máy Conditional Random Fields (CRFs) cho bài toán phân đoạn từ tiếng Việt, giải quyết được các hạn chế cố hữu của các phương pháp so khớp từ điển và mô hình Markov trước đó. Thông qua việc thiết kế hệ thống mẫu ngữ cảnh dựa trên đặc trưng ngôn ngữ học tiếng Việt và quy trình tiền xử lý dữ liệu chuẩn hóa IOB2, công trình đạt được điểm F1 ở mức từ lên tới 94,44% trong thực nghiệm kiểm định chéo. Kết quả này cung cấp một cơ sở lý thuyết và thực nghiệm hoàn chỉnh, đóng góp nguồn ngữ liệu và giải pháp kỹ thuật nền tảng cho các hệ thống xử lý ngôn ngữ tự nhiên tiếng Việt tiếp theo.