Tổng quan luận án

Luận án tiến sĩ "Xây dựng mô hình đánh giá độ khó của văn bản tiếng Việt" được nghiên cứu sinh Lương An Vinh thực hiện tại Trường Đại học Khoa học Tự nhiên – Đại học Quốc gia Thành phố Hồ Chí Minh, thuộc ngành Khoa học Máy tính (mã số: 62480101) dưới sự hướng dẫn khoa học của PGS. Đinh Điền và bảo vệ vào năm 2023.

Tính cấp thiết và khoảng trống nghiên cứu

Kỹ năng đọc là phương thức cơ bản để tiếp nhận tri thức. Cùng với sự phát triển của mạng Internet, khối lượng văn bản số hóa gia tăng đặt ra yêu cầu phải có công cụ tự động xác định mức độ phù hợp của tài liệu đối với từng nhóm người đọc. Nghiên cứu về độ khó của văn bản (readability) nhằm đo lường các yếu tố ngôn ngữ nội tại ảnh hưởng đến tính dễ đọc hay khó đọc của tài liệu. Mặc dù bài toán này đã được nghiên cứu sâu rộng trên thế giới từ cuối thế kỷ 19 đối với tiếng Anh và nhiều ngôn ngữ khác, các nghiên cứu trong tiếng Việt lại rất hạn chế.

Trước khi luận án này được thực hiện, tiếng Việt chỉ có hai công trình nghiên cứu về độ khó văn bản của nhóm tác giả Liem Thanh Nguyen và Alan B. Henkin công bố vào các năm 1982 và 1985. Cả hai nghiên cứu này đều đã tồn tại gần 40 năm, được thực nghiệm trên các bộ ngữ liệu rất nhỏ (lần lượt gồm 20 văn bản và 54 văn bản) và chỉ tập trung vào một số đặc trưng thống kê bề mặt như độ dài từ, độ dài câu hoặc tỷ lệ từ ghép Hán - Việt. Do đó, khoảng trống nghiên cứu đặt ra là sự thiếu vắng các bộ ngữ liệu chuẩn quy mô lớn, cập nhật và việc khai thác chưa đầy đủ các đặc trưng ngôn ngữ tầng sâu (ngữ pháp, mô hình ngôn ngữ, ngữ nghĩa, đặc thù tiếng Việt) cũng như các kỹ thuật máy học và học sâu hiện đại để giải quyết bài toán đánh giá độ khó văn bản tiếng Việt.

Mục tiêu và câu hỏi nghiên cứu

Mục tiêu tổng quát của luận án là xây dựng mô hình tự động đánh giá độ khó của văn bản tiếng Việt, nhằm xác định mức độ khó của một văn bản và đối tượng người đọc phù hợp. Kết quả nghiên cứu hướng đến ứng dụng trong biên soạn sách giáo khoa, giáo trình, ấn phẩm báo chí, tài liệu hướng dẫn, viết định nghĩa từ điển và hỗ trợ giảng dạy tiếng Việt cho người nước ngoài.

Luận án xác định 3 câu hỏi nghiên cứu:

  1. Độ khó của văn bản là gì?
  2. Những yếu tố ngôn ngữ nào ảnh hưởng đến độ khó của văn bản?
  3. Từ những yếu tố đó, chúng ta sẽ xây dựng mô hình máy tính để tự động đánh giá độ khó của văn bản như thế nào?

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Các yếu tố ngôn ngữ ảnh hưởng đến độ khó văn bản; các đặc điểm của tiếng Việt (cách dùng từ, viết câu, tính liên kết, ngôn ngữ địa phương, phong cách học); các tri thức ngôn ngữ học tính toán (ranh giới từ, ranh giới ngữ, thông tin từ loại, cấu trúc cú pháp, ngữ nghĩa câu).
  • Phạm vi văn bản: Luận án giới hạn khảo sát trên các văn bản viết hoặc văn bản in bằng tiếng Việt, không xét đến văn bản nói và các ngôn ngữ khác. Miền văn bản tập trung vào lĩnh vực văn học và ngôn ngữ học trong chương trình giáo dục phổ thông và đào tạo sau phổ thông tại Việt Nam. Đối với văn bản văn học, luận án chỉ khảo sát thể loại văn xuôi, loại trừ các thể loại văn vần (thơ ca, trường ca, vè, tục ngữ, ca dao).
  • Phạm vi khái niệm độ khó: Độ khó văn bản được xác định thuần túy dựa trên các yếu tố ngôn ngữ nội tại khách quan, hình thành trong quá trình tạo lập văn bản. Kết quả đánh giá được thể hiện dưới dạng một chỉ số định lượng hoặc một nhãn phân lớp, hoàn toàn không chịu tác động từ phía người đọc hay các yếu tố chủ quan của độc giả.

Tổng quan tài liệu và vị trí của luận án

Các nghiên cứu về độ khó của văn bản trên thế giới được luận án phân chia thành hai hướng tiếp cận chính: hướng tiếp cận thống kê và hướng tiếp cận máy học.

Hướng tiếp cận thống kê

Hướng tiếp cận này bắt đầu từ việc khảo sát các yếu tố ngôn ngữ và xây dựng các công thức toán học đo lường độ khó:

  • L. A. Sherman (1893): Khảo sát thống kê văn học tiếng Anh qua các thời kỳ lịch sử, chỉ ra xu hướng rút ngắn độ dài câu: thời tiền Elizabeth trung bình 50 từ/câu, thời Elizabeth là 45 từ/câu, thời Victoria là 29 từ/câu, thời kỳ Sherman là 23 từ/câu, và hiện đại giảm xuống khoảng 20 từ/câu.
  • E. L. Thorndike (1911, 1921, 1932) và Irving Lorge (1944): Thống kê tần số từ và xuất bản các danh mục từ vựng tiếng Anh thông dụng (10.000, 20.000 và 30.000 từ), làm tiền đề cho các chỉ số xác định từ khó.
  • H. D. Kitson (1921): Chứng minh sự khác biệt độc giả giữa các báo chí (Chicago Evening Post, Chicago American, Century, American) bắt nguồn từ độ dài câu và độ dài từ.
  • B. A. Lively và S. L. Pressey (1923): Đề xuất công thức đo độ khó sách khoa học dựa trên số từ khác nhau và vị trí trung vị của từ vựng trong danh sách Thorndike.
  • M. Vogel và C. Washburne (1928): Khảo sát 10 đặc trưng cấu trúc văn bản trên ngữ liệu thực nghiệm, xây dựng công thức dựa trên số từ khác nhau, tỷ lệ từ ngoài danh mục Thorndike và trọng số trung vị.
  • W. Painter (1931): Đánh giá độ khó từ vựng lớp 10 trung học dựa trên tần số từ Thorndike và dung lượng từ vựng.
  • R. Ojemann (1934): Khảo sát trên người trưởng thành, đánh giá tương quan giữa từ vựng, 8 yếu tố cú pháp với độ khó, đề xuất 16 đoạn văn bản tham chiếu và phân loại văn bản theo cấp lớp học.
  • E. Dale và R. W. Tyler (1934): Rút trích 10 yếu tố cho người lớn từ 29 yếu tố của trẻ em, chọn ra 3 yếu tố có tương quan cao nhất (từ vựng chuyên ngành, từ vựng khó phi chuyên ngành, mệnh đề quan hệ không xác định) đạt tương quan 0,511.
  • W. S. Gray và B. E. Leary (1935): Xuất bản cuốn What Makes a Book Readable, khảo sát 1.690 người, xác định 288 yếu tố chia làm 4 nhóm (Nội dung, Phong cách, Định dạng, Tổ chức). Từ 64 đặc trưng phong cách định lượng được, nhóm tác giả chọn ra 17 đặc trưng có tương quan cao nhất và xây dựng công thức 5 biến đạt tương quan 0,645.
  • I. Lorge (1944, 1948): Đề xuất Chỉ số Lorge (Lorge Index) dựa trên độ dài trung bình câu, số cụm giới từ trên 100 từ và số từ ngoài danh mục 769 từ dễ của Dale.
  • R. Flesch (1946, 1948): Nhận định tiếng Anh hướng tới sự đơn giản hóa cấu trúc S-V-O giống tiếng Hoa; đề xuất công thức Flesch Reading Ease: $$\text{Score} = 206,835 - (1,015 \times \text{ASL}) - (84,6 \times \text{ASW})$$ (với ASL là độ dài câu tính theo từ; ASW là độ dài từ tính theo âm tiết; điểm số từ 0 - khó đến 100 - dễ; tích hợp trong Microsoft Word từ bản 2007).
  • E. Dale và J. S. Chall (1948, 1995): Công thức Dale-Chall kết hợp độ dài câu và tỷ lệ từ khó (ngoài danh mục 763 từ, sau mở rộng lên 3.000 từ): $$\text{Score} = 0,1579 \times \text{PDW} + 0,0496 \times \text{ASL} + 3,6365 \quad (\text{nếu PDW} > 5%)$$
  • H. McLaughlin (1969): Đề xuất công thức SMOG tính toán dựa trên số từ có từ 3 âm tiết trở lên trong 30 câu chọn lọc.
  • Quân đội Mỹ (1973): Giới thiệu công thức FORCAST cho tài liệu quân sự: $$\text{Level} = 20 - (N / 10)$$ (với $N$ là số từ đơn tiết trong mẫu 150 từ).
  • L. S. Golub và Kidder (1974): Đề xuất chỉ số mật độ cú pháp SDS (Syntactic Density Score) dựa trên cấu trúc T-unit và các thành phần cú pháp phụ thuộc.
  • J. P. Kincaid và cộng sự (1975): Điều chỉnh công thức Flesch thành Flesch-Kincaid Grade Level: $$\text{GL} = (0,39 \times \text{ASL}) + (11,8 \times \text{ASW}) - 15,59$$
  • Nghiên cứu hiện đại: Bruce W. và Jason (2020) với LXPER Index 2.0 cho tiếng Hàn (ngữ liệu CoKEC-text gồm 2.700 văn bản); Chakraborty và cộng sự (2021) đánh giá tiếng Bangla trên ngữ liệu hơn 96.000 câu.
  • Trong tiếng Việt: Liem Thanh Nguyen và Alan B. Henkin (1982) đề xuất công thức trên 20 văn bản: $$\text{RL} = (2 \times \text{WL}) + (0,2 \times \text{SL}) - 6$$ Và công thức năm 1985 trên 54 văn bản: $$\text{RL} = (0,27 \times \text{WD}) + (0,13 \times \text{SL}) + 1,74$$ (với WL: độ dài từ tính bằng ký tự, SL: độ dài câu tính bằng từ, WD: tỷ lệ từ ghép Hán - Việt).

Hướng tiếp cận máy học

Hướng tiếp cận này coi bài toán đánh giá độ khó như một tác vụ phân lớp hoặc hồi quy tự động:

  • Si và Callan (2001): Sử dụng Mô hình ngôn ngữ kết hợp độ dài câu và thuật toán EM để phân loại trang web theo 3 cấp độ, đạt độ chính xác 75%.
  • Collins-Thompson và Callan (2005): Ứng dụng Naive Bayes trên mô hình ngôn ngữ.
  • Schwarm và Ostendorf (2005): Kết hợp 12 đặc trưng mô hình ngôn ngữ, 4 đặc trưng ngữ pháp và đặc trưng truyền thống với thuật toán SVM trên ngữ liệu Weekly Reader.
  • Heilman và cộng sự (2007): Khảo sát vai trò của đặc trưng ngữ pháp đối với người học ngoại ngữ tiếng Anh.
  • Pitler và Nenkova (2008): Đưa quan hệ diễn ngôn vào phân loại độ khó văn bản.
  • Tanaka-Ishii và cộng sự (2010): Chuyển bài toán phân lớp sang bài toán sắp xếp so sánh cặp (Comparator) bằng SVM.
  • Vajjala và Meurers (2012): Khảo sát độ phức tạp từ vựng và ngữ pháp cho đối tượng học ngoại ngữ.
  • Chen và cộng sự (2013): Kết hợp kênh từ vựng (lexical chain) và TF-IDF bằng SVM cho sách tiểu học tiếng Hoa.
  • Al-Tamimi và cộng sự (2014): Đánh giá hơn 1.000 văn bản sách giáo khoa tiếng Ả-Rập bằng SVM.
  • Gang Sun và cộng sự (2014): Hồi quy tuyến tính trên 76 đặc trưng tiếng Hoa.
  • Yaw-Huei Chen và Patcharanut Daowadung (2015): Phân lớp 720 văn bản tiếng Thái bằng SVM dựa trên đặc trưng tần số.
  • Hind Saddiki và cộng sự (2015): Nghiên cứu tiếng Ả-Rập cho người nước ngoài bằng các thuật toán máy học.
  • Ozcan (2016): Sử dụng đầu ra của các công thức độ khó làm đặc trưng huấn luyện mô hình máy học (NB, Cây quyết định, RF, MLP) cho tiếng Thổ Nhĩ Kỳ.
  • Xia và cộng sự (2016): Sử dụng kỹ thuật thích nghi miền EasyAdapt để phân loại văn bản cho người học tiếng Anh.
  • Chatzipanagiotidis và cộng sự (2021): Khảo sát 212 đặc trưng ngôn ngữ cho tiếng Hy Lạp, đạt độ chính xác trên 88%.
  • J. M. Imperial (2021): Tích hợp đặc trưng ngôn ngữ truyền thống với đặc trưng từ mô hình tiền huấn luyện BERT cho tiếng Anh.
Công trình Ngôn ngữ, Ngữ liệu Đặc trưng khảo sát Phương pháp / Thuật toán Kết quả chính
G. H. McLaughlin (1969) [22] Tiếng Anh (390 đoạn văn) Số lượng từ khó ($\ge 3$ âm tiết) Thống kê Tương quan đạt 0,985
J. P. Kincaid và cs. (1975) [25] Tiếng Anh (531 chủ đề) Độ dài câu; số âm tiết của từ Thống kê hồi quy Tương quan đạt 0,87
J. Lee và Y. Hasebe (2016) [31] Tiếng Nhật (83 sách giáo khoa) Độ dài câu; từ Hán-Nhật; từ cổ; động từ; trợ từ Thống kê hồi quy Tương quan đạt 0,896
Gang Sun và cs. (2014) [43] Tiếng Hoa (637 văn bản SGK) 76 đặc trưng bề mặt, từ loại, cây cú pháp, Entropy Linear và Log-linear regression Đạt kết quả khả quan
Orphée De Clercq và cs. (2014) [59] Tiếng Hà Lan (105 đoạn văn) Đặc trưng cơ bản, mô hình ngôn ngữ, đặc trưng sâu KNN, Random Forest Độ chính xác đạt trên 77,5%
Yaw-Huei Chen & P. Daowadung (2015) [44] Tiếng Thái (720 văn bản SGK) Đặc trưng tần suất, mức nông, mô hình ngôn ngữ SVM Độ chính xác cao nhất đạt 51%
Karin Berendes và cs. (2018) [60] Tiếng Đức (2.928 bài đọc SGK) Từ vựng, hình thái, ngữ pháp, độ gắn kết Sequential Minimal Optimization Độ chính xác theo cặp lớp đạt trên 75%
Hou-Chiang Tseng và cs. (2019) [61] Tiếng Hoa (2.213 bài báo khoa học) Ngữ nghĩa tiềm ẩn (LSA) LSA kết hợp SVM Độ chính xác đạt trên 86% (XH) và 79% (TN)
Liem Thanh Nguyen & A. B. Henkin (1982) [2] Tiếng Việt (20 văn bản) Độ dài trung bình câu; độ dài trung bình từ Thống kê hồi quy Công thức RL với 2 biến
Liem Thanh Nguyen & A. B. Henkin (1985) [3] Tiếng Việt (54 văn bản) Tỷ lệ từ khó (từ ghép Hán - Việt); độ dài câu Thống kê hồi quy Tương quan đạt 0,84
Lương An Vinh [CT5] Tiếng Việt (996 văn bản) Độ dài câu, độ dài từ, tỷ lệ từ khó Thống kê hồi quy Xây dựng công thức đo mới
Lương An Vinh [CT6] Tiếng Việt (372 văn bản SGK) Tỷ lệ từ Hán - Việt, từ địa phương, tên riêng SVM Độ chính xác trên 85% (gom nhóm cấp học)
Lương An Vinh [CT7] Tiếng Việt (288 văn bản SGK) Độ dài câu, độ dài từ, tỷ lệ từ khó, độ dài văn bản SVM Độ chính xác trên 96% (gom nhóm cấp học)

Khoảng trống luận án lựa chọn giải quyết

Trong tiếng Việt, trước luận án chưa có bất kỳ công trình nào nghiên cứu về độ khó văn bản theo hướng tiếp cận máy học và học sâu. Luận án giải quyết khoảng trống về sự thiếu hụt ngữ liệu quy mô lớn, thiếu hệ thống đặc trưng ngôn ngữ đa tầng (đặc biệt là các yếu tố đặc thù của tiếng Việt) và thiếu các mô hình tính toán có khả năng đánh giá tự động đạt độ chính xác cao.

Cơ sở lý thuyết và phương pháp nghiên cứu

Cơ sở lý thuyết và phân định khái niệm

Luận án kế thừa mô hình lý thuyết phân định sự phù hợp giữa văn bản và người đọc:

  • Độ phức tạp của văn bản (Text Complexity): Nghiên cứu quá trình mã hóa (encoding) của người soạn thảo, mang tính khách quan và định lượng dựa trên bản thân văn bản. Hướng nghiên cứu này chia thành:
    1. Tính dễ nhìn / Độ rõ (Text Legibility): Các yếu tố trình bày, in ấn (font chữ, màu chữ, kích thước, độ tương phản nền, khoảng cách ký tự).
    2. Độ khó của văn bản (Text Readability): Các yếu tố ngôn ngữ nội tại ảnh hưởng đến việc đọc hiểu. Luận án định nghĩa: "Độ khó của văn bản là hệ thống các yếu tố ngôn ngữ của nội tại văn bản ảnh hưởng đến tính dễ đọc hay khó đọc của một văn bản".
  • Khả năng hiểu văn bản (Reader Comprehensibility): Nghiên cứu quá trình giải mã (decoding) của người đọc, mang tính chủ quan và định tính (kiến thức nền, động lực, tâm lý, thể chất của từng cá nhân).
Tiêu chí Độ phức tạp của văn bản Khả năng hiểu văn bản của người đọc
Đối tượng nghiên cứu Văn bản Người đọc
Nội dung nghiên cứu Các đặc trưng của văn bản tác động đến độ phức tạp Đặc điểm của một hoặc nhóm người đọc tác động đến khả năng hiểu
Tính chất Khách quan Chủ quan
Phương pháp nghiên cứu Định lượng Chủ yếu là định tính

Hệ thống đặc trưng ngôn ngữ

Luận án khảo sát và trích xuất hệ thống 262 đặc trưng ngôn ngữ, phân bố qua các cấp độ:

  • Đặc trưng bề mặt: Độ dài trung bình của câu (tính bằng số từ), độ dài trung bình của từ (tính bằng số ký tự, số âm tiết), độ dài đoạn văn.
  • Đặc trưng tần suất: Tần suất xuất hiện của từ, tần suất chữ, tỷ lệ phân bố từ vựng.
  • Đặc trưng ngữ pháp cấp độ từ: Tỷ lệ các từ loại (danh từ, động từ, tính từ, đại từ, giới từ, liên từ...).
  • Đặc trưng ngữ pháp cấp độ câu: Mật độ cú pháp, cấu trúc cây phân tích cú pháp, độ phức tạp của câu, số lượng mệnh đề phụ.
  • Đặc trưng mô hình ngôn ngữ: Điểm xác suất n-gram, độ rối rắm (perplexity).
  • Đặc trưng ngữ nghĩa: Mật độ thực thể định danh (Named Entities), kênh từ vựng (lexical chains).
  • Đặc trưng đặc thù tiếng Việt: Tỷ lệ từ ghép Hán - Việt, tỷ lệ từ mượn ngoại lai, tỷ lệ từ ngữ địa phương / phương ngữ.

Phương pháp nghiên cứu thực tế

  1. Phương pháp thống kê:
    • Phân tích tương quan (Pearson, Spearman) giữa từng đặc trưng với độ khó chuẩn của văn bản.
    • Phân tích hồi quy đa biến: Luận án đưa ra cải tiến quan trọng là không loại bỏ các đặc trưng có độ tương quan cao với nhau trong quá trình thực nghiệm, từ đó tối ưu hóa hệ số xác định và mức độ tương quan của phương trình hồi quy.
  2. Phương pháp máy học truyền thống:
    • Sử dụng các giải thuật phân lớp: Máy vectơ hỗ trợ (Support Vector Machine - SVM), Rừng ngẫu nhiên (Random Forest - RF), K láng giềng gần nhất (K-nearest neighbors - KNN), Naive Bayes (NB).
    • Ứng dụng thuật toán RFECV (Recursive Feature Elimination with Cross-Validation): Thuật toán đệ quy loại bỏ đặc trưng kết hợp kiểm định chéo để tự động xếp hạng và lựa chọn số lượng đặc trưng tối ưu có đóng góp lớn nhất vào mô hình.
  3. Phương pháp học sâu:
    • Đề xuất mô hình học sâu kết hợp giữa mô hình ngôn ngữ tiền huấn luyện BERT và mạng bộ nhớ ngắn hạn dài (LSTM).
    • Kỹ thuật phân đoạn văn bản và tổng hợp vector đại diện qua token [CLS].
    • Cơ chế tích hợp: Ghép nối vector biểu diễn văn bản trích xuất từ BERT + LSTM với các vector đặc trưng ngôn ngữ truyền thống trước khi đưa vào các tầng kết nối đầy đủ để phân loại.

Nguồn ngữ liệu

Luận án xây dựng và công bố 2 bộ ngữ liệu thực nghiệm:

  • Bộ ngữ liệu SGK: Gồm 370 văn bản thu thập từ sách giáo khoa Tiếng Việt (bậc tiểu học) và Ngữ văn (bậc trung học cơ sở và trung học phổ thông) tại Việt Nam. Ngữ liệu được phân tích theo 12 khối lớp hoặc gom nhóm theo 3 cấp học (Tiểu học: lớp 1-5; THCS: lớp 6-9; THPT: lớp 10-12).
  • Bộ ngữ liệu VH-NNH: Gồm 1.825 văn bản thuộc lĩnh vực văn học và ngôn ngữ học, được thu thập từ nhiều nguồn tài liệu và được đánh giá, gán nhãn độ khó bởi các chuyên gia ngôn ngữ học tiếng Việt.

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương 1 thiết lập bức tranh tổng thể về đề tài:

  • Trình bày bản chất của việc đọc và thách thức từ sự bùng nổ thông tin văn bản số; đưa ra các ví dụ trực quan về văn bản dễ và khó từ nguồn News In Levels (tiếng Anh) và các định nghĩa từ điển tiếng Việt (Hoàng Phê 1988 so với Từ điển Lạc Việt).
  • Phân biệt độ khó văn bản (readability) mang tính khách quan với khả năng đọc hiểu (comprehensibility) mang tính chủ quan; minh họa qua hình ảnh đo kích thước bàn ghế học sinh so với thể trạng từng cá nhân.
  • Khảo cứu toàn diện lịch sử nghiên cứu từ các công thức thống kê cổ điển đến các mô hình máy học hiện đại.
  • Trình bày thực trạng nghiên cứu trong nước, xác định mục tiêu, 3 câu hỏi nghiên cứu, đối tượng, phạm vi khảo sát (văn xuôi tiếng Việt ngành văn học - ngôn ngữ học) và tóm lược 6 đóng góp chính của luận án.

Chương 2: Cơ sở lý thuyết về độ khó của văn bản

Chương 2 hoàn thiện khung lý thuyết nền tảng:

  • Phân tích chi tiết hai hướng nghiên cứu về sự phù hợp văn bản: Độ phức tạp văn bản (quá trình mã hóa) và Khả năng lĩnh hội (quá trình giải mã); lập bảng so sánh định tính và định lượng giữa hai hướng tiếp cận.
  • Đi sâu vào các yếu tố in ấn tác động đến Tính dễ nhìn (Text Legibility) thông qua 4 trường hợp minh họa: font chữ nghệ thuật gây rối mắt, độ tương phản màu sắc thấp, khoảng cách ký tự quá hẹp và định dạng chuẩn.
  • Phân loại và phân tích cơ chế tác động của các yếu tố ngôn ngữ đến độ khó: yếu tố từ (tần số, độ dài, từ khó, từ đa âm tiết, từ chuyên ngành, từ Hán - Việt, từ địa phương); yếu tố câu (độ dài câu, các loại câu đơn/ghép/phức, mệnh đề phụ, mật độ cú pháp SDS); yếu tố văn bản (tính liên kết, kênh từ vựng, cấu trúc diễn ngôn).
  • Giới thiệu các khung tham chiếu trình độ như CEFR và nguyên lý hoạt động của các thuật toán phân lớp truyền thống (SVM với siêu phẳng và lề cực đại, KNN với khoảng cách láng giềng, Random Forest với tập hợp cây quyết định).

Chương 3: Mô hình đánh giá độ khó văn bản tiếng Việt

Chương 3 đề xuất chi tiết kiến trúc của 3 mô hình tính toán:

  • Mô hình thống kê: Phân tích tương quan đơn biến và phân tích hồi quy đa biến. Luận án đề xuất quy trình thực nghiệm cải tiến: thay vì loại bỏ các biến độc lập có tương quan cao với nhau nhằm tránh đa cộng tuyến như thông lệ, luận án giữ lại các biến này để xây dựng công thức hồi quy, giúp bảo toàn thông tin và tăng hệ số tương quan với nhãn lớp độ khó.
  • Mô hình máy học truyền thống: Ứng dụng giải thuật RFECV để tự động sàng lọc trong tập 262 đặc trưng ban đầu, tìm ra tập con đặc trưng tối ưu cho từng thuật toán phân lớp cụ thể (SVM, RF, KNN, NB), loại bỏ các đặc trưng nhiễu hoặc kém hiệu quả.
  • Mô hình học sâu lai (Hybrid Deep Learning): Để khắc phục giới hạn độ dài đầu vào của mô hình BERT khi xử lý văn bản dài, luận án thiết kế cơ chế:
    1. Tách văn bản thành các đoạn nhỏ phù hợp với kích thước đầu vào của BERT.
    2. Đưa từng đoạn qua BERT đã tinh chỉnh để lấy vector ẩn tại token [CLS] làm vector đại diện cho đoạn.
    3. Đưa chuỗi vector đoạn qua mạng LSTM để tổng hợp thành vector đại diện cho toàn bộ văn bản.
    4. Ghép nối (concatenate) vector ngữ cảnh từ LSTM với vector các đặc trưng ngôn ngữ trích xuất truyền thống.
    5. Đưa vector kết hợp qua các tầng kết nối dày đặc (Dense layers) và tầng phân loại Softmax để xác định cấp độ khó.

Chương 4: Thực nghiệm và đánh giá

Chương 4 kiểm chứng thực nghiệm các mô hình đề xuất trên hai bộ ngữ liệu:

  • Quy trình tiền xử lý và gán nhãn: Chuẩn hóa văn bản, tách từ, gán nhãn từ loại (PoS), nhận diện thực thể tên riêng (NE), phân tích cú pháp và trích xuất 262 đặc trưng số hóa. Ngữ liệu SGK được đánh giá theo 12 khối lớp và gom nhóm theo 3 cấp học; ngữ liệu VH-NNH được chia thành các mức độ khó chuẩn.
  • Thực nghiệm mô hình thống kê: Hệ số tương quan của các công thức độ khó được kiểm tra đối sánh (Bảng 4.5 và Bảng 4.13). Công thức mới của luận án đạt hệ số tương quan với độ khó thực tế vượt trội so với các công thức Flesch-Kincaid, Dale-Chall và hai công thức tiếng Việt của Liem Thanh Nguyen & Alan B. Henkin (1982, 1985).
  • Thực nghiệm mô hình máy học truyền thống: Thuật toán RFECV đã tinh gọn danh sách đặc trưng hiệu quả nhất trên từng bộ ngữ liệu (Bảng 4.6, 4.7, 4.9). Trên ngữ liệu SGK gom nhóm theo 3 cấp học, SVM đạt độ chính xác trên 85% với các đặc trưng từ Hán - Việt, từ địa phương [CT6], và đạt trên 96% khi kết hợp thêm các đặc trưng độ dài và từ khó [CT7].
  • Thực nghiệm mô hình học sâu: Khi sử dụng mô hình BERT + LSTM thuần túy, độ chính xác có giảm nhẹ so với mô hình máy học truyền thống tối ưu nhưng tiết kiệm hoàn toàn chi phí trích xuất đặc trưng thủ công. Khi tích hợp thêm các đặc trưng ngôn ngữ vào mạng học sâu, độ chính xác tổng thể được cải thiện rõ rệt, vượt lên trên kết quả của các mô hình phân lớp truyền thống (Bảng 4.12).
  • So sánh tổng hợp (Bảng 4.14): Khẳng định các mô hình máy học và học sâu lai của luận án đạt các chỉ số phân lớp vượt trội so với các nghiên cứu tiền nhiệm trong và ngoài nước trên cùng miền dữ liệu.

Chương 5: Kết luận và hướng phát triển

Chương 5 đúc kết các kết quả đạt được:

  • Hoàn thành trọn vẹn mục tiêu nghiên cứu với 2 bộ ngữ liệu công khai đầu tiên, 262 đặc trưng đa tầng và 3 mô hình đánh giá độ khó đại diện cho 3 hướng tiếp cận.
  • Xác nhận tính thực tiễn của các mô hình trong việc hỗ trợ ngành xuất bản và giáo dục.
  • Vạch ra lộ trình mở rộng nghiên cứu trong tương lai: mở rộng sang văn bản khoa học tự nhiên, xử lý thể loại văn vần và khai thác các mô hình ngôn ngữ lớn tiên tiến.

Kết quả và những đóng góp mới

Luận án tự nêu 6 đóng góp mới cho lý luận và thực tiễn:

  1. Đóng góp tổng thể về lý luận: Là nghiên cứu hoàn chỉnh, toàn diện đầu tiên về độ khó văn bản dành cho tiếng Việt trên phương diện Khoa học Máy tính và Ngôn ngữ học tính toán; hệ thống hóa cơ sở lý thuyết, các hướng tiếp cận, danh mục đặc trưng và nguồn ngữ liệu.
  2. Đóng góp về hệ thống đặc trưng: Đã đề xuất, trích xuất và khảo sát danh mục gồm 262 đặc trưng ngôn ngữ đa tầng (từ mức bề mặt, tần suất, từ loại, cú pháp, mô hình ngôn ngữ đến ngữ nghĩa và các đặc trưng đặc thù của tiếng Việt như tỷ lệ từ Hán - Việt, từ mượn, phương ngữ).
  3. Đóng góp về ngữ liệu: Xây dựng và công bố 2 bộ ngữ liệu chuẩn về độ khó văn bản tiếng Việt có quy mô lớn: Bộ ngữ liệu SGK (370 văn bản) và Bộ ngữ liệu VH-NNH (1.825 văn bản được chuyên gia thẩm định).
  4. Đóng góp cho hướng tiếp cận thống kê: Đề xuất cải tiến phương pháp phân tích hồi quy (giữ lại các đặc trưng có tương quan cao), xây dựng thành công công thức đo độ khó văn bản tiếng Việt có độ tương quan vượt trội so với các công thức trước đây.
  5. Đóng góp cho hướng tiếp cận máy học truyền thống: Đề xuất ứng dụng thuật toán RFECV để tự động chọn lọc tập đặc trưng tối ưu kết hợp kiểm tra chéo, nâng cao độ chính xác phân loại của các thuật toán SVM, Random Forest trên ngữ liệu tiếng Việt.
  6. Đóng góp cho hướng tiếp cận học sâu: Đề xuất kiến trúc học sâu lai kết hợp mô hình tiền huấn luyện BERT, mạng hồi quy LSTM và các đặc trưng ngôn ngữ truyền thống; giải quyết bài toán văn bản có độ dài biến thiên và đạt độ chính xác phân loại cao hơn các mô hình truyền thống.

Kiến nghị và giải pháp đề xuất

  • Ứng dụng các mô hình vào hệ thống phần mềm hỗ trợ các hội đồng biên soạn sách giáo khoa, giáo trình để định lượng độ phù hợp của văn bản theo từng khối lớp và cấp học.
  • Ứng dụng trong các tòa soạn báo, nhà xuất bản để kiểm tra độ khó của bản thảo trước khi xuất bản nhằm định hướng đúng phân khúc độc giả.
  • Tích hợp công cụ đo độ khó vào các phần mềm soạn thảo văn bản tiếng Việt tương tự tính năng của Flesch Reading Ease trên Microsoft Word.
  • Hỗ trợ xây dựng chương trình giảng dạy, biên soạn tài liệu đọc hiểu cho người nước ngoài học tiếng Việt theo các bậc năng lực.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của luận án

  • Phạm vi văn bản: Luận án mới chỉ khảo sát trên văn bản viết hoặc in, chưa mở rộng sang dạng thức văn bản nói hoặc đa phương tiện.
  • Miền nội dung: Dữ liệu thực nghiệm tập trung chủ yếu vào lĩnh vực văn học và ngôn ngữ học trong chương trình giáo dục phổ thông và đào tạo sau phổ thông; chưa bao quát các văn bản thuộc lĩnh vực khoa học tự nhiên, kỹ thuật, y dược hay văn bản quy phạm pháp luật chuyên ngành.
  • Thể loại văn học: Ngữ liệu văn học mới chỉ khảo sát văn bản văn xuôi, chưa áp dụng và đánh giá được trên thể loại văn vần (thơ, ca dao, tục ngữ, trường ca, vè).
  • Mức độ ngữ nghĩa: Các đặc trưng ngữ nghĩa được khai thác chủ yếu ở mức đơn giản (thực thể tên riêng, kênh từ vựng cơ bản), chưa mô hình hóa sâu được các tầng ngữ nghĩa diễn ngôn phức tạp.

Hướng nghiên cứu tiếp

  • Mở rộng quy mô ngữ liệu sang nhiều miền tri thức đa dạng khác nhau ngoài lĩnh vực văn học - ngôn ngữ học.
  • Nghiên cứu bổ sung các đặc trưng ngôn ngữ học tính toán phù hợp để đánh giá độ khó cho thể loại văn vần và văn bản khẩu ngữ.
  • Nghiên cứu khai thác các mối quan hệ diễn ngôn, cấu trúc ngữ nghĩa sâu và tính gắn kết của văn bản tiếng Việt.
  • Tinh chỉnh các mô hình học sâu với các kiến trúc mô hình ngôn ngữ lớn (LLMs) mới hơn nhằm tối ưu hóa độ chính xác và khả năng tổng quát hóa trên các tập dữ liệu mở rộng.

Giá trị tham khảo

Luận án mang lại giá trị tham khảo cụ thể cho các nhóm đối tượng:

  • Nghiên cứu sinh, học viên và nhà nghiên cứu ngành Khoa học Máy tính / Xử lý Ngôn ngữ Tự nhiên (NLP): Có thể kế thừa hai bộ ngữ liệu chuẩn (SGK và VH-NNH) đã được làm sạch và gán nhãn; tham khảo danh mục 262 đặc trưng ngôn ngữ học tính toán cho tiếng Việt; kế thừa kiến trúc mô hình học sâu kết hợp BERT + LSTM và cơ chế tích hợp đặc trưng thủ công.
  • Chuyên gia giáo dục và các nhà biên soạn chương trình, sách giáo khoa: Sử dụng công thức thống kê hồi quy và các mô hình phân lớp để lượng hóa độ khó của các bài đọc, đảm bảo văn bản đưa vào giảng dạy phù hợp với độ tuổi và trình độ nhận thức của từng cấp lớp học sinh.
  • Biên tập viên, nhà xuất bản và cơ quan truyền thông: Sử dụng các tiêu chí định lượng về độ dài câu, tỷ lệ từ khó, tỷ lệ từ ghép Hán - Việt và phương ngữ để điều chỉnh mức độ đại chúng hoặc chuyên sâu của ấn phẩm.
  • Giảng viên và chuyên gia giảng dạy tiếng Việt cho người nước ngoài (VFL/VSL): Ứng dụng khung phân loại độ khó để sắp xếp tài liệu đọc hiểu theo lộ trình năng lực ngôn ngữ phù hợp cho người học.
  • Phần nội dung đáng tham khảo nhất: Danh mục và kỹ thuật trích xuất 262 đặc trưng ngôn ngữ tại Chương 3; quy trình ứng dụng thuật toán RFECV tại Chương 3 và 4; bảng tổng hợp đối sánh các nghiên cứu trong nước và quốc tế tại Chương 1.

Câu hỏi thường gặp

1. Luận án phân biệt giữa khái niệm "Độ khó của văn bản" và "Khả năng hiểu văn bản" như thế nào?

Độ khó của văn bản (Text Readability) là đại lượng khách quan, bắt nguồn từ hệ thống các yếu tố ngôn ngữ nội tại của văn bản (quá trình mã hóa của tác giả) và không phụ thuộc vào người đọc. Ngược lại, khả năng hiểu văn bản (Reader Comprehensibility) là đại lượng chủ quan, phụ thuộc vào năng lực, kinh nghiệm, tâm lý và động cơ tiếp nhận của từng cá nhân người đọc (quá trình giải mã). Luận án minh họa sự khác biệt này qua ví dụ: chiều cao 80cm của chiếc bàn học là kích thước vật lý khách quan (tương ứng độ khó văn bản), còn việc một học sinh cảm thấy bàn cao hay thấp phụ thuộc vào thể trạng và chiều cao riêng của học sinh đó (tương ứng khả năng đọc hiểu).

2. Hai bộ ngữ liệu do luận án xây dựng có quy mô và đặc điểm ra sao?

Luận án đã xây dựng và công bố 2 bộ ngữ liệu công khai:

  • Bộ ngữ liệu SGK: Gồm 370 văn bản trích xuất từ sách giáo khoa Tiếng Việt và Ngữ văn từ lớp 1 đến lớp 12, được phân cấp theo 12 khối lớp hoặc gom nhóm theo 3 cấp học (Tiểu học, THCS, THPT).
  • Bộ ngữ liệu VH-NNH: Gồm 1.825 văn bản thuộc lĩnh vực văn học và ngôn ngữ học, được thu thập từ nhiều nguồn tài liệu và được đánh giá, gán nhãn độ khó bởi các chuyên gia ngôn ngữ học.

3. Hệ thống 262 đặc trưng ngôn ngữ của luận án gồm những nhóm chính nào?

Hệ thống 262 đặc trưng được phân bố qua các cấp độ: đặc trưng bề mặt (độ dài câu, độ dài từ tính bằng ký tự/âm tiết); đặc trưng tần suất từ và chữ; đặc trưng ngữ pháp cấp độ từ (từ loại PoS); đặc trưng ngữ pháp cấp độ câu (mật độ cú pháp, cấu trúc câu, mệnh đề phụ); đặc trưng mô hình ngôn ngữ (xác suất n-gram, perplexity); đặc trưng ngữ nghĩa đơn giản (thực thể định danh NE, kênh từ vựng); và các đặc trưng đặc thù tiếng Việt (tỷ lệ từ ghép Hán - Việt, từ mượn, từ địa phương).

4. Thuật toán RFECV có vai trò gì trong mô hình máy học truyền thống của luận án?

RFECV (Recursive Feature Elimination with Cross-Validation) là thuật toán đệ quy loại bỏ lần lượt các đặc trưng và đánh giá hiệu quả phân lớp thông qua kiểm tra chéo. Vai trò của RFECV trong luận án là tự động xếp hạng và tinh tuyển tập con các đặc trưng có đóng góp tích cực nhất cho các thuật toán phân lớp truyền thống (như SVM, Random Forest), giúp loại bỏ các đặc trưng gây nhiễu, giảm chiều dữ liệu và nâng cao độ chính xác phân loại văn bản theo cấp độ khó.

5. Mô hình học sâu đề xuất giải quyết bài toán văn bản có độ dài biến thiên như thế nào?

Để xử lý các văn bản có độ dài vượt quá giới hạn đầu vào của mô hình ngôn ngữ BERT, luận án chia văn bản thành các đoạn nhỏ và đưa lần lượt qua BERT để trích xuất vector đại diện tại token [CLS]. Chuỗi vector của các đoạn sau đó được đưa qua mạng hồi quy LSTM để tổng hợp thành một vector ngữ cảnh đại diện cho toàn bộ văn bản. Cuối cùng, vector này được ghép nối với vector chứa các đặc trưng ngôn ngữ trích xuất truyền thống trước khi đưa vào các tầng kết nối dày đặc để thực hiện phân lớp.

Kết luận

Luận án tiến sĩ "Xây dựng mô hình đánh giá độ khó của văn bản tiếng Việt" của tác giả Lương An Vinh là công trình nghiên cứu hệ thống hóa toàn diện bài toán đánh giá độ khó văn bản tiếng Việt dưới góc độ Khoa học Máy tính. Luận án đã giải quyết khoảng trống học thuật tồn tại nhiều thập kỷ qua việc xây dựng 2 bộ ngữ liệu chuẩn công khai, khảo sát hệ thống 262 đặc trưng ngôn ngữ đa tầng và đề xuất 3 mô hình tính toán tương ứng với các hướng tiếp cận thống kê, máy học truyền thống và học sâu lai. Các kết quả thực nghiệm đạt độ chính xác và tương quan cao, mang lại giá trị ứng dụng thực tiễn trong công tác biên soạn sách giáo khoa, quản lý xuất bản và giảng dạy tiếng Việt.