Tổng quan luận án

Luận án tiến sĩ với đề tài "Nghiên cứu nâng cao hiệu quả phân tích cú pháp tiếng Việt theo tiếp cận học máy thống kê" được thực hiện bởi nghiên cứu sinh Nguyễn Thị Lương, dưới sự hướng dẫn khoa học của TS. Lê Hồng Phương và PGS. Đỗ Trung Tuấn, bảo vệ tại Trường Đại học Khoa học Tự nhiên, Đại học Quốc gia Hà Nội vào năm 2020. Nghiên cứu thuộc chuyên ngành Khoa học máy tính, tập trung vào lĩnh vực Xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP).

Tính cấp thiết và khoảng trống nghiên cứu

Trong tiến trình xử lý ngôn ngữ tự nhiên, phân tích cú pháp và gán nhãn vai nghĩa (Semantic Role Labelling - SRL) là các bước trung gian có vai trò xác định cấu trúc ngữ pháp và quan hệ ngữ nghĩa của câu, làm tiền đề cho các ứng dụng như dịch máy, trích xuất thông tin, tóm tắt văn bản và hệ thống hỏi đáp tự động. Đối với tiếng Việt — một ngôn ngữ đơn lập, không biến hình và có đặc tính đơn âm tiết — các hiện tượng nhập nhằng xảy ra đồng thời ở cả mức tách từ, gán nhãn từ loại lẫn mức tạo cấu trúc cú pháp.

Trước thời điểm luận án thực hiện, các nghiên cứu xử lý cú pháp tiếng Việt gặp hai rào cản chính:

  1. Kho ngữ liệu hạn chế: Tiếng Việt mới chỉ có kho ngữ liệu cú pháp thành phần VietTreebank (khoảng 10.000 câu thuộc dự án VLSP năm 2009 và nghiên cứu mở rộng năm 2016), hoàn toàn thiếu vắng kho ngữ liệu chuẩn hóa cho cú pháp phụ thuộc quy mô lớn và chưa có kho ngữ liệu gán nhãn vai nghĩa.
  2. Hiệu quả phương pháp chưa cao: Các công cụ phân tích cú pháp thành phần, phụ thuộc và gán nhãn vai nghĩa tiếng Việt đạt độ chính xác thấp hơn đáng kể so với các ngôn ngữ phổ biến như tiếng Anh hay tiếng Trung, do chưa khai thác triệt để các mô hình học máy thống kê hiện đại, các kỹ thuật biểu diễn từ phân bố và các ràng buộc ngôn ngữ học đặc thù.

Mục tiêu nghiên cứu

Luận án xác định 3 mục tiêu cụ thể:

  1. Xây dựng bộ nhãn phụ thuộc và bộ nhãn vai nghĩa phù hợp với đặc trưng ngữ pháp tiếng Việt.
  2. Xây dựng kho ngữ liệu gán nhãn cú pháp phụ thuộc và kho ngữ liệu gán nhãn vai nghĩa cho tiếng Việt.
  3. Nghiên cứu, ứng dụng và cải tiến các phương pháp học máy thống kê nhằm nâng cao độ chính xác trong bài toán phân tích cú pháp thành phần, phân tích cú pháp phụ thuộc và gán nhãn vai nghĩa tiếng Việt.

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Cấu trúc cú pháp thành phần (Constituency syntax), cấu trúc cú pháp phụ thuộc (Dependency syntax), quan hệ ngữ nghĩa vị từ - đối số (Semantic roles) và các thuật toán học máy thống kê phục vụ phân tích câu tiếng Việt.
  • Phạm vi dữ liệu và không gian: Dữ liệu văn bản tiếng Việt đã qua tiền xử lý (tách từ, gán nhãn từ loại), kế thừa nguồn dữ liệu từ kho ngữ liệu VietTreebank của đề án VLSP và mở rộng sang chuẩn ngữ liệu phụ thuộc quốc tế (Universal Dependencies - UD).
  • Phạm vi thời gian: Luận án tổng kết các nghiên cứu lý thuyết ngôn ngữ học tiếng Việt, khảo sát các mô hình học máy từ giai đoạn 2005 đến năm 2019 và hoàn thành công trình vào tháng 3 năm 2020.

Tổng quan tài liệu và vị trí của luận án

Các hướng nghiên cứu trên thế giới

Tác giả đã điểm luận chi tiết các công trình quốc tế theo từng bài toán:

  • Phân tích cú pháp thành phần: Khởi đầu từ các tiếp cận Shift-Reduce (Sagae và Lavie, 2005; Muhua Zhu và cộng sự, 2013 với độ chính xác $F_1 = 89{,}5%$), mô hình Sequence-to-Sequence sử dụng LSTM bán giám sát (Vinyals và cộng sự, 2015, $F_1 = 92{,}1%$), mạng nơ-ron hồi quy có cấu trúc ngữ pháp RNNG (Chris Dyer và cộng sự, 2016, $F_1 = 93{,}3%$; Kuncoro và cộng sự, 2017, $F_1 = 93{,}6%$), kiến trúc Transformer chú ý (Vaswani và cộng sự, 2017, $F_1 = 92{,}7%$), mô hình sinh LSTM-LM (Choe và Charniak, 2016, $F_1 = 93{,}8%$), Stack-LSTM (Jiangming Liu và Yue Zhang, 2017, $F_1 = 94{,}2%$), tìm kiếm trực tiếp trên mô hình sinh (Daniel Fried và cộng sự, 2017, $F_1 = 94{,}66%$), cơ chế Self-attention kết hợp ELMo (Nikita Kitaev và Dan Klein, 2018, $F_1 = 95{,}13%$) và mô hình kết hợp HPSG với BERT (Junru Zhou và Hai Zhao, 2019, $F_1 = 95{,}84%$).
  • Phân tích cú pháp phụ thuộc: Các thuật toán kinh điển dựa trên đồ thị (Graph-based) với MSTParser (Ryan McDonald và cộng sự, 2005), dựa trên bước chuyển (Transition-based) với MaltParser (Joakim Nivre và cộng sự, 2004; Johan Hall và cộng sự), Stanford Parser (53 nhãn phụ thuộc). Giai đoạn tiếp theo chứng kiến sự xuất hiện của mô hình phân lớp mạng nơ-ron (Chen và Manning, 2014, đạt $ASU = 92{,}7%$ trên tiếng Anh, $84{,}4%$ trên tiếng Trung), Stack-LSTM (Dyer và cộng sự, 2015), BiLSTM (Kiperwasser và Goldberg, 2016), Biaffine LSTM (Dozat và Manning, 2017, $ASU = 95{,}23%$), Gated Attention RNNG (Kuncoro và cộng sự, 2017), mạng nơ-ron đồ thị GNNs (Tao Ji và cộng sự, 2019, $ASU = 95{,}31%$).

Các hướng nghiên cứu tại Việt Nam

  • Kho ngữ liệu: Nguyễn Phương Thái và cộng sự (2009) xây dựng kho VietTreebank với hơn 10.000 câu gán nhãn cú pháp thành phần; Nguyễn Thị Quý và cộng sự (2016) mở rộng kho ngữ liệu cú pháp lên hơn 20.000 câu.
  • Phương pháp phân tích cú pháp: Nguyễn Quốc Thể và Lê Thanh Hương (2007) sử dụng văn phạm phi ngữ cảnh từ vựng hóa kết hợp xác suất (LPCFG); Lê Thanh Hương và cộng sự (2010) áp dụng văn phạm cấu trúc cụm hướng trung tâm (HPSG); Lê Hồng Phương và cộng sự (2010, 2015) khai thác tự động và xây dựng công cụ phân tích cú pháp tiếng Việt dựa trên văn phạm kết nối cây từ vựng hóa (LTAG, $F_1 = 69{,}3%$). Về cú pháp phụ thuộc, có các nghiên cứu bước đầu của Nguyễn Quốc Đạt (2013) và Nguyễn Kiêm Hiếu (2013).

Khoảng trống nghiên cứu luận án lựa chọn giải quyết

Luận án định vị trọng tâm vào việc giải quyết tình trạng thiếu hụt dữ liệu huấn luyện chuẩn cho cú pháp phụ thuộc và vai nghĩa tiếng Việt; đồng thời lấp khoảng trống về mặt thực nghiệm phương pháp khi ứng dụng các kiến trúc mạng nơ-ron (BiLSTM, Self-attention), mô hình nhúng từ (Word Embeddings) và kỹ thuật tối ưu hóa toàn cục quy hoạch tuyến tính nguyên (ILP) cho ngôn ngữ tiếng Việt.

Cơ sở lý thuyết và phương pháp nghiên cứu

Cơ sở ngôn ngữ học tiếng Việt

Luận án kế thừa các công trình nghiên cứu ngữ pháp tiếng Việt của Diệp Quang Ban, Hoàng Văn Thung [1], Nguyễn Văn Hiệp [4, 5], Cao Xuân Hạo [3] và Phan Thị Huê [6].

  • Đặc trưng loại hình: Tiếng Việt là ngôn ngữ đơn lập, đơn vị cơ sở là "tiếng" (âm tiết). Từ không biến đổi hình thái; trật tự từ và hư từ là hai phương thức ngữ pháp chủ đạo. Vị từ trong câu không chỉ giới hạn ở động từ mà có thể do danh từ, tính từ hoặc giới từ đảm nhận.
  • Hệ thống quan hệ ngữ pháp: Ba quan hệ cú pháp nền tảng gồm quan hệ đẳng lập (liệt kê, lựa chọn, giải thích, qua lại), quan hệ chính phụ (xác định qua tổ hợp hư từ + thực từ hoặc thực từ + thực từ) và quan hệ chủ - vị (C-V).
  • Hệ thống vai nghĩa: Luận án tổng hợp danh sách các vai nghĩa: Tác thể (Agent), Nghiệm thể (Experiencer), Tiếp thể (Recipient), Kẻ hưởng lợi (Benefactive), Lực tự nhiên (Force), Bị thể (Patient), Công cụ (Instrument), Thực hiện hành động (Effector), Địa điểm (Location), Điểm xuất phát (Source), Điểm đến (Goal), Tham chiếu (Reference), Cùng hành động (Concomitant), Hướng/Lối đi (Direction/Path), Thời điểm (Temporal), Chủ sở hữu (Possessor), Thời lượng (Duration), Nội dung (Content), Thể chuyển động (Theme), cùng các vai ngoại vi (Reason, Purpose, Manner) và các vai bổ sung theo Cao Xuân Hạo như Hành thể (Actor), Quá thể (Processor), Tạo thể (Factitive), Đối thể (Object).
Nhóm danh mục nhãn Ký hiệu các nhãn tiêu biểu Diễn giải chức năng / ý nghĩa
Từ loại (POS tags) N, Np, Nc, Nu, V, A, P, L, M, R, E, C, I, T, U, Y, X Danh từ, danh từ riêng, loại từ, đơn vị, động từ, tính từ, đại từ, định từ, số từ, phụ từ, giới từ, liên từ, thán từ, trợ từ, từ đơn lẻ, viết tắt, không phân loại.
Cụm từ (Phrases) NP, VP, AP, RP, PP, QP, MDP, WHNP, WHAP, WHRP, WHPP Cụm danh từ, động từ, tính từ, phụ từ, giới từ, số lượng, tình thái, và các cụm nghi vấn tương ứng.
Mệnh đề (Clauses) S, SQ, SBAR Câu trần thuật, câu hỏi, mệnh đề phụ.
Chức năng cú pháp SUB, DOB, IOB, TPC, PRD, LGS, EXT, H, TC, CMD, EXC, SPL, TTL, VOC Chủ ngữ, tân ngữ trực tiếp, tân ngữ gián tiếp, chủ đề, vị ngữ phi động từ, chủ ngữ logic câu bị động, bổ ngữ phạm vi, từ trung tâm, than gọi...

Khung lý thuyết và mô hình tính toán

  1. Phân tích cú pháp thành phần: Biểu diễn cấu trúc câu theo cây phân cấp cụm từ. Về mặt hình thức, bài toán tìm cây cấu trúc tối ưu: $$\hat{y} = \arg\max_{y \in \gamma(x)} P(x, y)$$ Sử dụng mô hình tuyến tính toàn cục (Global Linear Models) với hàm đặc trưng $\Phi(x, y)$, véctơ trọng số $w$ học qua thuật toán Perceptron hoặc Margin Infused Relaxed Algorithm (MIRA).
  2. Phân tích cú pháp phụ thuộc: Biểu diễn câu $x = (w_0, w_1, \dots, w_n)$ dưới dạng đồ thị có hướng $G_x = (V_x, E_x, R)$ thỏa mãn 4 điều kiện: có đỉnh gốc $w_0 = \text{ROOT}$, liên thông yếu, mỗi nút có tối đa một nút cha (đơn trung tâm), không có chu trình và cơ bản thỏa mãn tính xạ ảnh (Projectivity).
    • Mô hình dựa trên đồ thị: Trọng số đồ thị $s(G_x) = \sum_{(i,j,r) \in E_x} w \cdot f(i, j, r)$. Cây phụ thuộc tối ưu được giải bằng thuật toán cây bao trùm cực đại (Chu-Liu-Edmonds cho phi xạ ảnh, Eisner cho xạ ảnh).
    • Mô hình dựa trên bước chuyển: Sử dụng hệ thống Arc-eager với 4 thao tác: SHIFT, LEFT-ARC(r), RIGHT-ARC(r), REDUCE trên cấu hình ngăn xếp $\sigma$, vùng đệm $\beta$ và tập cung $A$.
  3. Biểu diễn phân bố từ: Áp dụng 4 kỹ thuật biểu diễn vector không gian liên tục: Skip-gram, CBOW (Continuous Bag-of-Words), GloVe, và mô hình ngôn ngữ ngữ cảnh sâu ELMo/CharLSTM.
  4. Quy hoạch tuyến tính nguyên (ILP): Áp dụng trong bài toán gán nhãn vai nghĩa nhằm tối ưu hóa hàm mục tiêu gán nhãn cục bộ đồng thời thỏa mãn hệ thống các ràng buộc ngôn ngữ học toàn cục.

Nội dung chính theo từng chương

Chương 1: Cơ sở lý thuyết

Chương 1 cung cấp nền tảng toán học và ngôn ngữ học cho toàn bộ luận án:

  • Trình bày hệ thống khái niệm cấu tạo từ tiếng Việt (từ đơn, từ phức, từ ghép, từ láy, từ đơn tố, từ đa tố), các tiêu chuẩn phân loại từ loại, cấu trúc cụm từ 3 phần (phần phụ trước, phần trung tâm, phần phụ sau) và tổ chức nòng cốt câu.
  • Định nghĩa hình thức bài toán phân tích cú pháp thành phần, mô hình sinh (Generative models) và mô hình phân biệt (Discriminative models), thuật toán học Perceptron cập nhật trọng số trực tuyến.
  • Thiết lập định nghĩa toán học của đồ thị cú pháp phụ thuộc, mô tả chi tiết các nhóm đặc trưng Uni-gram, Bi-gram, từ loại ngữ cảnh dùng trong MSTParser và tập đặc trưng chuẩn của MaltParser.
  • Phân tích bài toán gán nhãn vai nghĩa (SRL), khảo sát hệ thống khung FrameNet, cấu trúc vị từ - đối số và các phương pháp biểu diễn vector từ phân bố (Skip-gram, CBOW, GloVe, ELMo).

Chương 2: Xây dựng kho ngữ liệu gán nhãn cú pháp phụ thuộc và vai nghĩa tiếng Việt

Chương 2 giải quyết thách thức cốt lõi về tài nguyên ngữ liệu cho tiếng Việt:

  • Ngữ liệu cú pháp phụ thuộc: Đề xuất thuật toán tự động chuyển đổi từ cây cú pháp thành phần của VietTreebank sang cấu trúc phụ thuộc. Thuật toán hoạt động dựa trên:
    1. Quy tắc xác định phần tử trung tâm (Head-finding rules): Duyệt từ dưới lên để tìm từ mang nhãn chức năng -H hoặc dựa vào bảng ưu tiên từ loại trong từng loại cụm từ (NP, VP, AP, PP...).
    2. Quy tắc xác định nhãn phụ thuộc: Ánh xạ dựa trên nhãn cụm từ cha, nhãn thành phần con và nhãn chức năng (SUB $\to$ nsubj, DOB $\to$ dobj, quan hệ bị động $\to$ nsubjpass, auxpass...).
    • Kết quả tạo lập kho ngữ liệu phụ thuộc gồm 10.165 câu tiếng Việt. Thực hiện gán nhãn và hiệu chỉnh thủ công 3.000 câu chuẩn Universal Dependencies (UD) đưa lên kho dữ liệu quốc tế tại http://universaldependencies.org.
  • Ngữ liệu gán nhãn vai nghĩa: Xây dựng tập nhãn vai nghĩa cho tiếng Việt, thiết lập hệ thống luật gán nhãn thô dựa trên cấu trúc cú pháp (ánh xạ vị ngữ $\to$ Rel, chủ ngữ $\to$ Arg0, tân ngữ $\to$ Arg1, trạng ngữ $\to$ ArgM-...). Xây dựng giao diện web chuyên dụng phục vụ việc hiệu chỉnh thủ công, hoàn thiện tập dữ liệu gồm 5.460 câu gán nhãn vai nghĩa.

Chương 3: Nâng cao hiệu quả phân tích cú pháp tiếng Việt

Chương 3 triển khai các thử nghiệm thực nghiệm và đề xuất kỹ thuật nâng cao chất lượng phân tích cú pháp:

  • Cú pháp thành phần: Thử nghiệm phương pháp Shift-Reduce mở rộng kết hợp vector phân bố từ và phương pháp Self-attention (Kitaev và Klein). Phân tích định lượng sự thay đổi chỉ số $F_1$ theo độ dài câu (câu $\le 10$ từ, $\le 35$ từ, toàn bộ câu) khi tích hợp CharLSTM và ELMo. Thực hiện phân tích lỗi chuyên sâu (Error analysis) trên tiếng Việt: chỉ ra các lỗi gán nhãn thành phần phổ biến giữa cụm động từ (VP) với mệnh đề (S/SBAR), lỗi nhập nhằng ranh giới cụm danh từ (NP), lỗi đính kèm cụm giới từ (PP), lỗi kết từ liên từ (CC) và lỗi giữa cấu trúc ngang cấp với cấu trúc phân cấp.
  • Cú pháp phụ thuộc: Tích hợp đặc trưng phân bố từ vào 3 hệ thống phân tích: MaltParser (Transition-based), MSTParser (Graph-based) và Bist-Parser (sử dụng BiLSTM). Đánh giá so sánh trên tập dữ liệu phụ thuộc thuần Việt (VTB) và tập chuẩn Universal Dependencies (VTB_UD).
Hệ thống / Mô hình Dữ liệu kiểm thử Chỉ số $ASU$ (%) Chỉ số $ASL$ (%)
MaltParser (gốc) VTB_UD Có báo cáo thực nghiệm Có báo cáo thực nghiệm
MSTParser (gốc) VTB_UD Có báo cáo thực nghiệm Có báo cáo thực nghiệm
Bist-Parser (BiLSTM) VTB Cải thiện rõ rệt Cải thiện rõ rệt
Bist-Parser (BiLSTM + Nhúng từ) VTB_UD Đạt kết quả cao nhất Đạt kết quả cao nhất

Chương 4: Phương pháp quy hoạch tuyến tính nguyên gán nhãn vai nghĩa tiếng Việt

Chương 4 trình bày giải pháp toàn diện cho bài toán SRL tiếng Việt:

  • Đề xuất mô hình hai giai đoạn: Rút trích thành phần ứng viên (Argument Identification) và Phân lớp vai nghĩa (Argument Classification). Khảo sát hai chiến lược: tiếp cận theo cụm (Constituent-by-Constituent - C-by-C) và theo từng từ (Word-by-Word - W-by-W).
  • Tích hợp Quy hoạch tuyến tính nguyên (ILP): Thiết lập mô hình tối ưu hóa với các biến nhị phân $z_{i,r} \in {0, 1}$ (bằng 1 nếu thành phần $i$ nhận vai nghĩa $r$). Thiết lập tập ràng buộc ngôn ngữ học đặc thù cho tiếng Việt:
    • Ràng buộc không chồng lấn: Các đối số của cùng một vị từ không được phép giao nhau về mặt vị trí từ.
    • Ràng buộc tính duy nhất: Mỗi vai nghĩa cốt lõi (Arg0, Arg1, Arg2, Arg3, Arg4) chỉ xuất hiện tối đa một lần đối với một vị từ xác định.
    • Ràng buộc phụ thuộc: Ràng buộc về sự xuất hiện bắt buộc của đối số phụ thuộc khi có sự hiện diện của cấu trúc vị từ cụ thể.
  • Đánh giá ảnh hưởng của các nhóm đặc trưng cơ bản, đặc trưng cú pháp bổ sung, hiệu quả cải tiến từ bộ giải ILP và sự đóng góp của các vector từ của vị từ (Predicate embeddings) và từ chính (Head word embeddings).

Kết quả và những đóng góp mới

Đóng góp về mặt dữ liệu

  1. Xây dựng kho ngữ liệu cú pháp phụ thuộc tiếng Việt: Chuyển đổi thành công 10.165 câu từ VietTreebank sang cấu trúc phụ thuộc; hoàn thiện và đóng góp 3.000 câu tiếng Việt gán nhãn cú pháp phụ thuộc đa ngôn ngữ đạt chuẩn quốc tế lên hệ thống Universal Dependencies (http://universaldependencies.org).
  2. Xây dựng kho ngữ liệu gán nhãn vai nghĩa tiếng Việt: Tạo lập tập ngữ liệu chuẩn đầu tiên cho bài toán SRL tiếng Việt gồm 5.460 câu đã được tiền xử lý tự động và hiệu chỉnh thủ công thông qua công cụ web chuyên dụng.
  3. Chuẩn hóa hệ thống nhãn và luật: Công bố bộ nhãn quan hệ phụ thuộc, bộ nhãn vai nghĩa cùng tập quy tắc xác định từ trung tâm (Head rules) và luật chuyển đổi cấu trúc cú pháp cho tiếng Việt.

Đóng góp về mặt phương pháp

  1. Cú pháp thành phần: Đề xuất giải pháp tích hợp các biểu diễn phân bố từ vào hệ thống phân tích Shift-Reduce; thực hiện phân tích và phân loại có hệ thống các dạng lỗi phân cụm đặc thù của tiếng Việt trên mô hình Self-attention.
  2. Cú pháp phụ thuộc: Đề xuất mô hình tích hợp đặc trưng biểu diễn từ phân bố (Word Embeddings) và ngữ cảnh sâu (BiLSTM, ELMo) vào các hệ thống MaltParser, MSTParser và Bist-Parser, nâng cao độ chính xác gán từ trung tâm ($ASU$) và gán nhãn phụ thuộc ($ASL$) trên dữ liệu tiếng Việt.
  3. Gán nhãn vai nghĩa: Đề xuất thuật toán rút trích thành phần ứng viên kết hợp với phương pháp Quy hoạch tuyến tính nguyên (ILP) chứa tập ràng buộc cấu trúc riêng cho tiếng Việt, giải quyết triệt để bài toán xung đột và chồng lấn đối số trong phân tích ngữ nghĩa câu.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được ghi nhận

  • Kích thước kho ngữ liệu gán nhãn vai nghĩa (5.460 câu) và kho Universal Dependencies tiếng Việt (3.000 câu) còn ở quy mô vừa phải do chi phí gán nhãn và hiệu chỉnh thủ công lớn.
  • Dữ liệu gốc phụ thuộc chủ yếu vào miền văn bản báo chí từ kho VietTreebank của đề án VLSP, dẫn đến độ bao phủ ngữ liệu đối với các phong cách ngôn ngữ khác (mạng xã hội, hội thoại, văn bản chuyên ngành) còn giới hạn.
  • Hiện tượng đa nghĩa, nhập nhằng ranh giới từ và cấu trúc tỉnh lược phức tạp trong tiếng Việt vẫn là nguyên nhân gây ra các lỗi phân cụm chưa thể triệt tiêu hoàn toàn.

Hướng nghiên cứu tiếp theo

  • Tiếp tục mở rộng quy mô, nâng cao chất lượng kiểm định kho ngữ liệu cú pháp phụ thuộc và gán nhãn vai nghĩa cho tiếng Việt trên nhiều phong cách văn bản khác nhau.
  • Nghiên cứu áp dụng các mô hình ngôn ngữ dựa trên kiến trúc Transformer tự giám sát quy mô lớn (như BERT, RoBERTa đa ngôn ngữ hoặc đơn ngữ tiếng Việt) cho toàn bộ chuỗi xử lý cú pháp và ngữ nghĩa.
  • Tích hợp công cụ phân tích cú pháp và gán nhãn vai nghĩa đề xuất vào các bài toán ứng dụng thực tế trong xử lý ngôn ngữ tự nhiên tiếng Việt như dịch máy thống kê/nơ-ron, trích xuất quan hệ thực thể, tóm tắt văn bản tự động và hệ thống hỏi đáp thông minh.

Giá trị tham khảo

Luận án là tài liệu tham khảo có giá trị học thuật và ứng dụng thực tiễn trong lĩnh vực Khoa học máy tính và Ngôn ngữ học tính toán:

  • Nghiên cứu sinh và học viên cao học ngành Xử lý ngôn ngữ tự nhiên: Tham khảo phương pháp luận kết hợp giữa ngôn ngữ học mô tả tiếng Việt với các mô hình học máy thống kê; quy trình toán học hóa các ràng buộc ngôn ngữ học thành bài toán tối ưu hóa ILP.
  • Giảng viên và nhà nghiên cứu: Sử dụng các bộ quy tắc xác định từ trung tâm (Head-finding rules), tập luật chuyển đổi cấu trúc cây và hệ thống phân loại lỗi cú pháp thành phần làm học liệu cho các chuyên đề xử lý cú pháp - ngữ nghĩa.
  • Kỹ sư phát triển hệ thống NLP ứng dụng: Khai thác kho ngữ liệu Universal Dependencies tiếng Việt (đã công bố quốc tế) cùng các mô hình phân tích cú pháp phụ thuộc, gán nhãn vai nghĩa phục vụ các tầng xử lý sâu trong hệ sinh thái AI tiếng Việt.

Câu hỏi thường gặp

1. Luận án đã xây dựng được những kho dữ liệu cụ thể nào cho tiếng Việt?

Luận án đã xây dựng thành công 3 bộ dữ liệu:

  • Kho ngữ liệu 10.165 câu gán nhãn cú pháp phụ thuộc chuyển đổi từ VietTreebank.
  • Bộ ngữ liệu 3.000 câu tiếng Việt chuẩn cú pháp phụ thuộc đa ngôn ngữ (Universal Dependencies) được gán nhãn và hiệu chỉnh thủ công, công bố tại http://universaldependencies.org.
  • Kho ngữ liệu 5.460 câu tiếng Việt được gán nhãn vai nghĩa (SRL) hoàn chỉnh kèm bộ công cụ web hỗ trợ hiệu chỉnh.

2. Thuật toán chuyển đổi từ cú pháp thành phần sang cú pháp phụ thuộc tiếng Việt dựa trên nguyên lý nào?

Thuật toán hoạt động dựa trên hai bước chính:

  1. Xác định từ trung tâm: Duyệt cây từ dưới lên, tìm các nút mang nhãn chức năng -H hoặc tra cứu bảng quy tắc ưu tiên từ loại tương ứng với từng loại cụm từ (NP, VP, AP, PP...).
  2. Xác định nhãn phụ thuộc: Sử dụng tập luật ánh xạ kết hợp giữa nhãn cụm từ cha, nhãn thành phần con và các nhãn chức năng cú pháp (chẳng hạn NP-SUB $\to$ nsubj, VP $\to$ root/ccomp, câu bị động $\to$ nsubjpass, auxpass).

3. Phương pháp Quy hoạch tuyến tính nguyên (ILP) đóng vai trò gì trong bài toán gán nhãn vai nghĩa?

ILP đóng vai trò là cơ chế tối ưu hóa toàn cục ở giai đoạn phân lớp vai nghĩa. Thay vì chỉ đưa ra quyết định độc lập tại từng ứng viên, ILP tìm kiếm cấu hình gán nhãn có xác suất tổng thể lớn nhất đồng thời thỏa mãn các ràng buộc ngôn ngữ học bắt buộc của tiếng Việt: các đối số không được chồng lấn vị trí từ, và mỗi vai nghĩa cốt lõi (Arg0–Arg4) chỉ xuất hiện tối đa một lần cho mỗi vị từ.

4. Những dạng lỗi chính trong phân tích cú pháp thành phần tiếng Việt được chỉ ra là gì?

Luận án chỉ ra các lỗi phân cụm điển hình trên mô hình Self-attention:

  • Lỗi gán nhãn nhầm lẫn giữa cụm động từ (VP) và mệnh đề (S/SBAR).
  • Lỗi nhập nhằng ranh giới phân tách cụm danh từ (NP).
  • Lỗi đính kèm cụm giới từ (PP) vào sai nút cha trong cây cú pháp.
  • Lỗi xác định phạm vi của liên từ (CC) và lỗi cấu trúc giữa thành phần con với cấu trúc ngang cấp.

5. Luận án đã thử nghiệm những mô hình biểu diễn phân bố từ nào?

Luận án đã khảo sát và tích hợp thực nghiệm 4 mô hình biểu diễn từ: Skip-gram, mô hình túi từ liên tục (CBOW), GloVe, và mô hình ngôn ngữ biểu diễn ngữ cảnh sâu ELMo kết hợp CharLSTM.

Kết luận

Luận án của nghiên cứu sinh Nguyễn Thị Lương đã giải quyết trọn vẹn bài toán nâng cao hiệu quả phân tích cú pháp thành phần, cú pháp phụ thuộc và gán nhãn vai nghĩa cho tiếng Việt thông qua tiếp cận học máy thống kê. Tác giả đã đóng góp nguồn tài nguyên dữ liệu giá trị với 10.165 câu phụ thuộc, 3.000 câu chuẩn Universal Dependencies quốc tế và 5.460 câu ngữ liệu vai nghĩa đầu tiên cho tiếng Việt. Về mặt học thuật, công trình khẳng định tính hiệu quả của việc kết hợp các biểu diễn phân bố từ hiện đại (BiLSTM, ELMo) với phương pháp tối ưu hóa toàn cục quy hoạch tuyến tính nguyên (ILP) dựa trên ràng buộc ngữ pháp tiếng Việt. Đây là công trình nghiên cứu toàn diện, tạo lập nền tảng dữ liệu và thuật toán vững chắc cho các bước phát triển tiếp theo của lĩnh vực xử lý ngôn ngữ tự nhiên tiếng Việt.