Tổng quan luận án

Phân tích cú pháp và phân tích ngữ nghĩa là hai giai đoạn nền tảng trong quy trình xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP), bao gồm chuỗi xử lý liên tiếp: phân tích hình thái từ, phân tích từ loại, phân tích cú pháp và phân tích ngữ nghĩa. Mục tiêu cốt lõi của phân tích cú pháp là nhận diện cấu trúc ngữ pháp của câu để hỗ trợ máy tính hiểu ý nghĩa văn bản, phục vụ các ứng dụng như dịch máy, tóm tắt tự động, rút trích thông tin và hệ thống trả lời câu hỏi. Trong xử lý ngôn ngữ tự nhiên, phân tích cú pháp được chia thành hai mức xử lý chính:

  1. Tách từ và xác định thông tin nhãn từ loại (Part-of-Speech tagging).
  2. Sinh cấu trúc cú pháp cho câu dựa trên các từ và từ loại đã được xác định.

Tiếng Việt thuộc loại hình ngôn ngữ đơn lập, đơn âm tiết, từ không biến đổi hình thái và ranh giới giữa các từ phức không có dấu hiệu phân tách hiển ngôn. Do đó, bài toán phân tích cú pháp tiếng Việt thường xuyên gặp phải hiện tượng nhập nhằng ở cả hai mức phân tích. Sau bước phân tích cú pháp, gán nhãn vai nghĩa (Semantic Role Labelling - SRL) là một nhánh quan trọng trong phân tích ngữ nghĩa, nhằm xác định cấu trúc vị từ - tham tố của câu (ai làm gì, cho ai, ở đâu, khi nào, bằng cách nào).

Khoảng trống nghiên cứu được tác giả chỉ ra bao gồm:

  • Các nghiên cứu phân tích cú pháp tiếng Việt trước đây chủ yếu tập trung vào cú pháp thành phần (constituency parsing) nhưng độ chính xác còn hạn chế so với các ngôn ngữ phổ biến như tiếng Anh hay tiếng Trung.
  • Nguồn tài nguyên kho ngữ liệu cú pháp tiếng Việt còn rất hạn chế về số lượng lẫn chất lượng. Tại thời điểm nghiên cứu, ngoài kho ngữ liệu cú pháp thành phần VietTreebank của dự án VLSP (hơn 10.000 câu), tiếng Việt hoàn toàn chưa có kho ngữ liệu gán nhãn cú pháp phụ thuộc (dependency parsing) quy mô lớn và chưa có kho ngữ liệu gán nhãn vai nghĩa chuẩn hóa.
  • Thiếu các phương pháp học máy thống kê hiện đại kết hợp biểu diễn phân bố từ và các kỹ thuật tối ưu hóa nhằm xử lý đồng thời cú pháp phụ thuộc và vai nghĩa tiếng Việt.

Để giải quyết các hạn chế trên, luận án xác định các mục tiêu nghiên cứu cụ thể:

  1. Xây dựng bộ nhãn phụ thuộc và bộ nhãn vai nghĩa cho tiếng Việt.
  2. Xây dựng kho ngữ liệu gán nhãn cú pháp phụ thuộc và gán nhãn vai nghĩa cho tiếng Việt.
  3. Nghiên cứu phương pháp học máy thống kê nhằm nâng cao hiệu quả phân tích cú pháp và gán nhãn vai nghĩa tiếng Việt.

Đối tượng và phạm vi nghiên cứu của luận án:

  • Đối tượng nghiên cứu: Cấu trúc cú pháp thành phần, cấu trúc cú pháp phụ thuộc, cấu trúc vai nghĩa của câu tiếng Việt; các thuật toán học máy thống kê, mô hình mạng nơ-ron và phương pháp quy hoạch tuyến tính nguyên.
  • Phạm vi nghiên cứu: Dữ liệu văn bản tiếng Việt dựa trên kho ngữ liệu VietTreebank (VLSP) và kho ngữ liệu Universal Dependencies; các kỹ thuật biểu diễn phân bố từ (Word2Vec, GloVe, ELMo, CharLSTM, BiLSTM) và các bộ công cụ phân tích cú pháp dựa trên bước chuyển và dựa trên đồ thị.

Tổng quan tài liệu và vị trí của luận án

Luận án tiến hành tổng quan hệ thống các công trình nghiên cứu trong nước và quốc tế về ba mảng: phân tích cú pháp thành phần, phân tích cú pháp phụ thuộc và gán nhãn vai nghĩa.

Về phân tích cú pháp thành phần:

  • Trên thế giới, các phương pháp dựa trên bước chuyển Shift-Reduce được Sagae và Lavie (2005) đề xuất, sau đó Muhua Zhu cùng cộng sự (2013) mở rộng để loại bỏ sự khác biệt kích thước bước chuyển, đạt $F_1 = 89{,}5%$ trên tập dữ liệu Wall Street Journal (WSJ) thuộc Penn Treebank. Mô hình Sequence-to-Sequence (seq2seq) bán giám sát sử dụng LSTM của Vinyals cùng cộng sự (2015) đạt $F_1 = 92{,}1%$. Jun Suzuki cùng cộng sự (2018) kết hợp LSTM và LSTM-LM đạt $F_1 = 94{,}3%$. Chris Dyer cùng cộng sự (2016) và Kuncoro cùng cộng sự (2017) phát triển văn phạm mạng nơ-ron hồi quy (RNNG) có cơ chế chú ý đạt $F_1 = 93{,}6%$. Vaswani cùng cộng sự (2017) đề xuất kiến trúc Transformer đạt $F_1 = 92{,}7%$. Takase Sho cùng cộng sự (2018) và Yang cùng cộng sự (2018) phát triển mô hình ngôn ngữ dựa trên ma trận đạt $F_1 = 94{,}4%$. Do Kook Choe và Eugene Charniak (2016) áp dụng mô hình sinh LSTM-LM đạt $F_1 = 93{,}8%$. Jiangming Liu và Yue Zhang (2017) đề xuất phân tích duyệt theo thứ tự (in-order) dựa trên Stack-LSTM đạt $F_1 = 94{,}2%$. Daniel Fried cùng cộng sự (2017) kết hợp mô hình sinh đạt $F_1 = 94{,}66%$. Nikita Kitaev và Dan Klein (2018) áp dụng mã hóa Self-Attention kết hợp đặc trưng nhúng ELMo đạt $F_1 = 95{,}13%$. Junru Zhou và Hai Zhao (2019) kết hợp văn phạm hướng trung tâm và mô hình BERT đạt $F_1 = 95{,}84%$.
  • Tại Việt Nam, Nguyễn Phương Thái cùng cộng sự (2009) xây dựng kho ngữ liệu VietTreebank với hơn 10.000 câu. Nguyễn Thị Quý cùng cộng sự (2016) mở rộng kho ngữ liệu cú pháp thành phần lên hơn 20.000 câu. Về mặt phương pháp, Nguyễn Quốc Thể và Lê Thanh Hương (2007) sử dụng văn phạm phi ngữ cảnh xác suất từ vựng hóa (LPCFG); Lê Thanh Hương cùng cộng sự (2010) nghiên cứu văn phạm cấu trúc cụm hướng trung tâm (HPSG); Lê Hồng Phương cùng cộng sự (2010, 2015) khai thác và xây dựng công cụ phân tích cú pháp bằng văn phạm kết nối cây từ vựng hóa (LTAG), đạt $F_1 = 69{,}95%$ trên dữ liệu VietTreebank.

Về phân tích cú pháp phụ thuộc:

  • Các hướng tiếp cận quốc tế chia thành hai trường phái chính: phân tích dựa trên đồ thị (Eisner, 1996; McDonald cùng cộng sự, 2005 với MSTParser và thuật toán MIRA, Chu-Liu-Edmonds) và phân tích dựa trên bước chuyển (Nivre cùng cộng sự, 2004 với MaltParser và thuật toán Arc-Eager; Danqi Chen và Christopher D. Manning, 2014 với mô hình nơ-ron).
  • Tại Việt Nam, nghiên cứu cú pháp phụ thuộc của nhóm Nguyễn Quốc Đạt và Nguyễn Kiêm Hiếu đã khảo sát một số tập nhãn và công cụ phân tích nhưng quy mô dữ liệu còn hạn chế.

Về gán nhãn vai nghĩa:

  • Các nghiên cứu quốc tế dựa trên khung lý thuyết FrameNet (Baker et al.), PropBank (Palmer et al.) và OntoNotes.
  • Tại Việt Nam, các công trình ngữ pháp học của Diệp Quang Ban, Hoàng Văn Thung, Nguyễn Văn Hiệp, Cao Xuân Hạo và khảo sát của Phan Thị Huê đã hệ thống hóa các vai nghĩa tiếng Việt, nhưng chưa có hệ thống gán nhãn tự động trên kho ngữ liệu lớn.

Khoảng trống luận án lựa chọn giải quyết: Luận án định vị trọng tâm vào việc thiết lập cầu nối chuyển đổi tự động kết hợp hiệu chỉnh thủ công từ cú pháp thành phần sang cú pháp phụ thuộc và vai nghĩa tiếng Việt; áp dụng các mô hình học máy tích hợp biểu diễn phân bố từ (Self-attention, BiLSTM, ELMo) và phương pháp quy hoạch tuyến tính số nguyên (ILP) để nâng cao độ chính xác phân tích cú pháp và vai nghĩa tiếng Việt.

Cơ sở lý thuyết và phương pháp nghiên cứu

Cơ sở lý thuyết ngôn ngữ học tiếng Việt

Luận án kế thừa các lý thuyết ngôn ngữ học tiếng Việt của Diệp Quang Ban, Hoàng Văn Thung và Nguyễn Văn Hiệp:

  • Từ và từ loại: Tiếng (âm tiết) là đơn vị cơ sở cấu tạo từ. Từ được chia thành từ đơn (1 tiếng) và từ phức (nhiều tiếng gồm từ ghép, từ láy, từ ngẫu kết); hoặc từ đơn tố và từ đa tố. Tập nhãn từ loại trong kho ngữ liệu VietTreebank gồm 17 nhãn cơ sở.
  • Cụm từ: Cấu tạo gồm phần phụ trước, phần trung tâm và phần phụ sau. Tập nhãn cụm từ gồm 11 nhãn.
  • Câu và mệnh đề: Cấu trúc câu dựa trên nòng cốt chủ - vị (C-V), gồm thành phần chính (chủ ngữ, vị ngữ) và thành phần phụ (trạng ngữ, định ngữ, bổ ngữ, đề ngữ, giải ngữ, phụ ngữ câu). Tập nhãn mệnh đề gồm 3 nhãn.
  • Quan hệ ngữ pháp: Gồm quan hệ đẳng lập (liệt kê, lựa chọn, giải thích, qua lại), quan hệ chính phụ (hư từ + thực từ, thực từ + thực từ) và quan hệ chủ - vị.
  • Vai nghĩa: Khái niệm vai nghĩa phản ánh quan hệ ngữ nghĩa giữa vị từ và các tham tố trong sự tình: vai tác thể (Agent - Ag/Arg0), vai bị thể (Patient - Pa/Arg1), vai nghiệm thể (Experiencer - Exp), vai tiếp thể (Recipient - Rec), vai kẻ hưởng lợi (Benefactive - Ben), vai lực tự nhiên (Force - Fo), vai công cụ (Instrument - Instr), vai địa điểm (Location - Lo), vai điểm xuất phát (Source - So), vai điểm đến (Goal - Go), vai thời điểm (Temporal - Temp), vai thời lượng (Duration - Dur), vai nội dung (Content), vai thể chuyển động (Theme), vai tạo thể (Factitive - F), vai đối thể (Object - O), vai hành thể (Actor), vai quá thể (Processor).
Danh mục Ký hiệu nhãn Diễn giải ngữ nghĩa / Ngữ pháp
Từ loại (17 nhãn) N, Np, Nc, Nu Danh từ, Danh từ riêng, Danh từ chỉ loại, Danh từ đơn vị
V, A, P, L, M, R Động từ, Tính từ, Đại từ, Định từ, Số từ, Phụ từ
E, C, I, T, U, Y, X Giới từ, Liên từ, Thán từ, Trợ từ/tiểu từ, Từ đơn lẻ, Viết tắt, Không phân loại
Cụm từ (11 nhãn) NP, VP, AP, RP, PP, QP, MDP Cụm danh từ, động từ, tính từ, phụ từ, giới từ, số lượng, tình thái
WHNP, WHAP, WHRP, WHPP Cụm danh từ, tính từ, phụ từ, giới từ nghi vấn
Mệnh đề (3 nhãn) S, SQ, SBAR Câu trần thuật, Câu hỏi, Mệnh đề phụ
Chức năng cú pháp SUB, DOB, IOB, TPC, PRD Chủ ngữ, Tân ngữ trực tiếp, Tân ngữ gián tiếp, Chủ đề, Vị ngữ không phải VP
LGS, EXT, H, VOC, TTL Chủ ngữ logic bị động, Bổ ngữ phạm vi/tần suất, Trung tâm, Than gọi, Tiêu đề

Khung lý thuyết và mô hình tính toán

  1. Cú pháp thành phần: Mô hình phân tích cây cú pháp dựa trên cấu trúc cụm từ theo quy tắc dẫn xuất: $$\arg\max_{y' \in \gamma(x)} P(x, y')$$ Sử dụng mô hình phân biệt tuyến tính toàn cục với trọng số $w$ tối ưu qua Perceptron và giải thuật quy hoạch động.
  2. Cú pháp phụ thuộc: Biểu diễn cú pháp câu dưới dạng đồ thị có hướng gán nhãn $G_x = (V_x, E_x, R)$ thỏa mãn 4 điều kiện đồ thị đúng: Đỉnh 0 là gốc (ROOT), liên thông yếu (CONNECTEDNESS), mỗi đỉnh có tối đa một từ trung tâm (SINGLE-HEAD), không có chu trình (ACYCLICITY) và phần lớn thỏa mãn tính xạ ảnh (PROJECTIVITY).
    • Mô hình dựa trên đồ thị (Graph-based): Tìm cây bao trùm cực đại (Maximum Spanning Tree - MST) tối ưu hàm trọng số $s(G) = \sum_{(i,j,r) \in E} w \cdot f(i, j, r)$ bằng thuật toán Chu-Liu-Edmonds hoặc Eisner với thuật toán học MIRA.
    • Mô hình dựa trên bước chuyển (Transition-based): Sử dụng hệ thống Arc-Eager gồm cấu hình $c = (\sigma, \beta, A)$ (ngăn xếp $\sigma$, bộ đệm $\beta$, tập cung $A$) với 4 thao tác: SHIFT, LEFT-ARC(r), RIGHT-ARC(r), REDUCE.
  3. Biểu diễn phân bố từ (Word Embeddings): Luận án sử dụng các mô hình biểu diễn từ véc-tơ không gian liên tục: Skip-gram, Continuous Bag-of-Words (CBOW), GloVe, CharLSTM và mô hình nhúng ngữ cảnh sâu ELMo (Embeddings from Language Models) xây dựng từ mô hình ngôn ngữ hai chiều (biLM).
  4. Quy hoạch tuyến tính nguyên (Integer Linear Programming - ILP): Sử dụng ILP để tối ưu hóa việc lựa chọn nhãn vai nghĩa toàn cục dưới các ràng buộc cú pháp và ngữ nghĩa logic.

Nguồn tư liệu và dữ liệu thực nghiệm

  • Kho ngữ liệu cú pháp thành phần VietTreebank của dự án VLSP (10.165 câu).
  • Kho ngữ liệu cú pháp phụ thuộc chuẩn đa ngữ Universal Dependencies (UD).
  • Dữ liệu chú giải vai nghĩa tiếng Việt do tác giả xây dựng và hiệu chỉnh thủ công qua giao diện web.

Nội dung chính theo từng chương

Chương 1: Cơ sở lý thuyết

Chương 1 cung cấp nền tảng toán học và ngôn ngữ học phục vụ toàn bộ các nội dung của luận án:

  • Trình bày đặc điểm ngữ pháp tiếng Việt về từ, phân loại từ loại, cấu trúc cụm từ ba thành phần (phần phụ trước, trung tâm, phần phụ sau), các loại câu và các loại quan hệ cú pháp (đẳng lập, chính phụ, chủ - vị).
  • Hình thức hóa bài toán phân tích cú pháp thành phần và khảo sát các mô hình sinh, mô hình phân biệt, thuật toán CYK, Early, Perceptron và mạng nơ-ron hồi quy.
  • Hình thức hóa bài toán phân tích cú pháp phụ thuộc, định nghĩa đồ thị phụ thuộc và các thuật toán giải quyết bài toán dựa trên đồ thị (MSTParser) và dựa trên bước chuyển (MaltParser, Arc-Eager).
  • Hình thức hóa bài toán gán nhãn vai nghĩa, khảo sát hệ thống khung ngữ nghĩa và tập vai nghĩa tiếng Việt.
  • Giới thiệu chi tiết 4 kỹ thuật biểu diễn phân bố từ: mô hình Skip-gram, mô hình CBOW, mô hình GloVe và mô hình nhúng ngữ cảnh ELMo.

Chương 2: Xây dựng kho ngữ liệu gán nhãn cú pháp phụ thuộc và vai nghĩa tiếng Việt

Chương 2 trình bày phương pháp luận và các bước kỹ thuật để xây dựng hai kho ngữ liệu chuyên sâu cho tiếng Việt từ kho ngữ liệu cú pháp thành phần VietTreebank:

  • Xây dựng kho ngữ liệu cú pháp phụ thuộc tiếng Việt:
    • Thiết lập tập nhãn quan hệ phụ thuộc tiếng Việt và đối chiếu tương thích với tập nhãn chuẩn tiếng Anh Stanford Dependencies (SD) và tập nhãn đa ngôn ngữ Universal Dependencies (UD).
    • Xây dựng tập quy tắc xác định từ trung tâm (head rules) cho từng loại cụm từ tiếng Việt (NP, VP, AP, PP, RP...).
    • Xây dựng thuật toán chuyển đổi tự động từ cây cú pháp thành phần sang đồ thị cú pháp phụ thuộc theo định dạng CoNLL-X.
    • Kết quả: Xây dựng thành công bộ ngữ liệu 10.165 câu gán nhãn cú pháp phụ thuộc tiếng Việt (ký hiệu VTB). Đồng thời, tác giả thực hiện gán nhãn và hiệu chỉnh thủ công 3.000 câu theo chuẩn quốc tế Universal Dependencies (ký hiệu VTB_UD), đóng góp chính thức vào kho ngữ liệu Universal Dependencies.
  • Xây dựng kho ngữ liệu gán nhãn vai nghĩa tiếng Việt:
    • Xây dựng bộ nhãn vai nghĩa chuẩn cho tiếng Việt dựa trên các vai nghĩa cốt lõi (Arg0, Arg1, Arg2) và các vai nghĩa bổ ngữ (ArgM-TMP, ArgM-LOC, ArgM-MNR, ArgM-CAU, ArgM-PRP...).
    • Thiết lập tập luật gán nhãn thô tự động dựa trên thông tin cú pháp thành phần và nhãn chức năng ngữ pháp.
    • Xây dựng hệ thống phần mềm nền tảng web phục vụ việc gán nhãn và hiệu chỉnh thủ công dữ liệu vai nghĩa.
    • Kết quả: Xây dựng hoàn chỉnh kho dữ liệu gán nhãn vai nghĩa tiếng Việt gồm 5.460 câu có chú giải chất lượng cao.
Kho ngữ liệu xây dựng / sử dụng Số lượng câu Phương thức xây dựng Chuẩn định dạng / Phân loại
VietTreebank (VTB gốc) 10.165 câu Nhóm VLSP xây dựng Cú pháp thành phần (Bracket format)
VTB Phụ thuộc (VTB / VTB_U) 10.165 câu Thuật toán chuyển đổi tự động Cú pháp phụ thuộc (CoNLL-X)
VTB_UD 3.000 câu Chuyển đổi và hiệu chỉnh thủ công Universal Dependencies (CoNLL-U)
Kho ngữ liệu Vai nghĩa (SRL) 5.460 câu Luật gán thô + Hiệu chỉnh web Khung vị từ - tham tố (CoNLL format)

Chương 3: Nâng cao hiệu quả phân tích cú pháp tiếng Việt

Chương 3 tập trung thử nghiệm, phân tích lỗi và đề xuất các giải pháp nâng cao độ chính xác phân tích cú pháp thành phần và cú pháp phụ thuộc:

  • Nâng cao hiệu quả phân tích cú pháp thành phần tiếng Việt:
    • Thử nghiệm phương pháp Shift-Reduce mở rộng kết hợp khai thác không gian đặc trưng từ vựng và ngữ cảnh.
    • Thử nghiệm mô hình Self-Attention của Kitaev và Klein (2018), tích hợp đặc trưng biểu diễn phân bố từ CharLSTM và ELMo trên các tập dữ liệu có độ dài câu khác nhau ($\le 10$ từ, $\le 35$ từ và toàn bộ tập kiểm thử).
    • Kết quả thực nghiệm cho thấy việc tích hợp đặc trưng phân bố từ ngữ cảnh sâu (ELMo) giúp nâng cao chỉ số $F_1$ phân tích cú pháp thành phần.
    • Phân tích chi tiết các dạng lỗi phân cụm thành phần đặc thù trong tiếng Việt: lỗi phân định giữa cụm động từ (VP) và mệnh đề (SBAR); lỗi ranh giới cụm danh từ (NP); lỗi đính kèm cụm giới từ (PP); lỗi cụm liên từ (CC); lỗi cấu trúc ngang cấp và lỗi đính kèm phụ ngữ.
  • Nâng cao hiệu quả phân tích cú pháp phụ thuộc tiếng Việt:
    • Cài đặt và đánh giá các mô hình dựa trên bước chuyển (MaltParser), dựa trên đồ thị (MSTParser) và mô hình mạng nơ-ron BiLSTM (Bist-parser).
    • Đề xuất giải pháp tích hợp các véc-tơ phân bố từ (Word2Vec, GloVe, BiLSTM) vào hệ thống trích xuất đặc trưng của MaltParser, MSTParser và Bist-parser.
    • Đánh giá thực nghiệm so sánh trên các tập dữ liệu VTB, VTB_U và VTB_UD qua các độ đo chuẩn: UAS (Unlabeled Attachment Score), LAS (Labeled Attachment Score) và ASL (Label Accuracy). Các thử nghiệm chứng minh mô hình Bist-parser tích hợp BiLSTM và đặc trưng nhúng từ đạt kết quả vượt trội so với các hệ thống phân tích truyền thống.

Chương 4: Phương pháp quy hoạch tuyến tính nguyên gán nhãn vai nghĩa tiếng Việt

Chương 4 trình bày phương pháp tối ưu hóa bài toán gán nhãn vai nghĩa tiếng Việt bằng Quy hoạch tuyến tính nguyên (ILP):

  • Đề xuất quy trình phân loại và gán nhãn vai nghĩa gồm hai chiến lược rút trích ứng viên thành phần:
    1. Rút trích theo cụm (Chunk-by-Chunk - C-by-C).
    2. Rút trích theo từ (Word-by-Word - W-by-W).
  • Xây dựng không gian đặc trưng phong phú: kết hợp tập đặc trưng cơ bản (từ loại của vị từ, từ loại của từ chính, đường dẫn cú pháp, khoảng cách vị trí) và các đặc trưng mới (đặc trưng ngữ cảnh mở rộng, véc-tơ phân bố từ của vị từ và từ chính).
  • Xây dựng mô hình tối ưu hóa ILP với hệ thống các ràng buộc ngữ pháp - ngữ nghĩa logic tiếng Việt:
    • Ràng buộc không chồng lấn giữa các đối số trong cùng một câu.
    • Ràng buộc về tính duy nhất của các đối số cốt lõi (mỗi vị từ chỉ có tối đa một Arg0, Arg1, Arg2).
    • Ràng buộc về quan hệ phụ thuộc cú pháp giữa vị từ và tham tố.
  • Kết quả thực nghiệm trên 5.460 câu: Việc áp dụng ràng buộc ILP giúp loại bỏ triệt để các dự đoán xung đột cấu trúc, cải thiện độ chính xác phân loại đối số trên cả 3 chỉ số Precision, Recall và $F_1$. Việc bổ sung véc-tơ phân bố từ của vị từ và từ chính giúp tăng cường khả năng nhận diện chính xác các vai nghĩa phụ (ArgM).

Kết quả và những đóng góp mới

Luận án đạt được các kết quả và đóng góp mới về cả dữ liệu và phương pháp:

Đóng góp về mặt dữ liệu

  1. Xây dựng tập nhãn quan hệ cú pháp phụ thuộc tiếng Việt tương thích với chuẩn quốc tế và tập nhãn vai nghĩa chuẩn cho tiếng Việt.
  2. Xây dựng thuật toán chuyển đổi tự động từ kho ngữ liệu cú pháp thành phần VietTreebank sang kho ngữ liệu cú pháp phụ thuộc, tạo ra bộ dữ liệu gồm 10.165 câu tiếng Việt gán nhãn phụ thuộc (VTB / VTB_U).
  3. Hiệu chỉnh thủ công 3.000 câu tiếng Việt theo chuẩn Universal Dependencies (VTB_UD) và công bố trên kho ngữ liệu quốc tế http://universaldependencies.org.
  4. Xây dựng kho ngữ liệu gán nhãn vai nghĩa tiếng Việt gồm 5.460 câu thông qua quy trình kết hợp hệ luật gán nhãn thô và trang web hiệu chỉnh chuyên gia.

Đóng góp về mặt phương pháp

  1. Đối với phân tích cú pháp thành phần: Đề xuất tích hợp véc-tơ phân bố từ (CharLSTM, ELMo) vào mô hình phân tích cú pháp dựa trên bước chuyển Shift-Reduce và mô hình Self-Attention; phân loại và chỉ ra bản chất các lỗi phân tích cú pháp thành phần đặc thù trong văn bản tiếng Việt.
  2. Đối với phân tích cú pháp phụ thuộc: Đề xuất phương pháp tích hợp đặc trưng biểu diễn phân bố từ vào các hệ thống phân tích dựa trên bước chuyển (MaltParser, Bist-parser) và dựa trên đồ thị (MSTParser), cải thiện đáng kể độ chính xác UAS và LAS trên các tập ngữ liệu tiếng Việt.
  3. Đối với gán nhãn vai nghĩa: Đề xuất thuật toán rút trích ứng viên thành phần kết hợp mô hình Quy hoạch tuyến tính nguyên (ILP) với tập ràng buộc cú pháp - ngữ nghĩa đặc thù tiếng Việt và tích hợp véc-tơ từ của vị từ và từ chính, nâng cao hiệu quả nhận diện cấu trúc nghĩa của câu.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của luận án:

  • Quy mô kho ngữ liệu cú pháp phụ thuộc và vai nghĩa tiếng Việt (10.165 câu phụ thuộc và 5.460 câu vai nghĩa) tuy đã đáp ứng yêu cầu thực nghiệm nhưng vẫn còn khiêm tốn so với các kho ngữ liệu quốc tế lớn (như Penn Treebank hay OntoNotes).
  • Hiện tượng nhập nhằng ranh giới từ và cấu trúc câu ghép phức tạp trong tiếng Việt vẫn dẫn đến một tỷ lệ lỗi nhất định trong các trường hợp phân định cụm động từ với mệnh đề phụ hoặc lỗi đính kèm cụm giới từ.

Hướng nghiên cứu tiếp:

  • Tiếp tục mở rộng quy mô và nâng cao chất lượng chú giải của kho ngữ liệu cú pháp phụ thuộc và kho ngữ liệu vai nghĩa tiếng Việt.
  • Nghiên cứu tích hợp các mô hình ngôn ngữ tiền huấn luyện theo ngữ cảnh sâu mới (như BERT, RoBERTa đa ngữ hoặc dành riêng cho tiếng Việt) vào các bài toán phân tích cú pháp và vai nghĩa.
  • Ứng dụng các công cụ phân tích cú pháp và gán nhãn vai nghĩa đã phát triển vào các tác vụ xử lý ngôn ngữ tự nhiên ứng dụng như dịch máy tự động, trích xuất thông tin, tóm tắt văn bản và hệ thống hỏi đáp thông minh.

Giá trị tham khảo

Luận án là tài liệu tham khảo cho:

  • Nghiên cứu sinh, học viên cao học và sinh viên chuyên ngành Cơ sở toán cho tin học, Khoa học máy tính, Công nghệ thông tin và Ngôn ngữ học tính toán: Tham khảo khung lý thuyết hình thức hóa cú pháp, các mô hình học máy thống kê và quy trình xây dựng tài nguyên ngôn ngữ học tính toán.
  • Giảng viên và các nhóm nghiên cứu Xử lý ngôn ngữ tự nhiên tiếng Việt: Tham khảo phương pháp chuyển đổi kho ngữ liệu cây cú pháp (Chương 2), kỹ thuật tích hợp nhúng từ vào các bộ phân tích cú pháp phụ thuộc MaltParser, MSTParser, Bist-Parser (Chương 3), và kỹ thuật tối ưu hóa ILP trong gán nhãn vai nghĩa (Chương 4).
  • Các kỹ sư phát triển hệ thống xử lý văn bản tiếng Việt: Tận dụng tập dữ liệu VTB_UD đã công bố quốc tế và các giải thuật phân tích cú pháp - ngữ nghĩa để xây dựng các mô-đun phân tích ngôn ngữ trong các hệ thống trích xuất tri thức, công cụ tìm kiếm ngữ nghĩa và trợ lý ảo.

Câu hỏi thường gặp

1. Luận án đã xây dựng và công bố những kho ngữ liệu cụ thể nào cho tiếng Việt?

Luận án đã xây dựng 3 bộ dữ liệu chính:

  • Bộ dữ liệu 10.165 câu tiếng Việt gán nhãn cú pháp phụ thuộc (VTB / VTB_U) chuyển đổi tự động từ VietTreebank.
  • Bộ dữ liệu 3.000 câu tiếng Việt gán nhãn cú pháp phụ thuộc chuẩn Universal Dependencies (VTB_UD) được hiệu chỉnh thủ công và công bố trên hệ thống quốc tế Universal Dependencies (http://universaldependencies.org).
  • Bộ dữ liệu 5.460 câu tiếng Việt gán nhãn vai nghĩa (SRL) được xây dựng qua hệ luật gán thô và hiệu chỉnh thủ công qua giao diện web.

2. Thuật toán chuyển đổi từ cây cú pháp thành phần sang cú pháp phụ thuộc hoạt động như thế nào?

Thuật toán dựa trên hai thành phần chính:

  • Tập quy tắc xác định phần tử trung tâm (head rules) áp dụng cho từng nút cụm từ trên cây cú pháp thành phần (NP, VP, AP, PP, RP...).
  • Tập quy tắc ánh xạ nhãn cú pháp thành phần kết hợp nhãn chức năng ngữ pháp (như SUB, DOB, IOB, TPC...) thành các nhãn quan hệ phụ thuộc hai ngôi không đối xứng (như nsubj, dobj, punct, ccomp...) và xuất ra định dạng chuẩn CoNLL-X.

3. Những công cụ và mô hình học máy nào được luận án thử nghiệm cho bài toán phân tích cú pháp phụ thuộc tiếng Việt?

Luận án cài đặt và đánh giá 3 hệ thống đại diện cho các trường phái khác nhau:

  • MaltParser: Phân tích cú pháp phụ thuộc dựa trên bước chuyển (Transition-based) với thuật toán Arc-Eager.
  • MSTParser: Phân tích cú pháp phụ thuộc dựa trên đồ thị (Graph-based) với thuật toán cây bao trùm cực đại (Chu-Liu-Edmonds / Eisner) và học MIRA.
  • Bist-parser: Phân tích cú pháp phụ thuộc dựa trên mạng nơ-ron hồi quy hai chiều (BiLSTM).

4. Vai trò của Quy hoạch tuyến tính nguyên (ILP) trong bài toán gán nhãn vai nghĩa tiếng Việt là gì?

Quy hoạch tuyến tính nguyên (ILP) đóng vai trò là tầng tối ưu hóa suy luận toàn cục. Mô hình sử dụng ILP để kết hợp điểm số phân loại cục bộ của các ứng viên vai nghĩa với một hệ thống các ràng buộc logic cú pháp - ngữ nghĩa (không trùng lặp ranh giới đối số, tính duy nhất của vai nghĩa chính Arg0/Arg1/Arg2, tính tương thích với cấu trúc vị từ), giúp loại bỏ các kết quả dự đoán mâu thuẫn và nâng cao độ chính xác toàn cục.

5. Biểu diễn phân bố từ nào được tích hợp để cải thiện hiệu quả phân tích cú pháp thành phần?

Trong bài toán phân tích cú pháp thành phần, luận án đã tích hợp đặc trưng biểu diễn phân bố từ cấp ký tự CharLSTM và mô hình nhúng ngữ cảnh sâu ELMo (Embeddings from Language Models) vào mô hình Self-Attention của Nikita Kitaev và Dan Klein (2018), giúp mô hình nắm bắt ngữ cảnh tốt hơn so với biểu diễn véc-tơ một điểm (one-hot) truyền thống.

Kết luận

Luận án đã giải quyết bài toán nâng cao hiệu quả phân tích cú pháp và gán nhãn vai nghĩa tiếng Việt bằng cách tiếp cận học máy thống kê kết hợp biểu diễn phân bố từ và tối ưu hóa quy hoạch tuyến tính nguyên. Tác giả đã xây dựng thành công các kho tài nguyên dữ liệu gồm 10.165 câu cú pháp phụ thuộc, 3.000 câu chuẩn Universal Dependencies và 5.460 câu gán nhãn vai nghĩa cho tiếng Việt. Các thử nghiệm thực nghiệm đã chứng minh việc tích hợp biểu diễn phân bố từ (ELMo, BiLSTM) và mô hình ràng buộc ILP mang lại hiệu quả nâng cao độ chính xác trong phân tích cú pháp và nhận diện cấu trúc nghĩa của câu tiếng Việt. Công trình là tài liệu tham khảo có giá trị học thuật và ứng dụng thực tiễn cho lĩnh vực xử lý ngôn ngữ tự nhiên tiếng Việt.