Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh bùng nổ thông tin từ mạng Internet, sự phổ biến của các thiết bị thông minh cùng các nền tảng mạng xã hội và công cụ tìm kiếm đã tạo ra một lượng dữ liệu khổng lồ theo từng giây. Phần lớn dữ liệu này tồn tại dưới dạng phi cấu trúc. Để khai thác và chuyển đổi nguồn dữ liệu này thành dạng có cấu trúc định sẵn, lĩnh vực Rút trích thông tin (Information Extraction - IE) giữ vai trò then chốt. Trong các hệ thống rút trích thông tin, Nhận diện thực thể định danh (Named Entity Recognition - NER) là phương pháp cơ bản, đáng tin cậy nhất và là nền tảng để triển khai các tác vụ phức tạp hơn như trích xuất quan hệ, giải quyết đồng tham chiếu hay xây dựng đồ thị tri thức.

Tại Việt Nam, nghiên cứu về bài toán NER bắt đầu được đẩy mạnh từ khi Câu lạc bộ Xử lý Ngôn ngữ và Tiếng nói Tiếng Việt (VLSP) phát hành bộ dữ liệu thực thể định danh đầu tiên vào năm 2016, tiếp tục hoàn thiện qua các năm 2018 và 2021. Tuy nhiên, kết quả đạt được trên dữ liệu tiếng Việt vẫn còn khiêm tốn so với các nghiên cứu tương đương trên tiếng Anh hoặc tiếng Trung. Nguyên nhân xuất phát từ kích thước ngữ liệu tiếng Việt còn hạn chế và các rào cản ngôn ngữ học đặc thù (hiện tượng không phân tách ranh giới từ bằng khoảng trắng, từ mượn, từ ghép, tính chất ngôn ngữ đơn lập không biến hình và sự biến thiên phương ngữ). Đặc biệt, phần lớn các nghiên cứu trước đây chỉ giải quyết thực thể phẳng (flat entities) và loại bỏ hoàn toàn các thực thể lồng nhau (nested entities) do giới hạn của các mô hình gán nhãn chuỗi tuyến tính.

Mục tiêu và nhiệm vụ nghiên cứu của khóa luận được xác định cụ thể như sau:

  1. Nghiên cứu và cài đặt mô hình Partially-Observed TreeCRFs nhằm xử lý cấu trúc thực thể lồng nhau thông qua phương pháp phân tích cú pháp ngữ đoạn.
  2. Xây dựng mô hình kết hợp 4 mức độc lập dựa trên việc tinh chỉnh mô hình ngôn ngữ tiền huấn luyện đa ngữ XLM-RoBERTa nhằm tạo ra một kiến trúc đối sánh trực quan, hiệu quả.
  3. Tiến hành thực nghiệm, phân tích và so sánh hiệu năng của hai mô hình trên tập kiểm thử của bộ ngữ liệu VLSP 2021 để đánh giá mức độ phù hợp của từng hướng tiếp cận.
  4. Tham gia và đóng góp kết quả vào chiến dịch đánh giá VLSP 2021 Evaluation Campaign tại tác vụ nhận diện thực thể định danh trong văn bản.

Đối tượng nghiên cứu của đề tài là các thực thể định danh trong câu văn tiếng Việt, bao gồm cả thực thể đơn và thực thể lồng nhau từ mức 1 đến mức 4, cùng các mô hình học sâu hiện đại xử lý ngữ đoạn. Phạm vi nghiên cứu tập trung vào ngữ liệu tiếng Việt thuộc bộ dữ liệu VLSP 2021, kế thừa và mở rộng từ VLSP 2016 và VLSP 2018, với các văn bản thu thập từ các phương tiện truyền thông xã hội và báo chí.

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập nền tảng lý thuyết dựa trên bài toán gán nhãn chuỗi và các mô hình học sâu xử lý ngôn ngữ tự nhiên:

  • Biểu diễn nhãn chuỗi: Áp dụng các quy tắc gán nhãn vị trí cụm từ BIO (Begin - Inside - Outside) cùng các biến thể IO và BIOES để mô hình hóa ranh giới từ và loại thực thể.
  • Mạng nơ-ron học sâu: Khảo sát các kiến trúc mạng nơ-ron truyền số tới kết hợp các hàm kích hoạt phi tuyến tính (Sigmoid, Tanh, ReLU, Leaky ReLU, Softmax); mô hình mạng nơ-ron hồi quy (RNN) và bộ nhớ ngắn hạn dài (LSTM) với cơ chế 3 cổng (cổng vào $I_t$, cổng quên $F_t$, cổng ra $O_t$) cùng ô nhớ tiềm năng $\tilde{C}_t$ nhằm khắc phục hiện tượng mất mát và bùng nổ đạo hàm trên chuỗi dài.
  • Biểu diễn ngữ cảnh từ Transformer: Khảo sát mô hình BERT và biến thể đa ngôn ngữ XLM-RoBERTa, tận dụng cơ chế chú ý hai chiều (bidirectional self-attention) và tác vụ mô hình hóa ngôn ngữ có mặt nạ (Masked Language Modeling - MLM) với tỷ lệ che 15% token để tinh chỉnh cho tác vụ trích xuất thực thể.
  • Cơ chế phân tích cú pháp ngữ đoạn (Constituency Parsing) cho thực thể lồng: Mô hình hóa các thực thể lồng nhau thành cây cú pháp được quan sát một phần (partially observed trees). Các thực thể con nằm hoàn toàn bên trong thực thể cha tương ứng với cấu trúc ngữ đoạn không chồng chéo.
  • Mô hình Partially-Observed TreeCRFs: Sử dụng mạng nơ-ron tích hợp hàm tính điểm Biaffine để tính toán thế vị logarit, kết hợp Trường ngẫu nhiên điều kiện dạng cây (TreeCRF) định nghĩa phân phối Gibbs trên các cây ngữ đoạn. Tác giả sử dụng thuật toán Masked Inside để loại bỏ các nút tiềm ẩn trong quá trình tối đa hóa xác suất có điều kiện và thuật toán CYK để giải mã cây tối ưu.

Phương pháp nghiên cứu thực tế là phương pháp thực nghiệm định lượng kết hợp phân tích đối sánh. Nguồn dữ liệu sử dụng duy nhất trong nghiên cứu là bộ ngữ liệu VLSP 2021 do ban tổ chức cuộc thi VLSP cung cấp, bao gồm 41 nhãn thực thể (14 nhãn chính, 26 nhãn phụ và 1 nhãn chung).

Phương pháp gán nhãn Quy ước nhãn bắt đầu Quy ước nhãn bên trong Quy ước nhãn kết thúc Nhãn từ đơn lẻ Quy ước ngoài thực thể
IO Không phân biệt (dùng I) I-[TYPE] Không phân biệt (dùng I) I-[TYPE] O
BIO B-[TYPE] I-[TYPE] I-[TYPE] B-[TYPE] O
BIOES B-[TYPE] I-[TYPE] E-[TYPE] S-[TYPE] O

Nội dung chính theo từng chương

Chương 1: Mở đầu

Chương này giới thiệu lý do lựa chọn đề tài xuất phát từ nhu cầu trích xuất thông tin có cấu trúc từ lượng dữ liệu trực tuyến ngày càng lớn. Tác giả xác định rõ bài toán nhận diện thực thể trong câu văn tiếng Việt với đầu vào là chuỗi văn bản bất kỳ và đầu ra là văn bản được gán nhãn thẻ mở rộng định dạng chuẩn (ví dụ: <ENAMEX TYPE="...">...</ENAMEX>). Chương mở đầu cũng công bố mục tiêu nghiên cứu thực nghiệm hai mô hình xử lý thực thể lồng nhau, giới thiệu tóm tắt phạm vi ngữ liệu VLSP 2021, kết quả F1-score đạt được và vị trí xếp hạng của nhóm nghiên cứu tại cuộc thi chuyên ngành.

Chương 2: Tổng quan

Chương 2 phân tích chuyên sâu bối cảnh học thuật của bài toán Rút trích thông tin và Nhận diện thực thể định danh. Tác giả tổng hợp kiến trúc tiêu chuẩn của một hệ thống NER gồm: bộ tách câu, bộ tách từ, bộ gán nhãn từ loại, từ điển định danh (gazetteer), bộ trích xuất đặc trưng và mô hình phân loại.

Đặc biệt, chương này chỉ ra 5 khó khăn cốt lõi của tiếng Việt đối với bài toán NER:

  1. Ranh giới từ phức tạp: Tiếng Việt là ngôn ngữ đơn lập, ranh giới từ không đồng nhất với khoảng trắng như các ngôn ngữ biến hình; việc tách từ phụ thuộc chặt chẽ vào ngữ cảnh và ngữ pháp.
  2. Từ mượn phong phú: Tỷ lệ lớn từ Hán-Việt cùng hệ thống từ mượn tiếng Pháp, tiếng Anh có hoặc không có dấu gạch nối (ví dụ: xi-nê, vi-rút, Albert Einstein).
  3. Định dạng từ không biến tố: Ngữ pháp thể hiện qua trật tự từ và các hư từ/trợ từ (đã, sẽ, đang, những, các) thay vì biến tố hình thái học.
  4. Biến thể ngữ âm và chính tả: Sự thiếu nhất quán trong cách dùng dấu gạch nối, dấu thanh trong phiên âm danh từ riêng nước ngoài (ví dụ: Pé-cắc / Pé-các, In-đô-nê-xi-a / In-đô-nê-si-a).
  5. Phương ngữ ba miền: Sự khác biệt lớn về mặt ngữ âm và từ vựng tương đương giữa miền Bắc, Trung, Nam.

Phần nghiên cứu liên quan tổng hợp các bước phát triển từ các mô hình dựa trên luật, mô hình học máy truyền thống (HMM, Maximum Entropy, SVM, CRF, MIRA) đến các mô hình học sâu hiện đại (CNN-BiLSTM-CRF).

Chương 3: Cơ sở lý thuyết

Chương 3 trình bày chi tiết nền tảng toán học của các kiến trúc nơ-ron nhân tạo:

  • Cơ chế lan truyền xuôi và cập nhật trọng số qua lan truyền ngược (backpropagation) trên mạng nơ-ron nhiều tầng ẩn.
  • Công thức hoạt động của mạng RNN và nguyên nhân dẫn đến hiện tượng suy giảm đạo hàm khi xử lý chuỗi dài.
  • Cấu trúc chi tiết của ô nhớ LSTM, biểu diễn mối liên hệ giữa các cổng thông qua hệ phương trình toán học:

$$\begin{aligned} I_t &= \sigma(X_t W_i + H_{t-1} U_i + b_i) \ F_t &= \sigma(X_t W_f + H_{t-1} U_f + b_f) \ O_t &= \sigma(X_t W_o + H_{t-1} U_o + b_o) \ \tilde{C}t &= \tanh(X_t W_c + H{t-1} U_c + b_c) \ C_t &= F_t \odot C_{t-1} + I_t \odot \tilde{C}_t \ H_t &= O_t \odot \tanh(C_t) \end{aligned}$$

  • Kiến trúc Transformer hai chiều của mô hình BERT, cơ chế tiền huấn luyện với bài toán MLM (phân bổ 80% token [MASK], 10% token ngẫu nhiên và 10% giữ nguyên token gốc) cùng quy trình tinh chỉnh trên các tác vụ hạ nguồn.

Chương 4: Mô hình cho bài toán Nhận diện thực thể định danh

Chương 4 mô tả chi tiết hai giải pháp kỹ thuật được tác giả cài đặt cho bài toán thực thể lồng:

  • Mô hình Partially-Observed TreeCRFs:
    • Bộ mã hóa và bộ tính trọng số Biaffine: Chuyển đổi chuỗi từ đầu vào thành biểu diễn ngữ cảnh qua mô hình tiền huấn luyện, sau đó mạng truyền thẳng và hàm Biaffine tính điểm số $s_{ijk}$ cho từng ngữ đoạn từ vị trí $i$ đến $j$ với nhãn $k$.
    • Mô hình hóa cây cú pháp: Phân loại các nút trên cây biểu tượng thành 3 trạng thái: nút đã quan sát ($\mathcal{O}$ - thực thể có nhãn), nút bị loại ($\mathcal{R}$ - nút xung đột, chồng chéo ranh giới với thực thể đã quan sát) và nút tiềm ẩn ($\mathcal{L}$ - các ngữ đoạn chưa gán nhãn có thể hoàn thiện cây cú pháp).
    • Thuật toán Masked Inside: Tính toán hàm phân đoạn $Z$ và phân phối xác suất có điều kiện $p(T|x)$ bằng cách loại bỏ các điểm số không tương thích và cực đại hóa xác suất các cây thành phần.
    • Suy luận: Giải mã bằng thuật toán CYK để trích xuất cây tối ưu chứa các nhãn thuộc tập đã quan sát $\mathcal{L}_O$, loại bỏ nhãn tiềm ẩn $\mathcal{L}_I$.
  • Mô hình kết hợp 4 mức dựa trên XLM-RoBERTa: Tác giả phân tách bài toán thực thể lồng thành 4 bài toán thực thể phẳng độc lập tương ứng với các độ sâu lồng nhau từ mức 1 đến mức 4. Bốn mô hình XLM-RoBERTa-large được tinh chỉnh riêng biệt trên từng tập dữ liệu mức. Trong quá trình suy luận, kết quả dự đoán độc lập của 4 mô hình được tổng hợp lại, áp dụng thuật toán giải quyết xung đột ranh giới từ để tạo ra kết quả nhận diện cuối cùng.

Chương 5: Thí nghiệm và kết quả

Chương 5 trình bày toàn bộ quy trình thực nghiệm trên bộ dữ liệu VLSP 2021:

  • Quy trình tiền xử lý: Làm sạch dữ liệu, chuyển đổi định dạng ngữ liệu gốc sang JSON, phân chia tập dữ liệu thành tập huấn luyện (Train), tập phát triển (Dev) và tập kiểm thử (Test).
  • Đặc điểm bộ nhãn VLSP 2021: Phân tích chi tiết 41 nhãn thực thể bao gồm các lớp chính: Person, PersonType, Location (phân lớp thành LOCATION-GPE, LOCATION-STRUC, LOCATION-GEO), Organization (ORGANIZATION-MED), Event (EVENT-CUL, EVENT-NATURAL, EVENT-SPORT, EVENT-GAMESHOW), Product, cùng các nhóm thời gian, số lượng. Khóa luận ghi nhận sự phân bổ không đồng đều giữa các nhãn, nhiều nhãn có số lượng mẫu rất nhỏ.
  • Thiết lập thông số: Mô hình Partially-Observed TreeCRFs sử dụng biểu diễn nhúng từ XLM-RoBERTa-base; mô hình kết hợp 4 mức sử dụng XLM-RoBERTa-large.
  • Thống kê kết quả: Đánh giá độ đo F1-score trung bình qua 6 lần chạy thử nghiệm độc lập trên tập Test chính thức của VLSP 2021.

Chương 6: Kết luận và hướng phát triển

Tác giả tổng kết toàn bộ các kết quả đạt được của khóa luận, thẳng thắn đánh giá các mặt hạn chế còn tồn đọng trong quá trình cài đặt mô hình TreeCRF trên ngữ liệu tiếng Việt, đồng thời đề xuất định hướng nghiên cứu tiếp theo nhằm nâng cao độ chính xác nhận diện.

Chương 7: Công bố khoa học

Liệt kê các bài báo và công trình khoa học được tác giả và nhóm nghiên cứu công bố hoặc đệ trình liên quan đến nội dung và kết quả của khóa luận tốt nghiệp.

Kết quả và đóng góp

Khóa luận đã hoàn thành các mục tiêu nghiên cứu đề ra với các số liệu thực nghiệm được đo đạc trực tiếp trên tập kiểm thử (Test set) của bộ ngữ liệu VLSP 2021 (tính trung bình qua 6 lần chạy):

Mô hình nghiên cứu Cốt lõi biểu diễn ngữ cảnh F1-score tổng thể (%) F1-score thực thể đơn (%) F1-score thực thể lồng (%)
Partially-Observed TreeCRFs XLM-RoBERTa-base 51,00 Không tách biệt Không tách biệt
Mô hình kết hợp 4 mức XLM-RoBERTa-large 55,00 57,00 57,00

Các đóng góp chính của đề tài bao gồm:

  • Triển khai và kiểm chứng thực nghiệm mô hình phân tích cú pháp ngữ đoạn Partially-Observed TreeCRFs trên tập ngữ liệu tiếng Việt có cấu trúc lồng phức tạp.
  • Đề xuất giải pháp kiến trúc kết hợp 4 mức tinh chỉnh từ XLM-RoBERTa, chứng minh tính hiệu quả vượt trội (F1 đạt 55,00%, cao hơn 4% so với TreeCRF) trên dữ liệu thực tế nhờ khả năng phân tách độc lập các tầng thực thể lồng nhau.
  • Mô hình kết hợp 4 mức của tác giả đã được gửi tham gia đánh giá chính thức tại cuộc thi VLSP 2021 Evaluation Campaign (nội dung Named Entity Recognition: Recognizing named entities in documents) và đạt Hạng 3 trên tổng số 23 đội dự thi.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận chỉ rõ các hạn chế cụ thể sau:

  • Hiệu năng mô hình TreeCRFs: Mặc dù là mô hình đạt kết quả hàng đầu trên tiếng Anh, Partially-Observed TreeCRFs chỉ đạt F1-score 51% trên dữ liệu tiếng Việt, cho thấy sự phức tạp về cấu trúc cây chưa tương thích tối ưu với đặc tính ngữ liệu tiếng Việt hiện tại.
  • Mất cân bằng dữ liệu: Bộ dữ liệu VLSP 2021 dù được nâng cấp lên 41 nhãn nhưng tồn tại sự chênh lệch lớn giữa các lớp thực thể (một số lớp xuất hiện với tần suất dày đặc, trong khi nhiều lớp phụ có số lượng mẫu rất thấp, gây khó khăn cho việc huấn luyện).
  • Độ phức tạp tính toán: Việc huấn luyện đồng thời 4 mô hình XLM-RoBERTa-large độc lập đòi hỏi tài nguyên tính toán lớn và thời gian xử lý suy luận dài.

Hướng nghiên cứu tiếp theo được tác giả định hướng:

  • Nghiên cứu tối ưu hóa thuật toán giải mã nhằm rút ngắn thời gian tính toán và hạn chế xung đột nhãn giữa các tầng thực thể.
  • Khảo sát các kỹ thuật tăng cường dữ liệu hoặc học chuyển giao để cải thiện kết quả phân loại trên các nhãn thực thể hiếm.
  • Kết hợp thêm các đặc trưng ngôn ngữ học chuyên biệt của tiếng Việt vào biểu diễn ngữ đoạn.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo chuyên khảo hữu ích cho:

  • Sinh viên, học viên cao học chuyên ngành Khoa học Máy tính, Trí tuệ Nhân tạo và Công nghệ Thông tin đang nghiên cứu lĩnh vực Xử lý ngôn ngữ tự nhiên (NLP).
  • Các nhà nghiên cứu và kỹ sư đang giải quyết bài toán Rút trích thông tin, cụ thể là nhận diện thực thể định danh dạng phẳng lẫn lồng nhau trên các ngôn ngữ đơn lập.
  • Chương 2 và Chương 4 là hai phần có giá trị tham khảo cao nhất: Chương 2 cung cấp hệ thống luận điểm toàn diện về các rào cản ngôn ngữ học tiếng Việt trong NLP; Chương 4 cung cấp chi tiết toán học về thuật toán Masked Inside, hàm Biaffine và cơ chế phân rã tầng thực thể lồng nhau.

Câu hỏi thường gặp

1. Bài toán Nhận diện thực thể định danh trong khóa luận được định nghĩa như thế nào và có ví dụ cụ thể ra sao?
Bài toán có đầu vào là một câu văn tiếng Việt trong bất kỳ lĩnh vực nào, đầu ra là câu văn được bổ sung các nhãn thực thể cùng loại tương ứng. Ví dụ trong khóa luận: câu văn "Anh Thanh là cán bộ Uỷ ban nhân dân Thành phố Hà Nội" có đầu ra mong muốn là:
<ENAMEX TYPE="PERSON"> Anh Thanh </ENAMEX> là cán bộ <ENAMEX TYPE="ORGANIZATION"> Uỷ ban nhân dân <ENAMEX TYPE="LOCATION"> thành phố Hà Nội </ENAMEX></ENAMEX> .
Trong đó, "thành phố Hà Nội" (LOCATION) là một thực thể đơn nằm lồng bên trong thực thể "Uỷ ban nhân dân thành phố Hà Nội" (ORGANIZATION).

2. Tiếng Việt có những đặc trưng ngôn ngữ học nào gây trở ngại lớn nhất cho bài toán NER theo phân tích của tác giả?
Tác giả chỉ ra 5 đặc trưng: (1) Ranh giới từ không phân tách bằng khoảng trắng do tiếng Việt là ngôn ngữ đơn lập; (2) Tỷ lệ từ mượn lớn (từ Hán-Việt, từ mượn tiếng Pháp, tiếng Anh); (3) Tiếng Việt là ngôn ngữ không biến hình, cú pháp phụ thuộc vào trật tự từ và hư từ; (4) Sự thiếu nhất quán về dấu gạch nối và dấu thanh phiên âm trong từ mượn; (5) Sự khác biệt phương ngữ ba miền Bắc - Trung - Nam về mặt ngữ âm và từ vựng.

3. Tại sao tác giả mô hình hóa bài toán thực thể lồng nhau thành cây cú pháp được quan sát một phần (Partially-Observed Trees)?
Tác giả nhận thấy các thực thể con bên trong luôn là một phần của thực thể cha bên ngoài và ranh giới giữa chúng không được chồng chéo, hoàn toàn tương đồng với cấu trúc ngữ đoạn (constituency structure). Khi xem cấu trúc này là cây quan sát một phần, các thực thể đã gán nhãn đóng vai trò là các nút đã quan sát, còn các cụm từ không gán nhãn được mô hình hóa thành các nút tiềm ẩn trong một cây hoàn chỉnh, cho phép áp dụng Trường ngẫu nhiên điều kiện dạng cây để giải quyết vấn đề nhập nhằng.

4. Cơ chế hoạt động của mô hình kết hợp 4 mức đề xuất trong khóa luận là gì?
Mô hình kết hợp 4 mức chia tập dữ liệu có cấu trúc lồng thành 4 tập tương ứng với các độ sâu thực thể từ mức 1 đến mức 4. Tác giả tiến hành tinh chỉnh độc lập 4 mô hình XLM-RoBERTa-large trên từng mức độ thực thể. Khi suy luận, cả 4 mô hình đưa ra dự đoán độc lập, sau đó hệ thống tổng hợp các kết quả lại và áp dụng thuật toán loại bỏ các trường hợp bị chồng chéo ranh giới để xuất ra nhãn cuối cùng.

5. Kết quả thực nghiệm của các mô hình trên tập kiểm thử VLSP 2021 và thành tích cuộc thi của khóa luận đạt mức nào?
Trên tập kiểm thử VLSP 2021 (đánh giá trung bình qua 6 lần chạy), mô hình Partially-Observed TreeCRFs đạt F1-score là 51,00%, trong khi mô hình kết hợp 4 mức đạt F1-score là 55,00% (cả thực thể đơn và thực thể lồng đều đạt F1-score là 57,00%). Với mô hình kết hợp 4 mức, nhóm tác giả đã giành Hạng 3 trên tổng số 23 đội tham gia tại cuộc thi VLSP 2021 Evaluation Campaign cho bài toán Nhận diện thực thể định danh trong tài liệu.

Kết luận

Khóa luận tốt nghiệp của tác giả Võ Linh Bảo đã giải quyết bài toán nhận diện thực thể định danh lồng nhau trên câu văn tiếng Việt bằng việc nghiên cứu mô hình lý thuyết Partially-Observed TreeCRFs và đề xuất thành công mô hình kết hợp 4 mức dựa trên XLM-RoBERTa. Kết quả thực nghiệm trên bộ dữ liệu VLSP 2021 khẳng định mô hình kết hợp 4 mức mang lại hiệu quả vượt trội với F1-score đạt 55,00%, đồng thời giúp nhóm tác giả đạt giải Ba tại cuộc thi quốc gia VLSP 2021. Công trình cung cấp những phân tích sâu sắc về rào cản ngôn ngữ học tiếng Việt trong xử lý ngữ đoạn, đồng thời tạo tiền đề thực nghiệm vững chắc cho các nghiên cứu tiếp theo về trích xuất thông tin có cấu trúc phức tạp.