Tổng quan luận án

Luận án tiến sĩ chuyên ngành Khoa học máy tính (mã số: 62 48 01 01) của nghiên cứu sinh Lê Quang Hùng, được thực hiện tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội dưới sự hướng dẫn khoa học của PGS. Lê Anh Cường và PGS. Huỳnh Văn Nam, mang tiêu đề: "Khai phá tri thức song ngữ và ứng dụng trong dịch máy Anh – Việt" (năm 2016).

Tính cấp thiết và khoảng trống nghiên cứu

Dịch máy thống kê (Statistical Machine Translation - SMT) là hướng tiếp cận tự động xây dựng từ điển và các quy luật dịch thông qua phân tích thống kê trên ngữ liệu song ngữ. Hiệu quả và chất lượng của hệ thống SMT tỷ lệ thuận với quy mô và chất lượng của ngữ liệu song ngữ đầu vào. Tuy nhiên, nguồn ngữ liệu song ngữ sẵn có nhìn chung còn hạn chế về quy mô lẫn độ chuẩn xác, đặc biệt đối với cặp ngôn ngữ có sự khác biệt lớn về mặt cấu trúc ngữ pháp như Anh – Việt.

Văn bản luận án chỉ ra các khoảng trống cụ thể:

  1. Nguồn dữ liệu song ngữ phong phú trên Web và sách điện tử (ebook) song ngữ chưa được khai thác hiệu quả cho cặp ngôn ngữ Anh – Việt; các nghiên cứu trước trên Web chưa kết hợp đặc trưng nội dung với đặc trưng cấu trúc để tối ưu độ chính xác rút trích.
  2. Các mô hình gióng hàng từ thống kê thuần túy (tiêu biểu là các mô hình IBM) có độ chính xác thấp đối với cặp ngôn ngữ khác biệt cú pháp như Anh – Việt và chưa có phương pháp tổng quát để tích hợp, kết hợp các nguồn tri thức ngôn ngữ học bổ trợ vào thuật toán ước lượng tham số.
  3. Việc rút trích cụm từ song ngữ bằng phương pháp so khớp mẫu cú pháp ở cả hai phía (câu nguồn và câu đích) làm giới hạn số lượng cụm từ trích xuất được.

Mục tiêu nghiên cứu

Luận án xác định hai mục tiêu chính:

  1. Mục tiêu thứ nhất: Nghiên cứu đề xuất một số phương pháp để khai thác tri thức song ngữ nhằm bổ sung nguồn ngữ liệu cho dịch máy thống kê.
  2. Mục tiêu thứ hai: Nghiên cứu đề xuất một số phương pháp để làm tăng chất lượng dịch cho dịch máy thống kê dựa trên ngữ liệu hiện có.

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Các phương pháp khai phá tri thức song ngữ (bao gồm xây dựng ngữ liệu song ngữ, gióng hàng văn bản ở các mức đoạn, câu, từ và xác định cụm từ song ngữ) và các mô hình dịch máy thống kê.
  • Phạm vi dữ liệu và ngôn ngữ: Cặp ngôn ngữ Anh – Việt. Nguồn ngữ liệu khai thác gồm các trang web song ngữ (BBC, VOA News, VietnamPlus), sách điện tử song ngữ Anh – Việt và các tập ngữ liệu song ngữ phục vụ huấn luyện, kiểm thử hệ thống SMT.

Tổng quan tài liệu và vị trí của luận án

Luận án điểm lại hệ thống tài liệu và các hướng nghiên cứu liên quan đến khai phá tri thức song ngữ và dịch máy:

Các hướng nghiên cứu trước

  1. Lịch sử và các cách tiếp cận dịch máy: Ý tưởng dịch máy từ Warren Weaver (1949); bốn phương pháp truyền thống trước dịch thống kê gồm dịch trực tiếp, dịch dựa trên chuyển đổi, dịch liên ngữ và dịch dựa trên ví dụ (Nagao, 1984; Sato & Nagao, 1990; Hutchins, 1995; Somers, 1999). Dịch máy thống kê khởi đầu từ dự án Candide tại IBM Research (Brown et al., 1990, 1993) và các tổng kết mô hình của Philipp Koehn (2003, 2010).
  2. Khai thác ngữ liệu song ngữ từ Web: Hướng tiếp cận dựa trên cấu trúc với hệ thống STRAND (Resnik, 1999); hướng tiếp cận dựa trên nội dung (Chen & Nie, 2000; Ma & Liberman, 1999); các nghiên cứu kết hợp cấu trúc và nội dung (Resnik & Smith, 2003; Shi et al., 2006). Tại Việt Nam, Đặng Bác Văn và Hồ Bảo Quốc (2008) xây dựng ngữ liệu song ngữ Anh – Việt từ web dựa trên so khớp nội dung bằng từ điển và lọc theo độ dài câu, ngày tạo trang.
  3. Gióng hàng đoạn và câu: Hướng tiếp cận thống kê dựa trên độ dài (Gale & Church, 1991, 1993; Brown et al., 1991); hướng tiếp cận dựa trên tri thức ngôn ngữ sử dụng từ điển như thuật toán Fast-Champollion (Li et al., 2010).
  4. Gióng hàng từ trong SMT: Mô hình sinh với chuỗi mô hình IBM 1–5 (Brown et al., 1993) và công cụ GIZA++ (Och & Ney, 2003); mô hình phân biệt dựa trên véc-tơ đặc trưng (Moore, 2005; Liu et al., 2005; Taskar et al., 2005; Ittycheriah & Roukos, 2005). Các nghiên cứu cải tiến mô hình IBM: Maximum Entropy phụ thuộc ngữ cảnh (Varea et al., 2002), đối xứng hóa từ vựng và làm trơn (Zens et al., 2004), gán trọng số từ rỗng và heuristic (Moore, 2004), mô hình dịch bổ sung tham số ngôn ngữ học (Koehn & Hoang, 2007). Hướng tiếp cận ràng buộc: ràng buộc dính liền cú pháp (Lin & Cherry, 2003), ràng buộc tần suất từ chức năng và từ nội dung (Kamigaito et al., 2011), mô hình tương tự từ dựa trên mạng nơ-ron (Songyot et al., 2014), tích hợp nguồn bổ trợ cognate và từ điển (Talbot, 2005; Och & Ney, 2000).
  5. Rút trích cụm từ song ngữ: Các cách tiếp cận tượng trưng dựa trên bộ lọc cú pháp (Smadja et al., 1996), tiếp cận thống kê qua đo độ tương hỗ hoặc tỷ lệ log-likelihood (Daille, 1995; Kupiec, 1993; Yamamoto & Church, 2001), và tiếp cận lai (Bouamor et al., 2012; Tanaka & Matsuo, 1999).
  6. Nghiên cứu dịch máy Anh – Việt tại Việt Nam: Phần mềm EVTRAN, Lạc Việt; các nghiên cứu của Đinh Điền (2002, 2005) về khai phá từ song ngữ để rút ra các luật chuyển đổi (transfer rules).

Khoảng trống luận án giải quyết

Luận án định vị trọng tâm giải quyết: (1) Rút trích văn bản song ngữ từ Web bằng việc kết hợp đặc trưng nội dung (cognate, phân đoạn dịch) với đặc trưng cấu trúc qua mô hình phân loại học máy; (2) Rút trích câu song ngữ từ sách điện tử Anh – Việt; (3) Tích hợp có hệ thống các ràng buộc ngôn ngữ học (neo, vị trí, từ loại, cụm từ) vào thuật toán cực đại kỳ vọng (EM) của mô hình IBM 1; (4) Rút trích cụm từ song ngữ bằng cách so khớp mẫu cú pháp một phía kết hợp gióng hàng cụm từ để ứng dụng cho SMT Anh – Việt.

Cơ sở lý thuyết và phương pháp nghiên cứu

Cơ sở lý thuyết và khung phân tích

  • Mô hình toán học của dịch máy thống kê: Dựa trên công thức Bayes phân rã xác suất dịch $P(e|f)$ thành mô hình dịch $P(f|e)$ và mô hình ngôn ngữ $P(e)$: $$\hat{e} = \arg\max_{e} P(e|f) = \arg\max_{e} P(f|e)P(e)$$
  • Mô hình ngôn ngữ (Language Model): Sử dụng mô hình $n$-gram (unigram, bigram, trigram), ước lượng tham số theo nguyên lý hợp lý cực đại (Maximum Likelihood Estimation - MLE) kết hợp kỹ thuật làm trơn (Good-Turing, Kneser-Ney).
  • Mô hình dịch (Translation Model): Xem xét ba cấp độ: dựa trên từ (Word-based SMT qua các mô hình IBM), dựa trên cụm từ (Phrase-based SMT) và dựa trên cú pháp (Syntax-based SMT theo hướng string-to-tree).
  • Thuật toán giải mã và đánh giá: Giải mã tìm kiếm dựa trên thuật toán $A^*$ và kỹ thuật quy hoạch động (dynamic programming). Đánh giá chất lượng dịch bằng độ đo tự động BLEU (Bilingual Evaluation Understudy), NIST và TER.

Phương pháp nghiên cứu thực tế

  • Thu thập dữ liệu Web: Sử dụng công cụ Teleport-Pro thu thập các trang HTML từ các tên miền BBC, VOA News, VietnamPlus; trích xuất văn bản thô, loại bỏ các thành phần mã giao diện (JavaScript, Flash).
  • Học máy phân loại cặp văn bản song ngữ: Sử dụng thuật toán Máy véc-tơ hỗ trợ (Support Vector Machine - SVM) cài đặt qua thư viện LIBSVM để phân loại cặp văn bản song ngữ/phi song ngữ.
  • Thuật toán Cực đại kỳ vọng (Expectation Maximization - EM): Cải tiến thuật toán EM trong mô hình IBM 1 bằng cách gán lại phân phối xác suất có điều kiện dựa trên các ma trận ràng buộc (ràng buộc neo, cửa sổ vị trí $\delta$, ma trận xác suất quan hệ từ loại POS, và 13 mẫu cú pháp song ngữ).
  • Trích xuất cụm từ song ngữ: Sử dụng 10 mẫu cú pháp tiếng Anh kết hợp gióng hàng cụm từ và ngưỡng xác suất $\theta$.
Thành phần nghiên cứu Phương pháp / Kỹ thuật chính Công cụ / Thư viện áp dụng Nguồn dữ liệu thực nghiệm
Thu thập văn bản Web Web crawling theo danh sách URL xác định Teleport-Pro Website BBC, VOA News, VietnamPlus
Phân loại trang song ngữ Học máy có giám sát (SVM) LIBSVM Cặp trang web trích xuất từ 3 website
Gióng hàng văn bản ebook Gióng hàng đoạn và câu dựa trên nội dung Hệ thống SMT bổ trợ, quy hoạch động Sách điện tử song ngữ Anh – Việt
Gióng hàng từ Mô hình IBM 1 tích hợp ràng buộc vào thuật toán EM GIZA++, mã nguồn mở rộng của tác giả Ngữ liệu song ngữ 200.000 câu Anh – Việt
Trích xuất cụm từ So khớp mẫu cú pháp nguồn + Gióng hàng từ Bộ gán nhãn POS, bộ phân tích cú pháp Ngữ liệu huấn luyện SMT Anh – Việt

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương 1 hệ thống hóa các khái niệm nền tảng về khai phá tri thức song ngữ, tổng quan lịch sử dịch máy và dịch máy thống kê. Tác giả trình bày cấu trúc của hệ thống SMT (mô hình dịch, mô hình ngôn ngữ, bộ giải mã), phân loại các mô hình dịch (dựa trên từ, cụm từ, cú pháp), và các phương pháp đánh giá bản dịch (BLEU, NIST, TER). Chương 1 phân tích chi tiết ưu nhược điểm của các công trình trong và ngoài nước, từ đó xác lập 3 bài toán nghiên cứu chính mà luận án giải quyết.

Chương 2: Xây dựng ngữ liệu song ngữ cho dịch máy thống kê

Chương 2 trình bày các giải pháp xây dựng ngữ liệu song ngữ từ hai nguồn dữ liệu: Web và sách điện tử.

1. Rút trích văn bản song ngữ từ Web

Quy trình gồm: thu thập dữ liệu thô bằng Teleport-Pro; lọc tập ứng viên sơ bộ dựa trên điều kiện độ tương tự cognate $sim_{cognate} > 0{,}5$ và khoảng cách ngày xuất bản $distance_{date} \le 1$; trích xuất véc-tơ đặc trưng; phân loại bằng SVM.

Tác giả đề xuất 2 nhóm đặc trưng nội dung:

  • Đặc trưng sử dụng từ bất biến (cognate): Đo độ tương tự $sim_{cognate}(E_{text}, V_{text}) = \frac{|T_E \cap T_V|}{|T_E|}$ (với $T_E, T_V$ là tập cognate chứa tên riêng, số, từ viết tắt, tên quốc gia), kết hợp tỷ lệ độ dài từ và tỷ lệ số đoạn.
  • Đặc trưng sử dụng phân đoạn dịch: Dịch các câu tiếng Anh sang tiếng Việt bằng hệ thống SMT cơ sở, sau đó tính tỷ lệ trùng khớp n-gram giữa bản dịch máy và văn bản tiếng Việt mục tiêu.
  • Đặc trưng cấu trúc: Tính toán dựa trên mức độ tương đồng của cấu trúc thẻ HTML giữa hai trang.

2. Rút trích câu song ngữ từ sách điện tử

Quy trình gồm 3 bước:

  • Tiền xử lý: Chuyển đổi định dạng PDF sang văn bản, khôi phục các ranh giới đoạn bị mất do quá trình chuyển đổi.
  • Gióng hàng đoạn: Sử dụng các điểm neo và độ tương tự nội dung để liên kết các đoạn văn bản.
  • Gióng hàng câu: Thiết lập các mẫu liên kết câu ($1-1, 1-2, 2-1, 1-3, 3-1$) và sử dụng hệ thống dịch máy để đo độ tương đồng ngữ nghĩa.
Nguồn ngữ liệu Số lượng thu thập / Mẫu kiểm thử Phương pháp áp dụng Kết quả đánh giá
Web (BBC, VOA, VietnamPlus) Tập ứng viên lọc theo $sim_{cognate}$ và $distance_{date}$ SVM kết hợp đặc trưng nội dung và cấu trúc Cải thiện độ chính xác (Precision) và độ phủ (Recall) so với phương pháp của Resnik và Ma
Sách điện tử song ngữ 200 mẫu đoạn, 40 đoạn kiểm thử câu Phục hồi ranh giới + Gióng hàng mẫu liên kết Đạt độ chính xác gióng hàng đoạn và câu cao trên tập thử nghiệm
Hệ thống SMT bổ sung ngữ liệu Ngữ liệu gốc + ngữ liệu trích xuất mới Phrase-based SMT Điểm BLEU của hệ thống dịch tăng lên khi bổ sung dữ liệu

Chương 3: Gióng hàng từ cho dịch máy thống kê

Chương 3 tập trung giải quyết bài toán gióng hàng từ bằng cách cải tiến mô hình IBM 1 thông qua việc tích hợp các ràng buộc vào thuật toán EM.

Tác giả đề xuất 4 loại ràng buộc:

  1. Ràng buộc neo (Anchor constraint): Sử dụng các cặp từ neo chắc chắn đúng (như số, tên riêng, từ viết tắt); gán xác suất gióng hàng bằng 1 cho cặp từ neo và triệt tiêu (gán bằng 0) xác suất gióng hàng của các từ này với các từ khác trong câu.
  2. Ràng buộc về vị trí của từ (Word position constraint): Giả định các từ tương ứng giữa hai ngôn ngữ có xu hướng xuất hiện ở các vị trí tương đối gần nhau. Thiết lập ngưỡng khoảng cách $\delta$; từ ở vị trí đích $j$ chỉ được gióng hàng với các từ ở vị trí nguồn $i \in [j - \delta, j + \delta]$.
  3. Ràng buộc về từ loại (POS constraint): Xây dựng bảng xác suất tương ứng nhãn từ loại giữa tiếng Anh và tiếng Việt; triệt tiêu xác suất dịch giữa các cặp từ có nhãn từ loại không tương thích.
  4. Ràng buộc về cụm từ (Phrase constraint): Sử dụng 13 mẫu cú pháp song ngữ Anh – Việt được định nghĩa trước để giới hạn không gian gióng hàng trong phạm vi ranh giới cụm từ.
Loại ràng buộc trong Mô hình IBM 1 Cơ chế tác động trong thuật toán EM Mục tiêu cải tiến
Ràng buộc neo Khóa cứng các điểm neo ($P=1$), gán xác suất 0 cho liên kết chéo Loại bỏ các gióng hàng sai của thực thể xác định
Ràng buộc vị trí ($\delta$) Giới hạn khoảng cách vị trí $[j-\delta, j+\delta]$ Giảm không gian tìm kiếm, loại bỏ liên kết quá xa
Ràng buộc từ loại (POS) Dựa trên phân phối xác suất nhãn POS tương ứng Loại bỏ các cặp từ không tương thích mặt ngữ pháp
Ràng buộc cụm từ Áp dụng 13 mẫu cú pháp song ngữ Anh – Việt Đảm bảo tính toàn vẹn ngữ cảnh của cụm từ
Kết hợp ràng buộc Tích hợp đồng thời vị trí và từ loại vào bước E của EM Tối ưu hóa độ chính xác gióng hàng từ

Thực nghiệm trên tập ngữ liệu 200.000 câu song ngữ Anh – Việt chứng minh việc tích hợp các ràng buộc giúp giảm tỷ lệ lỗi gióng hàng từ (AER) và nâng cao điểm BLEU của hệ thống SMT so với mô hình IBM 1 gốc và công cụ GIZA++.

Chương 4: Xác định cụm từ song ngữ cho dịch máy thống kê

Chương 4 trình bày phương pháp rút trích các cụm từ song ngữ nhằm khắc phục hạn chế của phương pháp so khớp cú pháp hai phía truyền thống.

Quy trình rút trích đề xuất:

  1. Phân tích cú pháp phía ngôn ngữ nguồn: Áp dụng 10 mẫu cú pháp tiếng Anh xác định để trích xuất các ứng viên cụm từ nguồn.
  2. Tìm cụm từ đích qua gióng hàng: Dựa trên kết quả gióng hàng từ đã có, xác định cụm từ tiếng Việt tương ứng ở câu đích bao phủ các từ được gióng hàng với cụm từ nguồn.
  3. Lọc theo ngưỡng tin cậy: Tính toán điểm xác suất dịch cụm từ và chỉ giữ lại các cụm từ có độ tin cậy vượt ngưỡng $\theta$.
  4. Tích hợp vào SMT: Bổ sung bảng cụm từ song ngữ trích xuất được vào bảng cụm từ (phrase table) của hệ thống dịch máy thống kê dựa trên cụm từ (Moses).
Thông số / Thành phần Giá trị / Nội dung trong thực nghiệm
Số lượng mẫu cú pháp sử dụng 10 mẫu cú pháp song ngữ Anh – Việt
Kích thước ngữ liệu huấn luyện 200.000 câu song ngữ Anh – Việt
Tiêu chí lọc cụm từ Ngưỡng xác suất $\theta$
Kết quả so sánh phương pháp Số lượng cụm từ rút trích vượt trội so với phương pháp so khớp mẫu hai phía
Tác động đến chất lượng dịch Tăng điểm BLEU của hệ thống SMT Anh – Việt khi tích hợp cụm từ

Kết quả và những đóng góp mới

Đóng góp về mặt lý luận và phương pháp

  1. Đề xuất khung phương pháp kết hợp đặc trưng nội dung (cognate, phân đoạn dịch) và đặc trưng cấu trúc trang web trong bài toán phân loại học máy SVM để rút trích văn bản song ngữ từ Web.
  2. Đề xuất phương pháp tích hợp hình thức và tổng quát các loại ràng buộc ngôn ngữ (neo, vị trí, từ loại, cụm từ) vào thuật toán Cực đại kỳ vọng (EM) trong quá trình ước lượng tham số của mô hình gióng hàng IBM 1.
  3. Đề xuất quy trình rút trích cụm từ song ngữ bất đối xứng: so khớp mẫu cú pháp ở phía câu nguồn kết hợp gióng hàng cụm từ ở phía câu đích, giải quyết hạn chế nghèo nàn số lượng của phương pháp so khớp cú pháp hai phía.

Đóng góp về mặt thực tiễn

  1. Xây dựng quy trình tự động thu thập và tiền xử lý dữ liệu song ngữ từ các website tin tức và sách điện tử, tạo nguồn ngữ liệu song ngữ Anh – Việt phục vụ cộng đồng nghiên cứu xử lý ngôn ngữ tự nhiên.
  2. Cải thiện độ chính xác gióng hàng từ và nâng cao điểm BLEU của hệ thống dịch máy thống kê Anh – Việt khi ứng dụng các mô hình cải tiến.
  3. Các kết quả nghiên cứu trong luận án được công bố qua 8 công trình khoa học có phản biện (gồm 1 bài báo tạp chí quốc tế IGI Global - IJKSS 2014; 4 bài kỷ yếu hội thảo quốc tế IEEE/Springer: KSE 2010, KSE 2013, IALP 2012, RIVF 2013; 2 bài kỷ yếu hội thảo quốc gia 2012, 2013; 1 bài báo tạp chí Trường ĐH Quy Nhơn 2014).

Kiến nghị và giải pháp đề xuất

  • Ứng dụng quy trình khai thác ngữ liệu từ Web và ebook để liên tục mở rộng kho ngữ liệu song ngữ cho các cặp ngôn ngữ nghèo tài nguyên.
  • Áp dụng các kỹ thuật ràng buộc ngôn ngữ vào các mô hình gióng hàng từ bậc cao hơn (như IBM 2, 3, 4, 5) hoặc các kiến trúc dịch máy khác.

Hạn chế và hướng nghiên cứu tiếp

Dựa trên nội dung và phạm vi nghiên cứu được trình bày trong văn bản luận án:

Hạn chế

  • Các nghiên cứu cải tiến ràng buộc chủ yếu tập trung triển khai và đánh giá trên mô hình nền tảng là IBM Model 1.
  • Việc rút trích cụm từ song ngữ còn phụ thuộc vào tập mẫu cú pháp định sẵn (10 mẫu) và độ chính xác của các công cụ gán nhãn từ loại/phân tích cú pháp tiếng Anh.
  • Nguồn dữ liệu thực nghiệm giới hạn trong phạm vi các trang tin tức (BBC, VOA, VietnamPlus) và sách điện tử tiếng Anh – Việt.

Hướng nghiên cứu tiếp

  • Mở rộng việc tích hợp các ràng buộc ngôn ngữ học vào các mô hình gióng hàng từ phức tạp hơn (mô hình HMM, các mô hình IBM bậc cao).
  • Tự động hóa quá trình sinh các mẫu cú pháp song ngữ thay vì định nghĩa thủ công.
  • Áp dụng phương pháp luận của luận án cho các cặp ngôn ngữ khác có cấu trúc tương tự (như Nhật – Việt, Trung – Việt).

Giá trị tham khảo

Luận án mang lại giá trị tham khảo khoa học và ứng dụng thực tiễn cho nhiều đối tượng:

  • Nghiên cứu sinh, học viên cao học và nhà nghiên cứu ngành Khoa học máy tính, Xử lý ngôn ngữ tự nhiên: Tham khảo phương pháp toán học mô hình hóa thuật toán EM có ràng buộc, kỹ thuật trích xuất đặc trưng nội dung/cấu trúc từ dữ liệu Web, và phương pháp trích xuất cụm từ song ngữ.
  • Giảng viên đại học chuyên ngành Công nghệ thông tin: Sử dụng các chương tổng quan (Chương 1) và cơ sở lý thuyết dịch máy thống kê làm tài liệu giảng dạy chuyên đề dịch máy, khai phá văn bản và ngôn ngữ học tính toán.
  • Kỹ sư phát triển phần mềm và các tổ chức phát triển công cụ dịch thuật: Ứng dụng mã nguồn, giải thuật xây dựng ngữ liệu tự động từ Web/ebook và phương pháp cải tiến chất lượng dịch máy cho cặp ngôn ngữ Anh – Việt.

Câu hỏi thường gặp

1. Luận án sử dụng những công cụ và nguồn dữ liệu cụ thể nào để rút trích văn bản song ngữ từ Web?

Tác giả sử dụng công cụ Teleport-Pro làm crawler tải dữ liệu HTML từ ba website: BBC, VOA News và VietnamPlus. Quá trình phân loại cặp trang song ngữ sử dụng công cụ LIBSVM trên tập đặc trưng kết hợp giữa nội dung (cognate, phân đoạn dịch) và cấu trúc HTML.

2. Công thức tính độ tương tự từ bất biến (cognate) giữa hai văn bản được định nghĩa như thế nào?

Độ tương tự cognate giữa văn bản tiếng Anh ($E_{text}$) và văn bản tiếng Việt ($V_{text}$) được tính theo công thức: $$sim_{cognate}(E_{text}, V_{text}) = \frac{|T_E \cap T_V|}{|T_E|}$$ Trong đó $T_E$ và $T_V$ lần lượt là tập hợp các từ cognate (chữ số, từ viết tắt, tên riêng, tên quốc gia) xuất hiện trong $E_{text}$ và $V_{text}$.

3. Bốn loại ràng buộc được tác giả tích hợp vào mô hình IBM 1 để gióng hàng từ là gì?

Bốn loại ràng buộc bao gồm:

  1. Ràng buộc neo: Cố định gióng hàng cho các thực thể chắc chắn đúng ($P=1$) và gán $P=0$ cho các liên kết khác.
  2. Ràng buộc về vị trí của từ: Giới hạn vị trí gióng hàng trong khoảng cách ngưỡng $\delta$.
  3. Ràng buộc về từ loại (POS): Dựa trên ma trận xác suất tương ứng nhãn POS Anh – Việt.
  4. Ràng buộc về cụm từ: Sử dụng 13 mẫu cú pháp song ngữ Anh – Việt để gom cụm gióng hàng.

4. Điểm khác biệt trong phương pháp rút trích cụm từ song ngữ của luận án so với các nghiên cứu trước là gì?

Các nghiên cứu trước thực hiện so khớp mẫu cú pháp ở cả hai phía (câu nguồn và câu đích), dẫn đến số lượng cụm từ rút trích được rất hạn chế. Luận án đề xuất giải pháp chỉ so khớp mẫu cú pháp ở phía câu nguồn (sử dụng 10 mẫu cú pháp tiếng Anh), sau đó xác định cụm từ tiếng Việt tương ứng ở câu đích thông qua kết quả gióng hàng từ và lọc lại bằng ngưỡng xác suất $\theta$.

Kết luận

Luận án tiến sĩ của Lê Quang Hùng đã giải quyết có hệ thống ba bài toán trọng tâm trong dịch máy thống kê Anh – Việt: xây dựng ngữ liệu song ngữ tự động từ Web và sách điện tử, cải tiến mô hình gióng hàng từ IBM 1 bằng các ràng buộc ngôn ngữ học tích hợp vào thuật toán EM, và trích xuất cụm từ song ngữ dựa trên mẫu cú pháp kết hợp gióng hàng. Các đóng góp lý thuyết và thực nghiệm của luận án đã được công bố trên 8 công trình khoa học chuyên ngành trong nước và quốc tế. Kết quả nghiên cứu cung cấp cơ sở phương pháp luận và giải pháp kỹ thuật góp phần nâng cao chất lượng ngữ liệu và hiệu năng của các hệ thống dịch máy thống kê Anh – Việt.