Luận án tiến sĩ nghiên cứu việc xây dựng chuẩn hóa và khai thác kho ngữ liệu từ nguồn internet cho xử lý tiếng việt

Luận án tiến sĩ kỹ thuật phân tích nghiên cứu việc xây dựng chuẩn hóa và khai thác kho ngữ liệu từ nguồn internet cho xử lý tiếng việt, xây dựng cơ sở lý luận, kiểm chứng thực

• Tác giả: Phan Thị Hà
• Người hướng dẫn: TS. Trần Hồng Quân
• Trường học: Học viện Công nghệ Bưu chính Viễn thông
• Chuyên ngành: Truyền dữ liệu và mạng máy tính
• Đề tài: Xây dựng và khai thác kho ngữ liệu chuẩn hóa từ internet cho xử lý tiếng Việt
• Loại tài liệu: luận án tiến sĩ
• Năm xuất bản: 2014
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• MỤC LỤC
• 1. CHƯƠNG 1: TỔNG QUAN VỀ KHO NGỮ LIỆU
• 1.1. Kho ngữ liệu văn bản
• 1.2. Xây dựng, chuẩn hóa và khai thác kho ngữ liệu
• 1.2.1. Thu thập kho ngữ liệu văn bản
• 1.2.2. Chú giải ngôn ngữ và vấn đề chuẩn hóa
• 1.2.3. Khai thác kho ngữ liệu
• 1.3. Kho ngữ liệu tiếng Việt
• 1.4. Các vấn đề được nghiên cứu trong luận án
• 1.5. Kết chương
• 2. CHƯƠNG 2: XÂY DỰNG KHO NGỮ LIỆU THÔ TỪ INTERNET
• 2.1. Xây dựng kho ngữ liệu thô tiếng Việt
• 2.1.1. Lựa chọn danh sách từ hạt giống
• 2.1.2. Thu thập địa chỉ URL
• 2.1.3. Lọc nội dung chính của các trang web (URLs)
• 2.1.4. Phát hiện sự trùng lặp gần nhau
• 2.1.5. Xây dựng công cụ và kết quả thu thập kho ngữ liệu
• 2.2. Kết chương
• 3. CHƯƠNG 3: CHUẨN HÓA MÔ HÌNH CHÚ GIẢI TIẾNG VIỆT
• 3.1. Mô hình MAF của ISO/TC 37/SC 4
• 3.2. Mô hình SynAF của ISO/TC 37/SC 4
• 3.3. Chuẩn hóa theo mô hình MAF cho tiếng Việt
• 3.3.1. Xác định đơn vị cơ sở (segment)
• 3.3.2. Hình thái từ (Wordform)
• 3.3.3. Nội dung hình thái cú pháp
• 3.4. Chuẩn hóa theo mô hình SynAF cho tiếng Việt
• 3.5. Kết chương
• 4. CHƯƠNG 4: KHAI THÁC KHO NGỮ LIỆU THÔ CHO NGHIÊN CỨU TỪ VỰNG TIẾNG VIỆT
• 4.1. Nghiên cứu từ vựng
• 4.2. Xây dựng ngữ liệu tiếng Việt cho Sketch Engine
• 4.2.1. Tách từ và gán nhãn từ loại
• 4.2.2. Xây dựng bộ quan hệ ngữ pháp tiếng Việt
• 4.2.3. Triển khai hệ thống Sketch Engine cho tiếng Việt
• 4.2.4. Đánh giá bộ quan hệ ngữ pháp tiếng Việt
• 4.3. Kết chương
• 5. CHƯƠNG 5: KHAI THÁC KHO NGỮ LIỆU CÓ CHÚ GIẢI CHO PHÂN TÍCH CÚ PHÁP TIẾNG VIỆT
• 5.1. Văn phạm hình thức
• 5.1.1. Khái niệm chung về văn phạm
• 5.1.2. Văn phạm phi ngữ cảnh (Context Free Grammar - CFG)
• 5.1.3. Văn phạm kết nối cây (Tree Adjoining Grammar – TAG)
• 5.2. Trích rút tự động văn phạm CFG cho tiếng Việt
• 5.2.1. Thuật toán trích rút từ VietTreebank
• 5.2.2. Phân tích cú pháp tiếng Việt với văn phạm PCFG
• 5.2.3. Thử nghiệm và đánh giá
• 5.2.4. Nhược điểm của văn phạm PCFG trong phân tích ngữ pháp
• 5.3. Trích rút tự động văn phạm LTAG cho tiếng Việt
• 5.3.1. Thuật toán trích rút từ VietTreebank
• 5.3.2. Xây dựng thuật toán trích rút từ từ điển tiếng Việt
• 5.3.3. So sánh, đánh giá tập cây khởi tạo trích rút từ VietTreebank và từ điển
• 5.4. Kết chương
• DANH MỤC CÁC CÔNG TRÌNH KHOA HỌC CỦA NGHIÊN CỨU SINH LIÊN QUAN ĐẾN LUẬN ÁN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về kho ngữ liệu

Chương này giới thiệu khái niệm về kho ngữ liệu và các phương pháp xây dựng, chuẩn hóa, khai thác kho ngữ liệu. Các kho ngữ liệu đã chú giải từ loại và cú pháp trên thế giới được trình bày, cùng với các chuẩn hóa mô hình chú giải được phát triển bởi ISO/TC 37/SC 4. Mục tiêu của luận án là xây dựng và khai thác kho ngữ liệu từ Internet cho xử lý tiếng Việt, tập trung vào các mức hình thái và cú pháp.

1.1. Khái niệm kho ngữ liệu

Kho ngữ liệu là tập hợp các văn bản được thu thập và tổ chức để phục vụ nghiên cứu ngôn ngữ học và xử lý ngôn ngữ tự nhiên (NLP). Các kho ngữ liệu có thể được chú giải ở nhiều mức độ khác nhau, từ từ loại đến cú pháp và ngữ nghĩa. Việc xây dựng kho ngữ liệu đòi hỏi quy trình thu thập, chuẩn hóa và chú giải dữ liệu một cách hệ thống.

1.2. Chuẩn hóa mô hình chú giải

Các mô hình chú giải như MAF (Morphosyntactic Annotation Framework) và SynAF (Syntactic Annotation Framework) được phát triển bởi ISO/TC 37/SC 4 nhằm chuẩn hóa quy trình chú giải ngôn ngữ. Các mô hình này giúp đảm bảo tính nhất quán và khả năng tương thích giữa các kho ngữ liệu khác nhau, đặc biệt là trong việc xử lý ngôn ngữ tự nhiên.

II. Xây dựng kho ngữ liệu thô từ Internet

Chương này tập trung vào việc xây dựng kho ngữ liệu thô tiếng Việt từ Internet. Quy trình bao gồm lựa chọn danh sách từ hạt giống, thu thập địa chỉ URL, lọc nội dung chính từ các trang web, và phát hiện sự trùng lặp. Công cụ Vncopus được phát triển để tự động hóa quá trình thu thập và xử lý dữ liệu.

2.1. Thu thập dữ liệu từ web

Quy trình thu thập dữ liệu từ Internet bao gồm việc lựa chọn các trang web phù hợp, trích xuất nội dung chính, và loại bỏ các phần không cần thiết. Các thuật toán được áp dụng để đảm bảo tính chính xác và hiệu quả trong việc thu thập dữ liệu.

2.2. Xử lý và chuẩn hóa dữ liệu

Sau khi thu thập, dữ liệu được xử lý để loại bỏ các phần trùng lặp và chuẩn hóa định dạng. Các công cụ tự động được sử dụng để gán nhãn từ loại và chuẩn bị dữ liệu cho các bước chú giải tiếp theo.

III. Chuẩn hóa mô hình chú giải tiếng Việt

Chương này nghiên cứu và triển khai các mô hình chú giải MAF và SynAF cho tiếng Việt. Các mô hình này được áp dụng để chuẩn hóa quy trình chú giải hình thái và cú pháp, đảm bảo tính nhất quán và khả năng tương thích với các kho ngữ liệu quốc tế.

3.1. Mô hình MAF cho tiếng Việt

Mô hình MAF được áp dụng để chú giải hình thái từ và cú pháp trong tiếng Việt. Quy trình bao gồm xác định đơn vị cơ sở, hình thái từ, và nội dung hình thái cú pháp. Mô hình này giúp chuẩn hóa dữ liệu ngôn ngữ và tạo điều kiện cho việc phân tích sâu hơn.

3.2. Mô hình SynAF cho tiếng Việt

Mô hình SynAF tập trung vào chú giải cú pháp, bao gồm việc xác định các quan hệ ngữ pháp và cấu trúc câu. Mô hình này được triển khai để hỗ trợ phân tích cú pháp tiếng Việt và phát triển các công cụ xử lý ngôn ngữ tự nhiên.

IV. Khai thác kho ngữ liệu thô cho nghiên cứu từ vựng tiếng Việt

Chương này trình bày việc khai thác kho ngữ liệu thô để nghiên cứu từ vựng tiếng Việt. Hệ thống Sketch Engine được sử dụng để phân tích ngữ cảnh và hành vi của các từ, hỗ trợ nghiên cứu từ vựng và phát triển các công cụ ngôn ngữ học.

4.1. Tách từ và gán nhãn từ loại

Quy trình tách từ và gán nhãn từ loại được thực hiện để chuẩn bị dữ liệu cho việc phân tích từ vựng. Các công cụ tự động được sử dụng để đảm bảo tính chính xác và hiệu quả trong quá trình này.

4.2. Xây dựng bộ quan hệ ngữ pháp

Bộ quan hệ ngữ pháp tiếng Việt được xây dựng để hỗ trợ phân tích cú pháp và nghiên cứu từ vựng. Các quan hệ ngữ pháp được biểu diễn thông qua ngôn ngữ truy vấn, cho phép khai thác sâu hơn vào cấu trúc ngôn ngữ.

V. Khai thác kho ngữ liệu có chú giải cho phân tích cú pháp tiếng Việt

Chương này tập trung vào việc khai thác kho ngữ liệu đã chú giải cú pháp để phân tích cú pháp tiếng Việt. Các thuật toán trích rút tự động văn phạm PCFG và TAG được phát triển để hỗ trợ phân tích cú pháp và cải thiện độ chính xác của các mô hình xử lý ngôn ngữ tự nhiên.

5.1. Trích rút văn phạm PCFG

Thuật toán trích rút văn phạm PCFG từ kho ngữ liệu đã chú giải được phát triển để hỗ trợ phân tích cú pháp tiếng Việt. Các luật văn phạm được trích rút tự động và sử dụng trong các mô hình thống kê để cải thiện độ chính xác.

5.2. Trích rút văn phạm TAG

Thuật toán trích rút văn phạm TAG từ kho ngữ liệu và từ điển tiếng Việt được phát triển để hỗ trợ phân tích cú pháp. Các cây cơ bản được trích rút và so sánh để đánh giá độ chính xác và hiệu quả của các mô hình.

Nội dung chính

Tổng quan luận án

Luận án tiến sĩ chuyên ngành Truyền dữ liệu và mạng máy tính (mã số: 62.01) của nghiên cứu sinh Phan Thị Hà, được thực hiện tại Học viện Công nghệ Bưu chính Viễn thông năm 2014 dưới sự hướng dẫn của PGS.TS. Trần Hồng Quân và TS. Nguyễn Thị Minh Huyền, mang tiêu đề: "Nghiên cứu việc xây dựng, chuẩn hóa và khai thác kho ngữ liệu từ nguồn Internet cho xử lý tiếng Việt".

Tính cấp thiết và khoảng trống nghiên cứu

Xử lý ngôn ngữ tự nhiên (XLNNTN) là lĩnh vực then chốt với nhiều ứng dụng trên Internet như trích chọn thông tin, khai phá văn bản, Web ngữ nghĩa và tóm tắt tự động. Quá trình phân tích và hiểu tự động văn bản bao gồm các cấp độ: ngữ âm, hình thái, cú pháp, ngữ nghĩa, ngữ dụng và diễn ngôn. Để huấn luyện các mô hình xử lý ngôn ngữ, kho ngữ liệu (corpus) đóng vai trò là cơ sở tri thức nền tảng.

Tại Việt Nam, các nghiên cứu XLNNTN trước đây chủ yếu tập trung vào sản phẩm ứng dụng cuối, chưa đầu tư tương xứng cho hạ tầng tài nguyên và công cụ cơ sở như từ điển máy tính và kho ngữ liệu. Các kho ngữ liệu tiếng Việt thuộc đề tài cấp nhà nước KC01.01/06-10 được xây dựng thủ công hoặc bán thủ công nên quy mô còn hạn chế, chủ yếu chỉ đáp ứng việc huấn luyện các mô hình học máy có giám sát. Để phục vụ các mô hình học bán giám sát (semi-supervised learning) và nghiên cứu ngôn ngữ học sâu rộng, việc xây dựng kho ngữ liệu quy mô lớn từ nguồn Internet là một đòi hỏi cấp thiết. Đồng thời, ngữ liệu cần được chuẩn hóa theo các tiêu chuẩn quốc tế của Tổ chức Tiêu chuẩn hóa Quốc tế (ISO) nhằm bảo đảm khả năng phân phối, chia sẻ, mở rộng và đối sánh ngôn ngữ.

Mục tiêu nghiên cứu

Mục tiêu tổng quát của luận án là xây dựng, chuẩn hóa và khai thác kho ngữ liệu tiếng Việt quy mô lớn từ nguồn Internet. Luận án xác định 4 mục tiêu cụ thể:

1. Xây dựng kho ngữ liệu thô tiếng Việt có kích thước lớn từ nguồn Internet.
2. Xây dựng và chuẩn hóa mô hình chú giải ngôn ngữ cho tiếng Việt theo tiêu chuẩn quốc tế.
3. Khai thác kho ngữ liệu thô phục vụ nghiên cứu từ vựng tiếng Việt trên hệ thống truy vấn chuyên dụng.
4. Khai thác kho ngữ liệu đã chú giải cú pháp phục vụ bài toán phân tích cú pháp tiếng Việt dựa trên các hệ hình thức văn phạm.

Đối tượng và phạm vi nghiên cứu

• Đối tượng nghiên cứu: Kho ngữ liệu văn bản tiếng Việt (dạng thô và dạng đã chú giải ngôn ngữ); các mô hình chuẩn hóa chú giải ngôn ngữ quốc tế (MAF, SynAF); các thuật toán thu thập dữ liệu web, trích rút nội dung chính, phát hiện trùng lặp văn bản; các hệ hình thức văn phạm phi ngữ cảnh xác suất (PCFG) và văn phạm kết nối cây từ vựng hóa (LTAG).
• Phạm vi nghiên cứu: Luận án tập trung vào hai mức xử lý là mức hình thái từ và mức cú pháp trong phân tích văn bản tiếng Việt. Nguồn ngữ liệu thô được thu thập từ các trang web tin tức tiếng Việt trên Internet. Dữ liệu ngữ liệu có chú giải và từ điển được kế thừa từ kết quả của Đề tài KC01.01/06-10 (ngân hàng cây cú pháp VietTreebank và từ điển tiếng Việt dùng cho máy tính).

---

Tổng quan tài liệu và vị trí của luận án

Các hướng nghiên cứu trước được điểm lại

Luận án đã hệ thống hóa lịch sử phát triển của lĩnh vực XLNNTN trên thế giới qua các giai đoạn:

• Giai đoạn 1940–1950: Ứng dụng mô hình ôtomat và mô hình xác suất.
• Giai đoạn 1957–1970: Phân tách thành hai nhánh: hình thức (lý thuyết ngôn ngữ hình thức, trí tuệ nhân tạo) và ngẫu nhiên (phương pháp Bayes).
• Giai đoạn 1970–1983: Bốn trường phái chính gồm ngẫu nhiên, dựa trên logic, hiểu ngôn ngữ tự nhiên và mô hình hóa diễn ngôn.
• Giai đoạn 1983–1993: Huấn luyện các mô hình trạng thái hữu hạn và mô hình xác suất dựa trên dữ liệu.
• Từ 1990 đến nay: Thống trị của các mô hình thống kê học máy dựa trên kho ngữ liệu quy mô lớn, tiêu biểu là mô hình Entropy cực đại (MEMM), Trường ngẫu nhiên có điều kiện (CRF) theo nghiên cứu của Lafferty và cộng sự (2001).

Về xây dựng kho ngữ liệu, tác giả điểm lại các kho ngữ liệu quốc tế:

• Brown Corpus (Henry Kucera và W. Nelson Francis, thập niên 1960) gồm 500 văn bản tiếng Anh Mỹ với 1.312.000 từ được gán nhãn từ loại.
• British National Corpus (BNC, 1991–1994) quy mô 100 triệu từ (90% văn bản viết).
• American National Corpus (ANC) với 22 triệu từ, xây dựng theo chuẩn ISO/TC 37/SC 4, định dạng XCES và GrAF.
• Corpus of Contemporary American English (COCA) với hơn 425 triệu từ (1990–2011).
• Penn Treebank (1989–1996) với 7 triệu từ gán nhãn POS, 3 triệu từ phân tích cú pháp.
• TIGER Treebank tiếng Đức (khoảng 900.000 từ, 50.000 câu) trên báo Frankfurter Rundschau.
• Chinese Treebank (LDC, khởi đầu từ Đại học Pennsylvania năm 1998) với 1 triệu từ chú giải cú pháp.
• Kho ngữ liệu song ngữ EuroMatrix và Canadian Hansard (2,8 triệu cặp câu).
• Dự án WaCky với các kho ngữ liệu ukWaC (tiếng Anh), deWaC (tiếng Đức), itWaC (tiếng Ý) có quy mô trên 1 tỷ từ mỗi ngôn ngữ được thu thập từ Internet.

Về phương pháp luận thu thập và xử lý văn bản web:

• Grefenstette và Nioche (2000), Keller và Lapata (2003) chứng minh tính hợp lệ và tiềm năng của việc khai thác ngữ liệu Web.
• Phương pháp thu thập ngữ liệu web của Baroni, Kilgarriff, Sharoff (2006, 2010).
• Thuật toán trích xuất nội dung văn bản thân BTE (Body Text Extraction) của Aidan Finn (2001).
• Thuật toán phát hiện trùng lặp văn bản dựa trên độ đo tương đồng và kỹ thuật shingle của Andrei Broder (1997).
• Kỹ thuật học bán giám sát (Semi-supervised learning) tích hợp dữ liệu chưa gán nhãn quy mô lớn của Ando & Zhang (2005), Li & McCallum (2005), Suzuki & Isozaki (2008), Isozaki và cộng sự (2009).

Về nghiên cứu từ vựng và hệ thống truy vấn:

• John Sinclair (thập niên 1980) với dự án COBUILD.
• Church và Hanks (1990) đề xuất sử dụng thông tin tương hỗ (Mutual Information) đo tính trội (salience) của các từ đồng xuất hiện.
• Adam Kilgarriff phát triển hệ thống truy vấn Sketch Engine.

Về phân tích cú pháp và trích rút văn phạm:

• Noam Chomsky (1956) đề xuất văn phạm phi ngữ cảnh (CFG).
• Aravind Joshi và cộng sự (1975, 1997) phát triển văn phạm kết nối cây (TAG) và văn phạm kết nối cây từ vựng hóa (LTAG).
• Các thuật toán trích rút luật văn phạm tự động từ Treebank của Charniak (1996), Krotov (1998), Xia (1999, 2001), Chen (2001).
• Thuật toán phân tích cú pháp thống kê PCYK của Daniel Jurafsky và James H. Martin (2008).

Tại Việt Nam:

• Đánh giá hiện trạng của Hồ Tú Bảo và Lương Chi Mai (2004).
• Kết quả Đề tài KC01.01/06-10 xây dựng từ điển tiếng Việt 35.000 mục từ (41.700 nghĩa), kho ngữ liệu tách từ 69.409 câu, kho ngữ liệu gán nhãn từ loại 10.455 câu, và VietTreebank 10.268 câu.
• Trung tâm Từ điển học VietLex xây dựng kho ngữ liệu 80 triệu âm tiết (từ năm 1981).
• Nghiên cứu tách từ và gán nhãn của Nguyễn Thị Minh Huyền (2006, 2008), Phan Xuân Hiếu (2006), Lê Hồng Phương (2008) với VnTokenizer và vnTagger.
• Nghiên cứu ngữ pháp tiếng Việt của Vũ Dũng (2006), Cao Xuân Hạo (1991).

Khoảng trống luận án lựa chọn giải quyết

Các công trình tại Việt Nam trước năm 2014 tồn tại các khoảng trống kỹ thuật:

1. Thiếu một quy trình và công cụ tự động thu thập kho ngữ liệu thô tiếng Việt quy mô lớn (trên 100 triệu từ) từ Web có khả năng lọc sạch mã HTML phức tạp và khử trùng lặp hiệu quả.
2. Chưa triển khai các mô hình chuẩn hóa quốc tế của tiểu ban ISO/TC 37/SC 4 (MAF và SynAF) cho các tầng chú giải hình thái và cú pháp tiếng Việt.
3. Chưa có hệ thống nghiên cứu từ vựng thống kê tự động dạng Sketch Engine cho tiếng Việt dựa trên bộ quan hệ ngữ pháp hình thức.
4. Thiếu các thuật toán và công cụ tự động trích rút tập luật văn phạm PCFG và tập cây cơ bản LTAG từ ngân hàng cây cú pháp VietTreebank và từ điển máy tính tiếng Việt phục vụ bộ phân tích cú pháp tự động.

---

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết và khái niệm sử dụng

• Khung chuẩn hóa quản lý tài nguyên ngôn ngữ ISO/TC 37/SC 4:
  • Mô hình chú giải hình thái cú pháp MAF (Morphosyntactic Annotation Framework - ISO 24611).
  • Mô hình chú giải cú pháp SynAF (Syntactic Annotation Framework - ISO 24615).
  • Danh mục phân loại dữ liệu chuẩn ISO 12620 (Data Category Registry).
• Lý thuyết văn phạm hình thức:
  • Văn phạm phi ngữ cảnh kết hợp xác suất (PCFG): Bộ luật cú pháp dạng $A \rightarrow \alpha$ kèm xác suất $P(A \rightarrow \alpha)$.
  • Văn phạm kết nối cây từ vựng hóa (LTAG): Gồm tập cây khởi tạo (initial trees / spine biểu diễn quan hệ đối - vị từ) và tập cây phụ trợ (auxiliary trees biểu diễn quan hệ phụ thuộc/đẳng lập) kết hợp qua hai phép toán: phép thế (substitution) và phép kết nối (adjoining).
• Lý thuyết thống kê từ vựng: Đo tính trội (salience) dựa trên thông tin tương hỗ (Mutual Information) giữa hai từ trong cửa sổ lân cận để xây dựng ngữ đồ (word sketches).
• Lý thuyết phát hiện trùng lặp gần (Near-duplicate detection): Định nghĩa của Andrei Broder (1997) về tập hợp con $w$-shingle $S(D, w)$ của tài liệu $D$. Độ đo tương đồng (resemblance) $r(A, B)$ và độ đo không giống nhau $d(A, B)$: $$r(A, B) = \frac{|S(A, w) \cap S(B, w)|}{|S(A, w) \cup S(B, w)|}$$ $$d(A, B) = 1 - r(A, B)$$

Phương pháp nghiên cứu thực tế

• Thu thập ngữ liệu Web: Xây dựng danh sách 5.000 từ hạt giống từ Wikipedia tiếng Việt; sinh truy vấn ngẫu nhiên độ dài $n = 4$ ($O(n^2)$); gửi truy vấn tới máy tìm kiếm Bing lấy 10 URL đầu tiên; sắp xếp và loại trùng lặp URL bằng thuật toán HeapSort ($O(n \log n)$).
• Trích xuất nội dung văn bản (BTE cải tiến): Cải tiến thuật toán Body Text Extraction của Aidan Finn:
  • Bước 0: Loại bỏ các thẻ mã nguồn không chứa nội dung (<script>, <style>, <input>, <img>, <marquee>, các thẻ chú thích, nội dung ngoài cặp thẻ <body></body>).
  • Bước 1: Chuyển đổi mã HTML thành mảng nhị phân binary_tokens[] (thẻ HTML gán giá trị 1, từ văn bản gán giá trị -1), sau đó gộp các phần tử liền kề giống nhau thành mảng encode[] ($O(n)$).
  • Bước 2: Tìm kiếm hai chỉ số $i, j$ tối ưu hóa tổng số phần tử -1 trong đoạn $[i, j]$ và phần tử 1 ngoài đoạn $[i, j]$ ($O(n^2)$) để trích xuất thân văn bản.
• Khử trùng lặp văn bản: Sử dụng mô-đun Text::DeDuper (Perl) dựa trên mô hình 5-gram, ngưỡng tương đồng 0.2, áp dụng kỹ thuật cửa sổ trượt (500 tệp cố định trong bộ nhớ).
• Chuẩn hóa chú giải: Ánh xạ tập nhãn từ loại và nhãn cú pháp của VietTreebank sang danh mục ISO 12620, thiết kế cấu trúc biểu diễn XML theo MAF và SynAF.
• Phân tích từ vựng: Tách từ bằng VnTokenizer, gán nhãn từ loại bằng vnTagger, thiết kế 37 mẫu truy vấn quan hệ ngữ pháp tiếng Việt bằng biểu thức chính quy (regular expressions) tích hợp vào hệ thống Manatee/Sketch Engine.
• Trích rút văn phạm và phân tích cú pháp: Trích rút luật PCFG từ VietTreebank; cải tiến thuật toán phân tích cú pháp PCYK của Martin (gán xác suất từ loại đầu vào bằng 1); phát triển thuật toán trích rút tập cây cơ bản LTAG từ VietTreebank và từ điển tiếng Việt; đánh giá đối sánh tập cây.

Nguồn tư liệu và dữ liệu thực nghiệm

• Dữ liệu Wikipedia tiếng Việt dạng nén XML (426 MB), giải nén (750 MB), lọc các tệp > 10 KB thu 57 MB văn bản thô (6,8 triệu âm tiết).
• Dữ liệu web thu thập tự động từ Internet qua Bing API (188.325 URL, thu được 100 triệu từ ~ 1,09 GB văn bản thô).
• Ngân hàng cây cú pháp VietTreebank (10.268 câu) và tập ngữ liệu gán nhãn từ loại (10.455 câu) từ báo Tuổi trẻ điện tử.
• Từ điển tiếng Việt dùng cho máy tính gồm 35.000 mục từ (41.700 nghĩa) từ Đề tài KC01.01/06-10.

---

Nội dung chính theo từng chương

Chương 1. Tổng quan về kho ngữ liệu

Chương 1 trình bày cơ sở lý thuyết về kho ngữ liệu văn bản, phân loại kho ngữ liệu đơn ngữ và đa ngữ, đồng thời phân tích vai trò của Web như một nguồn tài nguyên ngôn ngữ khổng lồ. Tác giả khảo sát các kho ngữ liệu quốc tế tiêu chuẩn (Brown, BNC, ANC, COCA, Penn Treebank, TIGER, Chinese Treebank, WaCky) và các mô hình chuẩn hóa của tiểu ban ISO/TC 37/SC 4 (MAF, SynAF, LAF, SemAF).

Chương này tổng kết hiện trạng tài nguyên tiếng Việt tính đến thời điểm nghiên cứu thông qua số liệu từ Đề tài KC01.01/06-10 và trung tâm VietLex:

Kho ngữ liệu	Số câu	Số từ	Số âm tiết
Được tách từ	69.409	—	—
Được gán nhãn từ loại	10.455	—	—
Được gán nhãn cú pháp đầy đủ (VietTreebank)	10.268	—	—
Ngữ liệu làm sạch VietLex (thu thập từ 1981)	—	—	80.000.000

Trên cơ sở đó, chương 1 xác định các nhiệm vụ khoa học trọng tâm của luận án: thu thập kho ngữ liệu thô quy mô lớn từ Web, chuẩn hóa MAF/SynAF cho tiếng Việt, khai thác từ vựng với Sketch Engine, và trích rút văn phạm PCFG/LTAG phục vụ phân tích cú pháp.

Chương 2. Xây dựng kho ngữ liệu thô từ Internet

Chương 2 trình bày chi tiết quy trình 5 bước xây dựng kho ngữ liệu thô tiếng Việt từ Web:

1. Lựa chọn từ hạt giống: Xử lý tệp XML nén Wikipedia tiếng Việt (426 MB), dùng công cụ Wikipedia2text trích xuất 750 MB văn bản thô, lọc bỏ tệp < 10 KB còn 57 MB (6,8 triệu âm tiết). Sử dụng thuật toán khớp tối đa (VnTokenizer) để lập danh sách tần suất từ. Loại bỏ 1.000 từ dừng có tần suất cao nhất, chọn 5.000 từ có tần suất trung bình tiếp theo thỏa mãn điều kiện chứa ít nhất 1 ký tự Unicode ngoài phạm vi ASCII làm từ hạt giống.
2. Sinh truy vấn và thu thập URL: Thiết kế thuật toán sinh ngẫu nhiên truy vấn độ dài $n$. Khảo sát thực nghiệm xác định $n = 4$ là độ dài tối ưu đảm bảo trên 90% truy vấn trả về hơn 10 URL:

Độ dài truy vấn ($n$)	$n = 1$	$n = 2$	$n = 3$	$n = 4$	$n = 5$
Đánh giá kết quả	—	—	—	Độ dài tối ưu	—

Thu thập URL qua máy tìm kiếm Bing (lấy 10 kết quả đầu/truy vấn), dùng HeapSort ($O(n \log n)$) sắp xếp và khử các URL trùng lặp. 3. Lọc nội dung chính (BTE cải tiến): Khảo sát tỷ lệ văn bản và thẻ HTML trên 100 trang web tin tức Việt Nam:

Trang tin tức	Dấu hiệu văn bản trong thân / Dấu hiệu văn bản toàn trang	Thẻ HTML trong thân / Thẻ HTML toàn trang
Vietnamnet	53%	9%
Dantri	55%	10%
Vnexpress	52%	3%

Triển khai thuật toán BTE cải tiến (bổ sung Bước 0 làm sạch mã HTML nâng cao, mã hóa binary_tokens[], nén encode[], tối ưu hóa đoạn $[i, j]$ với độ phức tạp $O(n^2)$). Kết quả so sánh tỷ lệ "thân văn bản cần lấy / toàn bộ văn bản trích rút được" trên 100 tệp thử nghiệm mỗi loại trang:

Loại trang web	Thuật toán BTE cải tiến	Thuật toán BTE của Aidan Finn
Vietnamnet	96%	90%
Dantri	97%	92%
Vnexpress	96%	87%

4. Phát hiện trùng lặp gần: Ứng dụng lý thuyết Broder (1997) và mô-đun Text::DeDuper (Perl) với mô hình 5-gram, ngưỡng tương đồng 0.2, áp dụng cơ chế cửa sổ trượt 500 tệp trong bộ nhớ.
5. Xây dựng công cụ Vncopus và kết quả thu thập: Phát triển công cụ Vncopus (kết hợp Java và Python). Kết quả thực nghiệm thu thập tự động từ Web:

Số từ hạt giống	Độ dài truy vấn	Số lượng truy vấn	Số URL thu được	Dung lượng văn bản thô	Thời gian chạy
5.000	4	25.000	188.325	1,09 GB (~100 triệu từ)	96 giờ

Chương 3. Chuẩn hóa mô hình chú giải tiếng Việt

Chương 3 nghiên cứu hai mô hình chuẩn hóa của tiểu ban ISO/TC 37/SC 4 và đề xuất giải pháp áp dụng cho tiếng Việt:

• Mô hình MAF (Morphosyntactic Annotation Framework): Xây dựng mô hình chú giải mức hình thái - cú pháp cho tiếng Việt. Xác định các đơn vị cơ sở (segment/token), hình thái từ (wordform) và nội dung hình thái cú pháp dựa trên cấu trúc đồ thị luồng từ (word lattice).
• Mô hình SynAF (Syntactic Annotation Framework): Xây dựng mô hình chú giải cú pháp (VnSynAF) biểu diễn cấu trúc cây phân cấp (constituency) và quan hệ phụ thuộc (dependency).
• Đối sánh với danh mục phân loại dữ liệu chuẩn ISO 12620: Thực hiện ánh xạ hệ thống nhãn chú giải tiếng Việt sang định danh chuẩn ISO:
  • Ánh xạ tập nhãn từ loại (POS tags: danh từ, động từ, tính từ, từ chỉ định, số từ, v.v.).
  • Ánh xạ tập nhãn cú pháp thành phần và nhãn phân loại câu (NP, VP, AP, PP, S, v.v.).
  • Ánh xạ tập nhãn chức năng cú pháp (chủ ngữ, vị ngữ, bổ ngữ, trạng ngữ, định ngữ).

Chương 4. Khai thác kho ngữ liệu thô cho nghiên cứu từ vựng tiếng Việt

Chương 4 tập trung khai thác kho ngữ liệu thô 100 triệu từ phục vụ nghiên cứu từ vựng học và biên soạn từ điển:

• Tiền xử lý kho ngữ liệu thô thu thập từ Web bằng công cụ tách từ VnTokenizer và gán nhãn từ loại vnTagger.
• Xây dựng bộ 37 quan hệ ngữ pháp cơ bản cho tiếng Việt, được mô tả hình thức bằng các biểu thức chính quy (regular expressions) trên tập nhãn từ loại (quan hệ danh từ - tính từ bổ nghĩa, động từ - bổ ngữ danh từ, chủ ngữ - vị ngữ, phó từ - vị từ, v.v.).
• Triển khai và tích hợp kho ngữ liệu tiếng Việt cùng bộ 37 quan hệ ngữ pháp vào hệ thống truy vấn Sketch Engine (Manatee engine).
• Đánh giá thử nghiệm hệ thống qua việc tạo các bản phác thảo từ vựng (word sketches), thống kê tần suất, đo tính trội (salience), lập danh sách từ đồng xuất hiện (collocates) và so sánh các cặp từ tương đồng (thử nghiệm trên các từ như tính từ "đẹp", "xinh").

Chương 5. Khai thác kho ngữ liệu có chú giải cho phân tích cú pháp tiếng Việt

Chương 5 nghiên cứu việc khai thác ngân hàng cây cú pháp VietTreebank và từ điển tiếng Việt phục vụ trích rút văn phạm và phân tích cú pháp tự động:

1. Trích rút văn phạm PCFG từ VietTreebank: Xây dựng thuật toán tự động trích xuất các luật ngữ pháp phi ngữ cảnh và tính xác suất tương ứng từ 10.268 cây cú pháp của VietTreebank; xác định bảng thành phần trung tâm (head rules) cho tiếng Việt; rút gọn và ghép các nhãn cú pháp để tạo hai tập văn phạm $G_1$ và $G_2$.
2. Phân tích cú pháp với PCFG: Xây dựng bộ phân tích cú pháp thống kê cho câu tiếng Việt. Thuật toán phân tích cú pháp được cải tiến từ thuật toán PCYK (Martin, 2008) bằng cách gán xác suất từ loại của mỗi từ vựng bằng 1 (do câu đầu vào đã được gán nhãn từ loại hoàn chỉnh). Luận án chỉ ra hạn chế của PCFG là thiếu sự liên kết từ vựng hóa (lexicalization).
3. Trích rút văn phạm LTAG cho tiếng Việt:
   • Phát triển thuật toán trích rút tập cây cơ bản LTAG từ VietTreebank, phân tách thành các mẫu cây cơ sở spine (quan hệ đối - vị từ) và cây phụ trợ auxiliary (quan hệ phụ thuộc hoặc đẳng lập).
   • Xây dựng thuật toán trích rút tập cây cơ bản LTAG từ từ điển tiếng Việt (dựa trên 35.000 mục từ với các khung cú pháp và danh sách đối từ).
   • So sánh tập cây spine trích rút từ từ điển với tập cây cơ bản từ VietTreebank; loại bỏ các cây cơ bản không hợp lệ về mặt ngữ pháp tiếng Việt; qua đó đánh giá đối chiếu chất lượng và độ bao phủ của VietTreebank và từ điển điện tử.

---

Kết quả và những đóng góp mới

Những đóng góp mới của luận án

Theo công bố của tác giả, luận án đạt được 5 đóng góp chính:

1. Thuật toán và công cụ thu thập ngữ liệu Web: Phát triển quy trình và thuật toán thu thập văn bản tiếng Việt từ Web, bao gồm thuật toán BTE cải tiến lọc sạch thân văn bản và khử trùng lặp; xây dựng phần mềm tự động Vncopus (Java/Python); thu thập thành công kho ngữ liệu thô tiếng Việt quy mô 100 triệu từ (~1,09 GB) từ 188.325 URL sau 96 giờ vận hành.
2. Chuẩn hóa mô hình chú giải ngôn ngữ: Lần đầu tiên triển khai các mô hình chuẩn hóa quốc tế của tiểu ban ISO/TC 37/SC 4 cho tiếng Việt: mô hình chú giải hình thái cú pháp (MAF) và mô hình chú giải cú pháp (VnSynAF); hoàn thành bảng đối sánh hệ thống nhãn từ loại, cú pháp thành phần và chức năng tiếng Việt với danh mục chuẩn ISO 12620.
3. Hạ tầng nghiên cứu từ vựng tiếng Việt: Xây dựng bộ 37 quan hệ ngữ pháp cơ bản cho tiếng Việt; tích hợp kho ngữ liệu Web 100 triệu từ (đã gán nhãn POS) cùng bộ quan hệ ngữ pháp vào hệ thống truy vấn Sketch Engine, tạo công cụ nghiên cứu ngữ cảnh, tính trội và hành vi từ vựng tự động.
4. Trích rút luật PCFG và phân tích cú pháp câu tiếng Việt: Xây dựng thuật toán trích rút tự động tập luật PCFG từ VietTreebank; phát triển hệ thống phân tích cú pháp câu tiếng Việt theo phương pháp thống kê trên văn phạm PCFG dựa trên thuật toán PCYK cải tiến từ Martin.
5. Trích rút và đánh giá văn phạm LTAG: Triển khai thuật toán trích rút cây cơ bản LTAG từ VietTreebank và thuật toán trích rút cây cơ bản LTAG từ từ điển tiếng Việt; thực hiện so sánh, lọc bỏ các cây không hợp lệ để kiểm định chất lượng cấu trúc của VietTreebank và từ điển.

Kiến nghị và giải pháp đề xuất

• Tận dụng nguồn tài nguyên văn bản trên Internet kết hợp với các công cụ thu thập tự động để liên tục mở rộng quy mô kho ngữ liệu tiếng Việt phục vụ nghiên cứu ngôn ngữ học tính toán.
• Áp dụng triệt để các chuẩn quốc tế (ISO/TC 37/SC 4, ISO 12620) trong các dự án xây dựng tài nguyên ngôn ngữ tiếng Việt để bảo đảm tính tương thích, khả năng tích hợp và chia sẻ dữ liệu liên thông.
• Ứng dụng mô hình học bán giám sát (semi-supervised learning) kết hợp tập ngữ liệu thô quy mô lớn với một lượng nhỏ dữ liệu gán nhãn chất lượng cao nhằm nâng cao độ chính xác của các công cụ phân đoạn từ, gán nhãn từ loại và phân tích cú pháp tiếng Việt.
• Khai thác đồng thời hai nguồn tri thức bổ trợ: ngân hàng cây cú pháp (VietTreebank) và từ điển điện tử để xây dựng các hệ văn phạm hình thức hoàn chỉnh cho tiếng Việt.

---

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của nghiên cứu

• Thuật toán trích xuất thân văn bản BTE cải tiến đạt hiệu quả cao trên các trang web tin tức (văn bản có tính kết nối cao), nhưng độ chính xác suy giảm khi áp dụng trên các trang web có cấu trúc nội dung phân tán như diễn đàn, mạng xã hội hoặc trang thương mại điện tử.
• Dữ liệu thu thập tự động từ Web vẫn tồn tại một tỷ lệ nhỏ sai số về mặt nội dung văn bản và lỗi chính tả.
• Văn phạm PCFG trích rút từ VietTreebank bộc lộ hạn chế nội tại của mô hình phi ngữ cảnh là không nắm bắt được quan hệ ràng buộc từ vựng hóa sâu giữa các thành phần câu.
• Quy mô của ngân hàng cây cú pháp VietTreebank (10.268 câu) còn hạn chế về số lượng và miền ngữ liệu (chủ yếu tập trung ở lĩnh vực chính trị - xã hội từ báo Tuổi trẻ), ảnh hưởng đến độ bao phủ của các luật ngữ pháp trích rút.

Hướng nghiên cứu tiếp

• Mở rộng thuật toán thu thập và xử lý văn bản web cho các dạng trang web có cấu trúc phức tạp hơn.
• Huấn luyện các mô hình học máy bán giám sát (SSL) trên kho ngữ liệu thô quy mô hàng tỷ từ để nâng cao hiệu năng các bài toán xử lý tiếng Việt cơ sở.
• Mở rộng và tinh chỉnh bộ quan hệ ngữ pháp tiếng Việt trong hệ thống Sketch Engine phục vụ biên soạn từ điển chuyên ngành.
• Phát triển bộ phân tích cú pháp hoàn chỉnh dựa trên văn phạm LTAG trích rút từ ngữ liệu và từ điển để ứng dụng vào hệ thống dịch máy và tóm tắt văn bản tự động.

---

Giá trị tham khảo

Luận án có giá trị tham khảo chuyên môn đối với các đối tượng:

• Nghiên cứu sinh, học viên và giảng viên chuyên ngành Công nghệ thông tin, Khoa học máy tính, Ngôn ngữ học tính toán:
  • Tham khảo phương pháp luận và kỹ thuật thu thập, làm sạch ngữ liệu web quy mô lớn (thuật toán BTE cải tiến, kỹ thuật khử trùng lặp shingle/Text::DeDuper).
  • Tham khảo thuật toán trích rút luật văn phạm PCFG, LTAG từ Treebank và từ điển tiếng Việt; phương pháp cải tiến thuật toán phân tích cú pháp PCYK.
• Các nhà từ điển học và nghiên cứu ngôn ngữ học tiếng Việt:
  • Tham khảo mô hình phân tích từ vựng thống kê trên hệ thống Sketch Engine và bảng định nghĩa 37 quan hệ ngữ pháp hình thức của tiếng Việt.
  • Sử dụng phương pháp truy vấn ngữ đồ (word sketches) và độ đo tính trội để tra cứu ngữ cảnh, khảo sát kết hợp từ và biên soạn từ điển khách quan.
• Kỹ sư phát triển hệ thống và các nhà quản lý tài nguyên ngôn ngữ:
  • Tham khảo quy trình chuẩn hóa dữ liệu chú giải ngôn ngữ theo tiêu chuẩn ISO/TC 37/SC 4 (MAF, SynAF) và bảng đối sánh nhãn ISO 12620 để xây dựng các kho dữ liệu ngôn ngữ có khả năng tương tác và chia sẻ quốc tế.

---

Câu hỏi thường gặp

1. Thuật toán BTE cải tiến trong luận án khác gì so với thuật toán BTE gốc của Aidan Finn?

Thuật toán BTE gốc của Aidan Finn dựa trên việc tìm hai điểm cắt $i, j$ tối đa hóa số thẻ ngoài đoạn và số từ trong đoạn, nhưng dễ bị lỗi khi gặp các mã HTML nâng cao của các trang tin tức Việt Nam. Thuật toán BTE cải tiến của luận án bổ sung thêm Bước 0: chủ động loại bỏ toàn bộ các đoạn mã HTML không chứa nội dung văn bản chính (<script>, <style>, <input>, <img>, <marquee>, các ghi chú và toàn bộ nội dung nằm ngoài cặp thẻ <body></body>). Sau đó, thuật toán mã hóa nhị phân mảng binary_tokens[] (thẻ HTML = 1, từ văn bản = -1), gộp các phần tử liền kề giống nhau thành mảng encode[] ($O(n)$) và tối ưu hóa vị trí $[i, j]$ ($O(n^2)$), giúp tỷ lệ trích rút thân văn bản chính xác đạt 96%–97% trên các báo điện tử lớn.

2. Tiêu chuẩn và quy trình lựa chọn 5.000 từ hạt giống tiếng Việt được thực hiện như thế nào?

Từ tệp nén Wikipedia tiếng Việt (426 MB), tác giả trích xuất văn bản thô, lọc bỏ các tệp nhỏ hơn 10 KB để thu 57 MB văn bản (6,8 triệu âm tiết). Sau đó, dùng thuật toán khớp tối đa (VnTokenizer) để phân tích từ và lập bảng tần suất. Quy trình chọn từ hạt giống gồm hai tiêu chí: (1) Loại bỏ 1.000 từ có tần suất cao nhất vì chúng đóng vai trò là từ dừng (stop words); (2) Chọn 5.000 từ có tần suất trung bình tiếp theo thỏa mãn điều kiện chứa ít nhất 1 ký tự Unicode nằm ngoài bảng mã ASCII (nhằm bảo đảm tính đặc trưng của tiếng Việt và loại trừ chữ số, ký hiệu lạ).

3. Phương pháp phát hiện và xử lý tài liệu trùng lặp gần (near-duplicate) được tiến hành ra sao?

Luận án áp dụng lý thuyết của Andrei Broder (1997) và công cụ Text::DeDuper (Perl). Mỗi tài liệu được phân tách thành tập hợp các chuỗi 5 từ liền kề (5-shingle/5-gram). Độ tương đồng $r(A, B)$ giữa hai tài liệu được tính bằng tỷ lệ giữa số 5-gram chung trên tổng số 5-gram hợp nhất. Do giới hạn bộ nhớ khi xử lý dữ liệu lớn, luận án áp dụng cơ chế cửa sổ trượt: sắp xếp toàn bộ tệp theo kích thước, mỗi lượt lấy một khối 500 tệp cố định đưa vào bộ nhớ để so sánh với các tệp còn lại theo ngưỡng tương đồng 0.2; nếu vượt ngưỡng thì tài liệu trùng lặp sẽ bị loại bỏ.

4. Hệ thống Sketch Engine cho tiếng Việt được cấu hình với những thành phần nào?

Hệ thống gồm ba thành phần chính: (1) Kho ngữ liệu văn bản thô 100 triệu từ thu thập từ Web, được xử lý tách từ bằng VnTokenizer và gán nhãn từ loại bằng vnTagger; (2) Bộ 37 quan hệ ngữ pháp cơ bản của tiếng Việt được định nghĩa dưới dạng các biểu thức chính quy trên nhãn từ loại; (3) Bộ công cụ Manatee/Sketch Engine thực thi các thuật toán tính toán tần suất, đo tính trội (salience) dựa trên thông tin tương hỗ để xuất ra ngữ đồ (word sketches) và các bản so sánh từ vựng.

5. Thuật toán phân tích cú pháp PCYK trong luận án đã được điều chỉnh như thế nào so với thuật toán gốc của Martin?

Trong thuật toán PCYK chuẩn của Jurafsky & Martin (2008), đầu vào là chuỗi từ vựng thuần túy nên thuật toán phải tính toán và gán xác suất cho tất cả các nhãn từ loại có thể có của mỗi từ dựa trên dữ liệu thống kê từ Treebank. Trong luận án, do dữ liệu câu đầu vào đã được gán nhãn từ loại hoàn chỉnh từ bước tiền xử lý, thuật toán PCYK cải tiến gán trực tiếp xác suất từ loại của mỗi từ vựng bằng 1, giúp giảm không gian tìm kiếm và tối ưu hóa thời gian thực thi của bộ phân tích cú pháp trên văn phạm PCFG.

---

Kết luận

Luận án của nghiên cứu sinh Phan Thị Hà đã giải quyết đồng bộ chuỗi bài toán từ thu thập, chuẩn hóa đến khai thác kho ngữ liệu tiếng Việt quy mô lớn phục vụ xử lý ngôn ngữ tự nhiên. Bằng việc xây dựng thành công công cụ Vncopus thu thập 100 triệu từ ngữ liệu Web, chuẩn hóa cấu trúc chú giải theo chuẩn ISO/TC 37/SC 4 (MAF, SynAF), triển khai hệ thống phân tích từ vựng Sketch Engine với 37 quan hệ ngữ pháp và xây dựng các thuật toán trích rút văn phạm PCFG, LTAG từ VietTreebank và từ điển máy tính, công trình đã cung cấp nguồn tài nguyên ngữ liệu và các giải pháp kỹ thuật có giá trị thực tiễn cho cộng đồng nghiên cứu ngôn ngữ học tính toán tiếng Việt.

Trích đoạn nội dung tài liệu

mở đầu và kết luận, luận án được chia thành năm chương. Tổng quan về kho ngữ liệu: Trình bày khái niệm về kho ngữ liệu; Giới thiệu một số kho ngữ liệu đã chú giải từ loại và cú pháp trên thế giới, phương pháp chung cho việc xây dựng các kho ngữ liệu này. Trình bày một số chuẩn hóa mô hình chú giải được phát triển bởi tiểu ban kỹ thuật ISO/TC 37/SC 4 [114]. Trên cơ sở đó xác định mục tiêu cho việc xây dựng và khai thác kho ngữ liệu từ Internet cho tiếng Việt.

Xây dựng kho ngữ liệu thô từ Internet:Trong chương này trình bày cụ thể việc xây dựng kho ngữ liệu thô tiếng Việt từ Internet thông qua các trang Web. xvi Chương 3. Chuẩn hóa mô hình chú giải tiếng Việt: Nghiên cúu mô hình chú giải MAF và SynAF được phát triển bởi ISO/ TC 37/ SC 4, từ đó xây dựng và triển khai chuẩn hóa mô hình chú giải hình thái cú pháp (MAF) và chuẩn hóa mô hình chú giải cú pháp (VnSynAF) cho tiếng Việt. Khai thác kho ngữ liệu thô cho nghiên cứu từ vựng tiếng Việt: Nghiên cứu hệ thống truy vấn kho ngữ liệu có tên là Sketch Engine phục vụ cho nghiên cứu từ vựng, xây dựng ngữ liệu tiếng Việt cho hệ thống Sketch Engine.

Khai thác kho ngữ liệu có chú giải cho phân tích cú pháp tiếng Việt: Trong chương này trình bày kiến thức cơ bản về văn phạm PCFG, LTAG. Trích rút tự động các luật văn phạm CFG cho tiếng Việt, trích rút tự động văn phạm LTAG cho tiếng Việt. Cuối cùng là phần kết luận và định hướng của luận án. Các chương luận án là tổng hợp nội dung các bài báo công bố các kết quả nghiên cứu được thực hiện trong luận án (chương 2 với bài báo (4, 6), chương 3 với bài báo (1), chương 4 với bài báo (4), chương 5 với bài báo (2, 3, 5)).

TỔNG QUAN VỀ KHO NGỮ LIỆU 1.1 Kho ngữ liệu văn bản Kho ngữ liệu văn bản bao gồm một tập hợp lớn các văn bản, có thể được phân tích và xử lý phục vụ nhiều công việc của ngôn ngữ học tính toán. Thông tin ngôn ngữ trong đó là cơ sở tri thức ngôn ngữ học, được sử dụng trong việc phân tích thống kê và kiểm tra các giả thiết ngôn ngữ, kiểm tra sự xuất hiện hoặc xác nhận các quy tắc ngữ pháp trong mỗi ngôn ngữ. Kho ngữ liệu có thể chứa các văn bản của một ngôn ngữ (kho ngữ liệu đơn ngữ) hoặc chứa các văn bản của nhiều ngôn ngữ (kho ngữ liệu đa ngữ). Nội dung của các kho ngữ liệu được lấy từ nhiều lĩnh vực như kinh tế, xã hội, văn hóa, kỹ thuật v.

Đa số, kho ngữ liệu có nguồn gốc từ tạp chí, báo, sách giáo khoa, báo điện tử, web….Những năm gần đây đã chứng tỏ Web là nguồn tài nguyên ngôn ngữ khổng lồ, việc thu thập dữ liệu Web lại có ưu điểm là cho phép cập nhật ngữ liệu thường xuyên, phát hiện những hiện tượng ngôn ngữ đa dạng và phong phú một cách khách quan hơn so với thu thập dữ liệu truyền thống. Phương pháp thu thập kho ngữ liệu từ web cho tiếng Anh và một số ngôn ngữ phổ biến khác đã được giới thiệu trong một số nghiên cứu [20, 24, 25, 88]. Mỗi kho ngữ liệu được xây dựng, định dạng theo tiêu chí riêng nhưng vẫn phải tuân thủ theo một số tiêu chuẩn chung. Chẳng hạn, xây dựng kho ngữ liệu cho việc nghiên cứu từ vựng và xây dựng từ điển thì kho ngữ liệu phải có kích thước càng lớn càng tốt.

Để có thể sử dụng hữu ích trong lĩnh vực thống kê, các kho ngữ liệu văn bản phải được tách từ và chú giải ngôn ngữ ở các mức: mức từ loại (POS) mức cú pháp nông hoặc đầy đủ. Các kho ngữ liệu chú giải ở mức cú pháp còn được gọi là ngân hàng cây cú pháp (treebank). Treebank - kho văn bản mà trong đó mỗi câu được chú giải cấu trúc cú pháp, thông thường dưới dạng cấu trúc cây phân cấp, là nguồn tài nguyên rất hữu ích trong lĩnh vực xử lý ngôn ngữ tự nhiên. Treebank có nhiều ứng dụng quan trọng như đánh giá, kiểm định các công cụ xử lý ngôn ngữ tự động, các phần mềm dịch 2 máy, tóm tắt văn bản, các hệ thống hỏi đáp… Các hệ thống treebank [18] cho các thứ tiếng được nghiên cứu nhiều như Anh, Pháp, Hoa… đã được xây dựng từ lâu.

Các treebank có thể được chú giải 2 dạng cấu trúc cú pháp, đó là cấu trúc phụ thuộc và cấu trúc thành phần. Các cây cú pháp thường được mã hóa theo hai cách. Cách thứ nhất đơn giản sử dụng cấu trúc dấu ngoặc, theo cách này mỗi thành phần cú pháp sẽ có một cặp dấu ngoặc bao quanh. Cách thứ hai là sử dụng lược đồ mã hóa XML (eXtended Markup Language).

Cách này đã được nghiên cứu kỹ lưỡng và được áp dụng vào một số dự án về xử lý ngôn ngữ của Châu Âu [102]. Hiện nay trên thế giới có rất nhiều kho ngữ liệu được chia sẻ miễn phí cho cộng đồng nghiên cứu. Dưới đây sẽ liệt kê một số kho ngữ liệu tiêu biểu. Kho ngữ liệu Anh Mỹ (Brown Copus) Kho ngữ liệu Brown cho tiếng Anh Mỹ (Brown Corpus) [97] là kho ngữ liệu văn bản đã được Henry Kucera và W.

Nelson Francis biên soạn vào những năm 1960. Kho văn bản này chứa 500 văn bản tiếng Anh, biên soạn từ các tác phẩm xuất bản tại Hoa Kỳ năm 1961, tổng cộng 1.312 từ, được chú giải ở mức từ loại. Kho ngữ liệu tiếng Anh (BNC - The British National Corpus) Kho ngữ liệu này [103] có khoảng 100 triệu từ của ngôn ngữ nói và viết được lấy từ nhiều nguồn dữ liệu khác nhau, trong đó kho ngữ liệu viết chiếm 90 % đã được gán nhãn từ loại được trích rút từ báo chí nội địa và Quốc gia, tạp chí dành cho mọi lứa tuổi, sách giáo khoa….Kho ngữ liệu này bắt đầu được xây dựng từ năm 1991 và hoàn thành năm 1994, sau đó thì không có văn bản nào được thêm vào kho ngữ liệu trong dự án này này nhưng kho ngữ liệu này đã được chỉnh sửa thành một phiên bản thứ hai là BNC Wold (2001) và phiên bản thứ ba BNC XML Edition (2007). Kho ngữ liệu quốc gia Mỹ (ANC - The American National Corpus) Kho ngữ liệu này [104] hiện có 22 triệu từ thuộc ngôn ngữ viết và nói, được chú giải ở mức từ loại, cú pháp nông, và các chú giải tên thực thể… khung chú giải 3 ngôn ngữ của kho ngữ liệu được cung cấp theo các tiêu chuẩn thiết lập bởi tiểu ban kỹ thuật ISO/TC 37/SC4, sử dụng định dạng XML phù hợp với tiêu chuẩn mã hoá kho ngữ liệu XML (XML Corpus Encoding Standard -XCES) [105], hiện nay có khoảng 15 triệu từ đã được định dạng GrAF (Graph Annotation Fortmat) Hiện tại dự án xây dựng ANC đang tiếp tục được mở rộng thêm, mục đích là tạo ra một bộ sưu tập điện tử khổng lồ toàn diện nhất của tiếng Anh Mỹ, sẽ là nguồn tài nguyên hữu ích phục vụ cho giáo dục, cho nghiên cứu ngôn ngữ và phát triển công nghệ.

Kho ngữ liệu bao gồm văn bản của tất cả các thể loại và bảng dịch của dữ liệu nói được sản xuất từ năm 1990 trở đi. Kho ngữ liệu Anh Mỹ hiện đại (COCA - The Copus of Contemporary American English) Kho ngữ liệu hiện đại COCA [106] là kho ngữ liệu lớn nhất cho tiếng Anh Mỹ, có khoảng hơn 425 triệu từ và dữ liệu được lấy đều từ các nguồn tiểu thuyết, nói, các tạp chí nổi tiếng, báo chí, và các văn bản học thuật, được xây dựng từ năm 1990-2011, kho ngữ liệu được cập nhật một đến hai lần trong một năm (các văn bản gần đây nhất là từ tháng 3 năm 2012), mỗi năm lấy khoảng 20 triệu từ. Do cách cập nhật, thiết lập dữ liệu, đây có lẽ là kho ngữ liệu tiếng Anh phù hợp để nhìn vào hiện tại, thay đổi đang diễn ra trong ngôn ngữ. Ngân hàng cây cú pháp PENN Kho ngữ liệu này [18] được xây dựng trong 8 năm (1989-1996), có khoảng 7 triệu từ đã được gán nhãn từ loại, 3 triệu từ đã được phân tích cú pháp cơ bản, trên 2 triệu từ của văn bản đã phân tích cú pháp cho cấu trúc đối vị từ, 1.6 triệu từ là dữ liệu tiếng nói (phiên âm).

Dữ liệu văn bản định dạng dưới dạng đặt ngoặc, mỗi câu trong kho ngữ liệu sẽ được đặt ngoặc - mỗi thành phần cú pháp sẽ có một cặp dấu ngoặc bao quanh, ngay sau dấu ngoặc đầu tiên là ký hiệu ngữ pháp và các thuộc tính (nếu có), tiếp theo là danh sách các thành phần cú pháp con. Kho văn bản này được lấy từ các nguồn sách máy tính của IBM, tạp chí tài chính phố Wall, các cuộc đàm thoại. 4 Ngân hàng cây cú pháp TIGER tiếng Đức Kho ngữ liệu Tiger (Tiger Treebank, phiên bản 2.1) [101] có khoảng 900,000 từ (50,000 câu) được lấy từ báo Frankfurter Rundschau của tiếng Đức. Kho ngữ liệu này đã được gán nhãn từ loại và chú giải cú pháp cho các câu, việc chú giải được thực hiện bán tự động.

Ngoài các nhãn từ loại và nhãn cấu trúc cú pháp, kho ngữ liệu còn chứa các các thông tin về hình thái, từ nguyên thể cho các nút từ vựng. Ngân hàng cây cú pháp tiếng Trung (Chinese Treebank) Kho ngữ liệu tiếng Trung (Chinese Treebank 7.0) [107] được công bố qua Tổ chức dữ liệu ngôn ngữ (LDC- Linguistic Data Consortium ) bao gồm khoảng 1 triệu từ đã được chú giải cú pháp. Chinese Treebank được bắt đầu tại Đại học Pennsylvania vào năm 1998, sau đó tiếp tục ở Đại học Colorado và là hiện đang được phát triển tại Đại học Brandeis. Mục tiêu của dự án là cung cấp một kho ngữ liệu lớn được chú giải từ loại và đặt ngoặc toàn bộ.

Một số kho ngữ liệu song ngữ Kho ngữ liệu song ngữ song song do dự án EuroMatrix (tham khảo tại địa chỉ http://www.net/) xây dựng gồm các cặp ngôn ngữ khác nhau được lấy nguồn từ các kỷ yếu của Quốc hội Châu Âu từ năm 1996–2006. Kho ngữ liệu này gồm 9 cặp ngôn ngữ khác nhau; Kho ngữ liệu song ngữ song song Anh - Pháp (Canadian Hansard) của hiệp hội dữ liệu ngôn ngữ học (LDC), kho ngữ liệu này gồm 2.8 triệu cặp câu [109]. Dữ liệu văn bản thuần chủ yếu được lấy từ trang web của Quốc hội Canada [110]; Kho ngữ liệu WaCky (Web as Corpus kool ynitiative) Đây là kho ngữ liệu lớn [129], trong đó có 3 kho ngữ liệu của tiếng Anh (ukWaC), tiếng Đức (deWaC) và tiếng Ý (itWaC).