Luận Văn Thạc Sĩ: Xây Dựng Cơ Sở Dữ Liệu Phân Tích Cú Pháp Tiếng Việt Với Hệ Hình Thức Văn Phạm TAG

Luận văn thạc sĩ nghiên cứu hus xây dựng cơ sở dữ liệu cho phân tích cú pháp tiếng việt với hệ hình thức văn phạm tag, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện pháp

• Tác giả: Khuất Thị Thủy
• Người hướng dẫn: TS. Nguyễn Thị Minh Huyền
• Trường học: Trường Đại học Khoa học Tự nhiên
• Chuyên ngành: Bảo đảm toán học cho máy tính và hệ thống tính toán
• Đề tài: Xây Dựng Cơ Sở Dữ Liệu Cho Phân Tích Cú Pháp Tiếng Việt Với Hệ Hình Thức Văn Phạm Tag
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2012
• Địa điểm: Hà Nội

Mục lục chi tiết

• MỞ ĐẦU
• 1. CHƯƠNG 1: HỆ HÌNH THỨC VĂN PHẠM TAG
• 1.1. Văn phạm phi ngữ cảnh
• 1.2. Văn phạm TAG
• 1.3. Định nghĩa hình thức của văn phạm TAG
• 1.4. Các phép toán của TAG
• 1.5. Cây dẫn xuất trong TAG
• 1.6. Ưu điểm của văn phạm TAG
• 1.7. Giới thiệu cơ sở dữ liệu dùng cho phân tích cú pháp tiếng Anh của dự án XTAG
• 1.8. Định dạng TAGML cho cơ sở dữ liệu TAG
• 2. CHƯƠNG 2: XÂY DỰNG CƠ SỞ DỮ LIỆU DỰA TRÊN TỪ ĐIỂN VÀ QUY TẮC NGỮ PHÁP
• 3. CHƯƠNG 3: TRÍCH RÚT TỰ ĐỘNG VĂN PHẠM TAG TỪ TREEBANK TIẾNG VIỆT
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Xây Dựng Cơ Sở Dữ Liệu Phân Tích Cú Pháp Tiếng Việt

Xây dựng cơ sở dữ liệu cho phân tích cú pháp tiếng Việt là một nhiệm vụ quan trọng trong lĩnh vực xử lý ngôn ngữ tự nhiên. Cơ sở dữ liệu này không chỉ giúp cải thiện độ chính xác của các hệ thống phân tích cú pháp mà còn hỗ trợ trong việc phát triển các ứng dụng ngôn ngữ khác nhau. Hệ hình thức văn phạm TAG (Tree Adjoining Grammar) được lựa chọn làm nền tảng cho việc xây dựng cơ sở dữ liệu này. TAG cho phép mô tả cấu trúc cú pháp phức tạp của tiếng Việt, từ đó tạo ra các cây cú pháp chính xác hơn.

1.1. Khái Niệm Về Cơ Sở Dữ Liệu Phân Tích Cú Pháp

Cơ sở dữ liệu phân tích cú pháp là tập hợp các quy tắc và cấu trúc cú pháp cần thiết để phân tích các câu trong ngôn ngữ. Đối với tiếng Việt, việc xây dựng cơ sở dữ liệu này cần phải xem xét các đặc điểm ngữ pháp riêng biệt của ngôn ngữ, bao gồm cách sử dụng từ và cấu trúc câu.

1.2. Tầm Quan Trọng Của Hệ Hình Thức Văn Phạm TAG

Hệ hình thức văn phạm TAG cung cấp một cách tiếp cận mạnh mẽ để mô tả cấu trúc cú pháp của tiếng Việt. TAG cho phép sử dụng các cây khởi tạo và cây phụ trợ để tạo ra các cấu trúc cú pháp phức tạp, từ đó nâng cao khả năng phân tích cú pháp của hệ thống.

II. Vấn Đề Và Thách Thức Trong Phân Tích Cú Pháp Tiếng Việt

Phân tích cú pháp tiếng Việt gặp nhiều thách thức do tính phức tạp của ngữ pháp và cấu trúc câu. Một trong những vấn đề lớn nhất là sự đa dạng trong cách sử dụng từ và cấu trúc câu, điều này có thể dẫn đến sự nhầm lẫn trong quá trình phân tích. Ngoài ra, việc thiếu hụt dữ liệu cú pháp có thể làm giảm độ chính xác của các hệ thống phân tích.

2.1. Đặc Điểm Ngữ Pháp Của Tiếng Việt

Tiếng Việt có nhiều đặc điểm ngữ pháp độc đáo, chẳng hạn như cấu trúc câu không cố định và sự phụ thuộc vào ngữ cảnh. Điều này tạo ra khó khăn trong việc xây dựng các quy tắc phân tích cú pháp chính xác.

2.2. Thiếu Dữ Liệu Cú Pháp Để Phân Tích

Việc thiếu hụt dữ liệu cú pháp có thể ảnh hưởng đến khả năng của các hệ thống phân tích cú pháp. Cần có một cơ sở dữ liệu phong phú và đa dạng để đảm bảo rằng các hệ thống có thể hoạt động hiệu quả.

III. Phương Pháp Xây Dựng Cơ Sở Dữ Liệu Phân Tích Cú Pháp

Để xây dựng cơ sở dữ liệu cho phân tích cú pháp tiếng Việt, cần áp dụng các phương pháp khoa học và công nghệ hiện đại. Việc sử dụng từ điển và quy tắc ngữ pháp là một trong những phương pháp chính. Ngoài ra, việc trích rút tự động văn phạm từ treebank cũng là một giải pháp hiệu quả.

3.1. Sử Dụng Từ Điển Và Quy Tắc Ngữ Pháp

Việc xây dựng cơ sở dữ liệu dựa trên từ điển và quy tắc ngữ pháp giúp tạo ra các quy tắc phân tích chính xác hơn. Các quy tắc này cần phải được điều chỉnh để phù hợp với đặc điểm ngữ pháp của tiếng Việt.

3.2. Trích Rút Tự Động Văn Phạm Từ Treebank

Trích rút tự động văn phạm từ treebank tiếng Việt là một phương pháp hiệu quả để xây dựng cơ sở dữ liệu. Phương pháp này cho phép thu thập và tổ chức dữ liệu cú pháp một cách tự động, từ đó giảm thiểu thời gian và công sức trong quá trình xây dựng.

IV. Ứng Dụng Thực Tiễn Của Cơ Sở Dữ Liệu Phân Tích Cú Pháp

Cơ sở dữ liệu phân tích cú pháp tiếng Việt có nhiều ứng dụng thực tiễn trong các lĩnh vực như dịch máy, trích xuất thông tin và phát triển các hệ thống hỏi đáp. Việc áp dụng cơ sở dữ liệu này giúp cải thiện độ chính xác và hiệu quả của các ứng dụng ngôn ngữ tự nhiên.

4.1. Ứng Dụng Trong Dịch Máy

Cơ sở dữ liệu phân tích cú pháp có thể được sử dụng để cải thiện chất lượng của các hệ thống dịch máy. Việc phân tích cú pháp chính xác giúp tạo ra các bản dịch tự nhiên và chính xác hơn.

4.2. Ứng Dụng Trong Hệ Thống Hỏi Đáp

Hệ thống hỏi đáp có thể tận dụng cơ sở dữ liệu phân tích cú pháp để hiểu và xử lý các câu hỏi từ người dùng. Điều này giúp nâng cao khả năng tương tác và đáp ứng của hệ thống.

V. Kết Luận Và Tương Lai Của Cơ Sở Dữ Liệu Phân Tích Cú Pháp

Cơ sở dữ liệu phân tích cú pháp tiếng Việt với hệ hình thức văn phạm TAG là một bước tiến quan trọng trong lĩnh vực xử lý ngôn ngữ tự nhiên. Tương lai của cơ sở dữ liệu này hứa hẹn sẽ mang lại nhiều giá trị cho các ứng dụng ngôn ngữ, đồng thời mở ra nhiều cơ hội nghiên cứu mới.

5.1. Tương Lai Của Nghiên Cứu Phân Tích Cú Pháp

Nghiên cứu về phân tích cú pháp tiếng Việt sẽ tiếp tục phát triển, với nhiều phương pháp và công nghệ mới được áp dụng. Điều này sẽ giúp nâng cao khả năng phân tích và hiểu ngôn ngữ tự nhiên.

5.2. Giá Trị Của Cơ Sở Dữ Liệu Trong Các Ứng Dụng Ngôn Ngữ

Cơ sở dữ liệu phân tích cú pháp sẽ tiếp tục đóng vai trò quan trọng trong việc phát triển các ứng dụng ngôn ngữ tự nhiên, từ dịch máy đến các hệ thống thông minh. Việc tối ưu hóa cơ sở dữ liệu này sẽ mang lại nhiều lợi ích cho người dùng.

Trích đoạn nội dung tài liệu

Chương 1 trình bày tổng quan về hệ hình thức văn phạm TAG: Các cây cơ sở, các thao tác trong TAG, cây dẫn xuất; cơ sở dữ liệu cho phân tích cú pháp tiếng Anh với TAG, chuẩn mã hóa dữ liệu cho TAG. Đóng góp của luận văn được trình bày ở chương 2. Chương này trình bày thuật toán để xây dựng cơ sở dữ liệu cho phân tích cú pháp tiếng Việt với hệ hình thức văn phạm TAG bằng phương pháp dựa trên từ điển và quy tắc ngữ pháp. Chương 3 của luận văn trình bày một phương pháp xây dựng cơ sở dữ liệu khác là trích rút tự động văn phạm TAG từ Treebank tiếng Việt và đưa ra các đánh giá đối với kết quả xây dựng cơ sở dữ liệu của hai phương pháp trên.

Học viên: Khuất Thị Thủy 5 LUAN VAN CHAT LUONG download : add [e-mail] Luận văn tốt nghiệp Chƣơng 1 Hệ hình thức văn phạm TAG Trước khi trình bày về cơ sở dữ liệu cho phân tích cú pháp với hệ hình thức TAG thì chương này trình bày các kiến thức cơ sở về hình thức văn phạm TAG. Văn phạm phi ngữ cảnh Văn phạm hay văn phạm sinh là một bộ bốn (Σ, V, σ, P) trong đó: - Σ: Bảng chữ cái chính hay bảng chữ cái từ của văn phạm; - V: Bảng chữ cái phụ hay bảng chữ cái hỗ trợ của văn phạm; Σ, V là các tập hữu hạn và khác trống; V’ = Σ  V - Bảng chữ cái hỗn hợp hay bảng chữ cái đầy đủ của văn phạm; Σ  V = Ø; - σ  V và được gọi là tiên đề hay ký hiệu xuất phát của văn phạm; - P = {φ → ψ | φ  (Σ  V)+, ψ  (Σ  V)*, →  (Σ  V)}: Sơ đồ hay tập quy tắc của văn phạm; r = φ → ψ được gọi là quy tắc (hay quy tắc thế hoặc quy tắc sinh) của văn phạm; φ - vế trái, ψ - vế phải của quy tắc r. Quy tắc r được gọi là quy tắc kết (hoặc quy tắc kết thúc) nếu ψ   và không một ký hiệu nào thuộc ψ mà lại xuất hiện ở vế trái của quy tắc trong P ([6]). Văn phạm phi ngữ cảnh là văn phạm mà mọi quy tắc đều có dạng A → α, trong đó A là ký hiệu không kết và α là xâu bất kỳ.

Văn phạm phi ngữ cảnh thường được lựa chọn để biểu diễn cấu trúc cú pháp của các ngôn ngữ tự nhiên vì nó đủ mạnh để mô tả hầu hết những cấu trúc của ngôn ngữ tự nhiên. Văn phạm phi ngữ cảnh khi được sử dụng để biểu diễn cấu trúc cú pháp thì các ký hiệu kết thúc tương ứng với các từ trong ngôn Học viên: Khuất Thị Thủy 6 LUAN VAN CHAT LUONG download : add [e-mail] Luận văn tốt nghiệp ngữ, các ký hiệu không kết thúc tương ứng với các phân loại cú pháp (hay từ loại). Tiên đề biểu diễn phân loại "câu". Các quy tắc sinh biểu diễn các quy tắc ngữ pháp.

Ta có thể chia chúng thành các qui tắc từ vựng (chứa ít nhất một ký hiệu kết thúc) và các qui tắc ngữ đoạn (không chứa ký hiệu kết thúc nào). Với mỗi từ trong từ vựng có một tập các qui tắc sinh chứa từ này trong vế phải. Tuy nhiên văn phạm phi ngữ cảnh vẫn còn nhiều mặt hạn chế (sẽ được trình bày rõ trong phần ưu điểm của TAG) nên trên thực tế cần phát triển những văn phạm có khả năng thể hiện ý nghĩa ngôn ngữ học tốt hơn. TAG là một hình thức văn phạm như thế.

Văn pha ̣m TAG Văn phạm kết nối cây (Tree Adjoining Grammar - TAG) là hệ hình thức viết lại dạng cây, được đưa ra nửa cuối thập kỷ 80. Khác với văn phạm phi ngữ cảnh – hệ hình thức viết lại dạng xâu, TAG thao tác với các đối tượng cơ bản là các đối tượng có cấu trúc (cây). Vì vậy, TAG cho phép sinh ra các mô tả cấu trúc chứ không phải tập các xâu. TAG sử dụng hai loại cây cơ bản để biểu diễn các cấu trúc tương ứng với các đơn vị ngôn ngữ: Cây khởi tạo biểu diễn thành phần bắt buộc của câu; Cây phụ trợ biểu diễn cấu trúc cho phép thêm vào các thành phần phụ của câu.

Đinh ̣ nghiã hình thức của văn pham ̣ TAG Văn phạm TAG gồm 5 thành phần (N, Σ, I, A, S) trong đó ([7]): N: tập hữu hạn các kí hiệu không kết thúc Σ: tập hữu hạn các kí hiệu kết thúc I: tập hữu hạn các cây khởi tạo. Trong cây khởi tạo thì các nút lá được đánh nhãn là kí hiệu kết thúc hoặc không kết thúc. Các nút mà tại đó có nhãn là kí hiệu không kết thúc thì được đánh dấu thêm kí hiệu thay thế, kí hiệu thay thế này được đánh dấu trên cây bằng một dấu mũi tên đi xuống (xem hình 1. Học viên: Khuất Thị Thủy 7 LUAN VAN CHAT LUONG download : add [e-mail] Luận văn tốt nghiệp Hình 1.1: Mô tả cây khởi tạo A: tập hữu hạn các cây phụ trợ.

Cây phụ trợ có chứa một nút lá trùng tên với nút gốc (mang kí hiệu không kết thúc). Ở nút lá này được đánh dấu với kí hiệu * ở bên cạnh và được gọi là nút chân của cây phụ trợ (xem hình 1. Mỗi cây phụ trợ chỉ có một nút chân.2 : Mô tả cây phụ trợ Ví dụ cây khởi tạo (xem hình 1.3) NP V S NP↓ VP Harry likes V NP↓ peanuts Hình 1.3: Cây khởi ta ̣o Ví dụ cây phụ trợ (xem hình 1.4) S S NP↓ VP V S* V S*↓ does think Hình 1.4: Cây phu ̣ trơ ̣ Học viên: Khuất Thị Thủy 8 LUAN VAN CHAT LUONG download : add [e-mail] Luận văn tốt nghiệp S: tiên đề, S  N. Tập các cây thuộc tập I  A được gọi là cây cơ sở.

Các phép toán của TAG Một cây (tương ứng với một cấu trúc câu) trong văn phạm TAG được tạo thành từ sự kết hợp các cây cơ sở của TAG bằng hai phép toán là phép thế và phép kết nố i cây, trong đó phép kết nố i cây giữ vai trò quan trọng trong TAG.1 Phép thế Các nút tại đó thực hiện phép thế được bổ sung thêm ký hiệu ↓. Phép thế thực hiê ̣n viê ̣c thay t hế một cây có nhãn Y vào một cây có nhãn Y ↓. Phép thế là bắt buộc tại các nút có ký hiệu thế. Phép thế được minh họa bởi hình 1.5: Phép thế Ví dụ: NP S S John NP↓ VP NP VP V NP↓ John V NP↓ saw saw Hình 1.6: Minh ho ̣a cho phép thế Học viên: Khuất Thị Thủy 9 LUAN VAN CHAT LUONG download : add [e-mail] Luận văn tốt nghiệp 1.

Phép kết nố i cây Phép kết nố i cây dùng để xây dựng một cây mới γ từ một cây phụ trợ β (nút gốc của β được đánh nhãn là X) và một cây α khác (cây α có thể là cây khởi tạo, hoặc cây phụ trợ hoặc cây dẫn được từ các cây ban đầu bằng các phép toán). Phép toán có thể xem như là hai lần thực hiện sự thay thế như sau: Cây con tại nút X của cây α bị gỡ bỏ, cây β được thay thế vào nút X và cây con gỡ bỏ lúc trước thì được thế vào nút chân của cây β. Phép toán được minh họa như trong hình 1.7: Phép kết nố i cây Ví dụ được minh họa trong hình 1. Khả năng thực hiện của hai phép toán kết nối và thế trên các cây còn bị ràng buộc bởi cấu trúc đặc trưng gắn trên mỗi nút của cây.

Cấu trúc đặc trưng của một đối tượng là một tập hợp các cặp thuộc tính và giá trị thuộc tính gắn với đối tượng đó. Trong TAG thì các thuộc tính được phân thành hai loại: thuộc tính trên và thuộc tính dưới. Các thuộc tính trên chứa các thông tin liên quan tới nút cha, các thuộc tính dưới chứa các thông tin liên quan tới các nút con. Khi thực hiện phép kết nối hay phép thế thì phép hợp nhất các cấu trúc đặc trưng cũng được thực hiện trên các nút mà tại đó phép thế và phép kết nối được thực hiện.

Nếu phép hợp nhất không thực hiện được (khi các thuộc tính Học viên: Khuất Thị Thủy 10 LUAN VAN CHAT LUONG download : add [e-mail] Luận văn tốt nghiệp sinh ra không thống nhất) thì thao tác (kết nối hoặc thế) không được phép thực hiện. Phép thế, phép kết nối với các nút được gắn thêm cấu trúc đặc trưng lần lượt được minh họa trong hình 1. S S ADV S* NP↓ VP Yesterday V NP↓ S saw ADV S VP Yesterday NP↓ V NP↓ saw Hình 1.8: Minh ho ̣a cho phép kết nố i cây Hình 1.9: Sơ đồ phép thế cây với cấu trúc đặc trƣng Học viên: Khuất Thị Thủy 11 LUAN VAN CHAT LUONG download : add [e-mail] Luận văn tốt nghiệp Hình 1.10: Sơ đồ phép kết nối cây với cấu trúc đặc trƣng 1. Cây dẫn xuấ t trong TAG Sự tạo thành một cây từ các cây cơ sở thông qua 2 phép toán thế và kết nố i cây được go ̣i là một cây dẫn được.

Cây cú pháp là cây dẫn được mà mọi nút lá đều là kí hiệu kết. Ví dụ, cho các cây cơ sở sau: S S NP↓ VP ADV S* V NP↓ NP NP Yesterday saw John Marry Hình 1.11: Các cây cơ sở của câu “Yesterday John saw Marry” Thực hiện quá trình dẫn xuất để được cây cú pháp của câu “Yesterday John saw Marry” được minh họa trong hình với biểu diễn cho phép nối, biểu diễn cho phép thế Học viên: Khuất Thị Thủy 12 LUAN VAN CHAT LUONG download : add [e-mail] Luận văn tốt nghiệp S S ADV S* NP↓ VP Yesterday NP V NP↓ John NP saw Marry Hình 1.12: Dẫn xuất của câu “Yesterday John saw Marry” Và cây cú pháp của câu trên là cây sau: S ADV S NP VP Yesterday V NP John saw Marry Hình 1.13: Cây cú pháp của câu “Yesterday John saw Marry” Đối với văn phạm phi ngữ cảnh, cho một cây dẫn được ở một thời điểm là đủ để xác định ngay các quy tắc dẫn xuất đã thực hiện. Ví dụ với cây ở hình 1.13 ta suy ra dẫn xuất thực hiện là: Học viên: Khuất Thị Thủy 13 LUAN VAN CHAT LUONG download : add [e-mail] Luận văn tốt nghiệp S  ADV S VP V NP ADV  yesterday V  saw S  NP VP NP Marry NP  John Còn với TAG thì không đúng thế nữa (xem hình 1.