MỞ ĐẦU Để máy tính hiểu và xử lý được ngôn ngữ của con người là một bài toán khó trong ngành khoa học máy tính. Lĩnh vực xử lý ngôn ngữ tự nhiên (natural language processing – NLP) ra đời nhằm giải quyết vấn đề này. Các bài toán và ứng dụng nổi bật của lĩnh vực xử lý ngôn ngữ tự nhiên như: Nhận dạng chữ viết, nhận dạng giọng nói, dịch tự động, tìm kiếm thông tin, … đã thu được nhiều thành tựu nhất định. Các bước để xử lý ngôn ngữ tự nhiên gồm: phân tích hình thái, phân tích cú pháp, phân tích ngữ nghĩa, phân tích ngữ dụng.
Trong đó phân tích ngữ nghĩa là một trong những bước xử lý khó khăn nhất bởi nó liên quan đến việc hiểu ý nghĩa của ngôn ngữ - công cụ hoàn hảo của tư duy và giao tiếp. Bài toán biểu diễn ngữ nghĩa của ngôn ngữ tự nhiên đã được các nhà khoa học trên thế giới nghiên cứu từ nhiều thập kỷ trước, đầu tiên phải kể đến đó là công trình của Montague (1974) về ngữ nghĩa hình thức, trong đó các quy tắc ngữ pháp được kết hợp đồng thời với các quy tắc ngữ nghĩa để xây dựng không chỉ cây cú pháp mà cả hạng thức lambda biểu diễn nghĩa của thành phần cú pháp. Cho đến nay các nhà khoa học đã có nhiều bước tiến quan trọng trong việc xây dựng các mô hình để biểu diễn và tính toán ngữ nghĩa của các phần văn bản, đi từ cấp độ từ vựng tới cấp độ ngữ, cấp độ câu và rộng hơn là cấp văn bản. Các công trình nghiên cứu về xử lý ngôn ngữ tự nhiên cho tiếng Việt trong những năm gần đây đã đạt được nhiều thành quả nhất định.
Tuy nhiên phần lớn mới chỉ tập trung vào các bài toán phân tích từ vựng, phân tích cú pháp. Với các kết quả đã đạt được về xử lí từ vựng và cú pháp, đây là lúc cần đầu tư cho các nghiên cứu về xử lí ngữ nghĩa tiếng Việt. Luận văntập trung nghiên cứu về tích hợp thành phần ngữ nghĩa vào văn phạm TAG cho tiếng Việt. Cấu trúc luận văn được trình bày như sau: Chƣơng 1: Kiến thức cơ sở: Trong chương này, luận văn giới thiệu các kiến thức cơ sở phục vụ cho công việc tích hợp thành phần ngữ nghĩa như văn phạm TAG, phân tích cú pháp tiếng việt, biểu diễn ngữ nghĩa bằng logicvị từ cấp một.
4 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chƣơng 2: Tích hợp ngữ nghĩa vào văn phạm TAG: Chương này nghiên cứu phương pháp xây dựng ngữ nghĩa vào trong văn phạm TAG. Chƣơng 3: Xây dựng văn phạm TAG có thành phần ngữ nghĩa cho tiếng Việt: Chương này nghiên cứu sử dụng công cụ TULIPA để tích hợp thành phần ngữ nghĩa vào văn phạm TAG, xây dựng văn phạm TAG có thành phần ngữ nghĩa cho tiếng Việt và đưa ra các kết quả thực nghiệm đối với một số câu tiếng Việt cụ thể. Kết luận: Phần này tóm tắt lại nội dung của luận văn và đưa ra hướng phát triển của luận văn. 5 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chƣơng 1- KIẾN THỨC CƠ SỞ Chương này diễn giải về các kiến thức cần thiết cho việc xử lý ngữ nghĩa.
Các kiến thức cơ sở bao gồm: văn phạm kết nối cây TAG, phân tích cú pháp tiếng Việt và thảo luận về phương pháp biểu diễn ngữ nghĩa bằng logicvị từ cấp một.1 Văn phạm kết nối cây TAG 1.1 Giới thiệu về TAG Văn phạm kết nối cây (Tree Adjoining Grammar-TAG[4]) được đưa ra bởi Joshi, Levy và Takahashi (1975), Joshi (1985). TAG thao tác với các đối tượng cơ bản là các đối tượng có cấu trúc (cây) chứ không phải là các xâu. Việc sử dụng các đối tượng có cấu trúc cho phép xây dựng các hệ hình thức có khả năng sinh mạnh tức là cho phép sinh các mô tả cấu trúc. Các hệ hình thức như thế thích hợp với các mô tả ngôn ngữ học hơn là các hệ hình thức có khả năng sinh yếu, tức là chỉ sinh ra tập các xâu.
Cây cơ bản biểu diễn những cấu trúc tương ứng với các đơn vị ngôn ngữ học. Có hai loại cây cơ bản: o Cây khởi tạo: tương ứng với cấu trúc gồm các thành phần bắt buộc của câu. o Cây phụ trợ: tương ứng với cấu trúc cho phép thêm vào các thành phần phụ của câu.2 Định nghĩa hình thức của văn phạm TAG Văn phạm TAG là một bộ năm (∑, N, I, A, S) trong đó: - ∑: tập các ký hiệu kết thúc (bảng chữ cái chính). - N: tập các ký hiệu không kết thúc (bảng chữ cái phụ).
- I: tập các cây “khởi tạo” (initial trees). - A: tập các cây “phụ trợ” (auxiliary trees). 6 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Cây trong văn phạm là các cây mà mỗi nút được đánh dấu bằng một ký hiệu (kết thúc hoặc không kết thúc). Cây phụ trợ: cây có chứa một nút lá trùng tên (cùng phân loại) với nút gốc, nút lá này được ký hiệu với một dấu * bên cạnh và được gọi là nút chân của cây phụ trợ (xem Hình 1.
X Ví dụ cây phụ trợ (xem Hình 1.1: Mô tả cây phụ trợ (β1) (β2) VP VP ADV VP* VP* ADJ sớm đã Hình 1.2: Cây phụ trợ Ví dụ cây khởi tạo (xem Hình 1.3): (α1) (α2) (α3) NP NP S An cơm NP↓ VP V NP↓ ăn Hình 1.3: Cây khởi tạo 1.3 Các thao tác trong văn phạm TAG Thao tác cơ bản trong văn phạm TAG gồm: phép nối cây (adjoining) và phép thế (substitution). Phép nối cây 7 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Phép nối có thể mô tả bằng hình vẽ sau (xem Hình 1.4 Mô tả phép nối cây Ví dụ (xem Hình 1.5): (α3) S VP NP↓ VP VP* ADJ sớm V NP↓ ăn (γ1) S NP↓ VP VP ADJ V NP↓ sớm ăn Hình 1.5: Phép nối cây Các ràng buộc đối với phép nối: - Với mỗi nút bất kỳ chỉ được thực hiện tối đa một phép nối. - Phép nối không phải là thao tác bắt buộc. - Các nút chân đều là các nút cấm thực hiện phép nối.
- Ngoài các nút chân, thêm ký hiệu NA cho nút cấm mà ở đó phép nối bị cấm. 8 LUAN VAN CHAT LUONG download : add luanvanchat@agmail. Phép thế Các nút tại đó thực hiện phép thế được bổ sung thêm ký hiệu ↓ (xem Hình 1.6: Mô tả phép thế Phép thế là bắt buộc tại các nút có ký hiệu thế. Tất cả các cây có gốc là A có thể thế vào nút A↓.
Ví dụ (xem Hình 1.7): (α1) (α3) (γ2) NP S S An NP↓ VP NP VP V NP↓ An V NP↓ ăn ăn Hình 1.4 Cây dẫn xuất trong văn phạm kết nối Đối với văn phạm phi ngữ cảnh, cho một cây dẫn được ở một thời điểm là đủ để xác định ngay các quy tắc dẫn xuất đã thực hiện. Ví dụ cho cây (xem Hình 1.8) (γ4) S NP VP An VP ADJ V NP sớm ăn cơm Hình 1.8: Cây dẫn xuất trong CFG 9 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Ta suy ra dẫn xuất thực hiện là: S NP VP ADJ sớm NP An V ăn VP VP ADJ NP cơm VP V NP Còn với văn phạm kết nối cây thì không đúng như thế nữa. Ví dụ (xem Hình 1.9) : (α1 (α3) (β2) ) NP S VP An NP VP VP* ADJ V VNP sớm (α2 ăn NP ) (γ4) S cơm NP VP An VP ADJ V NP sớm ăn cơm Hình 1.9: Cây dẫn được của TAG 10 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Vì vậy đối với TAG phải có thêm cây mô tả dẫn xuất, trên đó ghi lại các thao tác đã thực hiện để sinh ra cây dẫn được. Khái niệm cây dẫn xuất: - Mỗi nút lá của cây là tên một cây cơ sở.
- Các cung trên cây được đặt ký hiệu bằng tên thao tác đã thực hiện và tên nút của cây cơ sở mà trên đó đã thực hiện thao tác. Ví dụ (xem Hình 1.10: Cây dẫn xuất 1.5 Cấu trúc đặc trƣng trong văn phạmTAG Cấu trúc đặc trưng trong văn phạm TAG là các thuộc tính trong các nút của cây. Cấu trúc đặc trưng được sử dụng để thực hiện phép nối (hình 1.11) hoặc phép thế (hình 1. Trong TAG, mỗi nút cây kết hợp với hai cấu trúc đặc trưng được gọi là đỉnh (top) và đáy (bottom).
Cấu trúc đặc trưng đỉnh mã hóa thông tin cần thiết để ghép nối cây mà phép nối được thực hiện trên đó trong khi đáy mã hóa thông tin mà vị trí còn lại cho nút mà phép nối thực hiện trên đó (xem hình 1. Phép hợp nhất được liệt kê như trong hình 1.11: Cấu trúc đặc trưng với phép nối 11 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.12: Cấu trúc đặc trưng với phép thế - Phép nối tại nút X với đặc trưng đỉnh tX và đặc trưng đáy bX, của cây phụ trợ với đặc trưng đỉnh gốc r và đặc trưng đáy chân f kéo theo phép hợp nhất của tX với r và bX với f. - Phép thế tại nút X với đặc trưng đỉnh tX và đặc trưng đáy bX, của một cây với đặc trưng đỉnh gốc t và đặc trưng đáy chân b kéo theo phép hợp nhất của tX với t và của bX với b. - Kết thúc của một dẫn xuất, đặc trưng đỉnh và đáy của tất cả các nút trong cây dẫn xuất được hợp nhất.2 Phân tích cú pháptiếng Việt Phân tích cú pháp là phân tích thành phần cấu tạo ngữ pháp của câu.
Câu chính là đơn vị lớn nhất của mặt cấu trúc trong tổ chức ngữ pháp của một ngôn ngữ. Trong phần này luận văn tập trung trên những vấn đề sau đây: Danh ngữ, câu có động từ làm trung tâm, câu có tính từ làm trung tâm, thể hiện bằng văn phạm hình thức TAG.1 Danh ngữ Loại ngữ do danh từ làm chính tố gọi là danh ngữ. Xét về mặt nghĩa, trong danh ngữ các phụ tố tạo nên nghĩa có tính xác định của chính tố. Nhưng các phụ tố có thể được lược bớt và ngữ chỉ còn có chính tố mà vẫn có tính xác định.
Đó là trường hợp danh ngữ làm phần đề trong nòng cốt N = a+b. 12 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Cấu trúc đầy đủ của danh ngữ trong Tiếng việt có trật tự như sau: C1 C2 C3 N1 N2 C4 C5 Trong đó: C1 là phụ tố tổng thể như tất cả, hết thảy, toàn bộ. C2 là phụ tố số lượng như những, các, ba, bốn. C3 là phụ từ tình thái (trợ từ) cái.
Ví dụ: cái quyển sách này. N1 là từ loại thể (loại từ) như quyển, cuốn. N2 là từ chính có thể do nhiều loại danh từ đảm nhiệm.