Luận văn thạc sĩ: Nghiên cứu tích hợp ngữ nghĩa vào văn phạm TAG cho tiếng Việt

Luận văn trình bày nghiên cứu tích hợp ngữ nghĩa vào văn phạm TAG tiếng Việt, góp phần vào việc xử lý ngôn ngữ tự nhiên và biểu diễn ý nghĩa câu.

• Tác giả: Nguyễn Văn Hưng
• Người hướng dẫn: TS. Nguyễn Thị Minh Huyền
• Trường học: Đại học Quốc gia Hà Nội, Trường Đại học Khoa học Tự nhiên
• Chuyên ngành: Cơ sở toán học cho tin học
• Đề tài: Nghiên cứu Tích hợp Thành phần Ngữ nghĩa vào Văn phạm TAG cho Tiếng Việt
• Loại tài liệu: Luận văn thạc sĩ khoa học
• Năm xuất bản: 2014
• Địa điểm: Hà Nội

Tóm tắt

I. Giới thiệu về Văn phạm TAG và Ngữ nghĩa

Văn phạm TAG (Tree Adjoining Grammar) là một framework ngôn ngữ hình thức được phát triển để xử lý ngôn ngữ tự nhiên một cách hiệu quả. Công trình nghiên cứu tích hợp ngữ nghĩa vào văn phạm TAG cho tiếng Việt là một bước tiến quan trọng trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP). Việc kết hợp các thành phần ngữ nghĩa với cấu trúc cú pháp giúp máy tính không chỉ hiểu được cấu trúc câu mà còn nắm bắt được ý nghĩa thực sự của chúng. Đây là nền tảng để phát triển các ứng dụng tiên tiến như dịch tự động, tìm kiếm thông tin và xử lý ngôn ngữ tự nhiên chuyên sâu.

1.1. Định nghĩa và Cấu trúc của TAG

Văn phạm TAG được xác định bởi các phép toán chính: phép nối cây và phép thế. Cấu trúc này cho phép mô tả các hiện tượng ngôn ngữ phức tạp một cách linh hoạt. Các cây phụ trợ và cây khởi tạo là những thành phần cốt lõi của TAG, giúp biểu diễn các mối quan hệ ngữ pháp và các phụ thuộc từ xa trong câu.

1.2. Tầm quan trọng của Tích hợp Ngữ nghĩa

Việc tích hợp thành phần ngữ nghĩa vào TAG cho phép xây dựng biểu diễn ý nghĩa song song với phân tích cú pháp. Điều này giúp hệ thống không chỉ phân tích được cấu trúc câu mà còn trích xuất được ý nghĩa sâu sắc. Phương pháp này đặc biệt hiệu quả cho tiếng Việt với các đặc thù ngôn ngữ riêng biệt.

II. Phân tích Cú pháp Tiếng Việt và Logic Vị từ

Phân tích cú pháp tiếng Việt đòi hỏi sự hiểu biết sâu sắc về đặc điểm ngôn ngữ độc đáo của tiếng Việt. Logic vị từ cấp một (First-order predicate logic) cung cấp một công cụ toán học mạnh mẽ để biểu diễn ngữ nghĩa một cách chính xác. Sự kết hợp giữa phân tích cú pháp dựa trên TAG và biểu diễn ngữ nghĩa bằng logic vị từ tạo nên một hệ thống hoàn chỉnh để xử lý ngôn ngữ. Phương pháp này cho phép chuyển đổi các cấu trúc câu phức tạp thành các biểu diễn logic có thể xử lý được bởi máy tính.

2.1. Biểu diễn Ngữ nghĩa với Logic Vị từ

Logic vị từ cấp một cung cấp nền tảng để biểu diễn ngữ nghĩa của các câu ngôn ngữ tự nhiên. Mỗi từ và cụm từ được gán các vị từ logic tương ứng. Ví dụ, câu "An thích Bình" có thể được biểu diễn dưới dạng logic: thích(An, Bình). Phương pháp này cho phép máy tính thực hiện các suy luận logic để hiểu rõ mối quan hệ giữa các đối tượng.

2.2. Kết hợp Lambda Calculus trong Xây dựng Ngữ nghĩa

Lambda calculus là một công cụ toán học được sử dụng để xây dựng hạng thức lambda biểu diễn ý nghĩa của các thành phần cú pháp. Khi kết hợp với TAG, lambda calculus cho phép tính toán ý nghĩa của các câu từ ý nghĩa của các thành phần nhỏ hơn. Điều này tạo ra một quy trình xây dựng ngữ nghĩa có tính hệ thống và toán học.

III. Phương pháp Tích hợp Ngữ nghĩa trong Văn phạm TAG

Tích hợp ngữ nghĩa vào văn phạm TAG được thực hiện thông qua giao diện cú pháp-ngữ nghĩa dựa trên phép hợp nhất (unification). Quá trình này liên quan đến việc xây dựng các cây dẫn xuất chứa đầy đủ cả thông tin cú pháp và ngữ nghĩa. Siêu văn phạm (meta-grammar) được sử dụng để khai thác các thành phần thông tin chung, giúp giảm sự lặp lại và tăng hiệu quả của hệ thống. Phương pháp này cho phép tạo ra các cây phân tích (parse trees) không chỉ mô tả cấu trúc cú pháp mà còn chứa đựng ý nghĩa ngôn ngữ.

3.1. Giao diện Cú pháp Ngữ nghĩa với Phép Hợp nhất

Phép hợp nhất là cơ chế chính để liên kết các thành phần cú pháp với các biểu diễn ngữ nghĩa tương ứng. Các tính năng (features) được gán cho các nút cây, cho phép hệ thống đảm bảo tính nhất quán giữa cú pháp và ngữ nghĩa. Khi một phép nối hoặc phép thế được thực hiện trong TAG, các hạng thức ngữ nghĩa cũng được tính toán tương ứng, đảm bảo ý nghĩa của toàn bộ cấu trúc được xây dựng chính xác.

3.2. Rừng Dẫn xuất và Từ vựng Ngữ nghĩa

Rừng dẫn xuất (derivation forests) là tập hợp tất cả các cây dẫn xuất có thể được tạo ra từ một đầu vào cụ thể. Từ vựng ngữ nghĩa (semantic lexicon) chứa các thông tin về ý nghĩa của từng từ và cách nó được kết hợp với các từ khác. Sự kết hợp giữa rừng dẫn xuất và từ vựng ngữ nghĩa tạo nên cơ sở cho việc xây dựng ý nghĩa toàn diện của các câu.

IV. Ứng dụng và Công cụ Xây dựng Văn phạm TAG Tiếng Việt

Việc xây dựng văn phạm TAG có tích hợp ngữ nghĩa cho tiếng Việt được hỗ trợ bởi các công cụ chuyên biệt như TULIPA và XMG (eXtensible MetaGrammar). Những công cụ này cho phép các nhà nghiên cứu định nghĩa các quy tắc cú pháp và biểu diễn ngữ nghĩa một cách hiệu quả. Dữ liệu đầu vào cho các công cụ này bao gồm các cây phân tích của tiếng Việt cùng với các chú thích ngữ nghĩa tương ứng. Các ứng dụng thực tế của công nghệ này bao gồm dịch tự động, tìm kiếm thông tin, hệ thống hỏi đáp và nhiều lĩnh vực khác của xử lý ngôn ngữ tự nhiên.

4.1. Công cụ TULIPA và XMG

TULIPA (Tuple Linguistic Parsing Architecture) là một công cụ phân tích cú pháp mạnh mẽ cho văn phạm TAG. XMG (eXtensible MetaGrammar) cung cấp khả năng khai thác các mẫu cấu trúc chung, giúp giảm kích thước văn phạm TAG đáng kể. Hai công cụ này làm việc cùng nhau để hỗ trợ quá trình xây dựng văn phạm và tích hợp ngữ nghĩa một cách có hệ thống.

4.2. Triển khai và Hướng Phát triển

Các kết quả từ research tích hợp ngữ nghĩa vào TAG tiếng Việt mở ra nhiều hướng phát triển mới. Những ứng dụng thực tế như dịch máy, tìm kiếm thông tin và trích xuất thông tin có thể được cải thiện đáng kể. Tiếp tục xây dựng từ vựng ngữ nghĩa và mở rộng phạm vi của văn phạm là những bước tiến tiếp theo quan trọng để hoàn thiện hệ thống xử lý ngôn ngữ Việt.

Trích đoạn nội dung tài liệu

MỞ ĐẦU Để máy tính hiểu và xử lý được ngôn ngữ của con người là một bài toán khó trong ngành khoa học máy tính. Lĩnh vực xử lý ngôn ngữ tự nhiên (natural language processing – NLP) ra đời nhằm giải quyết vấn đề này. Các bài toán và ứng dụng nổi bật của lĩnh vực xử lý ngôn ngữ tự nhiên như: Nhận dạng chữ viết, nhận dạng giọng nói, dịch tự động, tìm kiếm thông tin, … đã thu được nhiều thành tựu nhất định. Các bước để xử lý ngôn ngữ tự nhiên gồm: phân tích hình thái, phân tích cú pháp, phân tích ngữ nghĩa, phân tích ngữ dụng.

Trong đó phân tích ngữ nghĩa là một trong những bước xử lý khó khăn nhất bởi nó liên quan đến việc hiểu ý nghĩa của ngôn ngữ - công cụ hoàn hảo của tư duy và giao tiếp. Bài toán biểu diễn ngữ nghĩa của ngôn ngữ tự nhiên đã được các nhà khoa học trên thế giới nghiên cứu từ nhiều thập kỷ trước, đầu tiên phải kể đến đó là công trình của Montague (1974) về ngữ nghĩa hình thức, trong đó các quy tắc ngữ pháp được kết hợp đồng thời với các quy tắc ngữ nghĩa để xây dựng không chỉ cây cú pháp mà cả hạng thức lambda biểu diễn nghĩa của thành phần cú pháp. Cho đến nay các nhà khoa học đã có nhiều bước tiến quan trọng trong việc xây dựng các mô hình để biểu diễn và tính toán ngữ nghĩa của các phần văn bản, đi từ cấp độ từ vựng tới cấp độ ngữ, cấp độ câu và rộng hơn là cấp văn bản. Các công trình nghiên cứu về xử lý ngôn ngữ tự nhiên cho tiếng Việt trong những năm gần đây đã đạt được nhiều thành quả nhất định.

Tuy nhiên phần lớn mới chỉ tập trung vào các bài toán phân tích từ vựng, phân tích cú pháp. Với các kết quả đã đạt được về xử lí từ vựng và cú pháp, đây là lúc cần đầu tư cho các nghiên cứu về xử lí ngữ nghĩa tiếng Việt. Luận văntập trung nghiên cứu về tích hợp thành phần ngữ nghĩa vào văn phạm TAG cho tiếng Việt. Cấu trúc luận văn được trình bày như sau:  Chƣơng 1: Kiến thức cơ sở: Trong chương này, luận văn giới thiệu các kiến thức cơ sở phục vụ cho công việc tích hợp thành phần ngữ nghĩa như văn phạm TAG, phân tích cú pháp tiếng việt, biểu diễn ngữ nghĩa bằng logicvị từ cấp một.

4  Chƣơng 2: Tích hợp ngữ nghĩa vào văn phạm TAG: Chương này nghiên cứu phương pháp xây dựng ngữ nghĩa vào trong văn phạm TAG.  Chƣơng 3: Xây dựng văn phạm TAG có thành phần ngữ nghĩa cho tiếng Việt: Chương này nghiên cứu sử dụng công cụ TULIPA để tích hợp thành phần ngữ nghĩa vào văn phạm TAG, xây dựng văn phạm TAG có thành phần ngữ nghĩa cho tiếng Việt và đưa ra các kết quả thực nghiệm đối với một số câu tiếng Việt cụ thể.  Kết luận: Phần này tóm tắt lại nội dung của luận văn và đưa ra hướng phát triển của luận văn. 5 Chƣơng 1- KIẾN THỨC CƠ SỞ Chương này diễn giải về các kiến thức cần thiết cho việc xử lý ngữ nghĩa.

Các kiến thức cơ sở bao gồm: văn phạm kết nối cây TAG, phân tích cú pháp tiếng Việt và thảo luận về phương pháp biểu diễn ngữ nghĩa bằng logicvị từ cấp một.1 Văn phạm kết nối cây TAG 1.1 Giới thiệu về TAG Văn phạm kết nối cây (Tree Adjoining Grammar-TAG[4]) được đưa ra bởi Joshi, Levy và Takahashi (1975), Joshi (1985). TAG thao tác với các đối tượng cơ bản là các đối tượng có cấu trúc (cây) chứ không phải là các xâu. Việc sử dụng các đối tượng có cấu trúc cho phép xây dựng các hệ hình thức có khả năng sinh mạnh tức là cho phép sinh các mô tả cấu trúc. Các hệ hình thức như thế thích hợp với các mô tả ngôn ngữ học hơn là các hệ hình thức có khả năng sinh yếu, tức là chỉ sinh ra tập các xâu.

Cây cơ bản biểu diễn những cấu trúc tương ứng với các đơn vị ngôn ngữ học. Có hai loại cây cơ bản: o Cây khởi tạo: tương ứng với cấu trúc gồm các thành phần bắt buộc của câu. o Cây phụ trợ: tương ứng với cấu trúc cho phép thêm vào các thành phần phụ của câu.2 Định nghĩa hình thức của văn phạm TAG Văn phạm TAG là một bộ năm (∑, N, I, A, S) trong đó: - ∑: tập các ký hiệu kết thúc (bảng chữ cái chính). - N: tập các ký hiệu không kết thúc (bảng chữ cái phụ).

- I: tập các cây “khởi tạo” (initial trees). - A: tập các cây “phụ trợ” (auxiliary trees). 6 Cây trong văn phạm là các cây mà mỗi nút được đánh dấu bằng một ký hiệu (kết thúc hoặc không kết thúc). Cây phụ trợ: cây có chứa một nút lá trùng tên (cùng phân loại) với nút gốc, nút lá này được ký hiệu với một dấu * bên cạnh và được gọi là nút chân của cây phụ trợ (xem Hình 1.

X Ví dụ cây phụ trợ (xem Hình 1.1: Mô tả cây phụ trợ (β1) (β2) VP VP ADV VP* VP* ADJ đã sớm Hình 1.2: Cây phụ trợ Ví dụ cây khởi tạo (xem Hình 1.3): (α1) (α2) (α3)S NP NP An cơm NP↓ VP V NP↓ ăn Hình 1.3: Cây khởi tạo 1.3 Các thao tác trong văn phạm TAG Thao tác cơ bản trong văn phạm TAG gồm: phép nối cây (adjoining) và phép thế (substitution). Phép nối cây 7 Phép nối có thể mô tả bằng hình vẽ sau (xem Hình 1.4 Mô tả phép nối cây Ví dụ (xem Hình 1.5): (α3) S VP NP↓ VP VP* ADJ sớm V NP↓ ăn (γ1) S NP↓ VP VP ADJ V NP↓ sớm ăn Hình 1.5: Phép nối cây Các ràng buộc đối với phép nối: - Với mỗi nút bất kỳ chỉ được thực hiện tối đa một phép nối. - Phép nối không phải là thao tác bắt buộc. - Các nút chân đều là các nút cấm thực hiện phép nối.

- Ngoài các nút chân, thêm ký hiệu NA cho nút cấm mà ở đó phép nối bị cấm. Phép thế Các nút tại đó thực hiện phép thế được bổ sung thêm ký hiệu ↓ (xem Hình 1.6: Mô tả phép thế Phép thế là bắt buộc tại các nút có ký hiệu thế. Tất cả các cây có gốc là A có thể thế vào nút A↓. Ví dụ (xem Hình 1.7): (α1) NP (α3) (γ2) S S An NP↓ VP NP VP V NP↓ An V NP↓ ăn ăn Hình 1.4 Cây dẫn xuất trong văn phạm kết nối Đối với văn phạm phi ngữ cảnh, cho một cây dẫn được ở một thời điểm là đủ để xác định ngay các quy tắc dẫn xuất đã thực hiện.

Ví dụ cho cây (xem Hình 1.8) (γ4) S NP VP VP ADJ An V NP sớm 9 ăn cơm Hình 1.8: Cây dẫn xuất trong CFG 1 Ta suy ra dẫn xuất thực hiện là: S  NP VP ADJ  sớm NP An V  ăn VP  VP ADJ NP cơm VP  V NP Còn với văn phạm kết nối cây thì không đúng như thế nữa. Ví dụ (xem Hình 1.9) : (α1 (α3) (β2) NP S VP An NP VP* ADJ VP V NP sớm V ăn (α2 NP (γ4) cơm S NP VP An VP ADJ V NP sớm ăn cơm Hình 1.9: Cây dẫn được của TAG 1 Vì vậy đối với TAG phải có thêm cây mô tả dẫn xuất, trên đó ghi lại các thao tác đã thực hiện để sinh ra cây dẫn được. Khái niệm cây dẫn xuất: - Mỗi nút lá của cây là tên một cây cơ sở. - Các cung trên cây được đặt ký hiệu bằng tên thao tác đã thực hiện và tên nút của cây cơ sở mà trên đó đã thực hiện thao tác.

Ví dụ (xem Hình 1.10: Cây dẫn xuất 1.5 Cấu trúc đặc trƣng trong văn phạmTAG Cấu trúc đặc trưng trong văn phạm TAG là các thuộc tính trong các nút của cây. Cấu trúc đặc trưng được sử dụng để thực hiện phép nối (hình 1.11) hoặc phép thế (hình 1. Trong TAG, mỗi nút cây kết hợp với hai cấu trúc đặc trưng được gọi là đỉnh (top) và đáy (bottom). Cấu trúc đặc trưng đỉnh mã hóa thông tin cần thiết để ghép nối cây mà phép nối được thực hiện trên đó trong khi đáy mã hóa thông tin mà vị trí còn lại cho nút mà phép nối thực hiện trên đó (xem hình 1.

Phép hợp nhất được liệt kê như trong hình 1.11: Cấu trúc đặc trưng với phép nối 1 𝑋𝑏𝑟 𝑡𝑟 𝑋𝑡  𝑋𝑡  𝑡𝑟𝑏𝑟 Hình 1.12: Cấu trúc đặc trưng với phép thế - Phép nối tại nút X với đặc trưng đỉnh tX và đặc trưng đáy bX, của cây phụ trợ với đặc trưng đỉnh gốc r và đặc trưng đáy chân f kéo theo phép hợp nhất của tX với r và bX với f. - Phép thế tại nút X với đặc trưng đỉnh tX và đặc trưng đáy bX, của một cây với đặc trưng đỉnh gốc t và đặc trưng đáy chân b kéo theo phép hợp nhất của tX với t và của bX với b. - Kết thúc của một dẫn xuất, đặc trưng đỉnh và đáy của tất cả các nút trong cây dẫn xuất được hợp nhất.2 Phân tích cú pháptiếng Việt Phân tích cú pháp là phân tích thành phần cấu tạo ngữ pháp của câu. Câu chính là đơn vị lớn nhất của mặt cấu trúc trong tổ chức ngữ pháp của một ngôn ngữ.

Trong phần này luận văn tập trung trên những vấn đề sau đây: Danh ngữ, câu có động từ làm trung tâm, câu có tính từ làm trung tâm, thể hiện bằng văn phạm hình thức TAG.1 Danh ngữ 1 Loại ngữ do danh từ làm chính tố gọi là danh ngữ. Xét về mặt nghĩa, trong danh ngữ các phụ tố tạo nên nghĩa có tính xác định của chính tố. Nhưng các phụ tố có thể được lược bớt và ngữ chỉ còn có chính tố mà vẫn có tính xác định. Đó là trường hợp danh ngữ làm phần đề trong nòng cốt N = a+b.

1 Cấu trúc đầy đủ của danh ngữ trong Tiếng việt có trật tự như sau: C1 C2 C3 N1 N2 C4 C5 Trong đó: C1 là phụ tố tổng thể như tất cả, hết thảy, toàn bộ. C2 là phụ tố số lượng như những, các, ba, bốn. C3 là phụ từ tình thái (trợ từ) cái. Ví dụ: cái quyển sách này.

N1 là từ loại thể (loại từ) như quyển, cuốn. N2 là từ chính có thể do nhiều loại danh từ đảm nhiệm. C4 là phụ tố hạn định sự vật bằng đặc điểm của nó. C5 là phụ tố chỉ định (đại từ) như này, ấy, đó.

Cấu trúc đầy đủ tất cả [C1] năm [C2] cái [C3] quyển [N1] sách [N2] cũ [C4] này [C5] 2. Trường hợp chỉ có từ chính [N2] sách [N2] 3.