Luận văn thạc sĩ: Nghiên cứu ngữ pháp điện tử tiếng Việt

Luận văn thạc sĩ phân tích vnu vers une grammaire électronique du vietnamien, đánh giá thực trạng, chỉ ra hạn chế, đề xuất giải pháp khả thi cho thực tiễn.

• Tác giả: Le, Hong Phuong
• Người hướng dẫn: Laurent, Romary (Directeur De Recherche INRIA)
• Trường học: Institut de la Francophonie pour l’Informatique
• Chuyên ngành: Informatique
• Đề tài: Vers une grammaire électronique du vietnamien
• Loại tài liệu: Mémoire
• Năm xuất bản: 2005
• Địa điểm: Nancy

Mục lục chi tiết

• Remerciements
• Table des matières
• 1. CHAPITRE 1: INTRODUCTION
• 1.1. Problématique et objectif du stage
• 1.2. Environnement de travail
• 1.3. Travaux concernés
• 1.4. Aperçu du mémoire
• 2. CHAPITRE 2: LA GRAMMAIRE D’ARBRES ADJOINTS
• 3. CHAPITRE 3: UNE GRAMMAIRE ÉLECTRONIQUE DU VIETNAMIEN
• 3.1. Principes de bonne formation des arbres élémentaires
• 3.2. Les principes de propagation des traits syntaxiques
• 3.3. Catégories et traits utilisés
• 3.3.1. Catégories des nœuds
• 3.3.2. Traits associés aux nœuds des arbres élémentaires
• 3.4. Familles à tête verbale
• 3.4.5. Arbres ditransitifs à préposition relative
• 3.4.6. Arbres impératifs à complément verbal
• 3.4.7. Arbres impératifs à complément adjectival
• 3.4.8. Complément de direction
• 3.4.9. Verbes de déplacement avec complément nominal
• 3.4.10. Verbes de mouvement avec complément adjectif
• 3.4.11. Arbres ditransitifs avec un verbe de déplacement
• 3.5. Familles à tête adverbiale
• 3.6. Familles des compléments facultatifs du syntagme verbal
• 3.6.1. Complément suffixal avec l’adposition
• 3.6.2. Complément suffixal sans adposition
• 3.6.5. Complément de comparaison égale
• 3.6.6. Complément de manière
• 4. CHAPITRE 4: IMPLEMENTATION ET TRAITEMENT INFORMATIQUE
• 4.1. Les choix d’implémentation
• 4.2. Introduction au format TAGML2
• 4.3. Description des entrées lexicales
• 4.4. Les traits top et bottom
• 4.5. Les co-ancres
• 4.8. Les traits d’arbres
• 4.9. Analyse du vietnamien
• 4.9.1. Le logiciel LLP2
• 4.9.2. Un analyseur LTAG pour le vietnamien
• 5. CHAPITRE 5: CONCLUSION ET PERSPECTIVES
• Bibliographie

Tóm tắt

I. Tổng quan về nghiên cứu ngữ pháp điện tử tiếng Việt

Nghiên cứu về ngữ pháp điện tử tiếng Việt đang trở thành một lĩnh vực quan trọng trong việc phát triển công nghệ ngôn ngữ. Ngữ pháp điện tử không chỉ giúp cải thiện khả năng xử lý ngôn ngữ tự nhiên mà còn hỗ trợ trong việc phát triển các ứng dụng như dịch máy, phân tích cú pháp và tạo văn bản tự động. Việc xây dựng một hệ thống ngữ pháp điện tử cho tiếng Việt là cần thiết để đáp ứng nhu cầu ngày càng cao trong việc xử lý ngôn ngữ tự nhiên.

1.1. Định nghĩa và vai trò của ngữ pháp điện tử

Ngữ pháp điện tử là một tập hợp các quy tắc và cấu trúc ngữ pháp được mã hóa để máy tính có thể hiểu và xử lý. Vai trò của nó trong việc phát triển các ứng dụng ngôn ngữ là rất quan trọng, giúp cải thiện độ chính xác và hiệu quả trong việc phân tích và sinh ngôn ngữ.

1.2. Lịch sử phát triển ngữ pháp điện tử tiếng Việt

Lịch sử phát triển ngữ pháp điện tử tiếng Việt bắt đầu từ những năm 2000, với sự ra đời của các dự án nghiên cứu nhằm xây dựng các mô hình ngữ pháp cho tiếng Việt. Những nỗ lực này đã dẫn đến việc phát triển các công cụ và phần mềm hỗ trợ cho việc phân tích và xử lý ngôn ngữ.

II. Các thách thức trong nghiên cứu ngữ pháp điện tử tiếng Việt

Mặc dù có nhiều tiến bộ, nhưng việc phát triển ngữ pháp điện tử tiếng Việt vẫn gặp phải nhiều thách thức. Một trong những vấn đề lớn nhất là sự đa dạng và phức tạp của ngữ pháp tiếng Việt, điều này làm cho việc xây dựng một mô hình ngữ pháp chính xác trở nên khó khăn.

2.1. Đặc điểm ngữ pháp tiếng Việt

Ngữ pháp tiếng Việt có nhiều đặc điểm riêng biệt như không có giới tính, không có số nhiều và cấu trúc câu linh hoạt. Những đặc điểm này tạo ra khó khăn trong việc xây dựng các quy tắc ngữ pháp cho máy tính.

2.2. Thiếu hụt tài nguyên ngôn ngữ

Một thách thức lớn khác là thiếu hụt tài nguyên ngôn ngữ, bao gồm từ điển, corpus và các tài liệu nghiên cứu. Điều này làm hạn chế khả năng phát triển và kiểm thử các mô hình ngữ pháp điện tử.

III. Phương pháp xây dựng ngữ pháp điện tử tiếng Việt hiệu quả

Để xây dựng một ngữ pháp điện tử tiếng Việt hiệu quả, cần áp dụng các phương pháp hiện đại trong lĩnh vực ngôn ngữ học máy. Việc sử dụng các mô hình ngữ pháp như LTAG (Lexicalized Tree Adjoining Grammar) đã cho thấy tiềm năng lớn trong việc mô hình hóa ngữ pháp tiếng Việt.

3.1. Ứng dụng mô hình LTAG trong ngữ pháp tiếng Việt

Mô hình LTAG cho phép xây dựng các cấu trúc ngữ pháp phức tạp và có khả năng xử lý các hiện tượng ngữ pháp đặc thù của tiếng Việt. Việc áp dụng mô hình này giúp cải thiện độ chính xác trong phân tích cú pháp.

3.2. Tích hợp công nghệ AI trong nghiên cứu ngữ pháp

Công nghệ trí tuệ nhân tạo (AI) có thể được tích hợp vào quá trình phát triển ngữ pháp điện tử, giúp tự động hóa việc phân tích và sinh ngôn ngữ. Việc sử dụng học máy có thể cải thiện khả năng nhận diện và xử lý ngữ pháp.

IV. Ứng dụng thực tiễn của ngữ pháp điện tử tiếng Việt

Ngữ pháp điện tử tiếng Việt có nhiều ứng dụng thực tiễn trong các lĩnh vực như giáo dục, dịch thuật và phát triển phần mềm. Việc áp dụng ngữ pháp điện tử giúp nâng cao chất lượng và hiệu quả trong việc xử lý ngôn ngữ tự nhiên.

4.1. Ứng dụng trong giáo dục

Ngữ pháp điện tử có thể được sử dụng để phát triển các công cụ học tập, giúp học sinh và sinh viên cải thiện kỹ năng ngôn ngữ của mình thông qua các bài tập và bài kiểm tra tự động.

4.2. Ứng dụng trong dịch thuật

Trong lĩnh vực dịch thuật, ngữ pháp điện tử giúp cải thiện độ chính xác và tốc độ của các công cụ dịch máy, từ đó nâng cao chất lượng bản dịch.

V. Kết luận và triển vọng tương lai của ngữ pháp điện tử tiếng Việt

Nghiên cứu về ngữ pháp điện tử tiếng Việt đang mở ra nhiều cơ hội mới cho việc phát triển công nghệ ngôn ngữ. Với sự tiến bộ của công nghệ và nghiên cứu, tương lai của ngữ pháp điện tử tiếng Việt hứa hẹn sẽ mang lại nhiều giá trị cho cộng đồng.

5.1. Triển vọng nghiên cứu trong tương lai

Nghiên cứu trong lĩnh vực ngữ pháp điện tử sẽ tiếp tục phát triển, với nhiều dự án và sáng kiến mới nhằm cải thiện khả năng xử lý ngôn ngữ tự nhiên cho tiếng Việt.

5.2. Tác động đến cộng đồng ngôn ngữ

Sự phát triển của ngữ pháp điện tử sẽ có tác động tích cực đến cộng đồng ngôn ngữ, giúp nâng cao khả năng giao tiếp và hiểu biết ngôn ngữ giữa các thế hệ.

Nội dung chính

Tổng quan nghiên cứu

Tiếng Việt là ngôn ngữ đơn lập với hơn 85 triệu người sử dụng trên toàn cầu tại thời điểm năm 2005, sở hữu những đặc trưng ngữ pháp độc đáo hoàn toàn khác biệt so với các ngôn ngữ hòa kết phương Tây. Trong khi các ngôn ngữ như tiếng Anh, tiếng Pháp hay tiếng Đức đã xây dựng thành công nhiều hệ thống ngữ pháp điện tử quy mô lớn như Alvey (dựa trên HPSG), ParGram (dựa trên LFG), hay XTAG và FTAG (dựa trên mô hình TAG với hơn 300 đến 500 sơ đồ cây chuẩn hóa), thì tiếng Việt vẫn chưa có một hệ thống ngữ pháp hình thức hóa độc lập ứng dụng và có độ bao phủ rộng.

Nghiên cứu này giải quyết trực tiếp khoảng trống trên bằng cách xây dựng hệ thống ngữ pháp điện tử đầu tiên cho tiếng Việt mang tên vnLTAG, dựa trên mô hình Ngữ pháp Cây Ghép nối Từ vựng hóa (Lexicalized Tree Adjoining Grammar - LTAG) kết hợp cấu trúc đặc trưng hợp nhất. Mục tiêu cốt lõi là thiết lập một mô hình năng lực ngôn ngữ viết hoàn chỉnh, có khả năng tái sử dụng cao trong các tác vụ then chốt của xử lý ngôn ngữ tự nhiên (NLP) như gán nhãn cú pháp (syntactic tagging), phân tích cú pháp tự động (parsing) và sinh văn bản (text generation).

Đề tài được tiến hành trong khuôn khổ chương trình nghiên cứu hợp tác quốc tế tại phòng thí nghiệm LORIA và INRIA Lorraine (Pháp) – trung tâm nghiên cứu quy tụ hơn 450 nhà khoa học. Luận văn chuẩn hóa thành công 13 họ khung cây vị từ chủ đạo của tiếng Việt, tích hợp tiêu chuẩn quốc tế ISO/DIS 24610-1 về biểu diễn cấu trúc đặc trưng, đồng thời cải tiến bộ phân tích cú pháp tự động LLP2 giúp nâng cao tỷ lệ phân tích chính xác cấu trúc câu tiếng Việt đạt trên 88% trên tập dữ liệu thử nghiệm.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu ứng dụng mô hình Ngữ pháp Cây Ghép nối Từ vựng hóa (LTAG) phát triển từ lý thuyết nền tảng của Aravind Joshi, kết hợp với phần mở rộng cấu trúc đặc trưng (Feature-Based TAG - FB-LTAG) của Vijay-Shanker. Mô hình này thuộc lớp ngữ pháp hơi nhạy ngữ cảnh (mildly context-sensitive grammars), mang lại khả năng sinh ngôn ngữ mạnh hơn ngữ pháp phi ngữ cảnh (CFG) nhưng vẫn duy trì độ phức tạp tính toán đa thức có thể kiểm soát được.

Ba khái niệm lý thuyết nòng cốt định hình nghiên cứu gồm:

1. Cây sơ cấp (Elementary Trees): Đơn vị cú pháp cơ sở gồm hai loại: Cây khởi tạo (Initial trees - $\alpha$) đại diện cho các cấu trúc vị từ - tham tố cơ bản và danh ngữ; Cây bổ trợ (Auxiliary trees - $\beta$) mang một nút chân (foot node) có cùng nhãn danh mục với nút gốc, phục vụ biểu diễn các thành phần bổ ngữ, phó từ và cấu trúc đệ quy.
2. Thao tác kết hợp cây: Bao gồm phép thế (Substitution) thay thế nút lá bằng một cây hoàn chỉnh, và phép ghép nối (Adjunction) chèn cây bổ trợ vào một nút nội tại của cây khác để mở rộng cấu trúc mà không làm biến dạng quan hệ phụ thuộc nguyên thủy.
3. Phạm vi cục bộ mở rộng (Extended Domain of Locality - EDL): Cho phép gói gọn toàn bộ khung vị từ cùng các vị trí tham ngữ của nó vào một cây sơ cấp duy nhất, tạo điều kiện mô hình hóa trực tiếp các hiện tượng phụ thuộc xa (long-distance dependencies) mà không cần dùng đến các phép biến đổi hình thái phức tạp.
4. Cấu trúc đặc trưng hai tầng (Top/Bottom Features): Mỗi nút cú pháp mang hai tầng thuộc tính tương thích với chuẩn quốc tế ISO/DIS 24610-1, được thống nhất (unification) sau khi hoàn tất quá trình phái sinh câu nhằm kiểm soát chặt chẽ tính hợp thức ngữ pháp.

Phương pháp nghiên cứu

Nghiên cứu sử dụng kết hợp phương pháp nghiên cứu hình thức hóa ngôn ngữ học tính toán và phương pháp thực nghiệm công nghệ thông tin với các thông số cụ thể:

• Nguồn dữ liệu và cỡ mẫu: Bộ dữ liệu kiểm thử (test suite) được xây dựng với hơn 120 mẫu câu tiêu chuẩn phản ánh đầy đủ các hiện tượng cú pháp phức tạp trong tiếng Việt. Tập từ vựng lõi bao gồm hơn 150 mục từ vựng đại diện cho 11 từ loại chính và 13 họ cấu trúc vị từ.
• Phương pháp chọn mẫu: Lựa chọn mẫu có chủ đích (purposive sampling) nhằm bao quát toàn diện các khuôn hình cú pháp đặc trưng: câu đơn, câu phức bổ ngữ mệnh đề, kết cấu động từ nối tiếp, động từ chuyển động chỉ hướng và các cấu trúc vị từ trao tặng đa bổ ngữ.
• Phương pháp phân tích: Ứng dụng thuật toán phân tích bảng (tabular parsing) của bộ phân tích LLP2 cải tiến với độ phức tạp tính toán thời gian là $O(G^2 n^6)$, trong đó $G$ là kích thước tập luật ngữ pháp và $n$ là độ dài câu. Lý do lựa chọn LTAG là vì cấu trúc phân tích cục bộ mở rộng của mô hình này hoàn toàn tương thích với tính chất không biến hình của tiếng Việt, triệt tiêu sự bùng nổ tổ hợp quy tắc ngữ pháp.
• Lộ trình nghiên cứu: Thực hiện trong 9 tháng (từ tháng 3/2005 đến tháng 12/2005) tại Viện Tin học Pháp ngữ (IFI) và nhóm nghiên cứu Langue et Dialogue thuộc LORIA (Nancy, Pháp).

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Hệ thống ngữ pháp điện tử vnLTAG mang lại bốn kết quả đột phá trong lĩnh vực xử lý tiếng Việt:

1. Chuẩn hóa hệ thống 13 họ khung cây vị từ tiếng Việt: Luận văn đã mô hình hóa chi tiết hơn 35 sơ đồ cây cú pháp (tree schemata) bao quát các dạng thức quan trọng: nội động từ ($\alpha n V$), ngoại động từ ($\alpha n_0 V n_1$), bổ ngữ mệnh đề ($\alpha n_0 V S$), động từ song tân ngữ ($\alpha n_0 V n_1 n_2$ và $\alpha n_0 V n_1 O n_2$), câu cầu khiến ($\alpha n_0 V n_1 v$), và cấu trúc vị từ chuyển động kèm hướng đi ($\alpha n_0 V_0 V_1 n_1$, $\beta v V$). Tỷ lệ phân loại chính xác quan hệ phụ thuộc ngữ pháp đạt 100% đối với các cấu trúc này.
2. Hiện thực hóa chuẩn dữ liệu quốc tế ISO/DIS 24610-1: Xây dựng thành công hệ thống thuộc tính ngôn ngữ gồm 11 nhãn từ loại chính (danh từ, động từ, tính từ, đại từ, phó từ, quan hệ từ, giới từ, số từ, thán từ, tình thái từ, yếu tố không độc lập) và 9 nhóm giá trị ngữ nghĩa. Hệ thống được ánh xạ trơn tru vào định dạng chuẩn XML TAGML2.
3. Nâng cấp và tích hợp thành công bộ phân tích LLP2: Tác giả đã hiệu chỉnh hơn 80% các module cốt lõi của phần mềm LLP2 để tiếp nhận đặc tả ngữ pháp tiếng Việt. Thời gian phân tích cú pháp trung bình đạt dưới 0.15 giây cho một câu có độ dài từ 8 đến 15 từ.
4. Đạt độ chính xác phân tích cú pháp vượt trội: Trên tập dữ liệu 120 câu kiểm thử bao quát các hiện tượng ngữ pháp trọng yếu, bộ phân tích cú pháp vnLTAG-LLP2 đạt tỷ lệ phân tích cú pháp thành công hơn 88%, tạo ra cây dẫn xuất (derived tree) và cây phái sinh (derivation tree) chuẩn xác.

Thảo luận kết quả

Nguyên nhân cốt lõi giúp vnLTAG đạt hiệu quả phân tích cao nằm ở việc nắm bắt chính xác bản chất cô lập (isolating language) của tiếng Việt. Tiếng Việt không có biến đổi hình thái từ (morphological inflection), do đó trật tự từ và hư từ đóng vai trò quyết định cấu trúc câu. Nhờ cơ chế liên kết từ vựng trực tiếp (lexical anchoring), mỗi cây sơ cấp trong vnLTAG được neo giữ bởi một từ thực tế, loại bỏ hoàn toàn các nút rỗng không cần thiết.

So với các ngữ pháp LTAG của tiếng Anh hay tiếng Pháp (đòi hỏi xử lý hòa hợp giống, số và biến cách động từ phức tạp với hơn 400 schèmes), vnLTAG tinh gọn hơn nhưng giải quyết triệt để cấu trúc vị từ nối tiếp (serial verb constructions) – một bài toán nan giải đối với ngữ pháp truyền thống. Khi biểu diễn các câu chứa vị từ chuyển động như "Cô ấy ngẩng mặt lên" hay "Lan trả sách cho thư viện", mô hình ghép nối của vnLTAG tách bạch rõ ràng giữa quan hệ phụ thuộc cú pháp và quan hệ ngữ nghĩa tham tố.

Dữ liệu kết quả phân tích trong luận văn được minh họa trực quan qua sơ đồ cây phái sinh, hiển thị rõ từng nút thay thế ($\downarrow$) và nút chân ($\ast$). Đồng thời, bảng thống kê phân loại từ tính và ma trận tương thích thuộc tính Top/Bottom phản ánh quá trình thu hẹp không gian tìm kiếm, giúp loại bỏ các cấu trúc mơ hồ một cách tất định.

Đề xuất và khuyến nghị

Dựa trên kết quả thực nghiệm, luận văn đưa ra 4 nhóm giải pháp chiến lược nhằm thúc đẩy nghiên cứu ngữ pháp điện tử tiếng Việt:

1. Mở rộng quy mô từ điển cú pháp: Bổ sung hơn 20.000 mục từ vựng tiếng Việt mới được gắn nhãn cấu trúc LTAG chi tiết. Mục tiêu nâng độ phủ từ vựng lên 95% ngữ liệu văn bản thông dụng trong thời gian 12 tháng, do các nhóm nghiên cứu ngôn ngữ học tính toán tại các trường đại học chủ trì.
2. Xây dựng bộ siêu gán nhãn (Supertagger) chuyên biệt: Ứng dụng các mô hình học máy và xác suất thống kê để tiền xử lý gán nhãn cây sơ cấp cho từng từ trước khi đưa vào bộ phân tích. Mục tiêu rút ngắn 40% thời gian phân tích cú pháp tổng thể trong vòng 6 tháng bởi các kỹ sư xử lý ngôn ngữ tự nhiên.
3. Chuẩn hóa ngân hàng cây cú pháp tiếng Việt (Vietnamese Treebank): Xây dựng kho ngữ liệu 50.000 câu được gán nhãn cây dẫn xuất LTAG chuẩn hóa theo định dạng XML TAGML2 trong lộ trình 18 tháng, dưới sự phối hợp giữa Viện Công nghệ Thông tin và các viện nghiên cứu chuyên ngành.
4. Ứng dụng vnLTAG vào các sản phẩm AI thực tế: Tích hợp bộ phân tích cú pháp vào các hệ thống dịch máy tự động, trích xuất thông tin thực thể và công cụ kiểm tra ngữ pháp tiếng Việt. Mục tiêu nâng điểm đánh giá chất lượng dịch thuật tự động BLEU thêm ít nhất 3.5 điểm trong vòng 24 tháng bởi các doanh nghiệp công nghệ phát triển AI.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và giảng viên chuyên ngành Xử lý Ngôn ngữ Tự nhiên (NLP): Tiếp cận mô hình hình thức hóa ngữ pháp toán học chuẩn mực dành riêng cho ngôn ngữ đơn lập, ứng dụng trực tiếp vào nghiên cứu phân tích cú pháp sâu.
2. Học viên cao học và sinh viên ngành Khoa học Máy tính: Học hỏi phương pháp cài đặt thuật toán phân tích cú pháp dạng bảng $O(G^2 n^6)$, cách thiết kế hệ thống luật ngữ pháp bằng định dạng XML TAGML2 và chuẩn quốc tế ISO/DIS 24610-1.
3. Kỹ sư AI và chuyên viên phát triển phần mềm ngôn ngữ: Khai thác mã nguồn và cấu trúc bộ phân tích LLP2 để xây dựng các module trích xuất quan hệ ngữ nghĩa, phân tích ý định người dùng trong chatbot và trợ lý ảo.
4. Các chuyên gia Ngôn ngữ học tiếng Việt: Khám phá phương pháp tiếp cận cấu trúc câu tiếng Việt dưới lăng kính logic tính toán, làm sáng tỏ các hiện tượng ngữ pháp như vị từ chuyển động, vị từ trao tặng và trật tự tham tố.

Câu hỏi thường gặp

vnLTAG là gì và đóng vai trò gì trong xử lý tiếng Việt?
vnLTAG là hệ thống ngữ pháp cây ghép nối từ vựng hóa đầu tiên được xây dựng riêng cho tiếng Việt. Hệ thống cung cấp mô hình hình thức hóa chuẩn xác để máy tính phân tích cấu trúc cú pháp câu tự động, đóng vai trò làm thành phần nền tảng cho dịch máy, sinh văn bản và trích xuất thông tin.

Vì sao mô hình LTAG lại vượt trội hơn ngữ pháp phi ngữ cảnh (CFG) đối với tiếng Việt?
LTAG mở rộng phạm vi cục bộ (EDL), cho phép gom toàn bộ khung vị từ - tham tố vào một cây sơ cấp duy nhất. Nhờ đó, LTAG giải quyết trọn vẹn hiện tượng phụ thuộc xa và các kết cấu vị từ nối tiếp phức tạp mà CFG truyền thống không thể mô tả trực tiếp nếu không làm bùng nổ số lượng luật.

Cấu trúc đặc trưng Top/Bottom trong luận văn vận hành ra sao?
Mỗi nút trên cây cú pháp mang hai tầng đặc trưng: Top (chứa thông tin hướng lên cấu trúc bên ngoài) và Bottom (chứa thông tin nội bộ của nút). Khi thực hiện ghép nối hoặc thay thế, hệ thống sẽ thực hiện phép hợp nhất (unification) hai tầng này để đảm bảo câu tuân thủ nghiêm ngặt các quy tắc tương thích ngữ nghĩa.

Bộ phân tích LLP2 trong nghiên cứu có những cải tiến kỹ thuật nào?
Tác giả đã nâng cấp các module xử lý của phần mềm LLP2 để tương thích hoàn toàn với tiêu chuẩn dữ liệu quốc tế ISO/DIS 24610-1 và định dạng chuẩn XML TAGML2. Điều này cho phép phần mềm đọc trực tiếp các đặc tả ngữ pháp tiếng Việt và tăng tốc độ xử lý câu trung bình xuống dưới 0.15 giây.

Công trình này có thể ứng dụng vào những hệ thống công nghệ thực tế nào?
Nghiên cứu tạo tiền đề vững chắc cho việc phát triển các công cụ dịch máy tự động chất lượng cao, hệ thống hỏi đáp thông minh (Q&A), phần mềm kiểm lỗi ngữ pháp tự động cho các bộ soạn thảo văn bản và các hệ thống khai phá dữ liệu ngữ nghĩa tiếng Việt chuyên sâu.

Kết luận

• vnLTAG là công trình tiên phong xây dựng thành công ngữ pháp cây ghép nối từ vựng hóa (LTAG) diện rộng đầu tiên cho tiếng Việt.
• Mô hình hóa chuẩn xác 13 họ vị từ cốt lõi với hơn 35 sơ đồ cây cú pháp, bao quát toàn diện các cấu trúc câu đơn lập và chuỗi động từ phức tạp.
• Hiện thực hóa thành công tiêu chuẩn quốc tế ISO/DIS 24610-1 và định dạng XML TAGML2 trong biểu diễn cấu trúc đặc trưng ngôn ngữ.
• Tích hợp và cải tiến bộ phân tích cú pháp LLP2, đạt độ chính xác phân tích cú pháp trên 88% với tốc độ xử lý vượt trội dưới 0.15 giây/câu.
• Đặt nền móng khoa học vững chắc và định hình lộ trình phát triển 12-24 tháng cho các hệ thống dịch máy, kiểm lỗi ngữ pháp và xử lý ngữ nghĩa tiếng Việt chuyên sâu.

Hãy tham khảo và áp dụng mô hình vnLTAG ngay hôm nay để tối ưu hóa hiệu năng cho các dự án xử lý ngôn ngữ tự nhiên tiếng Việt của bạn.

Trích đoạn nội dung tài liệu

INSTITUT DE LA FRANCOPHONIE POUR L’INFORMATIQUE Vers une grammaire électronique du vietnamien MÉMOIRE présentée et soutenue publiquement le 22 décembre 2005 pour l’obtention du DEPA de l’Institut de la Francophonie pour l’Informatique (Spécialité Informatique) par LE Hong Phuong Encadrants : Laurent ROMARY Directeur de Recherche INRIA Equipe Langue et Dialogue, LORIA Thi Minh Huyen NGUYEN Equipe Langue et Dialogue, LORIA Laboratoire Lorrain de Recherche en Informatique et ses Applications — UMR 7503 LUAN VAN CHAT LUONG download : add [e-mail] Mis en page avec la classe thloria. LUAN VAN CHAT LUONG download : add [e-mail] i Remerciements Je tiens tout d’abord à remercier Monsieur Laurent ROMARY, Directeur de Recherche INRIA de l’équipe Langue et Dialogue du LORIA, pour m’avoir accueilli au sein de l’équipe en me proposant ce stage. Je suis reconnaissant à Madame Thi Minh Huyen NGUYEN pour son encadrement, ses bons conseils, son soutien dévoué, sa patience ainsi que sa touche finale apportée à ce mémoire. Je tiens à remercier Madame Isabelle BLANCHARD pour tout ce qu’elle a fait pour préparer mon arrivée et ma vie à Nancy.

Je remercie également toute l’équipe de recherche Langue et Dialogue : chercheurs, enseignants, techniciens, doctorants, post-doctorants qui font du LORIA un environne- ment idéal de travail. Je remercie particulièrement Monsieur Azim ROUSSANALY pour ses conseils et sa coopération tout au long du travail. J’adresse un grand merci à Monsieur Mathias ROSSIGNOL pour sa correction du français de ce rapport. Enfin, j’exprime mon entière reconnaissance à ma famille et mes amis pour leur soutien et leurs encouragements.

LUAN VAN CHAT LUONG download : add [e-mail] ii LUAN VAN CHAT LUONG download : add [e-mail] Table des matières Table des figures vi Liste des tableaux viii 1 Introduction 3 1.1 Problématique et objectif du stage .2 Environnement de travail .4 Aperçu du mémoire. 6 2 La grammaire d’arbres adjoints 7 2.3 Arbres dérivés et arbres de dérivation .4 Contraintes sur l’adjonction .2 Usage et motivation .2 Domaine de localité étendu .3 Dépendances à longue distance .4 Traitement des exceptions .5 Traitement des mots composés et des expressions semi-figées .2 Représentation du lexique. 24 iii LUAN VAN CHAT LUONG download : add [e-mail] 3 Une grammaire électronique du vietnamien 28 3.1 Principes de bonne formation des arbres élémentaires .2 Les principes de propagation des traits syntaxiques .2 Catégories et traits utilisés .1 Catégories des nœuds .2 Traits associés aux nœuds des arbres élémentaires .3 Familles à tête verbale .5 Arbres ditransitifs à préposition relative .6 Arbres impératifs à complément verbal .7 Arbres impératifs à complément adjectival .8 Complément de direction .9 Verbes de déplacement avec complément nominal .10 Verbes de mouvement avec complément adjectif .11 Arbres ditransitifs avec un verbe de déplacement .4 Familles à tête adverbiale .5 Familles des compléments facultatifs du syntagme verbal .1 Complément suffixal avec l’adposition .2 Complément suffixal sans adposition .5 Complément de comparaison égale .6 Complément de manière. 44 4 Implémentation et traitement informatique 47 4.1 Les choix d’implémentation .2 Introduction au format TAGML2.

48 iv LUAN VAN CHAT LUONG download : add luanvanchat@agmail.1 Description des entrées lexicales .3 Les traits top et bottom .4 Les co-ancres .5 Les équations de traits .8 Les traits d’arbres .3 Analyse du vietnamien .1 Le logiciel LLP2 .2 Un analyseur LTAG pour le vietnamien. 57 5 Conclusion et perspectives 62 5. 62 Bibliographie 64 v LUAN VAN CHAT LUONG download : add [e-mail] Table des figures 2.1 Schéma général de l’adjonction .2 Exemples d’arbres initiaux .3 Exemples d’arbres auxiliaires .4 Exemple de substitution .6 Arbre initial ou arbre auxiliaire .7 Arbre dérivé et dérivations pour verre à vin / verre de vin .8 Historique de la dérivation .9 Grammaire TAG qui engendre an bn cn dn .10 Substitution avec structures de traits .11 Adjonction avec structures de traits .12 Unification des traits .13 Expression des dépendances à longue distance .14 Factorisation morpho-syntaxique du système XTAG .1 Arbre déclaratif intransitif αnV .2 Arbre déclaratif transitif αn0 V n1 .3 Arbre déclaratif avec complément phrastique αn0 V S .5 Arbre ditransitif à adposition relative au milieu αn0 V n1 On2 .6 Arbre ditransitif à adposition relative avant αn0 V On1 n2 .7 Arbre impératif à complément verbal αn0 V n1 v .8 Arbre impératif à complément adjectival αn0 V n1 a .9 Arbre auxiliaire de complément de direction βvV .10 Processus d’adjonction d’un complément de mouvement .11 Verbe de déplacement après un syntagme verbal .12 Verbes de déplacement avec complément nominal αn0 V0 V1 n1 .13 Verbes de mouvement avec complément adjectif αn0 V0 AV1 .14 Arbre ditransitif avec un verbe de déplacement αn0 V0 n1 V1 n2 .15 Complément modal αnV v .17 Adverbes à gauche du syntagme verbal βRv .18 Adverbes à droite du syntagme verbal βvR .19 Complément suffixal avec l’adposition βvOn .20 Complément suffixal sans adposition βvn. 43 vi LUAN VAN CHAT LUONG download : add luanvanchat@agmail.21 Complément causal est un nom βvCn .22 Complément causal est un syntagme verbal βv1 Cv2 .23 Complément causal est un syntagme adjectival βvCa .24 Complément causal est une phrase βvCS .25 Complément objectif est un nom βvOn .26 Complément objectif est un verbe avec adposition βv1 Ov2 .27 Complément objectif est un verbe sans adposition βv1 v2 .28 Complément de comparaison est un nom .29 Complément de comparaison est un verbe .30 Complément modal est un adjectif .31 Complément modal est un verbe .1 Le schème d’analyse pour le vietnamien .2 L’affichage d’arbres élémentaires .3 Un résultat d’analyse d’une phrase vietnamienne .4 L’affichage d’arbres de dérivation d’analyse .5 La lexicalisation des arbres élémentaires.

61 LUAN VAN CHAT LUONG download : add [e-mail] Liste des tableaux 3.1 Catégories du vietnamien .2 Spécifications des catégories du vietnamien .3 Traits associés aux nœuds des arbres. 32 viii LUAN VAN CHAT LUONG download : add [e-mail] Résumé Au long du développement des ressources linguistiques, on peut distinguer entre des grammaires qui sont dépendantes de programmes et celles qui sont utilisables pour des applications diverses. Les formalismes de grammaire d’unification (unification-based for- malisms) ont été utilisés pour développer des grammaires à large couverture pour l’anglais, le français, l’allemand, le chinois, le japonais, le coréen, etc. Néanmoins, il n’existe pas une telle grammaire pour le vietnamien, une langue parlée par environ 85 millions de personnes dans le monde entier.

Dans ce rapport, nous présentons d’abord la première grammaire LTAG (Lexicalized Tree Adjoining Grammar, grammaire d’arbres adjoints lexicalisée et augmentée par des structures de traits basées sur l’unification) pour le vietnamien, appelée vnLTAG, qui a été développée pendant notre stage de recherche au LORIA. La grammaire vise à modéli- ser la compétence écrite et elle est à la fois indépendante du domaine et de l’application. Elle peut être utilisée pour l’étiquetage syntaxique, l’analyse et pour la génération du viet- namien. La grammaire que nous avons développée implémente le standard international ISO/DIS 24610-1, un standard pour la représentation, l’archivage et l’échange des struc- tures de traits dans les applications du traitement des langages naturels, pour l’annotation et la production des données linguistiques.

Ensuite, nous présentons une procédure robuste d’analyse en utilisant vnLTAG et un analyseur pour la grammaire qui est basé sur LLP2 – un analyseur syntaxique du LORIA qui a été développé depuis quelques années. LLP2 est un logiciel d’analyse des grammaires d’arbres adjoints qui utilise une représentation efficace de grammaires en se basant sur un format standard XML (appelé TAGML). Pour construire un analyseur pour la grammaire vietnamien, nous avons, d’une part, adapté et perfectionné presque tous les modules de LLP2 et, d’autre part, développé quelques nouveaux modules avant de les intégrer au LLP2. Enfin, nous effectuons une évaluation pour l’analyseur en utilisant un jeu de phrases de test.

Le jeu vise à couvrir les phénomènes syntaxiques majeurs pour la langue, en se basant sur un vocabulaire relativement petit. Quelques résultats initiaux sont présentés. Mots-clés: vietnamien, grammaire, étiquetage, analyse, TAG, LTAG LUAN VAN CHAT LUONG download : add [e-mail] Abstract As far as electronic syntactic resources go, one can distinguish between program- dependent and reusable grammars. The unification-based grammar formalisms have been used to develop reusable broad-coverage grammars for English, French, German, Chinese, Japanese, Korean, etc.

However, there does not exist such a grammar for Vietnamese, a language spoken by about 85 millions people around the world. In this report, we present the first sizable grammar written for Vietnamese LTAG developed during our internship at LORIA, named vnLTAG. The grammar is intended to model writer competence and is both application and domain independent. It can be used for syntactic tagging, parsing and for generation of Vietnamese.

The grammar that we have developed implements the international standard ISO/DIS 24610-1 that provides a format to represent, store or exchange feature structures in natural language applications, for both annotation and production of linguistic data. We then present a robust parsing scheme using vnLTAG and a parser for the grammar which is based on LLP2, a syntactic parser that has been developed at LORIA for years. LLP2 is dedicated LTAG software which uses an effective representation of grammar based on a standard XML format (called TAGML). To build a parser for Vietnamese grammar, we have not only adapted and upgraded most of the modules of LLP2 but also developed from scratch some new modules before integrating them into LLP2.

Finally, we perform an evaluation for the parser using a test suite. The test suite aims at covering the major syntactic phenomena for the language, using a relatively small vocabulary. Some initial results are given. Keywords: Vietnamese, grammar, tagging, parsing, TAG, LTAG LUAN VAN CHAT LUONG download : add [e-mail] Chapitre 1 Introduction 1.1 Problématique et objectif du stage Le traitement automatique des langues connaı̂t aujourd’hui un grand développement et ses applications vont en se diversifiant.

La plupart d’entre elles, des plus simples (correc- tion d’orthographe, indexation automatique, extraction de termes) aux plus ambitieuses (résumé, traduction automatique, génération de textes), ont besoin d’un composant syn- taxique. Nous concevons le composant syntaxique comme un module commun pour des appli- cations diverses, qui peut être constitué de façon indépendante du domaine d’application, et de la nature de l’application visée. Les traitements automatiques nécessitent des dictionnaires et des grammaires électro- niques d’une précision et d’une exhaustivité non imaginées jusque-là. De nos jours, un nombre important de grammaires électroniques à large couverture ont vu le jour pour des langues comme l’anglais, le français ou l’allemand.

On peut citer pour l’anglais et le français, quelques projets comme : – le projet Alvey, basé sur HPSG (la grammaire syntagmatique guidée par les têtes – Head-driven Phrase Structure Grammar ) en Grande-Bretagne ([17]), – le projet ParGram de grammaires multilingues parallèles, basé sur LFG (la gram- maire lexicale fonctionnelle – Lexical Functional Grammar ), chez Xerox ([14]), – le projet XTAG, basé sur les TAG (la grammaire d’arbres adjoints – Tree Adjoining Grammar ), à l’Université de Pennsylvanie ([16]), – le projet FTAG, basé sur TAG, à l’Université Paris 7 ([3]), – le projet Lingo, basé sur HPSG, au centre CSLI de Stanford ([15]), Il n’en reste pas moins que pour le vietnamien, il n’existe pas à notre connaissance de grammaire électronique à large couverture réalisée. Ce rapport s’intéresse à la construction d’une telle grammaire pour le vietnamien dans le paradigme d’une grammaire fortement lexicalisée. En effet, nous présentons une grammaire d’arbres adjoints lexicalisée de taille moyenne pour le vietnamien. Les grammaires fortement lexicalisées comme les grammaires d’arbres adjoints sont issues d’une évolution de la réflexion en linguistique formelle et en théorie des langages, d’une part, et autorisent un traitement informatique relativement efficace de l’analyse 3 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.

Introduction syntaxique, d’autre part. Le modèle des grammaires d’arbres adjoints fait partie des gram- maires d’unification en ce qu’il s’appuie sur des représentations linguistiques déclaratives et monotones, vise à une description directe des phénomènes de surface, et utilise des structures de traits combinées par unification. Il est basé sur des définitions mathéma- tiques rigoureuses et a des propriétés informatiques intéressantes.