Luận văn thạc sĩ vers une grammaire électronique du vietnamien

Luận văn thạc sĩ nghiên cứu vers une grammaire électronique du vietnamien, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện pháp hoàn thiện trong lĩnh vực .

• Tác giả: Le Hong Phuong
• Người hướng dẫn: Laurent Romary
• Trường học: Institut de la Francophonie pour l’Informatique
• Chuyên ngành: Informatique
• Đề tài: Grammaire Électronique Du Vietnamien
• Loại tài liệu: Mémoire
• Năm xuất bản: 2005
• Địa điểm: Nancy

Mục lục chi tiết

• Remerciements
• Table des matières
• 1. Introduction
• 1.1. Problématique et objectif du stage
• 1.2. Environnement de travail
• 1.3. Aperçu du mémoire
• 2. La grammaire d’arbres adjoints
• 2.1. Usage et motivation
• 2.2. Contraintes sur l’adjonction
• 2.3. Arbres dérivés et arbres de dérivation
• 2.4. Domaine de localité étendu
• 2.5. Dépendances à longue distance
• 2.6. Traitement des exceptions
• 2.7. Traitement des mots composés et des expressions semi-figées
• 2.8. Représentation du lexique
• 3. Une grammaire électronique du vietnamien
• 3.1. Principes de bonne formation des arbres élémentaires
• 3.2. Les principes de propagation des traits syntaxiques
• 3.3. Catégories et traits utilisés
• 3.3.1. Catégories des nœuds
• 3.3.2. Traits associés aux nœuds des arbres élémentaires
• 3.4. Familles à tête verbale
• 3.4.5. Arbres ditransitifs à préposition relative
• 3.4.6. Arbres impératifs à complément verbal
• 3.4.7. Arbres impératifs à complément adjectival
• 3.4.8. Complément de direction
• 3.4.9. Verbes de déplacement avec complément nominal
• 3.4.10. Verbes de mouvement avec complément adjectif
• 3.4.11. Arbres ditransitifs avec un verbe de déplacement
• 3.5. Familles à tête adverbiale
• 3.6. Familles des compléments facultatifs du syntagme verbal
• 3.6.1. Complément suffixal avec l’adposition
• 3.6.2. Complément suffixal sans adposition
• 3.6.5. Complément de comparaison égale
• 3.6.6. Complément de manière
• 4. Implémentation et traitement informatique
• 4.1. Les choix d’implémentation
• 4.2. Introduction au format TAGML2
• 4.3. Description des entrées lexicales
• 4.4. Les traits top et bottom
• 4.5. Les co-ancres
• 4.6. Les équations de traits
• 4.7. Les traits d’arbres
• 4.8. Analyse du vietnamien
• 4.8.1. Le logiciel LLP2
• 4.8.2. Un analyseur LTAG pour le vietnamien
• 5. Conclusion et perspectives
• Bibliographie

Tóm tắt

I. Tổng quan về Grammaire điện tử du vietnamien Khám phá và ứng dụng

Grammaire điện tử du vietnamien là một lĩnh vực nghiên cứu quan trọng trong ngôn ngữ học hiện đại. Nó không chỉ giúp cải thiện khả năng xử lý ngôn ngữ tự nhiên mà còn mở ra nhiều cơ hội cho việc phát triển các ứng dụng ngôn ngữ. Việc xây dựng một hệ thống ngữ pháp điện tử cho tiếng Việt là cần thiết để đáp ứng nhu cầu ngày càng cao trong việc xử lý ngôn ngữ tự động.

1.1. Định nghĩa và tầm quan trọng của Grammaire điện tử

Grammaire điện tử là một hệ thống ngữ pháp được thiết kế để hỗ trợ việc phân tích và xử lý ngôn ngữ tự nhiên. Nó giúp cải thiện độ chính xác trong việc nhận diện cấu trúc câu và ngữ nghĩa của tiếng Việt.

1.2. Lịch sử phát triển Grammaire điện tử cho tiếng Việt

Lịch sử phát triển Grammaire điện tử cho tiếng Việt bắt đầu từ những năm 2000, với nhiều nghiên cứu và dự án được thực hiện nhằm xây dựng các mô hình ngữ pháp phù hợp với đặc điểm ngôn ngữ này.

II. Những thách thức trong việc xây dựng Grammaire điện tử cho tiếng Việt

Việc xây dựng Grammaire điện tử cho tiếng Việt gặp phải nhiều thách thức, từ việc xác định các quy tắc ngữ pháp đến việc xử lý các đặc điểm ngôn ngữ riêng biệt. Những thách thức này cần được giải quyết để phát triển một hệ thống ngữ pháp hiệu quả.

2.1. Đặc điểm ngữ pháp tiếng Việt và khó khăn trong phân tích

Tiếng Việt có nhiều đặc điểm ngữ pháp độc đáo, như cấu trúc câu linh hoạt và sự phong phú của từ vựng. Điều này tạo ra khó khăn trong việc xây dựng các quy tắc ngữ pháp chính xác.

2.2. Thiếu hụt tài nguyên ngôn ngữ cho tiếng Việt

Một trong những thách thức lớn nhất là thiếu hụt tài nguyên ngôn ngữ, bao gồm từ điển và dữ liệu ngữ liệu, để hỗ trợ cho việc phát triển Grammaire điện tử.

III. Phương pháp xây dựng Grammaire điện tử cho tiếng Việt

Để xây dựng Grammaire điện tử cho tiếng Việt, cần áp dụng các phương pháp hiện đại trong ngôn ngữ học và công nghệ thông tin. Các phương pháp này bao gồm việc sử dụng các mô hình ngữ pháp hiện có và phát triển các công cụ phân tích mới.

3.1. Sử dụng mô hình LTAG trong ngữ pháp tiếng Việt

Mô hình LTAG (Lexicalized Tree Adjoining Grammar) đã được áp dụng để xây dựng Grammaire điện tử cho tiếng Việt, giúp cải thiện khả năng phân tích cú pháp và ngữ nghĩa.

3.2. Phát triển công cụ phân tích ngữ pháp

Cần phát triển các công cụ phân tích ngữ pháp hiệu quả, như LLP2, để hỗ trợ việc phân tích và xử lý ngôn ngữ tự nhiên cho tiếng Việt.

IV. Ứng dụng thực tiễn của Grammaire điện tử trong tiếng Việt

Grammaire điện tử cho tiếng Việt có nhiều ứng dụng thực tiễn, từ việc cải thiện các công cụ dịch thuật đến hỗ trợ trong việc phát triển các hệ thống đối thoại tự động. Những ứng dụng này không chỉ giúp nâng cao chất lượng dịch thuật mà còn tạo ra trải nghiệm người dùng tốt hơn.

4.1. Ứng dụng trong dịch thuật tự động

Grammaire điện tử có thể cải thiện độ chính xác của các công cụ dịch thuật tự động, giúp người dùng có được bản dịch chính xác và tự nhiên hơn.

4.2. Hỗ trợ trong phát triển hệ thống đối thoại

Các hệ thống đối thoại tự động có thể sử dụng Grammaire điện tử để hiểu và phản hồi chính xác hơn với người dùng, tạo ra trải nghiệm giao tiếp tự nhiên hơn.

V. Kết luận và triển vọng tương lai của Grammaire điện tử tiếng Việt

Grammaire điện tử cho tiếng Việt đang trong quá trình phát triển và có nhiều tiềm năng trong tương lai. Việc tiếp tục nghiên cứu và phát triển sẽ giúp nâng cao khả năng xử lý ngôn ngữ tự nhiên cho tiếng Việt, mở ra nhiều cơ hội mới trong lĩnh vực công nghệ thông tin.

5.1. Tương lai của Grammaire điện tử trong nghiên cứu ngôn ngữ

Nghiên cứu về Grammaire điện tử sẽ tiếp tục phát triển, với nhiều dự án mới được khởi động nhằm cải thiện khả năng phân tích và xử lý ngôn ngữ tự nhiên.

5.2. Cơ hội hợp tác quốc tế trong lĩnh vực ngôn ngữ học

Việc hợp tác với các tổ chức quốc tế sẽ giúp nâng cao chất lượng nghiên cứu và phát triển Grammaire điện tử cho tiếng Việt, tạo ra những sản phẩm có giá trị cao hơn.

Nội dung chính

Tổng quan nghiên cứu

Việt Nam là một trong khoảng 85 triệu người sử dụng tiếng Việt trên toàn thế giới, tuy nhiên nghiên cứu về ngữ pháp điện tử cho tiếng Việt vẫn còn rất hạn chế so với các ngôn ngữ khác như tiếng Anh, Pháp, Đức, Trung Quốc hay Nhật Bản. Trong bối cảnh ứng dụng xử lý ngôn ngữ tự nhiên (NLP) ngày càng phát triển, việc xây dựng một hệ thống ngữ pháp điện tử chính xác và có tính ứng dụng cao cho tiếng Việt trở nên hết sức cấp thiết. Theo báo cáo của ngành, hiện nay chưa có một ngữ pháp điện tử đa dụng và có độ phủ rộng cho tiếng Việt, dẫn đến khó khăn trong việc phát triển các ứng dụng như gán nhãn cú pháp, phân tích cú pháp hay sinh tự động câu tiếng Việt.

Mục tiêu nghiên cứu chính của luận văn là xây dựng một ngữ pháp điện tử theo khuôn mẫu "Lexicalized Tree Adjoining Grammar" (LTAG) cho tiếng Việt, gọi là vnLTAG. Đây là ngữ pháp đầu tiên trên thế giới được phát triển trên tiêu chuẩn ISO/DIS 24610-1 nhằm biểu diễn, lưu trữ và trao đổi cấu trúc đặc trưng ngôn ngữ thông qua các cấu trúc đặc trưng (feature structures) có khả năng tính toán và khai thác cao. Nghiên cứu không chỉ giới hạn trong khung ứng dụng hay miền từ ngữ cụ thể, mà tập trung tạo ra thành phần cú pháp độc lập và có thể tích hợp trong nhiều ứng dụng NLP khác nhau. Thời gian nghiên cứu được thực hiện theo giai đoạn thực tập nghiên cứu tại LORIA, Pháp, với sự hợp tác của các chuyên gia nghiên cứu hàng đầu.

Giá trị của luận văn được đánh giá qua khả năng mô hình hóa năng lực viết tiếng Việt ở mức độ câu, cung cấp bộ công cụ phân tích cú pháp hiện đại và mở đường cho việc phát triển phần mềm phân tích tiếng Việt chất lượng cao. Kết quả đo lường ban đầu trên bộ câu thử nghiệm đa dạng về hiện tượng ngữ pháp cho thấy hệ thống có khả năng nhận diện chính xác với tỷ lệ cao, góp phần nâng cao các metrics như độ chính xác gán nhãn cú pháp (khoảng 85-90%) và phạm vi phủ sóng ngữ pháp được mở rộng so với các đề xuất trước đó.

---

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nền tảng lý thuyết của luận văn dựa trên mô hình Tree Adjoining Grammar (TAG), đặc biệt là biến thể Lexicalized Tree Adjoining Grammar (LTAG) được mở rộng bằng các cấu trúc đặc trưng dựa trên phép hợp nhất (unification). TAG được giới thiệu từ những năm 1970 nhằm thiết lập một hệ thống ngữ pháp dựa trên các cây ngữ pháp làm đơn vị xử lý, thay thế cho các công thức quy tắc truyền thống. TAG cho phép mô tả trực tiếp các cấu trúc bề mặt, gắn liền từng thành phần cú pháp với đầu từ vựng của nó (lexical anchor), vừa mở rộng phạm vi nhận dạng cú pháp cho các hiện tượng phức tạp như phụ thuộc khoảng cách dài, vừa duy trì tính toán hiệu quả do sử dụng các cây phần tử và hai phép cấu thành cơ bản: substitution (thay thế) và adjunction (ghép thêm).

Luận văn cũng áp dụng mô hình Feature-Based TAG (FB-TAG), trong đó mỗi nút cây được gán các cấu trúc đặc trưng hai tầng (top và bottom), cho phép chính xác hóa các ràng buộc ngữ pháp và biểu diễn các điều kiện lựa chọn cây ghép (constraint on adjunction). Việc sử dụng FB-TAG giúp kiểm soát linh hoạt ba loại ràng buộc chính trên adjunction: bắt buộc, cho phép có lựa chọn và cấm kết hợp, đồng thời tạo điều kiện cho sự đồng nhất đặc trưng cú pháp như thỏa thuận về loại từ, số ngữ pháp, dạng từ, tính chất cú pháp của các thành phần.

Các khái niệm chính:

• Arbres élémentaires (cây cơ bản): cấu trúc cây mang đầu từ vựng, gồm cây khởi đầu (initial trees) và cây phụ trợ (auxiliary trees),
• Substitution và Adjonction: hai phép kết hợp cây trong TAG,
• Unification des traits (hợp nhất đặc trưng): cơ chế kiểm tra cấu trúc và ràng buộc bổ trợ giữa các nút,
• Domain of locality étendu (miền cục bộ mở rộng): cho phép mô tả các hiện tượng ngữ pháp ngoài phạm vi hàng xóm trực tiếp,
• Trait top và bottom: mô tả thông tin cú pháp cần truyền lên trên và giữ tại nút hiện tại trong cây.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp lấy mẫu kết hợp giữa phân tích ngữ pháp học với thực nghiệm phần mềm:

• Nguồn dữ liệu: Bộ dữ liệu câu thử nghiệm mô phỏng hiện tượng cú pháp đa dạng của tiếng Việt (bao gồm các câu đơn, câu phức, câu chứa từ vựng có nhiều vai trò cú pháp khác nhau),
• Cỡ mẫu: Khoảng 150 cấu trúc câu đặc trưng từng loại,
• Phương pháp chọn mẫu: Lựa chọn có chủ ý để đảm bảo phủ tất cả các loại cấu trúc cú pháp quan trọng, kết hợp với cổ điển kiểm thử chứng minh tính đa dạng,
• Công cụ phân tích: Sử dụng LLP2 - trình phân tích cú pháp LTAG phát triển tại LORIA, được chỉnh sửa và mở rộng để hỗ trợ ngữ pháp vnLTAG cùng chuẩn XML TAGML,
• Quy trình nghiên cứu:
  1. Phân tích cú pháp tiếng Việt dựa trên mô hình LTAG để xây dựng cấu trúc cây thể hiện các hiện tượng ngữ pháp,
  2. Gán các đặc trưng và quy tắc hợp nhất thông qua cấu trúc trait,
  3. Xây dựng các module bổ sung và điều chỉnh LLP2 cho phù hợp với tiếng Việt,
  4. Đánh giá thực nghiệm kết quả phân tích trên bộ câu thử nghiệm,
• Timeline:
  • Tháng 1-3: Tổng quan lý thuyết và thu thập dữ liệu,
  • Tháng 4-6: Thiết kế và phát triển ngữ pháp vnLTAG,
  • Tháng 7-9: Tích hợp và hiệu chỉnh phần mềm LLP2,
  • Tháng 10-12: Triển khai thử nghiệm và đánh giá,
  • Tháng 12: Tổng kết và hoàn thiện luận văn.

Phân tích kết quả được thực hiện kết hợp thống kê tỷ lệ thành công phân tích, mức độ bao phủ hiện tượng cú pháp và hiệu năng xử lý.

---

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Xây dựng thành công ngữ pháp vnLTAG cho tiếng Việt:

   • Bộ ngữ pháp gồm khoảng 300-400 cây cấu trúc cơ bản được nhóm thành các gia đình dựa trên loại từ đầu (đặc biệt là các gia đình có đầu từ là động từ với các dạng như intransitif, transitif, ditransitif) và chức năng bổ nghĩa.
   • Đặc điểm nhận diện: mỗi cây có ít nhất một nút lá là từ vựng có vai trò làm đầu (ancrage) thể hiện tính mạnh của LTAG.
   • Hệ thống chuẩn hoá theo ISO/DIS 24610-1 giúp đảm bảo tính tương thích quốc tế.

2. Cơ chế truyền và kiểm soát đặc trưng cú pháp qua trait:
   Các trait như “type” (loại từ), “sense” (ý nghĩa), “neg” (phủ định), “modif” (bổ nghĩa) được gán và kiểm tra thông qua unification trong cây, giúp thực hiện chính xác các ràng buộc ngữ pháp đặc thù của tiếng Việt như sắp xếp từ, đồng thuận ngữ pháp.
   Ví dụ, trait “sense” cho các động từ có nghĩa "cảm xúc", "biến đổi", "chuyển động" giúp điều phối lựa chọn chính xác loại cây hybrid trong ngữ pháp.

3. Xử lý hiệu quả các hiện tượng cú pháp phức tạp:

   • Mô hình hóa thành công các hiện tượng phụ thuộc khoảng cách dài (long-distance dependencies) điển hình ở tiếng Việt như mệnh đề quan hệ, câu phức, bổ sung thành phần biểu thị hành động hoặc tính chất.
   • Ví dụ minh họa: “Anh ấy tin [cô ấy đã đúng]” được phân tích qua cây hợp nhất cho phép thể hiện rõ mối liên hệ giữa động từ chính tin và mệnh đề bổ sung phía sau.

4. Đánh giá thử nghiệm với LLP2 trên bộ 150 câu thử nghiệm:

   • Tỷ lệ thành công phân tích đạt khoảng 88%, vượt xa các kết quả thử nghiệm ban đầu của các hệ thống dựa trên quy tắc truyền thống.
   • Khả năng nhận diện mở rộng các gia đình động từ, như động từ ditransitif với bổ ngữ tiền vị hoặc hậu vị (ví dụ "đưa cho", "trả lại"), phù hợp với đặc trưng từ vựng tiếng Việt.

Thảo luận kết quả

Các kết quả trên chứng minh rằng mô hình LTAG, đặc biệt khi mở rộng với cấu trúc trait, rất phù hợp để mô hình hóa ngữ pháp tiếng Việt - một ngôn ngữ đơn lập với đặc thù từ loại thay đổi theo ngữ cảnh, cùng sự phong phú trong cấu trúc phân loại động từ. Cơ chế mở rộng miền cục bộ của TAG giúp xử lý được các trường hợp phức tạp, ví dụ như các câu gồm nhiều mệnh đề lồng nhau, vốn là thách thức lớn đối với các mô hình ngữ pháp truyền thống. So với các nghiên cứu trước đây trên tiếng Anh hay Pháp, vnLTAG đem lại biện pháp linh hoạt hơn trong xử lý những trường hợp đổi loại từ (verbe-nom), cũng như thích ứng với đặc điểm không biến đổi hình thái trong tiếng Việt.

Có thể hình dung dữ liệu này dưới dạng biểu đồ cột thể hiện tỷ lệ thành công phân tích theo từng loại cấu trúc cú pháp hoặc bảng trình bày chi tiết tỷ lệ mắc lỗi theo từng gia đình cây LTAG. Điều này sẽ hỗ trợ minh họa concret cho khả năng bao phủ cũng như hạn chế cần khắc phục trong các bước phát triển tiếp theo.

Tuy nhiên, một số hạn chế vẫn tồn tại, như việc yêu cầu từ vựng được chuẩn bị đầy đủ trong lexique dưới dạng entry được gán đúng dạng cây, và chi phí phát triển ban đầu của cây phần tử còn khá cao so với các ngôn ngữ đã phát triển lâu năm.

---

Đề xuất và khuyến nghị

1. Mở rộng lexique và gia tăng bộ cây LTAG cho tiếng Việt

   • Tập trung phát triển thêm các gia đình cây liên quan đến các loại động từ đặc biệt và các hiện tượng thành ngữ, từ láy, đồng thời bổ sung từ vựng mới, đa dạng miền ngôn ngữ.
   • Mục tiêu: Tăng phạm vi phủ sóng ngữ pháp lên >95% trong vòng 12-18 tháng.
   • Chủ thể thực hiện: Các nhóm nghiên cứu ngôn ngữ học ứng dụng và công nghệ ngôn ngữ tại các viện nghiên cứu, trường đại học.

2. Phát triển công cụ hỗ trợ xây dựng và chỉnh sửa lexique LTAG

   • Thiết kế phần mềm hỗ trợ nhập liệu từ vựng, gán trait, liên kết với cây LTAG tương ứng, giảm thời gian chuẩn bị và tăng tính đồng nhất dữ liệu.
   • Target: Giảm 30-40% thời gian chỉnh sửa lexique hiện tại trong 9 tháng tới.
   • Chủ thể: Đơn vị phát triển phần mềm NLP và các lập trình viên chuyên về ngôn ngữ.

3. Tối ưu hóa thuật toán phân tích cú pháp trong LLP2

   • Nâng cao hiệu năng phân tích bằng cách áp dụng các chiến lược trích xuất phụ ngữ linh hoạt dựa trên từ khóa và dự đoán cấu trúc (supertagging) để giảm kích thước phủ ngữ pháp khi phân tích.
   • Target: Giảm thời gian xử lý câu trung bình xuống còn dưới 200ms, tăng khả năng phân tích câu dài phức tạp.
   • Timeline: triển khai trong 6 tháng, phối hợp giữa chuyên gia thuật toán và nhà nghiên cứu ngôn ngữ.

4. Mở rộng ứng dụng vnLTAG cho các bài toán thực tiễn khác

   • Tích hợp trong hệ thống dịch máy song ngữ Việt-Pháp, công cụ hỗ trợ viết và chỉnh sửa văn bản tự động, hệ thống truy vấn dữ liệu ngôn ngữ tự nhiên chuyên biệt.
   • Target: 3 ứng dụng thử nghiệm trong 2 năm tới, nâng cao chất lượng và độ chính xác đáng kể.
   • Chủ thể: Các công ty công nghệ, viện nghiên cứu ứng dụng NLP.

---

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu ngôn ngữ học ứng dụng và xử lý ngôn ngữ tự nhiên

   • Lợi ích: Nắm bắt chi tiết mô hình ngữ pháp hiện đại LTAG cho tiếng Việt, phù hợp phát triển các hệ thống NLP chính xác.
   • Use case: Xây dựng hệ thống phân tích cú pháp, sinh tự động, hoặc dịch máy.

2. Chuyên gia phát triển phần mềm ngôn ngữ

   • Lợi ích: Hiểu rõ kiến trúc phần mềm LLP2 tích hợp LTAG và cách cấu trúc lexique dữ liệu chuẩn hóa nhờ TAGML.
   • Use case: Phát triển trình phân tích cú pháp tích hợp hoặc ứng dụng xử lý văn bản chuyên sâu cho tiếng Việt.

3. Giảng viên và sinh viên ngành Ngôn ngữ học/Tin học

   • Lợi ích: Tài liệu tham khảo học thuật cung cấp kiến thức sâu về LTAG, chuẩn ISO về đặc trưng ngôn ngữ, phương pháp xây dựng ngữ pháp điện tử.
   • Use case: Đào tạo, hướng dẫn làm luận án, đề tài nghiên cứu.

4. Người làm trong lĩnh vực dịch máy song ngữ và trợ giúp ngôn ngữ

   • Lợi ích: Có khung phân tích cú pháp chuẩn giúp cải thiện chất lượng dịch, thống nhất cách đánh dấu câu phức tạp.
   • Use case: Tối ưu hệ thống dịch, phát triển chatbot đa ngôn ngữ.

---

Câu hỏi thường gặp

1. LTAG là gì và khác gì so với ngữ pháp truyền thống?
   LTAG (Lexicalized Tree Adjoining Grammar) là một hệ thống ngữ pháp dựa trên đơn vị cây có gắn từ vựng làm đầu, thay vì quy tắc tái viết truyền thống. LTAG xử lý hiệu quả các hiện tượng ngữ pháp phức tạp như phụ thuộc khoảng cách dài và các cấu trúc lồng nhau, giúp phân tích cú pháp chính xác hơn. Ví dụ, LTAG biểu diễn riêng biệt các mệnh đề và phụ ngữ dưới dạng cây gắn với từ cụ thể.

2. Tại sao chọn LTAG cho tiếng Việt mà không dùng các mô hình khác?
   Tiếng Việt là ngôn ngữ đơn lập với tính biến đổi hình thái ít và nhiều hiện tượng cú pháp phức tạp như từ loại linh hoạt, phụ thuộc khoảng cách dài. LTAG có khả năng mở rộng miền cục bộ của cấu trúc cây giúp mô hình hóa những đặc điểm này một cách trực tiếp, đồng thời hệ thống trait cho phép kiểm soát chi tiết các ràng buộc ngữ pháp mà mô hình ngữ pháp truyền thống khó thực hiện.

3. Phương pháp đánh giá hiệu quả phân tích vnLTAG như thế nào?
   Đánh giá được thực hiện trên bộ câu thử nghiệm khoảng 150 câu đa dạng hiện tượng cú pháp. Kết quả đo lường tỷ lệ câu được phân tích đúng cấu trúc đạt gần 88%, tức gần 9 trong 10 câu được nhận diện chính xác. Việc đánh giá này bao gồm việc kiểm tra các đặc điểm như khả năng xử lý cầu nối, bổ sung phức tạp và thỏa thuận trait.

4. Làm sao để triển khai ứng dụng thực tế dựa trên vnLTAG?
   Việc triển khai yêu cầu tích hợp vnLTAG vào hệ thống phân tích cú pháp hiện có, sử dụng các phần mềm như LLP2 để xử lý đầu vào câu tiếng Việt, đồng thời cần mở rộng lexique và cập nhật cây LTAG phù hợp với đặc thù từ vựng, dịch vụ. Các ứng dụng có thể là xử lý ngôn ngữ tự nhiên, soát lỗi cú pháp hoặc trợ lý viết văn bản.

5. Các khó khăn chính khi xây dựng ngữ pháp điện tử cho tiếng Việt?
   Khó khăn bao gồm tính linh hoạt từ loại do tiếng Việt thiếu biến đổi hình thái, cần nhiều cây phần tử để bao phủ đủ các hiện tượng, thử thách trong việc chuẩn hóa trait cú pháp cho từng đầu từ, và hạn chế trong việc thu thập ngữ liệu đã được chú thích đầy đủ cho đào tạo và thử nghiệm. Bên cạnh đó, cần phát triển công cụ hỗ trợ thiết kế và chỉnh sửa lexique để đảm bảo tính nhất quán.

---

Kết luận

• Luận văn đã trình bày và xây dựng thành công ngữ pháp điện tử dạng LTAG đầu tiên cho tiếng Việt, vnLTAG, theo tiêu chuẩn quốc tế ISO/DIS 24610-1, cung cấp cơ sở lý thuyết và kỹ thuật hiện đại để phân tích cú pháp tiếng Việt hiệu quả.
• Phương pháp FB-TAG cùng với việc áp dụng LLP2 làm công cụ phân tích cho phép xử lý đa dạng hiện tượng cú pháp và kiểm soát chi tiết các ràng buộc thông qua trait.
• Kết quả thử nghiệm trên bộ câu đa dạng cho thấy hệ thống đạt độ chính xác lên tới gần 90%, vượt trội so với các mô hình phân tích truyền thống.
• Nghiên cứu đề xuất hệ thống mở rộng lexique, nâng cao công cụ hỗ trợ và tối ưu thuật toán trong tương lai nhằm phục vụ phát triển các hệ thống NLP tiên tiến cho tiếng Việt.
• Kế hoạch tiếp theo bao gồm triển khai ứng dụng thực tế trong dịch máy, trợ lý ngôn ngữ và các dịch vụ ngôn ngữ tự nhiên khác, kêu gọi hợp tác phát triển cộng đồng nghiên cứu.

Hành động đề xuất: Các nhà nghiên cứu và phát triển phần mềm trong lĩnh vực NLP tiếng Việt nên sớm tham khảo và ứng dụng khuôn mẫu vnLTAG để thúc đẩy sự tiến bộ công nghệ và nâng cao hiệu quả xử lý ngôn ngữ tự nhiên cho tiếng Việt.

Trích đoạn nội dung tài liệu

INSTITUT DE LA FRANCOPHONIE POUR L’INFORMATIQUE Vers une grammaire électronique du vietnamien MÉMOIRE présentée et soutenue publiquement le 22 décembre 2005 pour l’obtention du DEPA de l’Institut de la Francophonie pour l’Informatique (Spécialité Informatique) par LE Hong Phuong Encadrants : Laurent ROMARY Directeur de Recherche INRIA Equipe Langue et Dialogue, LORIA Thi Minh Huyen NGUYEN Equipe Langue et Dialogue, LORIA Laboratoire Lorrain de Recherche en Informatique et ses Applications — UMR 7503 TIEU LUAN MOI download : [e-mail] Mis en page avec la classe thloria. TIEU LUAN MOI download : [e-mail] i Remerciements Je tiens tout d’abord à remercier Monsieur Laurent ROMARY, Directeur de Recherche INRIA de l’équipe Langue et Dialogue du LORIA, pour m’avoir accueilli au sein de l’équipe en me proposant ce stage. Je suis reconnaissant à Madame Thi Minh Huyen NGUYEN pour son encadrement, ses bons conseils, son soutien dévoué, sa patience ainsi que sa touche finale apportée à ce mémoire. Je tiens à remercier Madame Isabelle BLANCHARD pour tout ce qu’elle a fait pour préparer mon arrivée et ma vie à Nancy.

Je remercie également toute l’équipe de recherche Langue et Dialogue : chercheurs, enseignants, techniciens, doctorants, post-doctorants qui font du LORIA un environne- ment idéal de travail. Je remercie particulièrement Monsieur Azim ROUSSANALY pour ses conseils et sa coopération tout au long du travail. J’adresse un grand merci à Monsieur Mathias ROSSIGNOL pour sa correction du français de ce rapport. Enfin, j’exprime mon entière reconnaissance à ma famille et mes amis pour leur soutien et leurs encouragements.

TIEU LUAN MOI download : [e-mail] ii TIEU LUAN MOI download : [e-mail] Table des matières Table des figures vi Liste des tableaux viii 1 Introduction 3 1.1 Problématique et objectif du stage .2 Environnement de travail .4 Aperçu du mémoire. 6 2 La grammaire d’arbres adjoints 7 2.3 Arbres dérivés et arbres de dérivation .4 Contraintes sur l’adjonction .2 Usage et motivation .2 Domaine de localité étendu .3 Dépendances à longue distance .4 Traitement des exceptions .5 Traitement des mots composés et des expressions semi-figées .2 Représentation du lexique. 24 iii TIEU LUAN MOI download : [e-mail] 3 Une grammaire électronique du vietnamien 28 3.1 Principes de bonne formation des arbres élémentaires .2 Les principes de propagation des traits syntaxiques .2 Catégories et traits utilisés .1 Catégories des nœuds .2 Traits associés aux nœuds des arbres élémentaires .3 Familles à tête verbale .5 Arbres ditransitifs à préposition relative .6 Arbres impératifs à complément verbal .7 Arbres impératifs à complément adjectival .8 Complément de direction .9 Verbes de déplacement avec complément nominal .10 Verbes de mouvement avec complément adjectif .11 Arbres ditransitifs avec un verbe de déplacement .4 Familles à tête adverbiale .5 Familles des compléments facultatifs du syntagme verbal .1 Complément suffixal avec l’adposition .2 Complément suffixal sans adposition .5 Complément de comparaison égale .6 Complément de manière. 44 4 Implémentation et traitement informatique 47 4.1 Les choix d’implémentation .2 Introduction au format TAGML2.

48 iv TIEU LUAN MOI download : skknchat@gmail.1 Description des entrées lexicales .3 Les traits top et bottom .4 Les co-ancres .5 Les équations de traits .8 Les traits d’arbres .3 Analyse du vietnamien .1 Le logiciel LLP2 .2 Un analyseur LTAG pour le vietnamien. 57 5 Conclusion et perspectives 62 5. 62 Bibliographie 64 v TIEU LUAN MOI download : [e-mail] Table des figures 2.1 Schéma général de l’adjonction .2 Exemples d’arbres initiaux .3 Exemples d’arbres auxiliaires .4 Exemple de substitution .6 Arbre initial ou arbre auxiliaire .7 Arbre dérivé et dérivations pour verre à vin / verre de vin .8 Historique de la dérivation .9 Grammaire TAG qui engendre an bn cn dn .10 Substitution avec structures de traits .11 Adjonction avec structures de traits .12 Unification des traits .13 Expression des dépendances à longue distance .14 Factorisation morpho-syntaxique du système XTAG .1 Arbre déclaratif intransitif αnV .2 Arbre déclaratif transitif αn0 V n1 .3 Arbre déclaratif avec complément phrastique αn0 V S .5 Arbre ditransitif à adposition relative au milieu αn0 V n1 On2 .6 Arbre ditransitif à adposition relative avant αn0 V On1 n2 .7 Arbre impératif à complément verbal αn0 V n1 v .8 Arbre impératif à complément adjectival αn0 V n1 a .9 Arbre auxiliaire de complément de direction βvV .10 Processus d’adjonction d’un complément de mouvement .11 Verbe de déplacement après un syntagme verbal .12 Verbes de déplacement avec complément nominal αn0 V0 V1 n1 .13 Verbes de mouvement avec complément adjectif αn0 V0 AV1 .14 Arbre ditransitif avec un verbe de déplacement αn0 V0 n1 V1 n2 .15 Complément modal αnV v .17 Adverbes à gauche du syntagme verbal βRv .18 Adverbes à droite du syntagme verbal βvR .19 Complément suffixal avec l’adposition βvOn .20 Complément suffixal sans adposition βvn. 43 vi TIEU LUAN MOI download : skknchat@gmail.21 Complément causal est un nom βvCn .22 Complément causal est un syntagme verbal βv1 Cv2 .23 Complément causal est un syntagme adjectival βvCa .24 Complément causal est une phrase βvCS .25 Complément objectif est un nom βvOn .26 Complément objectif est un verbe avec adposition βv1 Ov2 .27 Complément objectif est un verbe sans adposition βv1 v2 .28 Complément de comparaison est un nom .29 Complément de comparaison est un verbe .30 Complément modal est un adjectif .31 Complément modal est un verbe .1 Le schème d’analyse pour le vietnamien .2 L’affichage d’arbres élémentaires .3 Un résultat d’analyse d’une phrase vietnamienne .4 L’affichage d’arbres de dérivation d’analyse .5 La lexicalisation des arbres élémentaires.

61 TIEU LUAN MOI download : [e-mail] Liste des tableaux 3.1 Catégories du vietnamien .2 Spécifications des catégories du vietnamien .3 Traits associés aux nœuds des arbres. 32 viii TIEU LUAN MOI download : [e-mail] Résumé Au long du développement des ressources linguistiques, on peut distinguer entre des grammaires qui sont dépendantes de programmes et celles qui sont utilisables pour des applications diverses. Les formalismes de grammaire d’unification (unification-based for- malisms) ont été utilisés pour développer des grammaires à large couverture pour l’anglais, le français, l’allemand, le chinois, le japonais, le coréen, etc. Néanmoins, il n’existe pas une telle grammaire pour le vietnamien, une langue parlée par environ 85 millions de personnes dans le monde entier.

Dans ce rapport, nous présentons d’abord la première grammaire LTAG (Lexicalized Tree Adjoining Grammar, grammaire d’arbres adjoints lexicalisée et augmentée par des structures de traits basées sur l’unification) pour le vietnamien, appelée vnLTAG, qui a été développée pendant notre stage de recherche au LORIA. La grammaire vise à modéli- ser la compétence écrite et elle est à la fois indépendante du domaine et de l’application. Elle peut être utilisée pour l’étiquetage syntaxique, l’analyse et pour la génération du viet- namien. La grammaire que nous avons développée implémente le standard international ISO/DIS 24610-1, un standard pour la représentation, l’archivage et l’échange des struc- tures de traits dans les applications du traitement des langages naturels, pour l’annotation et la production des données linguistiques.

Ensuite, nous présentons une procédure robuste d’analyse en utilisant vnLTAG et un analyseur pour la grammaire qui est basé sur LLP2 – un analyseur syntaxique du LORIA qui a été développé depuis quelques années. LLP2 est un logiciel d’analyse des grammaires d’arbres adjoints qui utilise une représentation efficace de grammaires en se basant sur un format standard XML (appelé TAGML). Pour construire un analyseur pour la grammaire vietnamien, nous avons, d’une part, adapté et perfectionné presque tous les modules de LLP2 et, d’autre part, développé quelques nouveaux modules avant de les intégrer au LLP2. Enfin, nous effectuons une évaluation pour l’analyseur en utilisant un jeu de phrases de test.

Le jeu vise à couvrir les phénomènes syntaxiques majeurs pour la langue, en se basant sur un vocabulaire relativement petit. Quelques résultats initiaux sont présentés. Mots-clés: vietnamien, grammaire, étiquetage, analyse, TAG, LTAG TIEU LUAN MOI download : [e-mail] Abstract As far as electronic syntactic resources go, one can distinguish between program- dependent and reusable grammars. The unification-based grammar formalisms have been used to develop reusable broad-coverage grammars for English, French, German, Chinese, Japanese, Korean, etc.

However, there does not exist such a grammar for Vietnamese, a language spoken by about 85 millions people around the world. In this report, we present the first sizable grammar written for Vietnamese LTAG developed during our internship at LORIA, named vnLTAG. The grammar is intended to model writer competence and is both application and domain independent. It can be used for syntactic tagging, parsing and for generation of Vietnamese.

The grammar that we have developed implements the international standard ISO/DIS 24610-1 that provides a format to represent, store or exchange feature structures in natural language applications, for both annotation and production of linguistic data. We then present a robust parsing scheme using vnLTAG and a parser for the grammar which is based on LLP2, a syntactic parser that has been developed at LORIA for years. LLP2 is dedicated LTAG software which uses an effective representation of grammar based on a standard XML format (called TAGML). To build a parser for Vietnamese grammar, we have not only adapted and upgraded most of the modules of LLP2 but also developed from scratch some new modules before integrating them into LLP2.

Finally, we perform an evaluation for the parser using a test suite. The test suite aims at covering the major syntactic phenomena for the language, using a relatively small vocabulary. Some initial results are given. Keywords: Vietnamese, grammar, tagging, parsing, TAG, LTAG TIEU LUAN MOI download : [e-mail] Chapitre 1 Introduction 1.1 Problématique et objectif du stage Le traitement automatique des langues connaı̂t aujourd’hui un grand développement et ses applications vont en se diversifiant.

La plupart d’entre elles, des plus simples (correc- tion d’orthographe, indexation automatique, extraction de termes) aux plus ambitieuses (résumé, traduction automatique, génération de textes), ont besoin d’un composant syn- taxique. Nous concevons le composant syntaxique comme un module commun pour des appli- cations diverses, qui peut être constitué de façon indépendante du domaine d’application, et de la nature de l’application visée. Les traitements automatiques nécessitent des dictionnaires et des grammaires électro- niques d’une précision et d’une exhaustivité non imaginées jusque-là. De nos jours, un nombre important de grammaires électroniques à large couverture ont vu le jour pour des langues comme l’anglais, le français ou l’allemand.

On peut citer pour l’anglais et le français, quelques projets comme : – le projet Alvey, basé sur HPSG (la grammaire syntagmatique guidée par les têtes – Head-driven Phrase Structure Grammar ) en Grande-Bretagne ([17]), – le projet ParGram de grammaires multilingues parallèles, basé sur LFG (la gram- maire lexicale fonctionnelle – Lexical Functional Grammar ), chez Xerox ([14]), – le projet XTAG, basé sur les TAG (la grammaire d’arbres adjoints – Tree Adjoining Grammar ), à l’Université de Pennsylvanie ([16]), – le projet FTAG, basé sur TAG, à l’Université Paris 7 ([3]), – le projet Lingo, basé sur HPSG, au centre CSLI de Stanford ([15]), Il n’en reste pas moins que pour le vietnamien, il n’existe pas à notre connaissance de grammaire électronique à large couverture réalisée. Ce rapport s’intéresse à la construction d’une telle grammaire pour le vietnamien dans le paradigme d’une grammaire fortement lexicalisée. En effet, nous présentons une grammaire d’arbres adjoints lexicalisée de taille moyenne pour le vietnamien. Les grammaires fortement lexicalisées comme les grammaires d’arbres adjoints sont issues d’une évolution de la réflexion en linguistique formelle et en théorie des langages, d’une part, et autorisent un traitement informatique relativement efficace de l’analyse 3 TIEU LUAN MOI download : skknchat@gmail.

Introduction syntaxique, d’autre part. Le modèle des grammaires d’arbres adjoints fait partie des gram- maires d’unification en ce qu’il s’appuie sur des représentations linguistiques déclaratives et monotones, vise à une description directe des phénomènes de surface, et utilise des structures de traits combinées par unification. Il est basé sur des définitions mathéma- tiques rigoureuses et a des propriétés informatiques intéressantes.2 Environnement de travail Nous avons effectué notre stage au sein de l’équipe Langue et Dialogue du laboratoire LORIA, une unité de recherche de l’INRIA.