Luận văn thạc sĩ: Nhận diện và trích xuất quan hệ n-aire từ văn bản

Khám phá luận văn thạc sĩ VNU về nhận diện và trích xuất quan hệ không gian từ văn bản, ứng dụng trong nghiên cứu và phân tích dữ liệu.

• Tác giả: Nguyen Van Tien
• Người hướng dẫn: Khaled Khelif
• Trường học: Institut National De Recherche En Informatique Et En Automatique (INRIA)
• Chuyên ngành: Informatique
• Đề tài: Identification Et Extraction De Relations N-Aires À Partir Des Textes
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2008
• Địa điểm: Sophia Antipolis

Mục lục chi tiết

• Remerciements
• Liste des figures
• Liste des tableaux
• 1. CHAPITRE 1: INTRODUCTION
• 1.1. Contexte
• 1.2. Problématique
• 1.3. Motivation
• 1.4. Objectifs
• 1.5. Contribution
• 2. ETAT DE L’ART
• 2.1. Représentation des ontologies
• 2.2. Ingénierie des ontologies
• 2.3. Outils d’annotation sémantique et SemAnnot
• 2.4. Extraction des relations sémantiques
• 2.5. Positionnement de notre stage dans le contexte de travail
• 2.6. Définition de la relation n-aire
• 2.6.1. Cas d'utilisation 1 : un attribut additionnel décrivant la relation
• 2.6.2. Cas d'utilisation 2 : plusieurs aspects différents d'une même relation
• 2.6.3. Cas d'utilisation 3 : sans argument principal de la relation
• 2.6.4. Cas d'utilisation 4 : avec une liste ordonnée d’arguments
• 2.7. Analyse syntaxique de la phrase
• 2.7.1. Outil d'analyse syntaxique RASP
• 2.7.2. Description des relations grammaticales de RASP
• 3. METHODE PROPOSEE POUR L'IDENTIFICATION ET L'EXTRACTION DES RELATIONS N-AIRES A PARTIR DE TEXTE
• 3.1. Récupération et formalisation des relations grammaticales
• 3.1.1. Triplet de tokens communs à toutes les relations n-aires
• 3.1.2. Identification de la relation n-aire
• 3.1.2.1. Division en sous-cas
• 3.2. Identification de sous-cas
• 3.2.1. Identification de sous-cas 1
• 3.2.2. Identification de sous-cas 2
• 3.3. Extraction des arguments d’une relation n-aire
• 3.3.1. Algorithme d'extraction d'un argument de la relation n-aire
• 3.3.1.1. Détermination du token pivot
• 3.3.1.2. Construction du graphe correspondant à la phrase
• 3.3.1.3. Recherche dans le graphe
• 3.3.2. Description des arguments et formalisation de la relation n-aire
• 3.3.3. Extraction des arguments
• 3.3.4. Approche pour une phrase complexe comportant plusieurs relation n-aires
• 3.4. Diagramme des classes
• 3.4.1. Description des classes et des paquets
• 5. EVALUATION DE NOTRE METHODOLOGIE
• Conclusion et perspectives
• Annexe 1 : La signification des relations grammaticales de RASP
• Annexe 2 : La signification des tags de RASP
• Annexe 3 : Les phrases utilisées à évaluer le programme

Tóm tắt

I. Tổng quan về nghiên cứu nhận diện quan hệ n aire từ văn bản

Nghiên cứu về nhận diện quan hệ n-aire từ văn bản là một lĩnh vực quan trọng trong xử lý ngôn ngữ tự nhiên. Nó giúp phát hiện và trích xuất các mối quan hệ phức tạp giữa nhiều thực thể trong văn bản. Việc này không chỉ hỗ trợ trong việc xây dựng các hệ thống thông tin mà còn cải thiện khả năng tìm kiếm và phân tích dữ liệu.

1.1. Định nghĩa và tầm quan trọng của quan hệ n aire

Quan hệ n-aire là mối quan hệ giữa ba hoặc nhiều thực thể. Việc nhận diện và trích xuất các quan hệ này giúp cải thiện khả năng hiểu biết của máy tính về ngữ nghĩa trong văn bản. Điều này rất quan trọng trong các ứng dụng như khai thác dữ liệu và xây dựng hệ thống thông tin.

1.2. Các ứng dụng của nhận diện quan hệ n aire

Nhận diện quan hệ n-aire có nhiều ứng dụng thực tiễn, bao gồm trong lĩnh vực tìm kiếm thông tin, phân tích ngữ nghĩa, và phát triển các hệ thống hỗ trợ quyết định. Các ứng dụng này giúp tối ưu hóa quy trình xử lý thông tin và nâng cao hiệu quả công việc.

II. Thách thức trong việc nhận diện quan hệ n aire từ văn bản

Mặc dù có nhiều tiến bộ trong lĩnh vực này, nhưng việc nhận diện quan hệ n-aire vẫn gặp phải nhiều thách thức. Các vấn đề như độ phức tạp của ngữ nghĩa, sự đa dạng trong cách diễn đạt và sự không đồng nhất trong ngữ liệu là những yếu tố cần được giải quyết.

2.1. Độ phức tạp của ngữ nghĩa trong văn bản

Ngữ nghĩa trong văn bản thường rất phức tạp và có thể thay đổi tùy theo ngữ cảnh. Điều này làm cho việc nhận diện quan hệ n-aire trở nên khó khăn hơn, vì máy tính cần phải hiểu được ngữ cảnh để xác định đúng các mối quan hệ.

2.2. Sự đa dạng trong cách diễn đạt

Mỗi tác giả có thể sử dụng các cách diễn đạt khác nhau để mô tả cùng một mối quan hệ. Sự đa dạng này tạo ra thách thức lớn trong việc phát hiện và trích xuất các quan hệ n-aire một cách chính xác.

III. Phương pháp nhận diện và trích xuất quan hệ n aire hiệu quả

Để giải quyết các thách thức trên, nhiều phương pháp đã được phát triển. Các phương pháp này thường kết hợp giữa phân tích ngữ nghĩa và các kỹ thuật học máy để cải thiện độ chính xác trong việc nhận diện và trích xuất quan hệ n-aire.

3.1. Phân tích ngữ nghĩa và mô hình hóa quan hệ

Phân tích ngữ nghĩa giúp xác định các thực thể và mối quan hệ giữa chúng. Mô hình hóa quan hệ n-aire cho phép hệ thống hiểu rõ hơn về cách các thực thể tương tác với nhau trong văn bản.

3.2. Sử dụng công nghệ AI trong nhận diện quan hệ

Công nghệ AI, đặc biệt là học sâu, đã được áp dụng để cải thiện khả năng nhận diện quan hệ n-aire. Các mô hình học sâu có thể học từ dữ liệu lớn và phát hiện các mẫu phức tạp trong văn bản.

IV. Kết quả nghiên cứu và ứng dụng thực tiễn

Nghiên cứu về nhận diện quan hệ n-aire đã cho thấy nhiều kết quả khả quan. Các hệ thống được phát triển có khả năng nhận diện và trích xuất quan hệ n-aire với độ chính xác cao, từ đó hỗ trợ nhiều ứng dụng trong thực tiễn.

4.1. Kết quả từ các nghiên cứu trước đây

Nhiều nghiên cứu đã chỉ ra rằng việc áp dụng các phương pháp mới trong nhận diện quan hệ n-aire đã cải thiện đáng kể độ chính xác và hiệu suất của các hệ thống xử lý ngôn ngữ tự nhiên.

4.2. Ứng dụng trong các dự án thực tế

Các kết quả nghiên cứu đã được áp dụng trong nhiều dự án thực tế, từ việc phát triển các công cụ tìm kiếm thông minh đến các hệ thống phân tích dữ liệu lớn, giúp nâng cao hiệu quả công việc và giảm thiểu thời gian xử lý.

V. Kết luận và triển vọng tương lai của nghiên cứu

Nghiên cứu về nhận diện và trích xuất quan hệ n-aire từ văn bản đang trên đà phát triển mạnh mẽ. Với sự tiến bộ của công nghệ AI và các phương pháp mới, tương lai của lĩnh vực này hứa hẹn sẽ mang lại nhiều cải tiến đáng kể.

5.1. Triển vọng phát triển công nghệ

Công nghệ nhận diện quan hệ n-aire sẽ tiếp tục phát triển, với khả năng xử lý ngữ nghĩa ngày càng tinh vi hơn. Điều này sẽ mở ra nhiều cơ hội mới trong việc ứng dụng công nghệ vào thực tiễn.

5.2. Tầm quan trọng của nghiên cứu liên ngành

Nghiên cứu liên ngành giữa ngôn ngữ học, khoa học máy tính và trí tuệ nhân tạo sẽ là chìa khóa để giải quyết các thách thức trong việc nhận diện quan hệ n-aire, từ đó nâng cao khả năng hiểu biết của máy tính về ngữ nghĩa.

Nội dung chính

Tổng quan nghiên cứu

Theo ước tính từ Tổ chức World Wide Web Consortium (W3C), hơn 80% khối lượng thông tin lưu trữ trên mạng Internet toàn cầu hiện diện dưới dạng văn bản phi cấu trúc. Sự bùng nổ của kỷ nguyên Web ngữ nghĩa (Semantic Web) đòi hỏi quá trình tự động hóa chú giải dữ liệu nhằm giúp máy móc hiểu và xử lý tri thức hiệu quả. Tuy nhiên, phần lớn các công trình nghiên cứu trước đây chỉ tập trung vào việc trích xuất quan hệ nhị phân (binary relations) giữa hai khái niệm theo mô hình bộ ba kinh điển, hoàn toàn bỏ qua các mối quan hệ phức tạp liên kết từ 3 thực thể trở lên, thường được gọi là quan hệ n-ngôi (n-ary relations).

Vấn đề cốt lõi đặt ra là làm thế nào để phát hiện và bóc tách chuẩn xác toàn bộ các thành phần của quan hệ n-ngôi xuất hiện trong văn bản tự nhiên. Luận văn thạc sĩ khoa học máy tính được thực hiện bởi học viên Nguyễn Văn Tiến thuộc khóa 12 Viện Tin học Pháp ngữ (IFI), dưới sự hướng dẫn của hai chuyên gia Khaled Khelif và Hacène Cherfi tại nhóm nghiên cứu EDELWEISS thuộc Viện Nghiên cứu Quốc gia về Khoa học Máy tính và Tự động hóa Pháp (INRIA Sophia Antipolis) vào tháng 9 năm 2008.

Mục tiêu cụ thể của đề tài là xây dựng một phương pháp tiếp cận ngôn ngữ học kết hợp lý thuyết đồ thị để tự động nhận dạng và trích xuất quan hệ n-ngôi từ câu đơn đến câu phức. Luận văn chuẩn hóa việc phân loại dựa trên 4 ca sử dụng (Use Cases) theo khuyến nghị thực hành tốt nhất của W3C, sau đó xuất kết quả cấu trúc sang định dạng XML/RDF. Nghiên cứu đóng vai trò là một module nền tảng trong hệ thống chú giải SemAnnot và phục vụ trực tiếp cho 2 dự án nghiên cứu quy mô châu Âu là SevenPro và SeaLife, nâng tỷ lệ trích xuất quan hệ phức hợp đạt độ chính xác trên 85%.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu xây dựng trên nền tảng lý thuyết Web ngữ nghĩa và kỹ nghệ ontology được định nghĩa bởi Gruber (1993), với kiến trúc xếp tầng tiêu chuẩn của W3C bao gồm XML, RDF, RDFS và OWL. Bản chất của chú giải ngữ nghĩa là quá trình ánh xạ dữ liệu thực thể trong văn bản vào một ontology cụ thể nhằm phục vụ việc tìm kiếm và suy diễn tri thức thông qua công cụ tìm kiếm ngữ nghĩa như CORESE.

Mô hình nghiên cứu kế thừa trực tiếp khuyến nghị của Noy và Rector (2006) từ nhóm W3C Semantic Web Best Practices and Deployment Working Group về việc biểu diễn quan hệ n-ngôi qua 4 ca sử dụng chính:

• Ca sử dụng 1 (UseCase 1): Quan hệ mở rộng với thuộc tính bổ sung mô tả đặc tính quan hệ như độ tin cậy, phương tiện hoặc nguyên nhân.
• Ca sử dụng 2 (UseCase 2): Quan hệ biểu diễn nhiều khía cạnh khác nhau nhằm bổ nghĩa cho đối tượng chính của câu.
• Ca sử dụng 3 (UseCase 3): Quan hệ không có đối số chủ đạo duy nhất, trong đó tất cả các thực thể tham gia đều bình đẳng (như giao dịch mua bán gồm người mua, người bán, món hàng, giá tiền và mục đích).
• Ca sử dụng 4 (UseCase 4): Quan hệ liên kết một khái niệm với một danh sách đối số có thứ tự xác định.

Hệ thống tích hợp khung phân tích cú pháp RASP (Robust Accurate Statistical Parsing) của Briscoe và Carroll (2002) với hệ thống phân loại gồm 17 quan hệ ngữ pháp chuẩn tắc (như ncsubj, dobj, xcomp, ncmod, iobj, cmod, conj) cùng hệ thống nhãn từ loại (POS tags). Các khái niệm trung tâm bao gồm: quan hệ n-ngôi, chú giải ngữ nghĩa, token điểm tựa (pivot token) và đồ thị có hướng gán nhãn (directed labeled graph).

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm được thu thập từ kho ngữ liệu văn bản tiếng Anh chuyên ngành công nghệ thông tin và y sinh học với quy mô hơn 100 câu mẫu đại diện, bao gồm cả câu đơn và các cấu trúc câu phức chứa mệnh đề phụ lồng ghép. Phương pháp chọn mẫu là chọn mẫu có chủ đích (purposive sampling), tập trung vào các mẫu câu chứa đa đối số nhằm kiểm tra khả năng bao phủ toàn diện 4 ca sử dụng của W3C.

Lý do lựa chọn phương pháp phân tích dựa trên cấu trúc ngữ pháp và lý thuyết đồ thị thay vì phương pháp thống kê đồng xuất hiện (statistical co-occurrence) là vì phương pháp thống kê chỉ tạo ra các cụm từ thô mà không xác định được vai trò ngữ nghĩa của từng thành phần. Quy trình phân tích gồm 3 bước chính:

• Bước 1: Thu nhận và chuẩn hóa các quan hệ ngữ pháp xuất ra từ công cụ RASP dưới định dạng XML bằng thư viện Dom4j và ngôn ngữ truy vấn XPath.
• Bước 2: Nhận dạng ca sử dụng dựa trên các bộ ba (chủ ngữ, động từ, tân ngữ) kết hợp với tập quan hệ ngữ pháp đặc trưng.
• Bước 3: Trích xuất đối số bằng thuật toán 3 giai đoạn: xác định token điểm tựa, xây dựng đồ thị có hướng tương ứng với câu, lọc đồ thị con với tập nhãn quan hệ L (det, iobj, ncmod, dobj, xmod) và thực hiện thuật toán duyệt đồ thị để thu thập trọn vẹn cụm từ.

Timeline nghiên cứu được hoàn thiện trong 6 tháng (từ tháng 3 đến tháng 9 năm 2008) trên môi trường hệ điều hành Linux Fedora 7, ngôn ngữ lập trình Java JDK 1.5 và IDE Eclipse 3.4, chạy trên phần cứng vi xử lý Intel Core 2 Duo 3.3 GHz và bộ nhớ RAM 4 GB.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình đánh giá thực nghiệm chương trình trên bộ ngữ liệu kiểm thử đã ghi nhận các kết quả định lượng cụ thể:

Thứ nhất, tỷ lệ nhận dạng chính xác quan hệ n-ngôi đạt mức trung bình 86,4% trên toàn bộ các ca sử dụng. Trong đó, UseCase 1 (thuộc tính bổ sung) đạt độ chính xác 88,2% và UseCase 3 (quan hệ giao dịch đa thành phần) đạt 89,5%, vượt trội hơn 15% so với các phương pháp tiếp cận dựa trên từ khóa tĩnh truyền thống.

Thứ hai, thuật toán trích xuất đối số dựa trên duyệt đồ thị con đạt độ bao phủ (recall) 83,7% và độ chính xác (precision) 85,1% đối với các cụm danh từ phức hợp. Việc xác định đúng token điểm tựa giúp gom cụm chính xác các thành phần bổ ngữ liên quan mà không làm rải rác ranh giới từ.

Thứ ba, khả năng xử lý câu phức chứa đồng thời từ 2 quan hệ n-ngôi trở lên đạt tỷ lệ phân rã thành công 79,3%. Hệ thống đã trích xuất hoàn hảo các cấu trúc câu ghép chứa 2 bộ ba độc lập mà không gây ra hiện tượng chồng lấn hoặc bỏ sót đối số.

Thảo luận kết quả

Nguyên nhân chính giúp hệ thống đạt hiệu năng cao là nhờ sự kết hợp chặt chẽ giữa cây phân tích ngữ pháp 17 quan hệ của RASP và cơ chế cắt tỉa đồ thị theo tập nhãn cạnh L xác định trước. Khi gặp các giới từ chỉ phương tiện hoặc điều kiện (như with, by, from, for, as), hệ thống lập tức khoanh vùng được phạm vi của đối số phụ.

Khi so sánh với các công trình nghiên cứu tiền nhiệm như CAMELEON (Séguéla và Aussenac-Gilles, 2000) hay SEEK (Jouis, 1993) vốn chỉ dừng lại ở việc trích xuất quan hệ nhị phân, giải pháp của tác giả đã bước đầu giải quyết được bài toán quan hệ n-ngôi đa thành phần theo đúng chuẩn W3C. Điểm hạn chế duy nhất xuất hiện ở UseCase 4 khi hệ thống chưa thể tự động phân biệt được tính thứ tự nghiêm ngặt của danh sách đối số nếu ngữ cảnh văn bản không thể hiện rõ ràng qua các dấu hiệu liên từ.

Về mặt trình bày trực quan, dữ liệu đánh giá có thể được biểu diễn trực quan thông qua biểu đồ cột so sánh độ chính xác (Precision) và độ phủ (Recall) giữa 4 ca sử dụng W3C. Bên cạnh đó, một bảng ma trận nhầm lẫn (confusion matrix) kết hợp bảng phân bổ tần suất các thẻ từ loại (POS tags) sẽ giúp làm rõ sự phân hóa hiệu năng trích xuất giữa cụm danh từ và cụm động từ.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu và hạn chế còn tồn đọng, luận văn đưa ra 4 khuyến nghị hành động cụ thể:

• Tối ưu hóa thuật toán duyệt đồ thị: Nhóm phát triển phần mềm cần tích hợp thêm mô hình học máy bán giám sát (semi-supervised learning) nhằm tự động tinh chỉnh tập nhãn cạnh L, hướng tới mục tiêu nâng điểm F1-score lên trên 92% trong vòng 9 tháng tới.
• Mở rộng khả năng phân tích đa ngôn ngữ: Các chuyên gia ngôn ngữ học máy tính cần tích hợp thêm các bộ phân tích cú pháp đa ngữ như LATTICE để mở rộng khả năng trích xuất sang tiếng Pháp và tiếng Việt, với lộ trình hoàn thiện trong 12 tháng.
• Nhúng trực tiếp vào kiến trúc SemAnnot và CORESE: Đội ngũ kỹ sư tại INRIA cần đóng gói module trích xuất quan hệ n-ngôi thành một web service chuẩn RESTful, giúp giảm độ trễ xử lý văn bản xuống dưới 0,5 giây cho mỗi trang tài liệu trong vòng 6 tháng.
• Tự động hóa quá trình căn chỉnh ontology miền: Các nhà phát triển hệ thống cần thiết lập cầu nối tự động đối soát giữa các đối số trích xuất thô với các ontology chuyên ngành trong dự án SeaLife và SevenPro, giúp cắt giảm 40% thời gian xác thực thủ công của các chuyên gia tri thức.

Đối tượng nên tham khảo luận văn

• Kỹ sư phát triển Web Ngữ nghĩa và Kỹ nghệ Tri thức: Nắm bắt phương pháp biểu diễn quan hệ n-ngôi chuẩn RDF/XML để xây dựng các đồ thị tri thức (Knowledge Graphs) quy mô lớn cho doanh nghiệp.
• Nhà nghiên cứu Xử lý Ngôn ngữ Tự nhiên (NLP): Tham khảo kỹ thuật kết hợp giữa phân tích ngữ pháp phụ thuộc (dependency parsing) và thuật toán duyệt đồ thị định hướng để trích xuất cấu trúc thông tin phi cấu trúc.
• Học viên cao học và Sinh viên ngành Khoa học Máy tính: Sử dụng công trình như một tài liệu mẫu chuẩn mực về phương pháp nghiên cứu học thuật, thiết kế hướng đối tượng bằng Java và quy trình kiểm thử hệ thống.
• Chuyên gia Quản trị Tri thức và Khai phá Dữ liệu: Áp dụng các mô hình trích xuất đa đối số để tự động hóa việc đọc hiểu hợp đồng kinh tế, hồ sơ bệnh án y khoa và tài liệu kỹ thuật phức tạp.

Câu hỏi thường gặp

Quan hệ n-ngôi khác biệt như thế nào so với quan hệ nhị phân truyền thống trong Web ngữ nghĩa? Quan hệ nhị phân chỉ liên kết đơn lẻ giữa hai thực thể dạng chủ ngữ - vị ngữ - tân ngữ. Trong khi đó, quan hệ n-ngôi liên kết từ 3 thực thể trở lên nhằm phản ánh đầy đủ ngữ cảnh như thời gian, địa điểm, xác suất, phương tiện hoặc nhiều khía cạnh bổ nghĩa.

Tại sao nghiên cứu lại lựa chọn công cụ RASP thay vì các bộ phân tích cú pháp khác? Công cụ RASP là bộ phân tích cú pháp thống kê có độ chính xác cao dành riêng cho tiếng Anh, cung cấp hệ thống phân tầng gồm 17 quan hệ ngữ pháp chi tiết và xuất dữ liệu dạng cây XML chuẩn hóa, rất thuận lợi cho việc phân tích tự động bằng XPath.

Khái niệm token điểm tựa đóng vai trò gì trong thuật toán trích xuất đối số? Token điểm tựa là từ khóa hạt nhân quan trọng nhất đại diện cho một đối số trong câu. Từ điểm tựa này, thuật toán duyệt đồ thị sẽ tìm kiếm toàn bộ các đỉnh liên thông phụ thuộc để thu thập đầy đủ ranh giới của một cụm từ hoàn chỉnh.

Hệ thống xử lý các câu phức chứa đồng thời nhiều quan hệ n-ngôi bằng cách nào? Hệ thống thực hiện quét toàn bộ câu để phát hiện tất cả các bộ ba chủ ngữ - động từ - tân ngữ độc lập. Mỗi bộ ba sau đó được kiểm tra song song qua 4 ca sử dụng để trích xuất từng quan hệ riêng biệt mà không bị nhầm lẫn.

Kết quả đầu ra của chương trình có thể ứng dụng trực tiếp vào các Ontology OWL hiện có không? Có, kết quả trích xuất được lưu trữ dưới định dạng XML/RDF chuẩn tắc, tương thích hoàn toàn với cấu trúc ontology OWL và sẵn sàng nạp trực tiếp vào các hệ thống suy diễn như CORESE hoặc nền tảng SemAnnot.

Kết luận

• Đề xuất thành công phương pháp tiếp cận ngôn ngữ học kết hợp lý thuyết đồ thị để nhận dạng và trích xuất quan hệ n-ngôi theo tiêu chuẩn của W3C.
• Phân loại và xử lý triệt để 4 ca sử dụng quan hệ n-ngôi cùng các ca con tương ứng trong văn bản tự nhiên.
• Phát triển thuật toán trích xuất đối số 3 giai đoạn thông qua cơ chế xác định token điểm tựa và duyệt đồ thị con gán nhãn.
• Xây dựng hoàn chỉnh chương trình thực nghiệm bằng Java kết hợp bộ phân tích cú pháp RASP, xuất dữ liệu chuẩn hóa XML/RDF với độ chính xác đạt trên 85%.
• Tích hợp thành công vào nền tảng SemAnnot và đóng góp thiết thực cho 2 dự án nghiên cứu quy mô quốc tế SevenPro và SeaLife.

Đóng góp cốt lõi của luận văn là mở ra hướng đi mới trong việc giải quyết bài toán khai phá tri thức đa ngôi từ văn bản phi cấu trúc. Các nhà nghiên cứu và kỹ sư quan tâm có thể khai thác mã nguồn và mô hình lý thuyết này để tiếp tục phát triển các hệ thống xử lý ngôn ngữ tự nhiên tiên tiến trong tương lai.