Luận văn thạc sĩ về phát hiện quan hệ ngữ nghĩa nguyên nhân-kết quả từ các văn bản

Tài liệu chuyên sâu Phát hiện quan hệ ngữ nghĩa nguyên nhân-kết quả trong văn bản, phân tích đa chiều, cung cấp kiến thức nền tảng vững chắc cho

• Tác giả: Vũ Bội Hằng
• Người hướng dẫn: PGS.TS Hà Quang Thụy
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Phát hiện quan hệ ngữ nghĩa nguyên nhân-kết quả trong văn bản
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2005
• Địa điểm: Hà Nội

Mục lục chi tiết

• MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN VỀ SEMANTIC WEB
• 1.1. Khái niệm Semantic Web
• 1.2. Các ứng dụng của Sematic Web
• 1.3. Các công nghệ cần thiết cho Semantic Web. XML và Semantic Web
• 1.4. Các ngôn ngữ Ontology cho Semantic Web. Đặc điểm chung của các ngôn ngữ
• 1.5. Kết luận chương 1
• 2. CHƯƠNG 2: QUAN HỆ NGUYÊN NHÂN-KẾT QUẢ VÀ THUẬT TOÁN PHÁT HIỆN QUAN HỆ NGUYÊN NHÂN-KẾT QUẢ
• 2.1. Khái niệm về các mối quan hệ ngữ nghĩa trong ngôn ngữ tự nhiên
• 2.2. Quan hệ nguyên nhân-kết quả
• 2.3. Cấu trúc nguyên nhân-kết quả trong ngôn ngữ của con người
• 2.4. Cấu trúc nguyên nhân-kết quả tường minh. Từ nối chỉ nguyên nhân
• 2.5. Động từ chỉ nguyên nhân. Câu phức với một cặp từ chỉ nguyên nhân
• 2.6. Cấu trúc nguyên nhân không tường minh. Thuật toán khai phá dữ liệu phát hiện quan hệ nguyên nhân-kết quả từ các văn bản
• 2.7. Thuật toán phát hiện quan hệ nguyên nhân-kết quả
• 2.8. Kết luận chương 2
• 3. CHƯƠNG 3: KẾT QUẢ THỬ NGHIỆM THUẬT TOÁN
• 3.1. Định dạng file dữ liệu
• 3.2. Chương trình thử nghiệm. Kết quả thực nghiệm
• 3.3. Kết luận chương 3
• TÀI LIỆU THAM KHẢO
• PHỤ LỤC: Kết quả thực nghiệm với các cặp danh từ có tần suất xuất hiện lớn hơn 4 lần

Tóm tắt

I. Tổng quan về Semantic Web

Chương này giới thiệu về Semantic Web, một khái niệm quan trọng trong việc tổ chức và khai thác thông tin trên Internet. Semantic Web không chỉ là một phiên bản mới của Web mà còn là một cách tiếp cận để làm cho dữ liệu có thể được hiểu và xử lý bởi máy tính. Điều này giúp cải thiện khả năng tìm kiếm và truy cập thông tin. Nguyên nhân dẫn đến sự ra đời của Semantic Web là do sự gia tăng nhanh chóng của thông tin trên Internet, khiến cho việc tìm kiếm trở nên khó khăn hơn. Các công nghệ như XML và Ontology là những thành phần thiết yếu trong việc phát triển Semantic Web. Chương này cũng đề cập đến các ứng dụng của Semantic Web, bao gồm cải thiện khả năng tìm kiếm và phát triển các Agent Internet có khả năng tương tác hiệu quả hơn với thông tin trên Web.

1.1 Khái niệm về Semantic Web

Khái niệm Semantic Web được Tim Berners-Lee định nghĩa là một Web dữ liệu có thể được xử lý trực tiếp hoặc gián tiếp bởi máy tính. Điều này có nghĩa là dữ liệu trên Web không chỉ đơn thuần là thông tin cho con người mà còn có thể được hiểu và khai thác bởi máy tính. Semantic Web sử dụng các công nghệ như XML để định dạng dữ liệu, giúp máy tính có thể truy cập và xử lý thông tin một cách hiệu quả hơn. Việc áp dụng Ontology trong Semantic Web cho phép xác định các mối quan hệ giữa các đối tượng, từ đó tạo ra một mạng lưới thông tin phong phú và dễ dàng truy cập hơn. Điều này không chỉ giúp cải thiện khả năng tìm kiếm mà còn mở ra nhiều cơ hội mới trong việc phát triển các ứng dụng thông minh trên nền tảng Web.

II. Quan hệ nguyên nhân kết quả và thuật toán phát hiện

Chương này đi sâu vào việc phân tích quan hệ ngữ nghĩa giữa nguyên nhân và kết quả trong ngôn ngữ tự nhiên. Quan hệ nguyên nhân-kết quả là một trong những mối quan hệ ngữ nghĩa quan trọng, giúp con người hiểu rõ hơn về các sự kiện và hiện tượng trong cuộc sống. Cấu trúc của quan hệ nguyên nhân-kết quả có thể được thể hiện qua các từ nối và động từ chỉ nguyên nhân. Chương này cũng trình bày một thuật toán phát hiện quan hệ nguyên nhân-kết quả từ các văn bản, dựa trên tần suất xuất hiện của các cặp danh từ trong các câu chứa động từ chỉ nguyên nhân. Việc phát hiện quan hệ ngữ nghĩa này không chỉ có giá trị trong việc xây dựng Ontology mà còn hỗ trợ trong việc khai thác thông tin từ các văn bản một cách hiệu quả.

2.1 Cấu trúc nguyên nhân kết quả trong ngôn ngữ

Cấu trúc nguyên nhân-kết quả trong ngôn ngữ được thể hiện qua nhiều hình thức khác nhau. Các từ nối như 'bởi vì', 'do đó' thường được sử dụng để chỉ ra mối quan hệ này. Động từ chỉ nguyên nhân cũng đóng vai trò quan trọng trong việc xác định quan hệ ngữ nghĩa. Việc phân tích cấu trúc này giúp nhận diện các mẫu câu có chứa quan hệ nguyên nhân-kết quả, từ đó phát hiện ra các thông tin ngữ nghĩa cần thiết. Thuật toán phát hiện quan hệ nguyên nhân-kết quả được trình bày trong chương này sử dụng các phương pháp khai thác dữ liệu để xác định các cặp danh từ có tần suất xuất hiện lớn, từ đó xây dựng một cơ sở dữ liệu phong phú cho việc phát hiện và phân tích các mối quan hệ ngữ nghĩa trong văn bản.

III. Kết quả thử nghiệm thuật toán

Chương này trình bày kết quả thực nghiệm của thuật toán phát hiện quan hệ nguyên nhân-kết quả từ các văn bản. Các thử nghiệm được thực hiện trên một tập dữ liệu lớn, cho phép đánh giá hiệu quả của thuật toán trong việc phát hiện các mối quan hệ ngữ nghĩa. Kết quả cho thấy thuật toán có khả năng phát hiện chính xác các cặp danh từ có liên quan đến nguyên nhân và kết quả, từ đó cung cấp thông tin hữu ích cho việc xây dựng Ontology. Việc phân tích các kết quả thực nghiệm không chỉ giúp xác định độ chính xác của thuật toán mà còn mở ra hướng nghiên cứu mới trong việc cải thiện khả năng phát hiện quan hệ ngữ nghĩa trong các văn bản khác nhau.

3.1 Kết quả thực nghiệm

Kết quả thực nghiệm cho thấy thuật toán phát hiện quan hệ nguyên nhân-kết quả đạt được độ chính xác cao trong việc nhận diện các cặp danh từ. Các số liệu thống kê cho thấy tỉ lệ phát hiện thành công lên đến 85%, cho thấy tính khả thi của phương pháp này trong việc khai thác thông tin từ văn bản. Các thử nghiệm cũng chỉ ra rằng việc sử dụng các động từ chỉ nguyên nhân là yếu tố quyết định trong việc xác định quan hệ ngữ nghĩa. Kết quả này không chỉ có giá trị trong nghiên cứu lý thuyết mà còn có ứng dụng thực tiễn trong việc phát triển các hệ thống thông minh có khả năng hiểu và xử lý ngữ nghĩa trong văn bản.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh Internet phát triển mạnh mẽ với hàng tỷ trang web và lượng dữ liệu khổng lồ, việc khai thác thông tin chính xác và hiệu quả trở thành thách thức lớn. Theo ước tính, chỉ riêng năm 2005, số lượng trang web đã lên đến hàng trăm triệu, khiến việc tìm kiếm thông tin dựa trên từ khóa truyền thống gặp nhiều hạn chế do thiếu tổ chức ngữ nghĩa. Vấn đề này dẫn đến sự ra đời của Semantic Web – thế hệ Web thứ ba, nhằm nâng cao khả năng hiểu và xử lý thông tin của máy tính thông qua việc gán nhãn ngữ nghĩa cho dữ liệu trên web. Mục tiêu nghiên cứu của luận văn là phát hiện quan hệ ngữ nghĩa nguyên nhân-kết quả từ các văn bản, hỗ trợ xây dựng Ontology cho Semantic Web, qua đó cải thiện khả năng truy xuất và tổng hợp tri thức. Phạm vi nghiên cứu tập trung vào các văn bản luận văn thạc sĩ trong lĩnh vực Công nghệ Thông tin, sử dụng dữ liệu từ ngân hàng Penn TreeBank II với khoảng 1 triệu câu trích xuất từ tạp chí Wall Street Journal năm 1989. Ý nghĩa nghiên cứu thể hiện qua việc phát triển thuật toán khai phá dữ liệu nhằm tự động nhận diện các cặp danh từ mang quan hệ nguyên nhân-kết quả, góp phần nâng cao độ chính xác trong xử lý ngôn ngữ tự nhiên và ứng dụng trong các hệ thống Semantic Web.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên nền tảng lý thuyết về Semantic Web, Ontology và xử lý ngôn ngữ tự nhiên (NLP). Semantic Web được định nghĩa là sự nâng cấp của Web hiện tại, cho phép máy tính hiểu và xử lý dữ liệu dựa trên ngữ nghĩa, không chỉ dựa trên cú pháp. Ontology đóng vai trò trung tâm trong Semantic Web, bao gồm các khái niệm (concepts), thuộc tính (attributes) và mối quan hệ (relations) giữa các khái niệm. Các quan hệ ngữ nghĩa quan trọng trong ngôn ngữ tự nhiên gồm quan hệ tổng quát-cụ thể, tổng thể-bộ phận, đồng nghĩa, trái nghĩa và nguyên nhân-kết quả. Trong đó, quan hệ nguyên nhân-kết quả là trọng tâm nghiên cứu, được phân thành hai loại: tường minh (có từ nối hoặc động từ chỉ nguyên nhân rõ ràng) và không tường minh (phức tạp, cần suy luận ngữ nghĩa). Thuật toán phát hiện quan hệ nguyên nhân-kết quả dựa trên ý tưởng Semantic Role Labeling và cải tiến từ công trình của Corina Roxana Girju, tập trung vào cấu trúc câu dạng <Danh từ 1 - Động từ chỉ nguyên nhân - Danh từ 2>.

Phương pháp nghiên cứu

Nguồn dữ liệu chính là corpus Penn TreeBank II, gồm khoảng 1 triệu câu được đánh dấu cú pháp, trích xuất từ tạp chí Wall Street Journal năm 1989. Phương pháp nghiên cứu bao gồm:

• Tiền xử lý dữ liệu: chuyển đổi định dạng dữ liệu gốc sang định dạng có thể xử lý bằng chương trình Java.
• Thuật toán khai phá dữ liệu: tìm kiếm các câu có cấu trúc <DT1 - động từ chỉ nguyên nhân - DT2>, trong đó DT1 và DT2 là danh từ hoặc cụm danh từ.
• Thống kê tần suất xuất hiện của các cặp danh từ trong các câu chứa động từ chỉ nguyên nhân.
• Sắp xếp và lựa chọn các cặp danh từ có tần suất xuất hiện cao nhất làm các cặp quan hệ nguyên nhân-kết quả.
• Cỡ mẫu: toàn bộ corpus với khoảng 1 triệu câu, đảm bảo tính đại diện và độ tin cậy.
• Phương pháp chọn mẫu: toàn bộ dữ liệu có sẵn được sử dụng để khai thác tri thức.
• Phân tích dữ liệu: sử dụng các thủ tục Java để đọc, phân tích cú pháp và lưu trữ kết quả vào cơ sở dữ liệu Oracle, từ đó thực hiện thống kê và đánh giá.

Timeline nghiên cứu kéo dài trong năm 2005, bao gồm các giai đoạn thu thập dữ liệu, phát triển thuật toán, cài đặt thử nghiệm và đánh giá kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Thuật toán phát hiện quan hệ nguyên nhân-kết quả dựa trên tần suất xuất hiện của các cặp danh từ trong câu có động từ chỉ nguyên nhân cho kết quả khả quan. Ví dụ, các cặp danh từ có tần suất xuất hiện lớn hơn 4 lần được xác định là mang quan hệ nguyên nhân-kết quả với độ tin cậy cao.

2. Tỉ lệ phần trăm các cặp danh từ mang nghĩa nguyên nhân-kết quả theo tần suất xuất hiện được thống kê chi tiết, cho thấy sự phân bố không đồng đều, với một số cặp chiếm tỷ lệ lớn trong tổng số quan hệ phát hiện được.

3. So sánh với các thuật toán Semantic Role Labeling khác, thuật toán này tập trung vào động từ chỉ nguyên nhân đơn giản, đạt độ chính xác (precision) và độ bao phủ (recall) cao hơn trong phạm vi giới hạn, mặc dù không bao phủ toàn bộ các cấu trúc nguyên nhân phức tạp.

4. Kết quả thực nghiệm trên corpus Penn TreeBank II với khoảng 2300 file dữ liệu cho thấy thuật toán có thể xử lý hiệu quả và cho ra các cặp quan hệ nguyên nhân-kết quả có ý nghĩa, hỗ trợ xây dựng Ontology.

Thảo luận kết quả

Nguyên nhân của thành công này là do thuật toán tận dụng đặc điểm ngữ pháp và ngữ nghĩa của các câu có cấu trúc nguyên nhân tường minh, đồng thời sử dụng tần suất xuất hiện làm chỉ số đánh giá mức độ quan trọng của các cặp danh từ. So với các nghiên cứu trước đây tập trung vào động từ, việc tập trung vào cặp danh từ giúp tăng độ chính xác trong việc xác định quan hệ nguyên nhân-kết quả. Kết quả có thể được trình bày qua biểu đồ tỉ lệ các cặp danh từ mang nghĩa nguyên nhân-kết quả theo tần suất xuất hiện, minh họa sự phân bố và mức độ phổ biến của các quan hệ này trong dữ liệu. Tuy nhiên, thuật toán chưa xử lý được các quan hệ nguyên nhân không tường minh, đòi hỏi phân tích ngữ nghĩa sâu hơn và kiến thức nền tảng, là hướng nghiên cứu tiếp theo. Ý nghĩa của nghiên cứu nằm ở việc cung cấp công cụ hỗ trợ tự động xây dựng Ontology, góp phần nâng cao hiệu quả khai thác tri thức trong Semantic Web.

Đề xuất và khuyến nghị

1. Phát triển mở rộng thuật toán: Nâng cao khả năng nhận diện các quan hệ nguyên nhân-kết quả không tường minh bằng cách tích hợp phân tích ngữ nghĩa sâu và kiến thức nền tảng, nhằm tăng độ bao phủ và chính xác của thuật toán trong vòng 1-2 năm tới. Chủ thể thực hiện: nhóm nghiên cứu NLP và Semantic Web.

2. Tích hợp thuật toán vào hệ thống xây dựng Ontology tự động: Áp dụng thuật toán vào các công cụ xây dựng Ontology để tự động phát hiện và cập nhật các mối quan hệ nguyên nhân-kết quả, giúp giảm thiểu công sức thủ công và tăng tốc độ phát triển Ontology trong vòng 6-12 tháng. Chủ thể thực hiện: các nhà phát triển phần mềm và chuyên gia Ontology.

3. Mở rộng dữ liệu thử nghiệm: Thu thập và xử lý thêm các tập dữ liệu đa dạng từ nhiều lĩnh vực khác nhau để kiểm chứng tính tổng quát của thuật toán, đồng thời cải thiện độ chính xác qua việc huấn luyện trên dữ liệu phong phú hơn trong vòng 1 năm. Chủ thể thực hiện: các nhà nghiên cứu dữ liệu và NLP.

4. Phát triển giao diện trực quan cho kết quả khai phá: Thiết kế các công cụ trực quan hóa kết quả phát hiện quan hệ nguyên nhân-kết quả dưới dạng biểu đồ, bảng biểu để hỗ trợ người dùng dễ dàng đánh giá và sử dụng thông tin trong các ứng dụng thực tế, dự kiến hoàn thành trong 6 tháng. Chủ thể thực hiện: nhóm phát triển giao diện người dùng và phân tích dữ liệu.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và phát triển trong lĩnh vực Semantic Web: Luận văn cung cấp phương pháp và thuật toán cụ thể để phát hiện quan hệ nguyên nhân-kết quả, hỗ trợ xây dựng Ontology, giúp nâng cao chất lượng và hiệu quả của các hệ thống Semantic Web.

2. Chuyên gia xử lý ngôn ngữ tự nhiên (NLP): Các kỹ thuật phân tích cấu trúc câu và khai phá dữ liệu trong luận văn là tài liệu tham khảo quý giá cho việc phát triển các mô hình NLP chuyên sâu về nhận diện quan hệ ngữ nghĩa.

3. Nhà phát triển phần mềm ứng dụng trí tuệ nhân tạo: Thuật toán và kết quả thử nghiệm có thể được áp dụng trong các hệ thống tự động hóa, chatbot, trợ lý ảo nhằm cải thiện khả năng hiểu và xử lý ngôn ngữ tự nhiên.

4. Sinh viên và học giả ngành Công nghệ Thông tin và Ngôn ngữ học máy tính: Luận văn là nguồn tài liệu học thuật có hệ thống, giúp hiểu rõ về Semantic Web, Ontology, và các kỹ thuật khai phá quan hệ ngữ nghĩa, phục vụ cho nghiên cứu và học tập chuyên sâu.

Câu hỏi thường gặp

1. Thuật toán phát hiện quan hệ nguyên nhân-kết quả hoạt động như thế nào?
   Thuật toán tìm kiếm các câu có cấu trúc <Danh từ 1 - Động từ chỉ nguyên nhân - Danh từ 2> trong tập văn bản, sau đó thống kê tần suất xuất hiện của các cặp danh từ này. Các cặp có tần suất cao được xác định là mang quan hệ nguyên nhân-kết quả. Ví dụ, câu "Earthquakes generate tidal waves" sẽ được nhận diện cặp (Earthquakes, tidal waves).

2. Dữ liệu thử nghiệm được sử dụng có đặc điểm gì?
   Dữ liệu thử nghiệm là corpus Penn TreeBank II, gồm khoảng 1 triệu câu được đánh dấu cú pháp, trích xuất từ tạp chí Wall Street Journal năm 1989. Đây là tập dữ liệu chuẩn, đa dạng và có độ tin cậy cao trong nghiên cứu NLP.

3. Thuật toán có thể phát hiện các quan hệ nguyên nhân-kết quả phức tạp không?
   Hiện tại, thuật toán chỉ tập trung vào quan hệ nguyên nhân-kết quả tường minh với động từ chỉ nguyên nhân đơn giản. Các quan hệ phức tạp, không tường minh đòi hỏi phân tích ngữ nghĩa sâu hơn và chưa được xử lý trong nghiên cứu này.

4. Lợi ích của việc phát hiện quan hệ nguyên nhân-kết quả trong Semantic Web là gì?
   Việc phát hiện quan hệ này giúp xây dựng Ontology chính xác hơn, từ đó cải thiện khả năng truy vấn, tổng hợp và suy luận thông tin trên Semantic Web, nâng cao hiệu quả tìm kiếm và xử lý dữ liệu.

5. Có thể áp dụng thuật toán này cho các lĩnh vực khác ngoài Công nghệ Thông tin không?
   Có thể, vì quan hệ nguyên nhân-kết quả là phổ biến trong nhiều lĩnh vực như y học, kinh tế, sinh học. Tuy nhiên, cần điều chỉnh và huấn luyện thuật toán trên dữ liệu đặc thù của từng lĩnh vực để đạt hiệu quả cao.

Kết luận

• Semantic Web là bước phát triển quan trọng của Internet, giúp máy tính hiểu và xử lý dữ liệu dựa trên ngữ nghĩa.
• Ontology và XML là nền tảng kỹ thuật cốt lõi của Semantic Web, trong đó quan hệ nguyên nhân-kết quả đóng vai trò quan trọng trong xây dựng tri thức.
• Thuật toán khai phá quan hệ nguyên nhân-kết quả dựa trên tần suất xuất hiện cặp danh từ trong câu có động từ chỉ nguyên nhân cho kết quả khả quan trên corpus Penn TreeBank II.
• Nghiên cứu góp phần hỗ trợ tự động hóa xây dựng Ontology, nâng cao hiệu quả khai thác tri thức trong các hệ thống Semantic Web.
• Hướng nghiên cứu tiếp theo là mở rộng thuật toán để xử lý các quan hệ nguyên nhân-kết quả không tường minh và phát triển công cụ trực quan hóa kết quả.

Để tiếp tục phát triển lĩnh vực này, các nhà nghiên cứu và phát triển phần mềm được khuyến khích áp dụng và mở rộng thuật toán trong các ứng dụng thực tế, đồng thời chia sẻ dữ liệu và kết quả để thúc đẩy cộng đồng nghiên cứu Semantic Web và NLP.

Trích đoạn nội dung tài liệu

CHƯƠNG 1 - TỔNG QUAN VỀ SEMANTIC WEB 1. Giới thiệu Internet ra đời và đã mau chóng trở thành một kho thông tin khổng lồ. Hiện nay, trên Internet có hàng tỉ các trang Web được hàng trăm triệu người trên khắp thể giới sử dụng [18,20,24]. Tuy nhiên, khi lượng thông tin trên Internet ngày càng tăng thì cũng đồng nghĩa với việc tìm kiếm, khai thác, tổ chức, truy cập và duy trì thông tin ngày càng trở nên khó khăn hơn đối với người sử dụng.

Chúng ta xem xét một ví dụ. Trong một trường hợp tìm kiếm trên Internet, người sử dụng muốn tìm kiếm trang chủ của Mr và Mrs. Tất cả những thông tin mà người sử dụng có thể nhớ được là tên họ của hai người này là Cook, cả hai người đó cùng làm việc cho một ông chủ, là một người có liên quan tới một tổ chức có tên là “ARPA-123-4567”. Đây chắc chắn là những thông tin hữu ích để tìm ra trang chủ của những người này, theo một cơ sở tri thức có cấu trúc hợp lý chứa đựng tất cả các nhân tố có liên quan.

Có vẻ như điều đó đã đủ những thông tin để tìm ra trang chủ của họ bằng cách tìm kiếm trên World Wide Web. Nhưng khi tìm kiếm, lại xảy ra các tình trạng sau: - Sử dụng danh mục Web có sẵn, người sử dụng có thể tìm ra trang chủ của ARPA nhưng ở đó có hàng trăm người “thầu phụ” và các “nhóm nghiên cứu” đang làm việc cho chi nhánh “123-4567” - Nếu tìm kiếm theo từ khoá “Cook” thì kết quả sẽ trả lại hàng nghìn trang Web nói về “Nấu ăn”. Vũ Bội Hằng-Luận văn cao học-Trường Đại học Công nghệ-2005 z 10 Phát hiện quan hệ ngữ nghĩa Nguyên nhân-Kết quả từ các văn bản. - Nếu tìm kiếm một trong hai cụm từ “ARPA ” và “123-4567” thì có hàng trăm kết quả trả về.

Còn nếu tìm kiếm cho cả ba từ khoá trên thì sẽ trả về kết quả rỗng. Vậy thì giải quyết trường hợp này như thế nào? Tình trạng trên là khá phổ biến đối với nhiều trường hợp tìm kiếm trên World Wide Web [18,19]. Vấn đề chính ở đây là do dữ liệu Web có quá ít sự tổ chức ngữ nghĩa. Khi mà Web càng ngày càng được mở rộng thì việc thiếu tổ chức ngữ nghĩa như vậy sẽ làm cho việc tìm kiếm thông tin càng ngày càng khó, thậm chí nếu có thêm cả những kỹ nghệ xử lý ngôn ngữ tự nhiên, cơ chế đánh chỉ mục… Tóm lại, hiện nay vẫn chưa có một cách tìm kiếm hiệu quả nào trên WWW [18,19] để trả lời câu truy vấn có dạng như : Find webpage for all x,y and e such that X is a person, y is a person, z is a person Where lastName (x,”Cook”) and lastName (y, “Cook”) and employee (z,x) and employee (z,y) and married (x,y) and involvedIn (z, “ARPA 123-4567”) Vũ Bội Hằng-Luận văn cao học-Trường Đại học Công nghệ-2005 z 11 Phát hiện quan hệ ngữ nghĩa Nguyên nhân-Kết quả từ các văn bản.

ð Sự thiếu khả năng hiểu khung cảnh của các từ và các mối quan hệ giữa các thuật ngữ tìm kiếm giải thích tại sao trong nhiều trường hợp máy tìm kiếm lại trả về kết quả tìm kiếm sai trong khi lại không tìm thấy những tài liệu mong muốn [18,19,20,24]. ð Nếu các máy tìm kiếm có thể hiểu được nội dung ngữ nghĩa của các từ, hoặc hơn thế nữa, nó có thể hiểu được cả mối quan hệ về mặt ngữ nghĩa giữa các từ đó thì độ chính xác tìm kiếm sẽ được cải thiện rất nhiều [19,24]. ð Đây chính là một trong những nguyên nhân dẫn đên sự ra đời của thế hệ Web thứ ba: Semantic Web[24]. Khái niệm Semantic Web Tim Berners-Lee (người phát minh ra Web) đưa ra định nghĩa Semantic Web như sau: “Bước đầu tiên là đặt dữ liệu trên Web theo một định dạng mà máy tính có thể hiểu được, hoặc chuyển thành định dạng mà máy tính có thể hiểu được.

Điều này tạo ra một loại Web gọi là Semantic Web - là một Web dữ liệu mà có thể được xử lý được trực tiếp hoặc gián tiếp bằng máy tính. Vũ Bội Hằng-Luận văn cao học-Trường Đại học Công nghệ-2005 z 12 Phát hiện quan hệ ngữ nghĩa Nguyên nhân-Kết quả từ các văn bản. Semantic Web không phải chỉ dành cho World Wide Web. Nó kèm theo một tập hợp các công nghệ mà cũng có thể làm việc trên intranet của nội bộ các công ty, doanh nghiệp…[20,24] 1.

Các ứng dụng của Sematic Web Semantic Search engine. Cải thiện tìm kiếm là một trong rất nhiều những lợi ích tiềm năng của Sematic Web. Hầu hết các cơ chế tìm kiếm hiện nay trên World Wide Web thường là một trong ba cách tiếp cận sau: + Đánh chỉ mục cho các từ khoá [1,4,16]. + Phân mục bằng tay [11,16].

+ Sử dụng các cơ chế đặc biệt để thu thập các thông tin ngữ nghĩa từ các trang Web (nhưng rất bị hạn chế) [2,14,16]. Mỗi cách tiếp cận trên đều có nhược điểm. Đánh chỉ mục các từ khoá thì chỉ liên kết với các từ vựng mà không hiểu được ngữ nghĩa của chúng nên có thể gây ra sự nhầm lẫn (như trong ví dụ ở phần giới thiệu chương). Trong khi đó, việc phân mục bằng tay đòi hỏi phải tiêu tốn rất nhiều nhân công và thời gian.

Còn việc sử dụng một số cơ chế đặc biệt để thu thập thông tin ngữ nghĩa thì lại rất bị hạn chế do các trang Web mang rất ít thông tin ngữ nghĩa hoặc còn phải phụ thuộc vào cách bố trí theo một số cấu trúc nhất định của các trang Web. Không có một cách tiếp cận nào trong số những cách tiếp cận ở trên (trừ cách tiếp cận cuối cùng nếu xét trong một miền ứng dụng cụ thể) cho phép suy luận được mối quan hệ của các trang Web (ngoại trừ mối quan hệ giữa các Vũ Bội Hằng-Luận văn cao học-Trường Đại học Công nghệ-2005 z 13 Phát hiện quan hệ ngữ nghĩa Nguyên nhân-Kết quả từ các văn bản. Vì vậy mà các truy vấn theo kiểu như trong ví dụ ở phần giới thiệu là không thể thực hiện được. => Giải pháp cho vấn đề này chính là Semantic Web.

Thay vì cố gắng để thu thập các tri thức từ các trang HTML hiện tại, chúng ta hãy kết gán trực tiếp các thông tin ngữ nghĩa cho các trang HTML, làm cho nó trở thành đơn giản để máy tính có thể tự xử lý các thông tin về mặt ngữ nghĩa mà không cần tới sự hỗ trợ của con người [6,19,20]. Agent Internet [19,24]: Các Agent Internet, là các chương trình tự trị mà tương tác với Internet, cũng có thể có hiệu quả hơn nhiều nếu chúng được hoạt động trên môi trường Sematic Web. Để thực hiện một mục đích nào đó, một Agent Internet có thể yêu cầu phải hiểu các trang Web để thi hành các dịch vụ Web. Về mặt lý thuyết, một agent như thế có thể thực hiện việc bán hàng, tham gia trong một cuộc bán đấu giá hoặc xếp lịch cho một kỳ nghỉ…Ví dụ: một Agent có thể được yêu cầu đặt chỗ cho một chuyến du lịch ở Jamaica, và Agent sẽ đặt vé máy bay, tìm một xe car để thuê và đặt một phòng ở khách sạn.

Tất cả phải dựa trên giá cả rẻ nhất hiện có và phù hợp với nhu cầu. Mặc dù đã tồn tại những Agent có thể thực hiện được một vài nhiệm vụ như vậy, nhưng chúng được xây dựng để hoạt động trên chỉ một tập hữu hạn các trang Web biết trước và phải phụ thuộc nhiều vào cấu trúc cố định của các trang Web này. Vì vậy, sẽ tốt hơn rất nhiều nếu như với bất kỳ một trang Web, các Agent có thể xem xét ngữ nghĩa của các trang Web thay vì xem xét cấu trúc bố trí cố định của trang Web này. Stovepipe system [24]: stovepipe system là một hệ thống mà ở đó thì tất cả các thành phần đều là các mạch điện tử làm việc với nhau.

Vì vậy, các Vũ Bội Hằng-Luận văn cao học-Trường Đại học Công nghệ-2005 z 14 Phát hiện quan hệ ngữ nghĩa Nguyên nhân-Kết quả từ các văn bản. thông tin chỉ là các dòng trong các stovepipe mà không thể được chia sẻ bởi một hệ thống khác hoặc một tổ chức khác mà cần những thông tin đó. Phân tích các hệ thống stovepipe là cần thiết ở tất cả các tầng kiến trúc thông tin doanh nghiệp. Công nghệ Semantic Web là hiệu quả nhất để phân tích các hệ thống CSDL stovepipe.

Các công nghệ cần thiết cho Semantic Web Cách để làm cho dữ liệu có thể xử lý được bằng máy tính là làm cho dữ liệu “thông minh hơn” (“smarter”). Hình vẽ sau thể hiện các cấp độ trạng thái phát triển của “dữ liệu thông minh” (“smart data”) [24]. Hình 1: Các giai đoạn phát triển của "smart data" Vũ Bội Hằng-Luận văn cao học-Trường Đại học Công nghệ-2005 z 15 Phát hiện quan hệ ngữ nghĩa Nguyên nhân-Kết quả từ các văn bản. Các văn bản Text và các cơ sở dữ liệu (tiền XML).

Hầu hết dữ liệu là độc quyền trong các ứng dụng. Ở đây khái niệm “smart” là khái niệm của ứng dụng chứ không phải của dữ liệu. Các tài liệu XML sử dụng các từ vựng đơn lẻ. Dữ liệu độc lập với ứng dụng trong một phạm vi ứng dụng cụ thể.

Dữ liệu bây giờ thì đủ thông minh để chuyển đổi giữa các ứng dụng trong phạm vi đó. Ví dụ: các chuẩn XML trong: công nghiệp y tế, công nghiệp bảo hiểm… Sự phân loại bằng XML và các tài liệu với các từ vựng phức. Dữ liệu có thể được kết hợp từ nhiều miền khác nhau và được phân lớp một cách chính xác trong một bảng phân cấp danh mục. Trong thực tế, sự phân lớp có thể được sử dụng để khai thác dữ liệu.

Các mối quan hệ giữa các phân mục trong bảng phân cấp danh mục có thể được sử dụng để kết nối dữ liệu. Vì vậy, dữ liệu ở giai đoạn này đủ thông minh để khai thác và kết nối với dữ liệu khác Ontology và các luật. Ở giai đoạn này, các dữ liệu mới có thể được suy ra từ các dữ liệu đang tồn tại bằng cách sử dụng các luật logic. Điều cốt yếu ở đây là dữ liệu bây giờ đã đủ thông minh để được mô tả cùng với những mối quan hệ cụ thể, và bằng các hình thức tinh vi, phức tạp mà có thể áp dụng được các tính toán logic.

Điều này cho phép tách dữ liệu thành các thành phần nhỏ hơn và có thể phân tích sâu hơn. Một ví dụ cho dữ liệu trong giai đoạn này là ta có thể tự động biến đổi một tài liệu trong một miền ứng dụng này thành một tài liệu tương đương trong một miền ứng dụng khác.