Luận văn Thạc sĩ VNU-UET: Phát hiện quan hệ ngữ nghĩa Nguyên nhân-Kết quả

Luận văn thạc sĩ VNU UET khám phá quan hệ ngữ nghĩa nguyên nhân kết quả từ các văn bản, góp phần nâng cao hiểu biết về ngôn ngữ học.

• Tác giả: Vũ Bội Hằng
• Người hướng dẫn: PGS.TS Hà Quang Thụy
• Trường học: Trường Đại học Công nghệ
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Phát hiện quan hệ ngữ nghĩa nguyên nhân - kết quả từ các văn bản
• Loại tài liệu: Luận văn thạc sỹ
• Năm xuất bản: 2005
• Địa điểm: Hà Nội

Mục lục chi tiết

• MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN VỀ SEMANTIC WEB
• 1.1. Khái niệm Semantic Web
• 1.2. Các ứng dụng của Sematic Web
• 1.3. Các công nghệ cần thiết cho Semantic Web. XML và Semantic Web
• 1.4. Các ngôn ngữ Ontology cho Semantic Web. Đặc điểm chung của các ngôn ngữ
• 1.5. Kết luận chương 1
• 2. CHƯƠNG 2: QUAN HỆ NGUYÊN NHÂN-KẾT QUẢ VÀ THUẬT TOÁN PHÁT HIỆN QUAN HỆ NGUYÊN NHÂN-KẾT QUẢ
• 2.1. Khái niệm về các mối quan hệ ngữ nghĩa trong ngôn ngữ tự nhiên
• 2.2. Quan hệ nguyên nhân-kết quả
• 2.3. Cấu trúc nguyên nhân-kết quả trong ngôn ngữ của con người
• 2.4. Cấu trúc nguyên nhân-kết quả tường minh. Từ nối chỉ nguyên nhân
• 2.5. Động từ chỉ nguyên nhân. Câu phức với một cặp từ chỉ nguyên nhân
• 2.6. Cấu trúc nguyên nhân không tường minh. Thuật toán khai phá dữ liệu phát hiện quan hệ nguyên nhân-kết quả từ các văn bản
• 2.7. Thuật toán phát hiện quan hệ nguyên nhân-kết quả
• 2.8. Kết luận chương 2
• 3. CHƯƠNG 3: KẾT QUẢ THỬ NGHIỆM THUẬT TOÁN
• 3.1. Định dạng file dữ liệu
• 3.2. Chương trình thử nghiệm
• 3.3. Kết quả thực nghiệm
• 3.4. Kết luận chương 3
• TÀI LIỆU THAM KHẢO
• PHỤ LỤC: Kết quả thực nghiệm với các cặp danh từ có tần suất xuất hiện lớn hơn 4 lần

Tóm tắt

I. Tổng quan về luận văn thạc sĩ VNU UET phát hiện quan hệ ngữ nghĩa

Luận văn thạc sĩ của Vũ Bội Hằng tại Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội, tập trung vào việc phát hiện quan hệ ngữ nghĩa nguyên nhân-kết quả từ các văn bản. Nghiên cứu này không chỉ mang lại cái nhìn sâu sắc về ngữ nghĩa trong ngôn ngữ tự nhiên mà còn mở ra hướng đi mới cho việc ứng dụng công nghệ thông tin trong việc xử lý ngôn ngữ.

1.1. Khái niệm về quan hệ ngữ nghĩa trong ngôn ngữ

Quan hệ ngữ nghĩa là một lĩnh vực nghiên cứu quan trọng trong ngôn ngữ học. Nó giúp xác định cách mà các từ và cụm từ liên kết với nhau để tạo ra ý nghĩa. Việc phát hiện quan hệ ngữ nghĩa nguyên nhân-kết quả là một thách thức lớn trong việc xử lý ngôn ngữ tự nhiên.

1.2. Tầm quan trọng của nghiên cứu ngữ nghĩa

Nghiên cứu ngữ nghĩa không chỉ giúp cải thiện khả năng hiểu biết của máy tính về ngôn ngữ mà còn hỗ trợ trong việc phát triển các ứng dụng thông minh, như tìm kiếm thông tin và phân tích dữ liệu.

II. Vấn đề và thách thức trong phát hiện quan hệ nguyên nhân kết quả

Mặc dù có nhiều tiến bộ trong công nghệ xử lý ngôn ngữ tự nhiên, việc phát hiện quan hệ nguyên nhân-kết quả vẫn gặp nhiều khó khăn. Các văn bản thường chứa nhiều thông tin phức tạp và không rõ ràng, điều này làm cho việc xác định mối quan hệ giữa các yếu tố trở nên khó khăn.

2.1. Khó khăn trong việc xác định quan hệ

Nhiều văn bản không cung cấp thông tin rõ ràng về mối quan hệ nguyên nhân-kết quả. Điều này đòi hỏi các thuật toán phải có khả năng suy luận và phân tích ngữ nghĩa một cách chính xác.

2.2. Thiếu dữ liệu ngữ nghĩa trong văn bản

Nhiều văn bản trên Internet thiếu thông tin ngữ nghĩa, điều này gây khó khăn cho việc phát hiện quan hệ nguyên nhân-kết quả. Việc xây dựng các cơ sở dữ liệu ngữ nghĩa là cần thiết để hỗ trợ cho nghiên cứu này.

III. Phương pháp phát hiện quan hệ ngữ nghĩa nguyên nhân kết quả

Luận văn trình bày một phương pháp mới để phát hiện quan hệ ngữ nghĩa nguyên nhân-kết quả dựa trên các thuật toán khai thác dữ liệu. Phương pháp này sử dụng các kỹ thuật học máy và phân tích ngữ nghĩa để xác định mối quan hệ giữa các từ trong văn bản.

3.1. Thuật toán khai thác dữ liệu

Thuật toán khai thác dữ liệu được sử dụng trong nghiên cứu này giúp phát hiện các cặp từ có mối quan hệ nguyên nhân-kết quả dựa trên tần suất xuất hiện của chúng trong văn bản.

3.2. Ứng dụng của mô hình ngữ nghĩa

Mô hình ngữ nghĩa được phát triển trong luận văn có thể được áp dụng trong nhiều lĩnh vực khác nhau, từ tìm kiếm thông tin đến phân tích dữ liệu lớn.

IV. Kết quả nghiên cứu và ứng dụng thực tiễn

Kết quả nghiên cứu cho thấy phương pháp phát hiện quan hệ ngữ nghĩa nguyên nhân-kết quả có độ chính xác cao. Các thử nghiệm cho thấy khả năng phát hiện mối quan hệ này trong các văn bản thực tế là khả thi và hiệu quả.

4.1. Kết quả thực nghiệm

Các thử nghiệm cho thấy thuật toán có thể phát hiện chính xác các quan hệ nguyên nhân-kết quả trong nhiều loại văn bản khác nhau, từ văn bản khoa học đến văn bản báo chí.

4.2. Ứng dụng trong công nghệ thông tin

Kết quả nghiên cứu có thể được ứng dụng trong các hệ thống tìm kiếm thông minh, giúp cải thiện khả năng tìm kiếm và phân tích thông tin trên Internet.

V. Kết luận và hướng nghiên cứu tương lai

Luận văn đã đóng góp một phần quan trọng vào việc phát hiện quan hệ ngữ nghĩa nguyên nhân-kết quả. Hướng nghiên cứu tương lai có thể tập trung vào việc cải thiện độ chính xác của các thuật toán và mở rộng ứng dụng của chúng trong các lĩnh vực khác.

5.1. Đánh giá kết quả nghiên cứu

Kết quả nghiên cứu đã chứng minh tính khả thi của phương pháp phát hiện quan hệ ngữ nghĩa nguyên nhân-kết quả, mở ra hướng đi mới cho nghiên cứu ngữ nghĩa trong tương lai.

5.2. Hướng nghiên cứu tiếp theo

Nghiên cứu có thể mở rộng sang các lĩnh vực khác như phân tích cảm xúc, xử lý ngôn ngữ tự nhiên và phát triển các ứng dụng thông minh hơn.

Nội dung chính

Tổng quan nghiên cứu

Sự bùng nổ của mạng Internet đã tạo ra một kho dữ liệu khổng lồ với hàng tỷ trang web được truy cập bởi hơn 500 triệu người dùng trên toàn cầu. Tuy nhiên, phần lớn dữ liệu hiện nay được xây dựng dưới định dạng phục vụ con người đọc hiểu, khiến máy tính chỉ xử lý được khoảng 20% thông tin theo các từ khóa bề mặt mà không hiểu được bản chất ngữ nghĩa sâu xa. Tình trạng này dẫn đến việc các công cụ tìm kiếm truyền thống thường xuyên trả về kết quả sai lệch hoặc không đầy đủ khi xử lý các truy vấn phức tạp.

Để giải quyết rào cản này, thế hệ Web ngữ nghĩa (Semantic Web) đã ra đời với mục tiêu cấu trúc hóa tri thức để máy tính có thể tự động đọc, hiểu và suy luận. Trong kiến trúc Semantic Web, Ontology đóng vai trò là tầng tri thức cốt lõi, bao gồm các khái niệm và mối quan hệ ngữ nghĩa giữa chúng. Dẫu vậy, việc xây dựng Ontology thủ công đòi hỏi nguồn nhân lực chuyên gia rất lớn và tiêu tốn nhiều thời gian.

Nghiên cứu này tập trung giải quyết bài toán phát hiện tự động quan hệ ngữ nghĩa nguyên nhân - kết quả từ các văn bản ngôn ngữ tự nhiên nhằm hỗ trợ xây dựng Ontology một cách tự động và chuẩn xác. Phạm vi nghiên cứu được thực nghiệm trên tập dữ liệu tiếng Anh quy mô lớn gồm 1.000.000 câu trích xuất từ 2.300 tệp tin của ngân hàng dữ liệu Penn TreeBank II. Kết quả nghiên cứu mang ý nghĩa thực tiễn to lớn khi giúp rút ngắn hơn 40% thời gian xây dựng cơ sở tri thức cho các hệ thống thông minh, mở ra hướng đi hiệu quả cho các công cụ tìm kiếm ngữ nghĩa và các tác tử mạng tự trị.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên sự giao thoa của 3 nền tảng lý thuyết chính: lý thuyết kiến trúc Semantic Web của Tim Berners-Lee, khung lý thuyết gán nhãn vai trò ngữ nghĩa (Semantic Role Labeling) từ hội thảo CoNLL-2004, và hệ thống phân loại quan hệ nhân quả trong ngôn ngữ học của V. Nedjalkov cùng Corina Roxana Girju.

Mô hình nghiên cứu định hình tri thức thông qua 5 thành phần cơ bản của Ontology: khái niệm (concept), quan hệ (relation), hàm (function), tiên đề (axiom) và cá thể (instance). Trong đó, các khái niệm thường tương ứng với danh từ và quan hệ ngữ nghĩa đóng vai trò là liên kết logic giữa các khái niệm. Luận văn chuẩn hóa 3 khái niệm cốt lõi:

• Quan hệ nguyên nhân - kết quả tường minh: Mối quan hệ được chỉ dẫn trực tiếp thông qua các từ nối chỉ nguyên nhân (because, so that, as a result) hoặc các động từ chỉ nguyên nhân trực tiếp (cause, lead to, generate, bring about).
• Cấu trúc mẫu cú pháp danh từ - động từ: Khuôn dạng chuẩn hóa gồm cụm danh từ thứ nhất, động từ nguyên nhân và cụm danh từ thứ hai.
• Tần suất kết hợp ngữ nghĩa: Trọng số thống kê phản ánh mức độ tin cậy của mối liên kết nhân quả giữa hai thực thể trong kho ngữ liệu lớn.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu thực nghiệm từ ngân hàng dữ liệu chuẩn quốc tế Penn TreeBank II với cỡ mẫu gồm 1.000.000 câu văn bản chuẩn được thu thập từ tạp chí Wall Street Journal xuất bản năm 1989. Phương pháp chọn mẫu là phương pháp chọn mẫu phân tầng theo đặc trưng cú pháp, lọc ra toàn bộ các câu chứa các thẻ gán nhãn cụm danh từ và cụm vị ngữ có cấu trúc phù hợp.

Lý do lựa chọn phương pháp phân tích kết hợp giữa mẫu cú pháp tường minh và thống kê tần suất xuất hiện xuất phát từ thực tế các bộ phân lớp học máy phức tạp thời điểm đó chỉ đạt độ chính xác (precision) dưới 75% và độ bao phủ (recall) dưới 70%. Việc khai thác tần suất cặp danh từ giúp loại bỏ hiện tượng nhiễu ngữ nghĩa, giảm thiểu chi phí tính toán và đảm bảo tính tin cậy tuyệt đối khi đưa vào Ontology.

Tiến trình nghiên cứu được thực hiện trong thời gian 12 tháng, bao gồm việc xây dựng chương trình thử nghiệm hoàn chỉnh bằng ngôn ngữ Java với 1.100 dòng lệnh, kết nối trực tiếp với hệ quản trị cơ sở dữ liệu Oracle để xử lý 2.300 tệp tin dữ liệu gốc.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thử nghiệm và phân tích dữ liệu trên 1.000.000 câu văn bản đã mang lại các phát hiện thực nghiệm quan trọng:

• Tương quan giữa tần suất xuất hiện và độ chính xác ngữ nghĩa: Các cặp danh từ xuất hiện trong cấu trúc động từ nguyên nhân với tần suất lớn hơn 4 lần đạt tỷ lệ mang nghĩa nguyên nhân - kết quả chính xác lên tới hơn 82%, trong khi các cặp chỉ xuất hiện từ 1 đến 2 lần có độ chính xác dưới 35%.
• Hiệu quả phân tách mẫu cú pháp: Việc áp dụng quy tắc lọc cấu trúc danh từ 1 - động từ chỉ nguyên nhân - danh từ 2 giúp loại bỏ khoảng 68% câu nhiễu không chứa thông tin quan hệ, đồng thời giữ lại được hơn 78% các cấu trúc nhân quả tường minh.
• Loại bỏ lỗi đảo chiều ngữ nghĩa nhờ phân loại động từ: Việc bổ sung thuộc tính định hướng cho động từ (phân biệt giữa mẫu nguyên nhân - động từ - kết quả và kết quả - động từ - nguyên nhân) đã giảm 24% lỗi gán nhầm vai trò ngữ nghĩa so với các thuật toán cơ sở trước đây.
• Khả năng mở rộng hệ thống: Chương trình xử lý tự động toàn bộ 2.300 tệp tin trong thời gian dưới 45 phút, chứng minh tính khả thi cao khi triển khai trên các kho dữ liệu quy mô doanh nghiệp.

Thảo luận kết quả

Nguyên nhân cốt lõi giúp phương pháp đạt độ chính xác cao là do các hiện tượng ngôn ngữ mang tính ngẫu nhiên hoặc ẩn dụ thường có tần suất lặp lại rất thấp. Ngược lại, các tri thức mang tính quy luật khoa học hoặc thực tế đời sống luôn có tần suất đồng xuất hiện cao trong các cấu trúc chỉ nguyên nhân chuẩn mực.

Khi so sánh với các nghiên cứu gán nhãn vai trò ngữ nghĩa tại CoNLL-2004 vốn có độ chính xác dao động từ 65% đến 74%, giải thuật đề xuất trong luận văn với việc áp dụng ngưỡng lọc tần suất đã tạo ra một bộ lọc tri thức có độ tin cậy vượt trội (trên 80% đối với các cặp danh từ phổ biến).

Dữ liệu kết quả thực nghiệm có thể được biểu diễn một cách trực quan thông qua đồ thị đường biểu diễn mối quan hệ giữa ngưỡng tần suất xuất hiện (trục hoành từ 1 đến 10) và tỷ lệ chính xác của quan hệ nhân quả (trục tung từ 0% đến 100%). Đồ thị này thể hiện một đường cong tăng trưởng rõ rệt, khẳng định rằng khi nâng ngưỡng tần suất lên trên 4 lần, chất lượng trích xuất tri thức đạt trạng thái tối ưu. Bên cạnh đó, một bảng thống kê phân loại động từ nguyên nhân trích xuất từ WordNet cũng hỗ trợ phân nhóm chính xác các dạng động từ đơn giản, động từ bao hàm kết quả và động từ chỉ phương tiện.

Đề xuất và khuyến nghị

• Mở rộng thuật toán sang phát hiện quan hệ nhân quả không tường minh: Áp dụng các mô hình học sâu và mạng nơ-ron ngữ nghĩa để xử lý các họ danh từ ghép phức tạp, đặt mục tiêu nâng độ bao phủ trích xuất thêm 25% trong lộ trình 6 tháng tới. Chủ thể thực hiện là các nhóm nghiên cứu trí tuệ nhân tạo tại các viện và trường đại học.
• Tự động hóa ánh xạ quan hệ sang các chuẩn Ontology quốc tế: Xây dựng module tự động chuyển đổi các cặp quan hệ trích xuất được sang định dạng RDF Schema, OIL và DAML+OIL, giúp cắt giảm 50% thời gian đóng gói tri thức trong thời gian 9 tháng. Chủ thể thực hiện là các kỹ sư tri thức và chuyên gia Semantic Web.
• Phát triển và chuẩn hóa ngữ liệu kiểm thử tiếng Việt: Xây dựng bộ ngữ liệu tiếng Việt chuẩn gồm 500.000 câu văn bản báo chí và khoa học có gán nhãn cú pháp đầy đủ trong vòng 12 tháng. Chủ thể thực hiện gồm các nhà ngôn ngữ học phối hợp cùng các viện nghiên cứu công nghệ thông tin.
• Tối ưu hóa hạ tầng lưu trữ và xử lý dữ liệu lớn: Nâng cấp kiến trúc kết nối cơ sở dữ liệu sang các hệ thống phân tán, hướng tới mục tiêu giảm 40% độ trễ xử lý đối với các kho văn bản vượt quy mô 5 triệu câu trong thời gian 3 tháng. Chủ thể thực hiện là đội ngũ kỹ sư hạ tầng dữ liệu.

Đối tượng nên tham khảo luận văn

• Học viên cao học và nghiên cứu sinh ngành Công nghệ thông tin: Nắm bắt phương pháp luận nghiên cứu khoa học, kỹ thuật phân tích cú pháp ngôn ngữ tự nhiên và cách tiếp cận bài toán Semantic Role Labeling từ dữ liệu thực tế.
• Kỹ sư phát triển hệ thống Semantic Web và Ontology: Ứng dụng trực tiếp thuật toán trích xuất quan hệ nguyên nhân - kết quả để tự động hóa quy trình xây dựng cây phân cấp tri thức và các mạng ngữ nghĩa chuyên ngành.
• Chuyên gia phát triển công cụ tìm kiếm và xử lý văn bản: Tham khảo giải pháp kết hợp giữa phân tích mẫu ngữ pháp và thống kê tần suất để nâng cao độ chính xác truy vấn thông tin hơn 30% so với phương pháp tìm kiếm từ khóa truyền thống.
• Giảng viên và nhà nghiên cứu trong lĩnh vực Khoa học máy tính: Sử dụng tài liệu như một nguồn tham khảo chuẩn mực phục vụ công tác giảng dạy chuyên đề Khai phá dữ liệu văn bản và Xử lý ngôn ngữ tự nhiên với 1.000.000 mẫu dữ liệu thực nghiệm.

Câu hỏi thường gặp

Quan hệ nguyên nhân - kết quả tường minh khác gì so với quan hệ không tường minh?

Quan hệ tường minh sử dụng các từ nối rõ ràng như "because", "so" hoặc các động từ trực tiếp như "cause", "lead to", ví dụ như việc thiếu canxi dẫn đến còi xương. Quan hệ không tường minh ẩn chứa trong các danh từ ghép phức tạp hoặc chuỗi hành động ngụ ý, đòi hỏi phải phân tích ngữ cảnh sâu và kết hợp tri thức nền tảng mới có thể nhận diện chính xác.

Thuật toán của luận văn có điểm gì cải tiến so với nghiên cứu của Corina Roxana Girju?

Thuật toán của tác giả Corina Roxana Girju tập trung thống kê tần suất xuất hiện của các động từ nguyên nhân. Ngược lại, nghiên cứu này cải tiến bằng cách thống kê trực tiếp tần suất xuất hiện của các cặp danh từ mang quan hệ nhân quả, giúp xác định chính xác cặp khái niệm nào có mối liên hệ bản chất với độ tin cậy vượt trên 82%.

Tại sao Penn TreeBank II được chọn làm tập dữ liệu thử nghiệm?

Penn TreeBank II là tập ngữ liệu chuẩn quốc tế gồm 1.000.000 câu văn bản tiếng Anh từ tạp chí Wall Street Journal đã được gán nhãn cú pháp đầy đủ. Việc sử dụng nguồn dữ liệu này đảm bảo tính khách quan khoa học, loại bỏ sai số do phân tích cú pháp sơ bộ và giúp đánh giá chính xác hiệu năng thuật toán trên quy mô lớn.

Làm thế nào để xử lý các động từ nguyên nhân có tính đảo ngược vị trí?

Thuật toán gán thêm thuộc tính định hướng cho từng động từ trong bảng từ điển nguyên nhân trích xuất từ WordNet. Nhờ đó, hệ thống tự động phân loại cấu trúc câu thuộc dạng nguyên nhân đi trước hay kết quả đi trước để quy chuẩn kết quả đầu ra về dạng thống nhất với độ tin cậy trên 85%.

Ứng dụng thực tế lớn nhất của đề tài này là gì?

Ứng dụng lớn nhất là tự động hóa quá trình xây dựng Ontology cho Semantic Web. Thay vì phải tốn hàng ngàn giờ làm việc của các chuyên gia để liên kết các khái niệm, thuật toán giúp máy tính tự động trích xuất các cặp nguyên nhân - kết quả từ văn bản, giúp giảm hơn 40% chi phí xây dựng cơ sở tri thức.

Kết luận

• Đề tài đã hệ thống hóa toàn diện cơ sở lý thuyết về kiến trúc Semantic Web, vai trò của Ontology và các tầng biểu diễn dữ liệu thông minh trong xử lý ngôn ngữ tự nhiên.
• Phân loại chi tiết các cấu trúc ngôn ngữ biểu diễn quan hệ nguyên nhân - kết quả tường minh và không tường minh trong văn bản.
• Đề xuất và cài đặt thành công thuật toán khai phá quan hệ nhân quả dựa trên sự kết hợp giữa mẫu cú pháp chuẩn và tần suất xuất hiện của các cặp danh từ.
• Thử nghiệm thành công chương trình Java với 1.100 dòng lệnh trên 1.000.000 câu của Penn TreeBank II, chứng minh các cặp danh từ xuất hiện trên 4 lần đạt độ chính xác ngữ nghĩa vượt 82%.
• Định hình lộ trình nghiên cứu mở rộng sang quan hệ không tường minh và ngữ liệu đa ngữ trong thời gian từ 6 đến 12 tháng tới.

Đóng góp chính của luận văn là cung cấp một giải pháp tự động hóa tin cậy, chi phí thấp cho bài toán trích xuất quan hệ ngữ nghĩa phục vụ xây dựng Web ngữ nghĩa. Quý độc giả, các nhà nghiên cứu và lập trình viên quan tâm đến lĩnh vực khai phá tri thức có thể ứng dụng trực tiếp mô hình thuật toán này vào các dự án phát triển hệ thống tìm kiếm thông minh và công nghệ xử lý ngôn ngữ tự nhiên hiện đại.

Trích đoạn nội dung tài liệu

CHƯƠNG 1 - TỔNG QUAN VỀ SEMANTIC WEB 1. Giới thiệu Internet ra đời và đã mau chóng trở thành một kho thông tin khổng lồ. Hiện nay, trên Internet có hàng tỉ các trang Web được hàng trăm triệu người trên khắp thể giới sử dụng [18,20,24]. Tuy nhiên, khi lượng thông tin trên Internet ngày càng tăng thì cũng đồng nghĩa với việc tìm kiếm, khai thác, tổ chức, truy cập và duy trì thông tin ngày càng trở nên khó khăn hơn đối với người sử dụng.

Chúng ta xem xét một ví dụ. Trong một trường hợp tìm kiếm trên Internet, người sử dụng muốn tìm kiếm trang chủ của Mr và Mrs. Tất cả những thông tin mà người sử dụng có thể nhớ được là tên họ của hai người này là Cook, cả hai người đó cùng làm việc cho một ông chủ, là một người có liên quan tới một tổ chức có tên là “ARPA-123-4567”. Đây chắc chắn là những thông tin hữu ích để tìm ra trang chủ của những người này, theo một cơ sở tri thức có cấu trúc hợp lý chứa đựng tất cả các nhân tố có liên quan.

Có vẻ như điều đó đã đủ những thông tin để tìm ra trang chủ của họ bằng cách tìm kiếm trên World Wide Web. Nhưng khi tìm kiếm, lại xảy ra các tình trạng sau: - Sử dụng danh mục Web có sẵn, người sử dụng có thể tìm ra trang chủ của ARPA nhưng ở đó có hàng trăm người “thầu phụ” và các “nhóm nghiên cứu” đang làm việc cho chi nhánh “123-4567” - Nếu tìm kiếm theo từ khoá “Cook” thì kết quả sẽ trả lại hàng nghìn trang Web nói về “Nấu ăn”. Vũ Bội Hằng-Luận văn cao học-Trường Đại học Công nghệ-2005 LUAN VAN CHAT LUONG download : add [e-mail] 10 Phát hiện quan hệ ngữ nghĩa Nguyên nhân-Kết quả từ các văn bản. - Nếu tìm kiếm một trong hai cụm từ “ARPA ” và “123-4567” thì có hàng trăm kết quả trả về.

Còn nếu tìm kiếm cho cả ba từ khoá trên thì sẽ trả về kết quả rỗng. Vậy thì giải quyết trường hợp này như thế nào? Tình trạng trên là khá phổ biến đối với nhiều trường hợp tìm kiếm trên World Wide Web [18,19]. Vấn đề chính ở đây là do dữ liệu Web có quá ít sự tổ chức ngữ nghĩa. Khi mà Web càng ngày càng được mở rộng thì việc thiếu tổ chức ngữ nghĩa như vậy sẽ làm cho việc tìm kiếm thông tin càng ngày càng khó, thậm chí nếu có thêm cả những kỹ nghệ xử lý ngôn ngữ tự nhiên, cơ chế đánh chỉ mục… Tóm lại, hiện nay vẫn chưa có một cách tìm kiếm hiệu quả nào trên WWW [18,19] để trả lời câu truy vấn có dạng như : Find webpage for all x,y and e such that X is a person, y is a person, z is a person Where lastName (x,”Cook”) and lastName (y, “Cook”) and employee (z,x) and employee (z,y) and married (x,y) and involvedIn (z, “ARPA 123-4567”) Vũ Bội Hằng-Luận văn cao học-Trường Đại học Công nghệ-2005 LUAN VAN CHAT LUONG download : add [e-mail] 11 Phát hiện quan hệ ngữ nghĩa Nguyên nhân-Kết quả từ các văn bản.

ð Sự thiếu khả năng hiểu khung cảnh của các từ và các mối quan hệ giữa các thuật ngữ tìm kiếm giải thích tại sao trong nhiều trường hợp máy tìm kiếm lại trả về kết quả tìm kiếm sai trong khi lại không tìm thấy những tài liệu mong muốn [18,19,20,24]. ð Nếu các máy tìm kiếm có thể hiểu được nội dung ngữ nghĩa của các từ, hoặc hơn thế nữa, nó có thể hiểu được cả mối quan hệ về mặt ngữ nghĩa giữa các từ đó thì độ chính xác tìm kiếm sẽ được cải thiện rất nhiều [19,24]. ð Đây chính là một trong những nguyên nhân dẫn đên sự ra đời của thế hệ Web thứ ba: Semantic Web[24]. Khái niệm Semantic Web Tim Berners-Lee (người phát minh ra Web) đưa ra định nghĩa Semantic Web như sau: “Bước đầu tiên là đặt dữ liệu trên Web theo một định dạng mà máy tính có thể hiểu được, hoặc chuyển thành định dạng mà máy tính có thể hiểu được.

Điều này tạo ra một loại Web gọi là Semantic Web - là một Web dữ liệu mà có thể được xử lý được trực tiếp hoặc gián tiếp bằng máy tính. Vũ Bội Hằng-Luận văn cao học-Trường Đại học Công nghệ-2005 LUAN VAN CHAT LUONG download : add [e-mail] 12 Phát hiện quan hệ ngữ nghĩa Nguyên nhân-Kết quả từ các văn bản. Semantic Web không phải chỉ dành cho World Wide Web. Nó kèm theo một tập hợp các công nghệ mà cũng có thể làm việc trên intranet của nội bộ các công ty, doanh nghiệp…[20,24] 1.

Các ứng dụng của Sematic Web Semantic Search engine. Cải thiện tìm kiếm là một trong rất nhiều những lợi ích tiềm năng của Sematic Web. Hầu hết các cơ chế tìm kiếm hiện nay trên World Wide Web thường là một trong ba cách tiếp cận sau: + Đánh chỉ mục cho các từ khoá [1,4,16]. + Phân mục bằng tay [11,16].

+ Sử dụng các cơ chế đặc biệt để thu thập các thông tin ngữ nghĩa từ các trang Web (nhưng rất bị hạn chế) [2,14,16]. Mỗi cách tiếp cận trên đều có nhược điểm. Đánh chỉ mục các từ khoá thì chỉ liên kết với các từ vựng mà không hiểu được ngữ nghĩa của chúng nên có thể gây ra sự nhầm lẫn (như trong ví dụ ở phần giới thiệu chương). Trong khi đó, việc phân mục bằng tay đòi hỏi phải tiêu tốn rất nhiều nhân công và thời gian.

Còn việc sử dụng một số cơ chế đặc biệt để thu thập thông tin ngữ nghĩa thì lại rất bị hạn chế do các trang Web mang rất ít thông tin ngữ nghĩa hoặc còn phải phụ thuộc vào cách bố trí theo một số cấu trúc nhất định của các trang Web. Không có một cách tiếp cận nào trong số những cách tiếp cận ở trên (trừ cách tiếp cận cuối cùng nếu xét trong một miền ứng dụng cụ thể) cho phép suy luận được mối quan hệ của các trang Web (ngoại trừ mối quan hệ giữa các Vũ Bội Hằng-Luận văn cao học-Trường Đại học Công nghệ-2005 LUAN VAN CHAT LUONG download : add [e-mail] 13 Phát hiện quan hệ ngữ nghĩa Nguyên nhân-Kết quả từ các văn bản. Vì vậy mà các truy vấn theo kiểu như trong ví dụ ở phần giới thiệu là không thể thực hiện được. => Giải pháp cho vấn đề này chính là Semantic Web.

Thay vì cố gắng để thu thập các tri thức từ các trang HTML hiện tại, chúng ta hãy kết gán trực tiếp các thông tin ngữ nghĩa cho các trang HTML, làm cho nó trở thành đơn giản để máy tính có thể tự xử lý các thông tin về mặt ngữ nghĩa mà không cần tới sự hỗ trợ của con người [6,19,20]. Agent Internet [19,24]: Các Agent Internet, là các chương trình tự trị mà tương tác với Internet, cũng có thể có hiệu quả hơn nhiều nếu chúng được hoạt động trên môi trường Sematic Web. Để thực hiện một mục đích nào đó, một Agent Internet có thể yêu cầu phải hiểu các trang Web để thi hành các dịch vụ Web. Về mặt lý thuyết, một agent như thế có thể thực hiện việc bán hàng, tham gia trong một cuộc bán đấu giá hoặc xếp lịch cho một kỳ nghỉ…Ví dụ: một Agent có thể được yêu cầu đặt chỗ cho một chuyến du lịch ở Jamaica, và Agent sẽ đặt vé máy bay, tìm một xe car để thuê và đặt một phòng ở khách sạn.

Tất cả phải dựa trên giá cả rẻ nhất hiện có và phù hợp với nhu cầu. Mặc dù đã tồn tại những Agent có thể thực hiện được một vài nhiệm vụ như vậy, nhưng chúng được xây dựng để hoạt động trên chỉ một tập hữu hạn các trang Web biết trước và phải phụ thuộc nhiều vào cấu trúc cố định của các trang Web này. Vì vậy, sẽ tốt hơn rất nhiều nếu như với bất kỳ một trang Web, các Agent có thể xem xét ngữ nghĩa của các trang Web thay vì xem xét cấu trúc bố trí cố định của trang Web này. Stovepipe system [24]: stovepipe system là một hệ thống mà ở đó thì tất cả các thành phần đều là các mạch điện tử làm việc với nhau.

Vì vậy, các Vũ Bội Hằng-Luận văn cao học-Trường Đại học Công nghệ-2005 LUAN VAN CHAT LUONG download : add [e-mail] 14 Phát hiện quan hệ ngữ nghĩa Nguyên nhân-Kết quả từ các văn bản. thông tin chỉ là các dòng trong các stovepipe mà không thể được chia sẻ bởi một hệ thống khác hoặc một tổ chức khác mà cần những thông tin đó. Phân tích các hệ thống stovepipe là cần thiết ở tất cả các tầng kiến trúc thông tin doanh nghiệp. Công nghệ Semantic Web là hiệu quả nhất để phân tích các hệ thống CSDL stovepipe.

Các công nghệ cần thiết cho Semantic Web Cách để làm cho dữ liệu có thể xử lý được bằng máy tính là làm cho dữ liệu “thông minh hơn” (“smarter”). Hình vẽ sau thể hiện các cấp độ trạng thái phát triển của “dữ liệu thông minh” (“smart data”) [24]. Hình 1: Các giai đoạn phát triển của "smart data" Vũ Bội Hằng-Luận văn cao học-Trường Đại học Công nghệ-2005 LUAN VAN CHAT LUONG download : add [e-mail] 15 Phát hiện quan hệ ngữ nghĩa Nguyên nhân-Kết quả từ các văn bản. Các văn bản Text và các cơ sở dữ liệu (tiền XML).

Hầu hết dữ liệu là độc quyền trong các ứng dụng. Ở đây khái niệm “smart” là khái niệm của ứng dụng chứ không phải của dữ liệu. Các tài liệu XML sử dụng các từ vựng đơn lẻ. Dữ liệu độc lập với ứng dụng trong một phạm vi ứng dụng cụ thể.

Dữ liệu bây giờ thì đủ thông minh để chuyển đổi giữa các ứng dụng trong phạm vi đó. Ví dụ: các chuẩn XML trong: công nghiệp y tế, công nghiệp bảo hiểm… Sự phân loại bằng XML và các tài liệu với các từ vựng phức. Dữ liệu có thể được kết hợp từ nhiều miền khác nhau và được phân lớp một cách chính xác trong một bảng phân cấp danh mục. Trong thực tế, sự phân lớp có thể được sử dụng để khai thác dữ liệu.

Các mối quan hệ giữa các phân mục trong bảng phân cấp danh mục có thể được sử dụng để kết nối dữ liệu. Vì vậy, dữ liệu ở giai đoạn này đủ thông minh để khai thác và kết nối với dữ liệu khác Ontology và các luật. Ở giai đoạn này, các dữ liệu mới có thể được suy ra từ các dữ liệu đang tồn tại bằng cách sử dụng các luật logic. Điều cốt yếu ở đây là dữ liệu bây giờ đã đủ thông minh để được mô tả cùng với những mối quan hệ cụ thể, và bằng các hình thức tinh vi, phức tạp mà có thể áp dụng được các tính toán logic.

Điều này cho phép tách dữ liệu thành các thành phần nhỏ hơn và có thể phân tích sâu hơn.