Luận Văn Thạc Sĩ Khoa Học Máy Tính: Nghiên Cứu Kết Nối Từ Điển Với Wikipedia

Luận văn thạc sĩ khoa học máy tính nghiên cứu kết nối từ điển với Wikipedia, ứng dụng công nghệ xử lý ngôn ngữ tự nhiên và trí tuệ nhân tạo.

• Tác giả: Trần Quang Vinh
• Người hướng dẫn: GS. Cao Hoàng Trụ
• Trường học: Đại học Bách Khoa - Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Khoa học máy tính
• Đề tài: Kết nối từ điển với Wikipedia
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2014
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• DANH MỤC HÌNH
• DANH MỤC BẢNG
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Bài toán và phạm vi nghiên cứu
• 1.2. Các công trình liên quan
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Từ điển Oxford
• 3. CHƯƠNG 3: PHƯƠNG PHÁP ĐỀ XUẤT
• 3.1. Phương pháp nền của Fernando và Stevenson (2012)
• 3.2. Phương pháp nền của Milne và Witten (2008)
• 3.3. Phương pháp kết nối dựa trên luật
• 3.4. Phương pháp kết nối bằng học máy
• 4. CHƯƠNG 4: ĐÁNH GIÁ PHƯƠNG PHÁP
• 4.1. Tập đánh giá
• 4.2. Phương pháp đánh giá
• 4.3. Kết quả thí nghiệm
• 5. CHƯƠNG 5: TỔNG KẾT
• 5.1. Hướng phát triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu

Luận văn thạc sĩ Khoa học Máy tính với chủ đề 'Kết nối từ điển với Wikipedia' tập trung vào việc nâng cao chất lượng tra cứu từ điển trực tuyến bằng cách liên kết các nghĩa của từ với các khái niệm tương ứng trong Wikipedia. Kết nối từ điển và Wikipedia là hai yếu tố chính được nghiên cứu để hỗ trợ người dùng hiểu rõ hơn các nghĩa của từ thông qua việc truy cập trực tiếp vào các bài viết chi tiết trên Wikipedia. Nghiên cứu khoa học này đề xuất hai phương pháp chính: dựa trên luật và học máy, nhằm giải quyết bài toán phân giải nhập nhằng nghĩa của từ.

1.1. Bài toán và phạm vi nghiên cứu

Bài toán chính của luận văn là phân giải nhập nhằng nghĩa của từ (Word Sense Disambiguation) bằng cách liên kết các nghĩa trong từ điển với các khái niệm tương ứng trong Wikipedia. Từ điển trực tuyến như Wiktionary và Oxford được sử dụng làm nguồn dữ liệu chính. Phạm vi nghiên cứu tập trung vào các danh từ tiếng Anh và hai phương pháp tiếp cận: dựa trên luật và học máy.

1.2. Các công trình liên quan

Nhiều nghiên cứu trước đây đã sử dụng Wikipedia để làm giàu ngữ nghĩa cho các văn bản không có cấu trúc hoặc các nguồn tri thức từ vựng như WordNet. Các công trình như của Ruiz-Casado (2005), Suchanek (2008), và Fernando và Stevenson (2012) đã đề xuất các phương pháp kết nối WordNet với Wikipedia. Ngoài ra, các nghiên cứu như Mihalcea và Csomai (2007) và Milne và Witten (2008) đã sử dụng học máy để giải quyết nhập nhằng trong văn bản.

II. Cơ sở lý thuyết

Luận văn dựa trên nền tảng lý thuyết về Wikipedia và các từ điển trực tuyến. Wikipedia được coi là một cơ sở tri thức mở rộng lớn, cung cấp thông tin chi tiết về các khái niệm thông qua các trang thực thể, trang phân giải nhập nhằng, và trang thể loại. Từ điển trực tuyến như Wiktionary và Oxford cung cấp các nghĩa của từ với chú thích ngắn gọn, nhưng đôi khi gây khó hiểu cho người dùng. Việc kết nối hai nguồn này giúp cải thiện trải nghiệm tra cứu.

2.1. Wikipedia

Wikipedia là một nguồn tri thức mở với hơn 31,6 triệu trang web và hỗ trợ 287 ngôn ngữ. Các trang thực thể, trang phân giải nhập nhằng, và trang thể loại là các thành phần chính. Trang thực thể mô tả chi tiết thông tin về một khái niệm, trong khi trang phân giải nhập nhằng giúp xác định nghĩa chính xác của từ trong các trường hợp nhập nhằng.

2.2. Từ điển trực tuyến

Từ điển trực tuyến như Wiktionary và Oxford cung cấp các nghĩa của từ với chú thích ngắn gọn. Tuy nhiên, các chú thích này đôi khi không đủ để người dùng hiểu rõ nghĩa của từ. Việc kết nối các nghĩa này với Wikipedia giúp người dùng truy cập thông tin chi tiết hơn về các khái niệm liên quan.

III. Phương pháp đề xuất

Luận văn đề xuất hai phương pháp chính để kết nối các nghĩa trong từ điển với Wikipedia: dựa trên luật và học máy. Phương pháp dựa trên luật sử dụng các quy tắc cụ thể để xác định liên kết, trong khi phương pháp học máy dựa trên việc phân tích dữ liệu để đưa ra quyết định. Cả hai phương pháp đều được thử nghiệm trên hai bộ từ điển Wiktionary và Oxford.

3.1. Phương pháp dựa trên luật

Phương pháp này sử dụng các quy tắc cụ thể để xác định liên kết giữa các nghĩa trong từ điển và các trang Wikipedia. Các quy tắc bao gồm so sánh tiêu đề, nội dung, và các liên kết trong Wikipedia. Kết quả thử nghiệm cho thấy độ chính xác và độ đầy đủ đạt 73.0% cho Wiktionary và 77.2% cho Oxford.

3.2. Phương pháp học máy

Phương pháp học máy sử dụng các thuật toán để phân tích dữ liệu và xác định liên kết giữa các nghĩa trong từ điển và Wikipedia. Kết quả thử nghiệm cho thấy độ chính xác và độ đầy đủ đạt 67% cho Wiktionary và 69.8% cho Oxford.

IV. Đánh giá phương pháp

Các phương pháp đề xuất được đánh giá dựa trên độ chính xác và độ đầy đủ. Kết quả cho thấy phương pháp dựa trên luật có hiệu suất cao hơn so với phương pháp học máy. Tuy nhiên, cả hai phương pháp đều có giá trị thực tiễn trong việc cải thiện chất lượng tra cứu từ điển trực tuyến.

4.1. Kết quả thí nghiệm

Kết quả thí nghiệm cho thấy phương pháp dựa trên luật đạt độ chính xác và độ đầy đủ cao hơn so với phương pháp học máy. Điều này cho thấy các quy tắc cụ thể có thể giúp xác định liên kết chính xác hơn giữa các nghĩa trong từ điển và Wikipedia.

4.2. Ứng dụng thực tiễn

Các phương pháp đề xuất có thể được áp dụng trong các hệ thống từ điển trực tuyến để cải thiện trải nghiệm người dùng. Việc kết nối các nghĩa với Wikipedia giúp người dùng hiểu rõ hơn về các khái niệm liên quan, đặc biệt trong các lĩnh vực chuyên ngành.

V. Tổng kết

Luận văn đã đề xuất và đánh giá hai phương pháp kết nối các nghĩa trong từ điển với Wikipedia: dựa trên luật và học máy. Kết quả cho thấy cả hai phương pháp đều có giá trị thực tiễn, với phương pháp dựa trên luật có hiệu suất cao hơn. Nghiên cứu này mở ra hướng phát triển mới trong việc cải thiện chất lượng tra cứu từ điển trực tuyến.

5.1. Hướng phát triển

Trong tương lai, nghiên cứu có thể mở rộng sang các ngôn ngữ khác và tích hợp thêm các nguồn tri thức khác ngoài Wikipedia. Việc cải tiến các phương pháp học máy cũng là một hướng phát triển tiềm năng.

Nội dung chính

Tổng quan nghiên cứu

Sự bùng nổ của mạng Internet và công nghệ số hóa đã thúc đẩy quá trình chuyển dịch mạnh mẽ của các tài liệu tra cứu truyền thống sang nền tảng số. Các hệ thống từ điển trực tuyến quy mô lớn như Oxford với hơn 2 triệu lượt truy cập hàng tháng hay Wiktionary với hơn 24 triệu trang tài liệu đã trở thành công cụ đắc lực cho người dùng trên toàn thế giới. Tuy nhiên, rào cản lớn nhất hiện nay là phần lớn các định nghĩa trong từ điển chỉ cung cấp các đoạn giải nghĩa ngắn gọn, mang tính học thuật cao và thiếu thông tin bách khoa chuyên sâu. Điều này gây khó khăn đáng kể cho người dùng đại chúng khi cần phân biệt các tầng nghĩa trừu tượng hoặc các khái niệm kỹ thuật phức tạp.

Để giải quyết triệt để vấn đề này, luận văn tập trung nghiên cứu giải pháp tự động liên kết các nghĩa của danh từ trong từ điển tiếng Anh với các trang thực thể tương ứng trong kho tri thức mở Wikipedia – nguồn tài nguyên bách khoa khổng lồ chứa hơn 3,57 triệu trang thực thể và phục vụ gần 495 triệu lượt truy cập mỗi tháng. Mục tiêu trọng tâm của nghiên cứu là xây dựng và tối ưu hóa hai hướng tiếp cận chính: phương pháp dựa trên luật cải tiến và phương pháp học máy có giám sát, nhằm chuyển đổi bài toán liên kết từ điển thành bài toán phân giải nhập nhằng nghĩa từ vựng có độ chính xác cao.

Nghiên cứu được triển khai thực nghiệm toàn diện trong giai đoạn từ tháng 1 năm 2014 đến tháng 6 năm 2014 trên hai bộ từ điển phổ biến là Wiktionary và Oxford. Kết quả thực nghiệm chứng minh tính khả thi vượt trội của các mô hình đề xuất khi phương pháp dựa trên luật đạt độ chính xác và độ đầy đủ lên đến 77,2% trên từ điển Oxford và 73,0% trên từ điển Wiktionary. Công trình không chỉ giải quyết bài toán làm giàu ngữ nghĩa cho từ điển số mà còn tạo nền tảng vững chắc để phát triển các hệ thống xử lý ngôn ngữ tự nhiên thông minh, hỗ trợ tra cứu trực quan và tự động hóa xây dựng cơ sở tri thức đa nguồn.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng lý thuyết phân giải nhập nhằng nghĩa của từ trong lĩnh vực Xử lý Ngôn ngữ Tự nhiên và mô hình mạng ngữ nghĩa phân cấp. Để định vị và biểu diễn các quan hệ từ vựng, tác giả dựa trên cấu trúc của WordNet phiên bản 3.1 bao gồm 117.659 tập từ đồng nghĩa và hơn 155.287 mục từ, tập trung khai thác các quan hệ ngữ nghĩa phân cấp như quan hệ bao hàm, quan hệ thành phần và quan hệ tương phản giữa các danh từ.

Khung lý thuyết của nghiên cứu kết hợp sâu rộng các khái niệm cốt lõi từ khai phá dữ liệu web và đồ thị tri thức Wikipedia:

• Khái niệm xác suất nhãn liên kết: Đo lường tỷ lệ một cụm từ xuất hiện dưới dạng siêu liên kết trên toàn bộ không gian Wikipedia nhằm nhận dạng các từ khóa tiềm năng.
• Khái niệm độ phổ biến: Phản ánh xác suất tiên nghiệm của việc một từ khóa trỏ đến một trang thực thể cụ thể mà không phụ thuộc vào ngữ cảnh xung quanh.
• Khái niệm độ tương quan ngữ cảnh: Đo lường mức độ liên kết ngữ nghĩa giữa hai trang thực thể dựa trên sự giao thoa của tập hợp các liên kết trỏ vào của chúng trong cấu trúc đồ thị bách khoa toàn thư.
• Mô hình cây quyết định C4.5 kết hợp kỹ thuật tổng hợp mô hình: Cơ chế học máy phân lớp đa nhánh kết hợp phương pháp lấy mẫu lặp lại giúp giảm thiểu phương sai và gia tăng độ ổn định cho mô hình dự đoán.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu thực nghiệm quy mô lớn bao gồm bản sao cơ sở dữ liệu Wikipedia tiếng Anh với 3.573.789 trang thực thể, 148.818 trang phân giải nhập nhằng và 5.001.026 trang chuyển hướng. Dữ liệu từ điển được trích xuất từ 421.847 định nghĩa trong Wiktionary và hệ thống dữ liệu trực tuyến của từ điển Oxford với hơn 750.000 từ vựng.

Về phương pháp chọn mẫu, tác giả tiến hành ánh xạ chuẩn hóa dựa trên tập dữ liệu chuẩn vàng gồm 200 mục từ danh từ được lựa chọn cẩn trọng từ các nghiên cứu đối sánh trước đó. Cỡ mẫu 200 mục từ này được kiểm duyệt thủ công từng trường hợp để đối chiếu cấu trúc định nghĩa, câu ví dụ và từ đồng nghĩa, đảm bảo tính đại diện cho nhiều lĩnh vực khoa học, đời sống và kỹ thuật. Lý do lựa chọn cỡ mẫu chuẩn vàng là nhằm thiết lập một hệ quy chiếu chính xác tuyệt đối để đo lường định lượng hai độ đo then chốt: độ chính xác và độ đầy đủ.

Quy trình phân tích và xử lý dữ liệu được tiến hành theo hai phương pháp độc lập:

1. Phương pháp dựa trên luật: Kết hợp công cụ tìm kiếm LinqToWiki để truy xuất 20 kết quả đầu tiên với kỹ thuật bóc tách liên kết từ trang phân giải nhập nhằng. Sau đó, một hàm tối ưu kết hợp tuyến tính giữa độ tương tự văn bản và độ tương tự tiêu đề với trọng số đóng góp alpha được áp dụng để chọn trang Wikipedia phù hợp nhất.
2. Phương pháp học máy: Tổng hợp toàn bộ định nghĩa, ví dụ và từ đồng nghĩa thành văn bản ngữ cảnh đại diện, sau đó huấn luyện mô hình cây quyết định C4.5 kết hợp thuật toán phân loại tập hợp. Đối với các định nghĩa ngắn thiếu ngữ cảnh, một giải thuật suy nghiệm ba bước dựa trên tính toán độ tương quan ngữ cảnh cục bộ được triển khai để giải cứu liên kết.

Toàn bộ quá trình nghiên cứu, xây dựng thuật toán và đánh giá thực nghiệm được thực hiện liên tục trong khung thời gian 6 tháng, từ ngày 20 tháng 1 năm 2014 đến ngày 20 tháng 6 năm 2014.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình đánh giá thực nghiệm trên tập dữ liệu chuẩn 200 mục từ đã mang lại những kết quả định lượng rõ ràng về hiệu quả của từng phương pháp tiếp cận trên hai hệ thống từ điển:

1. Phương pháp dựa trên luật thể hiện ưu thế vượt trội trên cả hai nguồn dữ liệu: Đạt độ chính xác và độ đầy đủ 73,0% trên từ điển Wiktionary, đồng thời đạt 77,2% trên từ điển Oxford. Việc tối ưu hóa trọng số tiêu đề alpha giúp loại bỏ triệt để các trường hợp nhiễu ngữ nghĩa khi tiêu đề trang bách khoa toàn thư không trùng khớp với từ khóa từ điển.
2. Phương pháp học máy đạt hiệu suất ổn định nhưng thấp hơn phương pháp dựa trên luật: Cụ thể đạt độ chính xác và độ đầy đủ 67,0% trên Wiktionary và 69,8% trên Oxford. Nguyên nhân chủ yếu xuất phát từ hiện tượng thưa thớt dữ liệu khi phần lớn các định nghĩa từ điển chỉ chứa từ 10 đến 25 từ, khiến không gian đặc trưng của mô hình học máy bị thu hẹp.
3. Chất lượng định nghĩa nguồn quyết định trực tiếp đến hiệu suất liên kết: Hiệu suất trên từ điển Oxford luôn cao hơn Wiktionary từ 2,8% đến 4,2% ở cả hai phương pháp tiếp cận. Điều này chứng minh rằng các định nghĩa được biên tập chuẩn mực, có ví dụ ngữ cảnh rõ ràng giúp cải thiện đáng kể độ chính xác của các giải thuật so khớp.
4. Cơ chế suy nghiệm ba bước phát huy hiệu quả cao trong việc xử lý ngữ cảnh ngắn: Điển hình như trường hợp phân giải từ khóa đa nghĩa, độ tương quan ngữ cảnh đạt mức 79,87% đối với thực thể chính xác, vượt trội hoàn toàn so với mức 48,12% của các thực thể không liên quan.

Thảo luận kết quả

Các phát hiện thực nghiệm chỉ ra rằng bản chất của bài toán kết nối từ điển với Wikipedia có sự khác biệt rõ rệt so với bài toán liên kết văn bản tự do. Văn bản từ điển mang tính cô đọng cao, do đó phương pháp dựa trên luật có khả năng thu hẹp không gian tìm kiếm ứng viên thông qua các trang phân giải nhập nhằng tốt hơn, hạn chế tối đa các kết nối sai lệch ngoài phạm vi.

Dữ liệu kết quả nghiên cứu có thể được trực quan hóa thông qua biểu đồ cột nhóm thể hiện sự chênh lệch hiệu suất giữa hai phương pháp trên hai tập dữ liệu từ điển, kết hợp với bảng ma trận nhầm lẫn để minh họa tỷ lệ phân lớp đúng giữa các nhóm nghĩa phổ biến và nhóm nghĩa chuyên ngành. Qua đó, người đọc có thể dễ dàng nhận thấy phương pháp dựa trên luật chiếm ưu thế tuyệt đối về khả năng bao phủ các trường hợp đồng nghĩa phức tạp.

So với các công trình liên kết WordNet với Wikipedia trước đây vốn đạt độ chính xác khoảng 87,1% trên các tập dữ liệu có cấu trúc phân tầng hoàn chỉnh, kết quả 77,2% đạt được trong luận văn này trên từ điển Oxford là bước tiến rất khả quan khi xử lý trực tiếp trên các nguồn từ điển mở có mức độ nhiễu và độ biến thiên văn bản cao.

Đề xuất và khuyến nghị

Dựa trên các kết quả đạt được từ luận văn, bốn nhóm giải pháp chiến lược được đề xuất nhằm nâng cao hiệu quả kết nối cơ sở tri thức và ứng dụng vào thực tiễn:

1. Mở rộng phạm vi phân giải sang toàn bộ các từ loại khác: Nhóm nghiên cứu xử lý ngôn ngữ tự nhiên cần tiến hành mở rộng giải thuật từ danh từ sang động từ, tính từ và trạng từ trong lộ trình từ 6 đến 9 tháng, đặt mục tiêu nâng tỷ lệ bao phủ toàn diện của hệ thống từ điển lên trên 85%.
2. Tích hợp mô hình học bán giám sát và biểu diễn không gian vector ngữ nghĩa: Đội ngũ phát triển phần mềm cần áp dụng các kỹ thuật biểu diễn từ hiện đại kết hợp cơ chế học bán giám sát trong vòng 12 tháng tới, nhằm cải thiện độ chính xác của mô hình học máy từ mức 69,8% lên tối thiểu 82% đối với các ngữ cảnh siêu ngắn.
3. Chuẩn hóa và mở rộng bộ dữ liệu kiểm định chuẩn vàng: Các viện nghiên cứu ngôn ngữ học tính toán nên chủ trì xây dựng bộ dữ liệu đánh giá mở rộng quy mô từ 200 mục từ lên hơn 1.000 mục từ đa ngữ cảnh trong thời gian 3 tháng, tạo khung đo lường tiêu chuẩn cho cộng đồng khoa học.
4. Triển khai tích hợp API liên kết thông minh vào các nền tảng từ điển thương mại: Các doanh nghiệp công nghệ giáo dục cần sớm đưa mô hình liên kết bách khoa toàn thư vào giao diện tra cứu trực tuyến, giúp giảm khoảng 40% thời gian tìm kiếm thông tin chuyên sâu của người học và gia tăng trải nghiệm người dùng.

Đối tượng nên tham khảo luận văn

Luận văn là tài liệu tham khảo giá trị cho nhiều nhóm đối tượng chuyên môn trong ngành công nghệ thông tin và ngôn ngữ học:

1. Kỹ sư và nhà nghiên cứu Xử lý Ngôn ngữ Tự nhiên: Tiếp cận phương pháp luận chi tiết về phân giải nhập nhằng ngữ nghĩa, kỹ thuật kết hợp thông tin cấu trúc liên kết web và giải thuật tối ưu hóa trọng số so khớp văn bản.
2. Lập trình viên phát triển hệ thống Từ điển điện tử và EdTech: Nắm bắt kiến trúc tích hợp dữ liệu tự động giữa từ điển và bách khoa toàn thư mở để xây dựng các tính năng tra cứu ngữ cảnh trực quan, nâng cao chất lượng sản phẩm giáo dục số.
3. Học viên cao học và sinh viên chuyên ngành Khoa học Máy tính: Sử dụng luận văn như một tài liệu mẫu chuẩn mực về phương pháp nghiên cứu khoa học, cách thiết kế tập kiểm thử chuẩn vàng 200 mục từ và quy trình đánh giá thực nghiệm chặt chẽ.
4. Chuyên gia Ngôn ngữ học tính toán và Từ điển học: Tham khảo mô hình đối sánh ngữ nghĩa định lượng giữa các hệ thống từ vựng phân cấp như WordNet, Wiktionary và Oxford để phục vụ công tác chuẩn hóa cơ sở dữ liệu ngôn ngữ.

Câu hỏi thường gặp

Tại sao phương pháp dựa trên luật lại đạt hiệu suất cao hơn phương pháp học máy trong nghiên cứu này? Phương pháp dựa trên luật đạt 77,2% trên Oxford nhờ tận dụng hiệu quả các liên kết có sẵn trong 148.818 trang phân giải nhập nhằng của Wikipedia kết hợp với việc tinh lọc 20 kết quả từ công cụ tìm kiếm. Trong khi đó, định nghĩa từ điển quá ngắn khiến mô hình học máy thiếu đặc trưng ngữ cảnh đầy đủ, dẫn đến độ chính xác chỉ đạt 69,8%.

Hệ thống giải quyết như thế nào đối với các định nghĩa từ điển có ngữ cảnh quá ngắn? Khi văn bản định nghĩa có quá ít từ khóa, hệ thống kích hoạt cơ chế suy nghiệm ba bước: trích xuất các thực thể phụ trong phần chú thích, tạo danh sách ứng viên từ từ khóa chính và tính toán độ tương quan ngữ cảnh. Ví dụ, hệ thống đã phân giải chính xác từ khóa máy tính đạt độ tương quan ngữ cảnh lên đến 79,87%.

Tập dữ liệu kiểm định 200 mục từ được xây dựng dựa trên tiêu chuẩn nào? Tập kiểm thử được xây dựng bằng cách ánh xạ thủ công từ bộ dữ liệu chuẩn vàng 200 danh từ của Fernando và Stevenson sang các định nghĩa tương ứng trong Wiktionary và Oxford. Mỗi mục từ đều được chuyên gia thẩm định trực tiếp để xác định đúng trang thực thể Wikipedia tương ứng hoặc gán nhãn không tồn tại liên kết nhằm đảm bảo độ tin cậy tuyệt đối.

Sự khác biệt căn bản giữa kết nối WordNet-Wikipedia và Từ điển-Wikipedia là gì? WordNet cung cấp cấu trúc mạng từ vựng hoàn chỉnh với hơn 117.659 synset có quan hệ ngữ nghĩa phân cấp chặt chẽ, trong khi từ điển trực tuyến như Wiktionary và Oxford chỉ cung cấp các đoạn văn bản giải nghĩa độc lập. Do đó, việc kết nối từ điển đòi hỏi giải thuật phải có khả năng xử lý văn bản tự nhiên linh hoạt và chịu được độ nhiễu cao hơn.

Nghiên cứu này có thể áp dụng cho việc kết nối từ điển tiếng Việt với Wikipedia tiếng Việt không? Hoàn toàn khả thi. Giải thuật của luận văn có thể chuyển giao trực tiếp cho tiếng Việt bằng cách tích hợp công cụ tách từ tiếng Việt, khai thác các trang phân giải nhập nhằng của Wikipedia tiếng Việt và ánh xạ ngữ cảnh từ các bộ từ điển tiếng Việt số hóa với quy trình tiền xử lý tương đương.

Kết luận

• Luận văn đã giải quyết thành công bài toán tự động kết nối các nghĩa danh từ trong từ điển tiếng Anh với kho tri thức Wikipedia, mở ra hướng tiếp cận mới trong việc làm giàu ngữ nghĩa cho các từ điển trực tuyến.
• Đề xuất hoàn chỉnh hai quy trình xử lý độc lập gồm phương pháp dựa trên luật cải tiến và phương pháp học máy có giám sát sử dụng thuật toán cây quyết định C4.5 kết hợp kỹ thuật tổng hợp mô hình.
• Xây dựng thành công bộ dữ liệu đánh giá chuẩn vàng gồm 200 mục từ danh từ đối sánh chuẩn xác giữa WordNet, Wiktionary, Oxford và Wikipedia.
• Kết quả thực nghiệm khẳng định phương pháp dựa trên luật đạt hiệu suất vượt trội với độ chính xác và độ đầy đủ 77,2% trên từ điển Oxford và 73,0% trên Wiktionary, cao hơn phương pháp học máy từ 6,0% đến 7,4%.
• Đóng góp giải thuật suy nghiệm ba bước hiệu quả cao trong việc xử lý triệt để bài toán thưa thớt ngữ cảnh đối với các định nghĩa từ điển ngắn.

Trong giai đoạn tiếp theo từ 6 đến 12 tháng tới, các nhóm nghiên cứu nên tiếp tục phát triển hệ thống mở rộng cho toàn bộ các từ loại còn lại và ứng dụng công nghệ nhúng ngữ cảnh hiện đại. Hãy khai thác ngay khung phương pháp luận của luận văn này để nâng tầm các hệ thống tra cứu tri thức và tối ưu hóa các ứng dụng xử lý ngôn ngữ tự nhiên trong thực tế.

Trích đoạn nội dung tài liệu

đặt vấn đề trong phần giới thiệu, hiện nay các chú thích cho nghĩa trong các từ điển vẫn còn đơn giản. Vì vậy để hỗ trợ tốt hơn cho ngƣời sử dụng hiểu một cách rõ ràng từng nghĩa của từ khi sử dụng các từ điển, chúng tôi sẽ liên kết từng nghĩa đến khái niệm tƣơng ứng trong một cơ sở tri thức. Và Wikipedia là một cở sở tri thức hữu dụng và chất lƣợng với việc cung cấp mô tả chi tiết cho các khái niệm trong các trang thực thể. Bởi vì một từ hay một cụm từ trong từ điển có thể mang nhiều nghĩa khác nhau, vì vậy việc xác định chính xác khái niệm tƣơng ứng trong cơ sở tri thức cho từng nghĩa cơ bản cũng chính là bài toán phân giải nhập nhằng nghĩa của từ (Word Sense Disambiguation) dựa vào ngữ cảnh miêu tả cho nghĩa đó (chú thích, các ví dụ minh hoạ cho việc sử dụng, các từ có mối quan hệ ngữ nghĩa tƣơng ứng).

Để giải quyết cho bài toán phân giải nhập nhằng nghĩa của từ, chúng tôi đã dựa trên hai phƣơng pháp tiếp cận cơ bản là: dựa trên luật (Rule-based) và học máy (Machine Learning). Trong luận văn này, chúng tôi tiến hành nghiên cứu và đề xuất hai phƣơng pháp để kết nối nghĩa của các danh từ tiếng Anh trong các từ điển đến các khái niệm tƣơng ứng trong Wikipedia. Để đánh giá các phƣơng pháp đề xuất, chúng tôi tiến hành hiện thực, thử nghiệm và đánh giá trên hai bộ từ điển Wiktionary và Oxford. Các công trình liên quan Hiện nay, đã có một số nghiên cứu trƣớc đây sử dụng cơ sở tri thức Wikipedia để làm giàu ngữ nghĩa cho các văn bản không có cấu trúc hoặc các nguồn cơ sở tri thức từ vựng khác, chẳng hạn nhƣ mạng từ vựng WordNet.

Để lựa chọn đúng các khái niệm tƣơng ứng trong Wikipedia, phƣơng pháp đề xuất cho các nghiên cứu này dựa trên hai hƣớng tiếp cận: dựa trên luật và học máy. Có nhiều công trình nghiên cứu trƣớc đây đã tiến hành kết nối mạng từ vựng WordNet với cơ sở tri thức Wikipedia, chẳng hạn nhƣ Ruiz-Casado (2005), Suchanek (2008), Ponzetto và Navigli (2010), Fernando và Stevenson (2012). Các nghiên cứu này định nghĩa giải thuật với các luật hoặc heuristic khác nhau để lựa chọn khái niệm tƣơng ứng trong Wikipedia cho các WordNet synset. Ruiz-Casado (2005) đã sử dụng việc so sánh mức độ tƣơng tự văn bản giữa các synset và trang Wikipedia để kết nối WordNet và Simple Wikiepdia tiếng Anh.

3 Suchanek (2008) đã sử dụng các phƣơng pháp heuristic để kết nối các trang thể loại của Wikipedia với các WordNet synset. Ponzetto và Navigli (2010) sử dụng các phƣơng pháp giao nhau văn bản để lựa chọn trang Wikipedia phù hợp nhất cho từng WordNet synset, tuy nhiên khi tìm kiếm các trang Wikipedia ứng viên tác giả chỉ sử dụng tiêu đề của trang Wikipedia mà không sử dụng nội dung của nó. Nghiên cứu gần đây nhất của việc kết nối WordNet và Wikipedia là công trình của Fernando và Stevenson (2012). Tác giả đã đề xuất một phƣơng pháp tự động kết nối các WordNet synset đến các trang Wikipedia với ba bƣớc: xác định tập các trang ứng viên cho từng WordNet synset (Generation of Candidate Articles), lựa chọn các kết nối tốt nhất (Selecting the Best Mappings) và tinh lọc các kết nối (Refining the Mappings).

Trong phƣơng pháp của Fernando và Stevenson, mục tiêu của bƣớc thứ nhất là thu giảm không gian tìm kiếm trang Wikipedia kết nối cho từng synset. Với bƣớc thứ hai, mục tiêu là giải quyết nhập nhằng để xác định trang Wikipedia phù hợp nhất và tác giả đã sử dụng hai độ đo: tƣơng tự văn bản (Text Similarity) và tƣơng tự tiêu đề (Title Similarity). Cuối cùng, một phƣơng pháp đánh giá toàn cục và các liên kết trong Wikipedia đƣợc sử dụng để tinh lọc những kết nối tốt nhất. Ngoài ra, cũng có một số nghiên cứu khác đã tiến hành kết nối các văn bản không có cấu trúc với Wikipedia, chẳng hạn nhƣ Mihalcea và Csomai (2007), Milne và Witten (2008).

Các nghiên cứu này sử dụng phƣơng pháp học máy để phân giải nhập nhằng cho các cụm từ trong văn bản. Mihalcea và Csomai (2007) đã đề xuất phƣơng pháp Wikify để làm giàu ngữ nghĩa cho các văn bản không có cấu trúc với hai bƣớc chính: rút trích từ khoá (Keyword Extraction) và giải quyết nhập nhằng (Word Sense Disambiguation). Rút trích từ khoá là xác định các từ và các cụm từ quan trọng trong văn bản, chúng là các thuật ngữ kỹ thuật (Technical Terms), các thực thể đƣợc định danh (Named Entities), các thuật ngữ mới (New Terminology). Để rút trích các từ khoá trong văn bản, đầu tiên tác giả tiến hành xây dựng một từ điển với các tiêu đề của các trang Wikipedia, sau đó văn bản sẽ đƣợc phân tích và rút trích ra các từ và cụm từ nếu chúng nằm trong từ điển.

Tiếp theo để đánh giá các từ và cụm từ nào quan trọng, một hàm xếp hạng (ranking) dựa trên truy hồi thông tin (IR), xác suất, hoặc độc lập tuyến tính đƣợc sử dụng. Ví dụ, với văn bản "A tree is a large, perennial, woody plant [.] The earliest 4 trees were tree ferns and horsetails, which grew in forests in the Carboniferous Period." thì các từ khoá đƣợc rút trích là: "perennial", "plant", "tree ferns", "horsetails", "Carboniferous". Sau khi rút trích đƣợc các từ khoá trong văn bản, Mihalcea và Csomai sử dụng giải thuật học máy dựa trên việc phân tích các liên kết trong Wikipedia để giải quyết nhập nhằng cho các từ khoá và liên kết chúng đến các trang Wikipedia tƣơng ứng. Trong đoạn văn bản của ví dụ trên, từ "plant" có một vài nghĩa khác nhau, chẳng hạn "green plant" (cây xanh) hay "industrial plant" (nhà máy công nghiệp), nhƣng nghĩa đúng của từ "plant" trong đoạn văn bản nên là "green plant" (cây xanh).

Milne và Witten (2008) đề xuất một phƣơng pháp cải tiến cho phƣơng pháp Wikify trong việc kết nối các văn bản không câu trúc với Wikipedia. Và để giải quyết nhập nhằng cho các từ khoá, Milne và Witten đã sử dụng phƣơng pháp học máy dựa trên ba nhân tố chính: độ phổ biến (Commoness), độ tƣơng quan ngữ cảnh (Semantic Relatedness) và chất lƣợng của ngữ cảnh (Context Quality). Ngoài các nghiên cứu kết nối WordNet và các văn bản đến Wikipedia, còn có một số nghiên cứu khác kết nối các cơ tri thức từ vựng lại với nhau. Chẳng hạn nhƣ, Meyer và Gurevych (2011) đã đề xuất một phƣơng pháp kết nối các WordNet synset với các nghĩa tƣơng ứng trong Wiktionary.

Ví dụ, synset {plant, works, industrial plant -- (buildings for carrying on industrial labor; "they built a large plant to manufacture automobiles")} trong WordNet sẽ đƣợc kết nối với nghĩa "A factory or other industrial or institutional building or facility" của từ "plant" trong Wiktionary. Phƣơng pháp của Meyer và Gurevych bao gồm hai bƣớc chính: rút trích các ứng viên (Candidate Extraction) và giải quyết nhập nhằng các ứng viên (Candidate Disambiguation). Rút trích các ứng viên nghĩa là xác định một tập các nghĩa ứng viên trong Wiktionary cho từng WordNet synset. Với từng WordNet synset, tác giả lấy tất cả các nghĩa trong Wiktionary của các từ đồng nghĩa và thêm vào tập các nghĩa ứng viên.

Sau khi xác định đƣợc tập các nghĩa ứng viên, tác giả sử dụng hai hàm đánh giá COS (Cosine Similarity) và PPR (Personalized PageRank Based Measure) để giải quyết nhập nhằng và xác định những kết nối đúng cho từng WordNet synset đến từng nghĩa trong Wiktionary. 5 CHƢƠNG 2 CƠ SỞ LÝ THUYẾT 2. Wikipedia Wikipedia4 là một nguồn tri thức mở to lớn của con ngƣời, đƣợc đƣa vào hoạt động chính thức vào ngày 15 tháng 1 năm 2001 nhờ hai ngƣời sáng lập Jimmy Wales và Larry Sanger, cùng với vài ngƣời cộng tác nhiệt thành. Trong những năm gần đây, Wikipedia đã phát triển rất nhanh nhờ sự đóng góp tích cực của đông đảo cộng đồng ngƣời sử dụng trên toàn thế giới và trở thành nguồn thông tin đáng tin cậy.

Tính đến tháng 5 năm 2014, cơ sở dữ liệu của Wikipedia bao gồm hơn 31,6 triệu trang Web, hơn 46 triệu ngƣời sử dụng, bao quát nhiều lĩnh vực khác nhau, hỗ trợ trên 287 ngôn ngữ khác nhau5. Theo Alexa6, hiện nay Wikipedia là một website phổ biến đứng hàng thứ sáu trên thế giới. Và theo comScore7, mỗi tháng có trung bình khoảng 495 triệu lƣợt truy cập đến Wikipedia trên toàn thế giới, trong đó 85 triệu lƣợt truy cập đến từ Mỹ. Xét về mức độ tin cậy thông tin của Wikipedia, nhiều nghiên cứu trƣớc đây đã chỉ ra rằng độ chính xác của Wikipedia có thể tƣơng đƣơng với các nguồn tri thức đóng khác.

Giles (2005) đã so sánh Wikipedia và từ điển bách khoa toàn thƣ Britannica8 bằng việc thu thập ngẫu nhiên 41 bài viết có chủ đề liên quan đến khoa học, và kết quả có 162 lỗi trên các bài viết của Wikipedia so với 123 lỗi của các bài 4 http://wikipedia.org/ 5 http:// en.org/wiki/History_of_Wikipedia 6 http://www.com/siteinfo/wikipedia.org 7 http://www.com/ 8 http://www.com/ 6 viết lấy từ Britannica. Weaver và Strickland (2006) đánh giá mức độ chính xác của liên kết giữa các bài viết trong Wikipedia đạt 97%. Điều này có thể khẳng định rằng Wikipedia có mức độ tin cậy cao và là nguồn tri thức đáng giá. Trong phạm vi luận văn này, chúng tôi sử dụng phiên bản Wikipedia vào ngày 22 tháng 7 năm 2011 làm cơ sở tri thức với số lƣợng trang cho mỗi loại đƣợc thống kê nhƣ sau: - Trang thực thể: 3,573,789 trang.

- Trang phân giải nhập nhằng: 148,818 trang. - Trang thể loại: 739,980 trang. - Trang chuyển hƣớng: 5,001,026 trang. Sau đây, chúng tôi sẽ trình bày sơ lƣợc các thành phần cơ bản của Wikipedia.

Trang thực thể Trang thực thể là thành phần quan trọng nhất của Wikipedia, mô tả chi tiết thông tin về một thực thể mà nó đề cập tới và đƣợc xác định bằng một tiêu đề (title), cũng là định danh của thực thể. Trong trƣờng hợp tiêu đề bị nhập nhằng thì sẽ có một phần văn bản phân giải nhập nhằng đi kèm phía sau và nhận diện bằng ký hiệu đóng mở ngoặc "()" hay ký hiệu dấu phẩy ",". Ví dụ, trong hình 2.1 là một phần nội dung của trang thực thể "Mouse (computing)" đƣợc trích từ Wikipedia tiếng Anh. Tiêu đề của trang thực thể này bao gồm hai phần: tiêu đề chính "Mouse" và phần văn bản phân giải nhập nhằng "computing".

Và phần văn bản phân giải nhập nhằng này giúp xác định trang thực thể đang đề cập đến chuột máy tính, chứ không phải là chuột sinh học. Ngoài tiêu đề, trang thực thể còn có một số thành phần khác nhƣ infobox, liên kết vào (in-going link), liên kết ra (out-going link)… Infobox là nội dung tóm tắt quan trọng về thực thể hoặc chứa liên kết đến các thực thể có liên hệ mật thiết; Infobox thƣờng đƣợc biểu diễn dƣới dạng một bảng (table) nằm ở góc phải ngoài cùng của một trang thực thể.