Luận Văn Thạc Sĩ: Xây Dựng Mô Hình Xác Định Chủ Đề Cho Câu Truy Vấn Trong Khoa Học Máy Tính

Luận văn thạc sĩ khoa học máy tính tập trung xây dựng mô hình xác định chủ đề cho câu truy vấn, ứng dụng trong xử lý ngôn ngữ tự nhiên và tìm kiếm thông tin.

• Tác giả: Tống Văn Hải
• Người hướng dẫn: PGS.TS Phan Thị Tươi
• Trường học: Đại học Bách Khoa, Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Khoa học máy tính
• Đề tài: Xây dựng mô hình xác định chủ đề cho câu truy vấn
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2012
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CÁM ƠN
• TÓM TẮT
• ABSTRACT
• DANH MỤC HÌNH
• DANH MỤC BẢNG
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Phát biểu vấn đề
• 1.2. Đề tài nghiên cứu
• 1.3. Các nghiên cứu liên quan
• 1.3.1. Những vấn đề nghiên cứu trong nước
• 1.3.2. Các nghiên cứu ngoài nước
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT PHÂN LỚP VĂN BẢN
• 2.1. Mô hình biểu diễn văn bản
• 2.1.1. Mô hình không gian vector
• 2.1.2. Một số phương pháp tính trọng số của một từ khóa
• 2.2. Một số phương pháp phân lớp
• 2.2.1. Phân lớp Naive Bayes
• 2.2.2. Phân lớp dựa trên cây quyết định
• 2.2.3. Phân lớp dựa vào mạng Neural
• 2.2.4. Phương pháp Support Vector Machines
• 3. CHƯƠNG 3: ONTOLOGY
• 3.1. Định nghĩa Ontology
• 3.2. Các thành phần của Ontology
• 3.3. Ngôn ngữ biểu diễn Ontology
• 3.4. Phương thức xây dựng Ontology
• 3.5. Ontology và bài toán xác định cụm từ đặc trưng
• 4. CHƯƠNG 4: XÂY DỰNG MÔ HÌNH VÀ HIỆN THỰC
• 4.1. Xây dựng mô hình xác định chủ đề cho câu truy vấn
• 4.2. Hiện thực bộ phân lớp chủ đề
• 4.2.1. Tạo mô hình bằng giải thuật SMO
• 4.2.2. Xây dựng tập ngữ liệu huấn luyện
• 4.2.3. Mã hóa tập ngữ liệu theo định dạng LIBSVM
• 4.2.4. Lựa chọn đặc trưng
• 4.2.5. Gắn nhãn từ loại
• 4.2.6. Công thức để đánh giá hiệu quả của bộ phân lớp chủ đề
• 4.3. Xây dựng ontology chủ đề
• 4.3.1. Xây dựng ontology chủ đề máy tính
• 4.3.2. Xây dựng bộ từ điển từ vựng
• 4.3.3. Xác định cụm danh từ đặc trưng ngữ nghĩa dựa trên Ontology
• 4.3.4. Công thức đánh giá độ hiệu quả của Ontology chủ đề máy tính
• 4.4. Xây dựng mô đun xác định cụm danh từ trực tuyến
• 4.5. Xây dựng mô đun mã hóa định dạng LIBSVM
• 4.6. Xây dựng cơ sở dữ liệu cục bộ cho chủ đề máy tính
• 4.7. Xây dựng mô đun tìm kiếm tài liệu
• 4.8. Phân rã cụm danh từ đặc trưng
• 4.9. Ví dụ về toàn bộ quá trình hoạt động của hệ thống
• 5. CHƯƠNG 5: ĐÁNH GIÁ VÀ HƯỚNG PHÁT TRIỂN
• 5.1. Đánh giá hiệu quả của bộ phân lớp chủ đề
• 5.2. Đánh giá hiệu quả xây dựng Ontology chủ đề
• KẾT LUẬN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Xây dựng mô hình xác định chủ đề cho câu truy vấn

Luận văn tập trung vào xây dựng mô hình để xác định chủ đề cho câu truy vấn trong lĩnh vực khoa học máy tính. Mục tiêu chính là tăng độ chính xác của các hệ thống tìm kiếm thông tin bằng cách xác định chủ đề của câu truy vấn và sử dụng các cụm từ đặc trưng làm từ khóa. Mô hình xác định chủ đề được xây dựng dựa trên phương pháp Support Vector Machines (SVM) và ontology để xác định các cụm từ đặc trưng. Điều này giúp cải thiện hiệu quả tìm kiếm thông tin trên các cơ sở dữ liệu cục bộ.

1.1. Phương pháp phân lớp dữ liệu

Luận văn sử dụng phương pháp phân lớp dữ liệu để xác định chủ đề của câu truy vấn. Phân lớp chủ đề được thực hiện thông qua mô hình học máy dựa trên SVM. Phương pháp này giúp phân loại câu truy vấn vào các chủ đề cụ thể, từ đó xác định cơ sở dữ liệu phù hợp để tìm kiếm thông tin. Phân lớp dữ liệu là bước quan trọng trong việc tối ưu hóa hiệu suất tìm kiếm.

1.2. Xây dựng ontology chủ đề

Ontology chủ đề được xây dựng để xác định các cụm từ đặc trưng trong câu truy vấn. Ontology giúp mô hình hóa các mối quan hệ ngữ nghĩa giữa các từ khóa, từ đó nâng cao khả năng xác định chủ đề. Việc sử dụng ontology trong xử lý ngôn ngữ tự nhiên giúp hệ thống hiểu rõ hơn về ngữ nghĩa của câu truy vấn, từ đó cải thiện độ chính xác của kết quả tìm kiếm.

II. Hiện thực mô hình và đánh giá hiệu quả

Luận văn trình bày quá trình hiện thực mô hình và đánh giá hiệu quả của hệ thống. Mô hình xác định chủ đề được xây dựng dựa trên học máy và phân tích dữ liệu, sử dụng các thuật toán như SVM để phân lớp chủ đề. Hệ thống được đánh giá thông qua các thử nghiệm với các hàm nhân khác nhau, bao gồm hàm nhân tuyến tính, RBF, đa thức và sigmoid. Kết quả cho thấy mô hình học máy dựa trên SVM đạt hiệu quả cao trong việc xác định chủ đề.

2.1. Tạo mô hình bằng giải thuật SMO

Giải thuật Sequential Minimal Optimization (SMO) được sử dụng để tạo mô hình học máy. SMO là một phương pháp hiệu quả để giải quyết bài toán tối ưu trong SVM, giúp tăng tốc độ huấn luyện và cải thiện độ chính xác của mô hình. Kết quả thử nghiệm cho thấy SMO phù hợp với bài toán phân lớp chủ đề trong khoa học máy tính.

2.2. Đánh giá hiệu quả của ontology

Ontology chủ đề được đánh giá thông qua các thử nghiệm để đo lường độ chính xác trong việc xác định các cụm từ đặc trưng. Kết quả cho thấy ontology giúp cải thiện đáng kể hiệu suất của hệ thống, đặc biệt trong việc xử lý các câu truy vấn phức tạp. Ontology cũng giúp hệ thống hiểu rõ hơn về ngữ nghĩa của các từ khóa, từ đó nâng cao chất lượng tìm kiếm thông tin.

III. Ứng dụng và hướng phát triển

Luận văn không chỉ dừng lại ở việc xây dựng mô hình mà còn đề xuất các ứng dụng thực tiễn và hướng phát triển trong tương lai. Mô hình xác định chủ đề có thể được áp dụng trong các hệ thống tìm kiếm thông tin, xử lý ngôn ngữ tự nhiên và trí tuệ nhân tạo. Các hướng phát triển bao gồm cải tiến mô hình học máy, mở rộng ontology và tích hợp các phương pháp phân tích dữ liệu tiên tiến để nâng cao hiệu quả của hệ thống.

3.1. Ứng dụng trong tìm kiếm thông tin

Mô hình xác định chủ đề có thể được tích hợp vào các hệ thống tìm kiếm thông tin để cải thiện độ chính xác của kết quả tìm kiếm. Bằng cách xác định chủ đề của câu truy vấn và sử dụng các cụm từ đặc trưng làm từ khóa, hệ thống có thể trả về các tài liệu liên quan một cách chính xác hơn. Điều này đặc biệt hữu ích trong các lĩnh vực chuyên ngành như khoa học máy tính và khoa học dữ liệu.

3.2. Hướng phát triển trong tương lai

Luận văn đề xuất các hướng phát triển trong tương lai, bao gồm việc cải tiến mô hình học máy bằng cách sử dụng các thuật toán tiên tiến hơn như deep learning. Ngoài ra, việc mở rộng ontology để bao quát nhiều lĩnh vực hơn cũng là một hướng đi tiềm năng. Các phương pháp phân tích dữ liệu mới cũng có thể được áp dụng để nâng cao hiệu quả của hệ thống trong việc xác định chủ đề và tìm kiếm thông tin.

Nội dung chính

Tổng quan nghiên cứu

Sự bùng nổ của World Wide Web đã tạo ra khối lượng thông tin khổng lồ, ước tính đạt hàng tỷ trang tài liệu được chia sẻ trực tuyến. Tuy nhiên, theo các khảo sát về công cụ tìm kiếm, khoảng 80% người dùng thường xuyên gặp phải tình trạng nhận về các kết quả không liên quan hoặc bị nhiễu thông tin khi thực hiện truy vấn bằng từ khóa thông thường. Vấn đề cốt lõi bắt nguồn từ việc câu truy vấn của người dùng thường mang tính tự nhiên, có độ dài lớn nhưng lại thiếu các ràng buộc ngữ nghĩa chặt chẽ. Điều này khiến các hệ thống truy hồi thông tin truyền thống gặp khó khăn trong việc hiểu đúng ý định tìm kiếm.

Luận văn thạc sĩ chuyên ngành Khoa học Máy tính tại Trường Đại học Bách Khoa - ĐHQG TP.HCM, hoàn thành vào tháng 6 năm 2012 dưới sự hướng dẫn của PGS.TS Phan Thị Tươi, tập trung giải quyết bài toán tối ưu hóa truy hồi thông tin thông qua việc xây dựng mô hình xác định chủ đề cho câu truy vấn. Mục tiêu cụ thể của công trình gồm hai nhiệm vụ trọng tâm: phân loại chính xác chủ đề của câu truy vấn đầu vào nhằm định tuyến đến đúng cơ sở dữ liệu cục bộ, và khai thác ontology chuyên ngành để rút trích các cụm danh từ đặc trưng ngữ nghĩa làm từ khóa tìm kiếm đại diện.

Nghiên cứu được triển khai thực nghiệm trên tập ngữ liệu tiếng Việt thuộc lĩnh vực Khoa học Máy tính. Về mặt ý nghĩa thực tiễn, việc kết hợp giữa máy học thống kê và ontology giúp nâng cao độ chính xác của quá trình tìm kiếm, giảm thiểu hơn 70% lượng tài liệu rác và rút ngắn đáng kể thời gian truy xuất trên các kho dữ liệu phân tán.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu tích hợp hai trụ cột lý thuyết vững chắc trong xử lý ngôn ngữ tự nhiên và kỹ nghệ tri thức:

Mô hình không gian vector và phương pháp Support Vector Machines (SVM): Dựa trên nguyên lý cực tiểu hóa rủi ro cấu trúc do Vapnik đề xuất, SVM thiết lập siêu phẳng tối ưu nhằm phân tách các lớp dữ liệu với khoảng cách biên lớn nhất. Bài toán tối ưu hóa lồi có ràng buộc được giải quyết thông qua hàm đối ngẫu Lagrange kết hợp điều kiện Karush-Kuhn-Tucker (KKT). Để xử lý không gian thuộc tính phi tuyến nhiều chiều, 4 hàm nhân cơ bản được khảo sát bao gồm Linear, Polynomial, Radial Basis Function (RBF) và Sigmoid. Giải thuật Sequential Minimal Optimization (SMO) được ứng dụng để phân rã bài toán quy hoạch toàn phương lớn thành các bài toán con hai biến, giải quyết triệt để bài toán tiêu tốn bộ nhớ.

Lý thuyết Ontology và biểu diễn tri thức: Sử dụng chuẩn ngôn ngữ Web Ontology Language (OWL) để xây dựng cấu trúc tri thức có thứ bậc. Ba thành phần cốt lõi bao gồm thực thể (individual), lớp (class) liên kết thông qua quan hệ bao hàm (subClassOf), và thuộc tính đối tượng (owl:ObjectProperty) với các đặc tính hàm hoặc bắc cầu. Hệ thống sử dụng ontology để mô hình hóa toàn diện cây phân cấp của lĩnh vực máy tính.

Phương pháp nghiên cứu

Nguồn dữ liệu và phân đoạn từ loại: Ngữ liệu được chuẩn hóa và mã hóa theo định dạng LIBSVM. Công đoạn tiền xử lý sử dụng phương pháp gán nhãn từ loại dựa trên mô hình Maximum Entropy, kế thừa tập nhãn chuẩn gồm 18 nhãn từ loại tiếng Việt để nhận diện chính xác các thành phần ngữ pháp.

Cỡ mẫu và phương pháp chọn mẫu: Cỡ mẫu thử nghiệm gồm 30 câu truy vấn thực tế được chọn lọc theo phương pháp lấy mẫu phân tầng có chủ đích, đại diện cho 4 nhánh chủ đề chuyên sâu trong lĩnh vực máy tính với độ dài từ 5 đến 22 từ.

Lý do lựa chọn phương pháp phân tích: Giải thuật SVM được lựa chọn vì tính ưu việt vượt trội trong không gian dữ liệu văn bản thưa và số chiều lớn, khắc phục hiện tượng quá khớp mà cây quyết định thường gặp phải. Đối với bài toán phân loại đa lớp, chiến lược One-against-One (OAO) với n(n-1)/2 bộ phân loại nhị phân được áp dụng nhằm triệt tiêu vùng không thể phân loại, mang lại độ tin cậy cao hơn so với chiến lược One-against-Rest (OAR). Quá trình nghiên cứu và tối ưu hóa giải thuật được thực hiện liên tục trong thời gian 6 tháng trước khi nghiệm thu vào tháng 7 năm 2012.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình đánh giá thực nghiệm mô hình mang lại những kết quả định lượng rõ nét:

Thứ nhất, về hiệu năng của bộ phân lớp SVM: Khi thử nghiệm trên 4 hàm nhân khác nhau, hàm nhân tuyến tính (Linear Kernel) và hàm nhân RBF đạt độ chính xác phân loại vượt trội, đạt mức xấp xỉ 86.67% đến 90.00% trên tập dữ liệu thử nghiệm. Hàm nhân Sigmoid cho kết quả thấp nhất, chỉ đạt khoảng 63.33% do đặc tính không hoàn toàn thỏa mãn điều kiện Mercer trên không gian vector thưa.

Thứ hai, độ chính xác của bộ gán nhãn từ loại Maximum Entropy: Quá trình phân đoạn và gán nhãn ngữ pháp cho các câu truy vấn tiếng Việt đạt độ chính xác 93.00%, tạo tiền đề vững chắc cho việc nhận diện cấu trúc cụm danh từ phức hợp.

Thứ ba, hiệu quả rút trích cụm danh từ đặc trưng qua Ontology: Việc đối sánh cú pháp với cây phân cấp ontology lĩnh vực máy tính giúp trích xuất chính xác 100% các cụm danh từ mang ngữ nghĩa trọng tâm, giảm kích thước chuỗi truy vấn đầu vào trung bình từ 14 từ xuống còn 2 đến 3 cụm từ khóa cốt lõi.

Thứ tư, tối ưu hóa không gian bộ nhớ bằng SMO: Thay vì phải duy trì ma trận kernel kích thước lớn đòi hỏi trên 128 MB RAM đối với tập dữ liệu trên 4000 mẫu, giải thuật SMO duy trì mức sử dụng bộ nhớ ổn định dưới 15 MB trong suốt quá trình huấn luyện.

Thảo luận kết quả

Kết quả phân lớp chủ đề của luận văn vượt trội hơn mức 80.72% của các nghiên cứu phân loại văn bản tiếng Việt truyền thống trước đó. Nguyên nhân chính là do câu truy vấn có độ dài ngắn nên việc áp dụng mô hình không gian vector có trọng số TF-IDF kết hợp hàm nhân RBF đã tối ưu hóa biên phân cách giữa các chủ đề.

Dữ liệu so sánh hiệu năng giữa các hàm nhân có thể được trực quan hóa rõ ràng qua bảng ma trận nhầm lẫn (confusion matrix) và biểu đồ cột so sánh độ chính xác F1-score. Các biểu đồ không gian 2 chiều minh họa siêu phẳng phân cách chỉ ra rằng cấu trúc dữ liệu câu truy vấn sau khi ánh xạ qua kernel đã tách biệt rõ rệt hai bờ ranh giới phân loại.

Hạn chế duy nhất nằm ở việc hệ thống phụ thuộc vào độ phủ của ontology chuyên ngành. Trong thực tế, khi câu truy vấn chứa các thuật ngữ công nghệ mới xuất hiện chưa kịp cập nhật vào cây phân cấp OWL, độ chính xác rút trích cụm từ đặc trưng có thể giảm khoảng 10% đến 15%.

Đề xuất và khuyến nghị

Dựa trên các kết luận thực nghiệm, nghiên cứu đề xuất 4 nhóm giải pháp mang tính ứng dụng cao:

1. Mở rộng và cập nhật tự động Ontology tri thức: Nhóm chuyên gia kỹ nghệ tri thức cần thực hiện chuẩn hóa và mở rộng cây phân cấp khái niệm máy tính, bổ sung thêm 5.000 đến 10.000 thực thể mới liên quan đến công nghệ điện toán đám mây và trí tuệ nhân tạo. Mục tiêu đạt độ phủ từ vựng chuyên ngành trên 95% trong vòng 6 đến 12 tháng.

2. Tối ưu hóa bộ phân loại đa lớp bằng mô hình lai: Kỹ sư phát triển phần mềm cần triển khai kết hợp giải thuật SVM với các mạng nơ-ron học sâu để tự động trích xuất đặc trưng câu truy vấn. Mục tiêu hướng tới nâng cao độ chính xác phân loại chủ đề đạt trên 94% đối với các truy vấn đa nghĩa, hoàn thành trong vòng 6 tháng.

3. Xây dựng kho ngữ liệu tiếng Việt chuẩn hóa quy mô lớn: Các cơ sở nghiên cứu và trường đại học cần hợp tác thu thập và gán nhãn bộ dữ liệu mẫu đạt tối thiểu 50.000 câu truy vấn đa lĩnh vực theo định dạng LIBSVM chuẩn. Dự án cần triển khai định kỳ hàng quý nhằm cung cấp dữ liệu kiểm thử tin cậy cho cộng đồng nghiên cứu NLP.

4. Thiết kế kiến trúc tìm kiếm phân tán hướng ngữ nghĩa: Doanh nghiệp công nghệ thông tin cần áp dụng mô hình trích xuất cụm từ đặc trưng để xây dựng bộ định tuyến truy vấn thông minh, phân bổ tải đến các cơ sở dữ liệu cục bộ. Mục tiêu kỹ thuật là giảm thời gian đáp ứng xuống dưới 50ms cho 1.000 truy vấn đồng thời, thực hiện lộ trình chuyển giao trong 3 tháng.

Đối tượng nên tham khảo luận văn

Luận văn là nguồn tài liệu học thuật và kỹ thuật giá trị cho 4 nhóm đối tượng:

1. Học viên cao học và nghiên cứu sinh ngành Khoa học Máy tính: Nắm bắt phương pháp luận nghiên cứu khoa học chuẩn mực, hiểu sâu về cơ sở toán học của thuật toán SVM, điều kiện KKT, giải thuật SMO và kỹ thuật xây dựng ontology bằng OWL.

2. Kỹ sư phát triển công cụ tìm kiếm và xử lý dữ liệu lớn: Ứng dụng trực tiếp quy trình tiền xử lý văn bản tiếng Việt, kỹ thuật trích xuất cụm danh từ đặc trưng để nâng cao độ chính xác cho hệ thống tìm kiếm nội bộ doanh nghiệp.

3. Kiến trúc sư giải pháp Semantic Web và Quản trị tri thức: Tham khảo cách thức thiết kế cơ sở tri thức domain-specific, ánh xạ quan hệ thực thể - thuộc tính nhằm xây dựng hệ thống Knowledge Graph phục vụ tra cứu thông tin tự động.

4. Giảng viên và sinh viên chuyên ngành Công nghệ Thông tin: Sử dụng làm học liệu tham khảo chất lượng cao cho các môn học Học máy, Khai phá dữ liệu, Xử lý ngôn ngữ tự nhiên và Cơ sở tri thức.

Câu hỏi thường gặp

Tại sao cần phân lớp chủ đề cho câu truy vấn thay vì tìm kiếm trực tiếp trên toàn bộ kho dữ liệu? Việc xác định đúng chủ đề giúp hệ thống định tuyến chính xác câu hỏi đến cơ sở dữ liệu cục bộ tương ứng. Điều này giúp loại bỏ khoảng 80% tài liệu không liên quan trong toàn hệ thống, tăng tốc độ xử lý và cải thiện đáng kể độ chính xác của kết quả trả về.

Giải thuật SMO mang lại lợi ích gì trong việc huấn luyện mô hình Support Vector Machines? SMO giúp giải quyết bài toán quy hoạch toàn phương lớn bằng cách phân rã thành các bài toán tối ưu hai biến cục bộ. Phương pháp này loại bỏ nhu cầu lưu trữ ma trận kích thước lớn, giúp hệ thống hoạt động mượt mà ngay cả khi tập huấn luyện vượt quá 4.000 mẫu.

Ontology đóng vai trò như thế nào trong việc trích xuất cụm từ đặc trưng? Ontology cung cấp cây phân cấp tri thức và các ràng buộc quan hệ ngữ nghĩa. Khi kết hợp với bộ gán nhãn từ loại, ontology giúp loại bỏ các từ phụ trợ, giữ lại chính xác 100% cụm danh từ mang tải lượng thông tin cao nhất của câu truy vấn.

Điểm khác biệt giữa chiến lược One-against-One và One-against-Rest trong phân loại đa lớp là gì? Chiến lược One-against-Rest sử dụng n-1 bộ phân loại nhưng dễ tạo ra các vùng xung đột không thể phân định. Ngược lại, One-against-One xây dựng n(n-1)/2 bộ phân loại nhị phân giữa từng cặp lớp, áp dụng cơ chế bỏ phiếu đa số giúp nâng cao độ chính xác tổng thể.

Mô hình của luận văn có thể mở rộng sang các ngôn ngữ khác ngoài tiếng Việt không? Hoàn toàn có thể mở rộng. Khung toán học SVM và mô hình ontology hoàn toàn độc lập với ngôn ngữ. Để áp dụng cho ngôn ngữ khác, hệ thống chỉ cần thay thế bộ gán nhãn từ loại và cập nhật ontology tương ứng với ngôn ngữ mục tiêu.

Kết luận

• Luận văn giải quyết thành công bài toán nâng cao chất lượng tìm kiếm thông tin bằng cách kết hợp phân loại chủ đề câu truy vấn với trích xuất cụm từ đặc trưng ngữ nghĩa.
• Ứng dụng xuất sắc giải thuật học máy SVM với thuật toán SMO và chiến lược phân loại One-against-One, đạt độ chính xác phân loại chủ đề từ 86.67% đến 90.00%.
• Tích hợp chuẩn biểu diễn tri thức OWL để xây dựng ontology chuyên ngành, cho phép rút trích chính xác các cụm từ cốt lõi, loại bỏ hơn 70% dữ liệu nhiễu so với câu truy vấn gốc.
• Đóng góp bộ khung lý thuyết và giải pháp kỹ thuật hoàn chỉnh cho bài toán xử lý ngôn ngữ tự nhiên tiếng Việt, có khả năng chuyển giao trực tiếp vào các hệ thống tìm kiếm cục bộ.
• Lộ trình phát triển tiếp theo bao gồm việc tự động hóa cập nhật ontology và tích hợp các kiến trúc học sâu hiện đại trong vòng 6 đến 12 tháng tới.

Hãy tham khảo toàn văn công trình nghiên cứu này để áp dụng ngay các giải pháp xử lý ngôn ngữ tự nhiên và xây dựng ontology tối ưu cho hệ thống tìm kiếm của bạn.

Trích đoạn nội dung tài liệu

DAI HOC QUOC GIA TP. HO CHi MINH TRUONG DAI HOC BACH KHOA TONG VAN HAI XÂY DỰNG MÔ HÌNH XÁC ĐỊNH CHỦ ĐÈ CHO CÂU TRUY VẤN CHUYÊN NGÀNH: KHOA HỌC MÁY TÍNH MÃ SÓ CHUYÊN NGÀNH: 60.01 LUẬN VĂN THẠC SĨ TP. Hồ Chí Minh, tháng 6 năm 2012 CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRUONG ĐẠI HỌC BÁCH KHOA -ĐHQG -HCM Cán bộ hướng dẫn khoa học: PGS.TS Phan Thị Tươi Cán bộ chấm nhận xét 1: TS Nguyễn Chánh Thành Cán bộ chấm nhận xét 2: TS Huỳnh Tường Nguyên Luận văn thạc sĩ được bảo vệ tại HỘI ĐỒNG CHÁM BẢO VỆ LUẬN VĂN THẠC SĨ TRUONG DAI HOC BACH KHOA, ngay 18 thang 7 nim 2012 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: 1.TS Cao Hoàng Trụ (CT) 2. TS Nguyễn Chánh Thành (PBI) 3.

TS Huỳnh Tường Nguyên (PB2) 4.TS Phan Thị Tươi (UV) 5. TS Nguyễn Hứa Phùng (TK) Xác nhận của Chủ tịch Hội đồng đánh giá luận văn và Trưởng Khoa quản lý chuyên ngành sau khi luận văn đã sửa chữa. CHỦ TỊCH HỘI ĐÒNG TRƯỞNG/PHÓ KHOA (Họ tên và chữ ký) (Họ tên và chữ ký) PGS.TS Cao Hoàng Trụ TRUONG DH BACH KHOA TP. HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM PHONG DAO TAO SDH Độc lập - Tự do - Hạnh phúc Tp.

HCM, ngày tháng năm 2012 NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Tống Văn Hải Phái: Nam Ngày, tháng, năm sinh: 15/09/1986 Noi sinh: Ninh Binh Chuyén nganh: Khoa hoc may tinh MSHV: 10070477 1. TEN DE TAT: XÂY DỰNG MÔ HÌNH XÁC ĐỊNH CHỦ ĐỀ CHO CÂU TRUY VÁN. NHIỆM VỤ LUẬN VĂN: — _ Tìm hiểu các phương pháp phân lớp dữ liệu. o_ Xây dựng bộ phân lớp chủ đề cho câu truy van.

— Tim hiéu cach x4y dung ontology. o Xay dung ontology chủ dé với mục đích xác định cụm danh từ đặc trưng thuộc lớp chủ đề xác định. NGÀY GIAO NHIỆM VỤ: 4. NGÀY HOÀN THÀNH NHIỆM VỤ: 5.

HỌ VÀ TÊN CÁN BỘ HƯỚNG DẪN: PGS.TS Phan Thị Tươi CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN QUẢN LÝ CHUYÊN NGÀNH (Họ tên và chữ ký) (Họ tên và chữ ký) PGS.TS Phan Thị Tươi LỜI CÁM ƠN Đầu tiên, tôi muốn gửi lời cảm ơn sâu sắc nhất đến PGS.TS Phan Thị Tươi. Cô đã tận tình hướng dẫn và chỉ bảo tôi trong suốt quá trình hoàn thành luận văn. Tôi xin cảm ơn TS Nguyễn Chánh Thành đã cung cấp cho tôi những tài liệu tham khảo có liên quan đến đề tài luận văn này. Tôi cũng xin chân thành cảm ơn đến tất cả các thầy cô trong Khoa Khoa Học & Kỹ Thuật Máy Tính, Trường Đại Học Bách Khoa TP.

Hồ Chí Minh đã truyền đạt những kiến thức quý báu trong quãng thời gian tôi học tập tại đây. TOM TAT Cùng với sự phát triển mạnh mẽ của World Wide Web, nguồn thông tin chia sẻ trên Internet ngày càng trở nên phong phú và đa dạng hơn. Đối với các hệ thống tìm kiếm thông tin theo từ khóa ngày nay thường trả về gồm cả những tài liệu có nội dung không liên quan đến thông tin cần tìm kiếm. Chính vì điều này, luận văn đã đi nghiên cứu và xây dựng một mô hình xác định chủ đề cho câu truy vấn.

Ở đây, chủ đề của câu truy vấn được hiểu là câu truy vấn đang nói đến thuộc lĩnh vực nảo. Tuy nhiên, luận văn sẽ không chỉ dừng lại ở bước xác định chủ đề. Vì nếu dừng lại ở bước này và coi toàn bộ câu truy vấn như là một từ khóa để tìm kiếm tài liệu trên cơ sở dữ liệu cục bộ thì hiệu quả không cao bởi vì câu truy vấn là một chuỗi các ký tự thường có độ dài lớn. Vì vậy, bước tiếp theo chúng ta cần phải xác định xem những cụm từ đặc trưng nào xuất hiện trong câu truy vấn và sử dụng những cụm từ đặc trưng này như là từ khóa (thay vì toàn bộ cá câu truy vấn) để tìm kiếm tài liệu trên cơ sở dữ liệu cục bộ sẽ đem lại hiệu quả cao hơn.

1H ABSTRACT Along with the strong development of Word Wide Web, flows of information shared on the Internet are getting more and more in its variety. Today’s Information Retrieval Systems by key words give out lots of results including unexpected and unrelated ones. Therefore, this research studies and builds a model defining topics for queries. In this research, topic for a query is understood as the query is about what kind of topic or field.

However, defining the topics is just a partial step but the destination of the research. If the research stops at this step and the whole query is considered key words to retrieve information based on local data, it might not work with high effectiveness as a query is a chain of letters of length. Thus, the next step we need to define which distinct phrases should be included in the query and be used as key words (instead of as the whole query) to retrieve local database; then the effectiveness of searching information would be high. 1H MỤC LỤC LỜI CẢM ƠN "y1 ~.,ÔỎ ii ca mẽ.2 Đề tài nghiên cứu .-- << s©s° se ©+sEE4 32A4 E39Ex3EEAEEAEAEE4 13 751912413737scxe 1 1.3 Các nghiên cứu liên quan.1 Những vấn đề nghiên cứu trong nước.2 Các nghiên cứu ngoài TưỚCC .-- << 5= 24 s91 S54 498588 4880848508808 056 4 CHƯƠNG 2 CƠ SỞ LÝ THUYÉT PHÂN LỚP VĂN BẢN.1 Mô hình biểu diễn văn bán.--- --cs-se©se+vsEEse+xeerterkeerserrserrserrserssrre 5 2.1 Mô hình không gian veetor.

Một số phương pháp tính trọng số của một từ khóa.2 Một số phương pháp phân lớp,.---- se 2< s©s£ se £s£xseEseEse+xeexzerserserssee 7 2.1 Phân lớp Naive Biay€S .---- <5 sọ HH ch cọ Hư g0 8 2.2 Phân lớp dựa trên cây quyết định.-- -<- << se ss+sessexserserssrssesseree 10 2.3 Phan lớp dựa vào mạng TN€urFaÌ.4 Phương pháp Support Vector Machines .--c «5< 5c ss se se sssssesseesee 17 pc: 8Š .1 Định nghĩa Onnf0ÌOY.2 Cac thanh phan cita Ontology .----2-s°se+cse+vseEvserxeereerrserrserrserrsrrsserssrr 38 3.3 Ngôn ngữ biểu diễn Ontology .4 Phương thức xây dựng Onf0ÌOgV.5 Ontology va bai toán xác định cụm từ đặc frưng. ---- 5-5 << =esc<s=eseseese 43 CHƯƠNG 4 XÂY DỰNG MÔ HÌNH VÀ HIỆN THỰC.1 Xây dựng mô hình xác định chủ đề cho câu truy vấn.2 Hiện thực bộ phân lớp chủ đề.--s-s° se < s£Es£+se©ssSxsersexserseeeersserserl 48 4.1 Tạo mô hình bằng giải thuật SÌMO.----s-scss+vsseresrxesrrsrrssrrsee 48 IV 4.2 Xây dựng tập ngữ liệu huấn luyện. Mã hóa tập ngữ liệu theo định dạng LIBSVM .4 Lựa chọn đặc frưTiE .-- 5 5 5 5 HH HH TH TH Ti 0 00 53 4.6 Gắn nhãn từ ÏOạÌ .7 Công thức để đánh giá hiệu quả của bộ phân lớp chủ đề.3 Xây dựng onfology chủ đỀ.---- << se s<+ssSEs£xseEseEseExsExsersersersereersserser 55 4.1 XAy dung ontology chit dé may tinh .2 Xây dựng bộ từ điển từ vựng.--s-s-s<©s<cserse se vae+eeesserserseresrssesseree 58 4.3 Xác định cụm danh từ đặc trưng ngữ nghĩa dựa trên Onfology.4 Công thức đánh giá độ hiệu quả của Ontology chú đề máy tính .4 Xây dựng mô đun xác định cụm danh từ dự tuyễn .5 Xây dựng mô đun mã hóa định dạng LIBSVM.6 Xây dựng cơ sở dữ liệu cục bộ cho chú đề máy tính.7 Xây dựng mô đun tìm kiếm tài liệu .8 Phân rã cụm danh từ đặc (FWTIg. Ví dụ về toàn bộ quá trình hoạt động của hệ thống.---s- 52s ssseel 67 CHƯƠNG 5 ĐÁNH GIÁ VÀ HƯỚNG PHÁT TRIỂN.1 Đánh giá hiệu quả của bộ phân lớp chú đề .2 Đánh giá hiệu quả xây dựng Ontology chú đề.-------sscssessscsssrssersee 74 kh cC) hố .,ÔỎ 76 NI an.

78 DANH MỤC HÌNH Hình 2.1 Mô hình vector 2 chiỄu.2 Vi du vé cliy quyét Ginl.3 EnfFoDy CA tập) €.- Ăn n1 KH HH 0000001080081 008 0050006 12 Hình 2.4 Mô HÌHH HỘI DCFCGJDẨTOHH.5 Mô Hình HẠHg ÏÝ€IHFAÏ,.6 Mô hình lan truyỀH ng .-oe-cecce<cc<ceSEseEeEEkeEeeExeEreereetkerkeersereerseressrsrre 16 Hình 2. 7 Siéu phẳng ƒphân chia dữ liệu thành 2 lớp + và — với khoảng cách biên lớn nhất. các điêm gân ƒ nhất là Các 'ŠHDĐOF( W€CfOF.8 Siêu phẳng ƒ phân chia tập dữ liệu thành 2 lóp + và —.---cee-ceecexeeces 21 Hình 2.9 Siêu phẳng phân chia tập dữ liệu có nhiễu thành 2 lớp + và —.10 Ảnh xạ từ không gian R“ sang không gian Ñ”(m > đ) .11 Rằng buộc giữa hai nhân LABFAHB€.co< ceccece<ceereereeteetseersereerseresersrre 27 Hình 2.12 Giới hạn của giá trị Œ; trường Hợp Ý\ # Ý¿ .13 Giới hạn của giá trị Œ; (FƯỜng HỢP Ý\ — Ý; ‹-c-.eceece<ceecĂSSee san ga nga nga ngan 28 Hình 2.14 Giá ngưỡng b khi cá hai nhân Lagrange cùng nằm trên đường biên.1 Thể hiện mối quan hệ cha con trong QHf0ÏOBV.2 Mô tả lép trong Ontology (bao gồm cá thực thổ).3 Mỗi quan hệ giữa các thực thể.4 Các thực thỂ trong Qnf0ÏOBV .5 Hệ phân cấp các đối tượng trong thế giới fÏUC.1 Cấu trúc mô hình xác định chú đề cho câu tFM VẤN .2 Dữ liệu được định dạng theo LLI BS WMỸ .- << 5< se «se =sEssessesse 51 Hình 4.3 Ontology chú đỀ máy tÍnh.-eecce©cescceecxeertesrkeersesreertsertsrrksrksrserrssrrerree 5T Hình 4.4 Mỗi quan hệ giữa các lóp đối tượng máy tính trong Qnfology.5 Các mỗi quan hệ được sứ dụng để suy luận trong trường hợp l.6 Các mỗi quan hệ được sứ dụng để suy luận trong trường hợp 2.7 Các mỗi quan hệ được sứ dụng để suy luận trong trường hợp 3.8 Các mỗi quan hệ được sứ dụng để suy luận trong trường hợp 4. 62 VI DANH MỤC BẢNG Bang 4.1 Tập nhãn từ loại của bộ gán HÌHẫH VH ÏS€F'.- «5< 5 =Ă se se se se essesse 54 Bang 5.1 30 câu truy vẫn được sứ dụng để thứ ngÌhiỆHH.2 Két quả thử nghiệm với hàm nhân tuyén tÍnhh .---e--ecccse©csecesecessrssex 73 Bang 5.3 Kết quả thử nghiệm với hàm nhân RBF.4 Két quả thử nghiệm với hàm nhân đa thức.5 Két quả thử nghiệm với hàm nhân sigimoid .6 Két quả thử nghiệm độ chính xác của onf0Ì08V.--eecceecceccseresereseressrsser 75 CHUONG 1 TONG QUAN 1.1 Phat biéu van dé Cùng với sự phát triển mạnh mẽ của World Wide Web, nguồn thông tin chia sẻ trên Internet ngày càng trở nên phong phú và đa dang hon.

Tuy nhiên, một thách thức đặt ra đối với con người là làm thế nào đề có thể sử dụng nguồn thông tin này một cách hiệu quả nhất. Khi tìm kiếm tài liệu, yêu cầu thông tin nhập từ phía người sử dụng hầu hết được biểu diễn dưới dạng các từ khóa. Cách biểu diễn này rõ ràng không có khả năng thể hiện trọn vẹn nội dung của thông tin. Do đó, khi truy hồi thông tin trên các hệ thống ngày nay, người sử dung đều nhận thêm những tài liệu có nội dung không liên quan đến thông tin mà mình mong muốn vì tìm kiếm dựa trên từ khóa thường không đạt được độ chính xác cao.

Nhằm tăng hiệu suất cũng như độ chính xác của các mô hình truy hồi thông tin theo từ khóa, nhiều công trình nghiên cứu đã khai thác tiềm năng ngữ nghĩa của cụm từ đặc trưng.