Chương 1.1 Xác định bài tOán.2 Mục tiêu và phạm VI. -- + c + 930101010 10 11111111111 11 1n nhà 2 Chương 2. CÁC CÔNG TRÌNH LIÊN QUAN. Các đặc điểm của cum từ khóa nói ChUnØ.
CO SỞ LÝ THUYET .-- ¿2522252 E+E*E£E££ESE*EE£E£zEzEeErxrxrecee 10 Ma —=. Định lượng mối quan hệ ngữ nghĩa và phân giải nhập nhăng. Nhóm theo chủ đề (COMMUNILY). 2222211121211 11112 111118111 kreg 17 Chương 4.
PHƯƠNG PHAP DE XUAT .---- 5-5522 E2 SE £E£2EzEcErszxrecee 18 Al SemilRankK.2 Phuong pháp cụm từ trong fâm. 1 1 1 vế 25 43 Phuong pháp sử dụng đặc điểm thông tin của cụm từ khóa. 28 AA Tiền xử lý dữ liệu đầu vàO.- ----- + k1 TT HT HT ky 29 Chương 5. Phương pháp đánh giá.
Hiện thực các phương pháp). 35 ° Hiện thực SemiRanK. - - - - - 1 111111111 S 1S 11111 15111111211 11111111111 k khen ra 36 © Hiện thực tiền xử lý dữ liệu.- 52 52s E 2212 He uyn 38 ° Hiện thực phương pháp cum từ trọng tâm.--- - -- 52-2 22222222222 zessss2 38 ° Hiện thực phương pháp sử dụng đặc điểm thông tin của cụm từ khóa. Đánh giá hiệu QUẢ.
2 2 25 5 5 1103001501010 010 re 39 ° Xác định số lượng cụm từ khóa ban đầu. S22 2212 2 Hy 39 ° Hiệu quả khi kết hợp với mối quan hệ ngữ nghĩa trong SemiRank. 42 ° So sánh với các phương pháp khác.-- - 1 2122221123213 Esrxed 43 ° Sử dụng phương pháp phân nhóm Walktrap.-- cece eee 44 Chương 6. Or: Leak 6 on ae .2 Hướng phat triỂn.
46 THAM KHẢO coscecccccccccccccssceseccsssssesscecsscecsssessccsssecssssesssscusscessssessssesssseesssestaseesess 48 DANH MỤC HINH Hình 3. Ví dụ về các thành phan trong Wikipedia. Ví dụ về biểu diễn siêu đồ thi G1. Quy trình rút trích cụm từ khóa trong SemiRank.
Giải thuật PhraseRank trong SemiRank .---- 5c ẶcSSssssssss+ss2 22 Hình 4. Minh họa một số bước lặp trong giải thuật PhraseRank. Quá trình rút trích tập các cụm từ khóa ban dau trong phương pháp cụm tỪ TONG TÂ. - -GGG G9 nọkh 25 Hình 5.
Đồ thị biểu diễn hiệu suất thu được khi sử dụng phương pháp cụm từ 00:58 0202217. 40 DANH MỤC BẢNG Bang 2-1. Các đặc điểm được sử dụng trong một số hệ thong rut trích cum từ khóa 9 Bang 3-1. Trọng lượng của các kiểu liên kết khác nhau.
Hiệu suất của SemiRank khi sử dung tiêu dé và sử dung phương pháp cụm CU trọng {Âm. - - + - -- cọ nọ ni ky 4] Bảng 5-2. Hiệu suất của SemiRank khi sử dung tiêu dé và sử dung phương pháp đặc điểm thông tin .----¿ ¿E22 SE E121 3 5 515151 51511111115 5 111101010 11101110100 11111 re 42 Bảng 5-3. Hiệu suat của tập các cụm từ khóa ban dau so với tập các cum từ khóa sau khi đánh giá ngữ nghĩa.
Hiệu suất của các phương pháp rút trích cụm từ khóa khác nhau trên tập ð008)1900)4740/2011118—. Hiệu suất đạt được khi sử dụng giải thuật phân nhóm Walktrap.1 Xác định bai toán Cum từ khóa là những từ hay cụm từ có nghĩa đại diện cho nội dung tóm tat của tài liệu. Vì diễn tả nội dung chính của tài liệu, những cụm từ khóa này có thể được sử dụng trong các công cụ tìm kiếm như 1a trở thành siêu dữ liệu (metadata) để giúp người sử dụng dự đoán nội dung của tài liệu và từ đó tìm kiếm được bài viết có nội dung phù hợp [9]. Các cum từ khóa này cũng có thé được dùng để gom nhóm và phân loại các tài liệu vào các chủ đề khác nhau [6].
Chúng cũng có thé được dùng để xây dựng các bộ từ điển đồng nghĩa (thesaurus) [19]. Cùng với sự phát triển của công nghệ thông tin, số lượng các tài liệu điện tử ngay càng nhiều nhưng ít trong số chúng được tác giả gan các cụm từ khóa. Thêm vào đó việc gan các cum từ khóa băng tay là một công việc đòi hỏi nhiều thời gian và công sức, vì thế, các công cụ gán tự động trở thành một lựa chọn mang lại nhiều hứa hẹn. Có hai hướng tiếp cận chính để giải quyết bài toán này: hướng sử dụng các cụm từ thuộc một bộ từ vựng được kiểm soát (controlled vocabulary) làm khóa và hướng rút trích các cụm từ khóa từ trong nội dung của văn bản.
Trong hướng tiếp cận thứ nhất, các cụm từ khóa là các từ vựng trong bộ từ vựng được kiểm soát. Bộ từ vựng kiểm soát bao gồm những cụm từ được chọn lựa kỹ lưỡng, mỗi cụm từ diễn tả một khái niệm duy nhất nào đó. Khi chọn khóa cho tài liệu, những cụm từ này sẽ được xem xét. Bộ từ vựng kiểm soát giúp bảo toàn tính đồng nhất giữa các cụm từ khóa của các tài liệu khác nhau.
Bộ từ vựng kiểm soát thường được tạo ra cho một lĩnh vực (domain) cụ thể nào đó và có kích thước giới hạn. Ví dụ như MeSH! là một “http://www. gov/mesh dạng của bộ từ vựng kiểm soát, MeSH cung cấp những cụm từ và những mô tả cho lĩnh vực y khoa. Hướng tiếp cận thứ hai là rút trích các cụm từ khóa từ trong nội dung của văn bản.
So với hướng tiếp cận thứ nhất những cụm từ được chọn làm khóa không bị giới hạn. Nhưng như vậy không có sự đồng nhất giữa các cụm từ khóa được chọn giữa các tài liệu khác nhau. Ở đây dé tai quan tâm đến những phương pháp rút trích các cụm từ khóa từ trong nội dung của tài liệu.2 Mục tiêu và phạm vi Dé xác định được tập các cụm từ khóa đại diện cho nội dung tóm tắt của tài liệu, đề tài đã kết hợp những đặc trưng của những cụm từ khóa với ngữ nghĩa. Cụ thể, đề tài xây dựng một tập các cụm từ khóa ban đầu dựa vào các đặc trưng của khóa, sau đó tiến hành đánh giá vai trò cụm từ khóa của chúng bằng cách xem xét mối quan hệ ngữ nghĩa của chúng với nhau.
Bằng cách sử dụng lại phương pháp đánh giá ngữ nghĩa trong SemiRank, trong phạm vi của minh, đề tài xây dựng lại tập các cụm từ khóa ban đầu cho nó dựa vào các đặc trưng khác nhau của cụm từ khóa. Hai phương pháp được đề xuất là: phương pháp cụm từ trọng tâm và phương pháp sử dụng đặc điểm thông tin của cụm từ khóa. SemiRank rút trích các cụm từ trong tiêu đề và coi chúng là các cụm từ khóa ban đầu cũng như là cụm từ khóa sau cùng, sau đó tìm kiếm thêm những cụm từ khóa còn lại từ trong văn bản mà những cụm từ khóa này có mối quan hệ ngữ nghĩa phù hợp với các cụm từ khóa ban đầu đã cho. Trong khi đó, dé tài mở rộng tập từ khóa ban đầu và đánh giá lại vai trò của các cụm từ khóa ban đầu này thông qua mối quan hệ ngữ nghĩa của chúng với nhau.
Như thế tập các cụm từ khóa sau cùng đại diện cho văn bản vừa có đặc trưng của việc là cụm từ khóa ban đầu và vừa có đặc trưng ngữ nghĩa. Khi xử lý tiên dữ liệu, các cụm từ đi qua một bước lọc liên quan dén việc gan cụm từ vào các bài viet Wikipedia tương ứng với chúng. Nên ở đây, có sự ràng buộc vào Wikipedia. Mặc dù Wikipedia có kích thước lớn nhưng nó vân nhỏ hơn sô lượng cụm từ có trong ngôn ngữ tự nhiên.
Trong phương pháp cụm từ trọng tâm, đề tài sử dụng một số mẫu là các từ trong tiếng Anh, nên phương pháp này chỉ áp dụng được cho các tải liệu có ngôn ngữ là tiếng Anh. CÁC CÔNG TRÌNH LIÊN QUAN Dé rút trích các cum từ khóa thích hop, các hệ thông thường tiễn hành qua hai bước sau: rút trích các cụm từ có trong văn bản làm khóa tiềm năng và lọc ra từ các cụm từ khóa tiém năng này những cụm từ thích hợp làm khóa. Chương này trình bày khái quát về các hệ thống rút trích cum từ khóa.1 mô ta tổng quát về các hệ thong nói chung.2 nêu lên các đặc điểm được sử dụng để lọc ra các cụm từ khóa. Tổng quát Như đã nói ở trên, các hệ thông rút trích các cụm từ khóa thường trải qua hai bước: rút trích các cụm từ khóa tiềm năng và lọc lấy các cụm từ khóa.
Có nhiều phương pháp khác nhau để tìm kiếm các cụm từ khóa tiềm năng trong nội dung văn bản. Cách đơn giản và phổ biến nhất là n-gram [3,5, 11, 23], cat tuần tự n từ don đứng kế tiếp nhau và coi nó là khóa tiềm năng. Nhược điểm của phương pháp này là các từ đơn đứng kế nhau không phải lúc nào cũng tạo thành cụm từ có nghĩa. Đề khắc phụ nhược điểm trên, phương pháp lay theo mẫu (POS pattern) được sử dụng [5, I8], các cầu trong văn bản được đưa qua một bộ phân tích cú pháp dé xác định từ loại của nó va chỉ những cum từ nào trong câu thỏa mãn các mẫu từ loại mới được chọn làm cụm từ khóa tiêm năng.
Trong những năm gan đây, cùng với sự lớn mạnh của Wikipedia, các cụm từ trong văn bản còn được gán với các bài viết trong Wikipedia (article) |4, 8, 14], các bài viết này đại diện cho ngữ nghĩa của cụm từ. Chỉ những cụm từ có khả năng tìm thay một hay nhiều bài viết tương ứng với nó mới được chọn làm cụm từ khóa tiềm năng. Một khi đã có được tập các cụm từ khóa tiềm năng, để có thể chọn ra được các cụm từ thích hợp làm khóa, các hệ thống tự động thường sử dụng những đặc điểm được cho là nên có ở một cụm từ khóa dé xây dựng nên bộ lọc. Những đặc điêm này có được do sự đúc kết từ những quan sát trên các tập khóa được thực hiện bang tay.
Tuy theo từng hệ thông khác nhau mà việc khai thác các đặc điểm này là khác nhau, mỗi hệ thống sẽ chú trọng một số đặc điểm được cho là nồi bật hơn cả va bỏ qua những đặc điểm khác. Có thể chia các hệ thống này thành hai nhóm chính: nhóm sử dụng phương pháp học có giám sát (marchine learning) và nhóm sử dụng phương pháp hoc không có giám sát (unsupervised learning). Nhóm sử dụng phương pháp học có giám sát [5, 11, 14, 23] sử dụng một tập dữ liệu huấn luyện (training data) để xây dựng nên mô hình học máy. Tập dữ liệu huấn luyện này bao gôm các tài liệu đã có sẵn các cum từ khóa được gan bang tay.
Những mô hình học máy thường được áp dụng là mô hình Naive Bayes [18, 23] hay cây ra quyết định (decision tree) [11, 14, 18]. Nhược điểm của phương pháp nay là đòi hỏi tập dữ liệu huấn luyện phải lớn [14].