CHƯƠNG 1: CƠ SỞ LÝ THUYẾT 1. Nhiệm vụ của đồ án Hiện nay, lĩnh vực khai phá dữ liệu văn bản đối với tiếng Việt vẫn là một điều mới mẻ với người Việt. Gần đây bài toán tóm tắt văn bản phục vụ cho công việc tóm tắt tin tức (tóm tắt trang tin) được nhiều nhà nghiên cứu quan tâm. Dựa trên cơ sở nền tảng vốn có về bài toán tách từ trong lĩnh vực ngôn ngữ tự nhiên, bài toán phân nhóm, phân lớp, tóm tắt văn bản trong lĩnh vực khai phá dữ liệu văn bản, người viết luận văn quyết định thử nghiệm bài toán tóm tắt văn bản tiếng Việt theo chủ đề.
Đó là sự kết hợp của bài toán tóm tắt văn bản với bài toán phân nhóm, phân lớp và bài toán tách từ. Đây là một cách tiếp cận với cho bài toán tóm tắt văn bản tiếng Việt. Chính vì lí do đó nên gặp rất nhiều khó khăn như: Khả năng liên kết giữa bài toán tách từ, phân nhóm, phân lớp với bài toán tóm tắt văn bản. Tập mẫu cho bài toán tóm tắt văn bản Khả năng đáp ứng tốc độ cũng như nội dung cho bài toán tóm tắt trang tin.
Phần nhiệm vụ tách từ, phân nhóm, phân lớp của bài toán toán tóm tắt văn bản dựa trên kết quả của luận văn tác giả Hoàng Đức Đông [4]. Khai phá dữ liệu văn bản Khai phá dữ liệu văn bản (Text Mining) là khái niệm ra đời từ những năm 90 của thế kỷ trước. Đến nay, khai phá dữ liệu văn bản đã có một nền tảng lý thuyết vững chắc. Khai phá dữ liệu văn bản bắt nguồn từ khái niệm rộng hơn là Khai phá dữ liệu (Data Mining), một khái niệm đề cập đến quá trình phát hiện, trích rút ra những thông tin hữu dụng từ một lượng lớn dữ liệu lưu trữ trong các loại cơ sở dữ liệu khác nhau [13].
Để hiểu rõ hơn về khái niệm khai phá dữ liệu văn bản chúng ta tìm hiểu khái niệm về khai phá dữ liệu và phát hiện tri thức trong cơ sở dữ liệu. Khái niệm phát hiện tri thức trong cơ sở dữ liệu (Knowledge Discovery in Databases - KDD) mong muốn tìm ra những thông tin hữu ích ẩn chứa trong cơ sở dữ liệu. Trong đó, quá trình phát hiện tri thức gồm 7 giai đoạn là [13]: Nguyễn Hồng Thái – Lớp cao học CNTT 2006-2008 9 ĐỒ ÁN TỐT NGHIỆP CAO HỌC ĐỀ TÀI: “TÓM TẮT VĂN BẢN TIẾNG VIỆT THEO CHỦ ĐỀ” 1. Làm sạch dữ liệu trước khi thu thập (Data Cleaning) 2.
Tích hợp dữ liệu từ các nguồn khác nhau (Data Integration) 3. Chọn lựa dữ liệu ứng viên (Data Selection) 4. Biến đổi dữ liệu thành dạng chuẩn để xử lý (Data Transformation) 5. Khai phá dữ liệu (Data Mining) 6.
Đánh giá kết quả (Evaluation) 7. Biểu diễn tri thức (Knowledge Presentation) Quá trình Phát hiện tri thức trong cơ sở dữ liệu được biểu diễn dưới hình vẽ sau [13]: Hình 1-1:Tiến trình khai phá dữ liệu và phát hiện tri thức (KDD) Quá trình Phát hiện tri thức tuân theo các giai đoạn phát triển: Dữ liệu - Thông tin - Tri thức. Khi lưu trữ thông tin chúng ta có được dữ liệu. Dữ liệu thông thường không được sử dụng hết theo thời gian trở thành kho dữ liệu lớn.
Trong quá trình phân tích, thống kê,… kho dữ liệu lớn này chúng ta thu được Thông tin. Thông tin được tổng hợp, khái quá hóa thành các quy luật, quy tắc chúng ta có được Tri thức. Quá trình Khai phá dữ liệu không chỉ dừng ở mức độ phát hiện mà nó thực hiện việc phân tích dữ liệu, để tìm ra những tri thức chưa từng được biết đến trước đó. Nguyễn Hồng Thái – Lớp cao học CNTT 2006-2008 10 ĐỒ ÁN TỐT NGHIỆP CAO HỌC ĐỀ TÀI: “TÓM TẮT VĂN BẢN TIẾNG VIỆT THEO CHỦ ĐỀ” Hình 1-2: Quan hệ Dữ liệu – Thông tin – Tri thức Các ứng dụng Khai phá dữ liệu có xu hướng phát triển trong tương lai tạo ra các sản phẩn gần gũi và thân thiện hơn với con người.
Điều này giúp cho con người thuận tiện khi tiếp xúc, nắm bắt thông tin về sản phẩn, qua đó đẩy mạnh quá trình phát triển thương mại. Oracle, IBM, Yahoo, Microsoft,… đã tích hợp những nghiên cứu Khai phá dữ liệu hết sức nghiêm túc và thành công của mình vào các họ sản phẩm, các nền tảng (platform) dành cho các doanh nghiệp cỡ lớn cũng như các ứng dụng phổ biến cho cá nhân người dùng. Các kỹ thuật của Khai phá dữ liệu cũng được áp dụng rộng rãi trong lĩnh vực Data warehousing (quá trình lưu trữ và quản lý tập trung các cơ sở dữ liệu khác nhau bằng các công cụ quản lý tiên tiến trong việc lưu trữ, truyền tải, phân tích và khai thác dữ liệu với dung lượng lưu trữ cực lớn và tốc độ xử lý cực mạnh) Như vậy trong quá trình Khai phá dữ liệu, khi dữ liệu là văn bản chúng ta có lĩnh vực Khai phá dữ liệu văn bản. Khai phá dữ liệu là một trong bảy giai đoạn của quá trình Phát hiện tri thức trong cơ sở dữ liệu.
Là một quá trình phát triển trải qua các giai đọan Dữ liệu – Thông tin – Tri thức. Khái niệm khai phá dữ liệu văn bản Chúng ta xem xét một số định nghĩa về văn bản. Văn bản: Là các tài liệu được thể hiện dưới dạng phi cấu trúc hoặc bán cấu trúc. Thông thường văn bản có định dạng là các file có đuôi ".
Văn bản được phân loại như sau [4]: Dạng phi cấu trúc (unstructured): Là dạng văn bản chúng ta sử dụng hằng ngày được thể hiện dưới dạng ngôn ngữ tự nhiên của con người và chúng không Nguyễn Hồng Thái – Lớp cao học CNTT 2006-2008 11 ĐỒ ÁN TỐT NGHIỆP CAO HỌC ĐỀ TÀI: “TÓM TẮT VĂN BẢN TIẾNG VIỆT THEO CHỦ ĐỀ” có một cấu trúc định dạng cụ thể nào. Ví dụ, các văn bản lưu dưới dạng tệp tin. Dạng bán cấu trúc (semi-structured): đây là các loại văn bản không được lưu trữ dưới dạng các bản ghi chặt chẽ mà được tổ chức qua các đánh dấu để thể hiện nội dung chính của văn bản. Ví dụ, các văn bản lưu dưới dạng tệp tin HTML, e-Mail, WordPad, DOC… Trong luận văn này người viết luận văn quan tâm đến những văn bản lưu trữ theo mã Unicode, có nội dung của văn bản là ngôn ngữ tiếng Việt.
Khai phá dữ liệu văn bản là thực hiện công việc: Trích ra, lấy ra các thông tin có ích, chưa được biết đến còn tiềm ẩn trong các kho dữ liệu văn bản lớn. Thu thập và phân tích dữ liệu bằng các công cụ tự động hoặc bán tự động từ các nguồn tài liệu đã có khác nhau để có được các tri thức mới, chưa được biết đến trước đó. Phát hiện ra các mô tả chung của các lớp đối tượng, các từ khoá, các mối liên quan về mặt nội dung, sự phân loại của các đối tượng văn bản, v. Như vậy, Khai phá dữ liệu văn bản là công việc trích rút ra thông tin tiềm ẩn bằng các công cụ tự động hoặc bán tự động qua việc tìm các đặc trưng về đối tượng, từ khóa, các mối liên hệ ngữ nghĩa, thống kê, tổng hợp,… 1.
Các khái niệm cơ bản trong xử lý văn bản Sau đây chúng ta tiến hành định nghĩa một số khái niệm thường xuất hiện trong lĩnh vực xử lý văn bản. đó là các khái niệm: Thuật ngữ (Term), Từ khóa (Keyword), khái niệm (Concept), từ dừng (Stopword), trọng số thuật ngữ (Centroid),… Các khái niệm này là thành phần nền tảng, xây dựng lên các mô hình, phương pháp xử lý văn bản. Thuật ngữ - Từ khóa – Khái niệm Thuật ngữ (Term) Là các từ quan trọng xuất hiện trong một văn bản ở dạng nguyên thể, có nghĩa trong từ điển. Ví dụ với văn bản: “Sinh viên Đại Học Bách Khoa quyết tâm học tập, Nguyễn Hồng Thái – Lớp cao học CNTT 2006-2008 12 ĐỒ ÁN TỐT NGHIỆP CAO HỌC ĐỀ TÀI: “TÓM TẮT VĂN BẢN TIẾNG VIỆT THEO CHỦ ĐỀ” nghiên cứu khoa học đạt thành tích cao chào mừng 50 năm thành lập trường”.
các từ khóa có thể được tách ra là: “Sinh viên”, “quyết tâm”, “học tập”, “nghiên cứu”, “ khoa học”, “đạt ”, “thành tích”, “cao”, “chào mừng”, “thành lập”, “trường”. Từ khóa (Keyword) Là các thuật ngữ có nghĩa liên quan đến một lĩnh vực nào đó, ví dụ: “tin học”, “toán học”, “văn học” “xã hội học”. Là các từ thường hay được nhắc tới trong lĩnh vực đó, đồng thời các từ khóa này còn có ý nghĩa đặc trưng trong lĩnh vực đó. Số lượng từ khóa thường ít.
Khái niệm (Concept) Xét trên góc độ ngôn ngữ khái niệm là các thuật ngữ nhưng nó là sự khái quát hóa, tổng quát hóa của nhiều thuật ngữ khác. Ví dụ khái niệm “máy tính” có thể chứa đựng các thuật ngữ khác như “bàn phím”, “chuột”, “phần cứng”, “phần mềm”, “CPU”, “ổ cứng”, “Internet”, “màn hình”, “số hóa”,… các từ này có một phần liên quan đến khái niệm “máy tính”. Xét về mặt mô hình toán học, chúng ta trừu tượng hóa khái niệm để định lượng hóa đượng khái niệm trong chủ đề. Chúng ta có khái niệm là hàm của các thuật ngữ.
Trong đó trọng số của thuật ngữ thể hiện mức quan trọng của thuật ngữ đối với khái niệm. Cùng một số lượng thuật ngữ nhưng trọng số khác nhau chúng ta có các khái niệm khác nhau [12]. Đây là một định nghĩa mang tính chất định lượng thể hiện được công thức độ đo giúp chúng ta có thể tính toán, định lượng được khái niệm. Từ dừng Từ dừng (Stopwords) Trong ngôn ngữ tự nhiên, rất nhiều từ trong câu hầu như không mang ý nghĩa về mặt nội dung trong tổng thể văn bản.
Các từ này chỉ mang ý nghĩa về mặt cấu trúc câu. Về mặt Ngôn ngữ học đó thường là các loại từ như: giới từ, liên từ,… Các loại từ này xuất hiện thường xuyên trong các văn bản nhưng mang một lượng thông tin rất nhỏ về nội dung hay chủ đề của văn bản. Việc loại bỏ các từ như vậy cũng đồng nghĩa với việc trích rút những từ quan trọng trong văn bản (thuật ngữ) đồng thời nó còn làm giảm số chiều trong mô hình biểu diễn văn bản, những từ đó được gọi là từ dừng (stopwords). Nguyễn Hồng Thái – Lớp cao học CNTT 2006-2008 13 ĐỒ ÁN TỐT NGHIỆP CAO HỌC ĐỀ TÀI: “TÓM TẮT VĂN BẢN TIẾNG VIỆT THEO CHỦ ĐỀ” Từ dừng là các từ mang ít ý nghĩa trong việc xử lý văn bản vì nó thường xuất hiện trong hầu hết các văn bản.
Một vài ví dụ về từ dừng: Thì, là, mà, rằng, Có thể, nếu, vì vậy, sau khi, thì, một số, với lại, quả thật, hầu như .