CHƯƠNG 1 T ỔNG QUAN VỀ X Ử LÝ VĂN BẢ N Néi dung: 1. Khai ph¸ d÷ liÖu vµ ph¸t hiÖn tri thøc trong khai ph¸ d÷ liÖu 1. Text Mining – gãc nh×n nhËn quan träng trong Data mining 1. C¸c kh¸i niÖm c¬ b¶n trong xö lý v¨n b¶n 1.
C¸c ph¬ng ph¸p biÓu diÔn v¨n b¶n 1. KÕt luËn Hoàng Đức Đông - Cao học CNTT 2006-2008 - ĐHBKHN 14 ĐỒ ÁN TỐT NGHIỆP CAO HỌC ĐỀ TÀI: “TÓM TẮT VĂN BẢN TIẾNG VIỆT THEO CHỦ ĐỀ” 1. Nhiệm vụ của đồ án Hiện nay, Lĩnh vực khai phá dữ liệu văn bản đối với tiếng Việt vẫn là một điều mới mẻ với người Việt. Gần đây bài toán tóm tắt văn bản phục vụ cho công việc tóm tắt tin tức (tóm tắt trang tin) được nhiều nhà nghiên cứu quan tâm.
Dựa trên cơ sở nền tảng vốn có về bài toán tách từ trong lĩnh vực ngôn ngữ tự nhiên, bài toán phân nhóm, phân lớp, tóm tắt văn bản trong lĩnh vực khai phá dữ liệu văn bản, người viết luận văn quyết định thử nghiệm bài toán tóm tắt văn bản tiếng Việt theo chủ đề. Đó là sự kết hợp của bài toán tóm tắt văn bản với bài toán phân nhóm, phân lớp và bài toán tách từ. Chính vì lí do đó nên gặp rất nhiều khó khăn như: Khả năng liên kết giữa bài toán tách từ, phân nhóm, phân lớp với bài toán tóm tắt văn bản. Tập mẫu cho bài toán tóm tắt văn bản Khả năng đáp ứng tốc độ cũng như nội dung cho bài toán tóm tắt trang tin.
Tóm lại, theo cách tiếp cận này, bài toán tóm tắt văn bản tiếng Việt sẽ bao gồm các nhiệm vụ giải quyết các bài toán sau: Bài toán tách từ Bài toán phân nhóm, phân lớp Bài toán tóm tắt văn bản Trong luận văn này, tác giả đề cập và giải quyết nhiệm vụ: Bài toán tách từ Bài toán phân nhóm, phân lớp Phần nhiệm vụ cuối bài toán toán tóm tắt văn bản dựa trên kết quả của luận văn này, sẽ được giải quyết trong luận văn của tác giả Nguyễn Hồng Thái [18]. Sau đây người viết luận văn sẽ đi chi tiết vào cơ sở lý thuyết cũng như tiến hành thiết kế mô hình, thử nghiệm giải pháp giải quyết bài toán trên. Hoàng Đức Đông - Cao học CNTT 2006-2008 - ĐHBKHN 15 ĐỒ ÁN TỐT NGHIỆP CAO HỌC ĐỀ TÀI: “TÓM TẮT VĂN BẢN TIẾNG VIỆT THEO CHỦ ĐỀ” 1. Khai phá dữ liệu và phát hiện tri thức trong dữ liệu 1.
Dữ liệu, Thông tin và Tri thức Dữ liệu được hiểu là một chuỗi các bit, các con số hoặc các đối tượng mà chúng ta thu thập được hàng ngày. Ví dụ: dữ liệu là các file trong máy tính, dữ liệu là các văn bản giấy tờ mà chúng ta phải xử lý hàng ngày, các tín hiệu,. Thông tin là dữ liệu đã được loại bỏ đi nhiễu, sự dư thừa và đã được biểu diễn dưới dạng mà con người có thể nhận thức được.Ví dụ: thông tin về tình hình chiến sự tại Iraq, thông tin về nhiệt độ trong tháng,. Tri thức được hiểu là các thông tin đã được tích hợp lại, đã được nhận thức, kiểm nghiệm, hay được đúc rút ra thành các quy luật có ý nghĩa đối với con người.
Ví dụ: từ thông tin về nhiệt độ trong tháng, con người có thể đưa ra được những dự báo thời tiết quan trọng, hoặc từ các thông tin về tình hình chiến sự tại Iraq, các nhà quân sự có thể phân tích và nắm được động thái về quân sự cũng như chính trị của các bên có liên quan. Tri thức chính là các dữ liệu, thông tin ở mức trừu tượng và khái quát cao hơn. So với dữ liệu và thông tin thì tri thức ở dạng cô đọng và dễ hiểu nhất đối với con người. Rõ ràng trong kỷ nguyên công nghệ thông tin này thì con người chỉ muốn tìm kiếm và lĩnh hội các tri thức, đó là cách nhanh nhất và hợp lý nhất, chứ không thể có đủ thời gian và khả năng để hiểu được các dữ liệu ở một dạng thô sơ nào đó.
Điều đó cũng cho thấy vai trò quan trọng của lớp các bài toán khai phá dữ liệu và phát hiện tri thức. Khai phá dữ liệu và phát hiện tri thức Khai phá dữ liệu, hay Data Mining, được định nghĩa như quá trình phát hiện các tri thức từ các dữ liệu lớn được lưu trữ trong cơ sở dữ liệu, data warehouse hay các kho chứa thông tin khác[1]. Thuật ngữ khai phá dữ liệu (data mining) chỉ việc tìm kiếm một tập hợp nhỏ có giá trị từ một số lượng lớn các dữ liệu thô. Một ví dụ hay được nhắc tới là việc khai Hoàng Đức Đông - Cao học CNTT 2006-2008 - ĐHBKHN 16 ĐỒ ÁN TỐT NGHIỆP CAO HỌC ĐỀ TÀI: “TÓM TẮT VĂN BẢN TIẾNG VIỆT THEO CHỦ ĐỀ” thác vàng từ đá và cát, khai phá dữ liệu được ví như công việc “đãi cát tìm vàng” trong một tập hợp lớn các dữ liệu cho trước.
Có nhiều thuật ngữ hiện được dùng cũng có nghĩa tương tự với từ data mining như knowledge mining (khai phá tri thức), knowledge extraction (chắt lọc tri thức), data/patern analysis (Phân tích dữ liệu/mẫu), data archaeology (khảo cổ dữ liệu), data dredging (nạo vét dữ liệu) [12]. Hiện nay, thuật ngữ khai phá dữ liệu được dùng quen thuộc và thường đồng nhất với một thuật ngữ khác là phát hiện tri thức trong cơ sở dữ liệu – Knowledge Descovery in Database (KDD). Thực ra, khai phá dữ liệu chỉ là một bước trong các quá trình của KDD. Tiến trình khai phá dữ liệu và phát hiện tri thức (KDD) nói chung bao gồm 7 quá trình cơ bản sau đây: 1.
Làm sạch dữ liệu: Loại bỏ nhiễu và các dữ liệu không cần thiết. Tích hợp dữ liệu: Tích hợp các nguồn dữ liệu khác nhau. Lựa chọn dữ liệu: Chọn lựa các dữ liệu liên quan tới quá trình phân tích. Chuyển đổi dữ liệu: Các dữ liệu được chuyển đổi sang các dạng phù hợp cho việc xử lý.
Khai phá dữ liệu: Là một trong những bước quan trọng nhất, ở đây sử dụng những phương pháp thông minh để chắt lọc ra những mẫu dữ liệu. Ước lượng mẫu: Quá trình này nhằm đánh giá các kết quả tìm được thông qua các độ đo nào đó. Biểu diễn tri thức: Sử dụng các kỹ thuật biểu diễn và thể hiện trực quan các tri thức cho người dùng. Hoàng Đức Đông - Cao học CNTT 2006-2008 - ĐHBKHN 17 ĐỒ ÁN TỐT NGHIỆP CAO HỌC ĐỀ TÀI: “TÓM TẮT VĂN BẢN TIẾNG VIỆT THEO CHỦ ĐỀ” Hình 1.
Tiến trình khai phá dữ liệu và phát hiện tri thức (KDD) Việc áp dụng tiến trình KDD có thể thực hiện trên nhiểu kiểu loại dữ liệu khác nhau với các hình thức tổ chức lưu trữ khác nhau. Hiện nay, có rất nhiều cách tổ chức dữ liệu khác nhau: cơ sở dữ liệu văn bản, cơ sở dữ liệu quan hệ, cơ sở dữ liệu hướng đối tượng, cơ sở dữ liệu không gian, cơ sở dữ liệu hướng thời gian,… Đối với mỗi dạng cơ sở dữ liệu lại có các phương pháp xử lý khác nhau và mục đích khai phá dữ liệu khác nhau tùy theo tính chất và đặc thù của dữ liệu. Các kỹ thuật được sử dụng có thể là các phương pháp truyền thống như học máy (Machine Learning), nhận dạng (Recognition), thống kê (Statistics), phân lớp (Classification),… và các kỹ thuật được phát triển bởi ngành nghiên cứu trí tuệ nhân tạo như mạng nơ-ron nhân tạo (Neural Network), thuật toán di truyền (Genetic Algorithm), quy nạp luật (Rule Reduction), cây quyết định (Decision Tree),… Hoàng Đức Đông - Cao học CNTT 2006-2008 - ĐHBKHN 18 ĐỒ ÁN TỐT NGHIỆP CAO HỌC ĐỀ TÀI: “TÓM TẮT VĂN BẢN TIẾNG VIỆT THEO CHỦ ĐỀ” 1. Text Mining-Góc nhìn nhận quan trọng trong Data Mining Trong các dạng dữ liệu thường xuyên được sử dụng thì văn bản là một trong những dạng được dùng phổ biến nhất.
Văn bản có mặt ở mọi nơi và thường xuyên bắt gặp hàng ngày. Văn bản có thể là các bài báo, các tài liệu kinh doanh, các thông tin kinh tế, các bài nghiên cứu khoa học,. Dù việc áp dụng CSDL vào hoạt động quản lý của các tổ chức là rất phổ biến và đem lại nhiều lợi ích trong lưu trữ cũng như xử lý, nhưng trên thực tế còn rất nhiều thông tin khác được lưu trữ dưới dạng văn bản. Do đó, các bài toán xử lý văn bản đã được đặt ra từ khá lâu và cho đến nay vẫn là một bài toán quan trọng trong khai thác dữ liệu văn bản.
Xử lý văn bản là thao tác tác động lên văn bản để làm cho chúng dễ sử dụng hơn, thông tin trong chúng hữu ích hơn hoặc làm cho chúng được lưu trữ tốt hơn. Dữ liệu văn bản thường được chia thành hai loại [1]: • Dạng phi cấu trúc (unstructured): là dạng văn bản chúng ta sử dụng T 03 T 03 hằng ngày được thể hiện dưới dạng ngôn ngữ tự nhiên của con người và không có một cấu trúc định dạng cụ thể nào. Ví dụ: các văn bản lưu dưới dạng tệp tin TXT,. • Dạng bán cấu trúc (semi-structured): đây là các loại văn bản không T 03 T 03 được lưu trữ dưới dạng các bản ghi chặt chẽ mà được tổ chức qua các thẻ đánh dấu để thể hiện nội dung chính của văn bản.
Ví dụ: dạng tệp tin HTML, e-Mail,… Tùy mục đích sử dụng cụ thể mà việc xử lý văn bản được thực hiện trên dạng cấu trúc nào. Ví dụ, với bài toán phân lớp nội dung trang web thì dạng văn bản cần xử lý là HTML. Trong luận văn này, tác giả chỉ quan tâm xử lý các dữ liệu văn bản ở dạng phi cấu trúc (biểu diễn dưới dạng tệp tin TXT), bài toán được giải quyết theo hướng dữ liệu mở để tương lai có thể đáp ứng với các mục đích sử dụng khác nhau. Hoàng Đức Đông - Cao học CNTT 2006-2008 - ĐHBKHN 19 ĐỒ ÁN TỐT NGHIỆP CAO HỌC ĐỀ TÀI: “TÓM TẮT VĂN BẢN TIẾNG VIỆT THEO CHỦ ĐỀ” 1.
Các khái niệm cơ bản trong xử lý văn bản Trong luận văn này nhắc nhiều đến các thuật ngữ: từ khóa (keyword), thuật ngữ T 03 T 03 T 03 (term), khái niệm (concept), trọng số thuật ngữ, độ liên quan,. Việc làm rõ nghĩa T 03 T 03 T 03 của các thuật ngữ trên ngay từ đầu sẽ làm cho việc trình bày các nội dung phần sau dễ dàng hơn.Từ khóa, Thuật ngữ và Khái niệm Từ khóa(term): là các từ xuất hiện trong một văn bản ở dạng nguyên thể, có nghĩa trong từ điển.