Luận văn: Cải tiến phân loại văn bản tự động tiếng Việt (ĐH Công nghệ)

Luận văn thạc sĩ: Nghiên cứu cải tiến phương pháp phân loại văn bản tự động, ứng dụng xử lý văn bản tiếng Việt. Tối ưu hóa hiệu quả phân loại.

• Tác giả: Lưu Trường Huy
• Người hướng dẫn: PSG. Nguyễn Ngọc Bình
• Trường học: Đại Học Quốc Gia Hà Nội Trường Đại Học Công Nghệ
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Nghiên cứu cải tiến một số phương pháp phân loại văn bản tự động và áp dụng trong xử lý văn bản tiếng Việt
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2008
• Địa điểm: Hà Nội

Mục lục chi tiết

• MỤC LỤC
• Danh sách các hình
• Danh sách bảng
• Danh sách từ viết tắt
• Bảng thuật ngữ Anh-Việt
• MỞ ĐẦU
• 1. Cơ sở khoa học và tính thực tiễn của đề tài
• 2. Phạm vi và mục đính nghiên cứu của để tài
• 3. Bố cục và cấu trúc của luận văn
• 1. CHƢƠNG 1: TỔNG QUAN VỀ BÀI TOÁN PHÂN LOẠI VĂN BẢN
• 1.1. Các bƣớc chính trong bài toán phân loại văn bản
• 2. CHƢƠNG 2: BIỂU DIỄN VĂN BẢN TRONG PHÂN LOẠI VĂN BẢN
• 2.1. Các vector thuộc tính
• 2.2. Việc lựa chọn thuộc tính
• 2.3. Loại bỏ các từ dừng
• 2.4. Xác định gốc của từ
• 2.5. Lựa chọn thuộc tính
• 2.6. Một số phƣơng pháp lựa chọn thuộc tính trong phân loại văn bản
• 2.6.1. Ngƣỡng tần xuất văn bản (DF)
• 2.6.2. Lợi ích thông tin (IG)
• 2.6.3. Thông tin tƣơng hỗ (MI)
• 2.6.4. Thống kê Chi bình phƣơng 
• 2.6.5. Cƣờng độ của từ (TS)
• 2.7. Một số phƣơng pháp khác
• 2.8. Tổng kết chƣơng
• 3. CHƢƠNG 3: CÁC PHƢƠNG PHÁP PHÂN LOẠI VĂN BẢN TRUYỀN THỐNG
• 3.1. Phƣơng pháp Rocchio
• 3.2. Phƣơng pháp k- Nearest Neighbour
• 3.3. Phƣơng pháp Naïve Bayes (NB)
• 3.4. Phƣơng pháp Linear Least Square Fit- LLSF
• 3.5. Phƣơng pháp Centroid- based vector
• 3.6. Phƣơng pháp SVM- Support Vector Machine
• 3.7. Một số phƣơng pháp khác
• 3.8. Phƣơng pháp đánh giá
• 3.9. Tổng kết chƣơng
• 4. CHƢƠNG 4: PHÂN LOẠI VĂN BẢN TIẾNG VIỆT
• 4.1. Tiếng Việt và một số đặc điểm của tiếng Việt
• 4.2. Cấu trúc từ trong tiếng Việt
• 4.3. So sánh tiếng Việt và tiếng Anh
• 4.4. Bài toán phân loại văn bản tiếng Việt
• 4.5. Vấn đề tách từ trong văn bản tiếng Việt
• 4.6. Tách từ trong văn bản tiếng Việt dựa trên từ
• 4.7. Tách từ trong văn bản tiếng Việt dựa trên ký tự
• 4.8. Một số phƣơng pháp tách từ trong văn bản tiếng Việt
• 4.9. Thực nghiệm và kết quả
• 4.10. Tổng kết chƣơng
• 5. CHƢƠNG 5: ỨNG DỤNG PHÂN CỤM TRONG CẢI TIẾN PHÂN LOẠI VĂN BẢN
• 5.1. Phân cụm dữ liệu
• 5.2. Một số phƣơng pháp phân loại văn bản sử dụng phân cụm
• 5.3. Phƣơng pháp 1
• 5.4. Phƣơng pháp 2
• 5.5. Phƣơng pháp 3
• 5.6. Thực nghiệm và kết quả thực nghiệm
• 5.7. Tổng kết chƣơng
• 6. CHƢƠNG 6: CẢI TIẾN GIẢI THUẬT CHIẾT XUẤT THUỘC TÍNH NHÓM XÂU CON CHÍNH VÀ ÁP DỤNG TRONG PHÂN LOẠI VĂN BẢN TIẾNG VIỆT
• 6.1. Cây hậu tố
• 6.2. Thuộc tính nhóm xâu con chính
• 6.3. Các nhóm xâu con
• 6.4. Các nhóm xâu con chính
• 6.5. Nhận xét và đề xuất cải tiến thuật toán và chƣơng trình
• 6.6. Thực nghiệm và kết quả
• 6.7. Tổng kết chƣơng
• 7. CHƢƠNG 7: CÁC CỘNG CỤ HỖ TRỢ VÀ CÁC CHƢƠNG TRÌNH
• 7.1. Công cụ chiết xuất nội dung từ các web-site báo điện tử
• 7.2. Chƣơng trình phân đoạn từ tiếng Việt và tạo các ma trận thuộc tính
• 7.3. Công cụ chiết xuất thuộc tính KSG và đƣa ra ma trân thuộc tính
• 7.4. Công cụ mở rộng tập dữ liệu kết hợp phân cụm
• 7.5. Phân lọai văn bản sử dụng thƣ viện LibSVM
• 7.6. Công cụ phân loại theo phƣơng pháp kNN và Centroid based vector
• 7.7. Nhận xét chung
• 7.8. Hƣớng phát triển
• Tài liệu tham khảo
• PHỤ LỤC A: Phân tích thiết kế chƣơng trình phân loại văn bản tự động sử dụng thuộc tính nhóm xâu con chính
• 1. Yêu cầu của chƣơng trình
• 2. Mô hình ca sử dụng
• 3. Biểu đồ tuần tự hệ thống và mô hình khái niệm
• 4. Thao tác trên tập ngữ liệu
• 5. Xử lý thuộc tính xâu con chính
• 6. Phân loại văn bản bằng phƣơng pháp SVM
• 7. Cài đặt chƣơng trình
• PHỤ LỤC B: Cấu trúc đĩa CD đi kèm
• PHỤ LỤC C: Chia sẽ dữ liệu, các công cụ và chƣơng trình liên quan
• Chỉ mục từ

Tóm tắt

I. Tổng Quan Về Phân Loại Văn Bản Tiếng Việt Ứng Dụng

Ngày nay, với sự bùng nổ thông tin trên Internet và các mạng nội bộ, nhu cầu tìm kiếm, lọc và quản lý tài nguyên trở nên thiết yếu. Phân loại văn bản tiếng Việt nổi lên như một công cụ quan trọng để giải quyết vấn đề này. Nó giúp tự động gán các văn bản, viết bằng ngôn ngữ tự nhiên tiếng Việt, vào một hoặc nhiều hạng mục đã được định nghĩa trước. Về mặt toán học, quá trình này có thể được biểu diễn bằng một hàm fTC ánh xạ từ tập các nhóm C và tập các văn bản D vào tập {0, 1}, chỉ ra văn bản có thuộc nhóm hay không. Phân loại văn bản tự động đóng vai trò then chốt trong việc quản lý, tổ chức thông tin, từ việc sắp xếp email đến xác định chủ đề chính của tài liệu. Các ứng dụng bao gồm lọc văn bản, tổ chức tài liệu và chống spam. Từ cuối thập niên 90 đến đầu thế kỷ 21, nhiều phương pháp và thuật toán đã được phát triển, đặc biệt cho tiếng Anh và các ngôn ngữ tương tự. Tuy nhiên, các ngôn ngữ châu Á như tiếng Việt, tiếng Trung, tiếng Nhật và tiếng Hàn gặp nhiều thách thức hơn do đặc tính riêng. Ở Việt Nam, xử lý ngôn ngữ tự nhiên tiếng Việt (NLP), dịch tự động, tìm kiếm, tóm tắt và phân loại văn bản đang nhận được sự quan tâm lớn. Luận văn này tập trung vào việc nghiên cứu cải tiến một số phương pháp phân loại văn bản tự động và áp dụng chúng trong xử lý văn bản tiếng Việt, kế thừa các kết quả nghiên cứu trong nước và quốc tế, nhằm nâng cao độ chính xác và hiệu năng.

1.1. Mục tiêu và Các Ứng Dụng Chính Của Phân Loại Văn Bản

Phân loại văn bản không chỉ là một bài toán học thuật, mà còn mang tính ứng dụng cao trong thực tế. Mục tiêu chính của nó là tự động xác định chủ đề, nội dung hoặc mục đích của một văn bản, từ đó giúp người dùng dễ dàng tìm kiếm, quản lý và sử dụng thông tin. Ứng dụng của nó bao gồm phân loại tin tức theo chủ đề, phân tích cảm xúc trong đánh giá sản phẩm, và lọc thư rác. Ví dụ, hệ thống có thể tự động phân loại các bài báo vào các danh mục như Kinh tế, Chính trị, Xã hội, hoặc Thể thao. Quan trọng hơn, phân loại văn bản tiếng Việt còn giúp các doanh nghiệp hiểu rõ hơn về ý kiến của khách hàng thông qua phân tích các bình luận, đánh giá trực tuyến, từ đó đưa ra các quyết định kinh doanh sáng suốt hơn.

1.2. Thách Thức Trong Phân Loại Văn Bản Tiếng Việt Tự Động

Mặc dù có nhiều tiềm năng, phân loại văn bản tiếng Việt cũng đối mặt với không ít thách thức. Tiếng Việt là một ngôn ngữ đơn lập, có cấu trúc ngữ pháp và từ vựng phức tạp. Việc xác định ranh giới từ, xử lý các từ đa nghĩa, và giải quyết vấn đề chính tả sai sót là những khó khăn thường gặp. Hơn nữa, sự thiếu hụt các tập dữ liệu phân loại văn bản tiếng Việt có chất lượng cũng là một trở ngại lớn. Các mô hình học máy cần dữ liệu để huấn luyện và đánh giá, và việc thu thập, gán nhãn dữ liệu tiếng Việt đòi hỏi nhiều công sức và chuyên môn. Do đó, việc nghiên cứu và phát triển các phương pháp phân loại văn bản hiệu quả cho tiếng Việt vẫn là một lĩnh vực đầy tiềm năng và cần được đầu tư.

II. Các Bước Quan Trọng Trong Bài Toán Phân Loại Văn Bản

Mô hình phân loại văn bản thường bao gồm một chuỗi các bước xử lý, mỗi bước đóng vai trò quan trọng trong việc đảm bảo hiệu quả và độ chính xác của kết quả. Đầu tiên, tiền xử lý có nhiệm vụ chuẩn hóa văn bản, loại bỏ các ký tự không cần thiết và chuyển đổi văn bản về dạng phù hợp cho các bước tiếp theo. Sau đó, tạo chỉ mục giúp tính toán trọng số cho các thuộc tính, thường là các từ hoặc cụm từ, sử dụng các phương pháp như TF-IDF. Bước tiếp theo là chọn thuộc tính, trong đó các thuộc tính không quan trọng hoặc gây nhiễu sẽ bị loại bỏ, giảm thiểu kích thước không gian thuộc tính. Cuối cùng, áp dụng thuật toán phân loại, sử dụng các mô hình học máy để gán nhãn cho văn bản. Quá trình đánh giá hiệu năng giúp xác định độ chính xác của mô hình và điều chỉnh các tham số cho phù hợp. Toàn bộ quy trình này nhằm mục đích xây dựng một hệ thống phân loại văn bản có khả năng xử lý dữ liệu lớn, đạt độ chính xác cao và hoạt động hiệu quả trong thực tế.

2.1. Tối Ưu Hóa Giai Đoạn Tiền Xử Lý Văn Bản Tiếng Việt

Tiền xử lý đóng vai trò quan trọng trong phân loại văn bản tiếng Việt, ảnh hưởng trực tiếp đến chất lượng và độ chính xác của kết quả. Các bước thường bao gồm loại bỏ định dạng (ví dụ: HTML), tách từ, loại bỏ từ dừng và tìm gốc của từ. Tách từ là một thách thức riêng đối với tiếng Việt, do không có dấu cách giữa các từ. Loại bỏ từ dừng giúp giảm kích thước không gian thuộc tính và tập trung vào các từ quan trọng. Tìm gốc của từ giúp gom các dạng biến thể của từ về một dạng chuẩn, tăng cường khả năng khái quát của mô hình. Việc lựa chọn và tối ưu hóa các kỹ thuật tiền xử lý phù hợp có thể cải thiện đáng kể hiệu năng của mô hình phân loại văn bản.

2.2. Lựa Chọn Thuộc Tính và Giảm Kích Thước Không Gian Thuộc Tính

Sau khi tiền xử lý, văn bản được biểu diễn dưới dạng vector thuộc tính, thường là các từ hoặc cụm từ. Tuy nhiên, không gian thuộc tính có thể rất lớn, gây khó khăn cho quá trình huấn luyện và phân loại. Lựa chọn thuộc tính giúp giảm kích thước không gian thuộc tính bằng cách loại bỏ các thuộc tính không quan trọng hoặc gây nhiễu. Các phương pháp lựa chọn thuộc tính phổ biến bao gồm Ngưỡng Tần Xuất Văn Bản (DF), Lợi Ích Thông Tin (IG), Thông Tin Tương Hỗ (MI) và Thống kê Chi Bình Phương (χ2). Việc lựa chọn phương pháp lựa chọn thuộc tính phù hợp phụ thuộc vào đặc điểm của dữ liệu và mục tiêu của bài toán.

2.3. Tầm quan trọng của việc áp dụng một Thuật Toán Phân Loại Phù Hợp

Sau khi dữ liệu đã được xử lý và chuyển đổi thành các định dạng phù hợp, bước tiếp theo là chọn và áp dụng một thuật toán phân loại thích hợp. Việc lựa chọn thuật toán phù hợp có thể tác động lớn đến hiệu suất và độ chính xác của hệ thống. Mỗi thuật toán có những ưu điểm và hạn chế riêng, và sự lựa chọn phụ thuộc vào đặc điểm của dữ liệu và yêu cầu cụ thể của bài toán. Các tiêu chí như thời gian huấn luyện, thời gian kiểm thử và độ chính xác phân loại cần được xem xét. Trong học máy, bài toán phân loại văn bản được minh họa như một quá trình học có giám sát, trong đó mô hình học từ dữ liệu huấn luyện và sau đó áp dụng kiến thức này để phân loại các văn bản mới.

III. Nghiên Cứu Các Phương Pháp Phân Loại Văn Bản Truyền Thống

Các phương pháp phân loại văn bản truyền thống bao gồm Rocchio, k-Nearest Neighbor (kNN), Naïve Bayes (NB) và Linear Least Square Fit (LLSF). Phương pháp Rocchio xây dựng vector mô hình cho mỗi nhóm, sau đó gán văn bản kiểm thử vào nhóm có độ tương tự cao nhất. kNN tìm k văn bản gần nhất với văn bản kiểm thử và sử dụng các khoảng cách này để đánh trọng số cho các chủ đề. Naïve Bayes sử dụng xác suất có điều kiện giữa từ hoặc cụm từ và chủ đề để dự đoán xác suất thuộc vào chủ đề đó của văn bản. LLSF sử dụng phương pháp hồi quy để học từ tập huấn luyện và các chủ đề có sẵn. Các phương pháp này có ưu điểm là dễ cài đặt và thời gian học nhanh, nhưng cũng có nhược điểm là độ chính xác thấp hoặc khó tìm giá trị tối ưu cho các tham số.

3.1. Phân Tích và Đánh Giá Thuật Toán K Nearest Neighbor kNN

K-Nearest Neighbor (kNN) là một phương pháp phân loại văn bản truyền thống dựa trên thống kê. Khi cần phân loại một văn bản mới, thuật toán sẽ xác định khoảng cách của tất cả các văn bản trong tập huấn luyện đến văn bản cần phân loại để tìm ra k văn bản gần nhất. Sau đó, nó dùng các khoảng cách này đánh trọng số cho tất cả các chủ đề. Ưu điểm của kNN là hiệu quả, không phụ thuộc nhiều vào tham số, và xem xét các đặc điểm địa phương của văn bản. Tuy nhiên, kNN có nhược điểm là thời gian phân loại khá lâu và khó tìm giá trị tối ưu cho k.

3.2. Ứng Dụng Hiệu Quả của Thuật Toán Naïve Bayes NB

Naïve Bayes (NB) là một phương pháp phân loại dựa vào xác suất, được sử dụng rộng rãi trong học máy và nhiều lĩnh vực khác. Nó sử dụng xác suất có điều kiện giữa từ hoặc cụm từ và chủ đề để dự đoán xác suất thuộc vào chủ đề đó của văn bản. NB giả định rằng sự xuất hiện của tất cả các từ trong văn bản đều độc lập với nhau, giúp cho việc tính toán nhanh hơn. Ưu điểm của NB là làm việc tốt trên cả dữ liệu dạng số và dạng văn bản, dễ cài đặt và hiệu năng tương đương với các phương pháp khác. Tuy nhiên, NB có nhược điểm là sử dụng giả định không phụ thuộc xác suất, thường bị vi phạm trong dữ liệu thực tế.

IV. SVM Giải Pháp Cải Tiến Trong Phân Loại Văn Bản Tiếng Việt

Trong những năm gần đây, phương pháp phân loại văn bản sử dụng Support Vector Machine (SVM) ngày càng được ưa chuộng. SVM là một họ các phương pháp dựa trên cơ sở các hàm nhân để tối thiểu hóa rủi ro thực nghiệm. SVM có khả năng phân loại tốt trong nhiều ứng dụng, đặc biệt là bài toán phân loại văn bản. So với các phương pháp khác, SVM có khả năng phân loại ít nhất là tương đương hoặc tốt hơn rất nhiều. SVM tìm một siêu mặt phẳng quyết định nhằm phân tách không gian vector thành hai phân lớp riêng biệt, tương ứng với lớp các mẫu dương (+) và lớp các mẫu âm (–).

4.1. Các Ưu Điểm Vượt Trội Của SVM Trong Phân Loại Văn Bản

SVM thích hợp với bài toán phân loại văn bản và cho các kết quả vượt trội các phương pháp khác do nó giải quyết được các vấn đề như không gian đầu vào của bài toán TC thường là lớn, các thuộc tính thường có liên quan, vector biểu diễn văn bản là vector thưa, và hầu hết các bài toán phân loại là tuyến tính. Tuy nhiên, SVM có nhược điểm là cần phải điều chỉnh để tìm tham số tối ưu và chọn hàm nhân phù hợp. Việc sử dụng tham số thường và tham số tối ưu có thể cho kết quả rất khác biệt.

4.2. Thực Nghiệm So Sánh SVM Với Các Phương Pháp Truyền Thống

Thực nghiệm cho thấy SVM thường cho kết quả tốt nhất so với các phương pháp truyền thống khác như kNN và Bayes. Điều này đã được chứng minh trong nhiều nghiên cứu và ứng dụng thực tế. Do hiệu năng vượt trội của SVM, nó thường được sử dụng trong hầu hết các thực nghiệm trong các phần tiếp theo của luận văn này.

V. Đặc Điểm Tiếng Việt Ảnh Hưởng Phân Loại Văn Bản

Tiếng Việt là ngôn ngữ đơn lập (isolate language) hay ngôn ngữ phi hình thái, không biến hình, đơn tiết, thuộc nhóm các ngôn ngừ Đông và Nam Á. Tiếng Việt có ngữ âm, ngữ pháp và các đặc điểm ngữ nghĩa khác với các ngôn ngữ thuộc nhóm ngôn ngữ Ấn Âu nhƣ tiếng Anh, tiếng Đức…, các vấn đề này không chỉ gây khó khăn cho việc học các ngôn ngữ Châu Âu mà còn là rào cản và thách thức cho việc phát triển các phƣơng pháp và kỹ thuật cho xử lý ngôn ngữ tự nhiên cho tiếng Việt. Chúng ta có hai lựa chọn, một là sử dụng các kỹ thuật đã đƣợc nghiên cứu bài bản và kỹ lƣỡng cho các ngôn ngữ Châu Âu và tìm cách áp dụng vào tiếng Việt, hai là chúng ta phải tự xây dựng cho mình các mô hình xử lý riêng từ đầu. Vậy lựa chon thứ nhất là thích hợp hơn, măc dù có không ít khó khăn. Ở đây, định nghĩa bài toán phân loại văn bản tiếng Việt là bài toán phân loại văn bản tự động, trong đó văn bản là bằng tiếng Việt ở dạng ngôn ngữ tự nhiên.

5.1 Vấn đề tách từ trong văn bản tiếng Việt

Do hầu hết các phương pháp phân loại văn bản đều sử dụng xác suất, thống kê hay trọng số của từ, điều này khiến việc tách từ trong văn bản tiếng Việt là bƣớc đầu tiên quan trọng nhất của bài toán phân loại văn bản tiếng Việt. Dựa trên kết quả khảo sát Nguyen. H thì các hƣớng tiếp cận và tình hình hiện tại của bài toán tách từ trong tiếng Việt, cũng nhƣ tham khảo các phƣơng pháp tách từ cho tiếng Trung, đƣợc thể hiện ở Hình 4-1:

5.2 Các phương pháp tách từ trong văn bản tiếng Việt

Tách từ trong văn bản tiếng Việt dựa trên từ : mục tiêu tách đƣợc các từ hoàn hảo trong câu, có ba phƣơng pháp thƣờng đƣợc sử dụng là dựa trên thống kê, dựa trên từ điển và phƣơng pháp lai. Tách từ trong văn bản tiếng Việt dựa trên ký tự : Phương pháp nay trích dẫn ra một số lƣợng âm tiết nhất định trong văn bản. Có thể chia làm hai loại: một ký tự (unigram) và nhiều ký tự (n-gram).

Trích đoạn nội dung tài liệu

MỞ ĐẦU 1. Cơ sở khoa học và tính thực tiễn của đề tài. Từ khi Internet ra đời, chúng ta đã chứng kiến sự phát triển không ngừng về số lƣợng thông tin trực tuyến trên Internet. Nếu chúng ta xem World Wide Web nhƣ một Cơ sở dữ liệu-CSDL, thì CSDL này là khổng lồ, rất hỗn tạp và đa phƣơng tiện, tuy nhiên trong số đó có hơn 80% lƣợng thông tin là dƣới dạng văn bản.

Với CSDL lớn nhƣ thế, việc tìm kiếm thông tin nào đó của chúng ta có thể không đạt kết quả nhƣ mong muốn, mặc dù thông tin này là tồn tại ở đâu đó. Phân loại văn bản là một trong những công cụ hữu hiệu nhất để làm giảm bớt nhƣng khó khăn trong tìm kiếm thông tin, và là công cụ hết sức quan trọng trong việc quản lý, tổ chức và sắp xếp thông tin. Phân loại văn bản tự động là tác vụ tự động xác định một tài liệu (dạng văn bản ở dạng ngôn ngữ tự nhiên) thuộc một hoặc một số hạng mục đã đƣợc định trƣớc. Phân loại văn bản là rất quan trọng và đƣợc sử dụng trong rất nhiều ứng dụng nhƣ lọc văn bản (text filtering), tổ chức tài liệu, chống spam mail.

Trong nhƣng năm cuối của thập niên 90, thế kỷ trƣớc và những năm đầu thế kỷ 21, nhiều phƣơng pháp cũng nhƣ thuật toán đã đƣợc giới thiệu để giải quyết bài toán này đặc biệt cho tiếng Anh (hay một số ngôn ngữ Âu Ấn gần với tiếng Anh là tiếng Đức, Pháp…). Đối với một số ngôn ngữ châu Á nhƣ tiếng Việt, tiếng Trung, tiếng Nhật và tiếng Hàn, bài toán này trở nên khó khăn hơn do các tính chất đặc thù của các ngôn ngữ này. Ở Việt Nam, bài toán xử lý ngôn ngữ tự nhiên, dịch tự động, tìm kiếm, tóm tắt, và phân loại văn bản cũng đã đƣợc nhà nƣớc, các viện nghiên cứu, các trƣờng đại học và các công ty công nghệ thông tin quan tâm, đầu tƣ nghiên cứu và đã có nhƣng thành quả nhất định và rõ rệt. Trong luận văn của mình, tôi xin chọn hƣớng nghiên cứu cải tiến một số phƣơng pháp phân loại văn bản tự động và áp dụng trong xử lý văn bản tiếng Việt, có thừa kế các kết quả đang có trên thế giới và ở Việt Nam, để nâng cao độ chính xác và hiệu năng với khía cạch đặc thù của tiếng Việt với mong muốn góp một phần sức lực của mình cho vấn đề nêu trên ở nƣớc nhà.

TIEU LUAN MOI download : skknchat@gmail. Phạm vi và mục đính nghiên cứu của để tài Luận văn tập trung chủ yếu tập trung vào các vấn đề sau: - Tìm hiểu bài toán phân loại văn bản tự động và một số thuật toán tiêu biểu và đã đƣợc đánh giá là hiệu quả trên thế giới nhƣ SVM (Support Vector Machine), kNN (k- Nearest Neighbor), Naïve Bayes… - Tìm hiểu về bài toán phân loại văn bản tiếng Việt, với các vấn đề sau: + Thuận lợi và khó khăn. + Đặc điểm của tiếng Việt, cấu trúc từ trong tiếng Việt. + Vấn đề phân đoạn từ trong tiếng Việt, Vietnamese word segmentation, vấn đề tập ngữ liệu tiếng Việt (Vietnamese corpus) … + Áp dụng một số thuật toán vào bài toán phân loại văn bản tiếng Việt.

+ Cài đặt các công cụ và thuật toán liên quan. + Thực nghiệm và kết quả thực nghiệm phân loại văn bản tiếng Việt sử dụng một số thuật toán tiêu biểu. - Nghiên cứu một số hƣớng cải tiến của phân loại văn bản phù hợp với bối cảnh Việt Nam và tiếng Việt. + Sử dụng phân cụm trong phân loại văn bản.

+ Sử dụng thuộc tính nhóm xâu con chính trong phân loại văn bản. + Cài đặt các công cụ và thuật toán liên quan. + Thực nghiệm và kết quả thực nghiệm. Bố cục và cấu trúc của luận văn Luận văn đƣợc cấu trúc nhƣ sau.

- Chƣơng 1: Trình bày tổng quan về phân loại văn bản. - Chƣơng 2: Trình bày vấn đề biểu diễn văn bản trong phân loại văn bản dƣới dạng vector thuộc tính, và một số phƣơng pháp giảm kích thƣớc của không gian thuộc tính nhƣ sử dụng danh sách từ dừng, tìm gốc của từ, vấn đề trọng số và các phƣơng pháp lựa chọn thuộc tính. - Chƣơng 3: Trình bày các phƣơng pháp phân loại văn bản truyền thống. - Chƣơng 4: Áp dụng trong phân loại văn bản tiếng Việt, đặc điểm của tiếng Việt, so sánh với các ngôn ngữ khác, thực nghiệm và kết quả thực nghiệm cho bài toán phân loại tiếng Việt.

TIEU LUAN MOI download : [e-mail] 10 - Chƣơng 5: Trình bày việc ứng dụng phân cụm vào phân loại văn bản để nâng cao độ chính xác với tập dữ liệu có nhãn nhỏ, các thuật toán tiêu biểu của phƣơng pháp này, thực nghiệm và kết quả thực nghiệm. - Chƣơng 6: Trình bày việc sử dụng thuộc tính là các nhóm xâu con chính vào phân loại văn bản để tránh việc phân đoạn từ trong phân loại văn bản, một bài toán vẫn còn mở, và nâng cao độ chính xác, cấu trúc dữ liệu cây hậu tố, thuật toán, thực nghiệm và kết quả thực nghiệm. - Chƣơng 7: Cài đặt các chƣơng trình và cộng cụ hỗ trợ. - Cuối cùng là kết luận và các hƣớng phát triển cho luận văn.

- Ba phụ A, B, C lần lƣợt bao gồm phân tích thiết kế chƣơng trình phân loại văn bản tự động sử dụng thuộc tính nhóm xâu con chính, cấu trúc CD đính kèm và giới thiệu website chia sẻ tập ngữ liệu và chƣơng trình. TIEU LUAN MOI download : [e-mail] 11 CHƢƠNG 1 - TỔNG QUAN VỀ BÀI TOÁN PHÂN LOẠI VĂN BẢN 1. Tổng quan Ngày nay với lƣợng thông tin lớn trên Internet cũng nhƣ trong Intranet của các tổ chức, doanh nghiệp. Nhu cầu có một công cụ trợ giúp để tìm, lọc và quản lý tài nguyên trở nên quan trọng và cần thiết.

Đây cũng là các lý do để phân loại văn bản ra đời. Phân loại văn bản là tác vụ gán các văn bản dạng ngôn ngữ tự nhiên vào một hoặc một số hạng mục đã định trƣớc. Về mặt toán học có thể định nghĩa phân loại văn bản nhƣ sau: Cho C là tập các nhóm: C={c1,c2,…, cm} D là tập các văn bản: D={d1,d2,…, dn} Phân loại văn bản là một hàm fTC đƣợc định nghĩa trong (1-1): fTC : C  D  {0,1} (1-1) Với: fTC (ci , d j )  0 , nếu dj không thuộc nhóm ci. fTC (ci , d j )  1 , nếu dj thuộc nhóm ci.

Phân loại văn bản tự động là một công cụ hết sức quan trọng trong việc quản lý và tổ chức thông tin nhƣ là việc sắp xếp thời gian thực các email hay các tệp vào các tổ chức thƣ mục, xác định chủ đề để hỗ trợ thao tác xử lý chủ để chỉ định, hay tìm các tài liệu phụ hợp với một sở thích nào đó. Phân loại văn bản tự động bắt đầu xuất hiện từ nhƣng năm 60 và phát triển mạnh mẽ trong thập kỷ trƣớc. Có hai hƣớng tiếp cận chính để xây dựng các hệ thống phân loại văn bản. Một số hệ thống sử dụng phƣơng pháp dựa trên heuristic, tƣơng tự nhƣ trong hệ chuyên gia để phân loại và chẩn đoán.

Các kỹ sƣ trí thức sẽ định nghĩa các luật giữa dữ liệu đầu vào (các từ, hay các thuộc tính) và đầu ra là các nhóm. Việc phân loại sẽ thực hiện bằng cách thực hiện quá trình suy diễn dựa trên các đầu vào và tri thức chuyên gia để suy ra kết quả phân loại. Cách tiếp cận thứ hai là sử dụng học máy và có sử dung tập văn bản đƣợc phân loại bằng tay trƣớc. Phƣơng pháp này đƣợc đánh giá là ít TIEU LUAN MOI download : [e-mail] 12 tốn kém, xây dựng nhanh hơn và cho độ chính xác cao hơn.

Tuy nhiên, phân loại văn bản đƣa ra rất nhiều các thách thức cho học máy. Kích thƣớc không gian thuộc tính lớn, lên tới hàng chục nghìn khi các từ đƣợc sử dụng, thậm chí là hơn trong một số trƣờng hợp sử dụng các cụm từ, câu, hay xâu con, các đặc điểm của ngôn ngữ tự nhiên nhƣ đồng nghĩa, trái nghĩa, phân phối không cân bằng của từ vựng, chất lƣợng và số lƣợng của tập văn bản huấn luyện đều gây ảnh hƣởng kết việc phân loại, hiệu năng và kết quả của nó. Thông thƣờng phân loại văn bản thƣờng đƣợc sử dụng dƣới hai hình thức là phân loại văn bản theo chủ đề và phân loại văn bản theo ngữ nghĩa. - Phân loại văn bản theo chủ đề: đây là cách phân loại dựa vào chủ đề mà văn bản có thể thuộc vào.

Tập văn bản đƣợc phân thành các chủ đề khác nhau. Ví dụ: Giáo dục, Thể thao, Du lịch - Phân loại văn bản theo ngữ nghĩa: đây là cách phân loại dựa vào ngữ nghĩa trong văn bản đề phân loại chúng. Ví dụ: Spam hay không spam, đƣợc đề nghị hay không đƣợc đề nghị Nhận dạng mẫu và học máy đƣợc áp dụng vào phân loại văn bản, một số phƣơng pháp đã đƣợc giới thiệu và sử dụng nhƣ Mạng Neutral, Cây quyết định, kNN, Naïve Bayes, LLFS, SVM… các phƣơng pháp thu đƣợc các kết quả khả quan. Gần đây, hƣớng nghiên cứu tập trung vào tăng độ chính xác và hiệu năng của phân loại nhƣ giảm kích thƣớc không gian thuộc tính, sử dụng tập dữ liệu gán nhãn nhỏ hay kết hợp học không giám sát.

Hầu hết các phƣơng pháp phân loại ban đầu đƣợc xây dựng và thí nghiêm cho văn bản tiếng Anh sau đó dƣợc áp dụng cho văn bản trên các ngôn ngữ khác. Tuy nhiên trong nhiều trƣờng hợp các ngôn ngữ khác nhau có những đặc điểm khác nhau, nên các bƣớc trong phân loại cho các ngôn ngữ khác nhau có thể sẽ có các biến đổi và mực độ chính xác do đó cũng khó đồng nhất cho mọi ngôn ngữ. TIEU LUAN MOI download : skknchat@gmail. Các bƣớc chính trong bài toán phân loại văn bản Mô hình phân loại văn bản tổng quát gồm các bƣớc, mô tả trong hình 1-1: - Tiền xử lý.

- Tạo chỉ mục. - Chọn thuộc tính. - Áp dụng thuật toán phân loại. Tập văn bản Tiền xử lý Tạo chỉ mục Chọn thuộc tính Áp dụng Thuật toán Đánh giá kết quả Hình 1-1: Các bƣớc chính trong phân loại văn bản Tiền xử lý là việc biểu diễn văn bản ở dạng thích hợp cho phân loại nhƣ xóa bỏ các định dạng văn bản nếu văn bản ở dạng khác nhƣ .html…Tiến hành việc tách từ, bỏ đi các từ dừng và chọn gốc của từ.

TIEU LUAN MOI download : skknchat@gmail.