Luận văn về phân loại văn bản và xây dựng ứng dụng

Tài liệu nghiên cứu Luận văn tìm hiểu về phân loại văn bản và xây dựng chương trình ứng dụng, tổng hợp lý thuyết và thực hành, cung cấp kiến thức chuyên sâu về kỹ thuật.

• Tác giả: Phan Thanh Bình
• Người hướng dẫn: Th.s Nguyễn Chánh Thành
• Trường học: Trường Đại Học Kỹ Thuật Công Nghệ
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Tìm Hiểu Về Phân Loại Văn Bản Và Xây Dựng Chương Trình Ứng Dụng
• Loại tài liệu: luận văn tốt nghiệp
• Năm xuất bản: 2005-2006
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI NÓI ĐẦU
• 1. CHƯƠNG 1: PHÁT BIỂU VẤN ĐỀ
• 1.1. Giới thiệu
• 1.2. Động cơ thúc đẩy việc phân loại văn bản tự động
• 1.3. Một số ứng dụng của việc phân loại văn bản theo chủ đề
• 1.4. Nội dung đề tài
• 1.5. Ứng dụng mở rộng - Lập chỉ mục và tìm kiếm của Lucene
• 1.5.1. Giới thiệu Lucene
• 1.5.2. Cơ sở nền tảng của Lucene
• 1.5.3. Mục đích, chức năng, công dụng
• 1.5.4. Tạo chỉ mục và tìm kiếm
• 2. CƠ SỞ LÝ THUYẾT PHÂN LOẠI VĂN BẢN
• 2.1. Biểu diễn văn bản
• 2.2. Phương pháp Boolean
• 2.3. Phương pháp tần suất từ (work frequency)
• 2.4. Phương pháp tf-idf (frequency x inverse document frequency)
• 2.5. Phương pháp tfc (Term Frequency Component)
• 2.6. Phương pháp ltc (Log Term Component)
• 2.7. Phương pháp Entropy
• 2.8. Rút gọn danh sách từ
• 2.8.1. Phương pháp ngưỡng tần xuất của văn bản
• 2.8.2. Phương pháp độ lợi thông tin
• 2.8.3. Phương pháp thông tin tương hỗ
• 2.8.4. Phương pháp độ mạnh của từ
• 2.8.5. Phương pháp thống kê χ
• 2.9. Tập văn bản dùng để phân loại
• 2.10. Đánh giá độ chính của việc phân loại văn bản
• 2.10.1. Thông số precision
• 2.10.2. Thông số recall
• 2.10.3. Thông số accuracy
• 2.10.4. Thông số error
• 3. CÁC GIẢI THUẬT PHÂN LOẠI VĂN BẢN
• 3.1. Giải thuật Rocchio
• 3.1.1. Giai đoạn huấn luyện
• 3.1.2. Giai đoạn phân loại
• 3.1.3. Đánh giá giải thuật
• 3.2. Giải thuật K-Nearest Neighbour
• 3.2.1. Giai đoạn huấn luyện
• 3.2.2. Giai đoạn phân loại
• 3.2.3. Đánh giá giải thuật
• 3.3. Giải thuật Naïve Bayes
• 3.3.1. Giai đoạn huấn luyện
• 3.3.2. Giai đoạn phân loại
• 3.3.3. Đánh giá giải thuật
• 3.4. Giải thuật cây quyết định
• 3.4.1. Cây quyết định
• 3.4.2. Entropy và độ lợi thông tin
• 3.4.3. Cắt nhánh cây quyết định
• 3.5. Giải thuật mạng Neuron (Neural Network)
• 3.5.1. Đánh giá giải thuật
• 3.6. Giải thuật Support Vector Machine
• 3.6.1. Các mặt phân cách (Hyperplanes)
• 3.6.2. Chọn giải thuật
• 4. THIẾT KẾ VÀ HIỆN THỰC CHƯƠNG TRÌNH PHÂN LOẠI VĂN BẢN
• 4.1. Quá trình xây dựng giải thuật K-Nearest Neighbour
• 4.2. Xây dựng từ điển (danh sách từ khóa)
• 4.3. Giai đoạn huấn luyện
• 4.4. Giai đoạn phân loại
• 4.5. Sơ đồ tuần tự của vài nghiệp vụ chính
• 4.6. Huấn luyện văn bản
• 4.7. Phân loại văn bản
• 4.8. Đánh giá kết quả phân loại
• 4.9. Trích rút dữ liệu trên mạng
• 4.10. Lập chỉ mục
• 4.11. Thiết kế cơ sở dữ liệu
• 4.12. Thiết kế giao diện
• 4.12.1. Màn hình chính của chương trình
• 4.12.2. Màn hình tạo loại văn bản
• 4.12.3. Màn hình huấn luyện chương trình
• 4.12.4. Màn hình phân loại dữ liệu
• 4.12.5. Màn hình kết quả phân loại
• 4.12.6. Màn hình tạo chỉ mục (reverted index)
• 4.12.7. Màn hình trích rút dữ liệu trên mạng
• 4.13. Trang chủ tìm kiếm theo chủ đề
• 4.14. Trang tìm kiếm theo chủ đề
• 4.15. Kết quả đạt được
• 5. CHƯƠNG 5: ĐÁNH GIÁ VÀ HƯỚNG PHÁT TRIỂN
• 5.1. Kết quả đạt được
• 5.2. Các hạn chế của đề tài
• 5.3. Hướng phát triển của đề tài
• 5.4. Từ điển giải thích các thuật ngữ
• 5.5. Các mã nguồn mở được sử dụng trong luận văn
• Tài liệu tham khảo

Tóm tắt

I. Phân loại văn bản

Phân loại văn bản là một trong những lĩnh vực quan trọng trong công nghệ thông tin hiện đại, đặc biệt trong bối cảnh bùng nổ dữ liệu. Phân loại văn bản giúp tổ chức và quản lý thông tin hiệu quả hơn, từ đó nâng cao khả năng tìm kiếm và truy xuất thông tin. Nhu cầu thực tiễn của việc phân loại văn bản xuất phát từ việc số lượng văn bản gia tăng nhanh chóng trên Internet và trong các cơ sở dữ liệu. Việc phân loại tự động không chỉ giảm bớt gánh nặng cho con người mà còn đảm bảo độ chính xác và hiệu suất cao hơn. Các phương pháp phân loại văn bản tự động đã được phát triển và áp dụng rộng rãi, từ các thuật toán đơn giản như Naïve Bayes đến các mô hình phức tạp hơn như Support Vector Machine. Đặc biệt, machine learning trong phân loại văn bản đã mang lại những bước tiến vượt bậc trong việc cải thiện độ chính xác của các hệ thống phân loại.

1.1. Ứng dụng của phân loại văn bản

Phân loại văn bản có nhiều ứng dụng thực tiễn trong đời sống, từ việc tổ chức thông tin trên web, phân loại email, đến việc cải thiện các công cụ tìm kiếm. Việc ứng dụng phân loại văn bản vào các hệ thống tìm kiếm thông tin giúp tăng cường độ chính xác và hiệu quả, đặc biệt trong bối cảnh thông tin trực tuyến ngày càng phong phú. Hệ thống phân loại email tự động giúp người dùng quản lý hộp thư hiệu quả hơn, từ việc phân loại theo chủ đề đến việc từ chối các email không mong muốn. Đặc biệt, trong các trung tâm kiểm duyệt văn bản, việc phân loại theo ngôn ngữ và chủ đề trở nên cần thiết để đảm bảo thông tin được xử lý một cách chính xác và nhanh chóng.

II. Các phương pháp phân loại văn bản

Có nhiều phương pháp khác nhau để thực hiện phân loại văn bản, mỗi phương pháp có những ưu điểm và nhược điểm riêng. Một số phương pháp phổ biến bao gồm thuật toán phân loại văn bản như K-Nearest Neighbour (K-NN), Naïve Bayes, và Support Vector Machine (SVM). Mỗi phương pháp này có cách tiếp cận khác nhau trong việc xử lý và phân tích dữ liệu văn bản. Ví dụ, thuật toán K-NN sử dụng khoảng cách giữa các điểm dữ liệu để phân loại, trong khi Naïve Bayes dựa trên xác suất có điều kiện để đưa ra quyết định. Việc lựa chọn phương pháp phù hợp phụ thuộc vào đặc điểm của dữ liệu và yêu cầu cụ thể của nhiệm vụ phân loại.

2.1. Giải thuật K Nearest Neighbour

Giải thuật K-Nearest Neighbour (K-NN) là một trong những phương pháp phổ biến trong phân loại văn bản. K-NN hoạt động dựa trên nguyên tắc rằng các điểm dữ liệu tương tự sẽ gần nhau trong không gian. Khi áp dụng K-NN cho phân loại văn bản, mỗi văn bản được biểu diễn dưới dạng vector trong không gian nhiều chiều, và thuật toán sẽ tìm kiếm K văn bản gần nhất để xác định nhãn cho văn bản cần phân loại. K-NN có ưu điểm là đơn giản và dễ hiểu, nhưng nhược điểm là độ chính xác có thể bị ảnh hưởng bởi sự lựa chọn K và cách tính khoảng cách giữa các vector. Do đó, việc tối ưu hóa các tham số và lựa chọn đúng đặc trưng cho dữ liệu là rất quan trọng.

III. Xây dựng chương trình phân loại văn bản

Việc xây dựng chương trình phân loại văn bản tự động yêu cầu một quy trình rõ ràng từ việc thu thập dữ liệu đến việc triển khai thuật toán phân loại. Đầu tiên, cần thu thập một tập dữ liệu văn bản đủ lớn và đa dạng để đảm bảo độ chính xác trong quá trình phân loại. Sau đó, dữ liệu cần được xử lý và biểu diễn dưới dạng các vector đặc trưng, có thể sử dụng các phương pháp như xử lý ngôn ngữ tự nhiên và xử lý dữ liệu văn bản. Khi dữ liệu đã được chuẩn bị, có thể áp dụng các thuật toán phân loại văn bản như K-NN, Naïve Bayes, hay SVM để xây dựng mô hình phân loại. Cuối cùng, việc đánh giá và kiểm tra mô hình là bước quan trọng để đảm bảo rằng chương trình hoạt động hiệu quả và chính xác.

3.1. Thiết kế giao diện người dùng

Thiết kế giao diện người dùng cho chương trình phân loại văn bản là một yếu tố quan trọng để đảm bảo người dùng có thể tương tác dễ dàng với hệ thống. Giao diện cần được thiết kế đơn giản, trực quan, cho phép người dùng nhập văn bản cần phân loại và nhận kết quả ngay lập tức. Ngoài ra, việc cung cấp các tùy chọn để người dùng có thể điều chỉnh các tham số của thuật toán phân loại cũng rất cần thiết. Một giao diện tốt không chỉ giúp người dùng dễ dàng sử dụng chương trình mà còn giúp thu thập phản hồi để cải thiện chất lượng và hiệu suất của hệ thống trong tương lai.

IV. Đánh giá kết quả phân loại

Đánh giá kết quả phân loại văn bản là một bước quan trọng để xác định hiệu quả của mô hình. Các chỉ số thường được sử dụng để đánh giá bao gồm độ chính xác (accuracy), độ nhạy (recall), và độ chính xác (precision). Việc sử dụng các chỉ số này giúp đánh giá được khả năng phân loại của mô hình trong thực tế. Một mô hình tốt không chỉ cần có độ chính xác cao mà còn cần phải có khả năng phân loại chính xác các trường hợp khó khăn. Đánh giá kết quả phân loại không chỉ giúp cải thiện mô hình mà còn cung cấp thông tin hữu ích cho việc phát triển các ứng dụng ứng dụng công nghệ thông tin trong tương lai.

4.1. Các chỉ số đánh giá

Các chỉ số đánh giá như độ chính xác, độ nhạy và độ chính xác là những công cụ hữu ích trong việc phân tích hiệu quả của mô hình phân loại. Độ chính xác cho biết tỷ lệ văn bản được phân loại đúng trên tổng số văn bản, trong khi độ nhạy đo lường khả năng phát hiện các văn bản thuộc về một chủ đề cụ thể. Độ chính xác cho biết khả năng của mô hình trong việc tránh phân loại sai. Việc phân tích kỹ lưỡng các chỉ số này giúp nhận diện được điểm mạnh và điểm yếu của mô hình, từ đó đưa ra các biện pháp cải tiến thích hợp.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh bùng nổ thông tin trên Internet và các hệ thống lưu trữ dữ liệu số, việc phân loại văn bản tự động trở thành một nhu cầu cấp thiết nhằm hỗ trợ tìm kiếm và quản lý thông tin hiệu quả. Theo ước tính, số lượng văn bản trực tuyến tăng lên hàng triệu mỗi ngày, gây khó khăn lớn cho việc xử lý và truy xuất thông tin chính xác. Luận văn tập trung nghiên cứu và ứng dụng giải thuật K-Nearest Neighbour (K-NN) trong phân loại văn bản tiếng Anh theo 5 chủ đề chính: trí tuệ nhân tạo, cấu trúc dữ liệu và giải thuật, mạng máy tính, sinh học và bóng đá. Mục tiêu cụ thể là xây dựng chương trình phân loại văn bản tự động có độ chính xác cao, giảm thiểu công sức và chi phí so với phân loại thủ công truyền thống. Nghiên cứu được thực hiện trong năm học 2005-2006 tại Trường Đại học Kỹ thuật Công nghệ, TP. Hồ Chí Minh, với phạm vi tập trung vào văn bản tiếng Anh thu thập từ các trang web được Google phân loại sẵn. Ý nghĩa của đề tài thể hiện qua việc nâng cao hiệu quả xử lý dữ liệu lớn, hỗ trợ các hệ thống tìm kiếm thông tin và lập chỉ mục văn bản, đồng thời góp phần phát triển các ứng dụng trí tuệ nhân tạo trong lĩnh vực xử lý ngôn ngữ tự nhiên.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên nền tảng lý thuyết xử lý ngôn ngữ tự nhiên (NLP) và mô hình không gian vector để biểu diễn văn bản. Các khái niệm chính bao gồm:

• Phân loại văn bản (Text Categorization): Quá trình xác định chủ đề của một văn bản dựa trên tập chủ đề cho trước, là bước quan trọng trong xử lý ngôn ngữ tự nhiên và truy xuất thông tin.
• Mô hình không gian vector: Biểu diễn văn bản dưới dạng vector trọng số trong không gian n chiều, với trọng số được tính bằng các phương pháp như tf-idf, tfc, ltc, entropy nhằm phản ánh tầm quan trọng của từ khóa trong văn bản.
• Giải thuật K-Nearest Neighbour (K-NN): Phương pháp phân loại dựa trên việc tìm k văn bản gần nhất trong tập huấn luyện và gán nhãn cho văn bản cần phân loại dựa trên đa số nhãn của các văn bản này.
• Các chỉ số đánh giá hiệu quả phân loại: Precision, Recall, Accuracy, Error và F-score được sử dụng để đánh giá độ chính xác và hiệu quả của giải thuật phân loại.

Ngoài ra, luận văn cũng tham khảo các giải thuật phân loại khác như Rocchio, Naïve Bayes, cây quyết định, mạng neuron và Support Vector Machine để so sánh và lựa chọn giải thuật phù hợp.

Phương pháp nghiên cứu

Nguồn dữ liệu chính là các tập văn bản tiếng Anh thu thập từ các trang web được Google phân loại sẵn, tập trung vào 5 chủ đề tiêu biểu. Tập dữ liệu được chia thành ba phần: tập huấn luyện (chiếm khoảng 80%), tập hiệu chỉnh và tập kiểm tra (khoảng 20%) theo quy tắc chọn mẫu ngẫu nhiên nhằm đảm bảo tính khách quan và đại diện. Cỡ mẫu mỗi chủ đề gồm vài trăm văn bản để đảm bảo độ chính xác cao trong huấn luyện.

Phương pháp phân tích chính là xây dựng và hiện thực giải thuật K-NN với các bước:

• Biểu diễn văn bản dưới dạng vector trọng số tf-idf.
• Tính toán độ tương tự cosine giữa văn bản cần phân loại và các văn bản trong tập huấn luyện.
• Xác định k văn bản gần nhất (k thường là 3 hoặc 5) và gán nhãn dựa trên đa số nhãn của các văn bản này.

Quá trình nghiên cứu được thực hiện trong năm học 2005-2006, bao gồm các giai đoạn thu thập dữ liệu, xây dựng từ điển từ khóa, huấn luyện giải thuật, cài đặt chương trình và đánh giá kết quả phân loại.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Độ chính xác của giải thuật K-NN: Chương trình phân loại văn bản tự động đạt độ chính xác khoảng 85-90% trên tập kiểm tra với k=3, vượt trội so với các giải thuật đơn giản như Rocchio (khoảng 70-75%). Điều này được minh họa qua bảng kết quả đánh giá với các chỉ số precision và recall cụ thể cho từng chủ đề.

2. Tốc độ xử lý: Thời gian phân loại trung bình cho một văn bản là khoảng vài giây, phù hợp với yêu cầu xử lý dữ liệu lớn. Tuy nhiên, thời gian phân loại tăng theo kích thước tập huấn luyện do K-NN phải so sánh với toàn bộ tập dữ liệu.

3. Ảnh hưởng của việc lựa chọn k: Khi tăng k từ 1 lên 5, độ chính xác có xu hướng tăng nhẹ nhưng thời gian xử lý cũng tăng theo. Giá trị k=3 được đánh giá là tối ưu cân bằng giữa độ chính xác và hiệu suất.

4. Khó khăn trong phân loại các chủ đề giao thoa: Các chủ đề như trí tuệ nhân tạo và cấu trúc dữ liệu + giải thuật có sự giao thoa lớn về nội dung, dẫn đến độ chính xác phân loại thấp hơn khoảng 5-7% so với các chủ đề khác như sinh học hay bóng đá, vốn có nội dung phân biệt rõ ràng hơn.

Thảo luận kết quả

Nguyên nhân chính của độ chính xác cao là do việc sử dụng mô hình không gian vector kết hợp với trọng số tf-idf giúp phản ánh chính xác tầm quan trọng của các từ khóa trong văn bản. So với giải thuật Rocchio chỉ sử dụng một vector mẫu đại diện cho chủ đề, K-NN tận dụng toàn bộ tập huấn luyện để đưa ra quyết định, do đó giảm thiểu sai số do mẫu không điển hình.

Tuy nhiên, nhược điểm của K-NN là thời gian phân loại tăng theo kích thước tập huấn luyện, gây hạn chế khi mở rộng quy mô dữ liệu. Điều này phù hợp với các nghiên cứu trước đây trong lĩnh vực phân loại văn bản tự động. Việc phân loại các chủ đề có nội dung giao thoa phức tạp cũng là thách thức chung, đòi hỏi các phương pháp nâng cao hoặc kết hợp nhiều giải thuật để cải thiện.

Dữ liệu có thể được trình bày qua biểu đồ so sánh độ chính xác giữa các giải thuật và bảng thống kê thời gian xử lý trung bình, giúp minh họa rõ ràng hiệu quả và hạn chế của từng phương pháp.

Đề xuất và khuyến nghị

1. Tối ưu hóa thuật toán K-NN: Áp dụng các kỹ thuật giảm chiều dữ liệu như PCA hoặc sử dụng cấu trúc dữ liệu cây tìm kiếm gần nhất (k-d tree, ball tree) để giảm thời gian phân loại, hướng tới xử lý hiệu quả với tập dữ liệu lớn hơn. Chủ thể thực hiện: nhóm phát triển phần mềm; Thời gian: 6-12 tháng.

2. Kết hợp giải thuật: Phát triển mô hình kết hợp K-NN với các giải thuật khác như Naïve Bayes hoặc SVM để cải thiện độ chính xác phân loại các chủ đề giao thoa, đặc biệt là các chủ đề khoa học máy tính. Chủ thể thực hiện: nhóm nghiên cứu; Thời gian: 12 tháng.

3. Mở rộng tập dữ liệu: Thu thập và xây dựng tập dữ liệu đa dạng hơn với nhiều chủ đề và văn bản đa ngôn ngữ nhằm nâng cao khả năng ứng dụng thực tế của chương trình phân loại. Chủ thể thực hiện: các tổ chức nghiên cứu và doanh nghiệp; Thời gian: liên tục.

4. Phát triển giao diện người dùng: Thiết kế giao diện trực quan cho chương trình phân loại và hệ thống tìm kiếm tích hợp, giúp người dùng dễ dàng thao tác và khai thác thông tin. Chủ thể thực hiện: nhóm phát triển phần mềm; Thời gian: 3-6 tháng.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Công nghệ Thông tin: Có thể áp dụng các kiến thức và phương pháp trong luận văn để phát triển các đề tài nghiên cứu về xử lý ngôn ngữ tự nhiên và phân loại văn bản.

2. Các công ty phát triển phần mềm tìm kiếm và quản lý dữ liệu: Sử dụng giải thuật và chương trình mẫu để xây dựng hoặc cải tiến các hệ thống tìm kiếm thông tin, lập chỉ mục văn bản.

3. Chuyên gia trong lĩnh vực trí tuệ nhân tạo và học máy: Tham khảo các phương pháp biểu diễn văn bản và đánh giá hiệu quả giải thuật để phát triển các mô hình học máy nâng cao.

4. Các tổ chức quản lý dữ liệu lớn và thư viện số: Áp dụng giải pháp phân loại tự động để tổ chức, phân loại và truy xuất thông tin nhanh chóng, giảm thiểu chi phí nhân lực.

Câu hỏi thường gặp

1. Phân loại văn bản tự động là gì và tại sao cần thiết?
   Phân loại văn bản tự động là quá trình sử dụng máy tính để xác định chủ đề của văn bản dựa trên các mẫu đã học. Nó giúp xử lý lượng lớn dữ liệu nhanh chóng, chính xác hơn so với phân loại thủ công, đặc biệt trong thời đại bùng nổ thông tin.

2. Giải thuật K-Nearest Neighbour hoạt động như thế nào trong phân loại văn bản?
   K-NN phân loại văn bản dựa trên việc tìm k văn bản gần nhất trong tập huấn luyện và gán nhãn cho văn bản cần phân loại theo đa số nhãn của các văn bản này. Độ tương tự được tính bằng cosine giữa các vector trọng số tf-idf.

3. Làm thế nào để đánh giá độ chính xác của một giải thuật phân loại?
   Độ chính xác được đánh giá qua các chỉ số như precision (độ chính xác khi phân loại), recall (khả năng phát hiện đúng văn bản thuộc chủ đề), accuracy (tỷ lệ phân loại đúng tổng thể) và F-score (kết hợp precision và recall).

4. Giải thuật K-NN có nhược điểm gì?
   Nhược điểm chính là thời gian phân loại tăng theo kích thước tập huấn luyện do phải so sánh với toàn bộ dữ liệu, gây khó khăn khi mở rộng quy mô. Ngoài ra, K-NN không học được mô hình tổng quát mà chỉ dựa trên dữ liệu mẫu.

5. Có thể áp dụng phương pháp này cho các ngôn ngữ khác ngoài tiếng Anh không?
   Có thể, nhưng cần xây dựng từ điển và tập dữ liệu huấn luyện phù hợp với ngôn ngữ đó. Các bước xử lý tiền xử lý và biểu diễn văn bản cũng cần điều chỉnh để phù hợp đặc thù ngôn ngữ.

Kết luận

• Luận văn đã xây dựng thành công chương trình phân loại văn bản tự động sử dụng giải thuật K-Nearest Neighbour với độ chính xác đạt khoảng 85-90%.
• Mô hình không gian vector và trọng số tf-idf là nền tảng hiệu quả cho việc biểu diễn và phân loại văn bản.
• Giải thuật K-NN thể hiện ưu điểm về độ chính xác nhưng có hạn chế về thời gian xử lý khi mở rộng dữ liệu.
• Các chủ đề có nội dung giao thoa gây khó khăn trong phân loại, cần nghiên cứu thêm các giải pháp kết hợp.
• Đề xuất các hướng phát triển tiếp theo bao gồm tối ưu thuật toán, mở rộng tập dữ liệu và phát triển giao diện người dùng để ứng dụng rộng rãi hơn.

Để tiếp tục phát triển, các nhà nghiên cứu và phát triển phần mềm nên tập trung vào việc tối ưu hóa hiệu suất và mở rộng phạm vi ứng dụng của giải thuật phân loại văn bản tự động. Hãy bắt đầu áp dụng các giải pháp này để nâng cao hiệu quả quản lý và truy xuất thông tin trong kỷ nguyên số hiện nay!

Trích đoạn nội dung tài liệu

Chương 1 PHÁT BIỂU VẤN ĐỀ 1. Giới thiệu Luận văn này trình bày về vấn đề phân loại văn bản tự động theo các chủ đề cho trước. Đề tài này đã được nghiên cứu từ đầu thập niên 1960. Kể từ đó, đề tài này đã liên tục được nghiên cứu và phát triển thông qua các thư viện điện tử, báo chí và các văn bản trực tuyến.

Khái niệm phân loại văn bản được định nghĩa như sau: “Phân loại văn bản (Text Categorization) là việc quyết định xem một mẫu văn bản thuộc về một chủ đề nào đó trong tập chủ đề cho trước. Đây là chức năng xử lý văn bản tổng quát có ích cho việc lập chỉ mục và truy xuất thông tin sau này, là một công đoạn trong hệ thống xử lý ngôn ngữ tự nhiên để phân tích nội dung và trong nhiều vai trò khác.” Xử lý ngôn ngữ tự nhiên (NLP: Natural Language Processing) làĩnh l vực thuộc ngành trí tuệ nhân tạo và ngôn ngữ học. Nó có những phương pháp giúp cho việc xử lý, thao tác và hiểu ngôn ngữ tự nhiên một cách dể dàng và làm cho các câu lệnh trong máy tính hiểu được các ngôn ngữ của nhân loại. Do đó, nó thu hút rất nhiều nhà khoa học nghiên cứu và đã đạt được những thành tựu đáng kể.

Sau đây là một vài thành tựu có thể kể đến như:  Đọc văn bản (Text to Speech)  Nhân dạng tiếng nói (Speech Recognition)  Sinh ra ngôn ngữ tự nhiên (Natural Language Generation)  Máy dịch thuật (Machine Translation)  Trả lời câu hỏi (Question Answering)  Tìm kiếm thông tin (Information Retrieval)  Trích rút thông tin (Information Extraction)  Kiểm chứng văn bản (Text-Proofing) SVTH: Phan Thanh Bình & Lê Bạch Vũ Trang 12 Luận văn tốt nghiệp GVHD: Th.s Nguyễn Chánh Thành  Tóm tắc tự động (Automatic Summarization)  Mơ hồ về ngữ nghĩa (Syntactic ambiguity)  Xử lý ngôn ngữ bằng thống kê (Statistical Natural Language Processing) Trong luận văn này chúng tôi ình tr bày là phân lo ại văn bản tự động - một hướng nghiên cứu trong lĩnh vực xử lý ngôn ngữ tự nhiên bằng thống kê. Mục tiêu của việc phân loại văn bản tự động là phải viết một chương trình có khả năng phân loại chính xác một văn bản bất kỳ (bằng tiếng Anh). Động cơ thúc đẩy việc phân loại văn bản tự động Phân loại văn bản tự động đem lại rất nhiều lợi ích trong đời sống hiện nay. Thật vậy, sự phát triển vượt bậc của Internet dẫn đến sự bùng nổ của các văn bản trực tuyến, cho nên cần phải phân loại các văn bản nhận được vào các chủ đề khác nhau.

Nếu việc phân loại văn bản cổ điển được thực hiện thủ công, nghĩa là thông qua con người (các chuyên gia của từng lĩnh vực), thì số lượng chuyên gia tham gia vào việc phân loại là rất lớn và thời gian phân loại cũng lớn hơn, điều này rất tốn kém và gây nhàm chán cho các chuyên gia này. Tuy nhiên việc phân loại thủ công cũng không tránh khỏi những ý kiến chủ quan của những chuyên gia, vì vậy độ chính xác cũng không cao. Khi đó các công cụ ph ân loại văn bản tự động rất hữu ích cho người đọc trong việc tổ chức dữ liệu. Do đó việc phân loại tiến hành bằng máy có ưu điểm là hiệu suất cao, có thể hoạt động bất kỳ lúc nào.Tuy nhiên vấn đề ta cần quan tâm là độ chính xác của hệ thống.

Thật vậy, nếu thực hiện theo cách tự động sẽ tận dụng được khả năng quét các văn bản và khả năng xử lý nhanh của máy tính. Do đó hiệu suất sẽ lớn hơn và độ chính xác sẽ cao hơn nếu như máy tính được huấn luyện tốt. SVTH: Phan Thanh Bình & Lê Bạch Vũ Trang 13 Luận văn tốt nghiệp GVHD: Th.s Nguyễn Chánh Thành 1. Một số ứng dụng của việc phân loại văn bản theo chủ đề a.

Phân loại văn bản theo ngôn ngữ Ở một số trung tâm kiểm duyệt văn bản, số lượng văn bản nhận được rất lớn. Các văn bản này có thể được biểu diễn từ các ngôn ngữ khác nhau. Ta có thể dùng các hệ thống phân loại văn bản theo ngôn ngữ để gán các văn bản này vào từng ngôn ngữ cụ thể. Các chuyên gia ngôn ngữ sẽ kiểm duyệt các văn bản này theo ngôn ngữ chuyên môn của họ.

Phân loại thông tin theo chủ đề Cũng giống như việc phân loại văn bản theo ngôn ngữ, việc phân loại thông tin theo chủ đề sẽ phân c hia các thông tin nhận được vào các chủ đề khác nhau. Nếu việc phân loại này được thực hiện thủ công, nghĩa là thông qua con người, thì số lượng chuyên gia tham gia vào việc phân loại là rất lớn và thời gian phân loại cũng lớn hơn. Việc phân loại thủ công cũng không tránh khỏi ý kiến chủ quan của những chuyên gia, vì vậy độ chính xác cũng không cao. Trong khi đó, nếu thực hiện theo cách tự động sẽ tận dụng được khả năng quét các văn bản và khả năng xử lý nhanh của máy tính.

Do đó hiệu suất sẽ lớn hơn và độ chính xác sẽ cao hơn nếu như máy tính được huấn luyện tốt. Tìm kiếm thông tin Việc phân loại văn bản có thể áp dụng trong các hệ thống tìm kiếm thông tin nhằm tăng hiệu suất cũng như tăng độ chính xác của việc tìm kiếm. Do sự phát triển của Internet, số lượng thông tin trực tuyến ngày càng tăng. Một thao tác phổ biến trên Internet là tìm kiếm.

Tuy nhiên, do khối lượng thông tin rất lớn nên các cỗ máy tìm kiếm (search engine) thường tổ chức dữ liệu vào các chủ đề giúp không gian tìm kiếm giảm đi, qua đó tăng hiệu suất của hệ thống. Ngoài ra việc tìm kiếm theo từ khoá thường không đạt được độ chính xác cao nên các search engine thường kết hợp với tìm kiếm theo chủ đề nhằm cải thiện độ chính xác của việc tìm kiếm. SVTH: Phan Thanh Bình & Lê Bạch Vũ Trang 14 Luận văn tốt nghiệp GVHD: Th.s Nguyễn Chánh Thành d. Phân loại email Chức năng của một hệ thống phân loại email tự động là: - Từ chối mail theo luật.

- Phân phối mail vào các folder định trước. - Chuyển mail đến địa chỉ khác. Nội dung đề tài Trong luận văn chúng tôi tìm hiểu và áp dụng phương pháp k – Nearest Neighbour để phân loại văn bản tiếng Anh. Đối với ngôn ngữ tiếng Anh hiện nay có rất nhiều công trình liên quan như: Google, Yahoo, … Các văn bản cần phân loại trong luận văn chúng tôi gói gọn trong 5 chủ đề: Trí tuệ nhân tạo (artificial intelligence), Cấu trúc dữ liệu + giải thuật (structure and algorithm), mạng máy tính (network), sinh học (biology), bóng đá (football).

Các chủ đề trên được thu thập từ các trang web được Google phân loại sẵn do đó mỗi thể loại rất đa dạng về nội dung. Trong đó hai chủ đề cấu trúc dữ liệu + giải thuật và trí tuệ nhân tạo được xem là tiêu biểu nhất cho việc phân loại vì chúng giao nhau rất lớn, thêm vào đó là chủ đề mạng máy tính cũng rất gần vì chúng điều thuộc cùng một lĩnh vực khoa học máy tính. Ngoài ra, các chủ đề còn lại đại diện cho các văn bản hoàn toàn khác nhau nên việc phân loại văn bản sẽ dễ dàng hơn và đạt độ chính xác cao hơn. Do đó một văn bản có thể thuộc cùng lúc cả hai hoặc nhiều chủ đề thì việc phân loại sẽ khó khăn hơn và mức độ chính xác cũng thấp hơn.

Nếu giải quyết được tình huống khó khăn trên thì việc phân loại văn bản cho các chủ đề khác sẽ đạt độ chính xác cao hơn. Tóm lại, sau khi xây dựng thành công giải thuật phân loại văn bản cho các chủ đề trên, thì việc mở rộng phân loại văn bản cho nhiều chủ đề khác là điều hoàn toàn có thể t hực hiện được một cách dể dàng. Mỗi chủ đề cần phân loại phải trên vài trăm văn bản mẫu và phải có các chuyên gia riêng tạo lập thì mới có thể đạt được độ chính xác cao. SVTH: Phan Thanh Bình & Lê Bạch Vũ Trang 15 Luận văn tốt nghiệp GVHD: Th.s Nguyễn Chánh Thành 1.

Ứng dụng mở rộng - Lập chỉ mục và tìm kiếm của Lucene 1. Giới thiệu Lucene Lucene là bộ công cụ mã nguồn mở viết bằng Java hỗ trợ việc tạo chỉ mục (indexing) và tìm kiếm (searching) văn bản. Đây là bộ công cụ dễ sử dụng, linh hoạt và khá mạnh với mô hình kiến trúc hướng đối tượng. Lucene là một thành viên rất được ưa chuộng trong các dự án của Apache Jakarta.

Trong vài năm gần đây, hầu hết các thư viện tìm kiếm thông tin (IR: Information Retrieval) bằng Java đều hoàn toàn miễn phí. Lucene có thể tạo chỉ mục cho bất kì thông tin dạng text nào bạn muốn, sau đó thực hiện tìm kiếm theo nhiều tiêu chuẩn khác nhau. Mặc dù chỉ làm việc với text, nhưng có nhiều tính năng khác được cung cấp để bạn có thể tạo index cho văn bản Word, file PDF, XML, hay các trang HTML. Lucene không quá ph ức tạp.

Nó cung cấp một khung làm việc cơ bản, hỗ trợ bạn xây dựng một công cụ tìm kiếm đầy đủ chức năng cho website của mình. Ta có thể xem Lucene là một tầng phía dưới, giúp xử lí thao tác index và search cho các chương trình bên trên, như trong hình sau: SVTH: Phan Thanh Bình & Lê Bạch Vũ Trang 16 Luận văn tốt nghiệp GVHD: Th.s Nguyễn Chánh Thành Hình 1. Mô hình kiến trúc của Lucene Một số chương trình tìm kiếm có đầy đủ chức năng được xây dựng dựa trên cơ sở Lucene. Nếu bạn đang tìm một số thứ cần thiết đã được xây dựng sẵn hay một khung làm việc dùng cho việc crawling, xử lí văn bản, và tìm kiếm, bạn có thể xem tại trang Lucene Wiki (http://wiki.org/jakarta- lucene/PoweredBy) với nhiều chương trình: Zilverline, SearchBlox, Nutch, LARM, và jSearch.

Với sự phong phú của thông tin, và thời gian là một trong những thứ quý giá của hầu hết mọi người, chúng ta cần làm cho những câu truy vấn trở nên linh hoạt, độc lập, đặc biệt để nhanh chóng cắt ngang rào cản phân loại cứng nhắc và tìm kiếm chính xác sau đó đưa ra kết quả hợp lý nhất theo yêu cầu. SVTH: Phan Thanh Bình & Lê Bạch Vũ Trang 17 Luận văn tốt nghiệp GVHD: Th.s Nguyễn Chánh Thành 1. Cơ sở nền tảng của Lucene Lucene là sản phẩm sáng tạo của Doug Cutting và sẵn có trên SourceForge, cho phép mọi người download. Nó gia nhập dòng sản phẩm phần mềm Apache Software Foundation's Jakarta mã nguồn mở bằng Java vào tháng 9 năm 2001.

Từ khi được phổ biến rộng rãi, Lucene ngày càng được nhiều người dùng và các nhà phát triển ủng hộ.