Luận văn: Phân lớp đa nhãn và ứng dụng phân loại tin nhắn SMS - Đào Xuân Dương

Luận văn thạc sĩ nghiên cứu phân lớp đa nhãn và ứng dụng vào bài toán phân loại tin nhắn SMS. Phân tích các thuật toán học máy, tiền xử lý dữ liệu.

• Tác giả: Đào Xuân Dương
• Người hướng dẫn: TS. Trịnh Anh Phúc
• Trường học: Trường Đại học Bách Khoa Hà Nội
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Phân Lớp Đa Nhãn Và Ứng Dụng Cho Bài Toán Phân Loại Tin Nhắn Văn Bản SMS
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2019
• Địa điểm: Hà Nội

Tóm tắt

I. Giới thiệu về Phân Lớp Đa Nhãn trong Phân Loại Tin Nhắn SMS

Phân lớp đa nhãn (Multi-Label Classification) là một kỹ thuật học máy tiên tiến được ứng dụng rộng rãi trong xử lý ngôn ngữ tự nhiên (NLP). Khác với phân lớp đơn nhãn truyền thống, phân lớp đa nhãn cho phép mỗi tin nhắn SMS được gán nhiều nhãn cùng lúc. Điều này đặc biệt hữu ích trong bài toán phân loại tin nhắn nơi một tin nhắn có thể vừa là quảng cáo, vừa là spam, hoặc chứa nhiều chủ đề khác nhau. Các ứng dụng thực tiễn bao gồm lọc spam SMS, phân loại nội dung marketing từ các nhà cung cấp dịch vụ viễn thông (Telco), và phân tích hành vi người dùng. Luận văn này tập trung vào ứng dụng công nghệ thông tin để giải quyết bài toán phân loại tin nhắn văn bản SMS với độ chính xác cao.

1.1. Phân biệt Phân Lớp Đa Nhãn và Đa Lớp

Phân lớp đa lớp (Multi-Class) yêu cầu mỗi mẫu chỉ thuộc một lớp duy nhất, trong khi phân lớp đa nhãn cho phép mỗi mẫu có thể được gán cho nhiều lớp cùng một lúc. Ví dụ, một tin nhắn SMS có thể được gán cả nhãn "Spam SMS" và "Marketing" đồng thời. Sự khác biệt này ảnh hưởng đến việc lựa chọn thuật toán, phương pháp đánh giá và tối ưu hóa mô hình trí tuệ nhân tạo.

1.2. Tầm Quan Trọng của Phân Loại Tin Nhắn SMS

Với hàng miliard tin nhắn được gửi hàng ngày, bài toán phân loại tin nhắn SMS trở nên cực kỳ quan trọng cho các nhà cung cấp dịch vụ viễn thông. Phân loại chính xác giúp bảo vệ người dùng khỏi spam, lừa đảo, và cải thiện trải nghiệm. Công nghệ học máy hiện đại cho phép tự động hóa quy trình này với hiệu suất cao, tiết kiệm chi phí và nhân lực.

II. Các Thuật Toán Chính trong Phân Lớp Đa Nhãn

Để giải quyết bài toán phân lớp đa nhãn, các nhà nghiên cứu đã phát triển nhiều thuật toán khác nhau dựa trên các mô hình thống kê và học máy. Các thuật toán phổ biến bao gồm Naive Bayes, SVM (Support Vector Machine), Logistic Regression, và các phương pháp sâu hơn như Deep Learning. Mỗi thuật toán có ưu điểm riêng và phù hợp với các loại dữ liệu khác nhau. Lựa chọn thuật toán phù hợp là chìa khóa để đạt được hiệu suất tối ưu trong phân loại tin nhắn SMS. Quá trình này bao gồm trích chọn đặc trưng từ văn bản, chuẩn bị dữ liệu, và thực hiện các bài kiểm tra So sánh chi tiết.

2.1. Thuật Toán Naive Bayes và SVM

Naive Bayes là một thuật toán dựa trên định lý Bayes, đơn giản nhưng hiệu quả cho xử lý ngôn ngữ tự nhiên. SVM (Support Vector Machine) là phương pháp mạnh mẽ trong việc tìm siêu phẳng tối ưu để phân chia dữ liệu. Cả hai thuật toán đều được sử dụng rộng rãi trong phân lớp đa nhãn tin nhắn SMS nhờ tốc độ xử lý nhanh và độ chính xác cao.

2.2. Logistic Regression và Deep Learning

Logistic Regression cung cấp một cách tiếp cận xác suất đơn giản nhưng hiệu quả. Deep Learning (học sâu) với các mạng nơ-ron (neural network) mang lại khả năng học các đặc trưng phức tạp tự động. Các phương pháp này đặc biệt hữu ích khi xử lý dữ liệu lớn và phức tạp trong phân loại tin nhắn SMS hiện đại.

III. Quá Trình Thu Thập và Tiền Xử Lý Dữ Liệu

Bước tiền xử lý dữ liệu là nền tảng quan trọng cho bất kỳ mô hình phân lớp đa nhãn nào. Quá trình bao gồm thu thập dữ liệu từ các nhà cung cấp dịch vụ viễn thông (Telco), gắn nhãn dữ liệu một cách chính xác, và áp dụng các kỹ thuật tiền xử lý dữ liệu. Các bước tiền xử lý bao gồm chuẩn hóa từ (stemming), loại bỏ stopwords (từ dừng), và tách từ (word segmentation). Dữ liệu được sạch sẽ và chuẩn hóa sẽ giúp các thuật toán học máy hoạt động hiệu quả hơn, nâng cao độ chính xác của mô hình phân loại.

3.1. Thu Thập và Gắn Nhãn Dữ Liệu SMS

Dữ liệu tin nhắn SMS được thu thập từ các nguồn thực tế, bao gồm các nhà cung cấp dịch vụ viễn thông và người dùng. Mỗi tin nhắn được gắn nhãn thủ công hoặc tự động với các nhãn tương ứng như "Spam", "Marketing", "OTP", v.v. Quá trình gắn nhãn chính xác là rất quan trọng để đảm bảo chất lượng dữ liệu huấn luyện cho mô hình.

3.2. Chuẩn Hóa và Làm Sạch Dữ Liệu

Chuẩn hóa từ loại bỏ các hậu tố và tiền tố để đưa từ về dạng nguyên thể. Loại bỏ stopwords (từ dừng) như "và", "hoặc", "là" giúp giảm nhiễu. Tách từ chính xác đặc biệt quan trọng trong xử lý ngôn ngữ tự nhiên tiếng Việt. Những bước này tạo ra dữ liệu sạch sẽ, tối ưu cho quá trình huấn luyện mô hình.

IV. Đánh Giá và Tối Ưu Hóa Mô Hình Phân Lớp Đa Nhãn

Đánh giá hiệu suất mô hình phân lớp đa nhãn khác biệt so với các bài toán phân loại truyền thống. Các tiêu chí đánh giá bao gồm độ chính xác (Accuracy), độ đo dựa trên mẫu, và độ đo dựa trên nhãn. Việc lựa chọn các tiêu chí phù hợp phụ thuộc vào đặc thù của bài toán phân loại tin nhắn SMS. Quá trình tối ưu hóa sử dụng các kỹ thuật như GridSearch để tìm kiếm tham số hỏ tốt nhất. Thời gian chạy thuật toán cũng là một yếu tố quan trọng, đặc biệt trong các ứng dụng thực tế yêu cầu xử lý nhanh chóng và hiệu quả.

4.1. Các Tiêu Chí Đánh Giá Mô Hình

Độ chính xác tổng quát (Accuracy) là tiêu chí cơ bản nhưng không đủ cho phân lớp đa nhãn. Các độ đo dựa trên mẫu và các độ đo dựa trên nhãn cung cấp cái nhìn chi tiết hơn về hiệu suất. Các số liệu như Precision, Recall, F1-score cho từng nhãn giúp xác định điểm mạnh và yếu của mô hình, từ đó có thể cải thiện kết quả.

4.2. Tối Ưu Hóa và Tuning Tham Số

GridSearch là kỹ thuật hiệu quả để tìm kiếm tham số tối ưu cho mô hình. Quá trình này liên quan đến việc thử nghiệm nhiều kết hợp tham số khác nhau. Thời gian chạy thuật toán cần được cân bằng với độ chính xác để đạt hiệu suất tối ưu. Sự điều chỉnh cẩn thận các tham số giúp nâng cao chất lượng phân loại tin nhắn SMS một cách đáng kể.

Trích đoạn nội dung tài liệu

chương 1. CHƯƠNG2- CƠSỞLÝTHUYẾT. Cơ sở lý thuyết về xứ lý ngôn ngữ. - 15 ii DANH MUC CAC BANG Bảng 1.

Théng kê số lượng tin nhẫn quang cáo từ 2015-2017 (Nguân VnCer). Thông kê số lượt phân ánh tìn rác qua các năm 2015-2018 (theo PnCerg. So sảnh các cấu trúc Tìn nhắn SMS vei thư điện tử (email). Vi du 2 nội dụng nội dụng tân nhắn cho n-grưm.

Vi du túi từ vựng tmigrưm. Vi dy vec-tơ đặc trung ctia wnigram Bang 2. Vi dy tii tirvung bi-grams.5, Vi dy vec-tơ đặc trưng của bi-grams. Vi du bai toda phan lop Binary Relevance.

Các bộ phân nhân nhị phân tương ứng với 4 nhất Bang 2. Vi du bai todn phan lip Classifier Chain. Các bộ phân nhấn tương ứng với 4 nhãn trong Clas Bang 2. Cac tham wi xử đụng đánh giá mô hình phân lớp Bảng 3.

Bang sé litu thong kê Bộ dữ liệu thực nghiệm 1. Dáng số liệu thắng kê Bộ dữ liệu thực nghiệm 2.3 Dữ liệu phân lớp.4 Phân bố dữ liệu thực nghiệm vào các nhôm nhân Băng 3. Hộ từ diễn chuẩn bòa từ viết tắt tiéng V Bảng 4. Câu hình phần cứng thực nghiệm.

Cúc gói Hur viện xử lý chính. So sánh chất lượng phân lớp cũa thu iodn Binany Relevancesik dung 3 m6 hinh Gaussian Naive Bayes, SVC va Logistic Regression. Chỉ số đánh giá dựa trên nhãn của thuật toàn BR sử đựng GNB Bảng 4.5 Chỉ số đánh giá dựa trên nhãn của thuật toán IR sử đựng SEt Bảng 4. Chí số đánh giả dựa trên nhấn của thuật toàn Binary Relevance sit dung Logistic Regression.

Các dộ do dựa trên mẫu của thuật toán Classifier Chains.8 Chỉ số đánh giá dựa trên nhãn của Classfier Chaïns với GNE.9 Cúc tiêu chí đánh giá dựa trên mẫu của thuật loán MỊ. Chỉ số đánh giá dụa trên nhãn của thuật loán ML-kNN. Bàng so sánh chải lượng phân lõp sau khi tối wu tô hình. So sánh chất lượng phân lóp các thuật toán trên bộ dữ liệu thực nghiệm I.

So sảnh chất lượng phân lớp các thuật toán trên bộ dữ liệu thực nghiệm 2 .67 69 Phân lớn đu nhân và ứng dựng cho bài trứa phân loại tín nhắn văn bản SMS Trang 1 MUCLUC LOL CAM ON, LOT CAM BOAN. ANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT. ĐANII MỤC CÁC BẢNG. ĐANH MỤC CÁC HÌNH V PHÂN MỞ ĐẦU.

Ly do chon đề là 2. Mục đích nghiên cửu 3. __ Đi tượng, phạm vi nghiên cứu, phương pháp nghiên cửu. Bỗ cục của lận văn.

_ Dóng góp của luận văn. CHƯƠNG1- TỎNG QUAN VỀ DỮ LIỆU TIN NHẮN RÁC VÀ CÁC PHƯƠNG PHÁP PHÂN LOẠI TIN NHÂN RÁC. Tin nhắn rắc và thực trạng tin nhắn rắc ở Việt Nam. Đặc điểm của lin nhắn văn bản liễng Vị 1.

Đặc điểm tr nhắn văn bản tiếng VÌ TẾT si eiiieesoeosoÐ 1. Cách phân loại tin nhăn spam SMS. Tác hại của tin nhắn rác (spam SMS). Phuong phap phan loai spam SMS.

Dựa vào nguồn phát tán tin nhấn rác 1⁄42. Lee tin nhắn đựa vào nội đung. 13 'Tổng kết chương 1. CHƯƠNG2- CƠSỞLÝTHUYẾT.

Cơ sở lý thuyết về xứ lý ngôn ngữ. - 15 ii MUCLUC LOL CAM ON, LOT CAM BOAN. ANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT. ĐANII MỤC CÁC BẢNG.

ĐANH MỤC CÁC HÌNH V PHÂN MỞ ĐẦU. Ly do chon đề là 2. Mục đích nghiên cửu 3. __ Đi tượng, phạm vi nghiên cứu, phương pháp nghiên cửu.

Bỗ cục của lận văn. _ Dóng góp của luận văn. CHƯƠNG1- TỎNG QUAN VỀ DỮ LIỆU TIN NHẮN RÁC VÀ CÁC PHƯƠNG PHÁP PHÂN LOẠI TIN NHÂN RÁC. Tin nhắn rắc và thực trạng tin nhắn rắc ở Việt Nam.

Đặc điểm của lin nhắn văn bản liễng Vị 1. Đặc điểm tr nhắn văn bản tiếng VÌ TẾT si eiiieesoeosoÐ 1. Cách phân loại tin nhăn spam SMS. Tác hại của tin nhắn rác (spam SMS).

Phuong phap phan loai spam SMS. Dựa vào nguồn phát tán tin nhấn rác 1⁄42. Lee tin nhắn đựa vào nội đung. 13 'Tổng kết chương 1.

CHƯƠNG2- CƠSỞLÝTHUYẾT. Cơ sở lý thuyết về xứ lý ngôn ngữ. eo khi DT 3. Trích chọn đặc trưng và véc Lơ hứa từ với TE-TDE.

"Tổng kết chương 3. CHƯƠNG4- KÉT QUÁ VÀ BÀNLUẬN. Mô hình tổng quát bài toán.2, Môi trường thực nghiệm. Câu hình phân cứng Hhực nghiệm 36 42.

Các thư viện sử dụng - 36 43. Lira chon thuật toán huấn Ìư 4-4. Thục nghiệm và đánh giá kết quả. Tối nu tham số mỗ hình với GridSearch.

Kết quả thực nghiệm.1, Binary Relevance véi Gaussian Naive Bayes, SVC va Logistic Regression - - 60 4. Classifier Chains vi Ganssum Naive Bayes - 64 4. Miulu-labelK-Nearest Noighbous (ML-KNN). Nhận xét và Đánh giá 4.1, 3o sánh chất lượng phân lớp các thuật toán trên 2 bộ đữ liệu thực nghiém 7 4.2 8o sánh ảnh hướng cũa độ lớn dữ liệu.

déi với thời gian chạy các thuật toán.3, So sánh chất lượng phân loại trước và sau khi để# xuất phương pháp cải tiến công đoạn tiền xử lý dữ liệu. - 70 KET LUAN VA HUONG PHAT TRIEN 1. Cac két quá chính đạt được trong luận văn 2. Hạn chế của luận văn 3.

Hướng nghiên cứu tiếp theo. TÀI LIỆU THAM KHẢO 2. Kỹ thuật tách từ (Words segmentetion). Một số phương pháp trích chọn đặc trung.2, Phân lớp nhị phân/dơn nhãn (Binary Classification/Singlc Label Classification) 2.

Phan lép da nhan (Multi-Label Classification). Hải toán phân lớp da nhãn tổng quảt. Phân biệt phân lớp đa nhãn (Muli-Label) với đa lớp (Muli-Class). Cáo kỹ thuật phân lớp đa nhãn - - 24 2.

Lụa chọn thuật toán. Cơ sở mô hình thống kê. Thuật loán Naive Bayes.2, Thuật toán SVM. cccccsissstsesses snes sessiesnesta sansa 3.

Thuat toan Logistic Regression. sass sieeve senseessreou 3S 2. Các tiêu chí dánh giá mô hình phân lứp da nhãn. Các độ đo đựa trên mẫu 7 25.

Các độ đo dựa trêu nhần 38 2. Thời gian chạy thuật toán - 40 2.4, Liga chon cae tiéu chi dan giả. AL "Tổng kết chương 2. CUUONG3- THU THẬP VÀ TIEN XỬ LÝ DỮ LIỆI 3.

Thu thập và gắn nhãn dữ liệu. Dữ liệu thực nghiệm - - - - 42 3. Dữ liệu phân lớp - - - 43 3. Găn nhãnvà phân bố dữ liệu theo nhãn.

Từ khóa và đáo trưng của đữ liệu thực nghiệm theo nhãn. Tiền xử lý dữ liệu. Chuẩn hoá từ (Sterming) - 51 3. Tám sạch dữ Hệu (loan dalz).

Loại bỏ §topWords (remove stopwordẽ). ceeeueeouS7 iv DANH MUC CAC KY HIEU VA CHU VIET TAT [Kí hiệu Tiếng Anh Tiếng Việt SMS Short Message Services re vụ tín nhần ngần qua mạng, di Spam SMS [Spam SMS ‘Tin nhin rac Telco Telecom Company = Operator _ [Nha eung cap dich vu vien théng, Senders — |Šcnders Người gử/Nguôn gũi từ nhân SMS SĐT Phone Number Số điện thoại người giửi/nhận. - BrandName | BrandName Tên thương hiệu (hiển thi thay cho số điện thoại người gửi) AT Artificial Intelligence Trí tuệ nhân tạo, MT, Machine Learning Phương pháp học máy NLP Natural Language Processing |Xứ lý ngồnngữtựnhiên Kỹ thuật học máy đựa trên rạng nơ DL Deep Learning rem (Neural network) SVM. Vector Machine May veelo hé tro — Term Frequency Inverse Trọng số về tan suât và độ quan Decument Frequene) trọng của tir Bow Bag of Words Mô hình xử lý ngòn ngữ tự nhiên tiếp cận theo hướng dãy tir ‘Gram Statistical N-Gram Language Mã hình ngôn ngữ thắng kê K- Modeling Gian.

Những từ mang ý nghĩa câm Hư, StopWords Từ đừng/từ loại xuất hiện nhiều trong văn bản, nhưng, không lại mang nhiều ý nghĩa MLC Multi Label Classification Phân lớp đa nhãn FE Feature Extraction Trích chọn đặc trưng, 1's Feature Selection Lua chon dic trưng, One-vs-xest hay còn gọi là one- s nhà 1 0vR against-rest, one-vs-all, Š cne. — | Phương pháp phản loại mỗi lớp với mọi lớp còn lại agaist-resi, hoặc one-against-all BR Binary Relevance Mé hinh phin lop tương hợp nhị phân. IMNB Multinomial Naive Bayes M6 hinh Multinomial Naive Bayes GNB Gaussian Naive Bayes M6 hinh Gaussian Naive Bayes svc svc M6 hinh Liner SVM LP Label Powarsel Mô hình phân lớp Tập lũy thừa nhãn ce Classifier Chains Mô hinh phân lớp Chuối các phân lớp ML-KNN om — | Multi-Label nl k Nearest Neighbour. Thươnggiếngphápgânphânnhất.lớp đa nhấn k Lắng GridSearch |GridSearch Kỹ thuật tìm kiếm tham số hưới ACC ‘Accuracy Đồ chính xác tổng quát Ministry of Information and Bộ Thông tin va Truyền thông, Communications vi MUCLUC LOL CAM ON, LOT CAM BOAN.

ANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT. ĐANII MỤC CÁC BẢNG. ĐANH MỤC CÁC HÌNH V PHÂN MỞ ĐẦU. Ly do chon đề là 2.

Mục đích nghiên cửu 3. __ Đi tượng, phạm vi nghiên cứu, phương pháp nghiên cửu. Bỗ cục của lận văn. _ Dóng góp của luận văn.

CHƯƠNG1- TỎNG QUAN VỀ DỮ LIỆU TIN NHẮN RÁC VÀ CÁC PHƯƠNG PHÁP PHÂN LOẠI TIN NHÂN RÁC. Tin nhắn rắc và thực trạng tin nhắn rắc ở Việt Nam. Đặc điểm của lin nhắn văn bản liễng Vị 1. Đặc điểm tr nhắn văn bản tiếng VÌ TẾT si eiiieesoeosoÐ 1.

Cách phân loại tin nhăn spam SMS. Tác hại của tin nhắn rác (spam SMS). Phuong phap phan loai spam SMS. Dựa vào nguồn phát tán tin nhấn rác 1⁄42.

Lee tin nhắn đựa vào nội đung. 13 'Tổng kết chương 1. CHƯƠNG2- CƠSỞLÝTHUYẾT. Cơ sở lý thuyết về xứ lý ngôn ngữ.

eo khi DT 3. Trích chọn đặc trưng và véc Lơ hứa từ với TE-TDE. "Tổng kết chương 3. CHƯƠNG4- KÉT QUÁ VÀ BÀNLUẬN.

Mô hình tổng quát bài toán.2, Môi trường thực nghiệm. Câu hình phân cứng Hhực nghiệm 36 42. Các thư viện sử dụng - 36 43. Lira chon thuật toán huấn Ìư 4-4.

Thục nghiệm và đánh giá kết quả. Tối nu tham số mỗ hình với GridSearch. Kết quả thực nghiệm.1, Binary Relevance véi Gaussian Naive Bayes, SVC va Logistic Regression - - 60 4. Classifier Chains vi Ganssum Naive Bayes - 64 4.

Miulu-labelK-Nearest Noighbous (ML-KNN). Nhận xét và Đánh giá 4.1, 3o sánh chất lượng phân lớp các thuật toán trên 2 bộ đữ liệu thực nghiém 7 4.2 8o sánh ảnh hướng cũa độ lớn dữ liệu. déi với thời gian chạy các thuật toán.3, So sánh chất lượng phân loại trước và sau khi để# xuất phương pháp cải tiến công đoạn tiền xử lý dữ liệu. - 70 KET LUAN VA HUONG PHAT TRIEN 1.

Cac két quá chính đạt được trong luận văn 2. Hạn chế của luận văn 3. Hướng nghiên cứu tiếp theo. TÀI LIỆU THAM KHẢO DANH MUC CAC BANG Bảng 1.

Théng kê số lượng tin nhẫn quang cáo từ 2015-2017 (Nguân VnCer). Thông kê số lượt phân ánh tìn rác qua các năm 2015-2018 (theo PnCerg. So sảnh các cấu trúc Tìn nhắn SMS vei thư điện tử (email). Vi du 2 nội dụng nội dụng tân nhắn cho n-grưm.

Vi du túi từ vựng tmigrưm. Vi dy vec-tơ đặc trung ctia wnigram Bang 2. Vi dy tii tirvung bi-grams.5, Vi dy vec-tơ đặc trưng của bi-grams. Vi du bai toda phan lop Binary Relevance.

Các bộ phân nhân nhị phân tương ứng với 4 nhất Bang 2. Vi du bai todn phan lip Classifier Chain. Các bộ phân nhấn tương ứng với 4 nhãn trong Clas Bang 2.