Tài liệu: Bài tập lớn xây dựng mô hình phân loại tin nhắn rác

Tìm hiểu cách xây dựng mô hình phân loại tin nhắn rác hiệu quả. Hướng dẫn chi tiết các bước thực hiện và áp dụng thuật toán máy học.

• Tác giả: Nguyễn Trường Phúc
• Người hướng dẫn: Ts. Nguyễn Văn Hậu
• Trường học: Trường Đại học Sư phạm Kỹ thuật Hưng Yên
• Chuyên ngành: Khoa học Máy tính
• Đề tài: Xây dựng mô hình phân loại tin nhắn rác
• Loại tài liệu: Bài tập lớn
• Năm xuất bản: 2024
• Địa điểm: Hưng Yên

Tóm tắt

I. Giới thiệu về bài tập lớn xây dựng mô hình phân loại tin nhắn rác

Bài tập lớn xây dựng mô hình là một dự án học thuật quan trọng trong học phần Học máy cơ bản. Đề tài này tập trung vào việc phát triển một hệ thống phân loại tin nhắn rác sử dụng các kỹ thuật học máy hiện đại. Mục tiêu chính là xây dựng một mô hình có khả năng phân biệt giữa tin nhắn hợp lệ và tin nhắn rác với độ chính xác cao. Dự án được thực hiện bởi nhóm sinh viên ngành Khoa học Máy tính tại Trường Đại học Sư phạm Kỹ thuật Hưng Yên, dưới sự hướng dẫn của giảng viên chuyên môn. Qua bài tập này, sinh viên sẽ nắm vững các kiến thức cơ bản về xây dựng mô hình học máy và ứng dụng thực tiễn trong việc xử lý dữ liệu văn bản.

1.1. Mục tiêu của đề tài

Mục tiêu chính của bài tập lớn là phát triển một mô hình phân loại hiệu quả để nhận dạng tin nhắn rác. Sinh viên sẽ học cách áp dụng các kỹ thuật tiền xử lý dữ liệu, trích xuất đặc trưng, và thuật toán học máy như Logistic Regression và Support Vector Machine. Dự án nhằm giúp sinh viên hiểu rõ từng bước trong quy trình xây dựng mô hình, từ thu thập dữ liệu đến đánh giá hiệu suất cuối cùng.

1.2. Ý nghĩa thực tiễn

Phân loại tin nhắn rác là một vấn đề thực tế quan trọng trong công nghệ thông tin hiện đại. Bài tập này giúp sinh viên giải quyết một bài toán thực tế, nâng cao kỹ năng xử lý dữ liệu, phân tích, và lập trình máy tính. Kết quả từ dự án này có thể được ứng dụng để bảo vệ người dùng khỏi các tin nhắn không mong muốn, cải thiện trải nghiệm sử dụng dịch vụ thông tin.

II. Các kỹ thuật xử lý dữ liệu và chuẩn bị dữ liệu

Bước đầu tiên trong xây dựng mô hình học máy là xử lý dữ liệu một cách hiệu quả. Tiền xử lý dữ liệu bao gồm các bước loại bỏ dữ liệu không cần thiết, chuẩn hóa, và chuyển đổi dữ liệu thô thành định dạng phù hợp. Trong bài tập lớn này, sinh viên sẽ học cách làm sạch dữ liệu văn bản, loại bỏ các ký tự đặc biệt, chuyển đổi chữ hoa thành chữ thường, và xử lý các từ dừng. Các kỹ thuật chuẩn hóa giúp đảm bảo rằng dữ liệu có phân phối đều và giảm thiểu ảnh hưởng của các giá trị ngoại lệ. Đây là giai đoạn quan trọng quyết định chất lượng của mô hình phân loại cuối cùng.

2.1. Loại bỏ nhiễu và chuẩn hóa dữ liệu

Loại bỏ nhiễu là quá trình xóa những thông tin không cần thiết từ dữ liệu gốc. Sinh viên sẽ sử dụng các kỹ thuật xử lý văn bản như loại bỏ dấu câu, ký tự số không quan trọng. Chuẩn hóa dữ liệu bao gồm chuyển tất cả chữ thành chữ thường, loại bỏ khoảng trắng thừa. Những bước này đảm bảo tính nhất quán và giúp mô hình học máy hoạt động tốt hơn.

2.2. Trích xuất đặc trưng văn bản

Trích xuất đặc trưng là bước chuyển đổi văn bản thô thành các vector số mà mô hình học máy có thể xử lý. Phương pháp TF-IDF và Bag of Words là những kỹ thuật phổ biến được sử dụng. Sinh viên sẽ học cách áp dụng các công cụ lập trình để thực hiện quá trình này, tạo ra ma trận đặc trưng cho việc huấn luyện mô hình.

III. Xây dựng và huấn luyện mô hình học máy

Phần này tập trung vào việc xây dựng và huấn luyện mô hình phân loại. Sinh viên sẽ sử dụng các thuật toán học máy như Logistic Regression, Support Vector Machine (SVM), hoặc Naive Bayes. Quá trình huấn luyện bao gồm chia dữ liệu thành tập huấn luyện và tập kiểm tra, sau đó đưa dữ liệu huấn luyện vào mô hình để học các mẫu. Sinh viên sẽ học cách điều chỉnh các siêu tham số (hyperparameters) để tối ưu hóa hiệu suất. Kiểm định chéo (Cross Validation) được sử dụng để đánh giá độ ổn định của mô hình và tránh overfitting. Đây là phần quan trọng nhất trong quá trình xây dựng mô hình học máy.

3.1. Các thuật toán phân loại được sử dụng

Logistic Regression là một thuật toán đơn giản nhưng hiệu quả cho bài toán phân loại nhị phân. Support Vector Machine cung cấp khả năng phân loại mạnh mẽ thông qua việc tìm siêu phẳng tối ưu. Sinh viên sẽ so sánh hiệu suất của các thuật toán khác nhau bằng cách đánh giá các metric như accuracy, precision, recall, và F1-score.

3.2. Tối ưu hóa siêu tham số và đánh giá mô hình

Tinh chỉnh siêu tham số là quá trình tìm giá trị tối ưu cho các tham số của mô hình. Sinh viên sử dụng Grid Search hoặc Random Search để tìm siêu tham số tốt nhất. Kiểm định chéo giúp đảm bảo mô hình hoạt động tốt trên các dữ liệu khác nhau, không chỉ trên tập huấn luyện.

IV. Kết quả kết luận và hướng phát triển của bài tập lớn

Sau khi hoàn thành xây dựng mô hình, sinh viên sẽ tổng hợp kết quả đạt được và viết báo cáo chi tiết. Bài tập lớn này giúp sinh viên nắm vững quy trình xây dựng mô hình học máy từ đầu đến cuối. Sinh viên sẽ ghi nhận những kiến thức đạt được, bao gồm các kỹ thuật xử lý dữ liệu, thuật toán học máy, và kỹ năng lập trình. Tuy nhiên, dự án cũng ghi nhận những hạn chế như lượng dữ liệu hạn chế hoặc mô hình còn có thể cải thiện. Hướng phát triển tiếp theo có thể bao gồm áp dụng các mô hình sâu (Deep Learning), tối ưu hóa thêm, hoặc triển khai hệ thống thực tế. Bài tập này là nền tảng vững chắc cho các dự án machine learning phức tạp hơn trong tương lai.

4.1. Kiến thức và kỹ năng đạt được

Sinh viên đã học cách áp dụng toàn bộ quy trình xây dựng mô hình học máy. Các kỹ năng thực hành bao gồm xử lý dữ liệu, trích xuất đặc trưng, huấn luyện mô hình, và đánh giá hiệu suất. Sinh viên cũng nâng cao kỹ năng lập trình Python, sử dụng các thư viện như scikit-learn, pandas, numpy. Những kiến thức này là nền tảng quan trọng cho sự phát triển sự nghiệp trong lĩnh vực AI.

4.2. Hạn chế và hướng phát triển tiếp theo

Bài tập hiện tại còn những hạn chế như dữ liệu không cân bằng, mô hình cơ bản. Các hướng phát triển bao gồm sử dụng các mô hình Deep Learning như LSTM, BERT, hay xây dựng ứng dụng web để triển khai mô hình phân loại thực tế. Sinh viên có thể mở rộng dự án bằng cách tích hợp xử lý ngôn ngữ tự nhiên (NLP) nâng cao.

Trích đoạn nội dung tài liệu

BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƯỜNG ĐẠI HỌC SƯ PHẠM KỸ THUẬT HƯNG YÊN B® BAI TAP LON XAY DUNG MO HINH PHAN LOAI TIN NHAN RAC NGANH: KHOA HOC MAY TINH CHUYỂN NGÀNH: TRÍ TUỆ NHÂN TAO VA KHOA HOC DU LIEU HOC PHAN: HOC MAY CO BAN NHOM SINH VIEN THUC HIEN NGUYEN TRUONG PHUC - 12421036 DAO THI NGOC ANH - 10121747 MÃ LỚP: 12421TN GIẢNG VIÊN HƯỚNG DẪN: TS. NGUYÊN VĂN HẬU HUNG YEN — 2024 Học máy cơ bản — Xây dựng mô hình phân loại tin nhắn rác NHẬN XÉT Nhận xét của giảng viên hướng dẫn: GIẢNG VIÊN HƯỚNG DẪN (Ký và ghi rõ họ tên) Học máy cơ bản — Xây dựng mô hình phân loại tin nhắn rác LỜI CAM ĐOAN Chúng em xin cam đoan sản phâm của bài tập lớn “Xây dựng hệ thống phân loại tin nhắn rác” là kết quá thực hiện của nhóm sinh viên gồm Nguyễn Trường Phuc va Dao Thi Ngọc Ánh dưới sự hướng dẫn của TS. Những phần sử dụng tài liệu tham khảo trong bài tập lớn này đã được nêu rõ trong phân tài liệu tham khảo. Các kết quá trình bày trong bài tập lớn và chương trình xây dựng được hoàn toàn là kết quả do chúng em thực hiện.

Nếu vi phạm lời cam đoan này, chúng em xin chịu hoàn toàn trách nhiệm trước Khoa và nhà trường. Hưng Yên, ngày 17 tháng 0Ì năm 2024 Thay mặt nhóm sinh viên Nguyễn Trường Phúc Học máy cơ bản — Xây dựng mô hình phân loại tin nhắn rác LỜI CÁM ƠN Lời đầu tiên cho em xin được gửi lời cảm ơn đến bộ môn Khoa học Máy tính thuộc khoa Công nghệ Thông tim, trường Đại học Sư phạm Kỹ thuật Hưng Yên đã tạo mọi điều kiện tốt nhất cho chúng em và các sinh viên được thoải mái học tập, tu dưỡng và phát triên. Đặc biệt, em muốn gửi lời cảm ơn chân thành và sâu sắc nhất đến thầy TS. Nguyễn Văn Hậu, giảng viên trực tiếp giảng dạy và hướng dẫn chúng em trong học phần này vì những bài giảng hay, bồ ích, kiến thức cơ sở vô cùng quan trọng và quy báu của thầy trong suốt học phần vừa qua.

Một lần nữa cho phép em được xin được cảm ơn thầy lần nữa. Chúng em cũng mong muốn gửi lời cảm ơn tới tất cả các thầy, cô, giảng viên đã giảng dạy, cung cấp nhiều kiến thức quan trọng, bồ ích, vô vàn kinh nghiệm quý báu để nhóm em có thể hoàn thành đề tài này tốt nhất có thé. Mặc dù đã cô gắng hết sức, song vẫn còn nhiều hạn chế và thiếu sót nên trong quá trình thực hiện bài tập lớn này không tránh khỏi những lỗi, sai sót. Chúng em hy vọng sẽ nhận được nhiều những ý kiến, góp ý, đánh giá quý báu từ các thây, các cô về kết quả của đề tài đê em cải thiện, khắc phục những hạn chế, yếu điểm đó trong những đề tài sắp tới.

Nhóm em xin chan thành cảm ơn! Học máy cơ bản — Xây dựng mô hình phân loại tin nhắn rác MỤC LỤC P000. LỜI CAM ĐOAN. TH HH HH TH TH HT ng 3 LỜI CẢM ƠN. tt HH1 HT HH HT HH TH T1 HH nh ràg DANH MỤC CÁC THUẬT NGỮ.

5 + THTHHHH HH H1 HH TH Hà 1à Hàng 7 DANH MỤC CÁC BẢNG.- c1 1H HT HH gà rà. 10 DANH MỤC CÁC HÌNH VẼ, DO THI vo. Lý do lựa chọn TP ceceececcescecseceecsceescaceeecevsssaevaccevsuvessacaesavseservaneeesaseesauvarsavsaseevneersanereeneas 14 1. Mục tiêu của để tải.

Giới hạn và phạm vi của để tài. -- St St ST HH H1 H11 TH TH HH. Giới hạn nghiên cứu của đỀ lỒÏ. ST Tt TH HH HH TH HH TH HH HH 14 1.

15 Tố ao na. 15 CHUONG 2: CO SG LY THUYET. Khải niệm học máy. ch ng TK ĐK 17 2.

Các kỹ thuật khai tiền xử lý dữ liệu.-- SG 2 St 3E 3E SE TH HH HH T1 TH 17 DDD Nie Wp dit Tổ. Xue ly 0 6a cố n. Loại bỏ nhiỄM. té tỲ TH HT KH 1T 1 HH 11H11 He.

19 bốc cố iổ. Chuẩn hoá CHuỖI .sccct>ETthkHTHTHHHTHHHHHHHHH HH1H111n1 rn 23 Pu. 24 P0 Nên ga cố ố. Các thuật toán học THáy.

cà HH TT TH HT KT BE kg 25 2. Logistic REQVESSION nố ố ốe. SHDDOFI VeCIOT ÀÁCHỈH. SH Họ Họ ĐH Đy 27 Pa nh e.

Cải thiện hiệu suất mô hình. Tinh chinh siéu tham s6 (hyperparameters ÍHHÍHB).QQ TH Tnhh 36 2. Kiém dinh chéo (cross validation) .ccccscscscssssssssvsvsvssssssssssssvsvevescassesssavsssvesacsesesevanaenseseaessesnenenseas 41 Học máy cơ bản — Xây dựng mô hình phân loại tin nhắn rác 2. Tĩnh chỉnh ngưỡng quyết định (Threshold HHHÍHg).

con TT TH TT TH HH TH HH re, 42 P9 (co on 6. 43 CHƯƠNG 3: XÂY DỰNG MÔ HÌNH HỌC MÁY. Thu thap dit H6U ng <<. 44 EVAYy ii v00) (00 000ì:)jEađdđdađdidiiii.

50 EU S6 TT: nh hST. Xe by div |Ì:|Ằ.c(aac ddđdđiddda. LG SACH iP TIGU cece ccc cece cece ccccccccecccceecuecececcueuceceuucecseceeucceeeeeuceeeeeeueeceueeeuaeeueeeeaseeeeesgueeenseaaass 52 3. eature PXIYACHOH, Ứ€CÍOFIZGfÍOHH.

cuc HT KH TK TK TK KT TT kg ti kg kg 54 3. Xay dung m6 hinh hoc may .-- - -- Ăn TT TH HH HH TH tr 55 3. Xdy dung m6 hinh Logistic Regression .occeccccccccscccecceceeeeeeeneee ce eeecae asst eee aaee eee eaeeeaeeeenaaaeeens 56 3. Xây đựng mô hình ŠÏÍMÍ.

ST HT TH HH HH HH 69 KG 2 0 con ố. Kiến thức đạt đượcC. -c- c xnxx TS HT HT TT TH KH TT TH TT HT Tà Hà TT TH Hà Tre 76 2. Mặt hạn CHẾ.

-Ă- Ă C1 31T 1 ST HT TH TT TT TH HT TT Tà HT TT TH TH KH Tà Tư cà rà 76 3. Huong phat tridm Cita dé tai eee. 76 TÀI LIỆU THAM KHẢO. H1 g1 HH HH TH ke 78 Học máy cơ bản — Xây dựng mô hình phân loại tin nhắn rác DANH MỤC CÁC THUẬT NGỮ STT | Từ viết tắt Cụm từ tiếng anh Diễn giải 1 HPs Hyperparameters Các siêu tham số 2 CV Cross Validation Kiém dinh chéo 3 Model Mô hình 4 Tram Tập dữ liệu huấn luyện 5 Val Validation Tập dữ liệu kiêm định 6 Test Tập dữ liệu kiêm tra 7 df Dataframe Khung dữ liệu 8 Dataset Tập dữ liệu 9 EDA Explore Data Analysis | Kham pha phân tích dữ liệu 10 Missing value Dữ liệu khuyết thiểu II Duplicated data Dữ liệu trùng lặp 12 Feature Dac trung 13 Label Nhãn, lớp của dữ liệu 14 Sample Mẫu dữ liệu 15 Overfitting Học quá mức 16 RE Regular Expression Biểu thức chính quy 17 Majority class Lớp đa số 18 Minority class Lớp thiêu số 19 Random Undersampling | Giảm mẫu ngẫu nhiên từ lớp đa số Học máy cơ bản — Xây dựng mô hình phân loại tin nhắn rác 20 NLP Natural Language | Xử lý ngôn ngữ tự nhiên Preprocessing 21 Tokenization Tach nho hoa van ban 22 Stopwords Các từ dừng 23 Lemmatization Ngữ pháp hoá 24 Feature extraction Trích xuất đặc trưng 25 Vectorization Véc to hoa 26 TF-IDF Term Frequency-Inverse Tan số ky han-Tan suat tai liéu Document Frequency nghich dao 27 Logistic Regression M6 hinh héi quy Logistic 28 Gradient Descent Giảm độ dốc 29 TP True Positive Dự đoán dương đúng 30 TP False Positive Dy doan duong sai 31 FN False Negative Dự đoán âm sai 32 TN True Negative Dự đoán âm đúng 33 Acc Accuracy D6 chinh xac 34 Precision Chinh xac 35 Recall Độ nhạy 36 Fl-score Điểm FI 36 CM Confusion Matrix Ma tran nhằm lẫn 37 Fold Tập dữ liệu con không giao nhau 38 Transform Biến đổi 39 Context understanding | Hiểu ngữ cảnh Học máy cơ bản — Xây dựng mô hình phân loại tin nhắn rác 40 Word embedding Nhung ttr 4] License Giấy phép 42 LSTM Long Short Term | M6 hinh tri nhớ ngan dai han Memory Học máy cơ bản — Xây dựng mô hình phân loại tin nhắn rác DANH MỤC CÁC BẢNG Bang 1.1: Các phương pháp tIẾP CẬN.

ST St ST HH TH HH HH ho 16 Hinh 2.1: Hinh anh mau cia Confusion Matrix cho bài toán phân loại nhị phân .2: Biểu đồ trực quan hoá mẫu thang độ đo đánh giá AUC-ROC.3: Mô phỏng quá trình tìm ra bộ siêu tham số bằng Grid Search.4: Mô phỏng quá trình tìm kiếm bộ siêu tham số bằng Random Search. 5: Mô phỏng tìm kiếm bộ siêu tham số bằng Bayesian Qptimizdtion.6: Minh hoạ phương pháp kiểm định CHÉO. Tnhh trinh ru 4I Hình 2.7: Minh hoạ phương pháp tinh chỉnh ngưỡng quVết định. co cccseteeererrrea 42 Hình 2.8: Biểu đồ pairplot cho phân phối của cặp 3 đặc trưng với nhaM .1: So sánh hiệu suất phân lớp cua Logistic Regression với siêu tham số mặc định ¬ an 56 Bảng 3.

2: So sánh hiệu suất phân lớp của Logistic Regression với siêu tham số tốt nhất ¬ an 59 Bang 3.3: So sánh hiệu suất phân lóp của Logistic Regression sau Cross-validation.4: Hiệu suất phan lop cia Logistic Regression véi CV, best hyperparams trén 4271/8121".5: Hiệu suất của LR với siêu tham số mặc định và tỉnh chỉnh ngưỡng .6: Hiệu suất của LR với siêu tham số tốt nhất và tỉnh chỉnh ngưỠng.7: Hiệu suất của LR với siêu tham số tốt nhất và tỉnh chỉnh ngưỠng.8: Biểu đồ trực quan hoá threshold tốt nhất cho trường hợp (****).9: Bảng tóm tắt hiệu suất của mô hình LR dưới 8 trường hợp huấn luyện .10: Hiệu suất phân lớp của SVM trén tap train và test với siêu tham số mặc định ¬ an 69 Bảng 3.11 Hiệu suất mô hình SVM với siêu tham số tốt nhất trên tập traìn, test.12: Hiệu suất phân lớp của SVM trén tap train và test voi cross validation .13: Hiệu suất phân lớp của SVM voi CV, best hyperparams trén train vd test.14: Bang tom tat hiéu suất của mô hình SVM dưới 4 trường hợp huấn luyện. 72 10 Học máy cơ bản — Xây dựng mô hình phân loại tin nhắn rác Bảng 3.15: Tổng hợp kết quả huấn luyện mô hình theo các trường hợp II Học máy cơ bản — Xây dựng mô hình phân loại tin nhắn rác DANH MỤC CÁC HÌNH VẼ, ĐỎ THỊ Hình 2.1: Hình ảnh mẫu của Confusion Matrix cho bài toán phân loại nhị phân .2: Biểu đồ trực quan hoá mẫu thang độ đo đánh giá AUC-ROC.3: Mô phỏng quá trình tìm ra bộ siêu tham số bằng Grid Search.4: Mô phỏng quá trình tìm kiếm bộ siêu tham số bằng Random Search. 5: Mô phỏng tìm kiếm bộ siêu tham số bằng Bayesian Optimization.6: Minh hoạ phương pháp kiểm định CHÉO. Tnhh trinh ru 4I Hình 2.7: Minh hoạ phương pháp tinh chỉnh ngưỡng quVết định.

co cccseteeererrrea 42 Hình 2.8: Biểu đồ pairplot cho phân phối của cặp 3 đặc trưng với nhaM .1: Dũ liệu CÓ fFOHB (ÍGÍQSGÍ. SH KT TK KHE Kkkk 45 Hình 3.2: Quan sát tông quan về dữ liệu trên tập dữ LiỆM. 3 Số lượng bản ghi theo nhãn trong training SCt ceccccccccscscsvscsscesscscscsesssevscsssesssesees 46 Hình 3.4: Wordcloud va barplot trực quan các từ phố biến trong các tin spa.5: Wordcloud va barplot trực quan các từ phô biến trong các tỉ" non-spa1n.6: Chọn lọc đặc trưng, đổi tên đặc trưng, chuyển nhãn sang dạng giá trị số .