Luận văn: Lọc tin nhắn rác, quảng cáo trên di động - Nguyễn Minh Đức

Luận văn nghiên cứu và xây dựng hệ thống lọc thông minh tin nhắn rác, quảng cáo trên di động, áp dụng các thuật toán học máy như SVM, Naive Bayes.

Người đăng

Ẩn danh

Thể loại

Luận Văn Tốt Nghiệp

2016

75
0
0

Phí lưu trữ

30 Point

Tóm tắt

I. Giới thiệu về lọc tin nhắn rác trên thiết bị di động

Trong thời đại công nghệ số, lọc tin nhắn rác đã trở thành nhu cầu cấp thiết đối với người dùng di động. Hàng ngày, người dùng nhận được hàng trăm tin nhắn quảng cáo không mong muốn, ảnh hưởng đến trải nghiệm sử dụng và an toàn thông tin. Tin nhắn rác và quảng cáo không chỉ làm phiền người dùng mà còn tiêu tốn dung lượng mạng, pin điện thoại. Các ứng dụng lọc tin nhắn thông minh sử dụng công nghệ học máy (Machine Learning) để tự động nhận diện và chặn những tin nhắn không mong muốn. Hệ thống này hoạt động dựa trên việc phân tích nội dung, nguồn gốc và mẫu tin nhắn để xác định tính chất spam. Giải pháp này không chỉ bảo vệ người dùng khỏi các tin nhắn quảng cáo mà còn tăng cường bảo mật dữ liệu cá nhân trên các thiết bị di động.

1.1. Định nghĩa tin nhắn rác và quảng cáo

Tin nhắn rác là những tin nhắn SMS không được người dùng đăng ký hoặc không mong muốn nhận. Chúng bao gồm quảng cáo sản phẩm, dịch vụ, hoặc các tin nhắn lừa đảo (phishing). Quảng cáo trên di động thường đến từ các tổ chức, công ty muốn quảng bá sản phẩm mà không xin phép từ người nhận. Những tin nhắn này gây phiền toái, chiếm dung lượng bộ nhớ và có thể chứa các đường link độc hại.

1.2. Tác động của tin nhắn rác đến người dùng

Tin nhắn spam ảnh hưởng tiêu cực đến trải nghiệm người dùng và bảo mật thông tin. Chúng gây phiền hà, làm giảm hiệu suất thiết bị, tiêu tốn dung lượng mạng 3G/4G. Các tin nhắn lừa đảo có thể dẫn đến mất mát tài chính hoặc bị đánh cắp thông tin cá nhân, số tài khoản ngân hàng.

II. Công nghệ học máy trong lọc tin nhắn thông minh

Lọc tin nhắn thông minh sử dụng các thuật toán học máy tiên tiến để phân loại tin nhắn tự động. Công nghệ này bao gồm các phương pháp tiền xử lý dữ liệu, trích xuất đặc trưng và áp dụng các mô hình phân lớp. Các thuật toán phổ biến bao gồm Naive Bayes, K-Nearest Neighbor (K-NN)Support Vector Machine (SVM). Mỗi phương pháp có ưu điểm riêng về độ chính xác và tốc độ xử lý. Hệ thống lọc học máy hoạt động bằng cách huấn luyện trên tập dữ liệu lớn, chứa các tin nhắn thường và spam, từ đó xây dựng mô hình nhận diện. Khi nhận tin nhắn mới, hệ thống so sánh với mô hình đã học để quyết định tin nhắn có phải spam hay không. Độ chính xác của hệ thống phụ thuộc vào chất lượng dữ liệu huấn luyện và lựa chọn thuật toán phù hợp.

2.1. Thuật toán Naive Bayes

Naive Bayes là thuật toán xác suất dựa trên định lý Bayes, phù hợp cho bài toán phân lớp tin nhắn. Nó tính toán xác suất tin nhắn thuộc lớp spam hoặc thường dựa trên các từ khóa có mặt. Ưu điểm là tốc độ nhanh, hiệu quả với dữ liệu lớn, và dễ cài đặt. Nhược điểm là giả định sự độc lập giữa các đặc trưng, không phù hợp khi từ có tương quan.

2.2. Thuật toán Support Vector Machine SVM

SVM là thuật toán phân lớp mạnh mẽ, tìm kiếm ranh giới quyết định tối ưu để tách spam và tin thường. Nó sử dụng các hàm kernel (tuyến tính, đa thức, RBF) để xử lý dữ liệu phức tạp. SVM cung cấp độ chính xác cao nhưng thời gian huấn luyện lâu hơn so với Naive Bayes.

III. Quy trình tiền xử lý dữ liệu tin nhắn

Tiền xử lý dữ liệu là bước quan trọng đầu tiên trong xây dựng hệ thống lọc tin nhắn thông minh. Quá trình này bao gồm việc làm sạch dữ liệu, loại bỏ ký tự đặc biệt, chuyển đổi chữ hoa thành chữ thường, và tách từ (tokenization). Sau đó, hệ thống xây dựng bộ từ điển chứa các từ và trọng số tương ứng để biểu diễn tin nhắn trong không gian vector. Phương pháp tách từ có thể dựa trên khoảng trắng hoặc n-gram. Bước tiền xử lý này giúp loại bỏ nhiễu, chuẩn hóa dữ liệu, và cải thiện độ chính xác của mô hình phân lớp tin nhắn. Một tin nhắn sau khi xử lý được biến thành vector số học để thuật toán có thể xử lý và đưa ra quyết định.

3.1. Phương pháp tách từ Tokenization

Tách từ là quá trình chia tin nhắn thành các từ hoặc đơn vị nhỏ. Phương pháp tách từ dựa trên khoảng trắng là đơn giản nhất, phù hợp cho tiếng Việt. Phương pháp n-gram tách tin nhắn thành các chuỗi n ký tự liên tiếp, giúp bắt được mẫu ký tự đặc trưng của spam. Lựa chọn phương pháp phụ thuộc vào ngôn ngữ và yêu cầu ứng dụng.

3.2. Xây dựng không gian vector

Sau khi tách từ, hệ thống xây dựng bộ từ điển gồm tất cả các từ duy nhất có mặt trong tập dữ liệu huấn luyện. Mỗi từ được gán một chỉ số và trọng số (tần số hoặc TF-IDF). Tin nhắn được biểu diễn dưới dạng vector có chiều bằng kích thước bộ từ điển, giúp thuật toán học máy xử lý.

IV. Ứng dụng thực tế lọc tin nhắn trên Android

Nhiều ứng dụng lọc tin nhắn thông minh trên nền tảng Android đã được phát triển và cải thiện liên tục. Các ứng dụng như BK SMS Pro, Go SMS Pro, và Bkav Mobile Security cung cấp các tính năng lọc tin nhắn rác, quản lý contact, trả lời nhanh. Giao diện thân thiện cho phép người dùng dễ dàng cài đặt, quản lý danh sách chặn và xem thống kê tin nhắn spam. Hệ thống lọc tin nhắn di động được tích hợp trực tiếp vào ứng dụng SMS, hoạt động ở chế độ nền mà không ảnh hưởng đến hiệu suất thiết bị. Các ứng dụng này liên tục cập nhật cơ sở dữ liệu spam để nhận diện những tin nhắn mới và phương pháp lừa đảo mới nhất, bảo vệ người dùng một cách hiệu quả.

4.1. Tính năng chính của ứng dụng lọc

Lọc tin nhắn tự động là tính năng cốt lõi, chặn spam ngay khi nhận. Quản lý danh sách chặn cho phép người dùng thêm số điện thoại hoặc từ khóa cần chặn. Thống kê tin nhắn hiển thị số lượng spam bị chặn. Trả lời nhanh giúp gửi tin nhắn ngắn mà không mở ứng dụng. Sao lưu dữ liệu bảo vệ tin nhắn quan trọng.

4.2. So sánh hiệu suất giữa các phương pháp

Thực nghiệm cho thấy SVM đạt độ chính xác cao nhất (trên 95%), Naive Bayes nhanh nhất nhưng độ chính xác thấp hơn (khoảng 85%). K-NN có độ chính xác tốt nhưng tốc độ xử lý chậm hơn. Lựa chọn thuật toán phụ thuộc vào cân bằng giữa độ chính xác và tốc độ xử lý trên thiết bị di động.

28/12/2025

Trích đoạn nội dung tài liệu

Chương 1: Đặt vẫn để Nội dung chỉnh là phân tích yéu cau bải toán tìm hướng giải quyết Chương2: Nền tảng android và cơ chế gửi nhận tin nhắn SMS Trinh bảy về kiến trúc của nên tảng android, cơ chế gửi nhận tin nhắn SMS vả xử lý như thể nào. Chương3: Các bước tiền xử lý văn bản Chương nảy sẽ trình bảy cách tiền xử lý văn bản lam đầu vào cho việc huấn luyện cũng như phân lớp. —— ——————————————————————____ — — —— —— Học viên thực hiện: Nguyễn Minh Đức - CAC16010 Khóa CLC2016. Trang 7 Chương4: Các thuật toản và cài đặt trên thiết bị android.

Trinh bảy vẻ nội dung các thuật toán và triển khai các thuật toản trên thiết bị di động Chương5: Kết quả đạt được Các kết quả thử nghiệm và đánh giá đỏ chính xác của các thuật toán đã triển khai Học viên thực hiện: Nguyễn Minh Đức - CAC16010 Khóa CLC2016. Trang 8 Processing SMS content and preparing input data for machine leaning. Chapter4: The algorithms and setup on Android devices. Introduce about Machine Learning and how to setup on Android.

Chapters: Results Test results and assess the accuracy of the algorithm implemented. Học viên thực hiện: Nguyễn Minh Đức - CAC16010 Khóa CLC2016. Trang 10 Processing SMS content and preparing input data for machine leaning. Chapter4: The algorithms and setup on Android devices.

Introduce about Machine Learning and how to setup on Android. Chapters: Results Test results and assess the accuracy of the algorithm implemented. Học viên thực hiện: Nguyễn Minh Đức - CAC16010 Khóa CLC2016. Trang 10 CAC THUAT NGU VIET TAT Chữ viết tắt Chữ viết đầy đây đủ NB Naive Bayes KNN K Nearest Neighbour SVM ‘Support Vector Machine SMS Short Message Service BMS BK Mobile Security == Hoc viên thực hiện: Nguyễn Minh Đức - CAC16010 Khóa CILC2016.

‘Trang 4 TOM TAT NOI DUNG LUAN VAN TOT NGHIEP Hiện nay, các thiết bị hỗ trợ cá nhân nói chung vả điện thoại di động nói riêng đang ngày càng trở lên phỏ biển. Với xu thể của xã hội ngảy càng tiên bộ thì những, thiết bị thông minh trở nên thông dụng hơn, đặc biệt lả các thiết bị di động sử dụng hệ điều hành Android với tính mở cao va đơn giản trong sử dụng dang lam mua lam gió trên thị trường di động. Dịch vu tin nhắn là một trong dich vu rat co ban của người dùng sử dụng điện thoại. Tuy nhiên ngoài sự tiên lợi trong trao đổi thông tin, dịch vụ tin nhắn con mang lai cho người dùng những phiên toái, điển hình ở đây chính là người dùng phải nhận những tin nhắn mả họ không mong muốn hay cỏn gọi lả tin nhắn rác với nội dung chảo mời giới thiệu sản phẩm dịch vụ Nhận thây tính cần thiết đem lại tiện ích cho người sử dụng, đề tài “Lọc thông mình tin nhắn rác, tin nhắn quảng cáo trên thiết bị di động” cỏ nhiệm vụ nghiên cứu vả triển khai phương an loc tin nhin rac dựa trên những thuật toán phân lớp văn ban đã được nghiên cửu từ trước vả cụ thể hóa thảnh một ứng dụng trên các điện thoại di động sử dụng hệ điều hành Android Bỏ cục luận văn tốt nghiệp gồm 5 chương : Chương 1: Đặt vẫn để Nội dung chỉnh là phân tích yéu cau bải toán tìm hướng giải quyết Chương2: Nền tảng android và cơ chế gửi nhận tin nhắn SMS Trinh bảy về kiến trúc của nên tảng android, cơ chế gửi nhận tin nhắn SMS vả xử lý như thể nào.

Chương3: Các bước tiền xử lý văn bản Chương nảy sẽ trình bảy cách tiền xử lý văn bản lam đầu vào cho việc huấn luyện cũng như phân lớp. —— ——————————————————————____ — — —— —— Học viên thực hiện: Nguyễn Minh Đức - CAC16010 Khóa CLC2016. Trang 7 CAC THUAT NGU VIET TAT Chữ viết tắt Chữ viết đầy đây đủ NB Naive Bayes KNN K Nearest Neighbour SVM ‘Support Vector Machine SMS Short Message Service BMS BK Mobile Security == Hoc viên thực hiện: Nguyễn Minh Đức - CAC16010 Khóa CILC2016. ‘Trang 4 ABSTRACT OF THESIS Today,Smart Phone is more and more popular.The trend of increasingly progressive society, these smart devices become more common.

Especially, mobile devices using the Android operating system is storming on the market. Short Messaging Services (SMS) is one of basis services on mobile phone. Besides the convenience of communication, SMS is bringing nuisance that users unwanted. In this case the user is getting the message that they don’t want to get, it was called spam message with promotional content of products and services introduced Recognizing the necessity and utility provides for users.

I decided to choose the topic "Intelligent filtering spam messages, advertising messages on mobile devices" for my thesis. It will responsible for researching and implementing spam filtering options based on text classification algorithms have been studied before and concretized into an application on the mobile phone using the operating system Android. Thesis presented consists of 5 chapters: Chapter 1: Introduction Content is analysis require of thesis Chapter2: Android Platform and Sent Receiver SMS Introduce about android platform, send and receiver SMS method. How to catch SMS and classify? Chapter3: The text pre-processing ————— Học viên thực hiện: Nguyễn Minh Đức - CAC16010 Khóa CLC2016.

Trang 9 ABSTRACT OF THESIS Today,Smart Phone is more and more popular.The trend of increasingly progressive society, these smart devices become more common. Especially, mobile devices using the Android operating system is storming on the market. Short Messaging Services (SMS) is one of basis services on mobile phone. Besides the convenience of communication, SMS is bringing nuisance that users unwanted.

In this case the user is getting the message that they don’t want to get, it was called spam message with promotional content of products and services introduced Recognizing the necessity and utility provides for users. I decided to choose the topic "Intelligent filtering spam messages, advertising messages on mobile devices" for my thesis. It will responsible for researching and implementing spam filtering options based on text classification algorithms have been studied before and concretized into an application on the mobile phone using the operating system Android. Thesis presented consists of 5 chapters: Chapter 1: Introduction Content is analysis require of thesis Chapter2: Android Platform and Sent Receiver SMS Introduce about android platform, send and receiver SMS method.

How to catch SMS and classify? Chapter3: The text pre-processing ————— Học viên thực hiện: Nguyễn Minh Đức - CAC16010 Khóa CLC2016. Trang 9 ABSTRACT OF THESIS Today,Smart Phone is more and more popular.The trend of increasingly progressive society, these smart devices become more common. Especially, mobile devices using the Android operating system is storming on the market. Short Messaging Services (SMS) is one of basis services on mobile phone.

Besides the convenience of communication, SMS is bringing nuisance that users unwanted. In this case the user is getting the message that they don’t want to get, it was called spam message with promotional content of products and services introduced Recognizing the necessity and utility provides for users. I decided to choose the topic "Intelligent filtering spam messages, advertising messages on mobile devices" for my thesis. It will responsible for researching and implementing spam filtering options based on text classification algorithms have been studied before and concretized into an application on the mobile phone using the operating system Android.

Thesis presented consists of 5 chapters: Chapter 1: Introduction Content is analysis require of thesis Chapter2: Android Platform and Sent Receiver SMS Introduce about android platform, send and receiver SMS method. How to catch SMS and classify? Chapter3: The text pre-processing ————— Học viên thực hiện: Nguyễn Minh Đức - CAC16010 Khóa CLC2016. Trang 9 CAC THUAT NGU VIET TAT Chữ viết tắt Chữ viết đầy đây đủ NB Naive Bayes KNN K Nearest Neighbour SVM ‘Support Vector Machine SMS Short Message Service BMS BK Mobile Security == Hoc viên thực hiện: Nguyễn Minh Đức - CAC16010 Khóa CILC2016. ‘Trang 4 ABSTRACT OF THESIS Today,Smart Phone is more and more popular.The trend of increasingly progressive society, these smart devices become more common.

Especially, mobile devices using the Android operating system is storming on the market. Short Messaging Services (SMS) is one of basis services on mobile phone. Besides the convenience of communication, SMS is bringing nuisance that users unwanted. In this case the user is getting the message that they don’t want to get, it was called spam message with promotional content of products and services introduced Recognizing the necessity and utility provides for users.

I decided to choose the topic "Intelligent filtering spam messages, advertising messages on mobile devices" for my thesis. It will responsible for researching and implementing spam filtering options based on text classification algorithms have been studied before and concretized into an application on the mobile phone using the operating system Android. Thesis presented consists of 5 chapters: Chapter 1: Introduction Content is analysis require of thesis Chapter2: Android Platform and Sent Receiver SMS Introduce about android platform, send and receiver SMS method. How to catch SMS and classify? Chapter3: The text pre-processing ————— Học viên thực hiện: Nguyễn Minh Đức - CAC16010 Khóa CLC2016.

Trang 9 Chương4: Các thuật toản và cài đặt trên thiết bị android. Trinh bảy vẻ nội dung các thuật toán và triển khai các thuật toản trên thiết bị di động Chương5: Kết quả đạt được Các kết quả thử nghiệm và đánh giá đỏ chính xác của các thuật toán đã triển khai Học viên thực hiện: Nguyễn Minh Đức - CAC16010 Khóa CLC2016. Trang 8 TOM TAT NOI DUNG LUAN VAN TOT NGHIEP Hiện nay, các thiết bị hỗ trợ cá nhân nói chung vả điện thoại di động nói riêng đang ngày càng trở lên phỏ biển. Với xu thể của xã hội ngảy càng tiên bộ thì những, thiết bị thông minh trở nên thông dụng hơn, đặc biệt lả các thiết bị di động sử dụng hệ điều hành Android với tính mở cao va đơn giản trong sử dụng dang lam mua lam gió trên thị trường di động.

Dịch vu tin nhắn là một trong dich vu rat co ban của người dùng sử dụng điện thoại. Tuy nhiên ngoài sự tiên lợi trong trao đổi thông tin, dịch vụ tin nhắn con mang lai cho người dùng những phiên toái, điển hình ở đây chính là người dùng phải nhận những tin nhắn mả họ không mong muốn hay cỏn gọi lả tin nhắn rác với nội dung chảo mời giới thiệu sản phẩm dịch vụ Nhận thây tính cần thiết đem lại tiện ích cho người sử dụng, đề tài “Lọc thông mình tin nhắn rác, tin nhắn quảng cáo trên thiết bị di động” cỏ nhiệm vụ nghiên cứu vả triển khai phương an loc tin nhin rac dựa trên những thuật toán phân lớp văn ban đã được nghiên cửu từ trước vả cụ thể hóa thảnh một ứng dụng trên các điện thoại di động sử dụng hệ điều hành Android Bỏ cục luận văn tốt nghiệp gồm 5 chương : Chương 1: Đặt vẫn để Nội dung chỉnh là phân tích yéu cau bải toán tìm hướng giải quyết Chương2: Nền tảng android và cơ chế gửi nhận tin nhắn SMS Trinh bảy về kiến trúc của nên tảng android, cơ chế gửi nhận tin nhắn SMS vả xử lý như thể nào. Chương3: Các bước tiền xử lý văn bản Chương nảy sẽ trình bảy cách tiền xử lý văn bản lam đầu vào cho việc huấn luyện cũng như phân lớp. —— ——————————————————————____ — — —— —— Học viên thực hiện: Nguyễn Minh Đức - CAC16010 Khóa CLC2016.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ