Luận văn thạc sĩ về thuật toán lọc thư rác và ứng dụng trong email nội bộ

Luận văn thạc sĩ toán học phân tích hay nghiên cứu một số thuật toán lọc thư rác và ứng dụng trong lọc email nội bộ, đánh giá thực trạng, chỉ ra hạn chế, đề xuất giải pháp khả thi

• Tác giả: Khamchan Phomthavong
• Người hướng dẫn: Ts. Nguyễn Hải Minh
• Trường học: Trường Đại học Công nghệ Thông tin & Truyền thông - Đại học Thái Nguyên
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nghiên cứu một số thuật toán lọc thư rác và ứng dụng trong lọc email nội bộ
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2019
• Địa điểm: Thái Nguyên

Mục lục chi tiết

• LỜI CẢM ƠN
• DANH MỤC HÌNH ẢNH
• DANH MỤC BẢNG
• MỞ ĐẦU
• 0.1. THƯ RÁC VÀ CÁC PHƯƠNG PHÁP LỌC THƯ RÁC
• 0.1.1. Một số khái niệm cơ bản
• 0.1.1.1. Định nghĩa thư rác
• 0.1.1.2. Phân loại thư rác
• 0.1.2. Các phương pháp lọc thư rác
• 0.1.2.1. Lọc thư rác thông qua việc đưa ra luật lệ nhằm hạn chế, ngăn chặn việc gửi thư rác
• 0.1.2.2. Lọc thư rác dựa trên địa chỉ IP
• 0.1.2.3. Lọc dựa trên chuỗi hỏi/ đáp
• 0.1.2.4. Phương pháp lọc dựa trên mạng xã hội
• 0.1.2.5. Phương pháp lọc nội dung
• 1. CHƯƠNG 1: THƯ RÁC VÀ CÁC PHƯƠNG PHÁP LỌC THƯ RÁC
• 1.1. Một số khái niệm cơ bản
• 1.1.1. Định nghĩa thư rác
• 1.1.2. Phân loại thư rác
• 1.2. Các phương pháp lọc thư rác
• 1.2.1. Lọc thư rác thông qua việc đưa ra luật lệ nhằm hạn chế, ngăn chặn việc gửi thư rác
• 1.2.2. Lọc thư rác dựa trên địa chỉ IP
• 1.2.3. Lọc dựa trên chuỗi hỏi/ đáp
• 1.2.4. Phương pháp lọc dựa trên mạng xã hội
• 1.2.5. Phương pháp lọc nội dung
• 2. CHƯƠNG 2: TỔNG QUAN CÁC THUẬT TOÁN NSA, PSA, PNSA TRONG LỌC THƯ RÁC
• 2.1. Cơ sở lý thuyết về hệ miễn dịch nhân tạo
• 2.1.1. Khái niệm về hệ miễn dịch nhân tạo
• 2.1.2. Phạm vi ứng dụng của hệ miễn dịch nhân tạo
• 2.1.3. Cấu trúc cơ bản của hệ miễn dịch nhân tạo
• 2.2. Cơ sở lý thuyết về thuật toán chọn lọc tiêu cực (Negative Selection Algorithms - NSA)
• 2.3. Cơ sở lý thuyết về thuật toán chọn lọc tích cực (Positive Selection Algorithms – PSA)
• 2.4. Cơ sở lý thuyết thuật toán cải tiến chọn lọc thư rác (Positive and Negative Selection Algorithms – PNSA)
• 2.5. Một số định nghĩa
• 2.6. Thuật toán sinh tập bộ dò r-chunk
• 2.7. Thuật toán sinh tập bộ dò dạng r – contiguous
• 2.8. Các nghiên cứu gần đây
• 3. CHƯƠNG 3: CÀI ĐẶT CÁC THUẬT TOÁN
• 3.1. Tổng quan ứng dụng CNTT tại Bộ Tổng tham mưu Lào
• 3.2. Mô hình tổng quát cung cấp dịch vụ email nội bộ của đơn vị
• 3.3. Mô hình thực tế ứng dụng lọc email Spam tại hệ thống email nội bộ của bộ Tổng tham mưu Lào
• 3.4. Ứng dụng hệ miễn dịch nhân tạo trong lọc thư rác
• 3.4.1. Phát biểu bài toán
• 3.4.2. Cơ sở dữ liệu TREC'07
• 3.4.3. Phương pháp
• 3.4.4. Phân tích thuật toán
• 3.4.5. So sánh với các thuật toán trên WEKA
• 3.4.6. Phát biểu bài toán. Cơ sở dữ liệu SpamBase
• 3.4.7. Phần mềm WEKA
• 3.4.8. Thiết kế phần mềm
• 3.4.9. Phân tích thuật toán kết hợp chọn lọc tích cực và chọn lọc tiêu cực PNSA
• 3.4.10. Giao diện chương trình và kết quả
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về nghiên cứu thuật toán lọc thư rác trong email nội bộ

Nghiên cứu về thuật toán lọc thư rác là một lĩnh vực quan trọng trong công nghệ thông tin. Thư rác không chỉ gây phiền toái cho người dùng mà còn ảnh hưởng đến hiệu suất của hệ thống email. Việc áp dụng các thuật toán lọc thư rác giúp bảo vệ người dùng khỏi những nội dung không mong muốn và tăng cường bảo mật email.

1.1. Định nghĩa và phân loại thư rác

Thư rác được định nghĩa là những bức thư điện tử không mong muốn, thường được gửi hàng loạt. Phân loại thư rác có thể dựa trên nội dung, mục đích gửi, hoặc phương thức phát tán.

1.2. Tầm quan trọng của việc lọc thư rác

Việc lọc thư rác không chỉ giúp giảm thiểu phiền toái cho người dùng mà còn bảo vệ hệ thống khỏi các mối đe dọa như virus và mã độc. Điều này đặc biệt quan trọng trong môi trường email nội bộ.

II. Các thách thức trong việc lọc thư rác hiệu quả

Mặc dù có nhiều phương pháp lọc thư rác, nhưng vẫn tồn tại nhiều thách thức trong việc áp dụng chúng. Các thuật toán lọc thư rác cần phải liên tục cập nhật để đối phó với các kỹ thuật gửi thư rác ngày càng tinh vi.

2.1. Sự phát triển của thư rác

Thư rác ngày càng trở nên tinh vi hơn, với nhiều hình thức và nội dung khác nhau. Điều này đặt ra thách thức lớn cho các hệ thống lọc.

2.2. Khó khăn trong việc phân loại chính xác

Việc phân loại chính xác giữa thư rác và thư hợp lệ là một thách thức lớn. Nhiều thuật toán có thể gặp khó khăn trong việc nhận diện các mẫu mới của thư rác.

III. Phương pháp lọc thư rác hiệu quả nhất hiện nay

Có nhiều phương pháp lọc thư rác được áp dụng, bao gồm lọc dựa trên nội dung, địa chỉ IP, và các thuật toán machine learning. Mỗi phương pháp có ưu và nhược điểm riêng.

3.1. Lọc nội dung thư

Phương pháp này dựa vào nội dung của thư để xác định xem nó có phải là thư rác hay không. Tuy nhiên, spammer thường thay đổi nội dung để tránh bị phát hiện.

3.2. Lọc dựa trên địa chỉ IP

Phương pháp này sử dụng danh sách đen và danh sách trắng để xác định địa chỉ IP nào được phép gửi thư. Tuy nhiên, nó có thể dẫn đến việc chặn nhầm thư hợp lệ.

3.3. Sử dụng machine learning trong lọc thư rác

Các thuật toán machine learning có thể học từ dữ liệu để cải thiện khả năng phân loại thư rác. Đây là một trong những phương pháp hứa hẹn nhất trong tương lai.

IV. Ứng dụng thực tiễn của thuật toán lọc thư rác

Nhiều tổ chức đã áp dụng các thuật toán lọc thư rác vào hệ thống email nội bộ của họ. Điều này không chỉ giúp giảm thiểu thư rác mà còn nâng cao hiệu quả làm việc.

4.1. Mô hình ứng dụng tại doanh nghiệp

Nhiều doanh nghiệp đã triển khai các hệ thống lọc thư rác để bảo vệ thông tin và tăng cường hiệu suất làm việc của nhân viên.

4.2. Kết quả nghiên cứu và thực nghiệm

Các nghiên cứu cho thấy rằng việc áp dụng thuật toán lọc thư rác có thể giảm thiểu đáng kể số lượng thư rác nhận được, từ đó cải thiện trải nghiệm người dùng.

V. Kết luận và tương lai của nghiên cứu thuật toán lọc thư rác

Nghiên cứu về thuật toán lọc thư rác vẫn đang tiếp tục phát triển. Các công nghệ mới như machine learning hứa hẹn sẽ mang lại những giải pháp hiệu quả hơn trong việc lọc thư rác.

5.1. Xu hướng phát triển trong tương lai

Các xu hướng công nghệ mới sẽ tiếp tục ảnh hưởng đến cách thức lọc thư rác, với sự gia tăng của trí tuệ nhân tạo và machine learning.

5.2. Tầm quan trọng của việc nâng cấp hệ thống

Việc nâng cấp và cải tiến các hệ thống lọc thư rác là cần thiết để đối phó với các mối đe dọa mới và bảo vệ người dùng hiệu quả hơn.

Nội dung chính

Tổng quan nghiên cứu

Thư điện tử rác (Spam) đang chiếm tỷ lệ từ 50% đến hơn 70% tổng lưu lượng thư tín toàn cầu, gây tiêu tốn hàng tỷ USD chi phí băng thông, nghẽn mạng và đe dọa trực tiếp đến an toàn dữ liệu cơ quan, doanh nghiệp. Lợi dụng tính mở của giao thức truyền thông, các đối tượng phát tán không chỉ gửi thư quảng cáo thương mại mà còn chèn mã độc, virus và thực hiện các cuộc tấn công lừa đảo tinh vi. Tại các cơ quan trọng yếu như Bộ Tổng tham mưu Lào, việc xây dựng một hệ thống phòng thủ email nội bộ vừa bảo mật vừa có hiệu năng xử lý cao là nhiệm vụ cấp thiết.

Luận văn tập trung giải quyết bài toán tối ưu hóa tốc độ và độ chính xác của bộ lọc email bằng cách nghiên cứu, cải tiến các thuật toán thuộc Hệ miễn dịch nhân tạo (Artificial Immune Systems - AIS). Mục tiêu cụ thể là thiết kế, hiện thực hóa thuật toán kết hợp chọn lọc tích cực và chọn lọc tiêu cực (PNSA) sử dụng cấu trúc bảng băm đa chiều để khắc phục hạn chế về bộ nhớ và thời gian tính toán của các giải pháp truyền thống.

Phạm vi nghiên cứu được triển khai thực nghiệm trên hệ thống mạng nội bộ của Bộ Tổng tham mưu Lào trong giai đoạn định hướng an toàn thông tin 2014-2020 và tầm nhìn 2022. Đề tài khai thác hai tập dữ liệu chuẩn quốc tế gồm TREC 2007 với 75.419 thư điện tử và SpamBase với 4.601 mẫu dữ liệu thống kê 58 thuộc tính. Kết quả cho thấy mô hình đạt độ chính xác phân loại ấn tượng lên đến 99,34%, tốc độ huấn luyện 5.000 email chỉ mất 29 giây và tỷ lệ chặn nhầm thư hợp lệ (False Positive Rate) xấp xỉ 0%, mang lại giải pháp công nghệ vượt trội cho bài toán an ninh truyền thông nội bộ.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu ứng dụng nền tảng lý thuyết Hệ miễn dịch nhân tạo (AIS) mô phỏng cơ chế phòng thủ sinh học của cơ thể sống. Hệ thống phân loại dữ liệu dựa trên sự tương tác giữa kháng thể và kháng nguyên trong không gian hình dạng (Shape-Space), với 3 khái niệm trọng tâm:

• Tập Self (S): Đại diện cho các thực thể hợp lệ cần bảo vệ, tương ứng với tập email thông thường (HAM).
• Tập Non-Self: Đại diện cho các tác nhân lạ gây hại, tương ứng với thư rác (SPAM).
• Bộ dò (Detector): Các chuỗi nhị phân đóng vai trò như kháng thể, có khả năng nhận diện và tiêu diệt các phần tử Non-Self mà không tấn công phần tử Self.

Mô hình kế thừa hai thuật toán cốt lõi: Thuật toán chọn lọc tiêu cực (Negative Selection Algorithm - NSA) do tác giả Stephanie Forrest khởi xướng nhằm loại bỏ các thụ thể nhận diện nhầm phần tử Self, và Thuật toán chọn lọc tích cực (Positive Selection Algorithm - PSA) giúp củng cố các thụ thể nhận dạng chính xác mẫu peptide ngoại lai. Luận văn đã tổng hợp và phát triển mô hình PNSA kết hợp cấu trúc bộ dò r-chunk (bộ dò đoạn liên tiếp độ dài r tại vị trí xác định) và r-contiguous (bộ dò khớp liên tiếp r bit tại vị trí bất kỳ) trong không gian Hamming đa chiều để gia tăng khả năng phát hiện mẫu spam biến thể.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp thực nghiệm kết hợp đối chuẩn thống kê trên quy mô mẫu chuẩn hóa:

• Tập dữ liệu TREC 2007: Tổng quy mô 75.419 email (gồm 50.199 spam và 25.220 ham). Tác giả tiến hành chọn mẫu ngẫu nhiên 5.000 email HAM phục vụ quá trình huấn luyện và xây dựng 9 bộ kiểm thử độc lập, mỗi bộ chứa 1.000 email với tỷ lệ pha trộn HAM/SPAM biến thiên từ 10% đến 90%.
• Tập dữ liệu SpamBase: Bao gồm 4.601 dòng dữ liệu với 58 thuộc tính đặc trưng (48 thuộc tính tần suất từ, 6 thuộc tính tần suất ký tự đặc biệt, 3 thuộc tính độ dài chuỗi in hoa và 1 thuộc tính nhãn phân lớp).

Lý do lựa chọn phương pháp phân tích bảng băm Boolean 2 chiều kích thước 2 lũy thừa r hàng và (ℓ - r + 1) cột là nhằm giải quyết triệt để bài toán bùng nổ không gian tìm kiếm. Thay vì duyệt tuần tự với độ phức tạp cao, cấu trúc bảng băm cho phép truy xuất trạng thái khớp bit với độ phức tạp O(1) và giảm tổng chi phí sinh bộ dò xuống mức (2 lũy thừa r + |S|)(ℓ - r + 1). Nghiên cứu thực hiện quy trình kiểm chứng chéo 10 phần (Tenfold cross-validation) trên nền tảng phần mềm WEKA và chương trình C# tự phát triển trong suốt chu kỳ phân tích năm 2019.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đã ghi nhận nhiều đột phá kỹ thuật về cả hiệu năng phân loại lẫn tốc độ xử lý:

• Độ chính xác vượt trội: Trên tập dữ liệu TREC 2007, thuật toán PNSA ứng dụng bộ dò r-chunk đạt tỷ lệ phát hiện (Detection Rate - DR) đạt 99,33% và độ chính xác tổng thể (Accuracy - Acc) đạt 99,34%. Kết quả này vượt trội hơn 0,52% so với mô hình miễn dịch của tác giả Terri Oda từng công bố trước đó (đạt 98,82%).
• Triệt tiêu tỷ lệ báo động giả: Tỷ lệ phân loại nhầm thư hợp lệ thành thư rác (False Positive Rate - FPR) đạt mức lý tưởng 0,00% trên phần lớn các bộ kiểm thử. Đây là chỉ số quan trọng bậc nhất đối với hệ thống thông tin quân sự và chỉ huy tác chiến.
• Tối ưu hóa thời gian tính toán: Chương trình cài đặt trên phần cứng cơ bản (CPU Intel Core i5 2.5GHz, RAM 2GB) chỉ mất trung bình 29 giây để hoàn tất huấn luyện 5.000 email và 10 giây để phân loại chính xác 1.000 email kiểm thử.
• Độ thích ứng tham số r: Khi thử nghiệm với tập tham số r dao động từ 7 đến 10 trên tập dữ liệu SpamBase, thuật toán duy trì độ hội tụ ổn định, giảm thiểu tối đa các điểm mù (lỗ hổng phân loại - holes) gây ra lỗi False Negative.

Thảo luận kết quả

Hiệu năng ấn tượng của mô hình bắt nguồn từ cơ chế lưu trữ vết bit thông qua bảng băm nhị phân. Các đoạn bit trùng lặp giữa các email HAM được tự động gộp nhóm, giúp tối ưu bộ nhớ đệm và loại bỏ các phép so khớp thừa. Khi so sánh với các thuật toán học máy truyền thống trên WEKA như Cây quyết định J48, Naive Bayes, hay SVM, thuật toán PNSA thể hiện ưu thế vượt trội ở khả năng nhận diện các dạng tấn công làm sai lệch từ khóa (keyword obfuscation).

Các kết quả thực nghiệm có thể được tổng hợp trực quan thông qua bảng đối chuẩn 9 kịch bản kiểm thử và đồ thị biểu diễn tương quan giữa độ dài r của bộ dò với chỉ số DR và FPR. Đồ thị hàm phân phối cho thấy khi r tăng từ 7 lên 10, dung lượng bộ dò tăng tuyến tính theo cấp số mũ của 2 nhưng thời gian truy vấn duy trì ở mức micro-giây nhờ cơ chế ánh xạ bộ nhớ trực tiếp. Điều này chứng minh thuật toán vừa đáp ứng tính linh hoạt của hệ miễn dịch sinh học, vừa đảm bảo tính toán thời gian thực cho hạ tầng mạng lớn.

Đề xuất và khuyến nghị

Nhằm chuyển hóa kết quả nghiên cứu vào thực tiễn bảo đảm an toàn thông tin theo Chỉ thị số 02/SPS và Nghị quyết số 1760/pts, 4 nhóm giải pháp chiến lược được đề xuất:

• Tích hợp Module PNSA vào Mail Gateway máy chủ: Đội ngũ kỹ thuật mạng cần triển khai tích hợp trực tiếp module giải thuật PNSA viết trên nền C#/.NET vào máy chủ thư điện tử nội bộ. Mục tiêu xử lý tối thiểu 10.000 email/giờ với thời gian trễ dưới 15 mili-giây mỗi thư, hoàn thành trong vòng 6 tháng.
• Thiết lập cơ chế cập nhật tập Self động: Bộ phận quản trị hệ thống định kỳ trích xuất các mẫu email công vụ mới để tái lập bảng băm A theo chu kỳ 14 ngày/lần. Target duy trì tỷ lệ FPR luôn dưới ngưỡng 0,01%, ngăn chặn tình trạng trôi dạt khái niệm (concept drift).
• Xây dựng kiến trúc phòng thủ đa tầng: Kết hợp thuật toán PNSA với danh sách trắng IP nội bộ và hệ thống bẫy thư rác Honeypot. Mô hình liên hoàn này giúp giảm 40% tải tính toán cho CPU máy chủ và loại bỏ hơn 99,5% email rác ngay tại tường lửa biên, lộ trình hoàn thiện trong 9 tháng.
• Ban hành quy chế an toàn truyền thông số: Ban Cơ yếu và Trung tâm Công nghệ Thông tin cần ban hành quy chuẩn gửi/nhận văn bản số nội bộ, nghiêm cấm nhân viên sử dụng hòm thư công vụ đăng ký dịch vụ ngoài. Mục tiêu đạt 100% cán bộ nắm vững quy tắc bảo mật thông tin trước năm 2022.

Đối tượng nên tham khảo luận văn

Công trình luận văn mang lại giá trị học thuật và ứng dụng chuyên sâu cho 4 nhóm đối tượng chính:

• Chuyên viên an ninh mạng và quản trị hệ thống: Nắm bắt kiến trúc triển khai thực tế của bộ lọc email trên hạ tầng mạng nội bộ, phục vụ cấu hình tường lửa và tối ưu hóa hệ thống máy chủ thư tín doanh nghiệp.
• Nhà nghiên cứu trí tuệ nhân tạo và hệ phỏng sinh học: Khai thác phương pháp thiết kế bộ dò r-chunk, r-contiguous và giải pháp bảng băm tối ưu độ phức tạp thuật toán trong việc giải các bài toán nhận dạng mẫu phức tạp.
• Kỹ sư phát triển phần mềm an toàn thông tin: Tham khảo mã nguồn, mô hình thiết kế lớp và giao diện ứng dụng C#/.NET để tích hợp vào các sản phẩm thương mại hoặc các dự án phần mềm chuyên dụng.
• Học viên cao học và sinh viên ngành Khoa học Máy tính: Sử dụng làm tài liệu tham khảo chuẩn mực về phương pháp luận nghiên cứu, kỹ thuật tiền xử lý văn bản và quy trình kiểm thử đối chuẩn với công cụ WEKA.

Câu hỏi thường gặp

Thuật toán PNSA có điểm gì vượt trội hơn các bộ lọc thống kê Bayesian truyền thống?
Bộ lọc Bayesian phụ thuộc nhiều vào tần suất xuất hiện của từ ngữ nên dễ bị đánh lừa khi kẻ tấn công chèn từ vô nghĩa. PNSA chuyển đổi dữ liệu sang chuỗi nhị phân và so khớp cấu trúc đa chiều, đạt độ chính xác trên 99% mà không bị phụ thuộc vào ngữ nghĩa đơn lẻ.

Vì sao giải pháp bảng băm lại giải quyết được bài toán tốc độ của hệ miễn dịch nhân tạo?
Trước đây, việc sinh và so khớp bộ dò đòi hỏi duyệt quét toàn bộ tập mẫu với chi phí thời gian rất lớn. Bảng băm Boolean chuyển đổi đoạn r bit thành chỉ số thập phân, cho phép truy xuất trạng thái nhận diện với độ phức tạp cố định chỉ O(1).

Hệ thống có nguy cơ làm thất lạc các văn bản chỉ đạo quan trọng không?
Hoàn toàn không. Thuật toán huấn luyện trên 5.000 email công vụ hợp lệ đã đạt tỷ lệ báo động sai xấp xỉ 0,00%, đảm bảo các thư tín công vụ đúng chuẩn không bao giờ bị nhận diện nhầm thành thư rác.

Các tập dữ liệu TREC 2007 và SpamBase có đủ tính đại diện cho môi trường thực tế không?
Đây là hai bộ cơ sở dữ liệu chuẩn quốc tế với hơn 75.000 mẫu email thực tế đa dạng chủ đề. Sự kết hợp giữa tập dữ liệu văn bản thô và tập thuộc tính thống kê 58 biến giúp mô hình có khả năng tổng quát hóa cao.

Mô hình có đòi hỏi cấu hình máy chủ chuyên dụng đắt tiền không?
Không cần đầu tư phần cứng đắt đỏ. Thực nghiệm chứng minh hệ thống vận hành mượt mà trên cấu hình máy tính tiêu chuẩn với RAM 2GB và chip Core i5, rất phù hợp với điều kiện hạ tầng của nhiều cơ quan, đơn vị hiện nay.

Kết luận

• Luận văn đã hoàn thiện việc nghiên cứu, chuẩn hóa khung lý thuyết Hệ miễn dịch nhân tạo và các thuật toán NSA, PSA, PNSA phục vụ lọc thư rác.
• Phát triển thành công thuật toán sinh tập bộ dò r-chunk và r-contiguous dựa trên bảng băm tối ưu, giảm độ phức tạp tính toán xuống mức O(1) khi truy vấn.
• Đạt kết quả thực nghiệm xuất sắc trên 75.419 email thuộc tập dữ liệu TREC 2007 với độ chính xác 99,34% và thời gian phân loại 1.000 email chỉ trong 10 giây.
• Đề xuất mô hình kiến trúc và quy trình triển khai thực tế giải pháp lọc email rác cho hệ thống mạng nội bộ Bộ Tổng tham mưu Lào theo chuẩn an toàn thông tin.
• Hướng nghiên cứu tiếp theo sẽ tập trung vào việc tự động hóa cập nhật tập bộ dò theo thời gian thực và mở rộng thuật toán để lọc mã độc trên tin nhắn di động.

Hãy liên hệ với tác giả hoặc truy cập kho học liệu của Nhà trường để khai thác trọn vẹn tài liệu và mã nguồn ứng dụng PNSA cho hệ thống an ninh mạng của bạn ngay hôm nay.

Trích đoạn nội dung tài liệu

Chương 1. THƯ RÁC VÀ CÁC PHƯƠNG PHÁP LỌC THƯ RÁC 1. Một số khái niệm cơ bản 1. Định nghĩa thư rác Có nhiều tranh cãi về việc đâu là định nghĩa chính xác của thư rác (spam email), bởi vì thư rác mang tính cá nhân hóa nên khó mà nói lên được hết ý nghĩa của thư rác.

Nhiều ý kiến cho rằng thư rác là những “thư điện tử (email) không mong muốn”. Định nghĩa này cũng không thực sự chính xác, như một nhân viên nhận những thư điện tử về công việc từ sếp của họ, đây là những thư điện tử người nhân viên không mong muốn nhưng chúng không phải là thư rác. Lại có ý kiến khác cho rằng thư rác là những “thư điện tử thương mại không được yêu cầu từ phía người nhận” những thư này bao gồm các thư điện tử quảng cáo về các sản phẩm và thư điện tử lừa gạt. Nhưng định nghĩa này cũng không thực sự chính xác, nó làm mọi người nghĩ rằng thư rác giống như là thư đáng bỏ đi (junk mail).

Sau đây sẽ đưa ra một định nghĩa thông dụng nhất về thư rác và giải thích các đặc điểm của nó để phân biệt thư rác với thư thông thường [1,2]: Thư rác (spam mail) là những bức thư điện tử không yêu cầu, không mong muốn và được gửi hàng loạt tới người nhận. Một bức thư nếu gửi không theo yêu cầu có thể đó là thư làm quen hoặc thư được gửi lần đầu tiên, còn nếu thư được gửi hàng loạt thì nó có thể là thư gửi cho khách hàng của các công ty, các nhà cung cấp dịch vụ. Vì thế một bức thư bị coi là rác khi nó không được yêu cầu, và được gửi hàng loạt. Hình vẽ sau sẽ thể hiện rõ định nghĩa của thư rác: Hinh 1.1: Tất cả các thư điện tử Số hóa bởi Trung tâm Học liệu và Công nghệ thông tin – ĐHTN http://lrc.vn LUAN VAN CHAT LUONG download : add luanvanchat@agmail.

Phân loại thư rác Có rất nhiều cách phân loại thư rác[1]. - Dựa trên kiểu phát tán thư rác: Tính tới thời điểm hiện tại, thư rác có thể bị gửi thông qua thư điện tử, nhóm thảo luận (newsgroups), điện thoại di động (Short Message Service - SMS) và các dịch vụ gửi tin nhắn trên mạng (như Yahoo Messenger, Windows Messenger.) - Dựa vào quan hệ với người gửi thư rác: bao gồm người lạ mặt, bạn bè, người quen và các dịch vụ quyên góp giúp đỡ… - Dựa vào nội dung của thư rác: các kiểu nội dung phổ biến như thư về thương mại, thư về chính trị, thư về công nghệ, chuỗi thư (chain e-mail) và các loại khác (như thư phát tán virus. - Dựa trên động lực của người gửi: Thông thường, thư rác được gửi đi cho những mục đích quảng bá thông tin. Ngoài ra, còn có một số loại thư rác được gửi tới một người nhận xác định nào đó nhằm mục đích phá vỡ và gây cản trở công việc của người nhận hay mạng của nhà cung cấp dịch vụ thư điện tử (ESP) được gọi là “bom thư”.

Thư rác còn được cố ý gửi đi nhằm thông báo tin sai lệch, làm xáo trộn công việc và cuộc sống của người nhận. Sự phân loại thư rác rất quan trọng không chỉ trong lĩnh vực tạo những bộ lọc thư rác có hiệu quả cao mà còn giúp cho việc ban hành các bộ luật chống thư rác phù hợp. Các phương pháp lọc thư rác 1. Lọc thư rác thông qua việc đưa ra luật lệ nhằm hạn chế, ngăn chặn việc gửi thư rác.

Khi tình trạng thư rác ngày càng tăng trên đường truyền internet gây ra nhiều phiền toái và thiệt hại lớn trên thế giới rất nhiều các quốc gia đã đưa ra các luật để ngăn chặn thư rác. Dưới đây là một số nội dung cơ bản liên quan tới giải pháp ngăn chặn thông qua luật lệ pháp lý được đưa ra trên báo điện tử của bộ viễn thông. Mỹ là một những nước đầu tiên trên thế giới cố gắng ban hành các văn bản pháp luật để giải quyết vấn đề thư điện tử rác tràn ngập. Từ tháng 7 năm 1997, bang Nevada đã dẫn đầu trong việc ban hành các quy phạm pháp luật quy Số hóa bởi Trung tâm Học liệu và Công nghệ thông tin – ĐHTN http://lrc.vn LUAN VAN CHAT LUONG download : add [e-mail] 4 định về hành vi phục vụ và sử dụng thư tín điện tử.

Tính đến tháng 3 năm 2003, đã có 26 bang ban hành quy phạm pháp luật quy định về dịch vụ và hành vi sử dụng thư tín điện tử. Đến tháng 11 năm 2003, con số này lên đến 36. Về phía chính quyền liên bang, từ những năm 1990, cả Thượng nghị viện và Hạ nghị viện đều quan tâm đến sự lan rộng của thư tín điện tử quấy rối và thư rác, và đã đưa ra nhiều dự án luật như “Luật bảo vệ hộp thư không bị quấy rối” (1999), “Luật Bảo vệ người sử dụng thư điện tử”, “Luật Khống chế thư điện tử không được phép” (2000), “Luật Khống chế thư rác truyền qua đường điện thoại vô tuyến” (2000) , “Luật Chống thư rác” (2001). Mười năm gần đây, Liên minh Châu Âu cũng đã ban hành một số chỉ lệnh, đưa ra các quy phạm và chỉ dẫn đối với các vấn đề thương mại điện tử, thông tin điện tử, bảo hộ dữ liệu.

Trong các chỉ lệnh nói trên, có không ít các qui định có liên quan mật thiết, thậm chí là trực tiếp với phục vụ và sử dụng thư điện tử như “Chỉ lệnh Bảo vệ dữ liệu cá nhân ở Châu Âu”, “Chỉ lệnh về thông tin điện tử và bảo mật dữ liệu”. Ngày 12 tháng 7 năm 2002, Nghị Viện Liên minh Châu Âu đã thông qua “Chỉ lệnh Bảo mật riêng tư và Thông tin điện tử trong Liên minh Châu Âu”. Chỉ lệnh quy định: Từ 31 tháng 10 năm 2003, trong phạm vi Liên minh Châu Âu, nếu chưa được người nhận đồng ý trước, không được gửi thư điện tử thương mại hay nhằm mục đích tuyên truyền cho cá nhân. Tiếp theo sau khi Liên minh Châu Âu đưa ra các qui định về phục vụ và sử dụng thư điện tử, các nước thành viên Liên minh Châu Âu, như Italia, Anh, Đan Mạch, Tây Ban Nha.

đều đã ban hành quy phạm pháp luật trong nước quy định hành vi cung cấp và sử dụng thư điện tử, ngăn chặn sự tràn ngập của thư rác. Tại Lào vấn đề thư rác bắt đầu nhận được sự quan tâm từ phía các cơ quan có trách nhiệm. Bộ Thương mại đang soạn thảo Thông tư quản lý hoạt động quảng cáo thương mại trên các phương tiện điện tử. Trên trang báo điện tử của bộ viễn thông, Bà Lại Việt Anh, Trưởng Phòng chính sách, Vụ Thương mại điện tử, Bộ Thương mại, nhận xét: mục tiêu của Thông tư này trước mắt tập trung Số hóa bởi Trung tâm Học liệu và Công nghệ thông tin – ĐHTN http://lrc.vn LUAN VAN CHAT LUONG download : add [e-mail] 5 quản lý ba hình thức quảng cáo đang bức xúc: thư điện tử, tin nhắn điện thoại di động và quảng cáo trên trang thông tin điện tử 1.

Lọc thư rác dựa trên địa chỉ IP Phương pháp lọc thư rác thông qua địa chỉ IP là phương pháp đơn giản và được sử dụng sớm nhất trong công cuộc chống thư rác. Dựa vào địa chỉ IP của người gửi để xác định thư đó bị ngăn chặn hoặc cho qua. Có hai cách để thực hiện việc lọc thư: một là duy trì một danh sách các địa chỉ IP bị chặn (còn gọi là danh sách đen blacklist); thứ hai là sử dụng một danh sách các địa chỉ IP cho phép qua (danh sách trắng whitelist). Danh sách đen (Blacklist) Người ta lập ra một danh sách các địa chỉ gửi thư rác.

Các nhà cung cấp dịch vụ thư điện tử (ISP) sẽ dựa trên danh sách này để loại bỏ những thư nằm trong danh sách này. Danh sách này thường xuyên được cập nhật và được chia sẻ giữa các nhà cung cấp dịch vụ. Một số danh sách đen điển hình được lập ra như: SpamCop Blocking List và Composite Block List. Ưu điểm của phương pháp này là các ISP sẽ ngăn chặn được khá nhiều địa chỉ gửi thư rác.

Mặc dù danh sách đen này luôn được cập nhật nhưng với sự thay đổi liên tục địa chỉ, sự giả mạo địa chỉ hoặc lợi dụng một mail server hợp pháp để gửi thư rác đã làm số lượng thư rác gửi đi vẫn ngày càng tăng cao. Do đó phương pháp này chỉ ngăn chặn được một nửa số thư rác gửi đi và sẽ mất rất nhiều thư hợp pháp nếu ngăn chặn nhầm. Danh sách trắng (Whitelist) Danh sách các địa chỉ tin cậy (Safe Sender List), danh sách này có thể do một nhà cung cấp dịch vụ nào đó cung cấp. Những địa chỉ thuộc danh sách sẽ được cho qua bộ lọc.

Người dùng phải đăng ký với nhà cung cấp danh sách để được nằm trong danh sách. Ưu điểm: số lượng địa chỉ trong danh sách trắng sẽ ít hơn trong danh sách đen vì thế sẽ dễ cập nhật hơn danh sách đen và giải quyết được tình trạng chặn nhầm thư. Số hóa bởi Trung tâm Học liệu và Công nghệ thông tin – ĐHTN http://lrc.vn LUAN VAN CHAT LUONG download : add [e-mail] 6 Tuy nhiên cả hai phương pháp trên đều có nhược điểm là khó cập nhật, nhất là khi ai đó thay đổi địa chỉ IP. Ngoài ra người gửi cũng có thể lợi dụng server mail có trong danh sách trắng để gửi thư rác, khi đó rất khó kiểm soát.

Lọc dựa trên chuỗi hỏi/ đáp Đặc trưng của phương pháp này là khả năng tự động gửi thư hồi đáp cho người gửi để yêu cầu một số hành động chắc chắn về việc gửi thư của họ. Chương trình kiểm tra này được đặt tên là “Turing Test” sau một vài kiểm tra được nghĩ ra bởi nhà toán học người anh tên là Alan Turing. Trong một vài năm gần đây xuất hiện của một vài dịch vụ Internet tự động xử lý hàm Challenge/Response này cho người dùng, chương trình yêu cầu người gửi thư phải vào website của họ và trả lời một số câu hỏi để chắc chắn về e-mail mà người này đã gửi.Việc này chỉ được yêu cầu trong lần gửi thư đầu tiên. Đối với một số người dùng có lượng thư trao đổi thấp, hệ thống đơn lẻ này có thể chấp nhận được như một phương pháp hoàn hảo để loại trừ hoàn toàn thư rác từ hòm thư của họ.