Luận văn thạc sĩ nghiên cứu một số thuật toán lọc thư rác và ứng dụng trong lọc email nội bộ của viễn thông tỉnh bắc kạn

Khám phá các thuật toán lọc thư rác hiệu quả và ứng dụng trong hệ thống email nội bộ tại viễn thông tỉnh Bắc Kạn qua luận văn thạc sĩ chuyên sâu.

• Tác giả: Phạm Văn Dương
• Người hướng dẫn: TS. Nguyễn Hải Minh
• Trường học: Đại học Thái Nguyên - Trường Đại học Công nghệ Thông tin và Truyền thông
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nghiên cứu một số thuật toán lọc thư rác và ứng dụng trong lọc email nội bộ của Viễn thông tỉnh Bắc Kạn
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2017
• Địa điểm: Thái Nguyên

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. CHƯƠNG 1: THƯ RÁC VÀ CÁC PHƯƠNG PHÁP LỌC THƯ RÁC
• 1.1. Một số khái niệm cơ bản
• 1.1.1. Định nghĩa thư rác
• 1.1.2. Phân loại thư rác
• 1.2. Các phương pháp lọc thư rác
• 1.2.1. Lọc thư rác thông qua việc đưa ra luật lệ nhằm hạn chế, ngăn chặn việc gửi thư rác
• 1.2.2. Lọc thư rác dựa trên địa chỉ IP
• 1.2.2.1. Danh sách đen (Blacklist)
• 1.2.2.2. Danh sách trắng (Whitelist)
• 1.2.3. Lọc dựa trên chuỗi hỏi/ đáp
• 1.2.4. Phương pháp lọc dựa trên mạng xã hội
• 1.2.5. Phương pháp lọc nội dung
• 1.2.5.1. Lọc dựa trên các dấu hiệu nhận biết
• 2. CHƯƠNG 2: TỔNG QUAN CÁC THUẬT TOÁN NSA, PSA, PNSA TRONG LỌC THƯ RÁC
• 3. CHƯƠNG 3: KẾT QUẢ CÀI ĐẶT CÁC THUẬT TOÁN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Thuật toán lọc thư rác

Nghiên cứu tập trung vào các thuật toán lọc thư rác hiện đại, bao gồm NSA, PSA, và PNSA. Các thuật toán này dựa trên nguyên lý của hệ miễn dịch nhân tạo, mô phỏng quá trình nhận diện và loại bỏ các yếu tố gây hại. Thuật toán chọn lọc tiêu cực (NSA) và chọn lọc tích cực (PSA) được phân tích chi tiết, cùng với thuật toán cải tiến PNSA, kết hợp cả hai phương pháp để tăng hiệu quả lọc thư rác. Các thuật toán này được đánh giá dựa trên khả năng xử lý dữ liệu lớn và độ chính xác trong việc phân loại thư rác.

1.1. Hệ miễn dịch nhân tạo

Hệ miễn dịch nhân tạo là nền tảng lý thuyết cho các thuật toán lọc thư rác. Nó mô phỏng cách hệ thống miễn dịch sinh học nhận diện và loại bỏ các tác nhân gây hại. Cấu trúc cơ bản bao gồm các kháng thể và kháng nguyên, trong đó kháng thể đại diện cho các bộ lọc thư rác, còn kháng nguyên là các thư điện tử cần được phân loại.

1.2. Thuật toán PNSA

Thuật toán PNSA là sự kết hợp giữa chọn lọc tích cực và chọn lọc tiêu cực, nhằm tối ưu hóa hiệu quả lọc thư rác. Nó sử dụng cả hai phương pháp để tăng độ chính xác trong việc phân loại thư rác và thư hợp lệ, đồng thời giảm thiểu tỷ lệ lỗi.

II. Lọc email nội bộ tại Viễn thông Bắc Kạn

Nghiên cứu ứng dụng các thuật toán lọc thư rác vào hệ thống lọc email nội bộ của Viễn thông Bắc Kạn. Mô hình thực tế được xây dựng dựa trên cơ sở dữ liệu TREC'07 và SpamBase, cùng với phần mềm WEKA để phân tích và so sánh hiệu quả của các thuật toán. Kết quả cho thấy thuật toán PNSA đạt hiệu suất cao hơn so với các phương pháp truyền thống.

2.1. Mô hình ứng dụng

Mô hình ứng dụng tại Viễn thông Bắc Kạn bao gồm các bước: thu thập dữ liệu, tiền xử lý, áp dụng thuật toán lọc thư rác, và đánh giá kết quả. Hệ thống được thiết kế để xử lý lượng lớn email nội bộ, đảm bảo tính bảo mật và hiệu quả.

2.2. Kết quả thử nghiệm

Kết quả thử nghiệm trên WEKA và PNSA cho thấy thuật toán PNSA có tỷ lệ lọc thư rác chính xác cao hơn, đồng thời giảm thiểu tỷ lệ lỗi trong việc phân loại thư hợp lệ thành thư rác.

III. Ứng dụng lọc thư rác trong doanh nghiệp

Nghiên cứu đề xuất các giải pháp lọc email hiệu quả cho doanh nghiệp, đặc biệt là trong môi trường email nội bộ. Các công nghệ lọc thư rác như hệ thống lọc email dựa trên mạng xã hội và phương pháp lọc nội dung được phân tích và đánh giá. Nghiên cứu cũng nhấn mạnh tầm quan trọng của bảo mật email và quản lý email nội bộ trong việc ngăn chặn thư rác.

3.1. Phương pháp lọc nội dung

Phương pháp lọc nội dung dựa trên việc phân tích từ khóa và cấu trúc của email để xác định thư rác. Phương pháp này có ưu điểm là dễ dàng tùy chỉnh để phù hợp với các loại thư rác khác nhau, nhưng cũng có nhược điểm là dễ bị spammer vượt qua bằng cách thay đổi nội dung.

3.2. Bảo mật email

Bảo mật email là yếu tố quan trọng trong việc ngăn chặn thư rác. Nghiên cứu đề xuất các biện pháp như sử dụng danh sách đen, danh sách trắng, và chuỗi hỏi/đáp để tăng cường bảo mật cho hệ thống email nội bộ.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển mạnh mẽ của công nghệ thông tin và truyền thông, dịch vụ thư điện tử trở thành phương tiện giao tiếp phổ biến, tiện lợi và hiệu quả. Tuy nhiên, sự gia tăng nhanh chóng của thư rác (spam email) đã gây ra nhiều phiền toái, làm giảm hiệu suất hệ thống và gây thiệt hại kinh tế đáng kể. Theo báo cáo ngành, thư rác chiếm tỷ lệ lớn trong tổng số thư điện tử gửi qua Internet, với bộ dữ liệu TREC'07 ghi nhận 50,199 thư rác trên tổng số 75,419 thư. Vấn đề này đặt ra nhu cầu cấp thiết về các giải pháp lọc thư rác hiệu quả, đặc biệt trong các hệ thống email nội bộ như tại Viễn Thông tỉnh Bắc Kạn.

Mục tiêu nghiên cứu của luận văn là khảo sát, phát triển và ứng dụng một số thuật toán lọc thư rác dựa trên hệ miễn dịch nhân tạo (Artificial Immune System - AIS), cụ thể là các thuật toán chọn lọc tiêu cực (NSA), chọn lọc tích cực (PSA) và kết hợp cả hai (PNSA). Nghiên cứu tập trung vào việc xây dựng mô hình thực nghiệm trên hệ thống email nội bộ của Viễn Thông tỉnh Bắc Kạn, sử dụng các bộ dữ liệu chuẩn như TREC'07 và Spambase để đánh giá hiệu quả. Phạm vi nghiên cứu bao gồm phân tích lý thuyết, thiết kế thuật toán, cài đặt phần mềm và thử nghiệm thực tế trong giai đoạn 2016-2017.

Ý nghĩa của nghiên cứu được thể hiện qua việc nâng cao độ chính xác lọc thư rác, giảm thiểu sai sót trong phân loại email, đồng thời giảm tải tài nguyên cho máy chủ email. Kết quả nghiên cứu góp phần cải thiện chất lượng dịch vụ email, bảo vệ an toàn thông tin và hỗ trợ phát triển ứng dụng CNTT tại địa phương, phù hợp với định hướng phát triển công nghệ thông tin của tỉnh Bắc Kạn đến năm 2020.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên nền tảng lý thuyết hệ miễn dịch nhân tạo (Artificial Immune System - AIS), một lĩnh vực mô phỏng các nguyên lý miễn dịch sinh học để giải quyết các bài toán thực tế trong khoa học máy tính. AIS bao gồm các thành phần chính như kháng thể (antibody), kháng nguyên (antigen), và các thuật toán miễn dịch nhằm phát hiện và phản ứng với các tác nhân lạ (nonself).

Hai thuật toán cơ bản được nghiên cứu là thuật toán chọn lọc tiêu cực (Negative Selection Algorithm - NSA) và thuật toán chọn lọc tích cực (Positive Selection Algorithm - PSA). NSA tập trung vào việc loại bỏ các tế bào nhận diện self (bản thân), chỉ giữ lại các tế bào có khả năng phát hiện nonself, trong khi PSA chọn lọc các tế bào có khả năng nhận diện self để bảo vệ hệ thống. Thuật toán kết hợp PNSA tích hợp ưu điểm của cả NSA và PSA nhằm nâng cao hiệu quả phát hiện thư rác.

Các khái niệm chuyên ngành quan trọng bao gồm:

• Self và Nonself: Self là tập hợp các mẫu hợp lệ (email hợp pháp), nonself là các mẫu không hợp lệ (thư rác).
• Bộ dò (detector): Các mẫu được sinh ra để phát hiện nonself.
• Bảng băm (hash table): Cấu trúc dữ liệu dùng để lưu trữ và truy xuất bộ dò hiệu quả.
• Khoảng cách Hamming, Euclid, Mahattan: Các hàm đo độ tương đồng giữa các mẫu để đánh giá độ thích hợp (affinity).

Phương pháp nghiên cứu

Nguồn dữ liệu chính gồm hai bộ dữ liệu chuẩn:

• TREC'07: Gồm 75,419 email, trong đó 50,199 là thư rác và 25,220 là thư hợp lệ.
• Spambase: Bao gồm 4,601 email với 58 thuộc tính thống kê về nội dung và cấu trúc email.

Phương pháp nghiên cứu bao gồm:

• Tiền xử lý dữ liệu: Loại bỏ thẻ HTML, từ nối câu, ký tự số, chuyển đổi nội dung email sang dạng nhị phân với độ dài chuỗi ℓ.
• Sinh bộ dò r-chunk: Sử dụng thuật toán CHUNK_DETECTOR_NSA dựa trên bảng băm để tạo tập bộ dò không khớp với tập self.
• Huấn luyện và phân loại: Dùng 5,000 email HAM để huấn luyện, sau đó thử nghiệm trên 1,000 email test với tỷ lệ HAM/SPAM thay đổi từ 10% đến 90%.
• Phân tích thuật toán: Đánh giá các chỉ số TP, TN, FP, FN để tính toán các chỉ số DR (Detection Rate), FPR (False Positive Rate), và Accuracy (Acc).
• So sánh với các thuật toán học máy khác: Thử nghiệm trên phần mềm WEKA với các thuật toán như Naïve Bayes, SVM để đánh giá hiệu quả tương đối.

Timeline nghiên cứu kéo dài trong năm 2016-2017, với các bước từ thu thập dữ liệu, phát triển thuật toán, cài đặt phần mềm đến thử nghiệm và đánh giá kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả lọc thư rác trên bộ dữ liệu TREC'07:

   • Thuật toán PNSA đạt tỷ lệ phát hiện (DR) trung bình 99%, tỷ lệ sai dương tính giả (FPR) gần 0%, và độ chính xác (Acc) khoảng 99.5%.
   • Trong 9 bộ test với tỷ lệ HAM/SPAM thay đổi, chương trình phát hiện đúng 894 trên 900 email spam, không có sai sót trong phân loại email hợp lệ.

2. Thời gian xử lý:

   • Thời gian huấn luyện 5,000 email HAM mất khoảng 29 giây.
   • Phân loại 1,000 email test chỉ mất 10 giây trên cấu hình máy tính Core i5 2.5GHz, RAM 2GB.

3. So sánh với các thuật toán học máy trên WEKA:

   • PNSA cho kết quả tốt hơn hoặc tương đương với các thuật toán Naïve Bayes, SVM, và cây quyết định, với độ chính xác cao hơn khoảng 0.5-1%.
   • Tỷ lệ FPR của PNSA thấp hơn đáng kể, giảm nguy cơ chặn nhầm email hợp lệ.

4. Ứng dụng thực tế tại Viễn Thông tỉnh Bắc Kạn:

   • Mô hình lọc email nội bộ dựa trên PNSA đã được triển khai thử nghiệm, giúp giảm thiểu thư rác, tăng hiệu suất xử lý email và bảo vệ an toàn thông tin.
   • Hệ thống đáp ứng yêu cầu về tốc độ và độ chính xác trong môi trường mạng thực tế.

Thảo luận kết quả

Kết quả cho thấy thuật toán kết hợp chọn lọc tích cực và tiêu cực (PNSA) dựa trên hệ miễn dịch nhân tạo là một giải pháp hiệu quả trong lọc thư rác. Việc sử dụng bảng băm để sinh bộ dò r-chunk giúp tăng tốc độ xử lý và giảm bộ nhớ sử dụng, phù hợp với các hệ thống có lượng email lớn. So với các phương pháp truyền thống như SpamAssassin hay Bayesian, PNSA có ưu điểm vượt trội về độ chính xác và giảm thiểu sai sót.

Các biểu đồ so sánh tỷ lệ phát hiện và sai dương tính giả giữa PNSA và các thuật toán học máy khác có thể minh họa rõ nét sự ưu việt của phương pháp này. Bảng kết quả chi tiết cho thấy sự ổn định của PNSA qua nhiều bộ test với tỷ lệ spam khác nhau.

Nguyên nhân thành công của PNSA nằm ở việc mô phỏng chính xác quá trình chọn lọc trong hệ miễn dịch sinh học, đồng thời áp dụng các kỹ thuật tối ưu hóa như bảng băm và thuật toán sinh bộ dò r-chunk, r-contiguous. Điều này giúp hệ thống thích nghi tốt với sự biến đổi liên tục của nội dung thư rác.

So với các nghiên cứu gần đây, PNSA không chỉ đạt hiệu quả cao trên bộ dữ liệu chuẩn mà còn có khả năng ứng dụng thực tế trong môi trường mạng nội bộ, góp phần nâng cao an toàn thông tin tại địa phương.

Đề xuất và khuyến nghị

1. Triển khai rộng rãi hệ thống lọc thư rác PNSA tại các tổ chức viễn thông và doanh nghiệp

   • Mục tiêu: Giảm tỷ lệ thư rác tối thiểu 95% trong vòng 12 tháng.
   • Chủ thể thực hiện: Các nhà cung cấp dịch vụ email, phòng CNTT doanh nghiệp.
   • Hành động: Cài đặt, tùy chỉnh và đào tạo sử dụng phần mềm lọc thư rác dựa trên PNSA.

2. Phát triển module cập nhật tự động bộ dò và thuật toán thích nghi với nội dung thư rác mới

   • Mục tiêu: Nâng cao khả năng phát hiện thư rác mới, giảm sai sót xuống dưới 1%.
   • Chủ thể thực hiện: Nhóm nghiên cứu và phát triển phần mềm.
   • Hành động: Xây dựng hệ thống học máy tích hợp, cập nhật dữ liệu liên tục.

3. Tăng cường đào tạo và nâng cao nhận thức người dùng về an toàn thông tin và phòng chống thư rác

   • Mục tiêu: Giảm thiểu rủi ro do người dùng mở thư rác hoặc virus.
   • Chủ thể thực hiện: Ban quản lý CNTT, phòng an ninh mạng.
   • Hành động: Tổ chức các khóa đào tạo, phát hành tài liệu hướng dẫn.

4. Xây dựng chính sách và quy định nội bộ về quản lý email và xử lý thư rác

   • Mục tiêu: Tạo môi trường làm việc an toàn, tuân thủ quy định pháp luật.
   • Chủ thể thực hiện: Ban lãnh đạo, phòng pháp chế.
   • Hành động: Soạn thảo, ban hành và giám sát thực hiện các quy định.

Đối tượng nên tham khảo luận văn

1. Các nhà nghiên cứu và sinh viên ngành Khoa học máy tính, An toàn thông tin

   • Lợi ích: Hiểu sâu về ứng dụng hệ miễn dịch nhân tạo trong lọc thư rác, tham khảo thuật toán và phương pháp nghiên cứu.
   • Use case: Phát triển đề tài nghiên cứu, luận văn, hoặc dự án học thuật.

2. Chuyên viên CNTT và quản trị mạng tại các doanh nghiệp, tổ chức viễn thông

   • Lợi ích: Áp dụng giải pháp lọc thư rác hiệu quả, nâng cao an toàn hệ thống email nội bộ.
   • Use case: Triển khai hệ thống lọc thư rác, tối ưu hóa tài nguyên máy chủ.

3. Nhà phát triển phần mềm và công ty cung cấp dịch vụ email

   • Lợi ích: Nắm bắt công nghệ mới, cải tiến sản phẩm lọc thư rác, tăng tính cạnh tranh.
   • Use case: Tích hợp thuật toán PNSA vào sản phẩm, phát triển module lọc thư rác.

4. Cơ quan quản lý nhà nước và các tổ chức liên quan đến an toàn thông tin

   • Lợi ích: Tham khảo cơ sở khoa học để xây dựng chính sách, quy định về quản lý thư rác và an toàn mạng.
   • Use case: Soạn thảo văn bản pháp luật, hướng dẫn kỹ thuật cho các tổ chức.

Câu hỏi thường gặp

1. Thuật toán PNSA là gì và tại sao hiệu quả trong lọc thư rác?
   PNSA là thuật toán kết hợp chọn lọc tích cực và tiêu cực dựa trên mô hình hệ miễn dịch nhân tạo. Nó hiệu quả vì mô phỏng chính xác quá trình nhận diện self và nonself, giúp phát hiện thư rác với độ chính xác cao và giảm sai sót.

2. Bộ dữ liệu TREC'07 và Spambase có vai trò gì trong nghiên cứu?
   Đây là các bộ dữ liệu chuẩn, chứa hàng chục nghìn email spam và hợp lệ, dùng để huấn luyện và đánh giá thuật toán lọc thư rác, đảm bảo tính khách quan và khả năng so sánh với các nghiên cứu khác.

3. Phương pháp tiền xử lý dữ liệu được thực hiện như thế nào?
   Tiền xử lý bao gồm loại bỏ thẻ HTML, từ nối câu, ký tự số không cần thiết, và chuyển đổi nội dung email sang dạng nhị phân với độ dài cố định để thuận tiện cho việc sinh bộ dò và phân loại.

4. Hệ thống lọc thư rác PNSA có thể áp dụng cho các loại email nào?
   Hệ thống phù hợp với email nội bộ và email thương mại, có khả năng thích nghi với nhiều loại nội dung và cấu trúc email khác nhau, kể cả các dạng thư rác mới chưa từng xuất hiện.

5. Làm thế nào để giảm thiểu sai sót trong phân loại email?
   Sử dụng thuật toán kết hợp PNSA với bảng băm tối ưu, cập nhật bộ dò thường xuyên và kết hợp nhiều phương pháp lọc khác nhau giúp giảm tỷ lệ chặn nhầm email hợp lệ xuống gần 0%.

Kết luận

• Thuật toán kết hợp chọn lọc tích cực và tiêu cực (PNSA) dựa trên hệ miễn dịch nhân tạo đạt hiệu quả cao trong lọc thư rác với độ chính xác trên 99%.
• Phương pháp sử dụng bảng băm để sinh bộ dò r-chunk giúp tăng tốc độ xử lý và giảm bộ nhớ sử dụng, phù hợp với hệ thống email có lượng lớn dữ liệu.
• Kết quả thử nghiệm trên bộ dữ liệu chuẩn TREC'07 và Spambase chứng minh tính khả thi và ưu việt của phương pháp so với các thuật toán học máy truyền thống.
• Ứng dụng thực tế tại Viễn Thông tỉnh Bắc Kạn cho thấy giải pháp đáp ứng tốt yêu cầu về hiệu suất và an toàn thông tin trong môi trường mạng nội bộ.
• Đề xuất triển khai rộng rãi, phát triển module cập nhật tự động và nâng cao nhận thức người dùng để tối ưu hóa hiệu quả lọc thư rác trong tương lai.

Các tổ chức và doanh nghiệp nên nghiên cứu, thử nghiệm và áp dụng thuật toán PNSA trong hệ thống email của mình để nâng cao chất lượng dịch vụ và bảo vệ an toàn thông tin.

Trích đoạn nội dung tài liệu

Chương 1: THƯ RÁC VÀ CÁC PHƯƠNG PHÁP LỌC THƯ RÁC 7 Chương 2: TỔNG QUAN CÁC THUẬT TOÁN NSA, PSA, PNSA TRONG LỌC THƯ RÁC. Chương 3: KẾT QUẢ CÀI ĐẶT CÁC THUẬT TOÁN. Phần kết luận: Tóm tắt các kết quả đã đạt được và hướng phát triển tiếp theo của đề tài. THƯ RÁC VÀ CÁC PHƯƠNG PHÁP LỌC THƯ RÁC Một trong những dịch vụ Internet mang lại đó là dịch vụ thư điện tử, đây là phương pháp giao tiếp rất đơn giản, tiện lợi, rẻ và hiệu quả giữa mọi người.

Tuy nhiên, chính vì những lợi ích của dịch vụ thư điện tử mang lại mà số lượng thư trao đổitrên Internet ngày càng tăng và hầu hết trong số những thư đó là thư rác(Email spam). Thư rác thường được gửi với số lượng lớn, người dùng không mong đợi với nhiều mục đích khác nhau như: Quảng cáo, đính kèm virus, gây phiền toái khó chịu cho người dùng, làm giảm tốc độ Internet và tốc độ xử lý của server, gây thiệt hại lớn về kinh tế. Chương này khái quát các vấn đề về thư rác, ảnh hưởng của thư rác trong cuộc sống và các phương pháp ngăn chặn thư rác. Các khái niệm trong chương này được tham khảo trong [1], [2], [3], [4].Một số khái niệm cơ bản 1.

Định nghĩa thư rác Có nhiều tranh cãi về việc đâu là định nghĩa chính xác của thư rác (spam email), bởi vì thư rác mang tính cá nhân hóa nên khó mà nói lên được hết ý nghĩa của thư rác. Nhiều ý kiến cho rằng thư rác là những “thư điện tử (email) không mong muốn”. Định nghĩa này cũng không thực sự chính xác, như một nhân viên nhận những thư điện tử về công việc từ sếp của họ, đây là những thư điện tử người nhân viên không mong muốn nhưng chúng không phải là thư rác. Lại có ý kiến khác cho rằng thư rác là những “thư điện tử thương mại không được yêu cầu từ phía người nhận” - những thư này bao gồm các thư điện tử quảng cáo về các sản phẩm và thư điện tử lừa gạt.

Nhưng định nghĩa này cũng không thực sự chính xác, nó làm mọi người nghĩ rằng thư rác giống như là thư đáng bỏ đi (junk mail). Sau đây sẽ đưa ra một định nghĩa thông dụng nhất về thư rác và giải thích các đặc điểm của nó để phân biệt thư rác với thư thông thường [1,2]: 9 Thư rác (spam mail) là những bức thư điện tử không yêu cầu, không mong muốn và được gửi hàng loạt tới người nhận. Một bức thư nếu gửi không theo yêu cầu có thể đó là thư làm quen hoặc thư được gửi lần đầu tiên, còn nếu thư được gửi hàng loạt thì nó có thể là thư gửi cho khách hàng của các công ty, các nhà cung cấp dịch vụ. Vì thế một bức thư bị coi là rác khi nó không được yêu cầu, và được gửi hàng loạt.

Hình vẽ sau sẽ thể hiện rõ định nghĩa của thư rác: Hinh 1.1: Tất cả các thư điện tử 1. Phân loại thư rác Có rất nhiều cách phân loại thư rác[1]. - Dựa trên kiểu phát tán thư rác: Tính tới thời điểm hiện tại, thư rác có thể bị gửi thông qua thư điện tử, nhóm thảo luận (newsgroups), điện thoại di động (Short Message Service - SMS) và các dịch vụ gửi tin nhắn trên mạng (như Yahoo Messenger, Windows Messenger.) - Dựa vào quan hệ với người gửi thư rác: bao gồm người lạ mặt, bạn bè, người quen và các dịch vụ quyên góp giúp đỡ… - Dựa vào nội dung của thư rác: các kiểu nội dung phổ biến như thư về thương mại, thư về chính trị, thư về công nghệ, chuỗi thư (chain e-mail) và các loại khác (như thư phát tán virus. - Dựa trên động lực của người gửi: Thông thường, thư rác được gửi đi cho những mục đích quảng bá thông tin.

Ngoài ra, còn có một số loại thư 10 rác được gửi tới một người nhận xác định nào đó nhằm mục đích phá vỡ và gây cản trở công việc của người nhận hay mạng của nhà cung cấp dịch vụ thư điện tử (ESP) được gọi là “bom thư”. Thư rác còn được cố ý gửi đi nhằm thông báo tin sai lệch, làm xáo trộn công việc và cuộc sống của người nhận. Sự phân loại thư rác rất quan trọng không chỉ trong lĩnh vực tạo những bộ lọc thư rác có hiệu quả cao mà còn giúp cho việc ban hành các bộ luật chống thư rác phù hợp.Các phương pháp lọc thư rác 1. Lọc thư rác thông qua việc đưa ra luật lệ nhằm hạn chế, ngăn chặn việc gửi thư rác.

Khi tình trạng thư rác ngày càng tăng trên đường truyền internet gây ra nhiều phiền toái và thiệt hại lớn trên thế giới rất nhiều các quốc gia đã đưa ra các luật để ngăn chặn thư rác. Dưới đây là một số nội dung cơ bản liên quan tới giải pháp ngăn chặn thông qua luật lệ pháp lý được đưa ra trên báo điện tử của bộ viễn thông. Mỹ là một những nước đầu tiên trên thế giới cố gắng ban hành các văn bản pháp luật để giải quyết vấn đề thư điện tử rác tràn ngập. Từ tháng 7 năm 1997, bang Nevada đã dẫn đầu trong việc ban hành các quy phạm pháp luật quy định về hành vi phục vụ và sử dụng thư tín điện tử.

Tính đến tháng 3 năm 2003, đã có 26 bang ban hành quy phạm pháp luật quy định về dịch vụ và hành vi sử dụng thư tín điện tử. Đến tháng 11 năm 2003, con số này lên đến 36. Về phía chính quyền liên bang, từ những năm 1990, cả Thượng nghị viện và Hạ nghị viện đều quan tâm đến sự lan rộng của thư tín điện tử quấy rối và thư rác, và đã đưa ra nhiều dự án luật như “Luật bảo vệ hộp thư không bị quấy rối” (1999), “Luật Bảo vệ người sử dụng thư điện tử”, “Luật Khống chế thư điện tử không được phép” (2000), “Luật Khống 11 chế thư rác truyền qua đường điện thoại vô tuyến” (2000) , “Luật Chống thư rác” (2001). Mười năm gần đây, Liên minh Châu Âu cũng đã ban hành một số chỉ lệnh, đưa ra các quy phạm và chỉ dẫn đối với các vấn đề thương mại điện tử, thông tin điện tử, bảo hộ dữ liệu.

Trong các chỉ lệnh nói trên, có không ít các qui định có liên quan mật thiết, thậm chí là trực tiếp với phục vụ và sử dụng thư điện tử như “Chỉ lệnh Bảo vệ dữ liệu cá nhân ở Châu Âu”, “Chỉ lệnh về thông tin điện tử và bảo mật dữ liệu”. Ngày 12 tháng 7 năm 2002, Nghị Viện Liên minh Châu Âu đã thông qua “Chỉ lệnh Bảo mật riêng tư và Thông tin điện tử trong Liên minh Châu Âu”. Chỉ lệnh quy định: Từ 31 tháng 10 năm 2003, trong phạm vi Liên minh Châu Âu, nếu chưa được người nhận đồng ý trước, không được gửi thư điện tử thương mại hay nhằm mục đích tuyên truyền cho cá nhân. Tiếp theo sau khi Liên minh Châu Âu đưa ra các qui định về phục vụ và sử dụng thư điện tử, các nước thành viên Liên minh Châu Âu, như Italia, Anh, Đan Mạch, Tây Ban Nha.

đều đã ban hành quy phạm pháp luật trong nước quy định hành vi cung cấp và sử dụng thư điện tử, ngăn chặn sự tràn ngập của thư rác. Tại Việt Nam vấn đề thư rác bắt đầu nhận được sự quan tâm từ phía các cơ quan có trách nhiệm. Bộ Thương mại đang soạn thảo Thông tư quản lý hoạt động quảng cáo thương mại trên các phương tiện điện tử. Trên trang báo điện tử của bộ viễn thông, Bà Lại Việt Anh, Trưởng Phòng chính sách, Vụ Thương mại điện tử, Bộ Thương mại, nhận xét: mục tiêu của Thông tư này trước mắt tập trung quản lý ba hình thức quảng cáo đang bức xúc: thư điện tử, tin nhắn điện thoại di động và quảng cáo trên trang thông tin điện tử 1.

Lọc thư rác dựa trên địa chỉ IP Phương pháp lọc thư rác thông qua địa chỉ IP là phương pháp đơn giản và được sử dụng sớm nhất trong công cuộc chống thư rác. Dựa vào địa 12 chỉ IP của người gửi để xác định thư đó bị ngăn chặn hoặc cho qua. Có hai cách để thực hiện việc lọc thư: một là duy trì một danh sách các địa chỉ IP bị chặn (còn gọi là danh sách đen blacklist); thứ hai là sử dụng một danh sách các địa chỉ IP cho phép qua (danh sách trắng whitelist). Danh sách đen (Blacklist) Người ta lập ra một danh sách các địa chỉ gửi thư rác.

Các nhà cung cấp dịch vụ thư điện tử (ISP) sẽ dựa trên danh sách này để loại bỏ những thư nằm trong danh sách này. Danh sách này thường xuyên được cập nhật và được chia sẻ giữa các nhà cung cấp dịch vụ. Một số danh sách đen điển hình được lập ra như: SpamCop Blocking List và Composite Block List. Ưu điểm của phương pháp này là các ISP sẽ ngăn chặn được khá nhiều địa chỉ gửi thư rác.

Mặc dù danh sách đen này luôn được cập nhật nhưng với sự thay đổi liên tục địa chỉ, sự giả mạo địa chỉ hoặc lợi dụng một mail server hợp pháp để gửi thư rác đã làm số lượng thư rác gửi đi vẫn ngày càng tăng cao. Do đó phương pháp này chỉ ngăn chặn được một nửa số thư rác gửi đi và sẽ mất rất nhiều thư hợp pháp nếu ngăn chặn nhầm. Danh sách trắng (Whitelist) Danh sách các địa chỉ tin cậy (Safe Sender List), danh sách này có thể do một nhà cung cấp dịch vụ nào đó cung cấp. Những địa chỉ thuộc danh sách sẽ được cho qua bộ lọc.

Người dùng phải đăng ký với nhà cung cấp danh sách để được nằm trong danh sách. Ưu điểm: số lượng địa chỉ trong danh sách trắng sẽ ít hơn trong danh sách đen vì thế sẽ dễ cập nhật hơn danh sách đen và giải quyết được tình trạng chặn nhầm thư. Tuy nhiên cả hai phương pháp trên đều có nhược điểm là khó cập nhật, nhất là khi ai đó thay đổi địa chỉ IP. Ngoài ra người gửi cũng có thể lợi dụng server mail có trong danh sách trắng để gửi thư rác, khi đó rất khó kiểm soát.

Lọc dựa trên chuỗi hỏi/ đáp Đặc trưng của phương pháp này là khả năng tự động gửi thư hồi đáp cho người gửi để yêu cầu một số hành động chắc chắn về việc gửi thư của họ. Chương trình kiểm tra này được đặt tên là “Turing Test” sau một vài kiểm tra được nghĩ ra bởi nhà toán học người anh tên là Alan Turing.