Luận văn thạc sĩ hay nghiên cứu một số thuật toán lọc thư rác và ứng dụng trong lọc email nội bộ của viễn thông tỉnh bắc kạn

Luận văn thạc sĩ toán học phân tích hay nghiên cứu một số thuật toán lọc thư rác và ứng dụng trong lọc email nội bộ của viễn thông tỉnh, đánh giá thực trạng, chỉ ra hạn chế, đề

• Tác giả: Phạm Văn Dương
• Người hướng dẫn: TS. Nguyễn Hải Minh
• Trường học: Trường Đại học Công nghệ Thông tin và Truyền thông - Đại học Thái Nguyên
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nghiên cứu một số thuật toán lọc thư rác và ứng dụng trong lọc email nội bộ của Viễn thông tỉnh Bắc Kạn
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2017
• Địa điểm: Thái Nguyên

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. CHƯƠNG 1: THƯ RÁC VÀ CÁC PHƯƠNG PHÁP LỌC THƯ RÁC
• 1.1. Một số khái niệm cơ bản
• 1.1.1. Định nghĩa thư rác
• 1.1.2. Phân loại thư rác
• 1.2. Các phương pháp lọc thư rác
• 1.2.1. Lọc thư rác thông qua việc đưa ra luật lệ nhằm hạn chế, ngăn chặn việc gửi thư rác
• 1.2.2. Lọc thư rác dựa trên địa chỉ IP
• 1.2.2.1. Danh sách đen (Blacklist)
• 1.2.2.2. Danh sách trắng (Whitelist)
• 1.2.3. Lọc dựa trên chuỗi hỏi/ đáp
• 1.2.4. Phương pháp lọc dựa trên mạng xã hội
• 1.2.5. Phương pháp lọc nội dung
• 1.2.5.1. Lọc dựa trên các dấu hiệu nhận biết
• 2. CHƯƠNG 2: TỔNG QUAN CÁC THUẬT TOÁN NSA, PSA, PNSA TRONG LỌC THƯ RÁC
• 3. CHƯƠNG 3: KẾT QUẢ CÀI ĐẶT CÁC THUẬT TOÁN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về nghiên cứu thuật toán lọc thư rác tại Bắc Kạn

Nghiên cứu về thuật toán lọc thư rác là một lĩnh vực quan trọng trong công nghệ thông tin, đặc biệt là trong bối cảnh dịch vụ email ngày càng phát triển. Tại Bắc Kạn, việc ứng dụng các thuật toán này trong email nội bộ đã trở thành một nhu cầu cấp thiết. Mục tiêu của nghiên cứu này là tìm hiểu và áp dụng các phương pháp lọc thư rác hiệu quả nhằm bảo vệ người dùng khỏi những phiền toái do thư rác gây ra.

1.1. Khái niệm và tầm quan trọng của thư rác

Thư rác (spam) là những bức thư điện tử không mong muốn, thường được gửi hàng loạt với mục đích quảng cáo hoặc lừa đảo. Việc hiểu rõ về thư rác giúp người dùng nhận diện và phòng tránh hiệu quả hơn.

1.2. Tình hình thư rác tại Bắc Kạn

Tại Bắc Kạn, số lượng thư rác ngày càng gia tăng, gây ảnh hưởng đến hiệu suất làm việc của các cơ quan, tổ chức. Việc nghiên cứu và áp dụng các thuật toán lọc thư rác là cần thiết để bảo vệ thông tin và tài nguyên mạng.

II. Vấn đề và thách thức trong việc lọc thư rác

Mặc dù có nhiều phương pháp lọc thư rác, nhưng vẫn tồn tại nhiều thách thức trong việc áp dụng chúng. Các thuật toán lọc thư rác thường gặp khó khăn trong việc phân loại chính xác giữa thư hợp lệ và thư rác. Điều này không chỉ ảnh hưởng đến trải nghiệm người dùng mà còn có thể dẫn đến việc mất mát thông tin quan trọng.

2.1. Khó khăn trong việc nhận diện thư rác

Nhiều thuật toán hiện tại vẫn chưa đủ chính xác trong việc phân loại thư rác, dẫn đến tình trạng chặn nhầm thư hợp lệ hoặc không phát hiện được thư rác.

2.2. Tác động của thư rác đến hiệu suất email

Thư rác không chỉ làm giảm hiệu suất của hệ thống email mà còn gây khó khăn trong việc quản lý thông tin, ảnh hưởng đến công việc hàng ngày của người dùng.

III. Phương pháp lọc thư rác hiệu quả nhất hiện nay

Có nhiều phương pháp lọc thư rác đã được nghiên cứu và áp dụng, trong đó có các phương pháp dựa trên machine learning và các quy tắc lọc nội dung. Những phương pháp này đã cho thấy hiệu quả cao trong việc giảm thiểu thư rác trong email nội bộ.

3.1. Lọc thư rác dựa trên nội dung

Phương pháp này phân loại thư rác dựa trên nội dung và chủ đề của bức thư. Việc thay đổi bộ lọc thường xuyên giúp nâng cao hiệu quả lọc thư rác.

3.2. Sử dụng thuật toán machine learning

Các thuật toán như NSA, PSA, và PNSA đã được áp dụng để cải thiện khả năng nhận diện thư rác. Những thuật toán này học từ dữ liệu để nâng cao độ chính xác trong việc phân loại.

IV. Ứng dụng thực tiễn của thuật toán lọc thư rác tại Bắc Kạn

Việc áp dụng các thuật toán lọc thư rác trong email nội bộ tại Bắc Kạn đã mang lại nhiều kết quả tích cực. Các cơ quan, tổ chức đã giảm thiểu được lượng thư rác nhận được, từ đó nâng cao hiệu suất làm việc.

4.1. Kết quả nghiên cứu và ứng dụng

Nghiên cứu cho thấy việc áp dụng thuật toán lọc thư rác đã giúp giảm 70% lượng thư rác trong hệ thống email nội bộ, tạo điều kiện thuận lợi cho công việc.

4.2. Phản hồi từ người dùng

Người dùng đã có những phản hồi tích cực về việc cải thiện chất lượng dịch vụ email sau khi áp dụng các thuật toán lọc thư rác.

V. Kết luận và tương lai của nghiên cứu thuật toán lọc thư rác

Nghiên cứu về thuật toán lọc thư rác tại Bắc Kạn đã mở ra nhiều hướng đi mới cho việc cải thiện dịch vụ email. Tương lai, cần tiếp tục nghiên cứu và phát triển các phương pháp lọc thư rác hiệu quả hơn để đáp ứng nhu cầu ngày càng cao của người dùng.

5.1. Hướng phát triển tiếp theo

Cần nghiên cứu thêm về các thuật toán mới và cải tiến các phương pháp hiện tại để nâng cao hiệu quả lọc thư rác.

5.2. Tầm quan trọng của bảo mật email

Bảo mật email không chỉ là vấn đề lọc thư rác mà còn liên quan đến việc bảo vệ thông tin cá nhân và dữ liệu quan trọng của người dùng.

Nội dung chính

Tổng quan nghiên cứu

Theo thống kê an ninh mạng toàn cầu, thư rác (spam email) chiếm từ 55% đến hơn 70% tổng lưu lượng thư điện tử luân chuyển hàng ngày trên Internet, gây thiệt hại kinh tế hàng chục tỷ USD mỗi năm và làm suy giảm khoảng 30% hiệu suất xử lý của hệ thống máy chủ thư tín. Tại Việt Nam, nguy cơ mất an toàn thông tin số trong các cơ quan, doanh nghiệp nhà nước ngày càng diễn biến phức tạp. Nhằm cụ thể hóa định hướng bảo đảm an toàn thông tin theo Chỉ thị số 897/CT-TTg của Thủ tướng Chính phủ và Chương trình hành động thực hiện Nghị quyết số 112-NQ/TU của Tỉnh ủy Bắc Kạn về phát triển công nghệ thông tin định hướng đến năm 2020, bài toán bảo vệ hệ thống email nội bộ trở thành nhiệm vụ cấp thiết.

Luận văn thạc sĩ chuyên ngành Khoa học máy tính của tác giả Phạm Văn Dương, dưới sự hướng dẫn khoa học của TS. Nguyễn Hải Minh tại Trường Đại học Công nghệ Thông tin và Truyền thông – Đại học Thái Nguyên (năm 2017), tập trung giải quyết bài toán tối ưu hóa bộ lọc email rác. Mục tiêu cụ thể của công trình là nghiên cứu, cải tiến các thuật toán dựa trên Hệ miễn dịch nhân tạo (AIS) kết hợp chọn lọc tích cực và tiêu cực (PNSA), đồng thời xây dựng mô hình thực nghiệm bảo vệ hệ thống mail server nội bộ của Viễn thông tỉnh Bắc Kạn. Đề tài mang ý nghĩa thực tiễn lớn khi giúp giảm 95% thời gian lọc thủ công cho cán bộ quản trị và nâng cao tỷ lệ nhận diện thư rác chính xác lên trên 99%, thiết lập môi trường trao đổi thông tin số an toàn tuyệt đối.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu ứng dụng nền tảng lý thuyết Hệ miễn dịch nhân tạo (Artificial Immune Systems - AIS), một hướng tiếp cận phỏng sinh học mô phỏng cơ chế tự bảo vệ và thích nghi của hệ miễn dịch tự nhiên. Ba mô hình lý thuyết trung tâm được triển khai bao gồm:

1. Thuật toán Chọn lọc Tiêu cực (Negative Selection Algorithm - NSA): Mô phỏng cơ chế đào thải các tế bào lympho T nhận diện tế bào của chính cơ thể (Self), chỉ giữ lại các tế bào nhận diện yếu tố ngoại lai (NonSelf) để làm bộ dò phát hiện bất thường.
2. Thuật toán Chọn lọc Tích cực (Positive Selection Algorithm - PSA): Tập trung sàng lọc và nhân rộng các tế bào T có khả năng liên kết nhận diện chính xác các cấu trúc kháng nguyên đặc hiệu do phức hợp hòa hợp mô chính (MHC) trình diện.
3. Thuật toán Cải tiến Kết hợp Chọn lọc Tích cực và Tiêu cực (Positive and Negative Selection Algorithm - PNSA): Kết hợp ưu điểm của cả hai cơ chế nhằm tối ưu hóa không gian hình dạng (Shape-Space), khắc phục các lỗ hổng nhận diện (holes) và triệt tiêu tỷ lệ cảnh báo nhầm.

Nghiên cứu chuẩn hóa 4 khái niệm then chốt: Tập Self (tập hợp các email hợp lệ HAM cần bảo vệ), Tập NonSelf (tập hợp email rác SPAM cần ngăn chặn), Bộ dò r-chunk (chuỗi con nhị phân độ dài r tại vị trí cố định) và Bộ dò r-contiguous (chuỗi nhị phân liên tiếp độ dài r).

Phương pháp nghiên cứu

Nghiên cứu khai thác hai nguồn dữ liệu học máy chuẩn quốc tế:

• Bộ dữ liệu TREC 2007 lưu trữ 75.419 thư điện tử thực tế, trong đó gồm 50.199 email SPAM và 25.220 email HAM.
• Bộ dữ liệu Spambase Data Set gồm 4.601 mẫu thư điện tử được chuẩn hóa thành 58 thuộc tính thống kê (48 thuộc tính tần suất từ, 6 thuộc tính tần suất ký tự đặc biệt, 3 thuộc tính độ dài chuỗi chữ in hoa và 1 thuộc tính phân lớp nhị phân).

Phương pháp chọn mẫu và cỡ mẫu: Tác giả áp dụng phương pháp chọn mẫu ngẫu nhiên phân tầng không lặp lại. Cỡ mẫu huấn luyện ban đầu gồm 5.000 email HAM từ TREC 2007. Cỡ mẫu kiểm nghiệm gồm 9 bộ dữ liệu độc lập, mỗi bộ chứa đúng 1.000 email với tỷ lệ HAM và SPAM thay đổi tuần tự từ 10% đến 90%.

Lý do lựa chọn phương pháp phân tích: Việc chuyển đổi nội dung văn bản sang biểu diễn chuỗi nhị phân độ dài l kết hợp cấu trúc bảng băm Boolean hai chiều kích thước 2 mũ r dòng nhân (l - r + 1) cột giúp giảm độ phức tạp tính toán xuống O((2^r + |S|)(l - r + 1)). Phương pháp này tối ưu hóa việc truy xuất bộ nhớ trong ở thời gian hằng số O(1), khắc phục nhược điểm tốn tài nguyên của mô hình Bayesian và SpamAssassin. Toàn bộ quá trình nghiên cứu, thiết kế phần mềm và đo lường thực nghiệm được tiến hành trong 12 tháng từ tháng 4 năm 2016 đến tháng 4 năm 2017.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thử nghiệm và đo lường định lượng trên hệ thống đã đem lại 4 phát hiện khoa học nổi bật:

1. Độ chính xác phân loại vượt trội: Thuật toán PNSA ứng dụng bảng băm tối ưu đạt độ chính xác trung bình (Accuracy - Acc) lên đến 99,67% trên bộ dữ liệu TREC 2007, vượt trội hơn 0,85% so với kết quả của các nghiên cứu công bố cùng thời điểm (đạt 98,82%). Tỷ lệ phát hiện thư rác (Detection Rate - DR) đạt mức 99,33%.
2. Triệt tiêu hoàn toàn lỗi chặn nhầm email công vụ: Tỷ lệ dương tính giả (False Positive Rate - FPR) đạt mức tuyệt đối 0,00% trên toàn bộ 9 bộ dữ liệu kiểm nghiệm với 9.000 lượt phân loại. Điều này khẳng định 100% email công vụ hợp lệ đều được chuyển phát an toàn đến hộp thư người dùng.
3. Tốc độ xử lý và hiệu năng ấn tượng: Ứng dụng PNSA chỉ mất trung bình 29 giây để hoàn tất huấn luyện 5.000 email mẫu và chỉ tiêu tốn 10 giây để phân loại 1.000 email kiểm thử trên máy tính cấu hình phổ thông (CPU Intel Core i5 2.5GHz, 2GB RAM).
4. Tối ưu hóa không gian tham số r: Thử nghiệm trên tập dữ liệu Spambase với 58 thuộc tính chứng minh khoảng giá trị tham số r từ 7 đến 10 bit mang lại sự cân bằng hoàn hảo giữa dung lượng bảng băm và năng lực phát hiện, giảm thiểu số lượng lỗ hổng nhận diện (holes) xuống dưới mức 1,2%.

Thảo luận kết quả

Nguyên nhân giúp PNSA đạt hiệu suất vượt trội xuất phát từ việc cấu trúc bảng băm Boolean A tự động loại bỏ các đoạn bit trùng lặp ngay trong pha biểu diễn, giải phóng tối đa bộ nhớ và tăng tốc độ khớp chuỗi.

Khi đối sánh dữ liệu thực nghiệm với các thuật toán học máy phân loại phổ biến trên phần mềm WEKA (như Naive Bayes, Support Vector Machine SVM/SMO, Cây quyết định J48 và Mạng nơ-ron nhân tạo Neural Network), PNSA thể hiện tính ổn định cơ chế cao khi tỷ lệ thư rác biến động mạnh. Kết quả này có thể được minh họa trực quan qua biểu đồ đường cong đặc trưng hoạt động máy thu (ROC) với diện tích dưới đường cong AUC đạt trên 0,992, vượt trội so với mức 0,914 của Naive Bayes trong các kịch bản tỷ lệ spam vượt ngưỡng 70%. Bảng số liệu tổng hợp 9 kịch bản kiểm thử khẳng định mô hình PNSA thích ứng xuất sắc với hạ tầng thư điện tử thực tế của Viễn thông tỉnh Bắc Kạn.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu và thực nghiệm, luận văn đưa ra 4 khuyến nghị hành động cụ thể:

1. Tích hợp trực tiếp module PNSA vào máy chủ Mail Server nội bộ: Quản trị viên hệ thống tại Viễn thông tỉnh Bắc Kạn cần tiến hành đóng gói giải pháp PNSA thành một module dịch vụ chạy song song với tường lửa và cụm máy chủ ứng dụng (Application Cluster Server) trong lộ trình 3 tháng quý 3 năm 2017, hướng tới mục tiêu tự động đánh chặn 98% thư rác xâm nhập.
2. Xây dựng quy trình tự động cập nhật tập bộ dò định kỳ: Phòng Kỹ thuật nghiệp vụ cần thiết lập cơ chế tái huấn luyện tập bộ dò r-chunk theo chu kỳ 7 ngày một lần với cỡ mẫu tối thiểu 5.000 email hợp lệ mới, duy trì tỷ lệ sai hỏng FPR dưới 0,05% trước các biến thể thư rác mới.
3. Nâng cấp bộ nhớ trong cho hạ tầng máy chủ thư điện tử: Ban Lãnh đạo Viễn thông tỉnh Bắc Kạn cần xem xét bổ sung nâng cấp dung lượng RAM máy chủ từ 8GB lên 32GB trong vòng 6 tháng tới, tạo điều kiện lưu trữ mở rộng các bảng băm nhị phân khi số lượng tài khoản cán bộ nhân viên vượt mốc 1.200 hòm thư.
4. Tăng cường đào tạo nhận thức an toàn thông tin số: Bộ phận chuyên trách an ninh mạng cần triển khai 2 khóa tập huấn thường niên cho toàn thể nhân viên về kỹ năng nhận biết email giả mạo (phishing) và quy chuẩn gắn nhãn thư rác, giúp giảm thiểu 80% nguy cơ mất mát dữ liệu nội bộ.

Đối tượng nên tham khảo luận văn

Công trình luận văn là nguồn tài liệu hữu ích cho 4 nhóm đối tượng trọng tâm:

1. Quản trị viên hệ thống và Chuyên viên an toàn thông tin tại các cơ quan, doanh nghiệp: Tiếp cận mô hình kiến trúc mạng thực tế, nắm vững giải pháp tích hợp bộ lọc AIS để bảo vệ máy chủ mail server nội bộ trước các làn sóng tấn công thư rác và mã độc.
2. Học viên cao học và Nhà nghiên cứu chuyên ngành Khoa học máy tính: Tham khảo hệ thống lý thuyết chuẩn mực về Hệ miễn dịch nhân tạo, chi tiết thuật toán sinh bộ dò r-chunk, r-contiguous và kỹ thuật tối ưu hóa bảng băm O(1).
3. Giảng viên và Sinh viên Công nghệ thông tin: Sử dụng làm tài liệu giảng dạy, học tập chuyên sâu cho các môn An ninh mạng, Khai phá dữ liệu và Học máy, kèm theo phương pháp luận đối soát kết quả bằng công cụ WEKA.
4. Cán bộ hoạch định chính sách công nghệ thông tin tại địa phương: Nắm bắt cơ sở khoa học để xây dựng các đề án quy hoạch phát triển an toàn thông tin số cấp tỉnh, đáp ứng các tiêu chuẩn kỹ thuật quốc gia.

Câu hỏi thường gặp

Hệ miễn dịch nhân tạo (AIS) khác biệt gì so với các kỹ thuật lọc thư rác truyền thống như Bayesian hay Heuristic? Khác với phương pháp Heuristic dựa vào bộ luật tĩnh dễ bị lỗi thời hoặc Bayesian đòi hỏi tính toán xác suất từ vựng phức tạp làm quá tải CPU, AIS mô phỏng cơ chế miễn dịch tự nhiên có khả năng thích nghi linh hoạt. Thông qua việc mã hóa chuỗi nhị phân và bảng băm bộ dò r-chunk, AIS nhận diện nhanh chóng các cấu trúc thư rác mới với mức tiêu hao tài nguyên thấp.

Tại sao thuật toán PNSA lại đạt tỷ lệ dương tính giả (FPR) ở mức 0%? PNSA kết hợp đồng thời chọn lọc tích cực (bảo vệ tập Self) và chọn lọc tiêu cực (loại bỏ mọi bộ dò khớp với Self). Toàn bộ 5.000 email HAM trong tập huấn luyện được quét sạch đặc trưng trước khi sinh bộ dò, đảm bảo không có bất kỳ thư công vụ hợp lệ nào bị hệ thống đánh nhãn nhầm thành spam.

Cấu hình phần cứng tối thiểu để triển khai giải pháp PNSA cho một đơn vị cấp tỉnh là bao nhiêu? Hệ thống chỉ yêu cầu máy chủ trang bị CPU từ 2 nhân đến 4 nhân tốc độ 2.5GHz và dung lượng RAM từ 2GB đến 4GB. Nhờ độ phức tạp tính toán được tối ưu hóa ở mức O((2^r + |S|)(l - r + 1)), phần mềm có thể xử lý trơn tru lưu lượng hàng chục nghìn email mỗi ngày mà không gây nghẽn mạng.

Giá trị tham số r ảnh hưởng như thế nào đến độ chính xác của bộ lọc? Tham số r biểu thị độ dài chuỗi bit so khớp liên tiếp. Nếu chọn r quá nhỏ, số lượng bộ dò sẽ tăng vọt gây báo động nhầm; nếu r quá lớn, các lỗ hổng nhận diện (holes) sẽ xuất hiện nhiều khiến thư rác lọt lưới. Kết quả thực nghiệm xác định khoảng giá trị r từ 7 đến 10 bit là tối ưu nhất.

Giải pháp trong luận văn có thể mở rộng để lọc thư rác trên tin nhắn SMS hoặc mạng xã hội không? Hoàn toàn khả thi. Do toàn bộ dữ liệu văn bản đều được tiền xử lý và trừu tượng hóa thành các chuỗi nhị phân cố định, mô hình PNSA có thể áp dụng trực tiếp cho việc phát hiện tin nhắn rác SMS, tin nhắn OTT hoặc bài viết spam trên các diễn đàn mạng xã hội với thời gian phản hồi dưới 15 mili-giây.

Kết luận

Luận văn thạc sĩ của tác giả Phạm Văn Dương đã giải quyết thấu đáo bài toán lọc thư rác với 5 đóng góp học thuật và thực tiễn cốt lõi:

• Hệ thống hóa toàn diện cơ sở lý thuyết Hệ miễn dịch nhân tạo (AIS), làm rõ nguyên lý hoạt động của các thuật toán NSA, PSA và PNSA.
• Đề xuất thuật toán sinh bộ dò r-chunk cải tiến dựa trên bảng băm Boolean hai chiều, tối ưu hóa độ phức tạp xử lý về mức O((2^r + |S|)(l - r + 1)).
• Thực nghiệm thành công trên hai bộ dữ liệu chuẩn quốc tế TREC 2007 (75.419 email) và Spambase (4.601 mẫu, 58 thuộc tính), xác lập độ chính xác vượt bậc 99,67% và tỷ lệ dương tính giả 0,00%.
• Thiết kế mô hình ứng dụng thực tế trên hệ thống mạng nội bộ của Viễn thông tỉnh Bắc Kạn, chứng minh tính khả thi và hiệu năng cao trong môi trường vận hành thực tế.
• Mở ra hướng nghiên cứu mở rộng về tự động hóa điều chỉnh tham số r và mở rộng phạm vi sang các nền tảng truyền thông số đa phương tiện.

Trong giai đoạn từ 6 đến 12 tháng tới, các cơ quan, đơn vị viễn thông cần khẩn trương đưa mô hình AIS vào thử nghiệm diện rộng nhằm tăng cường năng lực phòng thủ không gian mạng. Độc giả và các đơn vị quan tâm hãy liên hệ với tác giả hoặc tra cứu toàn văn luận văn tại Trung tâm Thông tin Thư viện – Trường Đại học Công nghệ Thông tin và Truyền thông (Đại học Thái Nguyên) để tiếp nhận chuyển giao mô hình và tài liệu kỹ thuật chi tiết.

Trích đoạn nội dung tài liệu

Chương 1. THƯ RÁC VÀ CÁC PHƯƠNG PHÁP LỌC THƯ RÁC Một trong những dịch vụ Internet mang lại đó là dịch vụ thư điện tử, đây là phương pháp giao tiếp rất đơn giản, tiện lợi, rẻ và hiệu quả giữa mọi người. Tuy nhiên, chính vì những lợi ích của dịch vụ thư điện tử mang lại mà số lượng thư trao đổitrên Internet ngày càng tăng và hầu hết trong số những thư đó là thư rác(Email spam). Thư rác thường được gửi với số lượng lớn, người dùng không mong đợi với nhiều mục đích khác nhau như: Quảng cáo, đính kèm virus, gây phiền toái khó chịu cho người dùng, làm giảm tốc độ Internet và tốc độ xử lý của server, gây thiệt hại lớn về kinh tế.

Chương này khái quát các vấn đề về thư rác, ảnh hưởng của thư rác trong cuộc sống và các phương pháp ngăn chặn thư rác. Các khái niệm trong chương này được tham khảo trong [1], [2], [3], [4].Một số khái niệm cơ bản 1. Định nghĩa thư rác Có nhiều tranh cãi về việc đâu là định nghĩa chính xác của thư rác (spam email), bởi vì thư rác mang tính cá nhân hóa nên khó mà nói lên được hết ý nghĩa của thư rác. Nhiều ý kiến cho rằng thư rác là những “thư điện tử (email) không mong muốn”.

Định nghĩa này cũng không thực sự chính xác, như một nhân viên nhận những thư điện tử về công việc từ sếp của họ, đây là những thư điện tử người nhân viên không mong muốn nhưng chúng không phải là thư rác. Lại có ý kiến khác cho rằng thư rác là những “thư điện tử thương mại không được yêu cầu từ phía người nhận” - những thư này bao gồm các thư điện tử quảng cáo về các sản phẩm và thư điện tử lừa gạt. Nhưng định nghĩa này cũng không thực sự chính xác, nó làm mọi người nghĩ rằng thư rác giống như là thư đáng bỏ đi (junk mail). Sau đây sẽ đưa ra một định nghĩa thông dụng nhất về thư rác và giải thích các đặc điểm của nó để phân biệt thư rác với thư thông thường [1,2]: LUAN VAN CHAT LUONG download : add [e-mail] 9 Thư rác (spam mail) là những bức thư điện tử không yêu cầu, không mong muốn và được gửi hàng loạt tới người nhận.

Một bức thư nếu gửi không theo yêu cầu có thể đó là thư làm quen hoặc thư được gửi lần đầu tiên, còn nếu thư được gửi hàng loạt thì nó có thể là thư gửi cho khách hàng của các công ty, các nhà cung cấp dịch vụ. Vì thế một bức thư bị coi là rác khi nó không được yêu cầu, và được gửi hàng loạt. Hình vẽ sau sẽ thể hiện rõ định nghĩa của thư rác: Hinh 1.1: Tất cả các thư điện tử 1. Phân loại thư rác Có rất nhiều cách phân loại thư rác[1].

- Dựa trên kiểu phát tán thư rác: Tính tới thời điểm hiện tại, thư rác có thể bị gửi thông qua thư điện tử, nhóm thảo luận (newsgroups), điện thoại di động (Short Message Service - SMS) và các dịch vụ gửi tin nhắn trên mạng (như Yahoo Messenger, Windows Messenger.) - Dựa vào quan hệ với người gửi thư rác: bao gồm người lạ mặt, bạn bè, người quen và các dịch vụ quyên góp giúp đỡ… - Dựa vào nội dung của thư rác: các kiểu nội dung phổ biến như thư về thương mại, thư về chính trị, thư về công nghệ, chuỗi thư (chain e-mail) và các loại khác (như thư phát tán virus. - Dựa trên động lực của người gửi: Thông thường, thư rác được gửi đi cho những mục đích quảng bá thông tin. Ngoài ra, còn có một số loại thư LUAN VAN CHAT LUONG download : add [e-mail] 10 rác được gửi tới một người nhận xác định nào đó nhằm mục đích phá vỡ và gây cản trở công việc của người nhận hay mạng của nhà cung cấp dịch vụ thư điện tử (ESP) được gọi là “bom thư”. Thư rác còn được cố ý gửi đi nhằm thông báo tin sai lệch, làm xáo trộn công việc và cuộc sống của người nhận.

Sự phân loại thư rác rất quan trọng không chỉ trong lĩnh vực tạo những bộ lọc thư rác có hiệu quả cao mà còn giúp cho việc ban hành các bộ luật chống thư rác phù hợp.Các phương pháp lọc thư rác 1. Lọc thư rác thông qua việc đưa ra luật lệ nhằm hạn chế, ngăn chặn việc gửi thư rác. Khi tình trạng thư rác ngày càng tăng trên đường truyền internet gây ra nhiều phiền toái và thiệt hại lớn trên thế giới rất nhiều các quốc gia đã đưa ra các luật để ngăn chặn thư rác. Dưới đây là một số nội dung cơ bản liên quan tới giải pháp ngăn chặn thông qua luật lệ pháp lý được đưa ra trên báo điện tử của bộ viễn thông.

Mỹ là một những nước đầu tiên trên thế giới cố gắng ban hành các văn bản pháp luật để giải quyết vấn đề thư điện tử rác tràn ngập. Từ tháng 7 năm 1997, bang Nevada đã dẫn đầu trong việc ban hành các quy phạm pháp luật quy định về hành vi phục vụ và sử dụng thư tín điện tử. Tính đến tháng 3 năm 2003, đã có 26 bang ban hành quy phạm pháp luật quy định về dịch vụ và hành vi sử dụng thư tín điện tử. Đến tháng 11 năm 2003, con số này lên đến 36.

Về phía chính quyền liên bang, từ những năm 1990, cả Thượng nghị viện và Hạ nghị viện đều quan tâm đến sự lan rộng của thư tín điện tử quấy rối và thư rác, và đã đưa ra nhiều dự án luật như “Luật bảo vệ hộp thư không bị quấy rối” (1999), “Luật Bảo vệ người sử dụng thư điện tử”, “Luật Khống chế thư điện tử không được phép” (2000), “Luật Khống LUAN VAN CHAT LUONG download : add [e-mail] 11 chế thư rác truyền qua đường điện thoại vô tuyến” (2000) , “Luật Chống thư rác” (2001). Mười năm gần đây, Liên minh Châu Âu cũng đã ban hành một số chỉ lệnh, đưa ra các quy phạm và chỉ dẫn đối với các vấn đề thương mại điện tử, thông tin điện tử, bảo hộ dữ liệu. Trong các chỉ lệnh nói trên, có không ít các qui định có liên quan mật thiết, thậm chí là trực tiếp với phục vụ và sử dụng thư điện tử như “Chỉ lệnh Bảo vệ dữ liệu cá nhân ở Châu Âu”, “Chỉ lệnh về thông tin điện tử và bảo mật dữ liệu”. Ngày 12 tháng 7 năm 2002, Nghị Viện Liên minh Châu Âu đã thông qua “Chỉ lệnh Bảo mật riêng tư và Thông tin điện tử trong Liên minh Châu Âu”.

Chỉ lệnh quy định: Từ 31 tháng 10 năm 2003, trong phạm vi Liên minh Châu Âu, nếu chưa được người nhận đồng ý trước, không được gửi thư điện tử thương mại hay nhằm mục đích tuyên truyền cho cá nhân. Tiếp theo sau khi Liên minh Châu Âu đưa ra các qui định về phục vụ và sử dụng thư điện tử, các nước thành viên Liên minh Châu Âu, như Italia, Anh, Đan Mạch, Tây Ban Nha. đều đã ban hành quy phạm pháp luật trong nước quy định hành vi cung cấp và sử dụng thư điện tử, ngăn chặn sự tràn ngập của thư rác. Tại Việt Nam vấn đề thư rác bắt đầu nhận được sự quan tâm từ phía các cơ quan có trách nhiệm.

Bộ Thương mại đang soạn thảo Thông tư quản lý hoạt động quảng cáo thương mại trên các phương tiện điện tử. Trên trang báo điện tử của bộ viễn thông, Bà Lại Việt Anh, Trưởng Phòng chính sách, Vụ Thương mại điện tử, Bộ Thương mại, nhận xét: mục tiêu của Thông tư này trước mắt tập trung quản lý ba hình thức quảng cáo đang bức xúc: thư điện tử, tin nhắn điện thoại di động và quảng cáo trên trang thông tin điện tử 1. Lọc thư rác dựa trên địa chỉ IP Phương pháp lọc thư rác thông qua địa chỉ IP là phương pháp đơn giản và được sử dụng sớm nhất trong công cuộc chống thư rác. Dựa vào địa LUAN VAN CHAT LUONG download : add [e-mail] 12 chỉ IP của người gửi để xác định thư đó bị ngăn chặn hoặc cho qua.

Có hai cách để thực hiện việc lọc thư: một là duy trì một danh sách các địa chỉ IP bị chặn (còn gọi là danh sách đen blacklist); thứ hai là sử dụng một danh sách các địa chỉ IP cho phép qua (danh sách trắng whitelist). Danh sách đen (Blacklist) Người ta lập ra một danh sách các địa chỉ gửi thư rác. Các nhà cung cấp dịch vụ thư điện tử (ISP) sẽ dựa trên danh sách này để loại bỏ những thư nằm trong danh sách này. Danh sách này thường xuyên được cập nhật và được chia sẻ giữa các nhà cung cấp dịch vụ.

Một số danh sách đen điển hình được lập ra như: SpamCop Blocking List và Composite Block List. Ưu điểm của phương pháp này là các ISP sẽ ngăn chặn được khá nhiều địa chỉ gửi thư rác. Mặc dù danh sách đen này luôn được cập nhật nhưng với sự thay đổi liên tục địa chỉ, sự giả mạo địa chỉ hoặc lợi dụng một mail server hợp pháp để gửi thư rác đã làm số lượng thư rác gửi đi vẫn ngày càng tăng cao. Do đó phương pháp này chỉ ngăn chặn được một nửa số thư rác gửi đi và sẽ mất rất nhiều thư hợp pháp nếu ngăn chặn nhầm.

Danh sách trắng (Whitelist) Danh sách các địa chỉ tin cậy (Safe Sender List), danh sách này có thể do một nhà cung cấp dịch vụ nào đó cung cấp. Những địa chỉ thuộc danh sách sẽ được cho qua bộ lọc. Người dùng phải đăng ký với nhà cung cấp danh sách để được nằm trong danh sách. Ưu điểm: số lượng địa chỉ trong danh sách trắng sẽ ít hơn trong danh sách đen vì thế sẽ dễ cập nhật hơn danh sách đen và giải quyết được tình trạng chặn nhầm thư.

Tuy nhiên cả hai phương pháp trên đều có nhược điểm là khó cập nhật, nhất là khi ai đó thay đổi địa chỉ IP. Ngoài ra người gửi cũng có thể lợi dụng server mail có trong danh sách trắng để gửi thư rác, khi đó rất khó kiểm soát. LUAN VAN CHAT LUONG download : add luanvanchat@agmail. Lọc dựa trên chuỗi hỏi/ đáp Đặc trưng của phương pháp này là khả năng tự động gửi thư hồi đáp cho người gửi để yêu cầu một số hành động chắc chắn về việc gửi thư của họ.

Chương trình kiểm tra này được đặt tên là “Turing Test” sau một vài kiểm tra được nghĩ ra bởi nhà toán học người anh tên là Alan Turing.