Nghiên Cứu Phương Pháp Xác Định Thứ Tự Ưu Tiên Của Thư Điện Tử

Tài liệu nghiên cứu Nghiên cứu phương pháp xác định thứ tự ưu tiên của thư điện tử, tổng hợp lý thuyết và thực hành, cung cấp kiến thức chuyên sâu về kỹ thuật.

• Tác giả: Nguyễn Thanh Hà
• Người hướng dẫn: PGS. Trần Quang Anh
• Trường học: Học viện công nghệ bưu chính viễn thông
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Nghiên cứu phương pháp xác định thứ tự ưu tiên của thư điện tử
• Loại tài liệu: luận án tiến sĩ kỹ thuật
• Năm xuất bản: 2023
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN VỀ THƯ ĐIỆN TỬ VÀ XÁC ĐỊNH THỨ TỰ ƯU TIÊN CỦA THƯ ĐIỆN TỬ
• 1.1. HỆ THỐNG THƯ ĐIỆN TỬ
• 1.1.1. Sơ lược về thư điện tử
• 1.1.2. Cấu trúc của một bức thư điện tử
• 1.1.3. Mô hình xử lý thư điện tử
• 1.1.4. Sơ lược về thư rác
• 1.2. CÁC BÀI TOÁN XÁC ĐỊNH THỨ TỰ ƯU TIÊN CỦA THƯ ĐIỆN TỬ
• 1.2.1. Dự đoán hành động của người dùng thư điện tử
• 1.2.2. Xếp hạng thư điện tử
• 1.3. TỔNG QUAN NGHIÊN CỨU VỀ XÁC ĐỊNH THỨ TỰ ƯU TIÊN CỦA THƯ ĐIỆN TỬ
• 1.3.1. Nghiên cứu về lọc thư rác
• 1.3.2. Nghiên cứu về dự đoán hành động người dùng
• 1.3.3. Nghiên cứu về xếp hạng thư điện tử
• 1.3.4. Các tiêu chí đánh giá
• 1.4. TẬP DỮ LIỆU THƯ ĐIỆN TỬ
• 1.4.1. Tập dữ liệu Enron
• 1.4.2. Tập dữ liệu TREC
• 1.4.3. Các tập dữ liệu khác
• 1.4.4. Tập dữ liệu thư điện tử tiếng Việt
• 1.5. KẾT LUẬN CHƯƠNG 1
• 2. CHƯƠNG 2: PHÁT HIỆN THƯ RÁC
• 2.1. Đặc điểm của thư rác
• 2.2. Những vấn đề còn tồn tại
• 2.3. ỨNG DỤNG MẠNG NƠ-RON ĐỂ TỰ ĐỘNG LỰA CHỌN ĐẶC TRƯNG CHO BÀI TOÁN SINH TẬP LUẬT SPAMASSASSIN
• 2.3.1. Quy trình xây dựng tập luật SpamAssassin với mạng nơ-ron
• 2.3.2. Tiền xử lý và biểu diễn dữ liệu
• 2.3.3. Mô hình mạng nơ-ron
• 2.3.4. Tạo tập luật SpamAssassin
• 2.4. ỨNG DỤNG TỐI ƯU HÓA ĐA MỤC TIÊU ĐỂ XÁC ĐỊNH ĐIỂM SỐ CHO TẬP LUẬT SPAMASSASSIN
• 2.4.1. Ứng dụng tối ưu hóa đa mục tiêu để sinh tập luật SpamAssassin
• 2.4.2. Ứng dụng phương pháp tối ưu hóa Pareto
• 2.4.3. Các giải thuật tiến hóa đa mục tiêu
• 2.4.4. Ứng dụng SPEA-II để giải quyết bài toán
• 2.4.5. Thí nghiệm ứng dụng mạng nơ-ron để sinh tập luật SpamAssassin
• 2.4.6. Thí nghiệm ứng dụng SPEA-II để sinh tập luật
• 2.5. KẾT LUẬN CHƯƠNG 2
• 3. CHƯƠNG 3: DỰ ĐOÁN HÀNH ĐỘNG NGƯỜI DÙNG THƯ ĐIỆN TỬ
• 3.1. Những khó khăn, tồn tại
• 3.2. Hướng tiếp cận giải quyết bài toán
• 3.3. DỰ ĐOÁN HÀNH ĐỘNG NGƯỜI DÙNG VỚI TẬP LUẬT SPAMASSASSIN
• 3.3.1. Xây dựng máy phân loại nhị phân
• 3.3.2. Xây dựng máy phân loại đa lớp
• 3.4. ÁP DỤNG LUẬT HAM ĐỂ CẢI THIỆN TẬP LUẬT SPAMASSASSIN TRONG BÀI TOÁN DỰ ĐOÁN HÀNH ĐỘNG NGƯỜI DÙNG
• 3.4.1. Tự động gán nhãn cho dữ liệu
• 3.4.2. Sinh tập luật SpamAssassin với luật Ham
• 3.5. ỨNG DỤNG PHƯƠNG PHÁP SD1 TRONG MÔ HÌNH DỰ ĐOÁN HÀNH ĐỘNG NGƯỜI DÙNG
• 3.5.1. Cải tiến máy phân loại nhị phân trong mô hình phân loại đa lớp
• 3.5.2. Cải thiện trong khâu tiền xử lý dữ liệu
• 3.5.3. Sinh tập luật SpamAssassin dựa trên mạng nơ-ron
• 3.5.4. Tiêu chí đánh giá
• 3.6. KẾT LUẬN CHƯƠNG 3
• 4. CHƯƠNG 4: XẾP HẠNG THƯ ĐIỆN TỬ
• 4.1. Những khó khăn và tồn tại
• 4.2. Hướng tiếp cận của bài toán
• 4.3. XẾP HẠNG THƯ ĐIỆN TỬ BẰNG PHƯƠNG PHÁP HỌC SÂU
• 4.3.1. Phương pháp học sâu trong xử lý thư điện tử
• 4.3.2. Tiền xử lý dữ liệu
• 4.3.3. Biểu diễn đặc trưng mạng xã hội
• 4.3.4. Biểu diễn đặc trưng nội dung
• 4.3.5. Cấu trúc mạng nơ-ron
• 4.3.6. Huấn luyện mạng nơ-ron
• 4.4. XẾP HẠNG THƯ ĐIỆN TỬ DỰA TRÊN SPAMASSASSIN
• 4.4.1. Xây dựng máy phân loại nhị phân
• 4.4.2. Các phương án phân loại đa lớp
• 4.4.3. Tiêu chí đánh giá
• 4.5. So sánh các thuật toán tối ưu mạng nơ-ron (thí nghiệm 1)
• 4.6. So sánh các phương án word embedding (thí nghiệm 2)
• 4.7. So sánh một số phương pháp xếp hạng thư điện tử (thí nghiệm 3)
• 4.8. KẾT LUẬN CHƯƠNG 4
• DANH MỤC CÁC CÔNG TRÌNH CÔNG BỐ
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Nghiên Cứu Ưu Tiên Thư Điện Tử Hiện Nay

Thư điện tử đã trở thành công cụ liên lạc không thể thiếu trong công việc và cuộc sống. Tuy nhiên, tình trạng quá tải email đang gây ảnh hưởng lớn đến năng suất làm việc. Theo nghiên cứu, người dùng nhận quá nhiều thư, dẫn đến không đủ thời gian xử lý. Vấn đề này xuất phát từ cả thư rác và thư hợp lệ. Do đó, việc nghiên cứu các phương pháp xác định thứ tự ưu tiên thư điện tử là vô cùng cấp thiết. Các công cụ hỗ trợ sắp xếp hòm thư, lọc thư rác, xếp hạng email, và gợi ý hành động trở nên quan trọng hơn bao giờ hết. Luận án này tập trung vào việc nghiên cứu và đề xuất các phương pháp xác định độ ưu tiên email hiệu quả.

1.1. Tầm Quan Trọng của Quản Lý Email Hiệu Quả

Quản lý email hiệu quả giúp người dùng tiết kiệm thời gian, tăng năng suất làm việc và giảm căng thẳng. Việc xác định email quan trọng và email khẩn cấp cho phép người dùng tập trung vào những thông tin cần thiết. Các phương pháp sắp xếp email và lọc email đóng vai trò quan trọng trong việc giảm thiểu tình trạng quá tải. Một hệ thống quản lý email tốt cần có khả năng tự động phân loại và ưu tiên email dựa trên nhiều tiêu chí khác nhau.

1.2. Các Phương Pháp Xác Định Độ Ưu Tiên Email Phổ Biến

Hiện nay, có nhiều phương pháp xác định độ ưu tiên email, bao gồm lọc thư rác, dự đoán hành động người dùng và xếp hạng email. Lọc thư rác giúp loại bỏ những email không mong muốn, trong khi dự đoán hành động người dùng giúp người dùng nhanh chóng tìm thấy những email cần xử lý. Xếp hạng email dựa trên tầm quan trọng của email đối với người dùng. Các phương pháp này đều hướng đến mục tiêu chung là giảm thiểu thời gian xử lý email và tăng hiệu quả công việc.

II. Thách Thức và Vấn Đề Trong Xử Lý Email Hiện Nay

Mặc dù có nhiều công cụ và phương pháp hỗ trợ quản lý email, người dùng vẫn phải đối mặt với nhiều thách thức. Tình trạng thư rác ngày càng tinh vi, vượt qua các bộ lọc truyền thống. Số lượng email hợp lệ quá lớn cũng gây khó khăn trong việc xử lý email hiệu quả. Các phương pháp xác định độ ưu tiên hiện tại chưa đáp ứng được nhu cầu thực tế của người dùng. Do đó, cần có những nghiên cứu sâu hơn để giải quyết những vấn đề này.

2.1. Sự Gia Tăng của Thư Rác và Các Biện Pháp Đối Phó

Thư rác không chỉ gây phiền toái mà còn tiềm ẩn nhiều nguy cơ bảo mật. Các biện pháp đối phó với thư rác bao gồm sử dụng bộ lọc, báo cáo thư rác và nâng cao nhận thức về các chiêu trò lừa đảo. Tuy nhiên, các nhà phát tán thư rác liên tục thay đổi phương thức, khiến cho việc phát hiện và ngăn chặn trở nên khó khăn hơn. Cần có những giải pháp tiên tiến hơn để đối phó với vấn nạn thư rác.

2.2. Quá Tải Email Hợp Lệ Nguyên Nhân và Hậu Quả

Quá tải email hợp lệ xảy ra khi người dùng nhận được quá nhiều email từ các nguồn đáng tin cậy. Điều này có thể dẫn đến giảm năng suất làm việc, bỏ lỡ thông tin quan trọng và căng thẳng. Nguyên nhân của tình trạng này bao gồm sự gia tăng của các bản tin, thông báo và email trao đổi công việc. Cần có những phương pháp phân loại email và ưu tiên email hiệu quả để giải quyết vấn đề này.

2.3. Hạn Chế Của Các Phương Pháp Xác Định Độ Ưu Tiên Hiện Tại

Các phương pháp xác định độ ưu tiên hiện tại thường dựa trên các quy tắc cứng nhắc hoặc các thuật toán học máy đơn giản. Chúng có thể không phù hợp với nhu cầu và thói quen của từng người dùng. Ngoài ra, việc thiếu dữ liệu huấn luyện cũng là một thách thức lớn. Cần có những phương pháp linh hoạt và cá nhân hóa hơn để xác định độ ưu tiên email một cách chính xác.

III. Phương Pháp Xác Định Độ Ưu Tiên Email Dựa Trên AI

Để giải quyết các thách thức trên, việc ứng dụng trí tuệ nhân tạo trong quản lý email là một hướng đi đầy tiềm năng. Các thuật toán học máy có thể được sử dụng để phân tích nội dung email, hành vi người dùng và các yếu tố khác để xác định độ ưu tiên một cách chính xác. Các mô hình học sâu có khả năng học hỏi từ dữ liệu lớn và đưa ra những dự đoán phức tạp. Điều này giúp người dùng quản lý email hiệu quả hơn và tiết kiệm thời gian.

3.1. Ứng Dụng Học Sâu Trong Phân Tích Nội Dung Email

Học sâu có thể được sử dụng để phân tích nội dung email và trích xuất các thông tin quan trọng. Các mô hình ngôn ngữ tự nhiên có khả năng hiểu ngữ nghĩa của email và xác định chủ đề, mục đích và mức độ khẩn cấp. Điều này giúp phân loại email và ưu tiên email một cách tự động. Các kỹ thuật word embedding có thể được sử dụng để biểu diễn các từ và cụm từ trong email dưới dạng các vector số, giúp máy tính hiểu được ý nghĩa của chúng.

3.2. Sử Dụng Trí Tuệ Nhân Tạo Để Dự Đoán Hành Vi Người Dùng

Trí tuệ nhân tạo có thể được sử dụng để dự đoán hành vi người dùng dựa trên lịch sử tương tác với email. Các thuật toán học máy có thể học hỏi từ các hành động trước đây của người dùng, chẳng hạn như mở, trả lời, chuyển tiếp hoặc xóa email. Điều này giúp xác định độ ưu tiên của email dựa trên khả năng người dùng sẽ thực hiện hành động nào đó với email đó. Các mô hình dự đoán hành vi người dùng có thể được cá nhân hóa để phù hợp với thói quen của từng người dùng.

3.3. Tự Động Hóa Quy Trình Xử Lý Email Bằng AI

Trí tuệ nhân tạo có thể được sử dụng để tự động hóa quy trình xử lý email, giúp người dùng tiết kiệm thời gian và công sức. Các công cụ hỗ trợ AI có thể tự động phân loại email, ưu tiên email, trả lời email mẫu và lên lịch các cuộc họp. Điều này giúp người dùng tập trung vào những công việc quan trọng hơn và giảm thiểu sự gián đoạn do email gây ra. Tự động hóa quy trình xử lý email có thể cải thiện đáng kể năng suất làm việc và hiệu quả công việc.

IV. Xây Dựng Tập Luật SpamAssassin Tối Ưu Với Mạng Nơ ron

SpamAssassin là một nền tảng lọc thư rác phổ biến, sử dụng các luật có trọng số để xác định thư rác. Luận án này đề xuất phương pháp tự động sinh tập luật cho SpamAssassin bằng cách sử dụng mạng nơ-ron. Phương pháp này cho phép đồng thời lựa chọn luật và gán điểm số, tạo ra tập luật tối ưu hơn. Điều này giúp cải thiện khả năng phát hiện thư rác và giảm thiểu số lượng email rác lọt qua bộ lọc.

4.1. Quy Trình Xây Dựng Tập Luật SpamAssassin Tự Động

Quy trình xây dựng tập luật SpamAssassin tự động bao gồm các bước tiền xử lý dữ liệu, xây dựng mô hình mạng nơ-ron và tạo tập luật. Dữ liệu email được tiền xử lý để loại bỏ các thông tin không cần thiết và chuẩn hóa định dạng. Mô hình mạng nơ-ron được huấn luyện để phân loại email thành thư rác và thư hợp lệ. Tập luật SpamAssassin được tạo ra dựa trên kết quả phân loại của mạng nơ-ron.

4.2. Tối Ưu Hóa Đa Mục Tiêu Để Gán Điểm Số Cho Luật

Việc gán điểm số cho luật là một bước quan trọng trong việc xây dựng tập luật SpamAssassin. Luận án này đề xuất sử dụng phương pháp tối ưu hóa đa mục tiêu để gán điểm số cho luật. Phương pháp này cho phép cân bằng giữa các mục tiêu khác nhau, chẳng hạn như độ chính xác, độ phủ và độ tin cậy. Các thuật toán tiến hóa đa mục tiêu có thể được sử dụng để tìm ra tập luật tối ưu.

4.3. Thí Nghiệm và Đánh Giá Hiệu Quả Của Phương Pháp

Để đánh giá hiệu quả của phương pháp đề xuất, các thí nghiệm được thực hiện trên tập dữ liệu email tiếng Việt. Kết quả thí nghiệm cho thấy phương pháp đề xuất có khả năng tạo ra tập luật SpamAssassin với độ chính xác cao hơn so với các phương pháp truyền thống. Điều này chứng tỏ tính hiệu quả của việc sử dụng mạng nơ-ron và tối ưu hóa đa mục tiêu trong việc xây dựng tập luật SpamAssassin.

V. Dự Đoán Hành Động Người Dùng Trên Nền Tảng SpamAssassin

Luận án này cũng nghiên cứu cách dự đoán hành động người dùng trên nền tảng SpamAssassin. Bằng cách bổ sung tính năng dự đoán hành động, SpamAssassin có thể giúp người dùng nhanh chóng tìm thấy những email cần xử lý. Điều này đặc biệt hữu ích trong việc giảm thiểu tình trạng quá tải email và tăng hiệu quả công việc. Việc tích hợp tính năng dự đoán hành động vào SpamAssassin giúp việc triển khai trở nên dễ dàng hơn trên các hệ thống máy chủ email.

5.1. Xây Dựng Máy Phân Loại Nhị Phân và Đa Lớp

Để dự đoán hành động người dùng, cần xây dựng các máy phân loại nhị phân và đa lớp. Máy phân loại nhị phân được sử dụng để phân loại email thành hai loại, chẳng hạn như "đọc" và "không đọc". Máy phân loại đa lớp được sử dụng để phân loại email thành nhiều loại, chẳng hạn như "đọc", "trả lời", "chuyển tiếp" và "xóa". Các thuật toán học máy có thể được sử dụng để huấn luyện các máy phân loại này.

5.2. Áp Dụng Luật Ham Để Cải Thiện Tập Luật SpamAssassin

Luật Ham có thể được áp dụng để cải thiện tập luật SpamAssassin trong bài toán dự đoán hành động người dùng. Luật Ham cho phép tự động gán nhãn cho dữ liệu và sinh tập luật SpamAssassin dựa trên các nhãn này. Điều này giúp cải thiện độ chính xác của việc dự đoán hành động người dùng và giảm thiểu số lượng email bị phân loại sai.

5.3. Ứng Dụng Phương Pháp SD1 Trong Mô Hình Dự Đoán

Phương pháp SD1 có thể được ứng dụng trong mô hình dự đoán hành động người dùng để cải thiện hiệu quả của việc phân loại email. Phương pháp này cho phép cải tiến máy phân loại nhị phân trong mô hình phân loại đa lớp và cải thiện khâu tiền xử lý dữ liệu. Điều này giúp tăng độ chính xác của việc dự đoán hành động người dùng và giảm thiểu số lượng email bị bỏ lỡ.

VI. Xếp Hạng Thư Điện Tử Bằng Phương Pháp Học Sâu

Luận án này cũng nghiên cứu phương pháp xếp hạng thư điện tử bằng học sâu. Phương pháp này cho phép phân loại email dựa trên tầm quan trọng của nó đối với người dùng. Các mô hình học sâu có khả năng học hỏi từ dữ liệu lớn và đưa ra những dự đoán phức tạp. Điều này giúp người dùng tập trung vào những email quan trọng nhất và giảm thiểu thời gian xử lý email.

6.1. Tiền Xử Lý Dữ Liệu và Biểu Diễn Đặc Trưng

Tiền xử lý dữ liệu là một bước quan trọng trong việc xây dựng mô hình xếp hạng thư điện tử bằng học sâu. Dữ liệu email cần được tiền xử lý để loại bỏ các thông tin không cần thiết và chuẩn hóa định dạng. Các đặc trưng của email, chẳng hạn như nội dung, người gửi và thời gian gửi, cần được biểu diễn dưới dạng các vector số để có thể được sử dụng bởi các mô hình học sâu.

6.2. Cấu Trúc Mạng Nơ ron và Huấn Luyện Mô Hình

Cấu trúc mạng nơ-ron đóng vai trò quan trọng trong việc xây dựng mô hình xếp hạng thư điện tử bằng học sâu. Các mạng nơ-ron tích chập (CNN) và mạng nơ-ron hồi quy (RNN) có thể được sử dụng để học hỏi từ dữ liệu email. Mô hình cần được huấn luyện trên một tập dữ liệu lớn để đạt được độ chính xác cao.

6.3. So Sánh Các Thuật Toán Tối Ưu Mạng Nơ ron

Các thuật toán tối ưu mạng nơ-ron có ảnh hưởng lớn đến hiệu quả của mô hình xếp hạng thư điện tử. Các thuật toán như Adam, SGD và RMSprop có thể được sử dụng để tối ưu hóa mạng nơ-ron. Việc so sánh các thuật toán này giúp tìm ra thuật toán phù hợp nhất cho bài toán xếp hạng thư điện tử.

Trích đoạn nội dung tài liệu

CHƯƠNG 1 – TỔNG QUAN VỀ THƯ ĐIỆN TỬ VÀ XÁC ĐỊNH THỨ TỰ ƯU TIÊN CỦA THƯ ĐIỆN TỬ Chương này trình bày những vấn đề tổng quan về xác định thứ tự ưu tiên của thư điện tử, sự cấp thiết của vấn đề nghiên cứu, các phương pháp và tập dữ liệu đã được sử dụng. Trước tiên, những khái niệm cơ bản về thư điện tử được đề cập. Tiếp theo, các bài toán về xác định thứ tự ưu tiên của thư điện tử được định nghĩa cụ thể. Sau đó, luận án tổng hợp các nghiên cứu về các bài toán nói trên, những thành tựu đã đạt được cùng với những vấn đề còn tồn tại.

Cuối cùng, một số vấn đề quan trọng mà luận án sẽ tập trung giải quyết sẽ được trình bày trong phần kết luận chương. HỆ THỐNG THƯ ĐIỆN TỬ 1. Sơ lược về thư điện tử Thư điện tử là phương tiện liên lạc được ra đời sớm nhất trên mạng máy tính và đã được sử dụng từ trước khi mạng Internet xuất hiện cho đến ngày nay. Không có một tác giả cụ thể nào phát minh ra thư điện tử [16] mà chuẩn thư điện tử đồ sộ hiện giờ đã được phát triển dần từ những thông điệp có cấu trúc rất đơn giản.

Những bức thư điện tử đầu tiên có dạng tệp văn bản và được gửi đi giữa những người dùng trên cùng máy tính. Hình thức này được áp dụng từ năm 1965 tại học viện MIT và được đặt tên là MAILBOX. Khi mạng ARPANET, tiền thân của Internet, ra đời thì nhu cầu gửi thư điện tử qua mạng nhanh chóng xuất hiện. Cần có hệ thống thư điện tử phức tạp hơn có thể làm điều đó.

Ray Tomlinson là người đã xây dựng chuẩn thư điện tử đầu tiên vào năm 1972. Ông nổi tiếng với quy tắc sử dụng cấu trúc ten_nguoi_dung@ten_may_tinh để thể hiện địa chỉ hòm thư của người gửi và người nhận. Thư điện tử là ứng dụng chủ yếu duy trì sự tồn tại của ARPANET với khoảng vài trăm người dùng trong quân đội Hoa Kỳ vào năm 1974. Trong cùng khoảng thời gian từ 1974 tới 1975, Larry Roberts áp dụng việc chia hòm thư thành các thư mục.

Sau đó, các tính năng của thư điện tử được phát triển thêm bởi nhiều cá nhân, hình thành một hệ thống tiêu chuẩn phức tạp. Hệ thống thư điện tử được sử dụng hiện nay là sự kết hợp giữa các giao thức SMTP, POP3 và IMAP. Những giao thức này được phát minh từ những năm 80 của thế kỷ 20 bởi nhiều tác giả và được liên tục duy trì, cập nhật cho đến ngày nay. 8 Thư điện tử phát triển nhanh chóng, thúc đẩy sự ra đời của mạng Internet toàn cầu.

Một trong những phần mềm thương mại ra đời đầu tiên là Eudora (1988). Không lâu sau, hệ thống Pegasus Mail xuất hiện (1990). Sự phổ biến của mạng Internet toàn cầu đã dẫn đến sự ra đời của các dịch vụ cung cấp thư điện tử lớn và miễn phí như AOL Mail (1993), Hotmail (1996) và Yahoo (1997). Dịch vụ thư điện tử miễn phí lớn nhất ngày nay, Gmail, xuất hiện khá lâu về sau, vào năm 2004.

Mặc dù mạng toàn cầu phát triển mạnh và có khả năng phục vụ việc trao đổi thông tin thông qua giao thức HTTP, thư điện tử vẫn là ứng dụng quan trọng và được sử dụng nhiều nhất của Internet. Năm 2004 có hơn 600 triệu người sử dụng thư điện tử trên toàn thế giới [16]. Cho đến năm 2019, số người dùng đã tăng lên con số khổng lồ 3,93 tỷ người và dự tính vẫn tiếp tục tăng6 trung bình 2.7% mỗi năm cho tới năm 2024. Theo thống kê của Radicati7, lượng thư được gửi đi mỗi ngày vào năm 2019 là 293,6 tỷ và dự đoán tới năm 2024 sẽ lên tới 361,6 tỷ, tốc độ tăng trung bình 4,3% mỗi năm.

Cấu trúc của một bức thư điện tử Tiêu chuẩn mới nhất về cấu trúc của thư điện tử được định nghĩa trong RFC 5322 [38]. Thư điện tử là một tập tin văn bản thuần túy. Một bức thư bao gồm các trường header (gộp chung thành “phần header” của bức thư). Theo sau phần header là phần nội dung thư, phần này có thể có nội dung hoặc để trống.

Các trường header là những dòng bắt đầu bằng tên trường, theo sau bởi một dấu hai chấm (“:”), tiếp đến là giá trị của header. Sau đây là một số trường header phổ biến: – Message-ID: chuỗi định danh duy nhất của bức thư. – From: địa chỉ hòm thư của (những) người soạn ra nội dung thông điệp. – Sender: địa chỉ hòm thư của người thực hiện việc gửi thư (nếu người gửi thư không phải là người soạn thư).

– Reply-To: địa chỉ (những) hòm thư mà bức thư cần được phản hồi tới. – In-Reply-To: Message-ID của bức được trả lời.com/statistics/255080/number-of-e-mail-users-worldwide/ 7 https://www.com/statistics/456500/daily-number-of-e-mails-worldwide/ 9 – References: một tập hợp Message-ID của những bức thư liên quan, thường là những bức thư trong cùng chuỗi thư trao đổi qua lại (thread). – To: địa chỉ hòm thư của (những) người mà nội dung bức thư hướng tới. – Cc: địa chỉ hòm thư của (những) người nhận bản sao của bức thư.

– Bcc: địa chỉ hòm thư của (những) người nhận bản sao của bức thư nhưng danh tính của họ không được công bố cho những người cùng nhận thư. – Subject: Tiêu đề bức thư. – Date: thời gian bức thư được hoàn thành và sẵn sàng để gửi đi. Các trường Message-ID, In-Reply-To và References được sử dụng để xác định chuỗi thư trao đổi (trả lời, chuyển tiếp).

Phần nội dung thư là tập hợp của nhiều dòng ký tự, với những quy định sau: – Ký tự CR (giá trị 13) và ký tự LF (giá trị 10) phải xuất hiện cùng nhau để tạo thành ký tự xuống dòng (CRLF), không được xuất hiện riêng lẻ. – Một dòng trong phần nội dung không được dài quá 998 ký tự và nên được hạn chế trong vòng 78 ký tự, không tính CRLF. Nội dung thư ngày nay được chia thành nhiều phần (multipart) trong đó thường có một phần là nội dung thư ở dạng văn bản thuần túy (Content-Type: text/plain) và một phần là nội dung thư định dạng HTML (Content-Type: text/html). Các phần khác của bức thư thường là các tệp đính kèm với kiểu dữ liệu MIME cụ thể (ví dụ: image/jpeg, application/zip).

Tuy nhiên, sự linh hoạt trong tiêu chuẩn về thư điện tử cũng cho phép một bức thư có cấu tạo đơn giản gồm một phần (singlepart). Có thể thấy rõ, thư điện tử có những đặc trưng không tồn tại trong văn bản thông thường như các trường header, người gửi, người nhận… Thư điện tử cũng khác biệt với văn bản thông thường vì nội dung thư thường bao gồm những ký tự trang trí, ký hiệu, ký tự đặc biệt… Ngoài ra, ngôn ngữ sử dụng trong thư điện tử cũng có thể không tuân thủ nghiêm ngặt các quy tắc về đánh vần và ngữ pháp. Đối với trường hợp thư rác, kẻ phát tán thường cố tình soạn nội dung bức thư nhằm mục đích đánh lừa các bộ lọc, điều này không xảy ra đối với việc soạn thảo các văn bản thông thường. Mô hình xử lý thư điện tử Hình 1.1: Mô hình xử lý thư điện tử tổng quát Có 3 khâu chính trong hệ thống xử lý thư điện tử (Hình 1.1) là truyền tải, tiếp nhận và quản lý.

Trong mỗi khâu lại có nhiều giao thức được xây dựng để quy định việc định dạng văn bản và giao tiếp qua mạng… Tất cả các vấn đề về thư điện tử đều xảy ra ở một hoặc một số bước của cả tiến trình này. Tác vụ lọc thư rác thường được thực hiện ở bước truyền tải và tiếp nhận bởi số lượng thư rác rất lớn, cần phải được loại bỏ trước khi thư rác được truyền đến hòm thư của người sử dụng. Việc lọc thư rác thực hiện càng sớm thì càng tiết kiệm được nhiều tài nguyên tính toán và tài nguyên mạng. Tác vụ dự đoán hành động và xếp hạng thư điện tử thường được thực hiện ở bước quản lý thư điện tử vì mục tiêu của hai bài toán này là sắp xếp, bố trí lại hòm thư của người dùng.

Cả ba bài toán lọc thư rác, dự đoán hành động người dùng và xếp hạng thư điện tử đều nằm trong bài toán tổng quát là bài toán xác định thứ tự ưu tiên của thư điện tử.2: Mô hình gửi và nhận thư phổ biến (nguồn: jscape.com) Giao thức truyền tải thư điện tử qua mạng là SMTP. Giao thức này được sử dụng bởi đơn vị truyền tải thư điện tử (MTA), một hệ thống có nhiệm vụ chuyển các bức thư từ máy chủ của người gửi đến máy chủ của người nhận. Giao thức SMTP có hai thành 11 phần là phần server (bên gửi) và phần client (bên nhận). Hệ thống MTA tích hợp phần server của giao thức SMTP.

MUA là phần mềm giúp người dùng gửi và nhận thư điện tử. Trong MUA có tích hợp phần client của giao thức SMTP dùng để gửi thư từ máy tính cá nhân lên máy chủ gửi thư MTA. SMTP là giao thức duy trì kết nối và là giao thức dựa trên văn bản, khác với các giao thức dùng dữ liệu nhị phân. Trong quá trình trao đổi thông điệp, MTA và MUA giao tiếp với nhau bằng chuỗi lệnh SMTP.

Ví dụ về các thông điệp khi gửi một bức thư được mô tả trong Hình 1. Ở bất kỳ bước nào trong giao dịch đó, server có thể gửi trả client một thông báo từ chối và giao dịch sẽ kết thúc. Điều này có ứng dụng thực tế để chặn thư rác sớm từ ngay khi vừa phát hiện, tránh làm hao tốn tài nguyên của máy chủ. Các phương pháp lọc thư rác dựa vào địa chỉ IP có thể chặn ngay từ bước bắt đầu kết nối bởi vì ở thông điệp này ta đã biết địa chỉ hòm thư của người gửi.

Một phương pháp lọc thư rác dựa theo địa chỉ của người gửi phải chờ đến thông điệp MAIL FROM để có thể quyết định có chặn bức thư hay không.3: Các thông điệp khi sử dụng giao thức SMTP để gửi một bức thư (nguồn: smtp2go.com) Trong khi SMTP có thể được hiểu là chiếc xe đưa thư đảm nhận việc vận chuyển thư từ bưu cục này đến bưu cục khác thì MDA có thể được hiểu là người đưa thư từ bưu điện địa phương tới hòm thư của người nhận. Nhiệm vụ chính của MDA là nhận thư từ MTA và lưu trữ nó vào đúng hòm thư của người nhận. Vai trò của MDA được miêu tả trong Hình 1.2 và MDA giao tiếp với MUA thông qua một trong hai giao thức là POP 12 và IMAP. Một phương pháp lọc thư rác có thể được tích hợp vào MDA để chặn những bức thư không mong muốn trước khi chúng kịp vào tới hòm thư của người dùng.