Tổng quan luận án

Tình trạng quá tải thư điện tử (email overload) là một vấn đề phổ biến trong môi trường làm việc và đời sống số. Tình trạng này xảy ra khi khối lượng thư nhận được vượt quá khả năng tiếp nhận, xử lý của người dùng, dẫn đến suy giảm năng suất làm việc, gián đoạn công việc và gây mất cân bằng trong đời sống. Nguyên nhân của quá tải thư điện tử xuất phát từ cả hai phía: sự gia tăng không ngừng của thư rác (spam email) và sự bùng nổ về số lượng của thư hợp lệ (ham email).

Số liệu thống kê thực tế được luận án trích dẫn phản ánh mức độ nghiêm trọng của vấn đề:

  • Thống kê của Văn phòng An toàn thông tin – Đại học Texas (tháng 7/2019) ghi nhận hệ thống IronPort xử lý hơn 11 triệu bức thư, trong đó thư rác chiếm tỷ lệ lớn.
  • Báo cáo từ Symantec (2017–2018) và Kaspersky (2019–2020) chỉ ra tỷ lệ thư rác toàn cầu duy trì ở mức khoảng 55%; Trustwave công bố tỷ lệ này là 45%.
  • Nghiên cứu của Rao và Reiley (2012) ước tính thiệt hại kinh tế do thư rác gây ra tại Mỹ vào khoảng 20 tỷ USD mỗi năm.
  • Tập đoàn Radicati ghi nhận năm 2019 có khoảng 293,6 tỷ bức thư được gửi/nhận mỗi ngày bởi 3,93 tỷ người dùng (dự báo đạt 361,6 tỷ thư vào năm 2024 với mức tăng 4,3%/năm).
  • Về thư hợp lệ, khảo sát diện rộng tại Mỹ cho thấy nhân viên văn phòng nhận trung bình 41 thư hợp lệ/ngày; nghiên cứu năm 2014 cho thấy 29% số thư nhận được không liên quan đến công việc của người nhận và người dùng phải dành hơn 20% thời gian làm việc để xử lý thư; nghiên cứu trên dữ liệu Yahoo Mail (2 triệu người dùng, 16 tỷ bức thư) chỉ ra tỷ lệ trả lời thư giảm từ 25% (khi nhận dưới 20 thư/ngày) xuống còn 5% (khi nhận khoảng 100 thư/ngày).

Trước thực trạng đó, việc xây dựng các công cụ tự động xác định thứ tự ưu tiên của thư điện tử là yêu cầu cấp thiết. Tuy nhiên, các giải pháp hiện hành bộc lộ một số khoảng trống nghiên cứu:

  1. Nền tảng lọc thư rác mã nguồn mở SpamAssassin dựa trên tập luật có trọng số phổ biến trong thực tế nhưng các phương pháp sinh luật hiện có tách rời hai khâu: lựa chọn đặc trưng và tối ưu gán điểm số, khiến tập luật chưa đạt trạng thái tối ưu toàn cục.
  2. SpamAssassin chưa được tích hợp chức năng dự đoán hành động của người dùng đối với thư hợp lệ, làm hạn chế khả năng hỗ trợ sắp xếp hòm thư trực tiếp trên máy chủ thư điện tử.
  3. Các mô hình xếp hạng tầm quan trọng của thư điện tử nhiều mức độ (ordinal ranking) trước đây đạt độ chính xác chưa cao, đặc biệt khi gặp ràng buộc về sự khan hiếm của dữ liệu huấn luyện cá nhân hóa và sự thiếu hụt các nghiên cứu chuyên sâu dành cho thư điện tử tiếng Việt.

Luận án đặt ra ba câu hỏi nghiên cứu cụ thể:

  • Câu hỏi 1: Làm thế nào để đồng thời lựa chọn đặc trưng và gán điểm số cho tập luật SpamAssassin?
  • Câu hỏi 2: Làm thế nào để dự đoán thư điện tử theo hành động người dùng trên nền tảng SpamAssassin?
  • Câu hỏi 3: Làm thế nào để xây dựng mô hình xếp hạng thư điện tử với độ chính xác cao hơn những mô hình hiện tại?

Tương ứng với ba câu hỏi trên, luận án xác định ba mục tiêu cụ thể:

  1. Đề xuất phương pháp tự động sinh tập luật lọc thư rác cho SpamAssassin cho phép lựa chọn đặc trưng và gán điểm số đồng thời thông qua mô hình mạng nơ-ron và thuật toán tối ưu đa mục tiêu.
  2. Đề xuất phương pháp dự đoán hành động người dùng (gồm ba hành động: "trả lời", "đọc", "xóa") tích hợp trên nền tảng SpamAssassin bằng cách kết hợp nhiều tập luật qua các mô hình phân loại đa lớp.
  3. Đề xuất phương pháp xếp hạng thư điện tử với 5 mức độ ưu tiên dựa trên học sâu, khai thác đồng thời đặc trưng nội dung (word embedding) và đặc trưng mạng xã hội, giải quyết ràng buộc về dữ liệu huấn luyện hạn chế.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Thư điện tử tiếng Việt và các đặc trưng biểu diễn (nội dung văn bản, trường header, cấu trúc mạng xã hội người gửi - người nhận).
  • Phạm vi nghiên cứu: Ứng dụng các kỹ thuật học máy, học sâu và tối ưu hóa giải quyết ba bài toán thành phần của xác định thứ tự ưu tiên: lọc thư rác (2 lớp), dự đoán hành động người dùng (3 lớp) và xếp hạng mức độ ưu tiên (5 mức độ). Phạm vi triển khai kỹ thuật gắn liền với nền tảng SpamAssassin (cho lọc thư rác và dự đoán hành động) và các mô hình học sâu độc lập (cho xếp hạng thư điện tử).

Tổng quan tài liệu và vị trí của luận án

Luận án hệ thống hóa các công trình nghiên cứu trong và ngoài nước liên quan đến bài toán xác định thứ tự ưu tiên của thư điện tử theo ba nhánh chính:

1. Nghiên cứu về lọc thư rác (Spam Filtering)

Các phương pháp lọc thư rác được phân loại theo không gian đặc trưng hoặc theo mô hình tiếp cận:

  • Tiếp cận theo danh sách và giao thức: Bao gồm danh sách đen (Blacklist, RBL), danh sách trắng (Whitelist), danh sách xám (Greylisting), cơ chế hỏi-đáp (Challenge/Response), và các giao thức xác thực danh tính người gửi như DKIM, SPF, DMARC. Một số nghiên cứu đề xuất thay đổi hạ tầng giao thức như chuyển từ SMTP sang DMTP hoặc phân tích chuỗi lệnh SMTP bất thường để giảm thiểu 11% thư rác.
  • Tiếp cận học máy trên đặc trưng nội dung: Bộ lọc Naïve Bayes đạt độ chính xác cao (lên tới 99,9%) nhưng dễ bị tấn công đầu độc thống kê (statistical poisoning) và chèn từ khóa ngẫu nhiên (Graham-Cumming). Yerazunis so sánh mô hình Markov với Bayes và ghi nhận mô hình Markov giảm 40% tỷ lệ lỗi do nắm bắt được tính phi tuyến. Máy vector hỗ trợ (SVM) xử lý tốt không gian thuộc tính lớn nhưng phụ thuộc vào tính đại diện của dữ liệu huấn luyện.
  • Tiếp cận theo mạng xã hội thư điện tử: Boykin và Roychowdhury đề xuất tính hệ số phân cụm (Clustering Coefficient) để phát hiện thư rác dựa trên giả thiết người gửi thư rác ít có liên kết qua lại giữa các nút láng giềng. Nghiên cứu tiếp theo cải tiến công thức phân cụm nhằm khắc phục hạn chế khi bậc đỉnh nhỏ hoặc không có liên kết nội bộ. Phương pháp MailRank áp dụng nguyên lý tương tự PageRank để xếp hạng độ tin cậy của người gửi.
  • Tiếp cận trên nền tảng SpamAssassin: Nền tảng hoạt động dựa trên cơ chế cộng dồn trọng số của các luật so khớp biểu thức chính quy. Các nghiên cứu trước đây sinh tập luật bằng phương pháp thủ công hoặc áp dụng thuật toán tối ưu đơn mục tiêu như SGD hay giải thuật tiến hóa HPSOWM trên tập luật xác định trước. Một số nghiên cứu bước đầu áp dụng tối ưu đa mục tiêu (NSGA-II, DMEA-II) nhưng chưa kết hợp đồng thời khâu trích chọn đặc trưng và khâu gán điểm số.

2. Nghiên cứu về dự đoán hành động người dùng (Email Action Prediction)

  • Bälter phân tích định tính các yếu tố ảnh hưởng đến hành vi xử lý thư: quan hệ công việc làm tăng 23% độ quan trọng, lịch làm việc tăng 24%, nội dung xã giao giảm 32% tầm quan trọng nhưng lại làm tăng 23% xác suất trả lời thư.
  • Minh và cộng sự áp dụng Naïve Bayes với kỹ thuật ước lượng xác suất m-estimate để phân loại ba hành động (trả lời, đọc, xóa), đạt độ chính xác 83,3%, song gặp khó khăn trong việc phân biệt giữa hành động "đọc" và "trả lời".
  • Di Castro và cộng sự (Yahoo! Labs) nghiên cứu trên 100.000 người dùng, đề xuất mô hình kết hợp học máy theo chiều dọc (cá nhân hóa) và chiều ngang (toàn cục) trên 4 hành vi: đọc, trả lời, xóa sau khi đọc, xóa khi chưa đọc.
  • Yang và cộng sự, Mukherjee và Jiang phát triển các mô hình dự đoán hành động trả lời thư mang tính cá nhân hóa bằng cách tạo vector đại diện người dùng và vector tương đồng (similarity features).

3. Nghiên cứu về xếp hạng thư điện tử (Email Ranking)

  • Nghiên cứu của Horvitz và cộng sự tiếp cận bài toán xếp hạng theo hướng hồi quy với sai số trung bình là 33,1 (độ lệch chuẩn 29).
  • Nghiên cứu của các tác giả khác phân chia thư thành 5 mức độ ưu tiên, ghi nhận sai số trung bình thấp nhất khoảng 0,8 (tương ứng độ chính xác cực đại khoảng 80%). Khi bổ sung thêm đặc trưng mạng xã hội, sai số giảm xuống 0,67.

Vị trí và khoảng trống luận án lựa chọn giải quyết: Luận án định vị trọng tâm vào việc giải quyết các điểm nghẽn của các nghiên cứu đi trước: (1) Khắc phục sự phân tách giữa khâu chọn luật và gán điểm trong SpamAssassin; (2) Mở rộng khả năng của SpamAssassin sang bài toán phân loại đa lớp để dự đoán hành động người dùng; (3) Nâng cao độ chính xác phân loại 5 mức độ ưu tiên của thư điện tử tiếng Việt bằng kiến trúc học sâu kết hợp vector nhúng ngữ nghĩa và cấu trúc mạng xã hội.

Cơ sở lý thuyết và phương pháp nghiên cứu

Cơ sở lý thuyết và các khái niệm nền tảng

  • Cấu trúc thư điện tử (RFC 5322): Bao gồm phần header (các trường: Message-ID, From, Sender, Reply-To, In-Reply-To, References, To, Cc, Bcc, Subject, Date) và phần nội dung (body) đơn phần hoặc đa phần (MIME - text/plain, text/html, tệp đính kèm).
  • Hạ tầng truyền nhận thư: Mô hình phối hợp giữa Mail User Agent (MUA), Mail Transfer Agent (MTA) và Mail Delivery Agent (MDA) qua các giao thức mạng chuẩn: SMTP, POP3, IMAP, LMTP.
  • Mô hình tính điểm của SpamAssassin: Biểu diễn việc áp dụng tập luật $S = {r_1, r_2, \dots, r_n}$ với các trọng số $s_i$ lên bức thư $m$: $$y = \sum_{i=1}^n f_{r_i}(m)$$ Trong đó $f_{r_i}(m) = s_i$ nếu từ khóa/mẫu của luật $r_i$ xuất hiện trong $m$, ngược lại bằng 0. Bức thư bị coi là thư rác nếu tổng điểm $y \ge T$ (ngưỡng mặc định $T = 5.0$). Cấu trúc này tương đương với một mạng nơ-ron perceptron một lớp không có hệ số chệch (bias) và không có hàm kích hoạt phi tuyến ở ngõ ra.
  • Lý thuyết tối ưu hóa đa mục tiêu và Pareto: Tìm kiếm tập nghiệm không bị vượt trội (non-dominated solutions) nhằm tối ưu đồng thời các độ đo đánh giá mâu thuẫn nhau (như tỷ lệ phát hiện đúng thư rác và tỷ lệ cảnh báo nhầm thư hợp lệ). Ứng dụng giải thuật tiến hóa đa mục tiêu SPEA-II (Strength Pareto Evolutionary Algorithm II).
  • Lý thuyết đồ thị và phân tích mạng xã hội: Mô hình hóa hộp thư thành đồ thị có hướng $G=(V, E)$ với $V$ là tập các địa chỉ thư điện tử, $E$ là tập các tương tác gửi/nhận. Hệ số phân cụm cải tiến được tính toán dựa trên số đỉnh kết nối $k_i$, số liên kết láng giềng $E_i$, số nút gửi $S_i$ và số nút nhận $R_i$: $$C_i = \frac{2 E_i + S_i + R_i}{k_i (k_i - 1) + 1}$$
  • Kỹ thuật học sâu và biểu diễn từ: Sử dụng mạng nơ-ron truyền thẳng (MLP), mạng nơ-ron hồi quy (RNN), kỹ thuật Dropout chống quá khớp, cùng các mô hình biểu diễn từ phân tán (Word Embedding) thay thế cho không gian vector truyền thống (TF, TF-IDF).
  • Chiến lược phân loại đa lớp từ bộ phân loại nhị phân:
    • One-versus-All (OVA) / One-versus-Rest (OVR).
    • One-versus-One (OVO) kết hợp các cơ chế bỏ phiếu: Bỏ phiếu đa số có thứ tự (Order-Based Majority Voting - OB-MV), Bỏ phiếu tự tin nhất có thứ tự (Order-Based Most Confident - OB-MC), OVO-MS.
    • Đồ thị định hướng không tuần hoàn (Directed Acyclic Graph - DAG).

Phương pháp nghiên cứu thực nghiệm

  • Quy trình nghiên cứu: Nghiên cứu cơ sở lý thuyết $\rightarrow$ Đề xuất kiến trúc thuật toán/mô hình $\rightarrow$ Thu thập, tiền xử lý và xây dựng tập dữ liệu $\rightarrow$ Thiết kế kịch bản thực nghiệm $\rightarrow$ Đánh giá, đối sánh định lượng và định tính.
  • Dữ liệu thực nghiệm:
    • Tập dữ liệu chuẩn quốc tế: Enron, TREC (TREC07p).
    • Tập dữ liệu thư điện tử tiếng Việt: Thu thập thực tế, tiền xử lý tách từ tiếng Việt, loại bỏ nhiễu HTML, chuẩn hóa trường header và gán nhãn theo các tiêu chuẩn phân loại tương ứng với từng bài toán.

Nội dung chính theo từng chương

Bố cục luận án: 4 Chương chuyên môn

Chương 1 – Tổng quan về thư điện tử và xác định thứ tự ưu tiên của thư điện tử

Chương này tổng thuật toàn diện về lịch sử phát triển của hệ thống thư điện tử từ các hệ thống sơ khai (MAILBOX năm 1965 tại MIT, chuẩn địa chỉ của Ray Tomlinson năm 1972 trên ARPANET) đến các giao thức tiêu chuẩn (SMTP, POP3, IMAP) và các dịch vụ thư điện tử hiện đại.

Tác giả phân tích chi tiết cấu trúc bức thư theo RFC 5322, các mô hình xử lý thư (truyền tải, tiếp nhận, quản lý) và phân loại thư rác (UCE, UBE). Chương 1 làm rõ khái niệm "xác định thứ tự ưu tiên của thư điện tử" (email prioritization), chỉ ra rằng bài toán này không đơn thuần là phân loại thư mục mà bao gồm ba dạng bài toán có quan hệ chặt chẽ:

  1. Lọc thư rác: Bài toán phân loại 2 lớp (thư rác và thư hợp lệ).
  2. Dự đoán hành động người dùng: Bài toán phân loại đa lớp không có thứ tự bắt buộc giữa các nhãn hành động (trả lời, đọc, xóa).
  3. Xếp hạng thư điện tử: Bài toán phân loại có thứ bậc (ordinal classification) hoặc hồi quy nhằm xác định mức độ quan trọng cá nhân hóa (5 mức độ).

Chương 1 cũng tổng hợp các tập dữ liệu công khai, giới thiệu tập dữ liệu thư điện tử tiếng Việt và hệ thống các tiêu chí đánh giá hiệu năng phân loại: Accuracy, Precision, Recall, F-measure, False Alarm Rate (FAR).

Chương 2 – Phát hiện thư rác

Chương 2 tập trung giải quyết bài toán lọc thư rác tiếng Việt trên nền tảng SpamAssassin. Tác giả phân tích các đặc trưng của thư rác, những thủ thuật qua mặt bộ lọc (chèn từ ngẫu nhiên, ẩn nội dung trong hình ảnh) và các hạn chế của quy trình sinh luật truyền thống.

Hai đóng góp học thuật trọng tâm của chương gồm:

  1. Ứng dụng mạng nơ-ron để tự động lựa chọn đặc trưng: Đề xuất quy trình chuyển đổi bài toán sinh luật SpamAssassin thành bài toán huấn luyện mạng perceptron nhiều thành phần. Quá trình này cho phép thực hiện đồng thời khâu lựa chọn đặc trưng từ khóa hữu ích và khâu cập nhật trọng số cho luật, thay vì chọn đặc trưng độc lập rồi mới gán trọng số như các nghiên cứu trước (ví dụ phương pháp của tác giả [28], [62]).
  2. Ứng dụng tối ưu hóa đa mục tiêu (SPEA-II): Ứng dụng giải thuật tiến hóa SPEA-II dựa trên tối ưu hóa Pareto để xác định không gian điểm số tối ưu cho tập luật SpamAssassin. Phương pháp này giải quyết mâu thuẫn giữa việc cực đại hóa tỷ lệ phát hiện thư rác (Recall) và cực tiểu hóa tỷ lệ cảnh báo nhầm thư hợp lệ (FAR).

Thực nghiệm được thiết lập trên tập dữ liệu tiếng Việt với các kịch bản so sánh quy mô bộ lọc (30 luật và 100 luật), đối chứng hiệu năng giữa phương pháp tối ưu đơn mục tiêu (SSOA) và đa mục tiêu (SPEA-II).

Phương pháp / Kịch bản Đặc trưng kỹ thuật Mục tiêu tối ưu
Sinh luật bằng Mạng Nơ-ron Lựa chọn đặc trưng & gán trọng số đồng thời qua Perceptron Cực tiểu hóa hàm mất mát phân loại nhị phân
Tối ưu điểm số bằng SPEA-II Giải thuật tiến hóa đa mục tiêu trên tập Pareto Cân bằng tối ưu giữa tỷ lệ phát hiện spam và FAR
Mô hình SSOA (đối chứng) Tối ưu hóa đơn mục tiêu truyền thống Cực đại hóa một tiêu chí đơn lẻ (dễ mất cân bằng)

Chương 3 – Dự đoán hành động người dùng thư điện tử

Chương 3 mở rộng phạm vi ứng dụng của SpamAssassin sang bài toán dự đoán hành động người dùng đối với các bức thư hợp lệ nhằm hỗ trợ giảm tải hộp thư. Hệ thống tập trung dự đoán ba hành động cốt lõi: "trả lời", "đọc", và "xóa".

Các nội dung kỹ thuật chính được triển khai trong chương gồm:

  1. Tích hợp luật Ham và tự động gán nhãn: Bổ sung các luật đặc trưng cho thư hợp lệ (Ham rules) vào cấu trúc luật của SpamAssassin để tăng cường khả năng phân biệt giữa các loại thư không phải rác.
  2. Chuyển đổi phân loại nhị phân sang đa lớp: Xây dựng và so sánh các cấu trúc kết hợp nhiều bộ phân loại nhị phân SpamAssassin thành hệ thống phân loại đa lớp:
    • Phương án One-versus-All (OVA).
    • Phương án One-versus-One (OVO) với các chiến lược tổng hợp kết quả: Bỏ phiếu đa số có thứ tự (OB-MV), Bỏ phiếu tự tin nhất có thứ tự (OB-MC), OVO-MS.
    • Phương án cây nhị phân đồ thị định hướng không tuần hoàn (DAG / DAGSVM).
  3. Ứng dụng phương pháp SD1: Đề xuất phương pháp SD1 nhằm cải tiến máy phân loại nhị phân trong mô hình đa lớp, tối ưu hóa khâu tiền xử lý dữ liệu và sinh tập luật dựa trên mạng nơ-ron.

Kết quả thực nghiệm so sánh chi tiết các phương pháp UAP1, UAP2 và UAP3 trên tập dữ liệu người dùng thực tế, chứng minh tính khả thi của việc tích hợp tính năng dự đoán hành động trực tiếp vào bộ lọc SpamAssassin mà không cần thay đổi kiến trúc máy chủ mail.

Chương 4 – Xếp hạng thư điện tử

Chương 4 nghiên cứu bài toán xếp hạng thư điện tử theo 5 mức độ ưu tiên (từ mức 1 đến mức 5), mô phỏng mức độ quan trọng mang tính cá nhân hóa của từng bức thư đối với người dùng trong điều kiện dữ liệu huấn luyện bị giới hạn.

Nội dung nghiên cứu và thực nghiệm bao gồm:

  1. Mô hình học sâu kết hợp đa đặc trưng: Xây dựng kiến trúc mạng nơ-ron tiếp nhận hai luồng đầu vào độc lập:
    • Luồng đặc trưng nội dung: Biểu diễn văn bản thông qua các mô hình Word Embedding để nắm bắt thông tin ngữ nghĩa và thứ tự từ, khắc phục nhược điểm của mô hình túi từ (Bag-of-Words) và TF-IDF.
    • Luồng đặc trưng mạng xã hội: Trích xuất các chỉ số tương tác đồ thị (hệ số phân cụm cải tiến, bậc đỉnh gửi/nhận, tần suất trao đổi).
  2. Huấn luyện và cấu trúc mạng: Kết hợp các tầng mạng nơ-ron hồi quy (RNN) xử lý chuỗi văn bản và các tầng kết nối đầy đủ (Feed-Forward/MLP), tích hợp kỹ thuật Dropout để kiểm soát hiện tượng quá khớp (overfitting).
  3. Thực nghiệm đối sánh chuyên sâu:
    • Thí nghiệm 1: Đánh giá và so sánh các thuật toán tối ưu hóa mạng nơ-ron (GD, SGD, Adam...).
    • Thí nghiệm 2: So sánh hiệu năng của các cấu hình Word Embedding khác nhau đối với dữ liệu tiếng Việt.
    • Thí nghiệm 3: Đối sánh phương pháp đề xuất (EP2) với phương pháp cơ sở (EP1) và phương pháp YooEP của các tác giả trước đó trên cùng tập dữ liệu thử nghiệm.

Kết quả và những đóng góp mới

Luận án đã đạt được các kết quả khoa học và đóng góp mới cụ thể sau:

1. Đóng góp về mặt lý luận và mô hình học thuật

  • Cơ chế sinh luật đồng thời cho SpamAssassin: Đề xuất giải pháp tích hợp khâu lựa chọn đặc trưng và gán điểm số trong cùng một quá trình huấn luyện mạng nơ-ron perceptron. Giải pháp này khắc phục hạn chế của các nghiên cứu trước đây vốn chỉ chọn một tập đặc trưng cố định mà không kiểm chứng sự tối ưu tương tác giữa đặc trưng và trọng số.
  • Mô hình đa mục tiêu Pareto trong tối ưu luật lọc thư: Chứng minh tính hiệu quả của giải thuật tiến hóa SPEA-II trong việc cân bằng giữa độ nhạy phát hiện thư rác và tỷ lệ báo nhầm trên tập dữ liệu tiếng Việt.
  • Khung phân loại đa lớp dựa trên SpamAssassin: Thiết lập thành công mô hình dự đoán hành động người dùng (trả lời, đọc, xóa) bằng cách kết hợp các tập luật SpamAssassin qua kiến trúc OVA, OVO (OB-MV, OB-MC) và DAG. Đây là công trình đầu tiên mở rộng chức năng của nền tảng luật SpamAssassin sang bài toán dự đoán hành vi người dùng.
  • Kiến trúc học sâu đa luồng cho xếp hạng thư điện tử 5 mức độ: Đề xuất mô hình học sâu hợp nhất không gian biểu diễn ngữ nghĩa (Word Embedding) và không gian hành vi tương tác mạng xã hội (Social Graph), nâng cao độ chính xác xếp hạng thư so với các mô hình hồi quy thứ bậc (SVOR) hoặc mô hình truyền thống trước đây trong điều kiện tập dữ liệu nhỏ.
Tóm tắt các mô hình và giải pháp kỹ thuật chính trong luận án:

2. Đóng góp về mặt thực tiễn và ứng dụng

  • Cung cấp tập luật lọc thư rác và dự đoán hành động tối ưu cho tiếng Việt, có khả năng cấu hình trực tiếp vào các hệ thống máy chủ thư điện tử đang vận hành SpamAssassin (Postfix, Sendmail, Qmail) mà không phát sinh chi phí bản quyền phần mềm.
  • Xây dựng mô hình xếp hạng mức độ ưu tiên độc lập, hỗ trợ trực tiếp cho người dùng thư điện tử tiếng Việt trong việc tự động tổ chức, lọc và quản trị hộp thư cá nhân hoặc cơ quan.

Hạn chế và hướng nghiên cứu tiếp

Dựa trên các phân tích và phạm vi nghiên cứu được trình bày trong luận án, một số hạn chế và định hướng phát triển được xác định:

  • Quy mô và tính đa dạng của dữ liệu: Tập dữ liệu thư điện tử tiếng Việt được thu thập và thử nghiệm tuy đáp ứng yêu cầu nghiên cứu nhưng cần tiếp tục được mở rộng về số lượng người dùng và lĩnh vực chuyên môn để nâng cao tính phổ quát của mô hình.
  • Ràng buộc thời gian tính toán trong môi trường thực: Quá trình tối ưu hóa đa mục tiêu bằng giải thuật tiến hóa (SPEA-II) trên các tập dữ liệu lớn đòi hỏi chi phí tính toán đáng kể; cần nghiên cứu tối ưu hóa thời gian huấn luyện khi triển khai cập nhật tập luật theo thời gian thực.
  • Độ phức tạp của hành vi người dùng: Nghiên cứu hiện tại giới hạn ở 3 hành động chính (trả lời, đọc, xóa) và 5 mức độ ưu tiên; các nghiên cứu tiếp theo có thể mở rộng dự đoán các hành vi kết hợp (như gắn cờ, chuyển tiếp, lưu trữ đồng thời) và thích ứng động theo sự thay đổi hành vi dài hạn của từng cá nhân.

Giá trị tham khảo

Luận án là tài liệu tham khảo chuyên môn trong lĩnh vực Hệ thống thông tin và Khoa học máy tính:

  • Nghiên cứu sinh và học viên cao học: Tham khảo phương pháp luận kết hợp giữa các hệ thống dựa trên luật (SpamAssassin) với các kỹ thuật học máy/học sâu; phương pháp thiết kế thực nghiệm phân loại văn bản tiếng Việt và phân tích mạng xã hội.
  • Kỹ sư hệ thống và quản trị mạng: Tham khảo quy trình sinh luật tự động, phương thức cấu hình, tích hợp bộ phân loại hành vi vào các hệ thống Mail Server mã nguồn mở sẵn có nhằm giải quyết bài toán thư rác và quản lý luồng thông tin.
  • Nhà phát triển ứng dụng xử lý ngôn ngữ tự nhiên: Tham khảo phương pháp trích chọn đặc trưng hỗn hợp (văn bản - phi văn bản) và cách xử lý dữ liệu mất cân bằng, dữ liệu huấn luyện quy mô nhỏ trong phân loại văn bản.

Câu hỏi thường gặp

1. Luận án giải quyết bài toán xác định thứ tự ưu tiên của thư điện tử thông qua những bài toán thành phần nào?

Luận án tiếp cận việc xác định thứ tự ưu tiên của thư điện tử thông qua ba bài toán thành phần cụ thể:

  1. Lọc thư rác (Spam Filtering): Phân loại 2 mức độ ưu tiên (thư hợp lệ được ưu tiên, thư rác không được ưu tiên).
  2. Dự đoán hành động người dùng (Action Prediction): Phân loại thư thành các nhóm hành động cần thực hiện ("trả lời", "đọc", "xóa").
  3. Xếp hạng thư điện tử (Email Ranking): Phân loại thư thành 5 mức độ ưu tiên phản ánh tầm quan trọng cá nhân hóa của bức thư đối với người dùng.

2. Điểm khác biệt cốt lõi trong phương pháp sinh tập luật SpamAssassin của luận án so với các phương pháp trước đây là gì?

Các phương pháp trước đây (như nghiên cứu [28], [62]) thực hiện tách rời hai công đoạn: chọn lọc tập từ khóa đặc trưng trước, sau đó mới dùng thuật toán tối ưu (như SGD, HPSOWM) để gán điểm số. Cách làm này chỉ tối ưu trọng số trên một tập đặc trưng cố định. Luận án đề xuất mô hình dựa trên mạng nơ-ron perceptron và giải thuật tiến hóa đa mục tiêu SPEA-II, cho phép lựa chọn đặc trưng và gán điểm số một cách đồng thời, giúp tìm ra tập luật tối ưu toàn cục trên tập nghiệm Pareto.

3. Làm thế nào để SpamAssassin – vốn là bộ lọc nhị phân – có thể thực hiện được bài toán dự đoán hành động người dùng (phân loại đa lớp)?

Luận án sử dụng các chiến lược chuyển đổi phân loại nhị phân thành đa lớp bao gồm: One-versus-All (OVA), One-versus-One (OVO kết hợp cơ chế bỏ phiếu OB-MV, OB-MC) và cây phân loại Directed Acyclic Graph (DAG). Bằng cách kết hợp nhiều tập luật nhị phân của SpamAssassin (có bổ sung các luật Ham), hệ thống tổng hợp điểm số từ các máy phân loại nhánh để đưa ra dự đoán nhãn hành động cuối cùng.

4. Mô hình xếp hạng thư điện tử 5 mức độ ưu tiên trong Chương 4 khai thác những nhóm đặc trưng nào?

Mô hình khai thác đồng thời hai nhóm đặc trưng độc lập:

  • Đặc trưng nội dung: Được trích xuất từ tiêu đề và nội dung thư, biểu diễn dưới dạng vector nhúng ngữ nghĩa (Word Embedding) để nắm bắt ngữ cảnh từ vựng.
  • Đặc trưng mạng xã hội: Được trích xuất từ đồ thị tương tác người gửi - người nhận, bao gồm hệ số phân cụm cải tiến, số nút gửi/nhận và tần suất trao đổi thông tin. Hai luồng đặc trưng này được đưa vào mạng nơ-ron kết hợp (RNN và MLP) có sử dụng kỹ thuật Dropout.

Kết luận

Luận án tiến sĩ kỹ thuật chuyên ngành Hệ thống thông tin của nghiên cứu sinh Nguyễn Thanh Hà đã nghiên cứu toàn diện bài toán xác định thứ tự ưu tiên cho thư điện tử tiếng Việt nhằm giải quyết tình trạng quá tải thông tin. Công trình đã đề xuất thành công phương pháp sinh luật đồng thời và tối ưu đa mục tiêu cho nền tảng SpamAssassin, phát triển cơ chế dự đoán hành động người dùng đa lớp trên nền tảng luật có sẵn, đồng thời xây dựng kiến trúc học sâu kết hợp đặc trưng ngữ nghĩa và mạng xã hội để xếp hạng 5 mức độ ưu tiên của thư điện tử. Các kết quả nghiên cứu đã được kiểm chứng qua các kịch bản thực nghiệm định lượng, đóng góp các giải pháp kỹ thuật có giá trị học thuật và khả năng ứng dụng thực tiễn trong quản trị hệ thống thư điện tử.