Tổng quan luận án

Luận án tiến sĩ kỹ thuật với đề tài "Nghiên cứu phương pháp xác định thứ tự ưu tiên của thư điện tử", chuyên ngành Hệ thống thông tin (mã số: 9.04), được nghiên cứu sinh Nguyễn Thanh Hà thực hiện tại Học viện Công nghệ Bưu chính Viễn thông dưới sự hướng dẫn khoa học của PGS. Trần Quang Anh và TS. Trần Hùng (năm bảo vệ: 2023).

Tính cấp thiết và khoảng trống nghiên cứu

Thư điện tử là phương tiện liên lạc và trao đổi thông tin chính thống trong công việc và đời sống. Tuy nhiên, sự gia tăng nhanh chóng về lưu lượng thư dẫn đến tình trạng quá tải thư điện tử (email overload). Theo các số liệu thống kê được trích dẫn trong luận án:

  • Thống kê của Radicati cho thấy năm 2019 có khoảng 3,93 tỷ người dùng với 293,6 tỷ bức thư gửi/nhận mỗi ngày; dự kiến đến năm 2024 lưu lượng đạt 361,6 tỷ thư/ngày.
  • Khảo sát của Symantec, Kaspersky và Trustwave ghi nhận tỷ lệ thư rác toàn cầu chiếm từ 45% đến 55% tổng lưu lượng; thống kê của IronPort (tháng 7/2019) ghi nhận tỷ lệ thư rác lên đến 78% trong hơn 11 triệu bức thư được xử lý. Nghiên cứu của Rao và Reiley (2012) ước tính thiệt hại kinh tế do thư rác gây ra tại Mỹ vào khoảng 20 tỷ USD mỗi năm.
  • Đối với thư hợp lệ, khảo sát nhân viên văn phòng tại Mỹ cho thấy trung bình mỗi người nhận 41 bức thư hợp lệ mỗi ngày; nghiên cứu năm 2014 trên 28 người dùng ghi nhận 29% thư nhận được không liên quan trực tiếp đến họ và người dùng phải dành trên 20% thời gian làm việc để xử lý thư. Khảo sát trên 2 triệu người dùng Yahoo Mail với 16 tỷ bức thư chỉ ra rằng khi lượng thư nhận tăng từ dưới 20 thư lên khoảng 100 thư/ngày, tỷ lệ trả lời thư giảm mạnh từ 25% xuống còn 5%.

Quá tải thư điện tử xuất phát từ cả hai nguyên nhân: thư rác (spam) và sự gia tăng số lượng thư hợp lệ. Để giảm thiểu thời gian xử lý hòm thư, yêu cầu đặt ra là phải xây dựng các phương pháp xác định thứ tự ưu tiên của thư điện tử. Các công cụ lọc thư rác truyền thống như SpamAssassin hiện chưa tích hợp tính năng tự động lựa chọn đặc trưng đồng thời với gán điểm số, cũng như thiếu vắng chức năng gợi ý hành động xử lý tiếp theo. Bên cạnh đó, các mô hình xếp hạng thư điện tử hiện tại có độ chính xác chưa cao và bị ràng buộc bởi sự khan hiếm dữ liệu huấn luyện, đặc biệt là đối với thư điện tử tiếng Việt.

Mục tiêu nghiên cứu

Mục tiêu chung của luận án là nghiên cứu các phương pháp xác định thứ tự ưu tiên của thư điện tử tiếng Việt. Mục tiêu này được cụ thể hóa thành ba mục tiêu chi tiết:

  1. Nghiên cứu và đề xuất phương pháp tự động sinh tập luật lọc thư rác cho nền tảng SpamAssassin, cho phép đồng thời lựa chọn luật và gán điểm số cho luật nhằm sinh ra tập luật tối ưu hơn các phương pháp tách rời trước đây.
  2. Nghiên cứu và đề xuất phương pháp dự đoán hành động của người dùng (gồm ba hành động: "trả lời", "đọc", "xóa") dựa trên nền tảng SpamAssassin thông qua việc kết hợp nhiều tập luật phân loại.
  3. Nghiên cứu và đề xuất phương pháp xếp hạng thư điện tử với năm mức độ ưu tiên, ứng dụng kỹ thuật học sâu kết hợp nhóm đặc trưng nội dung (word embedding) và đặc trưng mạng xã hội, giải quyết bài toán trong điều kiện dữ liệu huấn luyện hạn chế.

Câu hỏi nghiên cứu

Luận án đặt ra và giải quyết ba câu hỏi nghiên cứu cụ thể:

  1. Câu hỏi nghiên cứu 1: "Làm thế nào để đồng thời lựa chọn đặc trưng và gán điểm số cho tập luật SpamAssassin?"
  2. Câu hỏi nghiên cứu 2: "Làm thế nào để dự đoán thư điện tử theo hành động người dùng trên nền tảng SpamAssassin?"
  3. Câu hỏi nghiên cứu 3: "Làm thế nào để xây dựng mô hình xếp hạng thư điện tử với độ chính xác cao hơn những mô hình hiện tại?"

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Thư điện tử tiếng Việt.
  • Phạm vi nghiên cứu: Ứng dụng các kỹ thuật học máy, học sâu và tối ưu hóa để giải quyết ba dạng bài toán xác định thứ tự ưu tiên:
    1. Lọc thư rác: Phân loại 2 lớp (thư rác và thư hợp lệ) triển khai trên nền tảng SpamAssassin.
    2. Dự đoán hành động người dùng: Phân loại đa lớp (trả lời, đọc, xóa) triển khai trên nền tảng SpamAssassin.
    3. Xếp hạng thư điện tử: Phân loại 5 mức độ ưu tiên bằng mô hình học sâu độc lập, không phụ thuộc vào SpamAssassin.

Tổng quan tài liệu và vị trí của luận án

Luận án hệ thống hóa các hướng tiếp cận chính trong bài toán xử lý và xác định thứ tự ưu tiên của thư điện tử:

Hướng nghiên cứu Công trình / Tác giả trích dẫn Hướng tiếp cận & Phát hiện chính ghi nhận trong văn bản
Lọc thư rác theo xác suất và học máy Sahami et al. [5, 14], Yerazunis [18], Graham-Cumming [21] Bộ lọc Naïve Bayes đạt độ chính xác đến 99,9% nhưng dễ bị tấn công đầu độc thống kê (statistical poisoning). Yerazunis sử dụng mô hình Markov phi tuyến tính cho tỷ lệ lỗi thấp hơn 40% so với Bayes. Máy vector hỗ trợ (SVM) và mạng nơ-ron cũng được áp dụng hiệu quả trên đặc trưng nội dung.
Lọc thư rác trên nền tảng SpamAssassin Caelen et al. [28], Sơn và cộng sự [62], [76] SpamAssassin kết hợp tập luật có trọng số tương tự mạng perceptron một lớp tối ưu bằng SGD [17]. Công trình [28] trích chọn đặc trưng bằng MI, IG, KL rồi gán trọng số tách rời. Sơn và cộng sự [62] bổ sung tập luật Ham cho tiếng Việt và dùng giải thuật tiến hóa HPSOWM. Công trình [76] chỉ ra tối ưu đơn mục tiêu không cân bằng được recall giữa spam và ham, đề xuất NSGA-II và DMEA-II.
Lọc thư rác theo mạng xã hội và hành vi Boykin & Roychowdhury [26], [29], MailRank [27], [54], [39] Boykin & Roychowdhury [26] dùng hệ số phân cụm (clustering coefficient) $C_i = E_i / (k_i(k_i-1))$. Nghiên cứu [29] cải tiến công thức tính có bổ sung số nút gửi $S_i$ và nhận $R_i$. MailRank [27] phát triển tương tự PageRank [10]. Nghiên cứu [39] dùng mạng MLP 2 lớp ẩn kết hợp đặc trưng cơ bản (B1–B40) và đặc trưng kết hợp (X1–X32) từ header và MTA syslog.
Cơ sở hạ tầng & Giao thức gửi thư [33], [42], [35], SPF [60], DKIM [48], DMARC [68] Thay đổi SMTP thành DMTP [33]; phát hiện chuỗi lệnh SMTP bất thường [42] giảm 11% thư rác; các giải pháp Blacklist (RBL), Whitelist, Greylisting, Challenge/Response; các chuẩn xác thực SPF, DKIM, DMARC. Tuy nhiên các chuẩn xác thực không ngăn được thư rác gửi từ máy chủ hợp pháp hoặc qua API dịch vụ lớn (Gmail, SendGrid, AmazonSES).
Dự đoán hành động người dùng Dabbish et al. [25], Minh và cộng sự [51], Ayodele & Zhou [44], Di Castro et al. [71], Yang et al. [74], Mukherjee & Jiang [82] Dabbish et al. [25] khảo sát định tính: quan hệ công việc (+23% độ quan trọng), lịch làm việc (+24%), nội dung xã giao (-32% độ quan trọng nhưng +23% xác suất trả lời). Minh et al. [51] dùng Bayes dự đoán 3 hành động (trả lời, đọc, xóa) đạt accuracy 83,3%. Di Castro et al. [71] tại Yahoo Labs (100.000 người dùng) phân biệt 4 hành động với mô hình kết hợp học dọc và học ngang. Yang et al. [74] dự đoán thư có được trả lời hay không; Mukherjee & Jiang [82] cá nhân hóa dự đoán trả lời bằng hệ gợi ý kết hợp độ tương tự similarity.
Xếp hạng thư điện tử [11], [40], [49], [46] Nghiên cứu [11] tiếp cận theo hướng hồi quy (sai số trung bình 33,1; độ lệch chuẩn 29 trên 236 thư). Nghiên cứu [49] xếp hạng 5 mức độ đạt sai số trung bình 0,8 (accuracy từ 20% đến 80%). Nghiên cứu [46] bổ sung đặc trưng mạng xã hội đạt sai số trung bình 0,67 (accuracy tối đa 83,3%).

Khoảng trống luận án lựa chọn giải quyết

  1. Việc xây dựng tập luật SpamAssassin trong các nghiên cứu trước đây thực hiện chọn đặc trưng và gán điểm số tách rời nhau, dẫn đến tập luật thu được chưa tối ưu trên dữ liệu thực nghiệm.
  2. Nền tảng SpamAssassin được sử dụng rộng rãi trên máy chủ thư điện tử nhưng chưa có cơ chế dự đoán hành động của người dùng (trả lời, đọc, xóa).
  3. Các mô hình xếp hạng thư điện tử 5 mức độ ưu tiên trước đây có độ chính xác chưa cao, chưa khai thác kết hợp hiệu quả biểu diễn ngữ nghĩa dạng word embedding với các đặc trưng tương tác mạng xã hội trong môi trường dữ liệu tiếng Việt còn khan hiếm.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết và mô hình tính toán

  • Cấu trúc thư điện tử: Chuẩn RFC 5322, cấu tạo gồm phần header (Message-ID, From, Sender, Reply-To, In-Reply-To, References, To, Cc, Bcc, Subject, Date) và phần thân (body) chứa văn bản thuần túy (text/plain) hoặc HTML (text/html), phân định bằng các kiểu MIME.
  • Mô hình xử lý thư: Gồm ba khâu: truyền tải (MTA với giao thức SMTP), tiếp nhận (MDA với giao thức POP3/IMAP) và quản lý (MUA).
  • Cơ chế lọc của SpamAssassin: Biểu diễn tập luật $S = {r_1, r_2, \dots, r_n}$ với luật $r_i$ có trọng số $s_i$ và từ khóa $k_i$. Điểm số tổng hợp của bức thư $m$ được tính theo công thức: $$y = \sum_{i=1}^n f_{r_i}(m)$$ Trong đó $f_{r_i}(m) = s_i$ nếu $k_i \in m$, ngược lại bằng $0$. Bức thư bị coi là thư rác khi $y \ge T$ (ngưỡng mặc định $T = 5.0$).
  • Mô hình nơ-ron perceptron và tối ưu hóa: Huấn luyện perceptron với hàm kích hoạt sigmoid $\sigma(z) = \frac{1}{1 + e^{-z}}$, hàm tổn thất MSE và thuật toán Stochastic Gradient Descent (SGD) để cập nhật trọng số: $$w_i = w_i + \text{learning_rate} \cdot \frac{\partial E}{\partial w_i}$$ Quy đổi trọng số mạng sang điểm số luật SpamAssassin bù trừ độ lệch bias: $$\text{score}(w_i) = \frac{T}{\text{bias}} \cdot w_i$$
  • Tối ưu hóa đa mục tiêu: Ứng dụng giải thuật tiến hóa SPEA-II và nguyên lý Pareto để tối ưu hóa đồng thời các mục tiêu mâu thuẫn (như độ chính xác trên thư rác và thư hợp lệ).
  • Phân loại đa lớp: Các mô hình kết hợp máy phân loại nhị phân: One-versus-All (OVA), One-versus-One (OVO - với các chiến lược tổng hợp OVO-MS, OVO-MV, OVO-MC), và Đồ thị định hướng không tuần hoàn DAG (Directed Acyclic Graph).
  • Mạng xã hội thư điện tử & Học sâu: Biểu diễn quan hệ trao đổi thư dưới dạng đồ thị có hướng, trích xuất hệ số phân cụm; kết hợp biểu diễn từ (word embedding) với mạng nơ-ron hồi quy, mạng truyền thẳng và kỹ thuật Dropout.

Phương pháp nghiên cứu thực nghiệm

Luận án sử dụng phương pháp nghiên cứu định lượng kết hợp phân tích thực nghiệm và so sánh đối chứng:

  1. Xây dựng quy trình tiền xử lý văn bản tiếng Việt: dọn dẹp dữ liệu, phân tích cú pháp, trích xuất đặc trưng từ khóa, biểu diễn vector đặc trưng.
  2. Thiết kế mô hình tính toán, giải thuật tối ưu và tiến hành huấn luyện trên các tập dữ liệu thực nghiệm.
  3. Đo lường hiệu năng bằng các tiêu chí đánh giá chuẩn (accuracy, precision, recall, sai số trung bình).

Nguồn tư liệu và dữ liệu

  • Tập dữ liệu quốc tế: Tập dữ liệu Enron, tập dữ liệu chuẩn TREC (TREC07p gồm 24.984 thư quan trọng và 49.240 thư rác).
  • Tập dữ liệu thư điện tử tiếng Việt: Được thu thập, xây dựng và gán nhãn thực tế phục vụ cho các bài toán lọc thư rác, dự đoán hành động và xếp hạng thư điện tử (bao gồm thống kê về độ dài thư, người gửi và phân bổ nhãn).

Nội dung chính theo từng chương

                       LUẬN ÁN TIẾN SĨ
      NGHIÊN CỨU PHƯƠNG PHÁP XÁC ĐỊNH THỨ TỰ ƯU TIÊN CỦA THƯ ĐIỆN TỬ
Chương 1                    Chương 2                    Chương 3 & 4
Tổng quan hệ thống          Phát hiện thư rác           Dự đoán & Xếp hạng
- Khung RFC 5322            - Mạng nơ-ron sinh luật     - SpamAssassin đa lớp (OVA/OVO/DAG)
- Mô hình MTA/MDA/MUA       - Tối ưu đa mục tiêu        - Học sâu + Word Embedding
- 3 dạng bài toán           - Thử nghiệm 30/100 luật    - Đồ thị mạng xã hội

Chương 1 – Tổng quan về thư điện tử và xác định thứ tự ưu tiên của thư điện tử

Chương 1 cung cấp cơ sở tổng quan về hệ thống thư điện tử và định nghĩa bài toán xác định thứ tự ưu tiên:

  • Trình bày lịch sử phát triển từ hệ thống MAILBOX (1965 tại MIT), chuẩn địa chỉ của Ray Tomlinson (1972), cấu trúc thư mục của Larry Roberts (1974–1975) đến các giao thức nền tảng SMTP, POP3, IMAP.
  • Chi tiết hóa cấu trúc thông điệp theo RFC 5322 và mô hình xử lý 3 khâu: truyền tải (MTA), tiếp nhận (MDA), quản lý (MUA).
  • Định nghĩa ba bài toán xác định thứ tự ưu tiên:
    1. Lọc thư rác: Phân loại nhị phân 2 mức ưu tiên (thư hợp lệ > thư rác).
    2. Dự đoán hành động người dùng: Phân loại đa lớp ánh xạ $f(m): E \to A$ với $A = {a_1, a_2, \dots, a_n}$ ($n \ge 2$, ví dụ: trả lời, đọc, xóa).
    3. Xếp hạng thư điện tử: Dự đoán mức độ quan trọng theo hàm $g(m): E \to P$ (tiếp cận theo hướng phân loại với tập nhãn rời rạc $P$ hoặc hồi quy với tập số thực liên tục $P$).
  • Khảo sát các tập dữ liệu công khai (Enron, TREC) và giới thiệu tập dữ liệu thư điện tử tiếng Việt (thống kê độ dài, người gửi, phân bổ nhãn).

Chương 2: Phát hiện thư rác

Chương 2 tập trung giải quyết bài toán lọc thư rác cho tiếng Việt bằng cách sinh tập luật tự động cho SpamAssassin:

  • Phân tích đặc điểm thư rác tiếng Việt và các hạn chế của việc thiết kế tập luật thủ công hoặc tối ưu tách rời.
  • Đề xuất phương pháp ứng dụng mạng nơ-ron perceptron để tự động lựa chọn đặc trưng đồng thời với gán điểm số cho tập luật SpamAssassin qua quy trình: tiền xử lý, biểu diễn dữ liệu, huấn luyện mô hình và ánh xạ trọng số về điểm số SpamAssassin theo công thức bù trừ bias.
  • Ứng dụng lý thuyết tối ưu hóa Pareto và giải thuật tiến hóa đa mục tiêu SPEA-II nhằm giải quyết mâu thuẫn giữa việc tối ưu tỷ lệ nhận diện thư rác và giảm thiểu tỷ lệ cảnh báo nhầm (False Alarm Rate - FAR).
  • Thiết lập các kịch bản thí nghiệm đối chứng giữa phương pháp tối ưu đơn mục tiêu (SSOA) và đa mục tiêu (SPEA-II) trên các bộ lọc có kích thước 30 luật và 100 luật, chứng minh tính hiệu quả của phương pháp đề xuất.

Chương 3: Dự đoán hành động người dùng thư điện tử

Chương 3 mở rộng chức năng của SpamAssassin sang bài toán dự đoán hành động người dùng:

  • Thiết lập không gian bài toán với ba hành động mục tiêu: "trả lời", "đọc" và "xóa".
  • Đề xuất phương pháp chuyển đổi SpamAssassin từ bộ phân loại nhị phân thành bộ phân loại đa lớp bằng cách kết hợp nhiều tập luật thông qua các cấu trúc:
    • One-versus-All (OVA): Huấn luyện mỗi máy phân loại nhị phân cho một hành động đối với các hành động còn lại.
    • One-versus-One (OVO): Huấn luyện các bộ phân loại giữa từng cặp hành động, tích hợp các chiến lược tổng hợp kết quả: bỏ phiếu tự tin nhất có thứ tự (OB-MC), bỏ phiếu đa số có thứ tự (OB-MV), và OVO-MS.
    • Directed Acyclic Graph (DAG / DAGSVM): Mô hình dự đoán dựa trên cây nhị phân có hướng không tuần hoàn.
  • Áp dụng các luật Ham nhằm cải thiện chất lượng tập luật và phương pháp tự động gán nhãn dữ liệu.
  • Đề xuất cải tiến mô hình với phương pháp SD1 trong khâu tiền xử lý và sinh tập luật dựa trên mạng nơ-ron; thực nghiệm so sánh đối chứng giữa các phương án UAP1, UAP2 và UAP3.

Chương 4: Xếp hạng thư điện tử

Chương 4 nghiên cứu mô hình xếp hạng thư điện tử với 5 mức độ ưu tiên:

  • Phân tích những khó khăn của bài toán xếp hạng mức độ quan trọng cá nhân hóa trong điều kiện dữ liệu huấn luyện bị hạn chế.
  • Đề xuất kiến trúc học sâu kết hợp đa luồng đặc trưng:
    • Đặc trưng mạng xã hội: Trích xuất từ đồ thị tương tác người gửi - người nhận (hệ số phân cụm, mức độ tương tác quá khứ).
    • Đặc trưng nội dung: Biểu diễn ngữ nghĩa văn bản bằng các kỹ thuật word embedding thay thế cho biểu diễn túi từ truyền thống (TF-IDF, One-hot).
    • Cấu trúc mạng nơ-ron: Kết hợp các tầng nơ-ron hồi quy (RNN) để xử lý chuỗi văn bản và các tầng nơ-ron truyền thẳng (MLP), áp dụng kỹ thuật Dropout nhằm chống hiện tượng quá khớp (overfitting).
  • Thiết kế mô hình xếp hạng dựa trên SpamAssassin đa lớp để so sánh đối chứng.
  • Thực hiện 03 thí nghiệm đánh giá:
    1. Thí nghiệm 1: So sánh các thuật toán tối ưu hóa huấn luyện mạng nơ-ron.
    2. Thí nghiệm 2: So sánh các cấu hình word embedding khác nhau trên dữ liệu tiếng Việt.
    3. Thí nghiệm 3: So sánh mô hình đề xuất (EP2) với phương pháp EP1 và mô hình YooEP của Yoo và cộng sự.

Kết quả và những đóng góp mới

Luận án công bố ba đóng góp mới về mặt khoa học và kỹ thuật:

  1. Phương pháp tự động sinh tập luật cho SpamAssassin dựa trên mạng nơ-ron: Đề xuất quy trình hoàn chỉnh gồm tiền xử lý, biểu diễn dữ liệu, thiết kế mô hình, huấn luyện và tạo tập luật. Phương pháp thực hiện việc lựa chọn đặc trưng và gán điểm số một cách đồng thời trong quá trình huấn luyện, giải quyết triệt để hạn chế của các phương pháp cũ (chỉ chọn một tập đặc trưng cố định tách rời với khâu tối ưu trọng số).
  2. Phương pháp dự đoán hành động người dùng dựa trên nền tảng SpamAssassin: Đề xuất cơ chế tích hợp nhiều tập luật phân loại nhị phân thành các mô hình phân loại đa lớp (OVA, OVO, DAG) trên SpamAssassin. Giải pháp này cho phép hệ thống máy chủ thư điện tử sử dụng SpamAssassin có thể trực tiếp thực hiện chức năng gợi ý hành động xử lý ("trả lời", "đọc", "xóa") cho người dùng.
  3. Mô hình xếp hạng thư điện tử 5 mức độ ưu tiên dựa trên học sâu: Đề xuất mô hình học sâu lai ghép khai thác đồng thời đặc trưng ngữ nghĩa nội dung (word embedding) và đặc trưng mạng xã hội từ đồ thị tương tác người dùng. Mô hình tích hợp mạng nơ-ron hồi quy, mạng truyền thẳng và kỹ thuật Dropout, hoạt động như một hệ thống độc lập đạt độ chính xác cao hơn các phương pháp trước đó trong điều kiện tập dữ liệu huấn luyện giới hạn.

Kiến nghị và giải pháp đề xuất

  • Ứng dụng quy trình tự động sinh luật và tối ưu hóa đa mục tiêu vào các hệ thống máy chủ thư điện tử thực tế sử dụng SpamAssassin tại Việt Nam để nâng cao hiệu quả lọc thư rác tiếng Việt.
  • Tích hợp mô hình phân loại đa lớp OVA/OVO/DAG vào các trình duyệt thư (MUA) và máy chủ tiếp nhận (MDA) để tự động hóa khâu phân luồng thư theo hành động của người dùng.
  • Triển khai mô hình xếp hạng 5 mức độ theo hướng cá nhân hóa kết hợp dữ liệu tương tác nội bộ và mạng xã hội thư điện tử nhằm giảm tải áp lực xử lý thư cho các tổ chức, doanh nghiệp.

Hạn chế và hướng nghiên cứu tiếp

Căn cứ vào nội dung và phạm vi nghiên cứu được trình bày trong luận án:

  • Hạn chế:
    • Kích thước tập dữ liệu thư điện tử tiếng Việt dùng cho huấn luyện và thử nghiệm ở một số kịch bản còn bị giới hạn về quy mô, chưa bao phủ toàn bộ các ngữ cảnh giao tiếp đặc thù.
    • Mô hình mạng xã hội thư điện tử đòi hỏi mạng tương tác đủ lớn và hai chiều; hiệu quả sẽ suy giảm nếu dữ liệu chỉ gồm tương tác một chiều từ nội bộ gửi ra bên ngoài.
    • Việc tối ưu hóa đa mục tiêu với số lượng luật lớn đòi hỏi thời gian tính toán và tài nguyên hệ thống đáng kể.
  • Hướng nghiên cứu tiếp:
    • Mở rộng quy mô và nâng cao tính đại diện của tập dữ liệu thư điện tử tiếng Việt.
    • Nghiên cứu sâu hơn các mô hình học máy kết hợp giữa học dọc (cá nhân hóa) và học ngang (toàn cục) nhằm xử lý hiệu quả nhóm người dùng có dữ liệu tương tác thưa thớt.
    • Thử nghiệm các kiến trúc học sâu và mô hình ngôn ngữ mới để nâng cao khả năng trích xuất ngữ nghĩa và đối phó với các kỹ thuật ngụy trang thư rác dạng hình ảnh hoặc tấn công đầu độc thống kê.

Giá trị tham khảo

Luận án là tài liệu tham khảo chuyên sâu trong các lĩnh vực:

  • Nghiên cứu sinh và học viên cao học ngành Hệ thống thông tin, Khoa học máy tính: Tham khảo phương pháp luận kết hợp giữa học máy thống kê, học sâu và các giải thuật tối ưu hóa tiến hóa đa mục tiêu; phương pháp chuyển đổi bài toán phân loại nhị phân sang phân loại đa lớp bằng cấu trúc đồ thị DAG và OVO.
  • Giảng viên và nhà nghiên cứu Xử lý ngôn ngữ tự nhiên: Tham khảo quy trình tiền xử lý, biểu diễn đặc trưng word embedding và trích xuất đặc trưng mạng xã hội trên dữ liệu văn bản thư điện tử tiếng Việt.
  • Kỹ sư phát triển phần mềm và quản trị hệ thống mạng: Tham khảo giải pháp cấu hình, tùy biến tập luật SpamAssassin, cơ chế kết hợp với các giao thức SMTP, POP3, IMAP, và kiến trúc xây dựng module phân loại/xếp hạng thư tự động trên hệ thống máy chủ thư điện tử doanh nghiệp.

Câu hỏi thường gặp

1. Tại sao luận án lại chọn nghiên cứu trên nền tảng SpamAssassin thay vì các nền tảng lọc thư rác khác?

Theo Chương 1 của luận án, SpamAssassin là dự án mã nguồn mở của Apache (từ năm 2002) có tính ổn định cao, tài liệu đầy đủ, dễ tùy biến và tương thích với hầu hết các hệ thống thư điện tử phổ biến như Postfix, Sendmail, qmail, procmail. So với Sendria (thiếu tài liệu, bản chất là máy chủ SMTP) hay các giải pháp nguồn đóng thương mại đắt đỏ (Cisco IronPort, SpamTitan), SpamAssassin được cộng đồng quốc tế công nhận là chuẩn mực mở, hỗ trợ định dạng luật có trọng số linh hoạt và cho phép can thiệp sâu vào giải thuật sinh tập luật.

2. Sự khác biệt cốt lõi giữa cơ chế lọc của SpamAssassin và mạng nơ-ron perceptron một lớp là gì?

Luận án chỉ ra hai điểm khác biệt chính:

  1. Cơ chế của SpamAssassin không sử dụng hàm kích hoạt phi tuyến (như hàm sigmoid) ở đầu ra mà tính tổng tuyến tính điểm số của các luật vi phạm rồi so sánh với ngưỡng $T$.
  2. Tập luật của SpamAssassin không có thành phần độ lệch (bias). Do đó, khi huấn luyện perceptron để sinh luật SpamAssassin, luận án phải sử dụng công thức chuyển đổi điểm số: $$\text{score}(w_i) = \frac{T}{\text{bias}} \cdot w_i$$ nhằm bù trừ giá trị bias và tương thích với ngưỡng $T = 5.0$ mặc định.

3. Phương pháp sinh tập luật đề xuất trong luận án khắc phục nhược điểm gì của các công trình đi trước?

Các công trình trước đây (như Caelen et al. [28] hay Sơn và cộng sự [62]) thực hiện việc chọn tập từ khóa/đặc trưng và gán điểm số trọng số tách rời nhau qua hai giai đoạn độc lập. Cách làm này chỉ chọn một tập đặc trưng duy nhất mà không kiểm chứng được tính tối ưu đồng thời trên dữ liệu. Luận án đề xuất quy trình huấn luyện mạng nơ-ron cho phép lựa chọn, cập nhật và gán điểm số đặc trưng một cách đồng thời, giúp tìm ra tập luật tối ưu hơn trên tập dữ liệu thực nghiệm.

4. Ba hành động người dùng được mô hình hóa trong Chương 3 là gì và được triển khai qua các cấu trúc phân loại nào?

Ba hành động được lựa chọn mô hình hóa là "trả lời", "đọc" và "xóa". Để giải quyết bài toán phân loại đa lớp trên nền tảng SpamAssassin (vốn chỉ phân loại nhị phân), luận án đã triển khai và so sánh ba cấu trúc kết hợp tập luật:

  • One-versus-All (OVA)
  • One-versus-One (OVO) kết hợp các chiến lược tổng hợp kết quả (OB-MC, OB-MV, OVO-MS)
  • Directed Acyclic Graph (DAG) dựa trên cây nhị phân có hướng không tuần hoàn.

5. Mô hình xếp hạng thư điện tử trong Chương 4 kết hợp những nhóm đặc trưng nào?

Mô hình xếp hạng 5 mức độ ưu tiên kết hợp hai nhóm đặc trưng chính:

  1. Đặc trưng mạng xã hội: Khai thác từ đồ thị trao đổi thư giữa các người dùng (hệ số phân cụm mở rộng, lịch sử tương tác gửi/nhận).
  2. Đặc trưng nội dung: Biểu diễn ngữ nghĩa văn bản bằng các mô hình word embedding, đưa qua mạng nơ-ron hồi quy và mạng truyền thẳng có áp dụng kỹ thuật Dropout nhằm nâng cao độ chính xác dự đoán so với các phương pháp truyền thống.

Kết luận

Luận án tiến sĩ của tác giả Nguyễn Thanh Hà đã giải quyết toàn diện ba bài toán thành phần trong bài toán tổng quát về xác định thứ tự ưu tiên của thư điện tử tiếng Việt: lọc thư rác, dự đoán hành động người dùng và xếp hạng tầm quan trọng của thư. Bằng việc kết hợp chặt chẽ giữa học máy thống kê, giải thuật tiến hóa đa mục tiêu và các kiến trúc học sâu hiện đại, tác giả đã đề xuất các giải pháp kỹ thuật có tính ứng dụng cao, đặc biệt là việc mở rộng tính năng phân loại đa lớp cho nền tảng mã nguồn mở SpamAssassin. Công trình đóng góp cơ sở khoa học và thực nghiệm quan trọng cho việc nghiên cứu và phát triển các hệ thống quản lý, xử lý thư điện tử tiếng Việt thông minh.