Luận văn Thạc sĩ: Hệ Miễn Dịch Nhân Tạo và Ứng Dụng Cho Lọc Thư Rác - Phùng Thị Thu Trang

Khám phá luận văn thạc sĩ về hệ miễn dịch nhân tạo, tập trung vào cơ chế hoạt động và ứng dụng hiệu quả trong việc lọc thư rác, nâng cao bảo mật.

• Tác giả: Phùng Thị Thu Trang
• Người hướng dẫn: TS. Vũ Mạnh Xuân
• Trường học: Đại học Thái Nguyên
• Chuyên ngành: Khoa học Máy tính
• Đề tài: Hệ miễn dịch nhân tạo và ứng dụng cho lọc thư rác
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2015
• Địa điểm: Thái Nguyên

Tóm tắt

I. Tổng quan về hệ miễn dịch nhân tạo và lọc thư rác

Hệ miễn dịch nhân tạo là một nhánh của trí tuệ tính toán lấy cảm hứng từ hệ miễn dịch sinh học. Hệ thống này mô phỏng cơ chế học tập, nhận diện và thích nghi của cơ thể sống. Trong tự nhiên, hệ miễn dịch phân biệt kháng nguyên lạ với tế bào cơ thể. Nguyên lý tương tự áp dụng để phân loại email hợp lệ và thư rác. Thư rác là vấn đề nan giải trong thời đại số. Chúng chiếm hơn 50% lưu lượng email toàn cầu. Các kỹ thuật truyền thống như blacklisting và whitelisting tỏ ra hạn chế. Chúng không thích ứng được với sự tiến hóa liên tục của thư rác. Hệ miễn dịch nhân tạo mang đến giải pháp linh hoạt hơn. Phương pháp này sử dụng tập bộ dò để nhận diện mẫu độc hại. Cơ chế tự học giúp hệ thống cập nhật liên tục. Độ chính xác cải thiện theo thời gian sử dụng. Nghiên cứu của Phùng Thị Thu Trang năm 2015 đã chứng minh hiệu quả của phương pháp này.

1.1. Định nghĩa và cơ sở sinh học của hệ miễn dịch nhân tạo

Hệ miễn dịch nhân tạo bắt nguồn từ nghiên cứu hệ miễn dịch sinh học. Hệ miễn dịch sinh học bao gồm các tế bào lympho B và lympho T. Các tế bào này tạo ra kháng thể để nhận diện và tiêu diệt kháng nguyên. Hệ miễn dịch nhân tạo áp dụng nguyên lý tương tự. Các bộ dò đóng vai trò như kháng thể nhân tạo. Chúng được sinh ra để nhận diện các mẫu độc hại trong dữ liệu. Quá trình âm tính chọn lọc đảm bảo bộ dò không nhận diện nhầm tế bào cơ thể. Điều này tương đương việc không lọc nhầm email hợp lệ.

1.2. Bài toán học máy trong lọc thư rác email

Bài toán lọc thư rác được xem là bài toán học máy có giám sát. Nhiệm vụ chính là dự đoán email nào là thư rác. Tiêu chí đánh giá là tỷ lệ phân loại chính xác. Dữ liệu huấn luyện bao gồm các email mẫu được gắn nhãn. Mỗi email biểu diễn bằng tập thuộc tính như từ khóa. Các phương pháp học máy như SVM được áp dụng rộng rãi. SVM tạo siêu phẳng tách biệt thư rác và thư thường. Ưu điểm lớn nhất là khả năng thích nghi cao với thư rác mới.

II. Phân tích các vấn đề và thách thức trong lọc thư rác hiện đại

Thư rác điện tử gây ra nhiều vấn đề nghiêm trọng. Chúng lãng phí tài nguyên lưu trữ và băng thông mạng. Người dùng mất thời gian xử lý email không mong muốn. Nguy cơ lừa đảo và mã độc ẩn chứa trong thư rác rất cao. Các kỹ thuật lọc truyền thống đối mặt nhiều thách thức. Blacklisting dựa vào danh sách địa chỉ gửi xấu. Phương pháp này không bắt kịp tốc độ thay đổi của spammer. Whitelisting chỉ cho phép địa chỉ tin cậy. Cách tiếp cận này quá cứng nhắc và bỏ lỡ email hợp lệ mới. Heuristic filtering sử dụng quy tắc cố định. Spammer dễ dàng né tránh bằng kỹ thuật ngụy trang. Challenge/response yêu cầu người gửi xác minh danh tính. Phương pháp này gây phiền toái cho người gửi hợp lệ. Thư rác ngày càng tinh vi hơn. Chúng sử dụng kỹ thuật biến đổi nội dung và hình ảnh. Các phương pháp truyền thống không thể thích ứng kịp. Cần một giải pháp có khả năng học tập và tiến hóa.

2.1. Các kỹ thuật tạo thư rác và sự tiến hóa của spam

Spammer sử dụng nhiều kỹ thuật tinh vi để né tránh bộ lọc. Kỹ thuật ngụy trang thay đổi ký tự hoặc thêm từ vô nghĩa. Hash busting chèn chuỗi ngẫu nhiên vào tiêu đề email. Image spam chuyển nội dung văn bản thành hình ảnh. URL obfuscation che giấu đường dẫn độc hại. Bayesian poisoning gửi email có từ khóa hợp lệ để đánh lừa bộ lọc học máy. Các kỹ thuật này liên tục tiến hóa. Bộ lọc cần khả năng thích nghi để đối phó hiệu quả.

2.2. Hạn chế của các phương pháp lọc thư rác truyền thống

Các phương pháp truyền thống tồn tại nhiều hạn chế lớn. Blacklisting đòi hỏi cập nhật liên tục danh sách đen. Tỷ lệ dương tính giả cao khi chặn nhầm email hợp lệ. Whitelisting quá chặt chẽ và thiếu linh hoạt. Heuristic filtering phụ thuộc vào quy tắc thủ công. Việc tạo và duy trì quy tắc tốn nhiều công sức. Challenge/response làm gián đoạn giao tiếp email bình thường. Không phương pháp nào trong số này có khả năng tự học. Chúng không thích ứng được với thư rác biến đổi liên tục. Đây là lý do cần giải pháp dựa trên hệ miễn dịch nhân tạo.

III. Phương pháp ứng dụng hệ miễn dịch nhân tạo để lọc thư rác

Phương pháp hệ miễn dịch nhân tạo áp dụng thuật toán sinh tập bộ dò. Thuật toán r-chunk tạo các chuỗi ký tự có độ dài r. Các chuỗi này đóng vai trò nhận diện mẫu thư rác. Quá trình âm tính chọn lọc loại bỏ bộ dò phản ứng với email hợp lệ. Thuật toán r-contiguous cải tiến bằng cách yêu cầu khớp liên tục. Điều này tăng độ chính xác nhận diện đáng kể. Bộ dò được sinh ra từ không gian mẫu dữ liệu huấn luyện. Chúng trải qua quá trình đánh giá và chọn lọc tự nhiên. Các bộ dò hiệu quả được giữ lại và nhân bản. Bộ dò kém hiệu quả bị loại bỏ. Quá trình này lặp lại để tối ưu hóa hiệu suất. Dữ liệu thử nghiệm sử dụng corpus TREC năm 2007. Kết quả cho thấy độ chính xác phân loại cao. Hệ thống thích ứng tốt với thư rác mới xuất hiện. Phương pháp này thể hiện ưu điểm vượt trội so với kỹ thuật truyền thống. Khả năng học tập liên tục là điểm mạnh cốt lõi.

3.1. Thuật toán sinh tập bộ dò r chunk và r contiguous

Thuật toán r-chunk tạo bộ dò bằng cách so sánh chuỗi con. Mỗi bộ dò là chuỗi ký tự độ dài r. Quá trình kiểm tra diễn ra từng vị trí trên chuỗi mục tiêu. Nếu khớp tại vị trí nào thì ghi nhận phát hiện. Thuật toán r-contiguous yêu cầu r bit liên tục khớp nhau. Điều kiện này chặt chẽ hơn và giảm dương tính giả. Bảng mẫu A được xây dựng để sinh bộ dò hiệu quả. Độ phức tạp tính toán được tối ưu hóa đáng kể.

3.2. Thiết kế hệ thống và cơ sở dữ liệu thử nghiệm

Hệ thống được thiết kế với nhiều module chức năng chính. Module tiền xử lý chuyển đổi email thành biểu diễn số. Module sinh bộ dò tạo tập nhận diện thư rác. Module phân loại áp dụng bộ dò để đánh giá email mới. Cơ sở dữ liệu TREC 2007 cung cấp dữ liệu đánh giá chuẩn. Tập dữ liệu bao gồm hàng nghìn email được gắn nhãn. Quá trình thử nghiệm đánh giá qua các chỉ số precision, recall và F1-score. Kết quả xác nhận tính hiệu quả của phương pháp hệ miễn dịch nhân tạo.

IV. Kết luận và ứng dụng thực tiễn của hệ miễn dịch nhân tạo

Nghiên cứu chứng minh hệ miễn dịch nhân tạo hiệu quả trong lọc thư rác. Phương pháp này vượt qua nhiều hạn chế của kỹ thuật truyền thống. Khả năng tự học và thích nghi là ưu điểm nổi bật. Hệ thống cải thiện độ chính xác theo thời gian sử dụng. Mỗi người dùng có thể có bộ lọc cá nhân hóa. Điều này tăng hiệu quả lọc đáng kể cho từng trường hợp. Chi phí tính toán ban đầu là nhược điểm cần cân nhắc. Quá trình huấn luyện ban đầu đòi hỏi tài nguyên tính toán lớn. Tuy nhiên lợi ích lâu dài vượt trội hơn chi phí đầu tư.Ứng dụng mở rộng sang nhiều lĩnh vực khác nhau. Phát hiện xâm nhập mạng là hướng triển vọng. Nhận diện bất thường trong hệ thống y tế cũng phù hợp. Lọc nội dung độc hại trên mạng xã hội có tiềm năng lớn. Nghiên cứu tương lai tập trung tối ưu hóa thuật toán. Kết hợp với học sâu để tăng cường khả năng nhận diện. Hệ miễn dịch nhân tạo hứa hẹn vai trò quan trọng trong an toàn thông tin.

4.1. Ưu điểm và hạn chế của phương pháp hệ miễn dịch nhân tạo

Phương pháp có nhiều ưu điểm đáng chú ý. Khả năng thích nghi cao với thư rác tiến hóa nhanh. Tính cá nhân hóa mạnh mẽ cho từng người dùng. Hệ thống hoạt động tốt với dữ liệu không cân bằng. Tuy nhiên tồn tại một số hạn chế cần giải quyết. Độ phức tạp tính toán cao trong giai đoạn sinh bộ dò. Thời gian huấn luyện ban đầu相对较长. Cần dữ liệu huấn luyện đủ lớn để đạt hiệu quả tốt nhất.

4.2. Hướng phát triển tương lai và ứng dụng mở rộng

Nghiên cứu tương lai tập trung vào nhiều hướng triển vọng. Kết hợp hệ miễn dịch nhân tạo với mạng nơ-ron sâu. Phát triển thuật toán sinh bộ dò hiệu quả hơn. Ứng dụng phát hiện xâm nhập mạng là hướng trọng tâm. Lọc nội dung độc hại trên nền tảng mạng xã hội. Phát hiện giao dịch gian lận trong lĩnh vực tài chính. Hệ thống cảnh báo sớm mối đe dọa an ninh mạng. Tiềm năng ứng dụng rất rộng lớn và đa dạng.

Trích đoạn nội dung tài liệu

MỞ ĐẦU Email là một trong những phương tiện truyền thông phổ biến nhất hiện nay, mỗi ngày trên thế giới có hàng tỉ các email được gửi đi nhưng trong số đó hơn một nửa là dạng thư rác (email spam). Email spam là các email được gửi đi với số lượng lớn nhằm mục đích quảng cáo, ăn cắp thông tin, lây lan virus… Đây là những email mà người nhận không hề mong đợi. Có nhiều kỹ thuật lọc thư rác khác nhau như: Blacklisting, Whitelisting, Heuristic filtering, Challenge/ Response, Throttling, Address obfuscation, Collaborative filtering,…Tuy nhiên, đa số các phần mềm chống thư rác là dựa trên header của thư hoặc địa chỉ từ người gửi nhằm tăng tốc độ. Các phương pháp học máy gần đây được quan tâm nhiều vì chúng có khả năng thích nghi cao với sự tiến hóa của thư rác như phương pháp dựa trên xác suất Naïve Bayes, phương pháp học máy vectơ hỗ trợ (Support vector machine), phương pháp phân loại dựa trên láng giềng gần nhất (k-nearest neighbors).

Hệ miễn dịch nhân tạo là một hệ thống thích nghi lấy ý tưởng của học thuyết miễn dịch và những chức năng, nguyên tắc, mô hình miễn dịch quan sát được, áp dụng giải các bài toán thực tế. Nó có nhiều ứng dụng khác nhau, nhưng chủ yếu được áp dụng vào lĩnh vực an ninh mạng và an ninh máy tính. Với lý do trên, đề tài “Hệ miễn dịch nhân tạo và ứng dụng cho lọc thư rác” tập trung nghiên cứu về hệ miễn dịch nhân tạo và ứng dụng một số kỹ thuật cải tiến thuật toán miễn dịch áp dụng cho bài toán lọc thư rác để có thể áp dụng cho không gian dữ liệu lớn. Đối tƣợng và phạm vi nghiên cứu - Nghiên cứu lý thuyết về hệ miễn dịch sinh học và hệ miễn dịch nhân tạo Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn 2 - ng dụng hệ miễn dịch nhân tạo vào quá trình lọc thư rác - Đánh giá hiệu suất của phương pháp đề xuất với một số cách tiếp cận học máy khác như Naive Bayes, Support Vector Machine, … Nội dung chính của đề tài - Tìm hiểu, đánh giá ưu nhược điểm của một số phương pháp lọc thư rác.

- Nghiên cứu ứng dụng hệ miễn dịch nhân tạo trong quá trình huấn luyện dữ liệu và lọc thư rác. - Lập trình thử nghiệm lọc thư rác ứng dụng Hệ miễn dịch nhân tạo. - So sánh phương pháp sử dụng hệ miễn dịch nhân tạo với một số phương pháp khác. Kết quả chính của đề tài đã được nhóm tác giả công bố trong một bài báo đăng trên tạp chí Khoa học và Công nghệ của Đại học Thái nguyên (số 135 (05), 2015, trang 185).

Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn 3 Chƣơng 1 NGHI N CỨU T NG QUAN VỀ THƢ RÁC Một trong những dịch vụ mà Internet mang lại đó là dịch vụ thư điện tử, đây là phương tiện giao tiếp rất đơn giản, tiện lợi, rẻ và hiệu quả giữa mọi người. Tuy nhiên chính vì những lợi ích của dịch vụ thư điện tử mang lại mà số lượng thư trao đổi trên Internet ngày càng tăng, và hầu hết trong số những thư đó là thư rác (email spam). Thư rác thường được gửi với số lượng rất lớn, không được người dùng mong đợi, với nhiều mục đích khác nhau như: quảng cáo, đính kèm virus, gây phiền toái khó chịu cho người dùng, làm giảm tốc độ truyền internet và tốc độ xử lý của email server, gây thiệt hại rất lớn về kinh tế. Chương này sẽ khái quát các vấn đề về thư rác, ảnh hưởng của thư rác trong cuộc sống và các phương pháp ngăn chặn thư rác.

Các khái niệm và kết quả trong chương này được tham khảo trong [1], [2], [3], [4], [6], [8]. Giới thiệu về thƣ rác 1. Lịch sử Có thể chia lịch sử của thư rác thành 3 giai đoạn sau: 1. Giai đoạn thứ nhất – những năm đầu của thư rác Nhiều ý kiến cho rằng thư rác đầu tiên được phát tán trên mạng diện rộng là vào năm 1978, đó là một quảng cáo từ Digital Equipment Corporation (DEC).

Do dịch vụ thư điện tử lúc này chưa phát triển nên người phát tán thư rác (spammer) này phải đánh thủ công các địa chỉ thư điện tử muốn gửi và chỉ có khoảng 320 trong tổng số các địa chỉ thư điện tử mà spammer muốn gửi nhận được thư rác này trong lần phát tán đầu tiên. Vào 1988 xuất hiện kiểu Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn 4 thư rác khác là thư rác lừa đảo (như lừa đảo làm việc từ thiện, lừa đảo về kiếm tiền). Giai đoạn thứ hai – thư rác được gửi thông qua phần mềm Đầu thập niên 1990, với sự phát triển của Internet mang đến vấn nạn là số lượng thư rác tăng lên nhanh chóng. Lúc này các spammer dùng các phần mềm để tự động việc gửi thư điện tử đến một danh sách các địa chỉ.

Ví dụ về thư rác phát tán qua các phần mềm tự động là thư rác Jesus và thư rác Cantel và Siegel. Vào 1995 Jeff Slaton – tự nhận mình là “vua thư rác”, ông là một trong những người đầu tiên kiếm lợi nhuận từ các thư rác mà ông gửi đi, ông còn ép buộc các nạn nhân của mình trả phí nếu không muốn nhận thư rác. Việc làm của ông tạo ra ý tưởng cho các công ty thương mại là thuê những người như Jeff Slaton để phát tán thư điện tử với mục đích là quảng cáo giúp họ. Giai đoạn thứ ba – phần mềm chống thư rác chống lại các phần mềm gửi thư rác Vào 1996 xuất hiện các phần mềm chống thư rác đầu tiên như: Spamblock, Internet Death Penalty, tuy nhiên vẫn không làm giảm sự phát triển của thư rác.

Các địa chỉ thư điện tử của người dùng được rao bán cho các công ty, tổ chức muốn thực hiện quảng cáo trên thư điện tử. Và từ 1997 đến nay sự phát triển của thư rác đã vượt quá sự kiểm soát, một thống kê cho thấy 97% tổng số thư điện tử được gửi trên mạng là các thư không mong muốn nhận từ người dùng. Định nghĩa Có nhiều tranh cãi về việc đâu là định nghĩa chính xác của thư rác (email SPAM), bởi vì thư rác mang tính cá nhân hóa nên khó mà nói lên được hết ý nghĩa của thư rác. Nhiều ý kiến cho rằng thư rác là những “thư điện tử (email) Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn 5 không mong muốn”.

Định nghĩa này cũng không thực sự chính xác, như một nhân viên nhận những thư điện tử về công việc từ sếp của họ, đây là những thư điện tử người nhân viên không mong muốn nhưng chúng không phải là thư rác. Lại có ý kiến khác cho rằng thư rác là những “thư điện tử thương mại không được yêu cầu từ phía người nhận” - những thư này bao gồm các thư điện tử quảng cáo về các sản phẩm và thư điện tử lừa gạt. Nhưng định nghĩa này cũng không thực sự chính xác, nó làm mọi người nghĩ rằng thư rác giống như là thư đáng bỏ đi (junk mail). Sau đó có ý kiến cho rằng thư rác là “số lượng lớn thư điện tử không yêu cầu” và trong số đó các thư điện tử quảng cáo, thương mại chiếm đa số, đây có lẽ là định nghĩa gần đúng với ý nghĩa của thư rác nhất.

[6] Hình vẽ sau sẽ thể hiện rõ định nghĩa của thư rác: Tất cả thư điện tử Thư điện tử không mong muốn Thư rác Thư quảng cáo thương mại Hình 1.1: So sánh thƣ rác với các thƣ điện tử khác. Mục đích chính gửi thư rác Thư rác được gửi với các mục đích chính như sau: - Quảng cáo sản phẩm, dịch vụ, … của tổ chức, công ty thương mại nào đó. - Lợi dụng sự cả tin của người dùng để lừa gạt họ, như các hình thức kiếm tiền trực tuyến, … - Gửi kèm virus trong tập tin kèm theo của thư điện tử, từ đó đưa virus vào máy nạn nhân và hệ thống mạng mà nạn nhân sử dụng. Sau đó lấy Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn 6 cắp các thông tin quan trọng của nạn nhân và hệ thống.

- Nói xấu, xuyên tạc ai đó, tuyên truyền những điều sai trái về chính trị. Các đặc tính của thư rác - Thư rác chứa các đặc tính cơ bản sau:  Thư rác mang tính tương đối vì thư mang tính cá nhân, có thể một thư điện tử là vô bổ với người này nhưng lại có ích với người khác. Ví dụ một thư điện tử quảng cáo/ rao vặt cho một sản phẩm cụ thể có thể được một số người quan tâm nhưng những người còn lại xem đó là rác.  Tính bất biến trong một thư rác thể hiện ở những từ, cụm từ hầu như không thay đổi trong những lần gửi thư.

- Đặc tính phần header của thư rác [8]  Địa chỉ thư điện tử của người nhận sẽ không thể hiện ở trường “To:” hoặc “Cc:”, vì địa chỉ này sẽ được ẩn trong trường “Bcc:”, spammer thực hiện hành động này để giấu số lượng lớn các địa chỉ thư điện tử mà spammer muốn gửi thư rác.   Để nội dung trống hoặc thiếu trường “To:”.   Trường “To:” thể hiện một địa chỉ thư điện tử không hợp lệ.   Nội dung trường “From:” giống trường “To:”.  Thiếu trường “From:”.

  Định danh - ID của thư điện tử bị thiếu hoặc là ID giả.   Trường “Bcc:” có tồn tại, vì ở các thư điện tử thông thường trường này thường không xuất hiện.   Trường “X-mailer” – là trường thể hiện tên phần mềm dùng để gửi thư Số hóa bởi Trung tâm Học liệu – ĐHTN http://www.vn 7 điện tử, nếu trường này bao gồm tên của phần mềm gửi thư rác quen thuộc thì có thể xác định được là thư rác hay không.   X-UIDL header: là một định danh duy nhất được sử dụng bởi các giao thức POP để lấy thư điện tử từ một máy chủ mail.

Nó thường được thêm vào giữa các máy chủ mail của người nhận và phần mềm thư điện tử của người nhận, nếu thư đến tại các máy chủ mail mà xuất hiện trường này thì là thư rác.   Tồn tại các dòng mã lệnh hoặc khoảng trắng tuần tự. Ví dụ như thêm mã lệnh trên chủ đề của thư và dùng khoảng trắng để giấu.   Tồn tại các dòng mã HTML không đúng quy tắc.

 - Nội dung của thư chứa các từ thường xuất hiện trong thư rác (kiếm tiền, giàu nhanh, chọn nhanh,. - Sự giống nhau ở kích thước/ loại tập tin/ tên tập tin đính kèm thư rác ở các lần SPAM.