Đồ án: Phát hiện xâm nhập mạng với học sâu - Đại học Sư phạm Kỹ thuật TP.HCM

Đồ án nghiên cứu tốt nghiệp phát hiện xâm nhập mạng với học sâu, áp dụng công nghệ tiên tiến, tối ưu giải pháp kỹ thuật cho bài toán .

Chuyên ngành

Kỹ Thuật Dữ Liệu

Người đăng

Ẩn danh

Thể loại

Đồ Án Tốt Nghiệp

2022

91
2
0

Phí lưu trữ

35 Point

Mục lục chi tiết

LỜI CAM ĐOAN

LỜI CẢM ƠN

DANH MỤC HÌNH VẼ

DANH MỤC BẢNG

1. PHẦN 1: MỞ ĐẦU

1.1. GIỚI THIỆU BÀI TOÁN

1.2. MỞ ĐẦU

1.3. BỐ CỤC

2. PHẦN 2: NỘI DUNG

1. CHƯƠNG 1: TỔNG QUAN VỀ MẠNG

1.1. KHÁI NIỆM VỀ XÂM NHẬP MẠNG

1.2. MỘT SỐ KIỂU TẤN CÔNG MẠNG

1.2.1. Tấn công mạng Malware

1.2.2. Tấn công từ chối dịch vụ DoS (Denial of service)

1.2.3. Tấn công từ chối dịch vụ phân tán DDoS (Distributed Denial of Service)

1.3. MỘT SỐ KỸ THUẬT PHÒNG CHỐNG XÂM NHẬP MẠNG

1.3.1. Tường lửa (Firewall)

2. CHƯƠNG 2: TỔNG QUAN VỀ MACHINE LEARNING

2.1. KHÁI QUÁT VỀ HỌC MÁY (MACHINE LEARNING)

2.1.1. Phân nhóm thuật toán

2.1.1.1. Thuật toán phân theo phong cách học tập
2.1.1.2. Các thuật toán được nhóm theo sự tương đồng

2.2. MỘT SỐ THUẬT TOÁN CỔ ĐIỂN

2.2.1. Thuật toán Support Vector Machine (SVM)

2.2.2. Thuật toán naïve bayes

2.2.3. Thuật toán Logistic Regression

2.2.4. Thuật toán Random Forest

3. CHƯƠNG 3: TỔNG QUAN VỀ HỌC SÂU (DEEP LEARNING)

3.1. KHÁI QUÁT VỀ HỌC SÂU

3.1.1. Học sâu là gì?

3.2. KHÁI QUÁT VỀ MẠNG NƠ-RON NHÂN TẠO

3.2.1. Các thành phần cơ bản

3.2.2. Một số kiến trúc mạng nơ-ron nhân tạo

3.3. MỘT SỐ THUẬT TOÁN VỀ HỌC SÂU

3.3.1. Mạng neural hồi quy – Recurrent Neural Network (RNN)

3.3.2. Phân loại bài toán RNN

3.3.3. Nhược điểm

3.3.4. Bộ nhớ ngắn dài hạn – Long Short Term Memory (LSTM)

3.3.5. Lan truyền xuôi và lan truyền ngược

4. CHƯƠNG 4: XÂY DỰNG MÔ HÌNH

4.1. MÔI TRƯỜNG CÀI ĐẶT VÀ CÁC THƯ VIỆN LIÊN QUAN

4.2. MÔ TẢ DỮ LIỆU

4.3. KẾT QUẢ VÀ ĐÁNH GIÁ

3. PHẦN 3: KẾT LUẬN

3.1. HƯỚNG PHÁT TRIỂN

DANH MỤC THAM KHẢO

Tóm tắt

I. Tổng quan Đồ án Phát hiện Xâm nhập Mạng bằng Học Sâu

Hiện nay, chúng ta đang bước vào cuộc cách mạng 4.0 với sự bùng nổ của Internet, kéo theo nhu cầu trao đổi thông tin dữ liệu ngày càng lớn. Song song với sự phát triển đó, vấn đề an ninh mạngbảo mật mạng trở nên vô cùng quan trọng. Các cuộc tấn công mạng ngày càng tinh vi, đe dọa đến sự an toàn thông tin của các tổ chức và người dùng. Mặc dù các hệ thống máy tính có cơ chế tự bảo vệ, nhưng vẫn chưa đủ để ngăn chặn các cuộc tấn công này. Do đó, việc xây dựng một hệ thống có thể phát hiện sớm và hiệu quả các cuộc tấn công mạng là vô cùng cần thiết. Các hệ thống phát hiện xâm nhập mạng hiện tại còn thiếu tính linh hoạt, khả năng mở rộng và sức mạnh để đối phó với các cuộc tấn công. Nghiên cứu gần đây đã đưa ra một hướng tiếp cận mới dựa trên học máy cho bài toán phát hiện xâm nhập mạng. Khóa luận này tập trung vào việc nghiên cứu và áp dụng các kỹ thuật học máyhọc sâu cho bài toán này. Mục tiêu chính là tìm hiểu sâu về bài toán phát hiện xâm nhập mạng với học sâu, bao gồm việc tìm hiểu tổng quan về phát hiện xâm nhập, các thuật toán học máy, các thuật toán học sâu, các tập dữ liệu mạng phổ biến và đánh giá, so sánh hiệu quả của các thuật toán. Theo tài liệu gốc, đồ án hướng đến "Tìm hiểu bài toán phát hiện xâm nhập mạng với học sâu".

1.1. Tổng quan về Hệ thống Phát hiện Xâm nhập IDS

Hệ thống phát hiện xâm nhập (IDS) là một hệ thống quan trọng trong việc bảo vệ an ninh mạng. IDS có thể là phần cứng hoặc phần mềm, với mục đích phát hiện các xâm nhập trái phép và các cuộc tấn công vào hệ thống mạng. IDS có khả năng phát hiện các hành vi tấn công từ bên ngoài hoặc bên trong mạng. IDS cung cấp các chức năng như theo dõi, giám sát, phát hiện hành vi bất thường, đưa ra cảnh báo và xác định vị trí có vấn đề trong hệ thống. Tuy nhiên, IDS cũng có nhược điểm như dễ đưa ra báo động sai nếu không được cấu hình hợp lý và tốn nhiều chi phí để triển khai, vận hành, và phát triển.

1.2. Các Kiểu Tấn công Mạng Phổ biến Cần Phát hiện

Các kiểu tấn công mạng phổ biến bao gồm Malware, DoS (Denial of Service), và DDoS (Distributed Denial of Service). Malware là phần mềm độc hại được thiết kế để xâm nhập, vô hiệu hóa hệ thống bảo mật và cản trở hoạt động của website. DoS là tấn công từ chối dịch vụ, làm cho hệ thống không thể phục vụ người dùng. DDoS là một biến thể của DoS, sử dụng nhiều máy tính để tấn công cùng một lúc, làm quá tải tài nguyên của hệ thống đích. Việc hiểu rõ các kiểu tấn công này là rất quan trọng để xây dựng một hệ thống phát hiện xâm nhập hiệu quả.

II. Thách thức An ninh mạng Giải pháp Phát hiện Xâm nhập

Thách thức trong an ninh mạng ngày càng gia tăng với sự xuất hiện của các cuộc tấn công mạng ngày càng tinh vi. Các phương pháp phòng chống truyền thống như tường lửa và mã hóa dữ liệu có thể không đủ để đối phó với các mối đe dọa mới. Cần có các giải pháp phát hiện xâm nhập tiên tiến hơn để bảo vệ hệ thống mạng. Các giải pháp này cần có khả năng học hỏi từ dữ liệu, thích ứng với các cuộc tấn công mới, và đưa ra cảnh báo kịp thời. Do đó, ứng dụng học sâu trong phát hiện xâm nhập mạng đang thu hút được sự quan tâm lớn.

2.1. Hạn chế của Phương pháp Phát hiện Xâm nhập Truyền thống

Các phương pháp phát hiện xâm nhập truyền thống thường dựa trên các quy tắc và chữ ký đã biết. Tuy nhiên, các phương pháp này có hạn chế trong việc phát hiện các cuộc tấn công mới và chưa được biết đến. Ngoài ra, các phương pháp này cũng có thể bị bỏ qua bởi các cuộc tấn công tinh vi, sử dụng các kỹ thuật lẩn tránh. Do đó, cần có các phương pháp phát hiện xâm nhập có khả năng học hỏi và thích ứng với các mối đe dọa mới.

2.2. Vai trò của Học sâu trong Nâng cao An ninh mạng

Học sâu có khả năng học hỏi từ dữ liệu lớn và phức tạp, giúp phát hiện các mẫu bất thường và các dấu hiệu của cuộc tấn công mạng. Học sâu có thể được sử dụng để xây dựng các mô hình phát hiện xâm nhập có khả năng phát hiện các cuộc tấn công mới và chưa được biết đến. Ngoài ra, học sâu cũng có thể giúp giảm tỷ lệ báo động sai, cải thiện hiệu quả của hệ thống phát hiện xâm nhập.

III. Phương pháp Phát hiện Xâm nhập Mạng với Thuật toán Học Sâu

Nhiều thuật toán học sâu có thể được sử dụng cho bài toán phát hiện xâm nhập mạng, bao gồm mạng nơ-ron (ANN), mạng nơ-ron hồi quy (RNN), và mạng nơ-ron tích chập (CNN). Mỗi thuật toán có ưu điểm và nhược điểm riêng, và việc lựa chọn thuật toán phù hợp phụ thuộc vào đặc điểm của dữ liệu và yêu cầu của bài toán. Các thuật toán này có khả năng phân loại các loại tấn công mạng như DoS, DDoS, SQL Injection, và XSS.

3.1. Ứng dụng Mạng Nơ ron Hồi quy RNN trong IDS

Mạng nơ-ron hồi quy (RNN) là một loại mạng nơ-ron đặc biệt, được thiết kế để xử lý dữ liệu chuỗi. RNN có thể được sử dụng để phân tích lưu lượng mạng theo thời gian, phát hiện các mẫu bất thường và các dấu hiệu của cuộc tấn công mạng. RNN có khả năng ghi nhớ thông tin từ các bước thời gian trước đó, giúp phát hiện các cuộc tấn công phức tạp, kéo dài trong thời gian dài. Theo tài liệu, RNN được dùng để "thể hiện hành vi động tạm thời...có thể dùng trạng thái trong (bộ nhớ) để xử lý các chuỗi đầu vào có độ dài thay đổi".

3.2. Mạng Nơ ron Tích chập CNN Phân tích gói tin

Mạng nơ-ron tích chập (CNN) là một loại mạng nơ-ron khác, thường được sử dụng trong xử lý ảnh. Tuy nhiên, CNN cũng có thể được sử dụng để phân tích gói tin mạng, phát hiện các dấu hiệu của cuộc tấn công mạng. CNN có khả năng tự động học các đặc trưng quan trọng từ dữ liệu, giúp cải thiện hiệu quả của hệ thống phát hiện xâm nhập.

IV. Chuẩn bị Dữ liệu Xây dựng Mô hình Phát hiện Xâm nhập

Quá trình xây dựng mô hình phát hiện xâm nhập mạng bằng học sâu bao gồm các bước: thu thập dữ liệu, tiền xử lý dữ liệu, xây dựng mô hình, huấn luyện mô hình, và đánh giá mô hình. Dữ liệu huấn luyện cần phải được chuẩn bị kỹ lưỡng, bao gồm việc làm sạch dữ liệu, loại bỏ các thuộc tính không liên quan, và chia dữ liệu thành các tập huấn luyện và kiểm tra. Các bộ dữ liệu phổ biến cho bài toán này bao gồm NSL-KDD, CICIDS2017, và UNSW-NB15.

4.1. Tiền xử lý Dữ liệu Mạng NSL KDD CICIDS2017

Việc tiền xử lý dữ liệu là một bước quan trọng trong quá trình xây dựng mô hình phát hiện xâm nhập. Các kỹ thuật tiền xử lý dữ liệu bao gồm: chuẩn hóa dữ liệu, mã hóa dữ liệu, và giảm chiều dữ liệu. Chuẩn hóa dữ liệu giúp đưa các thuộc tính về cùng một thang đo, cải thiện hiệu quả của thuật toán học sâu. Mã hóa dữ liệu giúp chuyển đổi các thuộc tính văn bản thành số, để có thể được xử lý bởi thuật toán học sâu. Giảm chiều dữ liệu giúp giảm số lượng thuộc tính, cải thiện hiệu quả và tốc độ của thuật toán học sâu.

4.2. Lựa chọn và Huấn luyện Mô hình Học Sâu

Sau khi dữ liệu đã được tiền xử lý, bước tiếp theo là lựa chọn và huấn luyện mô hình học sâu. Việc lựa chọn mô hình phụ thuộc vào đặc điểm của dữ liệu và yêu cầu của bài toán. Quá trình huấn luyện mô hình bao gồm việc điều chỉnh các tham số của mô hình để tối ưu hóa hiệu suất trên tập huấn luyện. Các kỹ thuật tối ưu hóa phổ biến bao gồm: gradient descent, Adam, và RMSprop.

V. Đánh giá Hiệu năng Mô hình Phát hiện Xâm nhập Mạng Học Sâu

Hiệu năng của mô hình phát hiện xâm nhập mạng cần được đánh giá trên tập kiểm tra. Các độ đo hiệu năng phổ biến bao gồm: độ chính xác, độ tin cậy, tỷ lệ phát hiện, và tỷ lệ dương tính giả. Độ chính xác đo lường khả năng dự đoán đúng của mô hình. Độ tin cậy đo lường khả năng mô hình không bỏ sót bất kỳ cuộc tấn công nào. Tỷ lệ phát hiện đo lường tỷ lệ các cuộc tấn công được phát hiện bởi mô hình. Tỷ lệ dương tính giả đo lường tỷ lệ các cảnh báo sai được đưa ra bởi mô hình.

5.1. Sử dụng Độ chính xác Độ tin cậy F1 score để Đánh giá

Độ chính xác, độ tin cậy, và F1-score là các độ đo hiệu năng quan trọng để đánh giá mô hình phát hiện xâm nhập. F1-score là trung bình điều hòa của độ chính xácđộ tin cậy, và là một độ đo tổng hợp, phản ánh cả hai khía cạnh của mô hình.

5.2. Phân tích Tỷ lệ Phát hiện Giảm Dương tính giả

Mục tiêu của một hệ thống phát hiện xâm nhập là đạt được tỷ lệ phát hiện cao và tỷ lệ dương tính giả thấp. Tỷ lệ dương tính giả cao có thể gây phiền toái cho người dùng và làm giảm sự tin tưởng vào hệ thống. Do đó, cần có các biện pháp để giảm tỷ lệ dương tính giả, chẳng hạn như sử dụng các kỹ thuật lọc và phân tích cảnh báo.

VI. Kết luận Hướng Phát triển Đồ án Phát hiện Xâm nhập Học Sâu

Đồ án phát hiện xâm nhập mạng bằng học sâu là một lĩnh vực nghiên cứu đầy tiềm năng. Các kết quả nghiên cứu cho thấy rằng học sâu có thể được sử dụng để xây dựng các hệ thống phát hiện xâm nhập hiệu quả, có khả năng phát hiện các cuộc tấn công mới và chưa được biết đến. Tuy nhiên, vẫn còn nhiều thách thức cần giải quyết, chẳng hạn như làm thế nào để giảm tỷ lệ dương tính giả, và làm thế nào để thích ứng với các cuộc tấn công mạng ngày càng tinh vi.

6.1. Tóm tắt Kết quả Đóng góp của Đồ án

Đồ án đã đóng góp vào việc tìm hiểu sâu hơn về bài toán phát hiện xâm nhập mạng bằng học sâu. Đồ án đã trình bày một số phương pháp tiếp cận hiệu quả, và đánh giá hiệu năng của các phương pháp này trên các bộ dữ liệu phổ biến.

6.2. Các Hướng Nghiên cứu Mở rộng Ứng dụng Thực tiễn

Các hướng nghiên cứu mở rộng bao gồm: nghiên cứu các thuật toán học sâu mới, phát triển các kỹ thuật tiền xử lý dữ liệu tiên tiến, và xây dựng các hệ thống phát hiện xâm nhập có khả năng tự động thích ứng với các cuộc tấn công mạng mới. Ứng dụng thực tiễn của đồ án bao gồm: triển khai các hệ thống phát hiện xâm nhập trong các tổ chức và doanh nghiệp, giúp bảo vệ hệ thống mạng khỏi các cuộc tấn công mạng.

21/09/2025

Trích đoạn nội dung tài liệu

CHƯƠNG 1: TỔNG QUAN VỀ MẠNG trộm và chỉnh sửa dữ liệu trên đường truyền. Bên thứ ba có thể lấy được các gói tin đã mã hóa, nhưng không thể đọc được nội dung thông điệp từ các gói tin này. Trong mã hóa dữ liệu, dữ liệu ban đầu được gọi là plaintext, dữ liệu đã được mã hóa là ciphertext. Quá trình mã hóa từ plaintext sang ciphertext sẽ biến nội dung sang một dạng mới, vì thế sẽ tăng thêm một lớp bảo mật cho dữ liệu.

Ứng với mỗi cách mã hóa là một cách giải mã nhất định, bao gồm thuật toán và khóa là bí mật. Giả sử dữ liệu bị đánh cắp thì phải mất một khoảng thời gian khá lâu và một khoảng tài nguyên nhất định đủ để tên trộm có thể giải mã dữ liệu. Thực tế, việc mã hóa dữ liệu không thể hoàn toàn ngăn việc dữ liệu có thể bị đánh cắp nhưng lại là việc vô cùng cần thiết để tăng tính bảo mật cho dữ liệu.3 Mạng riêng ảo (Virtual private network – VPN) Mạng riêng ảo là một kĩ thuật giúp tạo kết nối an toàn khi tham gia vào mạng công cộng bằng cách tạo một mạng ảo. Nó ngăn chặn những người không được phép nghe lén và cho phép người dùng thực hiện công việc từ xa.

Vì vậy, các tập đoàn lớn, các cơ sở giáo dục và cơ quan chính phủ sử dụng công nghệ này để cho phép người dùng từ xa kết nối an toàn đến mạng riêng của cơ quan mình. Khi kết nối máy tính với VPN, máy tính sẽ hoạt động như thể đang kết nối với mạng cục bộ. Điều này cho phép người dùng truy cập nguồn tài nguyên mạng cục bộ ngay cả khi họ đang ở đầu bên kia của thế giới. Ngoài ra, người dùng cũng có thể sử dụng Internet giống như thể họ đang hiện diện tại vị trí của VPN.

Ví dụ, nếu VPN đặt tại Nhật Bản thì khi người dùng kết nối đến một ứng dụng như Netflix, nó sẽ ghi nhận địa chỉ của họ ở Nhật Bản. VPN là một giải pháp tiện lợi với chi phí thấp để xây dựng một hệ thống mạng riêng mà vẫn cung cấp được nhiều chức năng đến người dùng như truy cập từ xa, duyệt web ẩn danh, truy cập những web bị chặn giới hạn địa lí, … Tuy nhiên, VPN vẫn tồn tại những nhược điểm như gói dữ liệu có nguy cơ bị thất lạc, những người dùng có nguy cơ bị tấn công, … 8 CHƯƠNG 1: TỔNG QUAN VỀ MẠNG 1.4 HỆ THỐNG PHÁT HIỆN XÂM NHẬP MẠNG (INSTRUCTION DETECT SYSTEM - IDS) 1.1 Khái niệm Hệ thống phát hiện xâm nhập là một hệ thống phát hiện các xâm nhập trái phép, các cuộc tấn công vào hệ thống mạng và đưa ra cảnh báo. IDS có thể là thiết bị phần cứng hay phần mềm. Mục đích của nó là ngăn ngừa và phát hiện những hành động mang tính phá hoại sự bảo mật của hệ thống hoặc những hành vi như dò tìm, quét các cổng.

Ngoài ra, IDS có khả năng phân biệt hành vi tấn công đến từ bên ngoài hay trong nội bộ. Ngày nay có rất nhiều sản phẩm công nghệ ra đời với mục đích bảo vệ hệ thống mạng của người dùng. Tuy nhiên, chúng ta không nên nhầm lẫn một trong số chúng là một hệ thống phát hiện xâm nhập. Chẳng hạn, tường lửa hay một phần mềm chống vi- rút nào đó không phải là IDS [8].

IDS là một trong những giải pháp hiệu quả và quan trọng trong bảo vệ hệ thống. Nhìn chung, nó sẽ cung cấp các chức năng như sau: o Theo dõi, giám sát và phát hiện các hành vi bất thường, xâm nhập trái phép đối với hệ thống o Đưa ra cảnh báo về tình trạng cho hệ thống và nhà quản trị kịp thời o Xác định vị trí có vấn đề trong hệ thống o Phân biệt nguồn gốc cuộc tấn công đến từ nội bộ hay bên ngoài 1.2 Phân loại Tùy theo chức năng và nhiệm vụ, IDS sẽ được chia thành nhiều loại khác nhau như sau [8]: o NIDS (Network Intrusion Detection Systems): hệ thống phát hiện xâm nhập mạng sẽ tập hợp gói tin để phân tích sâu bên trong mà không làm thay đổi cấu trúc gói tin. NIDS có thể là phần mềm triển khai trên máy chủ (server) hoặc dạng thiết bị tích hợp. Nó hoạt động tốt trong việc kiểm tra và phát hiện các dạng tấn công trên mạng.

Thông thường, NIDS sẽ được bố trí tại những điểm dễ bị tấn công trong hệ thống. o HIDS (Host Intrusion Detection Systems): hệ thống phát hiện xâm nhập host (bất cứ một máy tính nào có kết nối tới một mạng máy tính và có địa chỉ xác định) 9 CHƯƠNG 1: TỔNG QUAN VỀ MẠNG theo dõi các hoạt động bất thường trên các host riêng biệt. Nó thường được được đặt trên các host quan trọng hay cần được theo dõi. o Signature-Based IDS: là các IDS hoạt động dựa trên chữ ký.

Nó giám sát các gói tin trên mạng và so sánh chúng với cơ sở dữ liệu chữ ký. Nhược điểm của các IDS này là có thể không phát hiện ra mối đe dọa mới, khi chữ ký để nhận biết nó chưa được IDS cung cấp hay cập nhật. o Misuse-based IDS: hệ thống phát hiện xâm nhập dựa vào dấu hiệu. Những dấu hiệu đó có thể là thông tin về các kết nối nguy hiểm đã biết trước.

Sau đó, nó so sánh thông tin của các gói tin đến với các dấu hiệu này để phát hiện ra các hoạt động đáng ngờ và đưa ra cảnh báo cho hệ thống. IDS này hiệu quả trong việc phát hiện các tấn công đã biết với tỷ lệ cảnh báo sai thấp. Tuy nhiên, việc chỉ phát hiện được những cuộc tấn công đã biết lại trở thành nhược điểm lớn của nó. o Anomaly-Based IDS: IDS này sẽ phát hiện mối đe dọa dựa trên sự bất thường.

Quá trình phát hiện bất thường được tiến hành qua hai giai đoạn: giai đoạn huấn luyện (pha huấn luyện) và gia đoạn phát hiện (pha phát hiện). Tại pha huấn luyện, nó xây dựng một hồ sơ về các hoạt động bình thường (thông số chuẩn). Sau đó, tại pha phát hiện, nó tiến hành so khớp gói tin với hồ sơ đã tạo ở pha huấn luyện để xác định dấu hiệu bất thường. Nó khá hiệu quả trong việc phát hiện các mối nguy hiểm không được biết trước.

o Passive IDS: IDS loại này rất thụ động, nó chỉ phát hiện và gửi cảnh báo đến nhà quản trị. Những hành động sau đó sẽ phụ thuộc vào người quản trị. o Reactive IDS: IDS loại này không chỉ thực hiện các chức năng như IDS Passive mà còn thực hiện những hành động được thiết lập sẵn để phản ứng lại các mối đe dọa tức thì.3 Ưu nhược điểm Ưu điểm o Là một lựa chọn thích hợp để thu thập số liệu, giúp kiểm tra các sự cố xảy ra đối với hệ thống mạng với những bằng chứng thuyết phục nhất o Là công cụ để chủ động giám sát và bảo vệ mạng của bạn khỏi hoạt động độc hại o Đem đến cái nhìn bao quát và toàn diện về toàn bộ hệ thống mạng 10 CHƯƠNG 1: TỔNG QUAN VỀ MẠNG Nhược điểm o Dễ đưa ra các báo động sai nếu không được cấu hình hợp lý o Tốn nhiều chi phí để triển khai, vận hành, phát triển và mở rộng Mặc dù được xem là một biện pháp hữu hiệu nhưng IDS vẫn có khả năng bị tấn công bởi tấn công từ chối dịch vụ (Distributed Denial of Service - DoS) hay các tấn công đánh lừa nhằm khiến IDS đưa ra các cảnh báo sai. 11 CHƯƠNG 2: TỔNG QUAN VỀ MACHINE LEARNING CHƯƠNG 2: TỔNG QUAN VỀ MACHINE LEARNING 2.1 KHÁI QUÁT VỀ HỌC MÁY (MACHINE LEARNING) 2.1 Học máy là gì? Học máy (machine learning) là một lĩnh vực con của trí tuệ nhân tạo (artificial intelligence) sử dụng các thuật toán cho phép máy tính có thể học từ dữ liệu để thực hiện các công việc thay vì được lập trình một cách rõ ràng.2 Phân nhóm thuật toán Về cơ bản, các thuật toán học máy (machine learning) có thể phân thành hai nhóm [9]: • Nhóm các thuật toán học máy theo phong cách học tập, hoặc • Nhóm các thuật toán học máy dựa trên sự tương đồng về hình thức hoặc chức năng 2.1 Thuật toán phân theo phong cách học tập 2.1 Học có giám sát (supervised learning) Hình 2.

1 Học có giám sát (supervised learning) [9] Hình 2.1 minh họa về thuật toán học có giám sát. Về cơ bản, trong thuật toán được giám sát này, dữ liệu đầu vào được gọi là dữ liệu huấn luyện và có nhãn. Dữ liệu đầu vào của quá trình bao gồm cả vector đầu vào chứa các thuộc tính của dữ liệu lẫn giá trị đầu ra mục tiêu (gọi là nhãn của dữ liệu). Mô hình học có giám sát cho phép dự đoán đầu ra của một dữ liệu mới dựa trên các cặp (đầu vào, đầu ra) đã biết trước thu được từ bộ dữ liệu huấn luyện.

Bộ dữ liệu huấn luyện bao gồm các cặp (dữ liệu, nhãn). Trong đó, một mô hình được xây dựng thông qua một quá trình huấn luyện. Quá trình huấn luyện tiếp tục cho đến khi mô hình đạt được mức độ mong muốn. 12 CHƯƠNG 2: TỔNG QUAN VỀ MACHINE LEARNING • Các bài toán phổ biến là phân loại và hồi quy.

• Các thuật toán phổ biến bao gồm hồi quy logistic và mạng thần kinh 2.2 Học không giám sát (unsupervised learning) Hình 2. 2 Học không giám sát (unsupervised learning) [9] Hình 2.2 mô tả về thuật toán học không giám sát. Học không giám sát là một lớp mô hình học sử dụng một thuật toán để mô tả, trích xuất ra các mối quan hệ tiềm ẩn trong dữ liệu. Khác với học có giám sát, học không giám sát chỉ thực thi trên dữ liệu đầu vào không cần các thuộc tính nhãn và không có kết quả đã biết.

Chúng ta phải xây dựng một mô hình bằng cách suy ra các cấu trúc tiềm ẩn có trong dữ liệu đầu vào. Điều này có thể là để trích xuất ra các quy tắc chung. Nó có thể thông qua một quá trình toán học để giảm sự dư thừa. • Các bài toán phổ biến là phân cụm, giảm kích thước và học quy tắc kết hợp.

• Các thuật toán phổ biến bao gồm thuật toán Apriori và k-Means.3 Học bán giám sát (semi-supervised learning) Hình 2. 3 Học bán giám sát (semi-supervised learning) [9] Hình 2.3 mô tả thuật toán học bán giám sát. Dữ liệu đầu vào là một hỗn hợp của các đối tượng được dán nhãn và không nhãn. Mục tiêu của mô hình học bán giám sát là tận dụng hiệu quả toàn bộ dữ liệu có được, không chỉ dữ liệu được gán nhãn mà cả dữ liệu chưa được gán nhãn.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ