Ứng dụng Machine Learning phân tích luồng dữ liệu không tin cậy trong An toàn Thông tin

Ứng dụng Machine Learning để phân tích luồng dữ liệu không tin cậy, tăng cường an toàn thông tin. Tìm hiểu cách ML giúp phát hiện và ngăn chặn tấn công mạng.

• Tác giả: Phạm Tấn Phong
• Người hướng dẫn: Ts. Lê Trọng Ngọc
• Trường học: Trường Đại học Công nghiệp Thành phố Hồ Chí Minh
• Chuyên ngành: Khoa học Máy tính
• Đề tài: Ứng Dụng Machine Learning Để Phân Tích Luồng Dữ Liệu Không Tin Cậy Trong Lĩnh Vực An Toàn Thông Tin
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2024
• Địa điểm: Thành phố Hồ Chí Minh

Tóm tắt

I. Tổng Quan Machine Learning Phân Tích Luồng Dữ Liệu An Toàn

Trong bối cảnh an ninh mạng ngày càng phức tạp, việc đảm bảo an toàn thông tin trở thành ưu tiên hàng đầu. Các cuộc tấn công mạng ngày càng tinh vi, sử dụng nhiều kỹ thuật khác nhau để xâm nhập và đánh cắp dữ liệu. Luồng dữ liệu không tin cậy, bao gồm thông tin từ các nguồn không xác định hoặc đã bị can thiệp, là một thách thức lớn trong việc bảo vệ hệ thống. Các phương pháp truyền thống, dựa trên việc phân tích thủ công hoặc sử dụng các quy tắc cứng nhắc, thường không đủ mạnh mẽ để đối phó với các cuộc tấn công mới và phức tạp. Vì vậy, việc ứng dụng machine learning để phân tích luồng dữ liệu an toàn thông tin đã mở ra một hướng đi mới đầy tiềm năng. Machine learning cho phép hệ thống tự động học hỏi từ dữ liệu, nhận diện các mẫu và hành vi bất thường, từ đó phát hiện và ngăn chặn các cuộc tấn công một cách hiệu quả hơn. Luận văn này sẽ đi sâu vào các ứng dụng cụ thể của machine learning trong việc phân tích luồng dữ liệu an toàn thông tin, đánh giá hiệu quả của các phương pháp khác nhau, và đề xuất các hướng nghiên cứu tiếp theo. Các nghiên cứu trước đây của Amirah Alshammari và Abdulaziz Aldribi (2021) đã cho thấy hiệu quả của mạng Neural Networks trong việc phân tích luồng dữ liệu không tin cậy, tuy nhiên việc huấn luyện mô hình gặp nhiều khó khăn do yêu cầu lượng lớn dữ liệu.

1.1. Giới Thiệu Các Khái Niệm Cơ Bản Về An Toàn Thông Tin

An toàn thông tin là một lĩnh vực rộng lớn, bao gồm nhiều khía cạnh khác nhau, từ bảo vệ dữ liệu đến bảo vệ hệ thống và mạng lưới. Một trong những khái niệm quan trọng nhất là luồng dữ liệu không tin cậy, đề cập đến các luồng dữ liệu có nguồn gốc không rõ ràng hoặc có khả năng đã bị can thiệp. Luồng dữ liệu không tin cậy có thể chứa mã độc, thông tin sai lệch hoặc các nội dung độc hại khác, gây nguy hiểm cho hệ thống. Việc phân tích luồng dữ liệu an toàn thông tin đòi hỏi sự kết hợp giữa các kiến thức về mạng máy tính, an ninh mạng và machine learning. Các phương pháp machine learning có thể được sử dụng để phân loại dữ liệu, phát hiện các hành vi bất thường và dự đoán các cuộc tấn công tiềm ẩn.

1.2. Vai Trò Của Machine Learning Trong Bảo Vệ Hệ Thống

Machine learning đóng một vai trò quan trọng trong việc bảo vệ hệ thống khỏi các cuộc tấn công mạng. Các thuật toán machine learning có thể được sử dụng để phân tích các luồng dữ liệu mạng, xác định các mẫu tấn công và cảnh báo cho người quản trị hệ thống. Machine learning cũng có thể được sử dụng để tự động phản ứng với các cuộc tấn công, chẳng hạn như chặn các địa chỉ IP độc hại hoặc đóng các cổng không cần thiết. Trong môi trường an ninh mạng hiện nay, nơi các cuộc tấn công ngày càng tinh vi và phức tạp, machine learning là một công cụ không thể thiếu để bảo vệ hệ thống.

II. Thách Thức Phân Tích Dữ Liệu An Toàn và Độ Tin Cậy

Mặc dù machine learning mang lại nhiều tiềm năng cho việc phân tích luồng dữ liệu an toàn thông tin, nhưng cũng có nhiều thách thức cần được giải quyết. Một trong những thách thức lớn nhất là vấn đề về dữ liệu. Các hệ thống machine learning cần một lượng lớn dữ liệu để học hỏi và đạt được độ chính xác cao. Tuy nhiên, việc thu thập và xử lý dữ liệu an toàn thông tin có thể gặp nhiều khó khăn, đặc biệt là khi dữ liệu chứa thông tin nhạy cảm hoặc có tính chất bảo mật cao. Ngoài ra, dữ liệu an toàn thông tin thường không cân bằng, với số lượng các cuộc tấn công ít hơn nhiều so với số lượng các hoạt động bình thường. Điều này có thể dẫn đến việc các hệ thống machine learning bị thiên vị và không phát hiện được các cuộc tấn công. Cuộc khảo sát năm 2019 cho thấy rằng 9 trong 10 ứng dụng web dễ bị tấn công và 68% ứng dụng vi phạm thông tin nhạy cảm. Việc thu thập và phân tích luồng dữ liệu không tin cậy trong ứng dụng website như các yêu cầu HTTP/HTTPS cũng gặp nhiều khó khăn do dữ liệu dễ bị can thiệp.

2.1. Vấn Đề Dữ Liệu Trong Phân Tích An Toàn Thông Tin

Vấn đề dữ liệu là một trong những thách thức lớn nhất trong việc phân tích an toàn thông tin. Các hệ thống machine learning cần một lượng lớn dữ liệu để học hỏi và đạt được độ chính xác cao. Tuy nhiên, việc thu thập và xử lý dữ liệu an toàn thông tin có thể gặp nhiều khó khăn, đặc biệt là khi dữ liệu chứa thông tin nhạy cảm hoặc có tính chất bảo mật cao. Ngoài ra, dữ liệu an toàn thông tin thường không cân bằng, với số lượng các cuộc tấn công ít hơn nhiều so với số lượng các hoạt động bình thường. Điều này có thể dẫn đến việc các hệ thống machine learning bị thiên vị và không phát hiện được các cuộc tấn công. Một giải pháp là sử dụng các kỹ thuật tăng cường dữ liệu để tạo ra các mẫu tấn công giả, giúp cân bằng lại dữ liệu.

2.2. Khả Năng Thích Ứng Với Các Cuộc Tấn Công Mới

Một thách thức khác trong việc phân tích an toàn thông tin là khả năng thích ứng với các cuộc tấn công mới. Các kẻ tấn công liên tục phát triển các kỹ thuật mới để vượt qua các hệ thống bảo mật. Do đó, các hệ thống machine learning cần có khả năng học hỏi và thích ứng với các cuộc tấn công mới một cách nhanh chóng. Một giải pháp là sử dụng các thuật toán học trực tuyến, cho phép hệ thống học hỏi từ dữ liệu mới theo thời gian thực. Một trong các phương pháp truyền thống trong việc phát hiện sử dụng trái phép thường tập trung vào việc phân loại và kiểm tra cấu trúc gói tin của dữ liệu không đáng tin cậy.

III. Extreme Learning Machine Giải Pháp Machine Learning Tối Ưu

Để giải quyết các thách thức trên, luận văn này đề xuất sử dụng Extreme Learning Machine (ELM), một thuật toán machine learning mạnh mẽ và hiệu quả. ELM là một loại mạng nơ-ron một lớp ẩn (Single-layer Feedforward Neural Network - SLFN) có tốc độ học nhanh và khả năng tổng quát hóa tốt. ELM không yêu cầu điều chỉnh các tham số của các nơ-ron ẩn, giúp giảm thời gian huấn luyện và tăng hiệu quả. ELM đã được chứng minh là có hiệu quả trong nhiều ứng dụng khác nhau, bao gồm cả phân tích an toàn thông tin. Nghiên cứu năm 2004 của Huang, Zhu, và Siew đã giới thiệu thuật toán ELM, cho phép pha huấn luyện nhanh hơn.

3.1. Giới Thiệu Về Thuật Toán Extreme Learning Machine ELM

Extreme Learning Machine (ELM) là một thuật toán machine learning mạnh mẽ và hiệu quả. ELM là một loại mạng nơ-ron một lớp ẩn (SLFN) có tốc độ học nhanh và khả năng tổng quát hóa tốt. ELM không yêu cầu điều chỉnh các tham số của các nơ-ron ẩn, giúp giảm thời gian huấn luyện và tăng hiệu quả. ELM hoạt động bằng cách gán ngẫu nhiên các trọng số đầu vào và các bias của các nơ-ron ẩn, sau đó tính toán các trọng số đầu ra bằng cách sử dụng phương pháp bình phương tối thiểu. Điều này cho phép ELM học hỏi một cách nhanh chóng và hiệu quả.

3.2. Ưu Điểm Của ELM So Với Các Phương Pháp Khác

ELM có nhiều ưu điểm so với các phương pháp machine learning khác. Đầu tiên, ELM có tốc độ học nhanh hơn nhiều so với các thuật toán học truyền thống, chẳng hạn như backpropagation. Thứ hai, ELM có khả năng tổng quát hóa tốt hơn, có nghĩa là nó có thể dự đoán chính xác các mẫu dữ liệu mới mà nó chưa từng thấy trước đây. Thứ ba, ELM ít nhạy cảm hơn với các tham số điều chỉnh, giúp đơn giản hóa quá trình huấn luyện. Cuối cùng, ELM có thể được sử dụng cho cả các bài toán phân loại và hồi quy.

3.3. Cấu Trúc Và Hoạt Động Của ELM Trong Phân Tích Dữ Liệu

Cấu trúc của ELM bao gồm ba lớp chính: lớp đầu vào, lớp ẩn và lớp đầu ra. Lớp đầu vào nhận dữ liệu đầu vào. Lớp ẩn chứa một số lượng lớn các nơ-ron ẩn, với các trọng số đầu vào và các bias được gán ngẫu nhiên. Lớp đầu ra tính toán các trọng số đầu ra bằng cách sử dụng phương pháp bình phương tối thiểu. Để phân tích dữ liệu, dữ liệu đầu vào được đưa vào lớp đầu vào. Các nơ-ron ẩn sau đó xử lý dữ liệu và chuyển kết quả đến lớp đầu ra. Lớp đầu ra sử dụng các trọng số đầu ra để dự đoán kết quả. Phần ẩn trong mô hình ELM sử dụng một lượng lớn các nút (nodes) để tạo ra nhiều hàm phi tuyến tính được mô tả bỏi một ma trận trọng số w sinh ngẫu nhiên có k hàng và d cột, trong đó k là số lượng các nút trong phần ẩn. Và b là một vector chứa giá trị bias có kích thước bằng số số lượng nút ẩn. Giá trị đầu ra của phần ẩn là H, một ma trận kích thước k X N, được tính bằng cách sử dụng hàm kích hoạt g(x).

IV. Thực Nghiệm và Kết Quả Đánh Giá Hiệu Quả của Machine Learning

Để đánh giá hiệu quả của ELM trong việc phân tích luồng dữ liệu an toàn thông tin, chúng tôi đã thực hiện một loạt các thí nghiệm trên bộ dữ liệu CIC-IDS-2017. Bộ dữ liệu này chứa các bản ghi về các hoạt động mạng, bao gồm cả các hoạt động bình thường và các cuộc tấn công. Chúng tôi đã sử dụng ELM để phân loại các bản ghi thành các loại khác nhau, chẳng hạn như các hoạt động bình thường, các cuộc tấn công từ chối dịch vụ (DoS) và các cuộc tấn công xâm nhập. Kết quả cho thấy ELM có thể đạt được độ chính xác cao trong việc phân loại các bản ghi, đặc biệt là khi sử dụng các hàm kích hoạt phù hợp.

4.1. Mô Tả Bộ Dữ Liệu CIC IDS 2017 và Tiền Xử Lý

Bộ dữ liệu CIC-IDS-2017 là một bộ dữ liệu phổ biến được sử dụng để đánh giá các hệ thống phát hiện xâm nhập. Bộ dữ liệu này chứa các bản ghi về các hoạt động mạng, bao gồm cả các hoạt động bình thường và các cuộc tấn công. Các cuộc tấn công được mô phỏng dựa trên các hành vi của kẻ tấn công. Để sử dụng bộ dữ liệu này cho các thí nghiệm ELM, chúng tôi đã thực hiện một số bước tiền xử lý, bao gồm: Xóa dữ liệu nhiễu, dữ liệu dư thừa, và mất thông tin, mã hóa nhãn dữ liệu, chuẩn hóa dữ liệu để đảm bảo tính thống nhất và đồng nhất trong dữ liệu, tránh việc sai lệch của dữ liệu.

4.2. Kết Quả Phân Loại Sử Dụng Extreme Learning Machine

Sau khi tiền xử lý dữ liệu, chúng tôi đã sử dụng ELM để phân loại các bản ghi thành các loại khác nhau. Chúng tôi đã thử nghiệm với nhiều cấu hình ELM khác nhau, bao gồm các số lượng nơ-ron ẩn khác nhau và các hàm kích hoạt khác nhau. Kết quả cho thấy ELM có thể đạt được độ chính xác cao trong việc phân loại các bản ghi. Các thí nghiệm cho thấy hàm kích hoạt tanh và sigmoid cho thấy độ chính xác chiếm ưu thế hơn, hàm relu và leak-relu thì không có quá nhiều thay đổi. ELM đã vượt trội hơn so với các phương pháp học máy khác, cho thấy tiềm năng lớn của nó trong việc phân tích luồng dữ liệu an toàn thông tin.

4.3. So Sánh Hiệu Quả Với Các Phương Pháp Khác

Thí nghiệm so sánh tốc độ và độ chính xác của Extreme Learning Machine so với các phương pháp học máy khác như hồi quy tuyến tính (Logistic Regression), phân loại rừng ngẫu nhiên (Random Forest Classifier - RFC). Các thí nghiệm trên bộ dữ liệu cho thấy về tốc độ huấn luyện Extreme Learning Machine (ELM) thể hiện tốc độ huấn luyện nhanh, so với các phương pháp khác tốc độ nhanh vượt trội, trong khi độ chính cũng không thua kém quá nhiều so với các phương pháp khác. Điều này thể hiện, Extreme Learning Machine (ELM) mang lại hiệu quả cao về mặt thời gian huấn luyện.

V. Ứng Dụng Thực Tiễn Extreme Learning Machine Trong An Ninh Mạng

Việc áp dụng Extreme Learning Machine (ELM) trong an ninh mạng có thể mang lại nhiều lợi ích đáng kể. Trong thực tế, ELM có thể được sử dụng để xây dựng các hệ thống phát hiện xâm nhập (IDS) có khả năng phát hiện các cuộc tấn công mạng một cách nhanh chóng và chính xác. Đặc biệt, ELM rất thích hợp trong phân tích các dữ liệu không tin cậy từ web vì có khả năng phân loại nhanh chóng và hiệu quả với bộ dữ liệu phi tuyến tính. Việc áp dụng ELM trong an ninh mạng có thể giúp bảo vệ các hệ thống khỏi các cuộc tấn công mạng, giảm thiểu thiệt hại và đảm bảo an toàn thông tin.

5.1. Xây Dựng Hệ Thống Phát Hiện Xâm Nhập IDS Với ELM

ELM có thể được sử dụng để xây dựng các hệ thống phát hiện xâm nhập (IDS) có khả năng phát hiện các cuộc tấn công mạng một cách nhanh chóng và chính xác. IDS có vai trò quan trọng trong việc phát hiện các cuộc tấn công tiềm ẩn và cảnh báo cho người quản trị hệ thống. Bằng cách sử dụng ELM, các IDS có thể phân tích các luồng dữ liệu mạng và xác định các mẫu tấn công một cách hiệu quả.

5.2. Phát Hiện Mã Độc và Hoạt Động Bất Thường với ELM

ELM cũng có thể được sử dụng để phát hiện mã độc và các hoạt động bất thường trên mạng. Bằng cách phân tích các tệp tin và các tiến trình đang chạy, ELM có thể xác định các mẫu mã độc và các hành vi đáng ngờ. Điều này giúp bảo vệ các hệ thống khỏi các cuộc tấn công bằng mã độc và các hoạt động bất thường khác.

VI. Kết Luận và Tương Lai Nghiên Cứu và Phát Triển An Ninh

Luận văn này đã trình bày về ứng dụng Extreme Learning Machine (ELM) trong việc phân tích luồng dữ liệu an toàn thông tin. Các kết quả thực nghiệm cho thấy ELM có tiềm năng lớn trong việc giải quyết các thách thức trong lĩnh vực an ninh mạng. Trong tương lai, chúng tôi mong muốn mở rộng nghiên cứu để áp dụng ELM cho các vấn đề khác trong an ninh thông tin, như việc phát hiện mã độc và các hoạt động bất thường trên mạng. Chúng tôi cũng kỳ vọng vào việc phát triển và tích hợp ELM vào các ứng dụng hoặc hệ thống phát hiện xâm nhập (IDS), nhằm cải thiện khả năng nhận diện thông tin một cách chính xác hơn. Tiếp tục nghiên cứu chuyên sâu để nâng cao độ tin cậy.

6.1. Tổng Kết Những Đóng Góp Của Nghiên Cứu

Luận văn này đã đóng góp vào việc nghiên cứu và ứng dụng machine learning trong lĩnh vực an ninh mạng. Chúng tôi đã trình bày về ứng dụng Extreme Learning Machine (ELM) trong việc phân tích luồng dữ liệu an toàn thông tin. Các kết quả thực nghiệm cho thấy ELM có tiềm năng lớn trong việc giải quyết các thách thức trong lĩnh vực an ninh mạng. Nghiên cứu đã cung cấp các giá trị và tiềm năng mà thuật toán ELM mang lại

6.2. Hướng Phát Triển và Nghiên Cứu Tiếp Theo

Trong tương lai, chúng tôi mong muốn mở rộng nghiên cứu để áp dụng ELM cho các vấn đề khác trong an ninh thông tin, như việc phát hiện mã độc và các hoạt động bất thường trên mạng. Chúng tôi cũng kỳ vọng vào việc phát triển và tích hợp ELM vào các ứng dụng hoặc hệ thống phát hiện xâm nhập (IDS), nhằm cải thiện khả năng nhận diện thông tin một cách chính xác hơn. Tiếp tục nghiên cứu chuyên sâu để nâng cao độ tin cậy.

Trích đoạn nội dung tài liệu

CHƯƠNG 1 TỔNG QUAN cơ SỞ LÝ THUYẾT 1.1 Giới thiêu bài toán phân tích luồng dữ liệu không tin cậy Phân tích luồng dữ liệu không tin cậy (untrusted data) đang ngày càng trở nên quan trọng trong nhiều lĩnh vực và ứng dụng, đặc biệt trong lĩnh vực An toàn Thông tin. Luồng dữ liệu không tin cậy, thu thập được từ các cuộc tấn công mạng liên tục trong từng ngày và từng giờ hay các thông tin mã độc được truyền tải trong môi trường mạng. Trong ứng dụng website, luồng dữ liệu không tin cậy thường thể hiện thông qua các yêu cầu HTTP/HTTPS, bao gồm tham số URL, trường dữ liệu của biểu mẫu, tiêu đề hoặc thông tin nhạy cảm khác. Những dữ liệu này dễ bị kẻ tấn công can thiệp và thao túng để chèn thêm các thông tin mã độc, theo một cuộc khảo sát vào năm 2019 cho thấy 9 trong 10 ứng dụng website dễ bị tấn công và 68% ứng dụng vi phạm thông tin nhạy cảm (data breaches) [4], dẫn tới các thách thức trong việc phát hiện sử dụng trái phép (misuse detection) và phát hiện bất thường (anomaly detection) trong môi trường không gian mạng [5].

WSbSt Sỉ^na+ure ĩn+ruder Oe+eílíon Example; if (src_ip == dst_ip &&? src_prt == dst_prt) then “land attack” w Can't- de+ec+ neu ai+acks Hình 1.1 Cấu trúc của mô hình mạng nơ-ron [6] 5 Các phương pháp truyền thống trong việc phát hiện sử dụng trái phép thường tập trung vào việc phân loại và kiểm tra cấu trúc gói tin của dữ liệu không đáng tin cậy để xác định mức độ an toàn. Một trong những phương pháp quan trọng là kiểm tra tính hợp lệ của dữ liệu không đáng tin cậy thông qua việc áp dụng quy tắc kiểm tra (validation rules) hoặc so sánh dữ liệu với các mẫu dữ liệu không an toàn đã biết trước [6], Những quy tắc này được thiết lập để đánh giá sự hợp lệ hoặc không hợp lệ của dữ liệu. Tuy nhiên, phương pháp này thường không đủ linh hoạt để ứng phó với tất cả các tình huống, vì mỗi ứng dụng có thể sử dụng dữ liệu không đáng tin cậy theo nhiều cách khác nhau, với các hình thức tấn công mới chưa được biết đến, kỹ thuật này sẽ dẫn đến việc báo động giả, và làm giảm đi sự ổn định của hệ thống [7].2 Minh họa tấn công botnet Để phát hiện các vấn đề bất thường, ngoài phương pháp phân tích gói tin, cần kết hợp tận dụng các kỹ thuật phân tích tần suất, lưu lượng để đánh giá mức độ an toàn của dữ liệu [8]. Ví dụ, trong trường hợp tấn công từ chối dịch vụ (Ddos), việc theo dõi tần suất, lưu lượng các gói tin được gửi trong một khoảng thời gian ngắn có thể tiết lộ dấu hiệu của hệ thống đang bị tấn công từ chối địch vụ.

Tuy nhiên, các cuộc tấn công sẽ thay đổi theo thời gian, tạo ra nhiều biến thể mới và làm mờ đi các dấu hiệu của bất thường của hành vi, từ đó gây ra sai lệnh khi đánh giá luồng dữ liệu không tin cậy [7]. Việc phân tích luồng dữ liệu không tin cậy bằng phương pháp 6 truyền thống còn rất hạn chế, mất quá nhiều nhiều thời gian và tài nguyên, bên cạnh việc ứng dụng các phương pháp mói như kỹ thuật học máy còn chưa được nghiên cứu và tìm hiểu có hệ thống, dù đã đạt nhiều thành công trong nhiều lĩnh vực khác nhau [2].2 Giới thiệu về kỹ thuật học máy Trong lĩnh vực trí tuệ nhân tạo, học máy (machine learning) là một lĩnh vực nghiên cứu và ứng dụng chủ yếu tập trung vào việc xây dựng và phát triển các mô hình và thuật toán để giúp máy tính tự động học từ dữ liệu và cải thiện hiệu suất của chúng theo thời gian. Học máy đã đóng vai trò quan trọng trong nhiều lĩnh vực, từ nhận dạng giọng nói đến phân tích hình ảnh và dự báo tài chính.3 Cấu trúc của mô hình mạng nơ-ron [9] Cấu trúc phổ biến của học máy là sử dụng mạng nơ-ron nhân tạo, được lấy cảm hứng từ hệ thần kinh của con người, để xử lý và phân tích dữ liệu. Các thành phần cơ bản của mạng nơ-ron trong học máy bao gồm các nơ-ron, các kết nối (còn được gọi là synapses), trọng số, độ chệch, hàm lan truyền và quy tắc học.

Các nơ-ron này sẽ nhận đầu vào từ các nơ-ron khác, xử lý thông qua một hàm kích hoạt, và sau đó truyền đầu ra đến các nơ-ron tiếp theo. Những nơ-ron này được tổ chức thành các lớp trong mạng nơ-ron, với ba loại lớp chính: lớp đầu vào, lớp ẩn và lớp đầu ra. Lớp đầu vào có nhiệm vụ tiếp nhận dữ liệu và chuyển nó qua các phần còn lại của mạng. Mô hình mạng nơ-ron sâu (Deep Neural Network - DNNs), có khả năng học sâu và xử lý các vấn đề không tuyến tính thông qua việc tích hợp hàng loạt các lớp ẩn.

Mỗi 7 lớp ẩn trong kiến trúc đa lớp này đều có khả năng học và trích xuất các đạc trưng từ dữ liệu một cách tự động, từ đó giúp DNNs nắm bắt được cấu trúc và mối quan hệ phức tạp giữa các phần tử dữ liệu. Các thuật toán huấn luyện phổ biến thường dựa trên việc sử dụng kỹ thuật giâm gradient, trong đó điển hình là thuật toán lan truyền ngược và các cải tiến. Hạn che của các thuật toán này là chậm, tối ưu cục bộ, quá khớp dữ liệu (overfitting) dẫn đến không có khả năng tổng quát hóa,. Thời gian huấn luyện lớn hơn khi số lớp ẩn nhiều hơn.

input layer hidden layer 1 hidden layer 2 Hình 1.4 Sơ đồ mạng nơ-ron sâu, nhiều lớp [ 10] Tuy nhiên, sự phức tạp không luôn đồng nghĩa với hiệu quả tối ưu. Trong nhiều hoàn cảnh, mô hình một lớp, hoặc perceptron đơn lớp được giới thiệu bởi Frank Rosenblatt vào năm 1957 lại thể hiện được sức mạnh không ngờ, Frank Rosenblatt chứng minh mạng nơ-ron truyền thẳng một lớp ẩn có thể xấp xỉ hàm bất kỳ nếu hàm kích hoạt được chọn phù hợp. Được coi là hình thức nguyên thủy nhất của mạng nơ-ron, perceptrons đơn lớp chỉ bao gồm một lớp đầu vào và một nút đầu ra, loại bỏ sự cần thiết của các lớp ẩn. Sự giản lược này mang lại lợi ích không chỉ về mặt tính toán, mà còn trong việc giảng giải các quyết định dựa trên mô hình, điều này là cực kỳ có giá trị trong các bài toán phân loại tuyến tính.

Thêm vào đó, perceptrons đơn lớp còn được đánh giá cao vì khả năng học tập nhanh chóng của chúng, cấu trúc thuần túy và ít tham số hóa của mô hình này cho phép nó hội tụ một cách nhanh chóng tới lời giải tối ưu, là một yếu tố đáng kể trong việc lựa chọn thuật toán cho 8 các vấn đề cần giải quyết một cách mau lẹ. Vì thế, mô hình đơn lóp vẫn duy trì một vị trí không thể thay thế trong lĩnh vực giáo dục, nghiên cứu cơ bản, và ứng dụng thực tiễn, nơi sự đơn giản và minh bạch được ưu tiên hơn là sự phức tạp.5 Sơ đồ mạng nơ-ron một lớp [11] 1.3 Các phương pháp chuân hóa dữ liệu Chuẩn hóa dữ liệu là một phần quan trọng và không thể thiếu trong quá trình xử lý dữ liệu và huấn luyện mô hình trong lĩnh vực khoa học dữ liệu và học máy. Việc hiểu và áp dụng các phương pháp chuẩn hóa có thể có ảnh hưởng đáng kể đến hiệu suất của mô hình và đảm bảo tính đáng tin cậy của kết quả phân tích.6 Minh họa chuẩn hóa dữ liệu [12] Mục tiêu chính của chuẩn hóa dữ liệu là biến đổi biến số ban đầu thành các biến số mới có thang đo cụ thể hoặc phân phối đặc biệt. Việc này giúp cải thiện hiệu suất của các thuật toán học máy và thống kê, đặc biệt là trong các trường hợp mà biến có thang đo khác nhau hoặc có phân phối không đồng nhất.

Một trong những phương pháp chuẩn hóa dữ liệu phổ biến nhất là Min-Max Scaling, còn được gọi là Normalization. Với phương pháp này, giá trị của biến được biến đổi sao cho chúng thuộc khoảng [0, 1], Công thức chuẩn hóa Min-Max là: y X ~Xmin /1 IX ^normalized ~ A7ìiax Amin / Trong đó: - X là giá trị ban đầu của biến. - Xnùn là giá trị nhỏ nhất của biến trong tập dữ liệu. - Xmax là giá trị lớn nhất của biến trong tập dữ liệu.

Loại chuẩn hóa này thường được sử dụng khi bạn muốn giữ các giá trị ban đầu của biến và đảm bảo rằng chúng nam trong khoảng cố định. 10 Standardization, hay còn gọi là Z-score Scaling, là một phương pháp khác, biến đổi giá trị của biến số sao cho chúng có giá trị trung bình là 0 và độ lệch chuẩn là 1. Standardization thường được sử dụng trong các thuật toán dựa trên khoảng cách như clustering (K-means) và phân tích thành phần chính (PCA). X-mean(X) A standardized std(x~) Trong đó: - X là giá trị ban đầu của biến.

mean(X) là giá trị trung bình (mean) của biến X, tức là trung bình của tất cả các giá trị của biến. std(X) là độ lệch chuẩn (standard deviation) của biến X, đo lường sự biến đổi trong dữ liệu. Ngoài ra, Robust Scaling là một phương pháp khá bền với giá trị ngoại lai, bằng cách sử dụng median và khoảng giữa. Điều này giúp giảm tác động của các giá trị ngoại lai lên quá trình chuẩn hóa.

_ X-median^X) Robust = ^5— Trong đó: - X là giá trị ban đầu của biến. median(X) là giá trị trung vị (median) của biến X, tức là giá trị nằm ở giữa khi dữ liệu được sắp xếp theo thứ tự. IQR(X) là khoảng giữa phần tư thứ 75 và phần tư thứ 25 của dữ liệu, được gọi là Interquartile Range.4 Hàm kích hoạt Hàm kích hoạt (activation function) [13]trong mạng nơ-ron nhân tạo là một thành phần quan trọng, quyết định cách một nơ-ron nhân tạo xử lý đầu vào và tạo ra đầu ra, tạo ra một mô hình phi tuyến tính để có khả năng học và phân tích các dữ liệu phức tạp. Có nhiều loại hàm kích hoạt, mỗi loại có đặc điểm và ứng dụng riêng.

Trong luận văn này chúng tôi tập trung tìm hiểu các hàm kích hoạt sau: 11 Hình 1.7 Minh họa hàm Sigmoid Hàm Sigmoid nhận giá trị đầu vào là một số thực và biến đổi đầu vào thành giá trị trong khoảng (0,1), thường được sử dụng trong các mô hình phân loại nhị phân.8 Minh họa hàm tanh Hàm tanh (Hyperbolic Tangent) nhận giá trị đầu vào là một số thực và biến đổi giá trị trong khoảng (-1,1), cung cấp phân phối đầu ra cân đối hơn so với hàm Sigmoid. tanh(x) = —^~ (1-5) 12 -2 -1 0 ReLU Hình 1.