Khóa luận tốt nghiệp an toàn thông tin phương pháp dựa trên học sâu để phát hiện và giảm thiểu các hành vi bất thường trong các hệ thống api gateway cloudnative

Khóa luận tốt nghiệp nghiên cứu phương pháp học sâu nhằm phát hiện và giảm thiểu hành vi bất thường trong hệ thống API Gateway Cloud-Native.

• Tác giả: Nguyễn Hữu Minh Sang
• Người hướng dẫn: TS. Nguyễn Ngọc Tự
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: An toàn thông tin
• Đề tài: Phương Pháp Học Sâu Phát Hiện & Giảm Thiểu Hành Vi Bất Thường Trong API Gateway Cloud-Native
• Loại tài liệu: khoa luận tốt nghiệp
• Năm xuất bản: 2024
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TONG QUAN DE TẢI
• 1.1. Tổng quan nội dung đề tài
• 1.2. Cac công trình nghiên cứu liên quan
• 1.3. Mục tiêu, đối tượng và phạm Vi nghiên CỨU
• 1.3.1. Mục tiêu nghiÊn CỨU
• 1.3.2. Đối tượng nghiên cứu
• 1.3.3. Pham vi nghiÊn CỨU
• 2. CHƯƠNG 2
• 2.1. Môi trường Cloud NatIVe
• 2.2. Vấn đề an toàn thông tin
• 2.3. Các API bất thường. Ảnh hưởng đến client
• 2.4. Ảnh hưởng đến server, application
• 2.5. Ảnh hưởng đến dữ liệu
• 2.6. API Gateway
• 2.7. Machine learning model. Text based classify Model. ALBERT BASE Model
• 3. CHƯƠNG 3: GIẢI PHÁP THỰC HIỆN
• 3.1. Giải pháp hiện tại
• 3.2. Giải pháp API Gateway
• 3.3. Các Giải pháp API Gateway Phổ biến. Ứng dụng Machine learning. Ứng dụng thực tế. Đề xuất mô hình hệ thống API Gateway và machine learning. Giải pháp đề xuất. Mô hình deeplearingg
• 3.4. Mô hình học máy. Mô hình machine learning đề xuất. Mô hình retraining model. Data processing
• 3.5. Xác định thành phần data
• 4. CHƯƠNG 4
• 4.1. Kịch bản triển khai ứng dụng
• 4.2. Công nghệ sử dụng. Môi trường giả lập Cloud Native. Deploy application
• 4.3. Chi tiết ứng dụng
• 4.4. Kịch bản thực hiện đánh giá training model. Công nghệ sử dụng
• 4.5. Quá trình tokenizer. Thực hiện training model
• 5. CHƯƠNG 5: KẾT QUẢ ĐÁNH GIÁ
• 6. CHƯƠNG 6: CÔNG VIỆC TƯƠNG LAI
• DANH MỤC HÌNH
• DANH MỤC BẢNG
• DANH MỤC TỪ VIẾT TẮT
• TÓM TẮT KHÓA LUẬN

Tóm tắt

I. Phương pháp học sâu

Phương pháp học sâu đã trở thành một công cụ mạnh mẽ trong việc giải quyết các thách thức bảo mật trong môi trường Cloud-Native. Với khả năng tự động học hỏi từ dữ liệu, các mô hình học sâu như BERT, CNN, GRU, và LSTM được sử dụng để phân tích các yêu cầu API và phát hiện các hành vi bất thường. Các mô hình này không chỉ giúp nhận diện các mẫu tấn công phức tạp mà còn liên tục cải thiện khả năng thích ứng với các mối đe dọa mới. Việc áp dụng học sâu trong bảo mật API Gateway mang lại hiệu quả cao hơn so với các phương pháp truyền thống, đặc biệt trong việc phát hiện các cuộc tấn công SQL Injection và XSS.

1.1. Mô hình BERT

Mô hình BERT (Bidirectional Encoder Representations from Transformers) được điều chỉnh và tối ưu hóa để phân tích dữ liệu log từ API Gateway. BERT có khả năng hiểu ngữ nghĩa và cú pháp của các yêu cầu HTTPS, giúp phát hiện các hành vi bất thường như tấn công tiêm nhiễm và giả mạo yêu cầu. Việc huấn luyện BERT trên các tập dữ liệu lớn và đa dạng giúp mô hình này trở nên chính xác và đáng tin cậy trong việc nhận diện các mối đe dọa.

1.2. Tích hợp CNN GRU và LSTM

Các mô hình CNN, GRU, và LSTM được tích hợp vào hệ thống để tăng cường khả năng học hỏi và nhận diện các mẫu hành vi bất thường. CNN giúp phân tích các đặc trưng không gian, trong khi GRU và LSTM phù hợp để xử lý dữ liệu chuỗi thời gian. Sự kết hợp này giúp hệ thống phát hiện các cuộc tấn công phức tạp và đa dạng hơn.

II. Phát hiện hành vi bất thường

Phát hiện hành vi bất thường là một trong những ứng dụng chính của học sâu trong bảo mật API Gateway. Các mô hình học sâu được sử dụng để phân tích lưu lượng truy cập, yêu cầu API và các thông tin khác để xác định các dấu hiệu bất thường. Các phương pháp truyền thống dựa trên quy tắc và chữ ký thường không hiệu quả trong việc phát hiện các cuộc tấn công mới và tinh vi. Trong khi đó, các mô hình học sâu có khả năng tự động học hỏi và thích ứng với các mối đe dọa mới, giúp hệ thống luôn được cập nhật và duy trì hiệu suất cao.

2.1. Phát hiện tấn công SQL Injection

Các mô hình học sâu như BERT và RNN được sử dụng để phát hiện các cuộc tấn công SQL Injection. Bằng cách phân tích nội dung của các yêu cầu HTTPS, các mô hình này có thể nhận diện các câu lệnh SQL độc hại và ngăn chặn chúng trước khi chúng gây hại cho hệ thống.

2.2. Phát hiện tấn công XSS

Tấn công XSS (Cross-Site Scripting) là một trong những mối đe dọa phổ biến đối với API Gateway. Các mô hình học sâu được huấn luyện để phân tích các yêu cầu HTTP và phát hiện các đoạn mã độc hại được chèn vào. Việc sử dụng các thư viện an toàn và các biện pháp bảo vệ chống XSS cũng được tích hợp vào hệ thống để tăng cường bảo mật.

III. Giảm thiểu hành vi bất thường

Giảm thiểu hành vi bất thường là mục tiêu chính của hệ thống bảo mật API Gateway dựa trên học sâu. Các mô hình học sâu không chỉ phát hiện các mối đe dọa mà còn đưa ra các biện pháp ngăn chặn hiệu quả. Việc tích hợp các giải pháp như Web Application Firewall (WAF), Access Controls List (ACL), và Endpoint Detection and Response (EDR) giúp hệ thống giảm thiểu tác động của các cuộc tấn công. Ngoài ra, khả năng tự động học hỏi từ dữ liệu mới giúp hệ thống luôn được cập nhật và duy trì hiệu suất cao.

3.1. Tích hợp WAF và ACL

Web Application Firewall (WAF) và Access Controls List (ACL) được tích hợp vào hệ thống để ngăn chặn các cuộc tấn công vào API Gateway. WAF giúp lọc các yêu cầu độc hại, trong khi ACL kiểm soát quyền truy cập vào các tài nguyên hệ thống. Sự kết hợp này giúp giảm thiểu các mối đe dọa từ bên ngoài.

3.2. Sử dụng EDR

Endpoint Detection and Response (EDR) được sử dụng để giám sát và phản ứng nhanh chóng với các mối đe dọa. EDR giúp phát hiện và ngăn chặn các cuộc tấn công từ chối dịch vụ (DoS/DDoS) và các hành vi bất thường khác. Việc triển khai EDR trên môi trường Cloud-Native mang lại hiệu quả cao trong việc bảo vệ hệ thống.

IV. API Gateway và Cloud Native

API Gateway đóng vai trò trung tâm trong việc quản lý và bảo vệ các dịch vụ microservices trong môi trường Cloud-Native. Với tính linh hoạt và khả năng mở rộng, API Gateway giúp đơn giản hóa việc quản lý các yêu cầu từ client và cung cấp một lớp bảo mật bổ sung. Tuy nhiên, môi trường Cloud-Native cũng đặt ra nhiều thách thức về bảo mật, đặc biệt là việc quản lý số lượng lớn các điểm cuối (endpoints). Các phương pháp bảo mật truyền thống không còn đủ hiệu quả trong việc đối phó với các cuộc tấn công tinh vi và liên tục biến đổi.

4.1. Vấn đề bảo mật trong Cloud Native

Môi trường Cloud-Native với tính linh hoạt và khả năng mở rộng đặt ra nhiều thách thức về bảo mật. Số lượng lớn các microservices và endpoints làm tăng nguy cơ bị tấn công. Các phương pháp bảo mật truyền thống như tường lửa và quy tắc có định không còn đủ hiệu quả trong việc đối phó với các cuộc tấn công zero-day và chuỗi cung ứng.

4.2. Giải pháp bảo mật API Gateway

Các giải pháp bảo mật API Gateway dựa trên học sâu được đề xuất để giải quyết các thách thức trong môi trường Cloud-Native. Việc sử dụng các mô hình học sâu như BERT, CNN, và LSTM giúp tăng cường khả năng phát hiện và ngăn chặn các mối đe dọa. Các giải pháp này cũng đảm bảo tính linh hoạt và khả năng mở rộng, phù hợp với đặc tính của môi trường Cloud-Native.

Trích đoạn nội dung tài liệu

Chương 1. TONG QUAN DE TẢI. Tổng quan nội dung đề taien. Cac công trình nghiên cứu liên qua1.

Mục tiêu, đối tượng và phạm Vi nghiên CỨU. Mục tiêu nghiÊn CỨU. 1v vn ng ng ngư 12 1. _ Đối tượng nghiên cứu.

Pham vi nghiÊn CỨU.-- Ăn ng ngư 12 Chương 2.-- 2-22 E+SE2EE£EEEEEE2EEEEEEEEEEEErrEerrkerkee 13 2. Môi trường Cloud NatIVe. c3 St S SH ng re 13 2. Môi trường Cloud NatIVe:.- c SnS vn re, 13 2.

Vấn dé an toàn thông tin.-------- 2-52 <+S<+EE+EE£EEEEEEeErrrrerreres l6 2. Các API bất thườấg. Ảnh hưởng đến client.--- +: 2+©£+E+£Et2EE£EEtEEEtEEerkerrerrkrree 17 2. Ảnh hưởng đến server, application.-------¿--s+2cs++cx++zx+zsse2 20 2.

ee ee 20 , 2N uUa) nn na. Ảnh hưởng đến dữ liệu. Ăn HH HH TH 25 PA NN9v9‹s 0ì). API Gaf€WAV.

HH HH HH 30 “000. Machine learning mOdUÏ€. Text based classify Model. ALBERT BASE Model.- + c St stress 39 Chương 3.

GIẢI PHÁP THỰC HIỆN. _ Giải pháp hiỆn tạI.- -- Ác 1v 91g TT TH ng nh Hy43 3. — Giải pháp API Gaf€WAV. SG TS t HH HH HH HH ghe43 3.

Các Giải pháp API Gateway Phổ biến. Ung dung Machine learning. Ứng dụng thực t6. Đề xuất mô hình hệ thống API Gateway và machine learning.

Giải pháp đề xuất. Mô hình deeplearingg. SSn SH HH HH He 57 3. Mô hình học máy.

Mô hình machine learning dé xuất. Mô hình retraining mOde€Ì. Data DFOC€SSINE. TQ QSnnSnnH HH HH TH HH ngư 70 3.

_ Xác định thành phan data. HH HH HH HH re, 72 3.ieiiie 75 Chương 4.------ 252 E+EE+EE£EESEEEEEEEEEEEEErrerrerreee 77 4. Kịch bản triển khai ứng đụng.-- 2-2 5++2+++cx++zxe+rxesrxrsrxerreee 77 4. Công nghệ sử dụng.

Môi trường giả lập Cloud Native. Deploy applÌicatIOn. --- Sc cv vs 78 4. _ Chi tiết ứng dụng.----:- :Sc 2E EEEE12112112112112121Ecrre, 78 4.

LH HH HH rry 78 PP NHIV060 0n ---. Kịch bản thực hiện đánh giá training model. Công nghệ sử dụng .- -Ặ Sns St Sn SH HH HH gi ey 80 4. Qua trình tokemiZer.

Thực hiện training modelo. eee eeseceseeeeteeeeeeeseceeeeseeceeeeteeeenees 83 Chương 5. KET QUA DANH GIÁ.--- 2 52+2<+EE+£E2EE£EEE2EEEEEerkerrkerxee 88 Chương 6. CÔNG VIỆC TƯƠNG LAI DANH MỤC HÌNH Hình 1.1: Mô hình sử dung API Gateway của Microsoft AZure.2: Mô hình kiến trúc machine learning của nhóm nghiên cứu Việt Nam.3: Mô hình xử lý dữ liệu của nhóm nghiên cứu từ NIgeria.4: Mô hình phương pháp phát hiện bất thường bai báo.1: Cấu trúc chung của môi trường Cloud Native.2: Mô hình tổng quát của học sâu BERT.-----¿2¿©++2s++cx++zxeszee 37 Hình 3.1: Kiến trúc của một API Gateway .-- +: 2-52 St‡ 2E 2E 2E EErrrrei44 Hình 3.2: Chức năng của một API Gateway .3: Mô hình hệ thống để xuất .-- 2-2 2 2+SE+EE+EE+EE+EE2EEEEEEErErrerrrrei 54 Hình 3.4: Mô hình Model đã có sự thay đổi .5: Sơ đồ kiến trúc của TON.6: Sơ đồ kiến trúc hoạt động của LSTM.2--¿©+2+2++cx++csseex 67 Hình 3.2: Kết quả quá trình training của mô hình Google-bert/bert-based-uncased 87 Hình 4.3: Kết quả từ mô hình Custom mođel.1: Biểu đồ phân bó độ dai token trong dataset.2: Su thay đôi về độ chính xác của mô hình với tap dit liệu validate.3: Sự thay đổi của ROC (ROC-AUC) trên tập validation.4: Su thay đổi của độ phủ (recall) trên tap validation.5: Sự thay đổi của F1 Score trên tập validafion.6: Su thay đổi của độ chính xác (precision) trên tập validation.7: Bang giá tri confusion matrix cua mô hình sau khi traIning.

95 DANH MUC BANG Bảng 1.1: Dau hiệu tan công ở API Gateway .1: Nội dung tóm tắt về các loại tấn CONG.2: Bang so sánh 2 thuật toán với nhau.1: Xác định các trường dữ lu .2: Xác định các loại tấn 0017 .3: Bảng phân tích loại tan công với độ tương thích thuật toán.1: Bang nội dung các máy trong hệ thống.2: Danh sách các package dùng trong quá trình training.3: Bang so sánh thuộc tính giữa hai mô hình .1: Thông tin chỉ số các loại tấn công trong dataset.2: Thông kê số liệu của độ dai token trong đataset.-------:--s: 89 DANH MUC TU VIET TAT NLP Natural Language Processing BERT Bidirectional Encoder Representations from Transformers RoBERTa Robustly Optimized BERT Pre-Training Approach SQLi SQL injection attack SVM Support Vector Machine API Application Programing Interface XSS Cross-Site Scripting attack TCN Temporal Convolutional Network GRU Gated Recurrent Unit LSTM Long Short-Term Memory ReLU Rectified Linear Unit TÓM TAT KHÓA LUẬN Trong bối cảnh an ninh mạng ngày càng trở nên phức tạp, việc bảo vệ các hệ thống API Gateway Cloud-Native khỏi các hành vi bất thường là một bài toán cấp bách. Các phương pháp bảo mật truyền thống, vốn dựa trên các quy tắc (Rules based) và chữ ký (Signature based) đã biết, thường gặp khó khăn trong việc phát hiện và ngăn chặn các cuộc tấn công tinh vi, đa dang và liên tục biến đồi. Đặc biệt, trong môi trường Cloud, với lượng dữ liệu không 16 và tinh chất động của các ứng dụng, việc áp dụng các phương pháp này trở nên kém hiệu qua và dé bi bỏ lỡ các môi đe dọa tiêm ân. Đề tài nghiên cứu của em hướng tới việc giải quyết thách thức này bằng cách tận dụng sức mạnh của trí tuệ nhân tạo, cụ thể là các kỹ thuật học sâu tiên tiến, để phát triển một hệ thống phát hiện và giảm thiêu hành vi bất thường trong hệ thống API Gateway Cloud-Native.

Mô hình BERT, một mô hình xử lý ngôn ngữ tự nhiên (NLP) mạnh mẽ, được điều chỉnh và tối ưu hóa đề phân tích sâu dữ liệu log API Gateway, từ đó trích xuất các đặc trưng ngữ nghĩa và cú pháp quan trọng. Việc tích hợp thêm các mô hình machine learning nổi tiếng như CNN (Convolutional Neural Network), GRU (Gated Recurrent Unit) va LSTM (Long Short-Term Memory) vào kiến trúc hệ thống giúp tăng cường kha năng học hỏi và nhận diện các mẫu hành vi bất thường phức tạp, da dang và có tính chuỗi thời gian. Điểm đặc biệt của phương pháp này năm ở khả năng tự động học hỏi và thích ứng với dữ liệu thực tế. Mô hình được huấn luyện trên một tập dữ liệu log API Gateway lớn và đa dạng, bao gồm cả các mau tan công đã biết và chưa biết, giúp nó phát triển khả năng nhận diện các hành vi bất thường một cách chính xác và đáng tin cậy.

Hơn nữa, việc triển khai mô hình trên môi trường Cloud mang lại nhiều lợi ích quan trọng. Đầu tiên, nó đảm bảo khả năng mở rộng, đáp ứng được nhu cầu xử lý lượng lớn dữ liệu trong môi trường Cloud. Thứ hai, tính linh hoạt của mô hình cho phép nó dé dàng tích hợp với các hệ thống API Gateway hiện có. Cuối cùng, việc cập nhật và cải thiện mô hình trở nên dễ dàng hơn nhờ vào khả năng tự động học hỏi từ dữ liệu mới, giúp hệ thống luôn được cập nhật và duy trì hiệu suất cao trong môi trường an ninh mạng liên tục thay đổi.

TONG QUAN DE TÀI Ở phan trình bày này, em sé đề cập đến các đối tượng làm được xem là nội dung tập trung chính của dé tài. Các nội dung giúp làm rõ đối tượng, môi trường, van đề và xác định được các mục tiêu cuối mà đề tài của em đang làm và cung cấp một cái nhìn tổng quát cũng như khái quát các khái niệm mà em sử dụng trong bài báo cáo này 1. Tổng quan nội dung đề tài Với sự phát triển của khoa học và công nghệ, việc tiếp cận với môi trường Cloud và đặc biệt là Cloud Native dan trở nên phố biến và dan là một môi trường phù hợp cho các doanh nghiệp, đặc biệt là startup và doanh nghiệp nhỏ, tiếp cận dé dàng với hạ tầng công nghệ mạnh mẽ mà không cần đầu tư lớn vào phần cứng và đội ngũ quản trị hệ thông Cloud dan đang là nền tang cho nhiều ứng dụng và dịch vụ trực tuyến như mạng xã hội, giáo dục trực tuyến, y té từ xa, thương mai điện tử. giup moi người tiếp cận thông tin, học tập, làm việc và giải trí mọi lúc mọi nơi.

Ngoài ra, các doanh nghiệp còn có thé tận dụng đặc tính đặc trưng của mô hình cloud native là các dịch vụ vi mô (microservices), các khối ứng dụng đóng gói (container) và cơ sở hạ tang tự động hóa. Điều này phép doanh nghiệp nhanh chóng thích ứng với nhu cầu thị trường thay đổi, triển khai tinh năng mới và mở rộng quy mô dé dang Và điều tất yêu cho việc quản lý hệ thống đó là một giải pháp tương ứng. API Gateway giữ vai trò then chốt trong việc quản lý và bảo vệ các dịch vụ vi mô (microservices). Đóng vai trò là một thành phần phần mềm trung gian giữa client (ứng dụng hoặc người dùng) và các dịch vụ backend (các API).

Nó hoạt động như một điểm vào duy nhất cho tat cả các yêu cau từ client, sau đó định tuyến các yêu cầu này đến các dịch vụ thích hợp và trả về kết quả cho phía client. API Gateway giúp đơn giản hóa việc quản lý và truy cập vào các dịch vụ này, đồng thời cung cấp một lớp bảo mật bồ sung [1]. Identity provider : Authentication SSL : —— : outing = 2 g Client apps Response caching 5 sane Microsoft Azure Hình 1.1: Mô hình sử dung API Gateway cua Microsoft Azure Môi trường Cloud Native, với tinh linh hoạt, kha năng mở rộng và sự phân tan của các microservices, đã mang lại nhiều lợi ích cho việc phát triển và triển khai ứng dụng. Tuy nhiên, nó cũng đặt ra những thách thức đáng ké đối với việc bảo vệ API Gateway, điểm trung tâm kết nối giữa người dùng và các dịch vụ.

Trong kiến trúc microservices, mỗi dich vụ có thé có giao diện API riêng, làm tăng số lượng điểm cuối (endpoints) cần được bảo vệ. Điều này khiến việc quản lý và kiểm soát truy cập trở nên phức tạp hơn. Hơn nữa, tính linh hoạt của môi trường Cloud Native, cho phép các dịch vụ được triển khai và mở rộng nhanh chóng, đòi hỏi các biện pháp bảo mật cũng phải linh hoạt và thích ứng được với sự thay đổi liên tục này. Các phương pháp bảo mật truyền thống, thường dựa trên các quy tắc có định và tường lửa, không còn đủ hiệu quả trong môi trường Cloud Native.

Các cuộc tan công ngày càng tinh vi, sử dụng các kỹ thuật mới như tấn công zero-day và tan công chuỗi cung ứng, đòi hỏi các giải pháp bảo mật thông minh hơn và có khả năng tự học hỏi. Vì một API Gateway cần phải đáp ứng được các chức năng cơ bản [2] như: Định tuyến (Routing), Xác thực và ủy quyền (Authentication & Authorization), Biến đôi giao thức (Transformation protocol), Bao mật (Security), Cân bang tải (Load Balancing), bộ nhớ đệm (Caching) và Quản ly API (API Management).