chương 1 - - - 38 CHƯƠNG 2. BAL TOAN DIEU KLUEN LƯU LU‘ CHỨC NĂNG MẠNG.1 Giới thiệu bài toàn điều khiển lưu lượng trong NEV.1 Mô tá bài toán,.2 Các nghiên cứu liên quan. ices se stessitesinstiesteinseeectinesieesiene 32 2.1 Mô hinh hóa đầu vào.2 Mô hình hoa dat 1a.3 Mô hình hóa mục tiêu lối uu.3 Thuật toàn học tăng cường sâu đề điều khiển lưu hượng trong NIV. 35 DAXH MỤC CÁC KÝ HIỆU TOÁX HỌC Kỹ hiệu Ý nghĩa R! Tâp hợp các sô thực dương - Phân tử thuôc tập hợp E Kỳ vọng OF (5,04) Hàm Q-leaTning với lại thái sự và hành đông.
Fol Gradient descent cia him J thao các biên được a Tham số hóa bởi mạng nơron ở“ Gradiont descant cin ham Q-learning theo che YZ-Q(s,4|Øf)l:=s,s=,eel#5 | biến được tham số hóa bởi mang no-ion # Gradient descent eta ham Q-leaming theo các F.0(5,4|P) 2 se xeo Điển hành động a Pues] Gradient deseent cia ham chính sách ø theo các at s 5 biển được tham số hỏa bới mạng no-ron & TÓM TẮT LUẬN VĂN Mục tiêu của luận văn là áp dụng học tăng cường sâu để xây dựng mô hình điều khiển lưu lượng trong áo hỏa chức năng mạng có thể đáp ứng được nhiều mục tiêu tối ưu cũng như các mỏ hình lưu lượng khác nhau. Đồng thời, so sánh dánh. giả hiệu quả với mê hình ứng dụng học tăng cường sảu với thuật toán heuristic trong việc điều khiến lưu lượng. Mô tủnh dưa ra sẽ dựa vào những thông (mì giản sát có sẵn từ hệ thống mạng.
học vả tìm ra giải pháp điều khiển lưu lượng nhằm. tối tru các mục tiêu về tỷ lệ chấp nhận yêu câu cũng như trễ đầu cudi trung bình trên các luỗng. Tác nhân treng mô hình để xuất sẽ được huấn luyện ngoại tuyên và triển khai trực tuyến trong mang. Các kết quả từ mô phỏng cho thấy, mô hình mà tác giá để xuất vượt trội hơn so với thuật toàn xắp xi luyện kim.
Ngoài ra trong, trường hợp quy mô mạng thay đổi như thực tế, mỏ hình cũng cho những kết quả *hã quan. Luận văn dược trình bảy thành các chương như sau: Chương một giới thiệu tổng quan lý thuyết vẻ ảo hóa chức năng mạng bao gồm. +hải niệm, đạo điểm, kiến trúc và mỏ hình địch vụ trong NEV. Trong chương này tác giá cũng giới thiệu về phương, phép học tăng cường sâu, bao gồm khái niệm, „mồ hình, các phương pháp va lich sit phat triển của loại hình học máy này.
Chương một là tiên dễ dễ xây dựng, mô hình dễ xuất trong chuong sau. Chương hai của luận văn trình bày vẫn đề điều khiến lưu lượng trong ảo hóa chức năng mạng, những hạn chế của các phương pháp đã được sử dụng. Cùng với đó là những khảo sát cửa tác giá về cáo nghiên củu đã có. Tiếp đó, táo giá đưa ra znô hình hóa bải toán điều khiển luu lượng trong NI'V cũng như đưa ra các phương pháp giải quyế ấn dé ma tác giả uất dựa trên lọc tăng cường sâu cũng như phương pháp xấp xỉ Chương ba luận văn sẽ đưa ra để xuất về mô hình thí nghiệm mà tác giả sẽ tiến hành để đánh giá hiệu quả của thuật toán đề xuất với thuật toán xấp xĩ.
Các thí nghiệm sẽ tiến hành ở các kịch bản khác nhau như tăng số lượng nút đầu vào, tăng năng lực tính toán của các nút mạng và mở rộng quy mỏ mạng, Kết quả đánh giả cho thay tính hiệu quả của mô hình để xuất với các thông số hiệu năng như độ trễ đầu cuối và tỷ lệ đáp ứng yêu câu địch vụ HỌC VIÊN DANH MỤC THUẬT NGỮ VIẾT TAT Từ viết tắt Tit gic NEV Nelwork Function Virtualization VNF Virtualized Network Function. WAN Wide Area Network CAPEX Capital Expenditure OPEX Operating Expenditure COLS Commereial-off-the-shelf' NEs Network Functions SDN. Software Defined Networking BNG Broadband Network Gateway CG-NAT Cariier-Grade Network Address translation, HLR Home Location Register HSS Home Subseniber Server MME Mobility Managemont Entity SGSN Serving GPRS Support Node GGSN Gateway GPRS Support Node PDN-GW Packel Data Network Gateway RNC Radio Network Controller DPL Deep Packet Inspection VPN, Virtual Private Network ‘Qok Quality of Experience SLA Sevice Level Agreement XGN Next Generation Network SBC Session Border Controller IMS IP Multimedia Subsystem. CDN Content Delivery Network M2M Machine to Machine TST.
Digilal Subcriber Line NFVI Nelwork Function Virlualivation Infrastructure MANO Management and Orehestration, VM Virtual Machine Standards Development Organization. ind to End Markov Deciston Process DRL Deep Reinforcement Learning: DON Deep Q-Network DoubleDQN Double QDeep Q-Network MCTS Monte Carlo Tree Search. iterative Linear Quadratic Regulators TRPO Tmst Region Policy Optimization PPO Proximal Policy Optimization DDPG Deep Deterministic Policy Gradicnts SAC Soft Actor-Cni SGD. Stochastic Gradicnt Descent SNARCs Stochastic Neural-Anatog Reinforcement Calculators 'Từ viết tắt Từ gốc MENACE Maichbox Educable Naughts and Crossas Engine.
GL Game Learning Expectimaxing Engine LMS Least Mean Square TD ‘Temporal Difference DPG Detemninistic Policy Gradient NFQCA ‘Neural Fitted Q Iteration with Continuous Actions POMDP Markov Decision Process With Partial Observability SA Simulated Annealing 1SSU In-Service Software Upgrade VNA Vinunlized Network Appliance PoP Poin of Presence CPU Central Processing Unit DAXH MỤC CÁC KÝ HIỆU TOÁX HỌC Kỹ hiệu Ý nghĩa R! Tâp hợp các sô thực dương - Phân tử thuôc tập hợp E Kỳ vọng OF (5,04) Hàm Q-leaTning với lại thái sự và hành đông. Fol Gradient descent cia him J thao các biên được a Tham số hóa bởi mạng nơron ở“ Gradiont descant cin ham Q-learning theo che YZ-Q(s,4|Øf)l:=s,s=,eel#5 | biến được tham số hóa bởi mang no-ion # Gradient descent eta ham Q-leaming theo các F.0(5,4|P) 2 se xeo Điển hành động a Pues] Gradient deseent cia ham chính sách ø theo các at s 5 biển được tham số hỏa bới mạng no-ron & DAXH MỤC CÁC KÝ HIỆU TOÁX HỌC Kỹ hiệu Ý nghĩa R! Tâp hợp các sô thực dương - Phân tử thuôc tập hợp E Kỳ vọng OF (5,04) Hàm Q-leaTning với lại thái sự và hành đông. Fol Gradient descent cia him J thao các biên được a Tham số hóa bởi mạng nơron ở“ Gradiont descant cin ham Q-learning theo che YZ-Q(s,4|Øf)l:=s,s=,eel#5 | biến được tham số hóa bởi mang no-ion # Gradient descent eta ham Q-leaming theo các F.0(5,4|P) 2 se xeo Điển hành động a Pues] Gradient deseent cia ham chính sách ø theo các at s 5 biển được tham số hỏa bới mạng no-ron & TÓM TẮT LUẬN VĂN Mục tiêu của luận văn là áp dụng học tăng cường sâu để xây dựng mô hình điều khiển lưu lượng trong áo hỏa chức năng mạng có thể đáp ứng được nhiều mục tiêu tối ưu cũng như các mỏ hình lưu lượng khác nhau. Đồng thời, so sánh dánh.
giả hiệu quả với mê hình ứng dụng học tăng cường sảu với thuật toán heuristic trong việc điều khiến lưu lượng. Mô tủnh dưa ra sẽ dựa vào những thông (mì giản sát có sẵn từ hệ thống mạng. học vả tìm ra giải pháp điều khiển lưu lượng nhằm. tối tru các mục tiêu về tỷ lệ chấp nhận yêu câu cũng như trễ đầu cudi trung bình trên các luỗng.
Tác nhân treng mô hình để xuất sẽ được huấn luyện ngoại tuyên và triển khai trực tuyến trong mang. Các kết quả từ mô phỏng cho thấy, mô hình mà tác giá để xuất vượt trội hơn so với thuật toàn xắp xi luyện kim. Ngoài ra trong, trường hợp quy mô mạng thay đổi như thực tế, mỏ hình cũng cho những kết quả *hã quan. Luận văn dược trình bảy thành các chương như sau: Chương một giới thiệu tổng quan lý thuyết vẻ ảo hóa chức năng mạng bao gồm.
+hải niệm, đạo điểm, kiến trúc và mỏ hình địch vụ trong NEV. Trong chương này tác giá cũng giới thiệu về phương, phép học tăng cường sâu, bao gồm khái niệm, „mồ hình, các phương pháp va lich sit phat triển của loại hình học máy này. Chương một là tiên dễ dễ xây dựng, mô hình dễ xuất trong chuong sau. Chương hai của luận văn trình bày vẫn đề điều khiến lưu lượng trong ảo hóa chức năng mạng, những hạn chế của các phương pháp đã được sử dụng.
Cùng với đó là những khảo sát cửa tác giá về cáo nghiên củu đã có. Tiếp đó, táo giá đưa ra znô hình hóa bải toán điều khiển luu lượng trong NI'V cũng như đưa ra các phương pháp giải quyế ấn dé ma tác giả uất dựa trên lọc tăng cường sâu cũng như phương pháp xấp xỉ Chương ba luận văn sẽ đưa ra để xuất về mô hình thí nghiệm mà tác giả sẽ tiến hành để đánh giá hiệu quả của thuật toán đề xuất với thuật toán xấp xĩ. Các thí nghiệm sẽ tiến hành ở các kịch bản khác nhau như tăng số lượng nút đầu vào, tăng năng lực tính toán của các nút mạng và mở rộng quy mỏ mạng, Kết quả đánh giả cho thay tính hiệu quả của mô hình để xuất với các thông số hiệu năng như độ trễ đầu cuối và tỷ lệ đáp ứng yêu câu địch vụ HỌC VIÊN MỎ ĐẦU Ảo hóa chức năng mạng (Network Function Virtualization - NIV) dang din trở thành một thành phân của kiến trúc mạng Internet thể hệ mới. Dịch vu trong NEV sẽ bao gồm các thành phần chức năng được kết nói với nhau, gọi là chuối chức năng dịch vụ (Šcrvice Fuaction Chaining - SFC), có thể chay trên nhiều nút rạng theo yêu cầu.
Để đáp ứng các yêu cầu dịch vụ, các chức nắng địch vụ cần được khôi tạo tại các nút. Sau đó các luỗng đữ liệu của các yêu cầu dich vu được điều khiến đến các nút này, tùy theo các chuỗi chức năng địch vụ và mục tiêu tôi tru của nhả cưng cập địch vụ XEV. Thông thường đề giải quyết vẫn để điêu khiến. lưu lượng, các nhà cung cấp thường tiếp cận bằng phương pháp tủy chỉnh được thiết kế bởi các chuyên gia.
Tuy nhiên, phương pháp này chí hoạt động tết cho những kịch bản nhất định và các mô hình thường dựa váo các giả dịnh không thực tế hoặc những kiến thức không có sẵn. TIọc tăng cường sâu trong những năm sẵn đây đang trở nên phỏ biển với những bài toán ra quyết định phúc tạp với thông tinvề môi trường không đây đủ. Phương pháp nảy có thể học cách đưa ra quyết định điều phối dịch vụ tốt nhất hưởng tới những giá định thực tế. Nó tương tác trực tiếp với mỗi trường mạng và hoạt động dựa trên các thông tin giảm sát cỏ săn.
Một tác nhân sẽ được huấn luyện ngoại tuyến mà không cân lới kiển thúc chuyên gia rỗi sau đây triển khai trực tuyến Ironir mang. Ta ỡ học các qu đmh điều khiến lưu lượng Lôi nhằm lỗi tra hoa cde mục tiêu khác nhau. So sánh với thuật toán leuristie, tnô hình học lăng cường sâu có khả năng áp đụng lính hoạt cho các mô hình hưu lượng đứ liệu cũng như các znục tiêu tối tru khác nhau. Vì vậy, em xin chọn đê tài "Xây dụng mö hình điều khiển hưu lượng trong, áo hóa chức năng, mạng, sử dụng học tăng cường, sảu”.