Luận văn thạc sĩ về điều khiển tắc nghẽn mạng internet sử dụng deep reinforcement learning

Luận văn thạc sĩ nghiên cứu ứng dụng deep reinforcement learning trong điều khiển tắc nghẽn mạng internet, mang lại hiệu quả tối ưu.

• Người hướng dẫn: PGS. Lê Tuấn Anh
• Trường học: Trường Đại Học Thủ Dầu Một
• Chuyên ngành: Hệ Thống Thông Tin
• Đề tài: Điều Khiển Tắc Nghẽn Mạng Internet Bằng Học Tăng Cường Sâu
• Loại tài liệu: Luận Văn Thạc Sỹ
• Năm xuất bản: 2020
• Địa điểm: Bình Dương

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. MỞ ĐẦU
• 1.1. Giao thức TCP/IP
• 1.2. TCP và cơ chế điều khiển tắc nghẽn
• 1.2.1. Quá trình slow-start và congestion avoidance
• 1.2.2. Quá trình Fast-Retransmit
• 1.2.3. Quá trình Fast-Recovery
• 1.3. Học tăng cường
• 1.3.1. Các khái niệm cơ bản
• 1.3.2. Quy trình quyết định Markov (Markov Decision Process – MDP)
• 1.3.3. Q – Learning
• 1.3.4. Học tăng cường sâu (Deep Q – Learning)
• 2. CÁC NGHIÊN CỨU LIÊN QUAN
• 2.1. Kỹ thuật điều khiển tắc nghẽn dựa vào rule-based
• 2.2. Kỹ thuật điều khiển tắc nghẽn dựa vào ML
• 2.3. TCP New Reno
• 2.4. DRL - PCC Aurora
• 3. ĐỀ XUẤT GIẢI PHÁP
• 3.1. Đề xuất cải tiến
• 3.2. Xây dựng mô hình
• 3.3. Đánh giá mô hình đề xuất
• 3.3.1. Đánh giá huấn luyện
• 3.3.2. Đánh giá sự thích ứng và độ ổn định
• 3.4. Cài đặt thực nghiệm (Testbed) và kết quả
• 3.5. Đánh giá kết quả thực nghiệm
• Tài Liệu Tham Khảo

Tóm tắt

I. Tổng quan về giải pháp điều khiển tắc nghẽn mạng internet

Trong bối cảnh lưu lượng truy cập mạng ngày càng tăng, việc điều khiển tắc nghẽn mạng internet trở thành một thách thức lớn. Giải pháp điều khiển tắc nghẽn mạng internet bằng học tăng cường sâu (Deep Reinforcement Learning - DRL) đã được nghiên cứu và áp dụng để cải thiện hiệu suất mạng. Phương pháp này không chỉ giúp tối ưu hóa băng thông mà còn nâng cao trải nghiệm người dùng.

1.1. Khái niệm về học tăng cường sâu trong điều khiển mạng

Học tăng cường sâu là một nhánh của học máy, kết hợp giữa học tăng cường và mạng nơ-ron. Phương pháp này cho phép hệ thống tự động học hỏi từ dữ liệu và cải thiện khả năng điều khiển tắc nghẽn mạng thông qua các quyết định tối ưu.

1.2. Tại sao cần giải pháp điều khiển tắc nghẽn mạng

Sự gia tăng lưu lượng truy cập mạng dẫn đến tình trạng tắc nghẽn, ảnh hưởng đến chất lượng dịch vụ. Việc áp dụng các giải pháp điều khiển tắc nghẽn hiệu quả là cần thiết để đảm bảo mạng hoạt động ổn định và hiệu quả.

II. Vấn đề và thách thức trong điều khiển tắc nghẽn mạng

Điều khiển tắc nghẽn mạng gặp nhiều thách thức như độ phức tạp của mạng, sự thay đổi liên tục của lưu lượng và các yếu tố bên ngoài. Các giao thức hiện tại thường không đáp ứng được yêu cầu của mạng hiện đại, dẫn đến việc cần thiết phải phát triển các phương pháp mới.

2.1. Độ phức tạp của mạng internet hiện nay

Mạng internet hiện nay bao gồm nhiều loại giao thức và thiết bị khác nhau, tạo ra một hệ thống phức tạp. Việc điều khiển tắc nghẽn trong một môi trường như vậy đòi hỏi các giải pháp linh hoạt và hiệu quả.

2.2. Các yếu tố ảnh hưởng đến hiệu suất mạng

Nhiều yếu tố như độ trễ, mất gói và băng thông không ổn định ảnh hưởng đến hiệu suất mạng. Việc nhận diện và xử lý các yếu tố này là rất quan trọng trong việc phát triển giải pháp điều khiển tắc nghẽn.

III. Phương pháp điều khiển tắc nghẽn mạng bằng học tăng cường sâu

Phương pháp học tăng cường sâu (DRL) được áp dụng để tối ưu hóa việc điều khiển tắc nghẽn mạng. DRL cho phép hệ thống học hỏi từ các trải nghiệm trước đó và đưa ra quyết định thông minh hơn trong việc quản lý lưu lượng mạng.

3.1. Cấu trúc mô hình học tăng cường sâu

Mô hình DRL bao gồm các thành phần như tác nhân (agent), môi trường (environment), trạng thái (state), hành động (action) và phần thưởng (reward). Các thành phần này tương tác với nhau để tối ưu hóa hiệu suất mạng.

3.2. Quy trình huấn luyện mô hình DRL

Quá trình huấn luyện mô hình DRL bao gồm việc thu thập dữ liệu, cập nhật trọng số và tối ưu hóa các hành động dựa trên phần thưởng nhận được. Điều này giúp mô hình ngày càng chính xác hơn trong việc điều khiển tắc nghẽn.

IV. Ứng dụng thực tiễn của giải pháp điều khiển tắc nghẽn mạng

Giải pháp điều khiển tắc nghẽn mạng bằng học tăng cường sâu đã được áp dụng trong nhiều lĩnh vực, từ mạng di động đến mạng doanh nghiệp. Các nghiên cứu cho thấy rằng việc áp dụng DRL có thể cải thiện đáng kể hiệu suất mạng.

4.1. Kết quả nghiên cứu từ các ứng dụng thực tiễn

Nhiều nghiên cứu đã chỉ ra rằng việc áp dụng DRL trong điều khiển tắc nghẽn mạng giúp giảm thiểu độ trễ và tăng cường băng thông. Các kết quả này chứng minh tính khả thi của phương pháp.

4.2. Các lĩnh vực ứng dụng tiềm năng

Giải pháp này có thể được áp dụng trong nhiều lĩnh vực như viễn thông, dịch vụ đám mây và các hệ thống IoT, nơi mà việc điều khiển tắc nghẽn mạng là rất quan trọng.

V. Kết luận và tương lai của giải pháp điều khiển tắc nghẽn mạng

Giải pháp điều khiển tắc nghẽn mạng bằng học tăng cường sâu hứa hẹn sẽ mang lại nhiều lợi ích cho mạng internet trong tương lai. Việc tiếp tục nghiên cứu và phát triển các phương pháp mới sẽ giúp cải thiện hiệu suất mạng và đáp ứng nhu cầu ngày càng cao của người dùng.

5.1. Tương lai của học tăng cường sâu trong điều khiển mạng

Học tăng cường sâu sẽ tiếp tục phát triển và trở thành một công cụ quan trọng trong việc điều khiển tắc nghẽn mạng. Các nghiên cứu mới sẽ giúp tối ưu hóa hơn nữa các thuật toán và mô hình.

5.2. Những thách thức cần vượt qua

Mặc dù có nhiều tiềm năng, nhưng vẫn còn nhiều thách thức cần giải quyết như độ phức tạp của mô hình và khả năng mở rộng. Việc nghiên cứu và phát triển các giải pháp mới sẽ là cần thiết để vượt qua những thách thức này.

Nội dung chính

Tổng quan nghiên cứu

Sự bùng nổ của lưu lượng dữ liệu di động và các dịch vụ trực tuyến hiện đại đang tạo ra áp lực chưa từng có lên hạ tầng Internet toàn cầu. Mặc dù năng lực truyền dẫn vật lý liên tục được nâng cấp với các đường truyền cáp quang và sóng không dây băng thông rộng, khoảng cách giữa nhu cầu của người dùng về chất lượng trải nghiệm và khả năng đáp ứng thực tế của mạng vẫn ngày càng nới rộng. Các ứng dụng tương tác thời gian thực không chỉ đòi hỏi thông lượng truyền tải cao từ vài chục đến hàng trăm Mbps mà còn yêu cầu độ trễ cực thấp và tính ổn định tuyệt đối.

Thách thức cốt lõi nằm ở tầng giao vận, nơi các giao thức điều khiển tắc nghẽn truyền thống dựa trên luật cố định như TCP Tahoe, TCP Reno và TCP CUBIC bộc lộ hạn chế nghiêm trọng. Trong môi trường mạng băng thông lớn và mạng không dây, các thuật toán này mặc định rằng mọi hiện tượng mất gói đều do nghẽn mạng gây ra, dẫn đến việc tự động cắt giảm 50% kích thước cửa sổ tắc nghẽn. Hành động này làm lãng phí tới 50% tài nguyên băng thông khả dụng ngay cả khi đường truyền chỉ gặp sự cố suy hao ngẫu nhiên từ 3% đến 5%.

Nhằm khắc phục triệt để điểm nghẽn này, nghiên cứu tập trung xây dựng và đánh giá giải pháp điều khiển tắc nghẽn thông minh ứng dụng học tăng cường sâu (Deep Reinforcement Learning - DRL). Mục tiêu cụ thể là phát triển giao thức Aurora Loss dựa trên nền tảng PCC Aurora, bổ sung đặc trưng tỷ lệ mất gói vào không gian trạng thái nhằm giúp tác nhân nhận diện chính xác trạng thái mạng thực tế. Luận văn được thực hiện tại Trường Đại học Thủ Dầu Một trong năm 2020 thuộc chuyên ngành Hệ thống thông tin, được thẩm định qua 10.000 bước huấn luyện mô phỏng và kiểm thử thực nghiệm trên đường truyền quốc tế 70 Mbps giữa Việt Nam và Singapore. Kết quả chứng minh mô hình mới duy trì thông lượng ổn định, loại bỏ hiện tượng tụt giảm tốc độ vô cớ và nâng cao trải nghiệm truyền thông đa phương tiện.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên sự giao thoa giữa nguyên lý mạng máy tính tầng giao vận và lý thuyết học tăng cường sâu hiện đại:

Mô hình phân tầng TCP/IP và cơ chế điều khiển tắc nghẽn kinh điển: Tầng giao vận đảm nhiệm việc phân đoạn dữ liệu dưới 64 KB và duy trì kết nối tin cậy. Các giao thức TCP truyền thống vận hành qua bốn giai đoạn: Khởi động chậm (Slow-Start), Tránh tắc nghẽn (Congestion Avoidance), Truyền lại nhanh (Fast-Retransmit khi nhận 3 gói tin biên nhận lặp dupACKs) và Phục hồi nhanh (Fast-Recovery). Quy tắc tăng tuyến tính và giảm cộng dồn (AIMD) của TCP CUBIC tính toán kích thước cửa sổ phát theo hàm bậc ba của thời gian thực nhưng thiếu khả năng thích nghi linh hoạt với các biến động phi tuyến tính.

Quy trình quyết định Markov (MDP): Đóng vai trò nền tảng toán học để mô hình hóa quá trình ra quyết định ngẫu nhiên theo thời gian rời rạc qua bộ 5 tham số bao gồm không gian trạng thái, không gian hành động, hàm xác suất chuyển dịch, hàm phần thưởng và nhân tố giảm trừ. Tính chất Markov đảm bảo trạng thái tương lai chỉ phụ thuộc vào trạng thái và hành động tại thời điểm hiện tại.

Học tăng cường sâu (Deep Q-Learning): Thay thế bảng tra cứu giá trị truyền thống bằng mạng nơ-ron truyền thẳng (Feed-Forward Neural Network) để xấp xỉ hàm giá trị trạng thái - hành động. Mạng nơ-ron được tối ưu hóa thông qua việc giảm thiểu hàm mất mát vi sai thời gian (Temporal Difference Error), cho phép tác nhân học chính sách tối ưu trong môi trường mạng liên tục và phức tạp.

Các khái niệm vận hành chủ chốt bao gồm: Chu kỳ quan sát (Monitor Interval - MI), Cửa sổ tắc nghẽn (Congestion Window - cwnd), Tỷ lệ mất gói (Loss ratio), Độ trôi trễ gói tin (Sent latency inflation) và Chất lượng trải nghiệm người dùng (QoE).

Phương pháp nghiên cứu

Nguồn dữ liệu và cỡ mẫu: Quá trình thu thập dữ liệu phục vụ huấn luyện bao gồm 10.000 bước thực nghiệm, trong đó mỗi bước bao gồm 400 chu kỳ quan sát (tương ứng với 4.000.000 điểm dữ liệu trạng thái mạng). Dữ liệu được trích xuất từ các phiên gửi gói tin liên tục trong môi trường giả lập và kết nối mạng thực tế.

Phương pháp chọn mẫu: Nghiên cứu áp dụng phương pháp lấy mẫu chuỗi thời gian theo phân đoạn (Episodic Sampling) kết hợp với kỹ thuật lưu trữ và trích xuất kinh nghiệm ngẫu nhiên theo từng lô (Batch Sampling) vào bộ nhớ đệm. Kỹ thuật này triệt tiêu tính tương quan giữa các mẫu liên tiếp, đảm bảo dữ liệu đầu vào cho mạng nơ-ron có tính độc lập và phân phối đồng nhất.

Lý do lựa chọn phương pháp phân tích: Phương pháp thực nghiệm đối chuẩn trực tiếp (Empirical Benchmarking) được lựa chọn vì tính chính xác và khả năng định lượng trực quan hiệu năng mạng. Việc so sánh đối đầu giữa thuật toán đề xuất Aurora Loss với chuẩn công nghiệp TCP CUBIC và giải pháp gốc PCC Aurora trên cùng một điều kiện thử nghiệm cho phép đánh giá chính xác tốc độ hội tụ, khả năng thích ứng khi băng thông biến động và mức độ chịu đựng tỷ lệ mất gói ngẫu nhiên.

Thời gian và môi trường nghiên cứu: Đề tài được triển khai hoàn chỉnh trong năm 2020. Các chu kỳ huấn luyện chuyên sâu kéo dài trung bình 4 giờ mỗi phiên, tiếp nối bởi giai đoạn đánh giá thực nghiệm độc lập trên môi trường mạng Internet công cộng xuyên biên giới.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình phân tích dữ liệu thực nghiệm đã xác định bốn kết quả nổi bật:

Thứ nhất, việc tối ưu hóa siêu tham số giúp mô hình hội tụ nhanh chóng. Qua khảo sát độ dài lịch sử trạng thái từ 1 đến 10 chu kỳ quan sát, giá trị k bằng 10 mang lại tốc độ hội tụ phần thưởng cao nhất và ổn định nhất. Đồng thời, nhân tố giảm trừ được xác lập ở mức 0,99 (vượt trội hoàn toàn so với mức 0,50 gây bất ổn định) kết hợp cùng hằng số điều khiển tốc độ gửi bằng 0,025. Hàm phần thưởng tối ưu đạt được sự cân bằng hoàn hảo theo công thức: 5 lần thông lượng trừ đi 1000 lần độ trễ và trừ đi 2000 lần tỷ lệ mất gói. Cả Aurora và Aurora Loss đều đạt đỉnh hội tụ chỉ sau khoảng 50 chu kỳ quan sát.

Thứ hai, Aurora Loss thể hiện ưu thế vượt trội trong môi trường có tỷ lệ mất gói ngẫu nhiên 3% đến 5%. Trong khi TCP CUBIC liên tục hạ 50% tốc độ gửi do hiểu lầm hiện tượng suy hao vật lý là tắc nghẽn nghiêm trọng, giao thức đề xuất duy trì tốc độ truyền dẫn ở mức tối đa gần như tuyệt đối nhờ nhận diện chính xác sự khác biệt giữa nghẽn mạng thực sự và rớt gói ngẫu nhiên.

Thứ ba, độ nhạy và khả năng đáp ứng với môi trường mạng biến động được cải thiện rõ rệt. Khi giả lập thông lượng đường truyền thay đổi đột ngột sau mỗi 5 giây từ mức 20 Mbps lên 40 Mbps và ngược lại, Aurora Loss điều chỉnh tốc độ tức thì và bám sát giới hạn băng thông thực tế, đạt hiệu quả đáp ứng nhanh hơn 50% so với độ trễ điều chỉnh của thuật toán rule-based.

Thứ tư, thử nghiệm trên mạng Internet thực tế qua kết nối xuyên quốc gia 70 Mbps trong 40 giây giữa máy tính tại Thành phố Hồ Chí Minh (cấu hình 1 CPU, 16 GB RAM, Ubuntu 18.10) và máy chủ ảo VPS DigitalOcean tại Singapore (cấu hình 2 CPU, 2 GB RAM, Ubuntu 18.10) khẳng định Aurora Loss đạt thông lượng truyền dẫn cao hơn và đường đặc tuyến mượt mà hơn so với PCC Aurora nguyên bản.

Thảo luận kết quả

Nguyên nhân cốt lõi giúp Aurora Loss vượt trội so với các thuật toán tiền nhiệm là việc bổ sung biến số tỷ lệ mất gói (tính bằng số byte mất chia cho tổng số byte mất cộng số byte đã nhận biên nhận) trực tiếp vào không gian trạng thái. Kiến trúc này cung cấp cho mạng nơ-ron bức tranh toàn cảnh về chất lượng đường truyền thay vì chỉ dựa vào 3 chỉ số sơ sài trước đây.

So sánh với các nghiên cứu cùng thời như TCP-FALA, Learning-TCP hay Remy, mô hình Aurora Loss loại bỏ sự phụ thuộc vào các giả định phân phối tĩnh ngoại tuyến, cho phép tác nhân học sâu tự thích nghi linh hoạt trực tuyến theo thời gian thực. Khi so sánh với các biến thể DRL khác như PCC Drinc hay PCC Vivace, giải pháp đề xuất thể hiện tính ổn định cao hơn trong việc xử lý các xung đột lưu lượng ngẫu nhiên.

Về phương thức biểu diễn trực quan, toàn bộ dữ liệu biến thiên thông lượng được tổng hợp rõ nét qua các biểu đồ đường theo trục thời gian (Line Charts), thể hiện rõ bước nhảy thích ứng khi băng thông dao động 20 - 40 Mbps. Bên cạnh đó, các bảng đối chuẩn hiệu năng tổng hợp tham số k và nhân tố giảm trừ minh chứng trực tiếp sự chênh lệch rõ rệt về giá trị phần thưởng tích lũy giữa các mô hình.

Tuy nhiên, nghiên cứu cũng chỉ ra hạn chế mang tính cố hữu của dòng thuật toán PCC là tính cạnh tranh băng thông gay gắt. Trong một số kịch bản dùng chung kênh truyền, tác nhân DRL có xu hướng tối đa hóa thông lượng của chính mình, vô tình chèn ép các luồng TCP truyền thống lân cận, đặt ra yêu cầu cần tiếp tục cải tiến tính thân thiện và công bằng trong tương lai.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu thực nghiệm, bốn nhóm giải pháp hành động cụ thể được đề xuất nhằm ứng dụng và mở rộng công nghệ điều khiển tắc nghẽn thông minh:

Tích hợp thuật toán Aurora Loss vào hệ thống máy chủ biên và mạng phân phối nội dung (CDN): Các doanh nghiệp viễn thông và nhà cung cấp dịch vụ trực tuyến cần triển khai giải pháp vào kernel hệ điều hành máy chủ truyền phát video nhằm nâng cao 15% đến 25% thông lượng thực tế và duy trì độ trễ dưới 50ms, thực hiện trong lộ trình 6 đến 12 tháng tới.

Chuẩn hóa bộ trọng số hàm phần thưởng đa mục tiêu cho hạ tầng mạng vô tuyến 5G: Nhóm kỹ sư mạng và chuyên gia tối ưu hóa hạ tầng cần áp dụng cấu hình phần thưởng chuẩn gồm thông lượng (trọng số 5), độ trễ (trọng số âm 1000) và mất gói (trọng số âm 2000) nhằm giảm thiểu 30% tình trạng suy hao băng thông trên các liên kết di động không ổn định, hoàn thành trong vòng 3 đến 6 tháng.

Mở rộng kiến trúc học tăng cường sâu đa tác nhân (Multi-Agent DRL): Các viện nghiên cứu và phòng thí nghiệm công nghệ cần hợp tác phát triển mô hình huấn luyện đa tác nhân với độ dài lịch sử trạng thái k lớn hơn hoặc bằng 10, mô phỏng đồng thời trên 1.000 luồng truyền dẫn cạnh tranh để giải quyết triệt để bài toán chia sẻ tài nguyên mạng diện rộng trong giai đoạn 12 đến 18 tháng.

Hoàn thiện cơ chế kiểm soát tính công bằng với giao thức truyền thống (TCP-Friendliness): Các nhà phát triển phần mềm tầng giao vận cần thiết kế thêm một hàm phạt điều tiết tốc độ trong thuật toán nhằm bảo đảm mức chia sẻ băng thông hài hòa trên 90% khi hoạt động song song với các luồng TCP CUBIC hoặc Reno, triển khai thử nghiệm trong thời gian 9 tháng.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả thực nghiệm của luận văn mang lại giá trị ứng dụng thiết thực cho bốn nhóm đối tượng chính:

Kỹ sư hạ tầng mạng và chuyên gia viễn thông: Tiếp cận phương pháp hiện đại để tối ưu hóa hiệu năng tầng giao vận trên các đường truyền đặc thù như mạng không dây di động 4G/5G, mạng vệ tinh hoặc đường truyền xuyên biên giới có độ trễ lớn và tỷ lệ rớt gói ngẫu nhiên cao.

Nhà nghiên cứu và nghiên cứu sinh chuyên ngành Khoa học máy tính và Hệ thống thông tin: Khai thác chi tiết khung toán học Markov Decision Process, cấu trúc mạng nơ-ron xấp xỉ Q-Learning và quy trình thiết kế hàm phần thưởng đa biến để ứng dụng vào các bài toán phân bổ tài nguyên tự động.

Đội ngũ kỹ thuật vận hành hệ thống Cloud, Data Center và OTT Streaming: Ứng dụng nguyên lý điều khiển tốc độ gửi gói tin linh hoạt theo chu kỳ quan sát để cải thiện chất lượng dịch vụ truyền phát video trực tiếp, hội nghị truyền hình thời gian thực và sao lưu dữ liệu quy mô lớn giữa các trung tâm dữ liệu.

Giảng viên và học viên cao học tại các trường đại học kỹ thuật: Sử dụng công trình như một tài liệu tham khảo chuẩn mực về phương pháp kết hợp trí tuệ nhân tạo vào kỹ thuật mạng truyền thông, cung cấp đầy đủ quy trình từ xây dựng lý thuyết, thiết kế mô hình giả lập đến kiểm thử testbed thực tế.

Câu hỏi thường gặp

Tại sao TCP CUBIC lại hoạt động kém hiệu quả trên mạng băng thông cao có mất gói ngẫu nhiên? TCP CUBIC mặc định quy kết mọi hiện tượng mất gói là dấu hiệu của tắc nghẽn hàng đợi, từ đó tự động giảm một nửa kích thước cửa sổ tắc nghẽn. Trên mạng băng thông cao có tỷ lệ rớt gói vật lý ngẫu nhiên 3% đến 5%, việc cắt giảm tốc độ vô căn cứ này làm lãng phí nghiêm trọng dung lượng đường truyền khả dụng.

Sự khác biệt mang tính đột phá giữa Aurora Loss và PCC Aurora nguyên bản là gì? PCC Aurora chỉ quan sát ba chỉ số độ tăng trễ, tỷ lệ trễ và tỷ lệ gửi, khiến tác nhân thiếu thông tin trong môi trường phức tạp. Aurora Loss bổ sung thêm đặc trưng tỷ lệ mất gói vào không gian trạng thái, giúp mạng nơ-ron đánh giá toàn diện nguyên nhân suy hao và đưa ra quyết định gửi tin chính xác hơn.

Các siêu tham số tối ưu nào đã giúp mạng nơ-ron trong luận văn đạt trạng thái hội tụ tốt nhất? Qua thực nghiệm 10.000 bước, mô hình đạt hiệu năng cao nhất với độ dài lịch sử trạng thái k bằng 10, nhân tố giảm trừ 0,99, hằng số điều khiển tốc độ 0,025 và hàm phần thưởng gán trọng số 5 cho thông lượng, âm 1000 cho độ trễ và âm 2000 cho độ mất gói.

Mô hình thực nghiệm mạng thực tế được thiết lập với cấu hình phần cứng và đường truyền ra sao? Thực nghiệm testbed được thiết lập trên đường truyền xuyên quốc gia 70 Mbps kéo dài 40 giây giữa một máy trạm cá nhân tại Thành phố Hồ Chí Minh (1 CPU, 16 GB RAM, Ubuntu 18.10) và một máy chủ VPS DigitalOcean đặt tại trung tâm dữ liệu Singapore (2 CPU, 2 GB RAM, Ubuntu 18.10).

Hạn chế lớn nhất của việc áp dụng học tăng cường sâu vào điều khiển tắc nghẽn mạng hiện nay là gì? Hạn chế chính là tính thân thiện với các giao thức TCP truyền thống còn chưa cao do tác nhân DRL có xu hướng tối ưu hóa tối đa phần thưởng cá nhân, đồng thời mô hình thực nghiệm hiện tại mới chỉ dừng lại ở quy mô một tác nhân đơn lẻ trong môi trường kiểm thử có kiểm soát.

Kết luận

Nghiên cứu đã giải quyết thành công những điểm nghẽn cố hữu của các giao thức điều khiển tắc nghẽn mạng Internet truyền thống thông qua việc áp dụng kỹ thuật học tăng cường sâu:

• Hệ thống hóa toàn diện cơ sở lý thuyết về điều khiển tắc nghẽn tầng giao vận, chỉ rõ nhược điểm giảm 50% tốc độ gửi không cần thiết của các giao thức rule-based như TCP Tahoe, Reno và CUBIC.
• Đề xuất hoàn chỉnh mô hình Aurora Loss, bổ sung thành công đặc trưng tỷ lệ mất gói vào không gian trạng thái 10 chu kỳ quan sát để tăng cường năng lực nhận thức môi trường cho mạng nơ-ron.
• Xây dựng thành công hàm phần thưởng đa mục tiêu tối ưu, giúp mô hình đạt trạng thái hội tụ nhanh chóng chỉ sau 50 chu kỳ quan sát trong tổng số 10.000 bước huấn luyện chuyên sâu.
• Chứng minh tính vượt trội qua thực nghiệm mô phỏng và kiểm thử thực tế trên đường truyền 70 Mbps giữa Việt Nam và Singapore, khẳng định khả năng duy trì thông lượng ổn định trước tỷ lệ mất gói 3% đến 5%.
• Xác định rõ lộ trình phát triển trong 1 đến 2 năm tới hướng tới kiến trúc học tăng cường đa tác nhân nhằm thương mại hóa giải pháp trên các thiết bị mạng diện rộng.

Công trình mở ra hướng tiếp cận đầy tiềm năng cho việc hiện đại hóa giao thức mạng Internet bằng trí tuệ nhân tạo, khuyến khích các chuyên gia và kỹ sư viễn thông tiếp tục thử nghiệm, tối ưu hóa và đưa giải pháp vào ứng dụng thực tiễn.

Trích đoạn nội dung tài liệu

Chương 1 sẽ nói khái quát về cấu trúc mạng internet; điều khiển tắc nghẽn và các các cơ chế điều khiển tắc nghẽn; học tăng cường và học tăng cường sâu; Chương 2 sẽ giới thiệu các nghiên cứu liên quan về 2 hướng tiếp cận rule-based và ML-based. Chương 3 sẽ đề xuất giải pháp và đánh giá hiệu năng.1 Giao thức TCP/IP TCP/ IP (Transmission Control Protocol/ Internet Protocol - Giao thức điều khiển truyền nhận/ Giao thức liên mạng), là một bộ giao thức trao đổi thông tin được sử dụng để truyền tải và kết nối các thiết bị trong mạng Internet. TCP/IP được phát triển để mạng được tin cậy hơn, cùng với khả năng phục hồi tự động. Hình 1 Mô hình TCP / IP Cách thức hoạt động của mô hình TCP/IP Phân tích từ tên gọi, TCP/IP là sự kết hợp giữa 2 giao thức đó là giao thức TCP và giao thức IP.

Trong đó giao thức IP (Internet Protocol - Giao thức liên mạng) cho phép các gói tin được gửi từ máy nguồn đến máy đích đã định sẵn, bằng cách thêm các thông tin dẫn đường vào các gói tin để các gói tin được đến đúng đích đã định sẵn ban đầu. Và giao thức TCP (Transmission Control Protocol - Giao thức truyền vận) đóng vai trò kiểm tra và đảm bảo sự an toàn cho mỗi gói tin trong quá trình di chuyển qua các trạm trung gian rồi đến trạm đích. Trong quá trình này, nếu giao thức TCP nhận thấy gói tin bị lỗi, một tín hiệu sẽ được truyền ngược lại và yêu cầu hệ thống gửi lại một gói tin khác. Quá trình hoạt động này sẽ được làm rõ hơn ở chức năng của mỗi tầng trong mô hình TCP/IP.

Chức năng của các tầng trong mô hình TCP/IP Một mô hình TCP/IP tiêu chuẩn bao gồm 4 lớp được chồng lên nhau, bắt đầu từ tầng thấp nhất là Tầng vật lý (Physical) → Tầng mạng (Network) → Tầng giao vận (Transport) và cuối cùng là Tầng ứng dụng (Application). 3 Tầng 4 - Tầng Ứng dụng (Application) Đây là lớp giao tiếp trên cùng của mô hình. Đúng với tên gọi, tầng Ứng dụng đảm nhận vai trò giao tiếp dữ liệu giữa 2 máy khác nhau thông qua các dịch vụ mạng khác nhau (duyệt web, chat, gửi email, một số giao thức trao đổi dữ liệu: SMTP, SSH, FTP,. Dữ liệu khi đến đây sẽ được định dạng theo kiểu Byte nối Byte, cùng với đó là các thông tin định tuyến giúp xác định đường đi đúng của một gói tin.

Tầng 3 - Tầng Giao vận (Transport) Chức năng chính của tầng 3 là xử lý vấn đề giao tiếp giữa các máy chủ trong cùng một mạng hoặc khác mạng được kết nối với nhau thông qua bộ định tuyến. Tại đây dữ liệu sẽ được phân đoạn, mỗi đoạn sẽ không bằng nhau nhưng kích thước phải nhỏ hơn 64KB. Cấu trúc đầy đủ của một Segment lúc này là Header chứa thông tin điều khiển và sau đó là dữ liệu. Trong tầng này còn bao gồm 2 giao thức cốt lõi là TCP và UDP.

Trong đó, TCP đảm bảo chất lượng gói tin nhưng tiêu tốn thời gian khá lâu để kiểm tra đầy đủ thông tin từ thứ tự dữ liệu cho đến việc kiểm soát vấn đề tắc nghẽn lưu lượng dữ liệu. Trái với điều đó, UDP cho thấy tốc độ truyền tải nhanh hơn nhưng lại không đảm bảo được chất lượng dữ liệu được gửi đi. Tầng 2 - Tầng mạng (Internet) Gần giống như tầng mạng của mô hình OSI. Tại đây, nó cũng được định nghĩa là một giao thức chịu trách nhiệm truyền tải dữ liệu một cách logic trong mạng.

Các phân đoạn dữ liệu sẽ được đóng gói (Packets) với kích thước mỗi gói phù hợp với mạng chuyển mạch mà nó dùng để truyền dữ liệu. Lúc này, các gói tin được chèn thêm phần Header chứa thông tin của tầng mạng và tiếp tục được chuyển đến tầng tiếp theo. Các giao thức chính trong tầng là IP, ICMP và ARP. Tầng 1 - Tầng Vật lý (Physical) Là sự kết hợp giữa tầng Vật lý và tầng liên kết dữ liệu của mô hình OSI.

Chịu trách nhiệm truyền dữ liệu giữa hai thiết bị trong cùng một mạng. Tại đây, các gói dữ liệu được đóng vào khung (gọi là Frame) và được định tuyến đi đến đích đã được chỉ định ban đầu.2 TCP và cơ chế điều khiển tắc nghẽn 1.1 Quá trình slow-start và congestion avoidance Trong quá trình slow-start, khi mà kết nối vừa được thiết lập, cwnd được thiết lập giá trị là 1 MSS (Maximum segment size). Sau mỗi gói “ACK mới” nhận được, cwnd được tăng tuyến tính lên 1 đơn vị. Việc tăng tuyến tính này được tiếp tục cho tới khi có gói bị mất hoặc đạt ngưỡng ssthresh.

Trong trường hợp có gói bị mất, ssthresh = cwnd/2 và cwnd được trả về bằng 1. Trong trường hợp cwnd đạt ngưỡng ssthresh, thực thể gửi TCP chuyển sang quá trình congestion avoidance. Khi này, thay vì tăng theo hàm mũ cơ số 2, cwnd tăng tuyến tính: cwnd = cwnd + 1/cwnd. Việc tăng này sẽ tiếp tục cho đến khi có gói bị mất.

Quá trình slow-start nhằm mục đích “thăm dò” khả năng của đường truyền hiện tại. Mặc dù được thiết lập ở mức thấp (cwnd =1), song lại tăng rất nhanh tương tự như quá trình hiệu chỉnh thô khả năng phát gói. Khi xảy ra tắc nghẽn, quá trình congestion avoidance lại giống như quá trình hiệu chỉnh tinh, đồng thời, cũng là để hạn chế tắc nghẽn. Mục đích cuối cùng của cả hai quá trình là đảm bảo việc phát gói ở mức cao nhất có thể được.2 Quá trình Fast-Retransmit Mục đích của Fast-Retransmit là tăng tốc quá trình truyền lại bằng cách cho phép đầu gửi truyền lại gói bị mất càng sớm càng tốt ngay khi có đủ căn cứ về việc mất gói.

Có nghĩa là thay vì phải chờ đến khi time-out, đầu phát có thể truyền lại ngay khi cần thiết, đó là khi nhận được liên tiếp 3 biên nhận lặp (dupAcks).3 Quá trình Fast-Recovery Với TCP Tahoe, kết nối luôn trở về quá trình slow-start ngay khi phát hiện mất gói. Tuy nhiên, nếu như window size lớn và tỉ lệ mất gói là ít khi xảy ra, thì việc đó là không cần thiết vì hoàn toàn có thể chuyển sang trạng thái congestion avoidance. Mục đích của Fast-Recovery nhằm thực hiện ý tưởng trên. Trong quá trình Fast-Retransmit, bên gửi ghi nhận lại gói truyền lại.

Sau khi gói đã truyền lại, giá trị của ssthresh và cwnd sẽ được hiệu chỉnh theo nguyên tắc: 5 𝑠𝑠𝑡ℎ𝑟𝑒𝑠𝑠 = 𝑐𝑤𝑛𝑑/2 ! 𝑐𝑤𝑛𝑑 = 𝑠𝑠ℎ𝑟𝑒𝑠𝑠 Điều này đồng nghĩa với kết nối sẽ tiếp tục với quá trình congestion avoidance, với giá trị cửa sổ phát cwnd giảm xuống còn bằng một nửa chứ không phải xuống bằng.3 Học tăng cường Học tăng cường (Reinforcement Learning – RL) là một trong ba kiểu học máy chính bên cạnh học giám sát (Supervised Learning) và học không giám sát (Unsupervised Learning). Bản chất của RL là trial-and-error, nghĩa là thử đi thử lại và rút ra kinh nghiệm sau mỗi lần thử như vậy.1 Các khái niệm cơ bản Gồm 7 khái niệm chính: Agent, Environment, State, Action, Reward, Episode, Policy. Agent là tác nhân, chịu trách nhiệm thực hiện tương tác với Môi trường (Environment) bằng các hành động (Action). Sau mỗi hành động, môi trường trả về cho tác nhân một trạng thái (State) và phần thưởng (Reward) tương ứng với trạng thái đó.

Khi agent đạt được trạng thái kết thúc thì quá trình kết thúc. Một loạt các tương tác giữa agent và environment từ thời điểm bắt đầu đến lúc kết thúc này được gọi là một Episode. Trong một episode, agent sẽ cố gắng chọn ra các actions tối ưu để tối đa hóa reward nhận được sau mỗi episode. Cách mà agent chọn những actions đó là Policy.

Có thể thấy policy cũng có policy này và policy kia; mục đích của RL là tìm ra policy tốt nhất. Hình dưới đây mô tả tương tác giữa Agent - Environment: State Reward Policy Action Hình 2 Mô hình học tăng cường 6 1.2 Quy trình quyết định Markov (Markov Decision Process – MDP) Quy trình quyết định Markov (MDP) cung cấp một nền tảng toán học cho việc mô hình hóa việc ra quyết định trong các tình huống mà kết quả là một phần ngẫu nhiên và một phần dưới sự điều khiển của một người ra quyết định. MDP rất hữu dụng cho việc học một loạt bài toán tối ưu hóa được giải quyết thông qua quy hoạch động và học tăng cường. MDP được biết đến sớm nhất là vào những năm 1950 (cf.

Một cốt lõi của nghiên cứu về quá trình ra quyết định Markov là từ kết quả của cuốn sách của Ronald A. Howard[7] xuất bản năm 1960, Quy hoạch động và quá trình Markov. Chúng được sử dụng trong rất nhiều các lĩnh vực khác nhau, bao gồm robot, điều khiển tự động, kinh tế, và chế tạo. Chính xác hơn, một quá trình quyết định Markov là một quá trình điều khiển ngẫu nhiên thời gian rời rạc.

Tại mỗi bước thời gian, quá trình này trong một vài trạng thái s, và người ra quyết định có thể chọn bất kỳ hành động a nào có hiệu lực trong trạng thái s. Quá trình này đáp ứng tại bước thời gian tiếp theo bằng cách di chuyển ngẫu nhiên vào một trạng thái mới s’ và đưa ra cho người ra quyết định một phần thưởng tương ứng Ra(s,s’) Xác suất mà quá trình di chuyển vào trạng thái mới của nó s’ bị ảnh hưởng bởi hành động được chọn. Đặc biệt, nó được đưa ra bởi hàm chuyển tiếp trạng thái Pa(s,s’). Do đó, trạng thái kế tiếp s’ phụ thuộc vào trạng thái hiện tại s và hành động của người ra quyết định a.

Nhưng s và a đã cho, lại độc lập có điều kiện với toàn bộ trạng thái và hành động trước đó; nói cách khác, các trạng thái chuyển tiếp của một quá trình MDP thỏa mãn thuộc tính Markov. Quá trình quyết định Markov là một phần mở rộng của chuỗi Markov; khác biệt là ở sự bổ sung của các hành động (cho phép lựa chọn) và phần thưởng (cho động cơ). Ngược lại, nếu chỉ có một hành động tồn tại cho mỗi trạng thái và tất cả các phần thưởng là giống nhau (ví dụ: zero), một quá trình quyết định Markov làm giảm một chuỗi Markov. 7 Một MDP là một bộ 5 biến (S, A, T, R, γ): • S là không gian trạng thái, • A không gian hành động, • T: S × A × S → [0, 1] là hàm chuyển dịch (tập các xác suất chuyển dịch giữa các trạng thái), • R: S × A × S → R là hàm thưởng, R là một tập liên tiếp các phần thưởng có thể trong khoảng Rmax ∈ R+ (e.3 Q – Learning Làm thế nào mà agent biết phải chọn action nào để đạt được reward lớn nhất?