Chương 1 sẽ nói khái quát về cấu trúc mạng internet; điều khiển tắc nghẽn và các các cơ chế điều khiển tắc nghẽn; học tăng cường và học tăng cường sâu; Chương 2 sẽ giới thiệu các nghiên cứu liên quan về 2 hướng tiếp cận rule-based và ML-based. Chương 3 sẽ đề xuất giải pháp và đánh giá hiệu năng.1 Giao thức TCP/IP TCP/ IP (Transmission Control Protocol/ Internet Protocol - Giao thức điều khiển truyền nhận/ Giao thức liên mạng), là một bộ giao thức trao đổi thông tin được sử dụng để truyền tải và kết nối các thiết bị trong mạng Internet. TCP/IP được phát triển để mạng được tin cậy hơn, cùng với khả năng phục hồi tự động. Hình 1 Mô hình TCP / IP Cách thức hoạt động của mô hình TCP/IP Phân tích từ tên gọi, TCP/IP là sự kết hợp giữa 2 giao thức đó là giao thức TCP và giao thức IP.
Trong đó giao thức IP (Internet Protocol - Giao thức liên mạng) cho phép các gói tin được gửi từ máy nguồn đến máy đích đã định sẵn, bằng cách thêm các thông tin dẫn đường vào các gói tin để các gói tin được đến đúng đích đã định sẵn ban đầu. Và giao thức TCP (Transmission Control Protocol - Giao thức truyền vận) đóng vai trò kiểm tra và đảm bảo sự an toàn cho mỗi gói tin trong quá trình di chuyển qua các trạm trung gian rồi đến trạm đích. Trong quá trình này, nếu giao thức TCP nhận thấy gói tin bị lỗi, một tín hiệu sẽ được truyền ngược lại và yêu cầu hệ thống gửi lại một gói tin khác. Quá trình hoạt động này sẽ được làm rõ hơn ở chức năng của mỗi tầng trong mô hình TCP/IP.
Chức năng của các tầng trong mô hình TCP/IP Một mô hình TCP/IP tiêu chuẩn bao gồm 4 lớp được chồng lên nhau, bắt đầu từ tầng thấp nhất là Tầng vật lý (Physical) → Tầng mạng (Network) → Tầng giao vận (Transport) và cuối cùng là Tầng ứng dụng (Application). 3 Tầng 4 - Tầng Ứng dụng (Application) Đây là lớp giao tiếp trên cùng của mô hình. Đúng với tên gọi, tầng Ứng dụng đảm nhận vai trò giao tiếp dữ liệu giữa 2 máy khác nhau thông qua các dịch vụ mạng khác nhau (duyệt web, chat, gửi email, một số giao thức trao đổi dữ liệu: SMTP, SSH, FTP,. Dữ liệu khi đến đây sẽ được định dạng theo kiểu Byte nối Byte, cùng với đó là các thông tin định tuyến giúp xác định đường đi đúng của một gói tin.
Tầng 3 - Tầng Giao vận (Transport) Chức năng chính của tầng 3 là xử lý vấn đề giao tiếp giữa các máy chủ trong cùng một mạng hoặc khác mạng được kết nối với nhau thông qua bộ định tuyến. Tại đây dữ liệu sẽ được phân đoạn, mỗi đoạn sẽ không bằng nhau nhưng kích thước phải nhỏ hơn 64KB. Cấu trúc đầy đủ của một Segment lúc này là Header chứa thông tin điều khiển và sau đó là dữ liệu. Trong tầng này còn bao gồm 2 giao thức cốt lõi là TCP và UDP.
Trong đó, TCP đảm bảo chất lượng gói tin nhưng tiêu tốn thời gian khá lâu để kiểm tra đầy đủ thông tin từ thứ tự dữ liệu cho đến việc kiểm soát vấn đề tắc nghẽn lưu lượng dữ liệu. Trái với điều đó, UDP cho thấy tốc độ truyền tải nhanh hơn nhưng lại không đảm bảo được chất lượng dữ liệu được gửi đi. Tầng 2 - Tầng mạng (Internet) Gần giống như tầng mạng của mô hình OSI. Tại đây, nó cũng được định nghĩa là một giao thức chịu trách nhiệm truyền tải dữ liệu một cách logic trong mạng.
Các phân đoạn dữ liệu sẽ được đóng gói (Packets) với kích thước mỗi gói phù hợp với mạng chuyển mạch mà nó dùng để truyền dữ liệu. Lúc này, các gói tin được chèn thêm phần Header chứa thông tin của tầng mạng và tiếp tục được chuyển đến tầng tiếp theo. Các giao thức chính trong tầng là IP, ICMP và ARP. Tầng 1 - Tầng Vật lý (Physical) Là sự kết hợp giữa tầng Vật lý và tầng liên kết dữ liệu của mô hình OSI.
Chịu trách nhiệm truyền dữ liệu giữa hai thiết bị trong cùng một mạng. Tại đây, các gói dữ liệu được đóng vào khung (gọi là Frame) và được định tuyến đi đến đích đã được chỉ định ban đầu.2 TCP và cơ chế điều khiển tắc nghẽn 1.1 Quá trình slow-start và congestion avoidance Trong quá trình slow-start, khi mà kết nối vừa được thiết lập, cwnd được thiết lập giá trị là 1 MSS (Maximum segment size). Sau mỗi gói “ACK mới” nhận được, cwnd được tăng tuyến tính lên 1 đơn vị. Việc tăng tuyến tính này được tiếp tục cho tới khi có gói bị mất hoặc đạt ngưỡng ssthresh.
Trong trường hợp có gói bị mất, ssthresh = cwnd/2 và cwnd được trả về bằng 1. Trong trường hợp cwnd đạt ngưỡng ssthresh, thực thể gửi TCP chuyển sang quá trình congestion avoidance. Khi này, thay vì tăng theo hàm mũ cơ số 2, cwnd tăng tuyến tính: cwnd = cwnd + 1/cwnd. Việc tăng này sẽ tiếp tục cho đến khi có gói bị mất.
Quá trình slow-start nhằm mục đích “thăm dò” khả năng của đường truyền hiện tại. Mặc dù được thiết lập ở mức thấp (cwnd =1), song lại tăng rất nhanh tương tự như quá trình hiệu chỉnh thô khả năng phát gói. Khi xảy ra tắc nghẽn, quá trình congestion avoidance lại giống như quá trình hiệu chỉnh tinh, đồng thời, cũng là để hạn chế tắc nghẽn. Mục đích cuối cùng của cả hai quá trình là đảm bảo việc phát gói ở mức cao nhất có thể được.2 Quá trình Fast-Retransmit Mục đích của Fast-Retransmit là tăng tốc quá trình truyền lại bằng cách cho phép đầu gửi truyền lại gói bị mất càng sớm càng tốt ngay khi có đủ căn cứ về việc mất gói.
Có nghĩa là thay vì phải chờ đến khi time-out, đầu phát có thể truyền lại ngay khi cần thiết, đó là khi nhận được liên tiếp 3 biên nhận lặp (dupAcks).3 Quá trình Fast-Recovery Với TCP Tahoe, kết nối luôn trở về quá trình slow-start ngay khi phát hiện mất gói. Tuy nhiên, nếu như window size lớn và tỉ lệ mất gói là ít khi xảy ra, thì việc đó là không cần thiết vì hoàn toàn có thể chuyển sang trạng thái congestion avoidance. Mục đích của Fast-Recovery nhằm thực hiện ý tưởng trên. Trong quá trình Fast-Retransmit, bên gửi ghi nhận lại gói truyền lại.
Sau khi gói đã truyền lại, giá trị của ssthresh và cwnd sẽ được hiệu chỉnh theo nguyên tắc: 5 𝑠𝑠𝑡ℎ𝑟𝑒𝑠𝑠 = 𝑐𝑤𝑛𝑑/2 ! 𝑐𝑤𝑛𝑑 = 𝑠𝑠ℎ𝑟𝑒𝑠𝑠 Điều này đồng nghĩa với kết nối sẽ tiếp tục với quá trình congestion avoidance, với giá trị cửa sổ phát cwnd giảm xuống còn bằng một nửa chứ không phải xuống bằng.3 Học tăng cường Học tăng cường (Reinforcement Learning – RL) là một trong ba kiểu học máy chính bên cạnh học giám sát (Supervised Learning) và học không giám sát (Unsupervised Learning). Bản chất của RL là trial-and-error, nghĩa là thử đi thử lại và rút ra kinh nghiệm sau mỗi lần thử như vậy.1 Các khái niệm cơ bản Gồm 7 khái niệm chính: Agent, Environment, State, Action, Reward, Episode, Policy. Agent là tác nhân, chịu trách nhiệm thực hiện tương tác với Môi trường (Environment) bằng các hành động (Action). Sau mỗi hành động, môi trường trả về cho tác nhân một trạng thái (State) và phần thưởng (Reward) tương ứng với trạng thái đó.
Khi agent đạt được trạng thái kết thúc thì quá trình kết thúc. Một loạt các tương tác giữa agent và environment từ thời điểm bắt đầu đến lúc kết thúc này được gọi là một Episode. Trong một episode, agent sẽ cố gắng chọn ra các actions tối ưu để tối đa hóa reward nhận được sau mỗi episode. Cách mà agent chọn những actions đó là Policy.
Có thể thấy policy cũng có policy này và policy kia; mục đích của RL là tìm ra policy tốt nhất. Hình dưới đây mô tả tương tác giữa Agent - Environment: State Reward Policy Action Hình 2 Mô hình học tăng cường 6 1.2 Quy trình quyết định Markov (Markov Decision Process – MDP) Quy trình quyết định Markov (MDP) cung cấp một nền tảng toán học cho việc mô hình hóa việc ra quyết định trong các tình huống mà kết quả là một phần ngẫu nhiên và một phần dưới sự điều khiển của một người ra quyết định. MDP rất hữu dụng cho việc học một loạt bài toán tối ưu hóa được giải quyết thông qua quy hoạch động và học tăng cường. MDP được biết đến sớm nhất là vào những năm 1950 (cf.
Một cốt lõi của nghiên cứu về quá trình ra quyết định Markov là từ kết quả của cuốn sách của Ronald A. Howard[7] xuất bản năm 1960, Quy hoạch động và quá trình Markov. Chúng được sử dụng trong rất nhiều các lĩnh vực khác nhau, bao gồm robot, điều khiển tự động, kinh tế, và chế tạo. Chính xác hơn, một quá trình quyết định Markov là một quá trình điều khiển ngẫu nhiên thời gian rời rạc.
Tại mỗi bước thời gian, quá trình này trong một vài trạng thái s, và người ra quyết định có thể chọn bất kỳ hành động a nào có hiệu lực trong trạng thái s. Quá trình này đáp ứng tại bước thời gian tiếp theo bằng cách di chuyển ngẫu nhiên vào một trạng thái mới s’ và đưa ra cho người ra quyết định một phần thưởng tương ứng Ra(s,s’) Xác suất mà quá trình di chuyển vào trạng thái mới của nó s’ bị ảnh hưởng bởi hành động được chọn. Đặc biệt, nó được đưa ra bởi hàm chuyển tiếp trạng thái Pa(s,s’). Do đó, trạng thái kế tiếp s’ phụ thuộc vào trạng thái hiện tại s và hành động của người ra quyết định a.
Nhưng s và a đã cho, lại độc lập có điều kiện với toàn bộ trạng thái và hành động trước đó; nói cách khác, các trạng thái chuyển tiếp của một quá trình MDP thỏa mãn thuộc tính Markov. Quá trình quyết định Markov là một phần mở rộng của chuỗi Markov; khác biệt là ở sự bổ sung của các hành động (cho phép lựa chọn) và phần thưởng (cho động cơ). Ngược lại, nếu chỉ có một hành động tồn tại cho mỗi trạng thái và tất cả các phần thưởng là giống nhau (ví dụ: zero), một quá trình quyết định Markov làm giảm một chuỗi Markov. 7 Một MDP là một bộ 5 biến (S, A, T, R, γ): • S là không gian trạng thái, • A không gian hành động, • T: S × A × S → [0, 1] là hàm chuyển dịch (tập các xác suất chuyển dịch giữa các trạng thái), • R: S × A × S → R là hàm thưởng, R là một tập liên tiếp các phần thưởng có thể trong khoảng Rmax ∈ R+ (e.3 Q – Learning Làm thế nào mà agent biết phải chọn action nào để đạt được reward lớn nhất?