Luận văn: Tối ưu Adaptive Streaming Video bằng Deep Reinforcement Learning

Luận văn nghiên cứu giải pháp Adaptive Streaming Video bằng Deep Reinforcement Learning, giúp tối ưu bitrate và nâng cao chất lượng trải nghiệm người dùng.

• Tác giả: Đỗ Thị Thủy Phương
• Người hướng dẫn: Pgs. Lê Tuấn Anh
• Trường học: Trường Đại Học Thủ Dầu Một
• Chuyên ngành: Hệ Thống Thông Tin
• Đề tài: Adaptive Streaming Video Bằng Deep Reinforcement Learning
• Loại tài liệu: luận văn thạc sỹ
• Năm xuất bản: 2020
• Địa điểm: Bình Dương

Tóm tắt

I. Khám phá Adaptive Streaming Video bằng Deep Reinforcement Learning

Lĩnh vực truyền phát video trực tuyến (video streaming) đã chứng kiến sự phát triển vượt bậc, với lưu lượng chiếm phần lớn tổng lưu lượng Internet toàn cầu. Để đáp ứng nhu cầu ngày càng cao của người dùng, các nhà cung cấp dịch vụ đã chuyển sang sử dụng công nghệ Adaptive Bitrate Streaming (ABR) qua giao thức HTTP, tiêu biểu là MPEG-DASH. Công nghệ này chia video thành các đoạn nhỏ và mã hóa ở nhiều mức chất lượng (bitrate) khác nhau. Tuy nhiên, việc lựa chọn bitrate tối ưu tại mỗi thời điểm là một bài toán phức tạp do sự biến động liên tục của điều kiện mạng. Đây là lúc Học tăng cường sâu cho video streaming (Deep Reinforcement Learning - DRL) phát huy vai trò. DRL cung cấp một phương pháp học thông minh, cho phép hệ thống tự động tìm ra chiến lược lựa chọn bitrate tối ưu thông qua quá trình thử và sai, nhằm tối đa hóa Chất lượng trải nghiệm người dùng video (Quality of Experience - QoE). Thay vì dựa vào các quy tắc cứng nhắc, DRL học trực tiếp từ dữ liệu mạng và trạng thái hệ thống, tạo ra các quyết định linh hoạt và hiệu quả hơn.

1.1. Adaptive Bitrate Streaming ABR là gì

Adaptive Bitrate Streaming (ABR) là một kỹ thuật cho phép trình phát video tự động điều chỉnh chất lượng của video dựa trên điều kiện mạng và hiệu suất của thiết bị. Nội dung video được mã hóa sẵn ở nhiều mức bitrate, từ thấp đến cao. Trình phát phía máy khách sẽ liên tục theo dõi các yếu tố như băng thông hiện tại, kích thước bộ đệm (Buffer management) và chọn đoạn video có bitrate cao nhất mà nó có thể tải xuống kịp thời mà không gây ra hiện tượng dừng hình để chờ tải (rebuffering). Các tiêu chuẩn phổ biến như HLS và Deep Learning hay MPEG-DASH và DRL đều dựa trên nguyên tắc này. Mục tiêu của ABR là đảm bảo trải nghiệm xem video liền mạch và mượt mà nhất có thể, hy sinh chất lượng hình ảnh khi mạng yếu và nâng cao chất lượng khi mạng mạnh.

1.2. Vai trò của Học tăng cường sâu trong video streaming

Học tăng cường sâu (DRL) là sự kết hợp giữa học tăng cường (Reinforcement Learning) và mạng nơ-ron sâu (Deep Neural Networks). Trong bối cảnh video streaming, một "tác nhân" DRL (thuật toán ABR) học cách đưa ra các quyết định (Lựa chọn bitrate thông minh) trong một "môi trường" (điều kiện mạng, trạng thái bộ đệm). Sau mỗi quyết định, tác nhân nhận được một "phần thưởng" hoặc "phạt" dựa trên tác động của nó đến QoE. Mạng nơ-ron nhân tạo trong streaming được sử dụng để xử lý các trạng thái phức tạp của môi trường và dự đoán hành động nào sẽ mang lại phần thưởng tích lũy cao nhất trong dài hạn. Cách tiếp cận này giúp thuật toán tự thích ứng với các kịch bản mạng đa dạng mà không cần lập trình các quy tắc cụ thể, một hạn chế lớn của các thuật toán ABR truyền thống.

1.3. Tối ưu hóa QoE Mục tiêu cuối cùng của streaming

Tối ưu hóa QoE (Quality of Experience) là mục tiêu cốt lõi của mọi hệ thống video streaming. QoE là một thước đo đa chiều, không chỉ bao gồm bitrate trung bình của video mà còn cả các yếu tố tiêu cực như thời gian dừng hình (Giảm thiểu Rebuffering) và sự thay đổi đột ngột về chất lượng giữa các đoạn video. Một hệ thống ABR hiệu quả phải cân bằng được ba yếu tố cạnh tranh này: (1) bitrate cao để có chất lượng hình ảnh tốt, (2) ít rebuffering để đảm bảo tính liên tục, và (3) độ mượt cao (ít thay đổi bitrate) để không gây khó chịu cho người xem. Các mô hình DRL được huấn luyện để tối đa hóa một Hàm thưởng (Reward Function) cho QoE được định nghĩa cẩn thận, phản ánh chính xác sự cân bằng này.

II. Thách thức của thuật toán ABR trước điều kiện mạng biến đổi

Mặc dù công nghệ ABR đã mang lại nhiều cải tiến, các thuật toán ABR truyền thống vẫn đối mặt với nhiều thách thức lớn, đặc biệt là khi hoạt động trong điều kiện mạng biến đổi và không thể dự đoán trước. Các thuật toán này thường dựa trên các phương pháp phỏng đoán (heuristic) hoặc các mô hình đơn giản để ước tính băng thông. Ví dụ, một số thuật toán chỉ dựa vào thông lượng của lần tải xuống gần nhất (rate-based) hoặc chỉ dựa vào mức độ đầy của bộ đệm (buffer-based). Những cách tiếp cận này tỏ ra kém hiệu quả khi băng thông mạng dao động mạnh, chẳng hạn như trên mạng di động. Việc ước tính sai băng thông có thể dẫn đến hai hậu quả tiêu cực: hoặc là chọn bitrate quá cao gây ra rebuffering, hoặc là chọn bitrate quá thấp làm lãng phí băng thông và giảm trải nghiệm người dùng. Thách thức này đòi hỏi một cơ chế ra quyết định thông minh hơn, có khả năng học hỏi và thích ứng với sự phức tạp của môi trường mạng thực tế.

2.1. Hạn chế của các phương pháp ABR dựa trên quy tắc

Các thuật toán ABR truyền thống như Festive hay các phương pháp dựa trên bộ đệm hoạt động theo những quy tắc cố định. Ví dụ, một thuật toán có thể quyết định tăng bitrate nếu bộ đệm vượt qua một ngưỡng nhất định và giảm bitrate nếu bộ đệm xuống dưới một ngưỡng khác. Hạn chế lớn nhất của chúng là thiếu khả năng khái quát hóa. Một bộ quy tắc được tinh chỉnh để hoạt động tốt trên mạng có dây ổn định có thể hoàn toàn thất bại trên mạng 4G không ổn định. Chúng không thể tự học hỏi từ kinh nghiệm trong quá khứ hay thích ứng với các mẫu dao động băng thông mới. Do đó, hiệu suất của chúng thường không tối ưu và không thể cung cấp Chất lượng trải nghiệm người dùng video ổn định trên nhiều loại mạng khác nhau.

2.2. Vấn đề giảm thiểu Rebuffering và lựa chọn bitrate

Việc cân bằng giữa Giảm thiểu Rebuffering và tối đa hóa bitrate là một sự đánh đổi kinh điển trong ABR. Một chiến lược "tham lam" luôn cố gắng chọn bitrate cao nhất có thể sẽ làm tăng nguy cơ cạn kiệt bộ đệm và gây ra rebuffering khi băng thông đột ngột giảm. Ngược lại, một chiến lược quá "thận trọng" luôn chọn bitrate thấp để duy trì bộ đệm lớn sẽ mang lại trải nghiệm hình ảnh kém chất lượng, không tận dụng hết tiềm năng của đường truyền. Vấn đề này càng trở nên phức tạp khi các đoạn video có kích thước khác nhau ở cùng một mức bitrate. Một Lựa chọn bitrate thông minh không chỉ phụ thuộc vào băng thông ước tính mà còn phải xem xét thời gian còn lại trong bộ đệm và kích thước thực tế của đoạn video tiếp theo.

2.3. Sự cần thiết của giải pháp thông minh hơn cho streaming

Những hạn chế của thuật toán ABR truyền thống đã thúc đẩy cộng đồng nghiên cứu tìm kiếm các giải pháp thông minh hơn, có khả năng học hỏi. Đây chính là lúc các phương pháp học máy, đặc biệt là Học tăng cường sâu cho video streaming, trở nên quan trọng. Thay vì tuân theo các quy tắc định sẵn, một hệ thống dựa trên DRL có thể học các chiến lược phức tạp từ hàng terabyte dữ liệu mạng thực tế. Nó có thể nhận ra các mẫu ẩn trong sự biến động của băng thông và đưa ra các quyết định tối ưu cho từng tình huống cụ thể. Các nghiên cứu như Pensieve đã chứng minh rằng DRL có thể vượt trội hơn đáng kể so với các thuật toán ABR tiên tiến nhất, mở ra một kỷ nguyên mới cho Adaptive Streaming Video.

III. Phương pháp DRL tối ưu chất lượng trải nghiệm người dùng video

Phương pháp Học tăng cường sâu cho video streaming hoạt động dựa trên mô hình Tác nhân – Môi trường. Tác nhân (agent) là thuật toán ABR, có nhiệm vụ quan sát trạng thái của Môi trường và thực hiện một hành động. Môi trường bao gồm tất cả các yếu tố liên quan như thông lượng mạng trong quá khứ, thời gian tải, mức độ đầy của bộ đệm, và danh sách các bitrate có sẵn. Hành động (action) chính là việc lựa chọn một mức bitrate cụ thể cho đoạn video tiếp theo. Sau khi hành động được thực hiện, Môi trường chuyển sang một trạng thái mới và trả về một phần thưởng (reward). Phần thưởng này được tính toán dựa trên một hàm QoE được định nghĩa trước, nhằm khuyến khích bitrate cao, rebuffering thấp và độ mượt tốt. Mục tiêu của tác nhân DRL là học một chính sách (policy) – một chiến lược ra quyết định – để tối đa hóa tổng phần thưởng tích lũy theo thời gian. Quá trình này được hỗ trợ bởi các mạng nơ-ron nhân tạo trong streaming.

3.1. Xây dựng mô hình Học tăng cường Tác nhân và Môi trường

Trong mô hình DRL cho ABR, "trạng thái" (state) là một vector chứa các thông tin quan trọng mà tác nhân quan sát được tại mỗi bước quyết định. Theo nghiên cứu của Đỗ Thị Thủy Phương, trạng thái có thể bao gồm: thông lượng đo được cho đoạn cuối, thời gian tải xuống, mức chiếm dụng bộ đệm, bitrate của đoạn vừa tải, và danh sách kích thước các đoạn video ở các mức bitrate khác nhau. "Hành động" (action) là tập hợp các bitrate có thể lựa chọn. Tác nhân DRL, thường là một mạng nơ-ron, nhận đầu vào là trạng thái và đưa ra đầu ra là hành động tối ưu. Quá trình tương tác này tuân theo Quy trình quyết định Markov (Markov Decision Process - MDP), một khung toán học nền tảng cho học tăng cường.

3.2. Thiết kế Hàm thưởng Reward Function cho QoE tối ưu

Thiết kế Hàm thưởng (Reward Function) cho QoE là một trong những bước quan trọng nhất. Hàm thưởng phải phản ánh chính xác mục tiêu tối ưu hóa. Một hàm thưởng phổ biến, như được sử dụng trong hệ thống Pensieve và HotDASH, là sự kết hợp tuyến tính của ba thành phần: (1) tiện ích của bitrate (bitrate càng cao, thưởng càng lớn), (2) hình phạt cho thời gian rebuffering (thời gian rebuffering càng dài, phạt càng nặng), và (3) hình phạt cho sự thay đổi bitrate (chênh lệch bitrate giữa hai đoạn liên tiếp càng lớn, phạt càng nặng). Ví dụ, công thức QoE có thể là: QoE = q(R_i) - μ * T_i - |q(R_i) - q(R_{i-1})|, trong đó q(R_i) là tiện ích của bitrate, T_i là thời gian rebuffering, và μ là trọng số phạt. Việc điều chỉnh các trọng số này cho phép ưu tiên các khía cạnh khác nhau của QoE.

3.3. Áp dụng thuật toán PPO và DQN trong video streaming

Nhiều thuật toán DRL tiên tiến đã được áp dụng cho ABR. Mô hình DQN trong video streaming (Deep Q-Network) là một trong những phương pháp đầu tiên và phổ biến, học một hàm giá trị (Q-value) để ước tính phần thưởng kỳ vọng của việc thực hiện một hành động tại một trạng thái nhất định. Một thuật toán hiện đại hơn là A3C (Asynchronous Advantage Actor-Critic), được sử dụng trong Pensieve và HotDASH. Gần đây, thuật toán PPO cho ABR (Proximal Policy Optimization) cũng cho thấy nhiều hứa hẹn. PPO thuộc nhóm thuật toán policy gradient, trực tiếp tối ưu hóa chính sách của tác nhân và được biết đến với sự ổn định và hiệu quả cao trong quá trình huấn luyện. Những thuật toán này thường được triển khai bằng các thư viện học sâu như TensorFlow cho video streaming hoặc PyTorch.

IV. Hướng dẫn triển khai pHotDASH MPEG DASH và DRL kết hợp

Hệ thống pHotDASH, một cải tiến từ HotDASH, là một ví dụ điển hình về việc kết hợp MPEG-DASH và DRL để tạo ra một giải pháp streaming thông minh và cá nhân hóa. Ý tưởng cốt lõi của HotDASH là nhận biết các phân đoạn video quan trọng, được gọi là "hotspot" (ví dụ: bàn thắng trong trận bóng đá), và ưu tiên tải trước (prefetching) các đoạn này với chất lượng cao nhất có thể. Hệ thống sử dụng một kiến trúc xếp tầng độc đáo gồm hai mô hình DRL: một mô hình chịu trách nhiệm Lựa chọn bitrate thông minh cho các đoạn thông thường và hotspot, và một mô hình thứ hai quyết định có nên thực hiện tìm nạp trước hay không. Cải tiến của pHotDASH là đưa vào các mức độ ưu tiên khác nhau cho từng hotspot, cho phép hệ thống phân bổ tài nguyên mạng một cách hiệu quả hơn nữa, đảm bảo những khoảnh khắc quan trọng nhất luôn có chất lượng tốt nhất.

4.1. Kiến trúc xếp tầng của HotDASH Quyết định kép thông minh

HotDASH sử dụng một thiết kế xếp tầng (cascaded design) để tách biệt hai quyết định phức tạp. Đầu tiên, hai thực thể của mô hình lựa chọn bitrate sẽ chạy song song: một để tính toán bitrate tối ưu giả định cho đoạn thông thường tiếp theo, và một để tính bitrate tối ưu giả định cho hotspot tiếp theo. Kết quả của hai tính toán này, cùng với trạng thái mạng và bộ đệm, sẽ được đưa vào mô hình quyết định tìm nạp trước. Mô hình này sau đó sẽ đưa ra quyết định cuối cùng: "có" hoặc "không" tìm nạp trước hotspot. Nếu quyết định là "có", bitrate đã tính cho hotspot sẽ được sử dụng; nếu là "không", bitrate cho đoạn thông thường sẽ được chọn. Cách tiếp cận này giúp giảm độ phức tạp của không gian hành động và cho phép mỗi mô hình DRL tập trung vào một nhiệm vụ cụ thể, từ đó nâng cao hiệu quả.

4.2. Cơ chế tìm nạp trước Prefetching các hotspot ưu tiên

Tìm nạp trước các đoạn hotspot là một chiến lược hiệu quả để cải thiện QoE. Khi băng thông dồi dào, hệ thống có thể chủ động tải trước các đoạn quan trọng, ngay cả khi chúng chưa đến lượt phát. Điều này tạo ra một lớp đệm an toàn, đảm bảo rằng khi đến thời điểm phát hotspot, đoạn video chất lượng cao đã sẵn sàng trong bộ nhớ, bất chấp sự sụt giảm băng thông có thể xảy ra sau đó. Tuy nhiên, việc tìm nạp trước bừa bãi có thể phản tác dụng, gây lãng phí băng thông và thậm chí dẫn đến rebuffering nếu làm cạn kiệt bộ đệm cho các đoạn thông thường. Do đó, mô hình DRL của HotDASH học được khi nào là thời điểm tối ưu để tìm nạp trước, dựa trên sự cân bằng giữa lợi ích tiềm năng và rủi ro hiện tại, đây là một phần quan trọng của quản lý bộ đệm (Buffer management).

4.3. Cải tiến với pHotDASH Phân cấp ưu tiên cho các điểm nóng

Nghiên cứu của Đỗ Thị Thủy Phương đề xuất pHotDASH (prioritized HotDASH) bằng cách nhận ra rằng không phải tất cả các hotspot đều có tầm quan trọng như nhau. Ví dụ, một bàn thắng (hotspot cấp 1) quan trọng hơn một pha phạm lỗi (hotspot cấp 2). pHotDASH gán một trọng số ưu tiên cho mỗi hotspot. Trọng số này được tích hợp vào Hàm thưởng (Reward Function) cho QoE. Cụ thể, hàm thưởng sẽ nhân tiện ích bitrate của hotspot với trọng số ưu tiên tương ứng (P(Rh) * qhd(Rh)). Điều này khuyến khích mô hình DRL nỗ lực hơn để tải các hotspot có độ ưu tiên cao ở bitrate cao nhất, thậm chí có thể hy sinh một chút chất lượng ở các đoạn ít quan trọng hơn. Kết quả là một trải nghiệm xem được cá nhân hóa và tối ưu hơn theo nội dung.

V. Phân tích kết quả nghiên cứu Hiệu năng vượt trội của DRL

Các thực nghiệm và đánh giá hiệu năng cho thấy các hệ thống ABR dựa trên DRL như pHotDASH mang lại những cải thiện đáng kể so với các phương pháp truyền thống. Bằng cách huấn luyện trên hàng nghìn dấu vết mạng thực tế, mô hình DRL học được các chiến lược mạnh mẽ, có khả năng thích ứng với nhiều kịch bản mạng khác nhau. Kết quả từ luận văn của Đỗ Thị Thủy Phương chỉ ra rằng pHotDASH không chỉ đạt được QoE tổng thể cao hơn mà còn cải thiện rõ rệt chất lượng tại các phân đoạn video quan trọng. Điều này chứng tỏ tiềm năng to lớn của DRL trong việc giải quyết các bài toán tối ưu hóa phức tạp trong lĩnh vực truyền thông đa phương tiện. Các hệ thống này không chỉ giúp giảm thiểu Rebuffering mà còn nâng cao sự hài lòng của người dùng cuối, một yếu tố then chốt đối với các nhà cung cấp dịch vụ video.

5.1. So sánh hiệu suất pHotDASH và các thuật toán ABR cơ bản

Khi so sánh với các thuật toán ABR cơ bản như Festive, Rate-based, và Buffer-based, pHotDASH cho thấy hiệu suất vượt trội. Trong các thử nghiệm, pHotDASH đạt được điểm QoEhotspot trung bình cao hơn đáng kể. Cụ thể, kết quả cho thấy pHotDASH vượt trội hơn thuật toán ABR hoạt động tốt nhất (Buffer-based) tới 16.3% và hơn HotDASH 3.2%. Các thuật toán cơ bản, do không có khả năng dự đoán và ưu tiên hóa nội dung, thường phải hy sinh chất lượng ở các đoạn hotspot khi mạng xấu đi. Ngược lại, nhờ cơ chế tìm nạp trước thông minh, pHotDASH có thể duy trì chất lượng cao cho các hotspot ngay cả trong điều kiện mạng không ổn định.

5.2. Cải thiện bitrate đáng kể cho các phân đoạn video hotspot

Một trong những thành công lớn nhất của pHotDASH là khả năng cải thiện bitrate cho các đoạn hotspot. Dữ liệu thực nghiệm cho thấy các đoạn hotspot được tìm nạp trước có bitrate trung bình cao hơn 14.32% so với các đoạn thông thường. Điều này có nghĩa là người dùng sẽ được trải nghiệm những khoảnh khắc quan trọng nhất của video với chất lượng hình ảnh sắc nét hơn hẳn. Cơ chế phân cấp ưu tiên của pHotDASH đảm bảo rằng băng thông được phân bổ một cách thông minh, tập trung vào những gì thực sự quan trọng đối với trải nghiệm xem của người dùng, thay vì đối xử bình đẳng với tất cả các phân đoạn video.

5.3. Đánh giá tổng thể QoE Giảm Rebuffering và tăng độ mượt

Mặc dù tập trung vào việc tăng bitrate cho hotspot, pHotDASH vẫn duy trì được sự cân bằng tốt với các yếu tố QoE khác. Hệ thống này cho thấy hiệu quả trong việc giảm thiểu Rebuffering và có hình phạt về độ mượt thấp hơn so với nhiều thuật toán khác. Mặc dù chiến lược tìm nạp trước có thể làm tăng nguy cơ bị phạt tải lại trong một số trường hợp, mô hình DRL đã học cách giảm thiểu rủi ro này. Kết quả tổng thể cho thấy pHotDASH đạt được điểm QoE cao hơn trong hầu hết các kịch bản, đặc biệt là với các độ đo QoE ưu tiên chất lượng HD (QoEhd) và QoE tuyến tính (QoElin), chứng minh tính hiệu quả của cách tiếp cận toàn diện này.

VI. Tương lai của ABR Hướng phát triển với TensorFlow và PyTorch

Tương lai của Adaptive Bitrate Streaming chắc chắn sẽ gắn liền với trí tuệ nhân tạo và học máy. Các hệ thống dựa trên DRL đã chứng minh được tiềm năng to lớn, nhưng vẫn còn nhiều không gian để cải tiến và phát triển. Một trong những hướng đi đầy hứa hẹn là áp dụng Học tăng cường trực tuyến (Online RL), cho phép mô hình tiếp tục học hỏi và thích ứng ngay trong quá trình hoạt động thực tế, thay vì chỉ dựa vào mô hình đã được huấn luyện ngoại tuyến. Việc này giúp hệ thống luôn cập nhật với các điều kiện mạng và hành vi người dùng mới nhất. Sự phát triển của các framework mạnh mẽ như TensorFlow cho video streaming và PyTorch, cùng với việc triển khai các PyTorch ABR implementation, sẽ giúp việc xây dựng và triển khai các hệ thống ABR thông minh này trở nên dễ dàng và hiệu quả hơn, mở ra một kỷ nguyên mới cho trải nghiệm xem video trực tuyến.

6.1. Hạn chế và thách thức còn tồn tại trong nghiên cứu

Mặc dù có nhiều kết quả tích cực, các nghiên cứu hiện tại vẫn còn một số hạn chế. Thứ nhất, việc thu thập một tập dữ liệu đủ lớn và đa dạng để huấn luyện một mô hình DRL mạnh mẽ là một thách thức lớn. Thứ hai, các mô hình DRL thường là các "hộp đen", gây khó khăn trong việc diễn giải tại sao một quyết định cụ thể được đưa ra. Thứ ba, việc xác định một hàm thưởng QoE hoàn hảo, phản ánh đúng sở thích của mọi người dùng, vẫn là một câu hỏi mở. Các nghiên cứu trong tương lai cần giải quyết những vấn đề này để các hệ thống ABR dựa trên DRL có thể được áp dụng rộng rãi trong thực tế.

6.2. Triển vọng ứng dụng Học tăng cường trực tuyến Online RL

Học tăng cường trực tuyến (Online RL) là một hướng phát triển quan trọng. Thay vì một mô hình tĩnh được huấn luyện một lần, hệ thống sẽ liên tục cập nhật chính sách của mình dựa trên dữ liệu thu thập được từ người dùng thực. Điều này cho phép hệ thống cá nhân hóa trải nghiệm cho từng người dùng, học hỏi sở thích của họ (ví dụ: người dùng A ưu tiên độ phân giải cao, trong khi người dùng B ghét rebuffering). Online RL cũng giúp hệ thống thích ứng với những thay đổi dài hạn trong cơ sở hạ tầng mạng hoặc sự ra đời của các codec video mới, đảm bảo hiệu suất tối ưu theo thời gian.

6.3. Xây dựng hệ thống ABR với TensorFlow và PyTorch

Việc triển khai các hệ thống ABR phức tạp này ngày càng trở nên khả thi nhờ vào các thư viện học sâu mã nguồn mở. TensorFlow cho video streaming và PyTorch ABR implementation cung cấp các công cụ mạnh mẽ để xây dựng, huấn luyện và triển khai các mạng nơ-ron. Các nhà phát triển có thể tận dụng các mô hình được huấn luyện trước (pre-trained models) và các kiến trúc mạng đã được chứng minh hiệu quả như CNN (mạng tích chập) để xử lý dữ liệu chuỗi thời gian của thông lượng mạng. Sự hỗ trợ từ cộng đồng lớn và tài liệu phong phú của các framework này sẽ đẩy nhanh quá trình đổi mới và ứng dụng DRL vào lĩnh vực video streaming.

Trích đoạn nội dung tài liệu

MỞ ĐẦU Lƣu lƣợng truy cập từ các ứng dụng phát trực tuyến video dựa trên HTTP chiếm tỷ trọng lớn nhất trong tổng lƣu lƣợng Internet toàn cầu trong những năm gần đây. Đồng thời, nhu cầu của ngƣời dùng về nội dung video với Chất lƣợng trải nghiệm cao (QoE) đã tăng lên nhanh chóng. Việc không thể cung cấp QoE thỏa đáng cho ngƣời dùng chuyển thành tổn thất nặng nề cho các nhà cung cấp dịch vụ. Tuy nhiên, các biến chứng phát sinh từ việc ngƣời dùng khác nhau trải nghiệm cùng một video khác nhau.

Với sự bùng nổ về dân số và sự phát triển ngày càng cao của công nghệ, thì sự khao khát về lƣợng thông tin của con ngƣời ngày một lớn hơn. Các thông tin video đƣợc lấy từ nhiều nguồn khác nhau nhƣ youtube, facebook, tiktok… Trong khi môi trƣờng sống càng phát triển thì đời sống tinh thần của con ngƣời cũng phải cải thiện theo, các thông tin video ngoài mang tính thông tin, nghiên cứu mà còn mang tính giải trí. Và cùng với việc phát triển hàng ngày của công nghệ, việc truyền tải video ngày càng thách thức cho các nhà đầu tƣ khi phải nâng cấp chất lƣợng trải nghiệm của ngƣời dùng. Việc không thể cung cấp QoE thỏa đáng cho ngƣời dùng chuyển thành tổn thất nặng nề cho các nhà cung cấp dịch vụ.

Nhiều nghiên cứu đã chỉ ra rằng chất lƣợng trải nghiệm video cho ngƣời dùng có thể phụ thuộc vào nhiều yếu tố khác nhau, bao gồm giới tính, tuổi tác, cộng đồng, nội dung, … Dẫn đến nhu cầu trải nghiệm thông tin trải nghiệm video của ngƣời dùng đƣợc cá nhân hóa. Các nhà cung cấp dịch vụ video chủ yếu sử dụng Truyền phát thích ứng động qua HTTP (DASH), để phục vụ nội dung cho các thuê bao của họ. Video mục tiêu thƣờng đƣợc chia thành các đoạn thời gian phát cố định, với mỗi đoạn đƣợc lƣu trữ chất lƣợng khác nhau. Trình phát video phía máy khách cố gắng ƣớc tính băng thông khả dụng, dựa trên các điều kiện phát hiện tại (về thông lƣợng, trạng thái bộ đệm, v.) và sử dụng thuật toán bit thích ứng (ABR) để chọn chất lƣợng tối ƣu cho đoạn tiếp theo.

Tuy nhiên, các vấn đề phát sinh khi ƣớc lƣợng là không chính xác; nếu máy khách chất lƣợng cao đƣợc khách hàng 1 yêu cầu khi không đủ băng thông, thì bộ phát lại bị trì hoãn trong vài giây (cho đến khi đoạn đƣợc tải xuống hoàn toàn), một hiện tƣợng đƣợc gọi là tải lại. Bên cạnh việc phát lại, thay đổi đột ngột về chất lƣợng của các đoạn liên tiếp cũng cản trở QoE; các thuật toán phát trực tuyến cố gắng làm giảm mức độ thay đổi đột ngột, và làm tăng độ mƣợt khi phát lại. Phải kể đến các thuật toán ABR tiên tiến, ví dụ: MPC và Pensieve, đƣợc tối ƣu hóa cho chức năng mục tiêu (hoặc phần thƣởng), bao gồm ba thành phần cạnh tranh: (1) bit cao, (2) ít xáo trộn và (3) độ mịn cao. Mặc dù kịch bản đã nói ở trên là tối ƣu nhất về mặt sử dụng băng thông, nhƣng đối với ngƣời dùng, sự biến đổi chất lƣợng có vẻ ngẫu nhiên và không thỏa đáng.

Do đó, yêu cầu phải có chiến lƣợc truyền phát video có tính đến nội dung tùy chọn của ngƣời dùng, bên cạnh việc sử dụng băng thông tối ƣu. Cụ thể hơn, thuật toán phát trực tuyến phải nhận thức đƣợc thời gian ƣu tiên cao các phân đoạn trong video - mà chúng tôi gọi là các hotspot trong đề tài này - và tối ƣu hóa phân phối video tƣơng ứng. Trong đề tài này, chúng tôi sử dụng học tăng cƣờng sâu trong truyền phát video thích ứng, cụ thể, chúng tôi đề xuất hệ thống pHotDASH, một cải tiến nhỏ trên nền tảng của hệ thống HotDASH khi cho thêm các mức hot tại các đoạn hotspot, để tùy chọn nội dung của ngƣời dùng trong quá trình truyền phát video thích ứng qua HTTP phù hợp với điều kiện môi trƣờng truyền và nâng cao trải nghiệm ngƣời dùng ở mức cao nhất có thể. Luận văn này đƣợc chia làm 3 Chƣơng: Chƣơng 1 – Giới thiệu tổng quan về nền tảng phát trực tuyến video bằng DASH; phƣơng pháp Học tăng cƣờng và Học tăng cƣờng sâu; Mục tiêu và phạm vi nghiên cứu.

Chƣơng 2 – Giới thiệu các thuật toán ABR cơ bản; và HotDASH. Chƣơng 3 – Đề xuất giải pháp và đánh giá hiệu năng. Giới thiệu tổng quan về nền tảng phát trực tuyến video bằng DASH Truyền phát video thích ứng dựa trên HTTP (đƣợc chuẩn hóa là DASH) là một kỹ thuật streaming cho phép truyền tải các nội dung media chất lƣợng cao qua Internet. Tƣơng tự nhƣ giải pháp HTTP Live Streaming (HLS) của Apple, MPEG-DASH hoạt động bằng cách chia nhỏ nội dung thành một chuỗi các phân đoạn tệp dựa trên HTTP, mỗi phân đoạn chứa một khoảng thời gian phát khác nhau.

DASH là giải pháp phân phối đƣợc lựa chọn cho hầu hết các nhà cung cấp dịch vụ video trong thời gian gần đây. Hình 1 minh họa hoạt động của trình phát DASH khách: bộ điều khiển ABR trong trình phát nhận các điều kiện phát về thông lƣợng (từ trình ƣớc lƣợng thông lƣợng) và kích thƣớc bộ đệm (từ bộ điều khiển bộ đệm). Sau đó, nó xác định bitrate tối ƣu cho đoạn tiếp theo và bắt đầu tải xuống từ CDN (hoặc máy chủ nội dung) tƣơng ứng Hình 1.1: Truyền phát bit thích ứng bằng DASH theo các cách tiếp cận hiện đại: Bộ điều khiển ABR trong trình phát máy khách chuyển tiếp các điều kiện phát lại (thông lƣợng, bộ đệm bị chiếm, v.) đến máy chủ ABR bên ngoài, đáp ứng với bitrate tối ƣu cho đoạn tiếp theo 3 Bảng 1.1 - Sự khác biệt giữa 2 giao thức HTTP và RTMP Giao thức HTTP Giao thức RTMP Messaging server (Adobe Flash Media Web server (Apache, Lighttpd, Nginx…) Server, Wowza Media Server, Red5…) Sử dụng Web Browser Sử dụng Flash player Truyền văn bản thời gian ngắn (Phù hợp với Truyền dữ liệu thời gian thực/dài (Phù web truyền thống) hợp với các file Media: Nhạc, Phim) SOAP, XML AMF File .mp3 MPEG DASH là tên viết tắt của: Dynamic Adaptive Streaming Over HTTP, đây là 1 tiêu chuẩn đƣợc định nghĩa bởi ISO (ISO/IEC 23009-1). MPEG-DASH hoạt động bằng cách chia nhỏ nội dung thành một chuỗi các phân đoạn nhỏ, đƣợc phát qua HTTP.

Mỗi phân đoạn chứa một khoảng thời gian ngắn của nội dung có thể có thời lƣợng nhiều giờ chẳng hạn nhƣ một bộ phim hoặc một chƣơng trình truyền hình thực tế phát sóng trực tiếp. Nội dung đƣợc cung cấp ở nhiều bitrate khác nhau, tức là các phân đoạn thay thế đƣợc mã hóa ở các bitrate khác nhau bao gồm các khoảng thời gian phát lại ngắn đƣợc căn chỉnh. Trong lúc nội dung đang đƣợc phát lại phát lại bởi máy khách MPEG- DASH, máy khách sẽ sử dụng thuật toán bit thích ứng (ABR) để tự động chọn phân đoạn có bitrate cao nhất có thể để tải xuống phát kịp thời mà không gây ngừng hoặc tải lại cho các đoạn khi đang phát. Một máy khách MPEG-DASH có thể thích ứng với các điều kiện mạng không ổn địh và cung cấp đoạn phát có chất lƣợng cao với một số lỗi hoặc sự cố sẽ lƣu vào bộ đệm tải lại.

MPEG-DASH sử dụng cơ sở hạ tầng máy chủ web HTTP hiện có để phân phối một cách sơ bộ nhất nội dung world wide web. Cho phép các thiết bị 4 có kết nối Internet phát nội dung đa phƣơng tiện đƣợc phân phối qua Internet trong bối cảnh tình trạng/ điều kiện mạng không ổn định. DASH là một tiêu chuẩn dành cho việc điều phối linh hoạt các bit video đƣợc phát thông qua giao thức HTTP, nó có khả năng thay thế các công nghệ hiện tại nhƣ Microsoft Smooth Streaming, Adobe Dynamic Streaming, Apply HTTP Live Streaming (HLS). DASH chính là một hình thức thống nhất của các công nghệ này.

Học tăng cƣờng Học máy (Machine learning) là một lĩnh vực con của Trí tuệ nhân tạo (Artificial Intelligence) sử dụng các thuật toán cho phép máy tính có thể học từ dữ liệu để thực hiện các công việc thay vì đƣợc lập trình một cách rõ ràng. Học tăng cƣờng là một trong ba nhánh mà các kỹ thuật học máy thƣờng đƣợc phân loại:  Học có giám sát (supervised learning) là nhiệm vụ suy ra một phân loại hoặc hồi quy từ dữ liệu huấn luyện đƣợc gắn nhãn.  Học không giám sát (unsupervised learning) là nhiệm vụ rút ra các suy luận từ các tập dữ liệu bao gồm dữ liệu đầu vào mà không đƣợc gắn nhãn.  Học tăng cƣờng (RL) là nhiệm vụ học cách các tác nhân phải thực hiện các chuỗi hành động trong một môi trƣờng để tối đa hóa phần thƣởng tích lũy.

Mô hình học tăng cƣờng thƣờng bao gồm: - Các tác nhân (agents) - Môi trƣờng (environments). RL tập trung giải quyết vấn đề hành động (acting, decision making) ở mỗi thời điểm để thay đổi trạng thái (state) của môi trƣờng, từ đó đạt đƣợc kết quả tối ƣu khi kết thúc. 5 TÍNH MARKOV Chúng ta sẽ xem xét mô hình về quy trình kiểm soát ngẫu nhiên của Markovian Hình 1.2: Mô hình sự tƣơng tác của Tác nhân – Môi trƣờng trong RL Hình 1.2: Quy trình kiểm soát ngẫu nhiên có tính Markov nếu:  ( | ) ( | )  ( | ) ( | ) Quy trình quyết định Markov (MDP) trong Hình 1.3, là một bộ 5 biến (S,A,T,R,γ):  S là không gian trạng thái,  A là không gian hành động,  T: S ×A×S → [0, 1] là hàm chuyển đổi (tập hợp các xác suất chuyển đổi có điều kiện giữa các trạng thái),  R: S×A×S → R là hàm phần thƣởng, trong đó R là tập hợp liên tục các phần thƣởng có thể có trong một phạm vi Rmax ∈ R+ (ví dụ [0, Rmax]),  ∈ [0, 1) là hệ số giảm trừ. 6 Tại mỗi thời điểm bƣớc t, xác suất chuyển đến st+1 đƣợc cung cấp bởi hàm chuyển đổi trạng thái T(st,at,st+1) và phần thƣởng đƣợc đƣa ra bởi hàm phần thƣởng giới hạn R(st,at,st+1)∈R Hình 1.3: Minh họa MDP [41] Trong thiết lập trực tuyến, vấn đề huấn luyện phức tạp hơn mà không yêu cầu một lƣợng lớn dữ liệu (hiệu suất mẫu) ở khả năng khái quát hóa tốt của thuật toán huấn luyện từ kinh nghiệm hạn chế.

Tác nhân có khả năng thu thập kinh nghiệm thông qua chiến lƣợc thăm dò/khai thác. Ngoài ra, tác nhân có thể sử dụng bộ nhớ phát (tải) lại để lƣu trữ trải nghiệm của mình để có thể xử lý lại sau. Trong cả cài đặt theo ngoại tuyến và cài đặt trực tuyến, một điều cần cân nhắc cần bổ sung là hiệu suất tính toán, phụ thuộc vào hiệu suất của một bƣớc giảm độ dốc nhất định.