chương 1. ÁNH GIÁ CHẤT LƯỢNG CỦA VIDEO 360 Ộ DỰA TRÊN VÕNG MẠC ƯỢC MÃ HÓA THEO CÁC TILE 30 2.1 ịnh nghĩa bài toán .2 Các công trình liên quan .1 Giải pháp nghiên cứu .2 Nghiên cứu về các công trình liên quan .3 ề xuất giải pháp ánh giá tác ộng của các vùng trong võng mạc con người ể nâng cao chất lượng trải nghiệm .1 Xây dựng chß số ánh giá QoE mới - W ZUQI .2 Xây dựng hàm ánh xạ tính MOS mới .4 Thiết lập dữ liệu cho thí nghiệm .1 Thiết lập nội dung video 360 ộ .2 Thiết lập thí nghiệm ánh giá chủ quan .5 Kết quả và ánh giá hiệu năng .1 ánh giá chất lượng .2 ánh giá dựa trên tác ộng của các phân vùng .6 Kết luận chương 2. GIẢI PHÁP DỰ BÁO TRƯỚC Và TRÍ VIEWPORT CHÍNH XÁC CHO VIDEO 360 Ộ PHÁT TRỰC TUYẾN BẰNG HỌC SÂU 50 3.1 Hình thành vấn ề .2 Thảo luận và ánh giá công trình liên quan .3 Giải pháp dự oán vị trí viewport dựa trên chuyển ộng ầu .1 ịnh nghĩa bài toán 1 .2 Giải pháp ước tính dưới chuyển ộng ầu - GLVP .3 ánh giá hiệu năng .4 Dự báo vị trí viewport dựa trên chuyển ộng ầu và mắt .1 ịnh nghĩa bài toán 2 .2 Giải pháp ước tính dưới chuyển ộng ầu và mắt - HEVEL .3 ánh giá hiệu năng .5 Kết luận Chương 3. NGHIÊN CỨU CÁC GIẢI PHÁP PHÁT TRỰC TUYẾN THÍCH NGHI CHO VIDEO 360 Ộ 70 4.1 Hình thành vấn ề .2 Phân tích các công trình liên quan .3 Nghiên cứu thực nghiệm dựa trên chuyển ộng ầu .1 ối với chuyển ộng ầu .2 Phân tích hiệu năng .4 ề xuất giải pháp phân phối video 360 ộ thích nghi dựa trên chuyển ộng cả ầu và mắt .1 Kiến trúc hệ thống ề xuất .2 ịnh nghĩa bài toán .3 Giải pháp thích nghi ề xuất .4 Cài ặt thí nghiệm .5 Kết quả thí nghiệm .5 Kết luận Chương 4.
101 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN 103 Những óng góp mới của luận án 103 Hướng phát triển của luận án 104 DANH MỤC CÁC CÔNG TRÌNH Ã CÔNG BỐ CỦA LUẬN ÁN 106 TÀI LIỆU THAM KHẢO 108 vi DANH MỤC CÁC TỪ VIẾT TẮT Từ viết tắt Tên tiếng Anh Tên tiếng Việt AR Augmented Reality Thực tế Tăng cường BBAG Buffer and Bandwidth Allocation Thuật toán phân bổ bộ Algorithm ệm và băng thông BL Buffer level Mức bộ ệm CDN Content Delivery Network Mạng phân phối nội dung CMP Cube projection Phép chiếu lập phương CNN Convolutional Neural Network Mạng Nơ-ron Tích chập DASH Dynamic adaptive streaming over Phát trực tuyến thích ứng HTTP ộng trên HTTP EEG Electroencephalography iện não ồ ERP Equivalent projection Phép chiếu tương ương FoV Field of view Phạm vi quan sát GRU Gated Recurrent Unit Mạng Nơ-ron hồi tiếp với nút có cổng GLVP GRU-LSTM-based-Viewport- Dự oán Viewport dựa Prediction trên GRU-LSTM HAS HTTP-based Adaptive Streaming Truyền dẫn thích ứng trên nền giao thức HTTP HMD Head Mounted Display Màn hình ội trên ầu HTTP Hypertext Transfer Protocol Giao thức truyền siêu văn bản LSTM Long Short-Term Memory Mạng thần kinh hồi quy có Bộ nhớ Ngắn hạn và Dài hạn MOS Mean Opinion Score iểm số ý kiến trung bình MPD Media Presentation Description Mô tả trình diễn a phương tiện MPEG Moving Picture Expert Group Chuẩn nén MPEG MSE Mean Squared Error ộ lỗi bình phương trung bình OQM Overall Quality Metric Chß số ánh giá Chất lượng Tổng thể PCC Pearson Correlation Coefficient Hệ số tương quan Pearson PSNR Peak Signal-to-Noise Ratio Tÿ số Tín hiệu/Nhiễu Cực ại QoE Quality of experience Chất lượng trải nghiệm vii Từ viết tắt Tên tiếng Anh Tên tiếng Việt QP Quantization parameters Tham số lượng tử hóa QS Quality Score Chất lượng RMSE Root Mean Square Error Căn bậc hai của mức trung bình của các sai số bình phương RNN Recurrent Neural Network Mạng Nơ-ron Hồi quy RTCP Real-Time Control Protocol Giao thức iều khiển thời gian thực SARA Segment-aware Rate Adaptation Thích ứng tốc ộ cảm nhận phân oạn SVC Scalable video encoding Mã hóa video có thể mở rộng SVSH Scalable Viewport Streaming Phát khung nhìn mở rộng HTTP/2 trên luồng HTTP/2 S-VAS Smooth VAS Làm mượt truyền phát thích ứng khung nhìn TCP Transmission Control Protocol Giao thức iều khiển truyền vận TLGA Tile Layering-based Gaze Adaptation Thích ứng dựa trên tile theo gốc nhìn UDP User Datagram Protocol Giao thức truyền thông UDP UQI Universal Quality Index Chß số chất lượng hình ảnh toàn cầu ODP Open Distributed Processing Xử lý phân tán mở URL Uniform Resource Locator ịa chß web VAS Viewport Adaptive Streaming Truyền phát thích ứng theo khung nhìn VBR Variable Bit Rate Tốc ộ bit biến ổi VR Virtual Reality Thực tế Ảo VoD Video on Demand Video theo yêu cầu VQM Video Quality Metric Chß số chất lượng video VQM WZUQI Weighted-zone UQI Chß số ánh giá QoE ánh trọng số theo vùng viii DANH MỤC CÁC KÝ HIỆU TOÁN HỌC Ký hiệu Tên ký hiệu Ý nghĩa toán học α Giá trị alpha Giá trị biến alpha β Giá trị beta Giá trị biến beta Bk Giá trị bộ ệm Kích thước bộ ệm tại thời iểm phân oạn γ Giá trị gamma Giá trị biến gamma σx Giá trị biến sigma x Giá trị mất mát tương quan σy Giá trị biến sigma y Sự biến dạng ộ sáng σxy Giá trị biến sigma xy Sự biến dạng tương quan x̄ Giá trị trung bình của x̄ Tổng trung bình của {xi | i = 1,. , N} với N là số lượng ảnh ȳ Giá trị trung bình của ȳ Tổng trung bình của {yi | i = 1,. , N} với N là số lượng ảnh N Giá trị N Số lượng ảnh M Giá trị M Số lượng pixel của mỗi hình ảnh M Giá trị M Số lượng trung bình pixel của toàn bộ hình ảnh G Giá trị G Giá trị vùng viewport bị méo e Cơ số e Cơ số của logarit tự nhiên e V Giá trị V Giá trị viewport ban ầu T Tile (kích thước 8 × 8) Tile có kích thước 8 × 8, với mỗi tile có ộ phân giải là 480 × 240 Ts Giá trị biến T s Giá trị mẫu thông lượng Ts Q Phiên Giá trị tham số lượng tử (QP) lần lượt là 24, 28, 32, 36, 40, 44 và 48 (7 phiên) tsegment Giá trị biến ts egment Thời gian tải xuống phân oạn k ix Ký hiệu Tên ký hiệu Ý nghĩa toán học smoothk Giá trị biến smoothk Chất lượng mượt mà giữa các phân oạn liên kề Rk và Rk+1 rebu f f erk Biến rebu f f erk Thời gian re-buffering tại phân oạn k Zi Vùng Zone Giá trị của trọng số vùng (i càng nhỏ thì trong số càng tốt) wk Trọng số tile của vùng Zone Giá trị trong số của tile tương ứng của Vùng Zone (k chạy từ 1 ến 5 tương ứng) xi Giá trị biến xi Bức ảnh ầu vào thứ i yi Giá trị biến yi Bức ảnh bị méo thứ i MOS Thang iểm MOS iểm ý kiến trung bình MOS Thang iểm MOS trung bình iểm ý kiến trung bình của toàn bộ [i MOS Thang iểm dự oán MOS Giá trị dự oán MOS của bức ảnh i MOSi Thang iểm MOS thứ i Giá trị MOS thực tế của ảnh i x DANH MỤC HÌNH VẼ Hình 1 Ứng dụng thực tế ảo vào cuộc sống. 1 Hình 2 Mô hình hệ thống truyền dẫn video 360 ộ trực tuyến .1 Hệ thống truyền phát thích nghi Viewport .2 Cấu trúc tổng thể và nhân tố ảnh hưởng ến QoE .3 Hành vi của con người dùng chuyển ộng theo thời gian .4 Phép chiếu ERP trong VR .5 Phép chiếu CMP trong VR .6 Phép chiếu hình chóp trong VR .7 Các thách thức trong truyền dẫn thích nghi video 360 ộ .8 FoV chuyển ộng theo hành vi người dùng theo thời gian t .9 Hệ thống VAS .10 Hệ thống Phát Video 360 ộ Thích Nghi .1 Mô hình ề xuất nhằm nghiên cứu tác ộng của các phân vùng liên quan ến võng mạc .2 Phân chia các vùng trên võng mạc người .3 Một số mẫu viewport ược trích xuất từ 4 video thí nghiệm .4 MOS ược dự oán so với MOS ược ánh giá chủ quan .5 Khoảng tin cậy 95% của 240 giá trị MOS.6 Kết quả ánh giá giữa giải pháp ề xuất với các giải pháp khác thông qua các chß số ánh giá chất lượng khách quan .1 Mô hình GLVP so sánh tốc ộ quét viewport trong H giây vừa qua ể dự oán tốc ộ quét viewport trong F giây tương lai.2 Viewport của người dùng tại một thời iểm t .3 Phân oạn dự báo viewport .4 Mô hình GLVP dự oán viewport .5 Hoạt ộng của cổng khởi tạo .6 Vị trí viewport số 1 và 2 theo thời gian .7 Hiệu năng của các giải pháp ược xem xét ở mỗi ghi vết chuyển ộng ban ầu ối với vị trí ở chế ộ xem số 1 .8 Hiệu năng của các giải pháp ược xem xét ở mỗi ghi vết chuyển ộng ban ầu ối với vị trí viewport số 2 .9 Chuyển ộng ầu và mắt .10 Mô hình LSTM ể dự oán viewport.11 Thời gian huấn luyện và ào tạo .1 Hệ thống phát trực tuyến thích nghi Viewport dựa trên tiles .2 Ghi vết chuyển ộng ầu .3 Ghi vết băng thông mạng .4 Giảm tối a bộ ệm của 4 giải pháp ược tham chiếu .5 Kích thước bộ ệm trung bình của các giải pháp ược thử nghiệm 76 Hình 4.6 Tốc ộ bít viewport (kbps) của 4 phương thức với ghi vết băng thông số 1 và chuyển ộng ầu số 1.7 Tốc ộ bít viewport (kbps) của 4 phương thức với ghi vết băng thông số 1 và chuyển ộng ầu số 2.8 Tốc ộ bít viewport (kbps) của 4 phương thức dưới ghi vết băng thông số 2 và chuyển ộng ầu số 1.9 Tốc ộ bít viewport (kbps) của 4 phương thức dưới ghi vết băng thông số 2 và chuyển ộng ầu số 2.10 Tốc ộ bít trung bình (kbps) của video 360 ộ .11 Kiến trúc hệ thống ề xuất .12 Sơ ồ phân phối các phân oạn trong bộ ệm máy khách .13 Phân chia vùng cho bộ ệm .14 Lưu ồ quy trình cập nhật tile thuộc viewport dự oán .15 Lưu ồ quy trình kết thúc các tile ến muộn .16 Các ideo 360 ộ sử dụng trong thí nghiệm .17 Chuyển ộng ầu và mắt của bốn video sử dụng trong thử nghiệm 95 xii Hình 4.18 Ghi vết băng thông LTE từ 7Train 1, QTrain và Simple .19 Tốc ộ trung bình của Viewport (Kbps) và Mức ệm của hai nội dung video Turtle và Sofa.20 Tốc ộ trung bình của Viewport (Kbps) và Mức ệm của hai nội dung video Bar và Porto Riverside .21 Tốc ộ trung bình của Viewport (Kbps) và mức bộ ệm của hai video Turtle và Sofa .22 Tốc ộ trung bình của Viewport (Kbps) và mức bộ ệm của hai video Porto Riverside và Bar.
100 xiii DANH MỤC BẢNG BIỂU Bảng 1.1 Ví dụ về các thông số chính QoE .