Chương 1 trình bày tổng quan các nghiên cứu có liên quan về nén video, các phương pháp đánh giá chất lượng hình ảnh và vai trò của đánh giá chất lượng trong việc nâng cao hiệu năng nén video. Đây là cơ sở lý thuyết cho việc xây dựng các bộ dữ liệu và các nghiên cứu tiếp theo. Ngoài ra, nội dung chương này cũng trình bày các bộ dữ liệu đánh giá chất lượng hình ảnh chủ quan phổ biến hiện nay. 20 Trong chương 2, luận án đề xuất xây dựng hai bộ dữ liệu đánh giá chất lượng hình ảnh chủ quan: cơ sở thực hiện, phương pháp, cách tiến hành và xử lý kết quả thực nghiệm.
Đồng thời luận án đề xuất phương pháp đánh giá chất lượng ảnh khách quan có tham chiếu sử dụng CNN được thử nghiệm so sánh với các phương pháp khác trên các bộ dữ liệu đánh giá chất lượng hình ảnh đã công bố. Chương 3 của luận án đề xuất các phương pháp ước lượng sự suy giảm chất lượng hình ảnh khi nén bằng trích chọn đặc trưng cơ bản và trích chọn đặc trưng bằng CNN. Các phương pháp này áp dụng vào các bộ nén video nhằm nâng cao hiệu năng nén. TỔNG QUAN ĐÁNH GIÁ CHẤT LƯỢNG HÌNH ẢNH TRONG NÉN VIDEO 1.
Một số khái niệm cơ bản về video 1. Video Thuật ngữ video dùng để chỉ nguồn thông tin hình ảnh trực quan, bao gồm một chuỗi liên tiếp các một khung hình (frame) theo thời gian [20]. Trong khung hình có thể có nhiều đối tượng, mỗi đối tượng đều có hình dạng, đặc trưng, kết cấu, độ sâu và độ sáng riêng. Các đặc trưng thị giác như màu sắc, độ sáng và độ tương phản của video tự nhiên thay đổi liên tục trên từng khung hình cũng như trong các khung hình nối tiếp nhau.
Đặc điểm điển hình của một video bao gồm các đặc trưng không gian và đặc trưng thời gian. Biểu diễn một video ở dạng kỹ thuật số là việc lấy mẫu một cảnh hình ảnh thực tế theo không gian (thường là trên một lưới hình chữ nhật trong mặt phẳng ảnh video) và thời gian. Mỗi mẫu không - thời gian (điểm ảnh) được biểu diễn như là một số hoặc tập hợp các số mô tả độ sáng và màu sắc của mẫu. Không gian màu Không gian màu là một mô hình toán học dùng để mô tả các màu sắc trong thực tế được biểu diễn dưới dạng số học [20].
Trên thực tế có rất nhiều không gian màu khác nhau được mô hình tùy theo mục đích sử dụng khác nhau. Trong biểu diễn hình ảnh video, 2 mô hình không gian màu RGB và YUV thường được sử dụng. Không gian màu RGB (Red - Green - Blue) là không gian màu rất phổ biến được dùng trong đồ họa máy tính và nhiều thiết bị kỹ thuật số khác. Không gian màu RGB là sự kết hợp của 3 màu sắc cơ bản: màu đỏ (R, Red), xanh lục (G, Green) và xanh lơ (B, Blue) để mô tả tất cả màu sắc khác.
Nếu như một ảnh số được mã hóa bằng 24 bit, trong đó 8 bit cho kênh R, 8 bit cho kênh G, 8 bit cho kênh B, thì mỗi kênh sẽ nhận giá trị từ 0-255. Với mỗi giá trị khác nhau của các kênh màu kết hợp 22 với nhau tạo ra một màu khác nhau, như vậy có tổng cộng 256 X 256 X 256=1. Không gian màu YUV là một không gian màu được tạo bởi một thành phần độ sáng Y (luminance) cùng hai thành phần màu U và V (chrominance). Thực nghiệm cho thấy mắt người nhạy cảm với cường độ ánh sáng hơn nhiều so với màu sắc.
Mô hình màu YUV cho phép tách thông tin cường độ ánh sáng ra khỏi thông tin màu sắc. Mô hình màu YUV có thể thu được từ phép biến đổi tuyến tính từ không gian màu RGB như sau [20]: Y = krR + kgG + kbB, (1.2 V;0'5 'R - Y), (1-3> trong đó kr + k + kb = 1, kr = 0. Ảnh từ hệ màu RGB chuyển sang YUV thông qua phép nhân ma trận như sau [21]: Y ■ 0.100 _ _ B _ ở đây R, G, B được giả sử là nằm trong khoảng 0 đến 1, với 0 biểu diễn cường độ bé nhất còn 1 là lớn nhất. Trong quá trình nén và giải nén, các bộ nén video thường dùng không gian màu YUV.
Nguyên nhân do hiệu năng nén có thể cải thiện bằng cách nén thành phần Y với độ phân giải cao và nén thành phần UV với độ phân giải thấp hơn mà không ảnh hưởng nhiều tới chất lượng ảnh. Khung hình video Khung hình, trong ngữ cảnh video, là một hình ảnh tĩnh, khi được phát theo trình tự với các khung hình khác, sẽ tạo ra hình ảnh chuyển động. Độ phân giải khung hình thường được tính bằng số lượng điểm ảnh theo hàng và theo cột của khung hình. Độ phân giải thường thấy của video là 640 X 480 (VGA), 1024 X 768(XGA), 1280 X 720(HD), 1920 X1080 (Full HD), gần đây là 2560 X1440 (2K-QHD), 4096 X 2160(4K-UHD) [22].
Tốc độ khung hình (frame rate) là số lượng khung hình được hiển thị trong một khoảng thời gian (thường được tính bằng giây) - frame per second (fps). Tốc độ này phụ thuộc vào từng chuẩn video sử dụng, ở Bắc Mỹ và Nhật Bản thường sử dụng 30 hình/ giây làm chuẩn cho video phát sóng quảng bá, 24 hình/giây cho các chuẩn video gia dụng, ở các nước khác thì 25 hình/giây là tiêu chuẩn [23]. Kích thước khung hình (frame size) là tập hợp của các điểm ảnh theo chiều dọc và chiều ngang của khung hình. Tỷ lệ lấy mẫu cho biết mức độ lấy mẫu giữa các thành phần màu của video.
Lấy mẫu là quá trình chuyển đổi một tín hiệu thành một chuỗi số. Trong kỹ thuật nén video, tỷ lệ lấy mẫu rất quan trọng, nó ảnh hưởng trực tiếp tới thuật toán nén. Một số kiểu lấy mẫu phổ biến trong nén video định dạng YUV [21]: • Lấy mẫu 4:4:4 có nghĩa là cả ba thành phần (Y, U, V) có cùng độ phân giải. Số 4 có nghĩa là mỗi mẫu có 4 thành phần Y, U, V.
• Lấy mẫu 4:2:2 có nghĩa là các thành phần màu (U, V) có cùng độ phân giải và bằng một nửa độ phân giải của thành phần độ sáng (Y). Số 4 nghĩa là mỗi mẫu có 4 thành phần Y và có 2 thành phần U, V. • Lấy mẫu 4:2:0 có nghĩa là các thành phần màu (U, V) có độ phân giải bằng một phần tư độ phân giải của thành phần độ sáng (Y). Nén video và hiệu năng nén video 1.
Giới thiệu về nén video Với sự phát triển mạnh mẽ của công nghệ thông tin như hiện nay, nhu cầu kết nối mạng internet (qua mạng dây và không dây) ngày càng nâng cao. Các dịch vụ và ứng dụng âm thanh, hình ảnh và video truyền trên mạng ngày càng tăng về số lượng và chất lượng. Điều này cho thấy tầm quan trọng của việc tối ưu hóa chất lượng dữ liệu đa phương tiện khi được truyền đi trên mạng, trong đó nén dữ liệu video là một trong những việc làm hết sức cần thiết. Tỷ lệ bit cần thiết để truyền dữ liệu video thô rất lớn đặc biệt là đối với tiêu chuẩn Ultra High Definition (UHDTV) mới [22].
Ở tốc độ 120 khung hình mỗi giây với tỷ lệ lấy mẫu 10 bit, tỷ lệ bit tăng lên 60 Gbps cho một luồng video không nén. Giá trị này còn tăng hơn nữa nếu các định dạng 3-D hoặc multiview được sử dụng. Do đó, dữ liệu video độ phân giải lớn cần thiết được nén lại để lưu trữ và truyền thông. Việc nén dữ liệu video đem lại hai ưu điểm chính như sau: 1.
Nâng cao khả năng sử dụng video số hóa trong các môi trường trao đổi và lưu trữ. Ví dụ, với tốc độ đường truyền internet như hiện nay vẫn không đủ để hỗ trợ thực hiện dữ liệu video không nén theo thời gian thực (thậm chí là trong cả tường hợp video ở tỷ lệ và kích thước khung hình thấp) và trong khi đó một đĩa DVD chỉ có thể lưu được một đoạn video thô (chưa nén) có độ dài vài phút với chất lượng hình ảnh, độ phân giải của màn hình hiển thị. Nén video làm nâng cao hiệu quả của việc sử dụng các tài nguyên lưu trữ và truyền video. Nếu có một kênh truyền tốc độ cao, có thể truyền video nén với độ phân giải và chất lượng cao hoặc có thể tùy chọn truyền video đa kênh thay vì đơn kênh.
Với các ưu điểm trong lưu trữ và truyền dữ liệu, nén dữ liệu video được coi là một thành phần quan trọng trong hầu hết tất các các ứng dụng và dịch vụ đa phương tiện hiện nay và trong những năm tiếp theo. Mô hình nén video tổng quát Bộ nén video nén một chuỗi video từ đầu vào thành dạng đã được nén và giải nén thành một video đầu ra. Video sau khi giải nén giống hệt video gốc thì quá trình nén được gọi là nén không mất mát thông tin. Nếu video sau khi giải nén khác với video gốc thì quá trình nén được gọi là nén mất mát thông tin.
Một bộ nén video bao gồm 3 phần chính: mô hình thời gian, mô hình không gian và bộ mã hóa entropy như Hình 1. Mô hình thời gian giảm dư thừa thời gian bằng cách khai thác sự tương đồng giữa các khung cạnh nhau, thường sử dụng khung hình trước khung hiện tại. Đầu vào của nén thời gian là tín hiệu video nguồn. Đầu ra của mô hình thời gian là phần dư (residual) của khung (là phần trừ đi của khung trước và khung hiện tại) và tập các mô hình tham số, tập vector chuyển động (vector motion) mô tả cách bù chuyển động.
Video gốc Dữ liệu mã hoá Hình 1. Sơ đồ khối của một bộ nén video tổng quát Đầu vào của mô hình không gian là khung dư (residual). Mô hình nén giảm dư thừa không gian bằng cách sử dụng sự tương đồng giữa các khối (block) trong cùng một khung hình. Để giảm dư thừa không gian, bộ nén áp dụng chuyển đổi mẫu dư và lượng tử hóa kết quả.
Bộ chuyển đổi chuyển mẫu sang miền giá trị khác được biểu diễn bằng hệ số chuyển đổi. Các hệ số được lượng tử hóa loại bỏ đáng kể các giá trị và đưa ra biểu diễn nhỏ gọn của khung dư. Đầu ra của mô hình không gian là một tập các hệ số chuyển đổi lượng tử. 26 Đầu ra của mô hình không gian (vector chuyển động) và mô hình thời gian (hệ số) được nén bởi bộ mã hóa entropy.
Loại bỏ các dư thừa tĩnh trong dữ liệu và đưa ra dòng bit hoặc file có thể truyền hoặc lưu trữ. Chuỗi nén bao gồm tham số vector chuyển động, hệ số dư mã và thông tin tiêu đề.