Luận văn thạc sĩ: Xây dựng lõi IP H264 Video Encoder cho ứng dụng nhúng sử dụng FPGA

Luận văn thạc sĩ kỹ thuật phân tích máy tính xây dựng lõi ip h264 video encoder cho các ứng dụng nhúng sử dụng soc trên nền tảng fpga, đánh giá thực trạng, chỉ ra hạn chế, đề xuất

• Tác giả: Trần Nguyễn Thanh Lân
• Người hướng dẫn: PGS. Phạm Quốc Cường
• Trường học: Đại học Bách Khoa
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Xây Dựng Lõi IP H264 Video Encoder Cho Ứng Dụng Nhúng Trên FPGA
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2021
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT
• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI
• 1.1. Đặt vấn đề
• 1.2. Thiết lập mục tiêu
• 1.3. Kết quả đạt được
• 1.4. Cấu trúc của luận văn
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Tổng quan về Digital Video
• 2.2. Frames và Fields
• 2.3. Định dạng và chất lượng của video
• 2.4. Profiles và Levels
• 2.5. Các công đoạn của bộ mã hóa H.
• 2.5.1. Công đoạn dự đoán
• 2.5.2. Biến đổi và lượng tử hóa
• 2.5.3. Bộ lọc tách khối
• 2.5.4. Quy trình mã hóa
• 3. CHƯƠNG 3: CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN
• 3.1. Giải pháp cho doanh nghiệp trên thị trường
• 3.1.1. Lõi IP phát triển bởi Atria Logic Inc.
• 3.2. Các bài báo khoa học
• 3.2.1. Xây dựng bộ giải mã CAVLC trên FPGA
• 3.2.2. Hiện thực quá trình intraprediction cho HEVC trên FPGA
• 3.3. Xây dựng bộ lọc nội suy cho khối Intraprediction trên FPGA
• 4. CHƯƠNG 4: PHƯƠNG PHÁP GIẢI QUYẾT VẤN ĐỀ
• 4.1. 264 đã được chứng nhận
• 4.2. Phương thức tiếp cận
• 4.2.1. Phân tích các thành phần mã nguồn
• 4.2.2. Xác định những vùng mã nguồn tiêu tốn hiệu năng tính toán
• 4.2.3. Xây dựng ứng dụng trên bộ phần mềm của Xilinx
• 5. CHƯƠNG 5: KẾT QUẢ THỰC NGHIỆM
• 5.1. Tiến hành thực nghiệm và đánh giá kết quả
• 5.2. Tổng hợp các khối IP thành hệ thống hoàn chỉnh
• 5.2.1. Kết quả đạt được
• 5.2.2. Hướng nghiên cứu tiếp theo
• TÀI LIỆU THAM KHẢO
• BẢNG ĐỐI CHIẾU TỪ VIẾT TẮT
• LÝ LỊCH TRÍCH NGANG
• DANH SÁCH HÌNH VẼ
• DANH SÁCH BẢNG

Tóm tắt

I. Giới thiệu đề tài

Đề tài "Xây dựng lõi IP H264 Video Encoder cho ứng dụng nhúng trên FPGA" tập trung vào việc phát triển một bộ mã hóa video H.264, một trong những chuẩn mã hóa phổ biến nhất hiện nay. H.264 được sử dụng rộng rãi trong các ứng dụng như streaming video, truyền hình HD và các dịch vụ video trực tuyến. Nghiên cứu này nhằm mục đích cải thiện hiệu suất mã hóa video thông qua việc sử dụng công nghệ FPGA, cho phép thực hiện các ứng dụng nhúng với yêu cầu về độ trễ thấp và hiệu suất cao. Việc tích hợp bộ mã hóa H.264 trên nền tảng FPGA không chỉ giúp tối ưu hóa tốc độ xử lý mà còn giảm thiểu năng lượng tiêu thụ, điều này rất quan trọng trong các ứng dụng nhúng. Bằng cách áp dụng phương pháp lập trình cao cấp (HLS) để thiết kế phần cứng, nghiên cứu này đã chỉ ra rằng việc sử dụng FPGA cho mã hóa video có thể mang lại những lợi ích vượt trội về mặt hiệu suất và khả năng tương thích.

II. Tổng quan về H264 Video Encoding

H264 là một chuẩn mã hóa video nổi bật, được phát triển bởi ITU-T VCEG và MPEG. Chuẩn này cho phép nén video với tỷ lệ cao mà vẫn giữ được chất lượng tốt, điều này rất quan trọng cho các ứng dụng truyền tải video qua mạng. Các công đoạn chính của bộ mã hóa H.264 bao gồm dự đoán, biến đổi, lượng tử hóa và lọc. Những công đoạn này yêu cầu tính toán phức tạp, làm cho việc tối ưu hóa hiệu suất trở thành một thách thức lớn. Việc sử dụng FPGA trong việc thực hiện mã hóa H.264 cho phép tận dụng khả năng xử lý song song, từ đó cải thiện tốc độ mã hóa và giảm độ trễ. Điều này đặc biệt quan trọng trong các ứng dụng đòi hỏi xử lý video thời gian thực, như truyền hình trực tiếp và hội nghị video.

III. FPGA Design và IP Core Development

Thiết kế FPGA cho bộ mã hóa H.264 bao gồm việc phát triển lõi IP mềm, cho phép tùy biến và tối ưu hóa hiệu suất. Việc sử dụng ngôn ngữ lập trình VHDL/Verilog trong thiết kế giúp tạo ra các khối mã hóa linh hoạt và hiệu quả. Nghiên cứu đã chỉ ra rằng việc sử dụng High-Level Synthesis (HLS) để chuyển đổi mã nguồn C/C++ thành HDL giúp giảm bớt độ phức tạp trong quá trình thiết kế. Điều này không chỉ giúp rút ngắn thời gian phát triển mà còn nâng cao khả năng duy trì mã nguồn. Việc phát triển lõi IP cho H.264 trên nền tảng FPGA còn cho phép tích hợp với các thành phần khác trong hệ thống, tạo ra một giải pháp hoàn chỉnh cho các ứng dụng nhúng.

IV. Kết quả thực nghiệm và đánh giá

Kết quả thực nghiệm cho thấy bộ mã hóa H.264 được phát triển trên FPGA đạt được hiệu suất cao hơn so với các giải pháp truyền thống. Các kỹ thuật tối ưu hóa đã được áp dụng để cải thiện tốc độ xử lý và giảm thiểu độ trễ trong quá trình mã hóa. Nghiên cứu cũng so sánh hiệu suất của bộ mã hóa mới với các giải pháp hiện có, cho thấy rõ sự vượt trội về tốc độ và khả năng xử lý. Điều này chứng tỏ rằng việc sử dụng FPGA cho mã hóa video không chỉ khả thi mà còn mang lại lợi ích rõ rệt trong các ứng dụng thực tế, đặc biệt là trong lĩnh vực truyền tải video thời gian thực.

V. Hướng nghiên cứu tiếp theo

Nghiên cứu này mở ra nhiều hướng đi mới cho việc phát triển các giải pháp mã hóa video hiệu quả hơn trên nền tảng FPGA. Các nghiên cứu tiếp theo có thể tập trung vào việc tối ưu hóa thêm các thành phần của bộ mã hóa H.264, cải thiện khả năng tương thích với các chuẩn mã hóa video mới và mở rộng ứng dụng của công nghệ FPGA trong các lĩnh vực khác như IoT và hệ thống nhúng. Việc phát triển các lõi IP tùy chỉnh cho các ứng dụng cụ thể cũng là một hướng nghiên cứu tiềm năng, giúp nâng cao hiệu suất và tính linh hoạt trong việc xử lý video.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển mạnh mẽ của công nghệ số và nhu cầu sử dụng video ngày càng tăng, chuẩn mã hóa video H.264/AVC đã trở thành một trong những chuẩn phổ biến nhất hiện nay. Theo ước tính, video độ phân giải Full HD 1080p và 4K sau khi nén bằng H.264 có dung lượng giảm đáng kể, giúp tiết kiệm băng thông và chi phí lưu trữ. Tuy nhiên, việc mã hóa video H.264 đòi hỏi năng lực xử lý tính toán cao, đặc biệt trong các ứng dụng nhúng và hệ thống IoT, nơi yêu cầu thời gian thực và hiệu năng cao. Mục tiêu nghiên cứu của luận văn là xây dựng lõi IP H.264 video encoder trên nền tảng FPGA Ultra96-V2 sử dụng phương pháp High-Level Synthesis (HLS) nhằm tăng tốc độ xử lý và tối ưu hiệu năng cho các ứng dụng nhúng sử dụng SoC. Nghiên cứu tập trung vào việc phân tích mã nguồn mở x264, xác định các thành phần tiêu tốn hiệu năng, và áp dụng các kỹ thuật tối ưu hóa trên FPGA. Phạm vi nghiên cứu được thực hiện tại Trường Đại học Bách Khoa, Đại học Quốc gia TP. Hồ Chí Minh trong năm 2021. Kết quả nghiên cứu có ý nghĩa quan trọng trong việc phát triển các giải pháp mã hóa video hiệu quả, tiết kiệm chi phí, đồng thời mở rộng khả năng ứng dụng của chuẩn H.264 trong các thiết bị nhúng và IoT.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình nghiên cứu sau:

• Chuẩn mã hóa video H.264/AVC: Đây là chuẩn mã hóa video tiên tiến, được đồng phát triển bởi ITU-T VCEG và MPEG, với các thành phần chính như dự đoán nội ảnh (intraprediction), dự đoán chuyển động (interprediction), biến đổi số nguyên 4x4, lượng tử hóa, và mã hóa hỗn loạn (entropy coding). Chuẩn này hỗ trợ nhiều profiles và levels để phù hợp với các ứng dụng khác nhau, từ video độ nét tiêu chuẩn đến HD và 4K.

• High-Level Synthesis (HLS): Phương pháp sử dụng ngôn ngữ lập trình cấp cao như C/C++ để mô tả phần cứng, từ đó tự động sinh ra mã HDL (VHDL/Verilog). HLS giúp giảm thời gian phát triển, tăng tính dễ hiểu và khả năng tối ưu hóa thiết kế phần cứng trên FPGA.

• Không gian màu Y:Cr:Cb: Được sử dụng để biểu diễn video, tách biệt thành phần độ chói (luminance) và màu sắc (chrominance), giúp giảm dung lượng dữ liệu mà không ảnh hưởng đáng kể đến chất lượng hình ảnh.

• Các khái niệm chính: Macroblock, motion vector, deblocking filter, entropy coding (CAVLC, CABAC), progressive và interlaced video frames.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp phân tích và phát triển dựa trên mã nguồn mở x264, một thư viện mã hóa H.264 phổ biến trên Linux. Cỡ mẫu nghiên cứu là toàn bộ các thành phần mã nguồn của x264 liên quan đến quá trình mã hóa video. Phương pháp chọn mẫu là lựa chọn các đoạn mã tiêu tốn nhiều tài nguyên tính toán để tối ưu.

Quá trình nghiên cứu gồm các bước:

1. Phân tích mã nguồn: Xác định các hàm và module tiêu tốn hiệu năng cao trong quá trình mã hóa.

2. Thiết kế và hiện thực hóa bằng HLS: Sử dụng bộ công cụ Vitis HLS của Xilinx để chuyển đổi các đoạn mã C/C++ sang phần cứng HDL, tối ưu hóa vòng lặp, bộ nhớ và truy cập dữ liệu.

3. Tích hợp trên FPGA Ultra96-V2: Kết hợp các khối IP được tăng tốc với bộ xử lý ARM Cortex-A53 trên SoC, chạy hệ điều hành Linux để kiểm thử và đánh giá hiệu năng.

4. Đánh giá kết quả: So sánh tốc độ xử lý và hiệu năng của các thành phần được tối ưu với phiên bản gốc, sử dụng các chỉ số như thời gian thực thi hàm, tốc độ mã hóa khung hình.

Timeline nghiên cứu kéo dài từ tháng 2 đến tháng 6 năm 2021, với các giai đoạn phân tích, thiết kế, hiện thực và thử nghiệm.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Tăng tốc đáng kể các hàm mã hóa chính: Các hàm tiêu tốn nhiều thời gian như pixel_avg_16x16, pixel_sad_16x16, pixel_ssd_16x16 và quant_4x4x4 được tối ưu bằng HLS, giảm thời gian thực thi trung bình từ 30% đến 50% so với phiên bản phần mềm gốc.

2. Hiệu năng tổng thể của bộ mã hóa được cải thiện: Khi tích hợp các khối IP tăng tốc trên FPGA, tốc độ mã hóa toàn hệ thống tăng khoảng 40% so với chạy thuần phần mềm trên CPU ARM Cortex-A53.

3. Tiết kiệm năng lượng và giảm độ trễ: Việc sử dụng FPGA để xử lý các khối tính toán nặng giúp giảm tải cho CPU, từ đó giảm mức tiêu thụ năng lượng và độ trễ trong quá trình mã hóa video.

4. Khả năng tương thích và linh hoạt cao: Lõi IP được xây dựng dựa trên mã nguồn mở x264, dễ dàng tùy biến và tích hợp vào các ứng dụng nhúng khác nhau, đồng thời hỗ trợ chạy trên hệ điều hành Linux.

Thảo luận kết quả

Nguyên nhân của sự cải thiện hiệu năng đến từ việc tận dụng khả năng xử lý song song và tối ưu bộ nhớ trên FPGA thông qua HLS, giúp giảm đáng kể thời gian thực thi các hàm tính toán phức tạp trong quá trình mã hóa. So với các nghiên cứu trước đây tập trung vào việc hiện thực hóa từng thành phần riêng lẻ, nghiên cứu này đã kết hợp thành công các khối IP tăng tốc thành một hệ thống hoàn chỉnh, chạy trên nền tảng Ultra96-V2.

Kết quả cũng phù hợp với các báo cáo của ngành về hiệu quả của HLS trong việc rút ngắn thời gian phát triển và tăng hiệu năng phần cứng. Việc sử dụng mã nguồn mở x264 làm nền tảng giúp giảm chi phí phát triển so với các giải pháp IP core thương mại đắt đỏ, đồng thời tăng tính linh hoạt cho các ứng dụng nhúng.

Dữ liệu có thể được trình bày qua biểu đồ so sánh thời gian thực thi các hàm trước và sau tối ưu, bảng tổng hợp tốc độ mã hóa khung hình, và biểu đồ mức tiêu thụ năng lượng khi chạy trên FPGA và CPU.

Đề xuất và khuyến nghị

1. Tiếp tục mở rộng tối ưu hóa các thành phần còn lại của bộ mã hóa: Áp dụng kỹ thuật HLS cho các khối như entropy coding và deblocking filter nhằm nâng cao hơn nữa hiệu năng tổng thể. Thời gian thực hiện dự kiến 6-12 tháng, do nhóm nghiên cứu FPGA và phần mềm phối hợp thực hiện.

2. Phát triển driver và giao diện phần mềm hoàn chỉnh cho hệ điều hành Linux: Đảm bảo khả năng tích hợp dễ dàng và ổn định trong các ứng dụng nhúng. Mục tiêu cải thiện trải nghiệm người dùng và giảm thời gian triển khai, thực hiện trong vòng 3-6 tháng bởi nhóm phát triển phần mềm.

3. Nghiên cứu áp dụng lõi IP vào các thiết bị IoT và camera giám sát: Tập trung vào các ứng dụng yêu cầu thời gian thực và tiết kiệm năng lượng, nhằm khai thác tối đa lợi thế của FPGA. Thời gian thử nghiệm và đánh giá khoảng 6 tháng, phối hợp với các đối tác công nghiệp.

4. Xây dựng bộ công cụ hỗ trợ tùy biến và cấu hình lõi IP: Giúp người dùng dễ dàng điều chỉnh các tham số mã hóa phù hợp với từng ứng dụng cụ thể, nâng cao tính linh hoạt và hiệu quả sử dụng. Dự kiến phát triển trong 4-6 tháng, do nhóm nghiên cứu phần mềm đảm nhiệm.

Đối tượng nên tham khảo luận văn

1. Nhà phát triển phần cứng FPGA và SoC: Có thể áp dụng các kỹ thuật HLS và kiến thức về mã hóa video để thiết kế các lõi IP hiệu năng cao, giảm thời gian phát triển và chi phí sản xuất.

2. Kỹ sư phần mềm nhúng và hệ điều hành Linux: Tham khảo cách tích hợp và tối ưu hóa các module mã hóa video trên nền tảng nhúng, nâng cao hiệu quả xử lý và tiết kiệm tài nguyên hệ thống.

3. Doanh nghiệp sản xuất thiết bị IoT và camera giám sát: Tận dụng giải pháp lõi IP mềm mã nguồn mở để phát triển sản phẩm với chi phí thấp, đồng thời đáp ứng yêu cầu về chất lượng video và thời gian thực.

4. Nhà nghiên cứu và sinh viên ngành Khoa học Máy tính, Kỹ thuật Điện tử: Nắm bắt kiến thức chuyên sâu về chuẩn mã hóa H.264, phương pháp HLS và ứng dụng FPGA trong xử lý video, phục vụ cho các đề tài nghiên cứu và phát triển công nghệ mới.

Câu hỏi thường gặp

1. Lõi IP H.264 trên FPGA có ưu điểm gì so với phần mềm thuần túy?
   Lõi IP trên FPGA tận dụng khả năng xử lý song song và tối ưu bộ nhớ, giúp tăng tốc độ mã hóa từ 30-50% so với phần mềm chạy trên CPU, đồng thời giảm tiêu thụ năng lượng và độ trễ trong các ứng dụng thời gian thực.

2. Tại sao sử dụng High-Level Synthesis (HLS) thay vì ngôn ngữ HDL truyền thống?
   HLS cho phép mô tả phần cứng bằng ngôn ngữ C/C++, giúp giảm thời gian phát triển, dễ dàng tối ưu và bảo trì mã nguồn, đồng thời tự động sinh ra mã HDL chuẩn, phù hợp với các thiết kế phức tạp như bộ mã hóa video.

3. Nghiên cứu có áp dụng được cho các chuẩn mã hóa video khác ngoài H.264 không?
   Phương pháp và kỹ thuật tối ưu hóa bằng HLS có thể được áp dụng cho các chuẩn khác như HEVC, tuy nhiên cần điều chỉnh phù hợp với đặc điểm thuật toán và yêu cầu của từng chuẩn.

4. Hiệu năng của lõi IP có thể cải thiện thêm được không?
   Có thể, bằng cách tối ưu thêm các thành phần như entropy coding, deblocking filter và áp dụng các kỹ thuật pipeline, unroll vòng lặp, cũng như nâng cấp phần cứng FPGA.

5. Lõi IP này có thể tích hợp vào các hệ thống nhúng hiện có dễ dàng không?
   Lõi IP được thiết kế để chạy trên nền tảng FPGA Ultra96-V2 với hệ điều hành Linux, có driver và giao diện phần mềm hỗ trợ, nên dễ dàng tích hợp vào các hệ thống nhúng và IoT có cấu hình tương tự.

Kết luận

• Đã xây dựng thành công lõi IP H.264 video encoder trên nền tảng FPGA Ultra96-V2 sử dụng phương pháp HLS, tăng tốc đáng kể hiệu năng mã hóa.
• Phân tích và tối ưu các thành phần mã nguồn x264 giúp giảm thời gian thực thi các hàm tính toán chính từ 30% đến 50%.
• Hệ thống tích hợp hoàn chỉnh chạy trên Linux, phù hợp cho các ứng dụng nhúng và IoT yêu cầu thời gian thực.
• Kết quả nghiên cứu mở ra hướng phát triển các giải pháp mã hóa video chi phí thấp, linh hoạt và hiệu quả cho thị trường Việt Nam và quốc tế.
• Đề xuất các hướng nghiên cứu tiếp theo bao gồm mở rộng tối ưu các thành phần còn lại, phát triển công cụ hỗ trợ và ứng dụng thực tế trong các thiết bị IoT.

Để tiếp tục phát triển và ứng dụng lõi IP này, các nhà nghiên cứu và doanh nghiệp có thể liên hệ để hợp tác nghiên cứu, thử nghiệm và thương mại hóa giải pháp.

Trích đoạn nội dung tài liệu

CHƯƠNG 1. GIỚI THIỆU ĐỀ TÀI • Chương 2 - Các nghiên cứu liên quan: bao gồm các công trình nghiên cứu liên quan đến việc hiện thực hóa các quy trình của bộ mã hóa H.264 trên nền tảng FPGA • Chương 4 - Phương pháp tiếp cận: phân tích đặc điểm của mã nguồ và trình bày cụ th ểphương pháp đề xuất và cách thức quy trình hoạt động • Chương 5 - Kết quả thực nghiệm: là kết quả đánh giá của phương pháp đề xuất và so sánh với các phương pháp khác • Chương 6 - Kết luận: nêu ra các kết luận đúc kết được trong quá trình nghiên cứu và hướng phát triển tiếp theo trong tương lai. 6 Chương 2 Cơ sở lý thuyết Chương này sẽ đi sâu và giải thích những khái niệm liên quan đến Digital video. Sau đó sẽ đưa những thông tin tổng quan về cách hoạt động của chuẩn mã hóa video H.264/AVC và đi sâu về các quy trình hoạt động của một bộ mã hóa H.1 Tổng quan về Digital Video Video số (digital video) là sự diễn tả một đoạn video tự nhiên trong thế giới thực thông qua lấy mẫu (sampling).

Thường thì những cảnh vật sẽ được lấy mẫu trong một khoảng thời gian nhất định để tạo thành một frame hoặc field ở chính thời điểm đó. Lấy mẫu thường được lặp lại sau một khoảng thời gian (thường là 1/25 hoặc 1/30 giây) để tạo thành một đoạn video chuyển động. Một đoạn video tự nhiên thường bao gồm nhiều đối tượng (object) khác nhau, từng đối tượng đó mang những đặc điểm riêng về hình dạng, độ sâu, cấu trúc riêng biệt. Màu sắc và độ tương phản của một đoạn video tự nhiên cũng liên tục thay đổi.

Cùng với sự thay đổi về ánh sáng, góc quay camera, những đặc điểm trên của một đoạn video tự nhiên ảnh hưởng rất lớn đến việc xử lý và mã hóa video.1 Frames và Fields Như đã đề cập ở trên, một đoạn video có thể được tạo bằng cách lấy mẫu một chuỗi những frames, gọi là progressive sampling, hoặc bằng những đoạn fields 7 CHƯƠNG 2. CƠ SỞ LÝ THUYẾT xen kẽ (interlaced), cách lấy mẫu này có tên interlaced sampling.1: Một frame cảnh được lấy mẫu (1) Trong một đoạn interlaced video, một nửa dữ liệu trong một frame sẽ được chứa trong một field. Một filed thường sẽ chứa toàn bộ những dòng lẻ (odd- numbered lines) hoặc dòng chẵn (even-numbered lines) của một frame hoàn chỉnh và vì vậy, một đoạn video interlaced sẽ chứa một chuỗi nhiều fields để tạo thành một video hoàn chỉnh. Ưu điểm của cách lấy mẫu video này là nó tạo ra số lượng fields gấp đôi số lượng frames trong cùng một đoạn thời gian, điều đó giúp cho các chuyển động trong video được lưu trữ trở nên mượt mà hơn.

CƠ SỞ LÝ THUYẾT Hình 2.2: Top field của cảnh được lấy mẫu (1) Hình 2.3: Bottom field của cảnh được lấy mẫu (1) Điều quan trọng cần chú ý rằng một đoạn digital video có thể được lưu trữ (capture) và trình chiếu (play back) bằng cả hai phương pháp progressive và interlaced. Vì thế, một video được lưu trữ bằng phương pháp interlaced phải được biến đổi (convert) nếu muốn trình chiếu theo phương pháp progressive.2 Color Spaces Tất cả các ứng dụng lúc hiển thị đều phụ thuộc vào màu sắc của video và vì thế, cần có một phương thức để thu giữ và hiển thị thông tin màu sắc của đoạn video. Những đặc tính của video bao gồm độ tương phản (brightness), độ chói sáng (luminance - luma) và màu sắc được thể hiện qua các những phương thức có tên là không gian màu (color spaces). RGB Đây là không gian màu được phổ biến rộng rãi nhất và là không gian màu phù hợp nhất để lưu trữ hình ảnh.

Trong không gian màu này, màu sắc của mỗi bức ảnh được thể hiện bằng ba con số tương ứng với thành phần Đỏ (Red), Xanh lá (Green) và Xanh da trời (Blue). Kết hợp ba thành phần này với nhau bằng các giá trị khác nhau có thể tạo ra bất cứ màu sắc nào. Đồng thời, một bức ảnh cũng có thể được tách xuất ra làm ba thành phần khác nhau. Thành phần Red chỉ bao gồm những mẫu có màu đỏ, tương tự với Blue và Green.4: Ảnh gốc ban đầu.

CƠ SỞ LÝ THUYẾT Hình 2.5: Ảnh sau khi được tách xuất thành 3 channel riêng biệt. Để lưu trữ được hình ảnh trong không gian màu RGB cần lọc ra các thành phần màu đỏ, xanh lá và xanh dương của cảnh vật là lưu trữ bằng các cảm biến riêng biệt. YCrCb Không gian màu này ra đời vì bản chất hệ thị giác của con người nhạy cảm với độ chói (luminance) hơn so với màu sắc. Thay vì lưu trữ thành phần màu sắc riêng biệt và ngang bằng như trong không gian màu RGB, hình ảnh có thể được thể hiện hiệu quả hơn bằng cách tách biệt độ chói ra khỏi thông tin màu sắc.

Y:Cr:Cb là một không gian màu nổi tiếng về khả năng tái hiện màu sắc một các hiệu quả, với Y là thành phần luminance và có thể tính bằng số bình quân gia quyền (weighted average) của nhân tố R, G và B: Y = kr R + kg G + kb B (2.1) với k là trọng số (weighted factors). Thông tin màu sắc có thể được biểu diễn bằng thành phần khác biệt màu sắc (chrominance - chroma), với mỗi thành phần chrominance được tính bằng hiệu 11 CHƯƠNG 2. CƠ SỞ LÝ THUYẾT của của R, G, B và luminance Y: Cr = R − Y Cb = B − Y (2.2) Cg = G − Y Chi tiết màu sắc hình ảnh của không gian màu này được cung cấp bởi Y, thành phần luma, và ba thành phần chroma Cr, Cb, Cg.6 dưới đây thể hiệu các thành phần luma chroma Y:Cr:Cb tương ứng của hình gốc 3.6: Ảnh sau khi được tách xuất thành 3 thành phần Y:Cr:Cb. Đến đây có thể thấy, cách thể hiện màu này có nhiều thông số hơn so với RGB vì sử dụng đến 4 thành phần thay vì chỉ 3 thành phần R, G và B.

Tuy nhiên, Cr + Cb + Cg là hằng số nên trong không gian màu Y:Cr:Cb chỉ các thành phần luma Y, red chroma Cr, blue chrom Cb được lưu trữ và truyền tải. Ưu điểm của không gian màu này là thành phần chroma có thể được hiển thị ở độ phân giải thấp hơn thành phần luma vì thị giác con người vốn nhạy cảm với luma hơn là màu sắc. Điều này mang ý nghĩa rất lớn vì có thể giảm lượng dữ liệu cần thiết cho 3 thành phần chroma mà vẫn không để lại ảnh hưởng gì đến chất lượng hình ảnh. Điều này cũng giúp cho việc mã hóa ảnh trong quá trình 12 CHƯƠNG 2.

CƠ SỞ LÝ THUYẾT xử lý video trở nên đơn giản hơn nhưng không hề mất đi độ hiệu quả. Một bức ảnh RGB sau khi được chụp có thể được convert sang không gian màu Y:Cr:Cb để giảm thiểu dung lượng và tiêu hao truyền tải (ví dụ trường hợp truyền qua mạng internet). Trước khi hiển thị, bức ảnh sẽ lại được convert về không gian màu RGB. Công thức chuyển đổi giữa hai không gian màu như sau (1): Y = 0.4) B = Y + 1772Cb Nên nhớ G có thể được tính bằng Y:Cr:Cb nên thành phần Cg không cần phải lưu trữ và truyền tải, điều này đồng nghĩa với việc đánh đổi dung lượng lưu trữ với yêu cầu tính toán, và tối ưu dung lượng vẫn được ưu tiên hơn trong các ứng dụng ngày nay.3 Định dạng và chất lượng của video Thuật toán mã hóa video của chuẩn H.264 có khả năng mã hóa nhiều loại định dạng video frame (video frame format) khác nhau.1 dưới đây liệt kê những định dạng video trung bình (Common Intermediate Format - CIF) phổ biến.

Xếp trên chất lượng trung bình và từng có độ phổ biến rộng rãi, nhất Format Luminance Resolution Bits per frame (4:2:0, 8 bits mỗi sample) Sub-QCIF 128 x 96 147456 Quarter CIF (QCIF) 176 x 144 304128 CIF 352 × 288 1216512 4CIF 704 x 576 4866048 Bảng 2.1: CIF Video Frame Format (1) 13 CHƯƠNG 2. CƠ SỞ LÝ THUYẾT là trong xử lí video cho thiết bị TV chính là định dạng tiêu chuẩn (Standard Definition) có tên ITU-Recommendation BT. Theo định dạng này, thành phần luminance được lấy mẫu với tần số 13.5MHz và thành phần chromi- nance là 6.75MHz để tạo thành tín hiệu 4:2:2 Y:Cr:Cb. Chất lượng cao hơn SD và hiện đang được sử dụng nhiều nhất trong các ứng dụng ngày nay đó chính là định dạng High Definition (HD).2 dưới dây liệt kê những định dạng phổ biến, dễ tương thích với các thiết bị và đặc điểm của chúng.

Format Progressive / Interlaced Horizontal Pixels Vertical Pixels Frames / Fields mỗi giây 720p Progressive 1280 720 25 frames 1080i Interlaced 1920 1080 50 fields 1080p Progressive 1920 1080 25 frames Bảng 2.2: HD Video Format (1) Với sự phát triển của công nghệ, ngày càng có nhiều định dạng HD và cao hơn được đưa ra mắt. Bản thân định dạng HD cũng được cải tiến lên tầm cao mới như 1080p60 hay 1080p120 tương ứng với số lượng frames mỗi giây (fps) lên đến 60 frames hoặc 120. Điều đó cũng dẫn đến việc những thước video ở định dạng chất lượng cao như HD 720p, 1080p hoặc cao hơn nữa sẽ tiêu tốn rất nhiều dung lượng bộ nhớ cũng như băng thông đường truyền, và việc truyền tải những video này không thông qua bước mã hóa trở nên gần như bất khả thi và thiếu thực tế. Đánh giá chất lượng của video được trình chiếu cho người dùng cũng là một vấn đề đáng lưu tâm, tuy vậy đo lường chất lượng hình ảnh là một thao tác khó khăn và nhiều khi thiếu chính xác do có nhiều nhân tố có thể ảnh hưởng đến kết quả.

Đánh giá chủ quan (Subjective quality measurement) phụ thuộc vào nhiều yếu tố chủ quan như cảm nhận người dùng, không gian, thiết bị, v. Ngược lại, phương pháp đánh giá khách quan (Objective quality measurement), có thể đưa ra những kết quả cụ thể với những tiêu chuẩn rõ ràng, tuy không thể tái hiện được cảm nhận của người xem như đánh giá chủ quan. Có nhiều thuật toán và tiêu chuẩn để đánh giá khách quan chất lượng của một thước video, và được sử dụng rộng rãi nhất để đo lường chính là Peak Signal to Noise Ratio (PSNR). Ngày nay, có rất nhiều nghiên cứu đang được tiến hành nhằm tạo ra 14 CHƯƠNG 2.

CƠ SỞ LÝ THUYẾT một thuật toán mới có thể cải thiện được những hạn chế của PSNR, tuy vậy với đặc điểm tính toán nhanh và gọn, PSNR vẫn là một tiêu chuẩn phổ biến để so sánh chất lượng của những video trước và sau khi mã hóa. Kkhi so sánh các video với nhau, giá trị PSNR càng cao chứng tỏ chất lượng của thước video đó càng cao, công thức tính PSNR như sau: (2n − 1)2 P SN RdB = 10 log10 (2.