Đại Học Quốc Gia Tp. Hồ Chí Minh TRƢỜNG ĐẠI HỌC BÁCH KHOA -------------------- ĐẶNG THỊ THANH TƢƠI HIỆN THỰC CÁC KỸ THUẬT MÃ HÓA TRONG ỨNG DỤNG ĐA HƢỚNG NHÌN Chuyên ngành: Khoa học máy tính Mã số ngành: 604801 LUẬN VĂN THẠC SĨ TP. HỒ CHÍ MINH, Tháng 12 năm 2012 CÔNG TRÌNH ĐƢỢC HOÀN THÀNH TẠI TRƢỜNG ĐẠI HỌC BÁCH KHOA - ĐHQG - TPHCM Cán bộ hƣớng dẫn khoa học : TS. LÊ THÀNH SÁCH.
(Ghi rõ họ, tên, học hàm, học vị và chữ ký) Cán bộ chấm nhận xét 1 :. (Ghi rõ họ, tên, học hàm, học vị và chữ ký) Cán bộ chấm nhận xét 2 :. (Ghi rõ họ, tên, học hàm, học vị và chữ ký) Luận văn thạc sĩ đƣợc bảo vệ tại Trƣờng Đại học Bách Khoa, ĐHQG Tp. Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: (Ghi rõ họ, tên, học hàm, học vị của Hội đồng chấm bảo vệ luận văn thạc sĩ) 1.
Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trƣởng Khoa quản lý chuyên ngành sau khi luận văn đã đƣợc sửa chữa (nếu có). CHỦ TỊCH HỘI ĐỒNG TRƢỞNG KHOA ĐẠI HỌC QUỐC GIA TP. HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƢỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự do - Hạnh phúc ____________________ _______________________ Tp. HCM, ngày 30 tháng 11 năm 2012 NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: ĐẶNG THỊ THANH TƢƠI…………………… MSHV: 10070506 Ngày, tháng, năm sinh: 28/01/1984.
HCM Chuyên ngành: Khoa học máy tính. TÊN ĐỀ TÀI: HIỆN THỰC CÁC KỸ THUẬT MÃ HÓA TRONG ỨNG DỤNG ĐA HƢỚNG NHÌN II. NHIỆM VỤ VÀ NỘI DUNG: Luận văn khảo sát và đánh giá các giải thuật mã hóa video đa hƣớng nhìn (Multi- view Video Coding). Từ kết quả đó, đề tài đề xuất và hiện thực giải thuật cải tiến nhằm giảm thời gian mã hóa (encoding time) nhƣng vẫn đảm bảo chất lƣợng và độ nén cho video.
NGÀY GIAO NHIỆM VỤ 06/02/2012 IV. NGÀY HOÀN THÀNH NHIỆM VỤ: 30/11/2012 V. CÁN BỘ HƢỚNG DẪN : TS. Lê Thành Sách Tp.
CÁN BỘ HƢỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO (Họ tên và chữ ký) (Họ tên và chữ ký) TRƢỞNG KHOA ………………. (Họ tên và chữ ký) LỜI CÁM ƠN Đầu tiên, tôi xin gửi lời cảm ơn chân thành đến TS. Lê Thành Sách đã định hƣớng, truyền đạt kinh nghiệm cũng nhƣ tận tình hƣớng dẫn, hỗ trợ tôi trong suốt quá trình nghiên cứu để hoàn thành luận văn tốt nghiệp. Bên cạnh đó, tôi cũng xin cảm ơn gia đình, bạn bè và các bạn đồng nghiệp đã động viên, giúp đỡ và tạo mọi điều kiện tốt nhất để tôi có thể theo đuổi việc học tập và nghiên cứu.
Thành phố Hồ Chí Minh, tháng 11 năm 2012 Trang i TÓM TẮT Các ứng dụng video 3D nhƣ truyền hình 3D (3DTV) và video đa hƣớng nhìn ngày càng phát triển mạnh trong ngành công nghiện điện tử. Vấn đề đặt ra là dữ liệu cần xử lý tăng lên đáng kể so với video đơn hƣớng nhìn do số lƣợng góc nhìn tăng. Dữ liệu lớn đồng nghĩa với thời gian xử lý lớn, thời gian là yếu tố quan trọng trong ứng dụng thời gian thực. Do đó, luận văn sẽ trình bày kết quả khảo sát, đánh giá các nghiên cứu tối ƣu hiệu suất mã hóa về mặt thời gian nhƣng vẫn đảm bảo chất lƣợng ảnh và tỉ lệ nén.
Dựa vào các kết quả đó, đề tài đề xuất thuật toán nhằm giảm thời gian mã hóa. Đồng thời, đề tài kết hợp thuật toán đề xuất với thuật toán đã khảo sát nhằm làm tối ƣu hơn nữa thời gian mã hóa. Cuối cùng, hoàn chỉnh mô hình đánh giá cải tiến hiệu suất mã hóa theo ba tiêu chí: thời gian mã hóa, tỉ lệ nén và chất lƣợng ảnh. Trang ii ABSTRACT The application of 3D video such as 3D television (3DTV) and multi-view video is expanded and grow up rapidly in electronic industrial.
The problem here is the processing data increases so much compared with video single view because the number of view increases. Huge processing data is corresponding to huge processing time, time is one of important factor in real-time application. Therefore, this thesis will describe the result of investigation and evaluation of the related work focus on optimizing encoding time but still keep or reduce in appropriate ratio compression ratio and output image quality. Based on that result of investigation, thesis proposed algorithm to reduce encoding time.
Beside that, the thesis combines available algorithm and proposed algorithm to reduce encoding time more. Finally, thesis completed the evaluation scheme for encoding efficiency optimization in 3 creteria: encoding time, compression ratio, output image quality. Trang iii LỜI CAM ĐOAN Tôi cam đoan rằng, ngoài những tài liệu tham khảo và các tài liệu khác đã chú thích đính kèm thì toàn bộ nội dung và các công việc khác của luận văn là do chính tôi thực hiện và chƣa từng có phần nội dung nào của luận văn này đƣợc nộp để lấy một bằng cấp ở trƣờng này hoặc ở trƣờng khác. Thành phố Hồ Chí Minh, tháng 11 năm 2012 Đặng Thị Thanh Tƣơi Trang iv MỤC LỤC LỜI CÁM ƠN.
iii LỜI CAM ĐOAN. iv MỤC LỤC. v DANH MỤC CÁC TỪ VIẾT TẮT. vii DANH MỤC BẢNG BIỂU.
viii DANH MỤC HÌNH ẢNH. ix CHƢƠNG 1 TỔNG QUAN VỀ ĐỀ TÀI. Hình thành vấn đề. Phạm vi nghiên cứu.
Mục tiêu của đề tài. Các bƣớc thực hiện. Tóm lƣợc những kết quả đạt đƣợc. Bố cục luận văn.
15 CHƢƠNG 2 CƠ SỞ LÝ THUYẾT. Mô hình hệ thống video đơn hƣớng nhìn. Mô hình hệ thống video đa hƣớng nhìn. Định dạng dữ liệu đầu vào, đầu ra.
Cấu trúc một ảnh. Sơ đồ khối quá trình mã hóa. Chuẩn mở rộng H.264/MPEG-4 AVC cho video đa hƣớng nhìn (MVC). Phƣơng pháp đánh giá kết quả.
31 CHƢƠNG 3 CÁC KẾT QUẢ NGHIÊN CỨU LIÊN QUAN. Cấu trúc dự đoán (Prediction Structure). Tổng kết các nghiên cứu liên quan. 40 CHƢƠNG 4 ĐỀ XUẤT VÀ HIỆN THỰC CHƢƠNG TRÌNH.
Cấu trúc chƣơng trình mã hóa. Đề xuất của luận văn. Sơ đồ khối chức năng của thuật toán tham khảo và thuật toán đề xuất. Chƣơng trình FastInter.
Chƣơng trình Proposed_SR. Chƣơng trình Proposed_Merge. Tập tin cấu hình. 52 CHƢƠNG 5 KẾT QUẢ VÀ ĐÁNH GIÁ.
Tập dữ liệu kiểm tra chƣơng trình. Cấu hình hệ thống kiểm thử. Kết quả thực thi chƣơng trình. Đánh giá kết quả thu đƣợc.
68 CHƢƠNG 6 KẾT LUẬN VÀ KIẾN NGHỊ. 70 TÀI LIỆU THAM KHẢO. v LÝ LỊCH TRÍCH NGANG. vii Trang vi DANH MỤC CÁC TỪ VIẾT TẮT 3DTV - Three Dimensions Television: truyền hình kĩ thuật số ba chiều 3DV - Three Dimensions Video : video ba chiều FTV - Free Viewpoint Television: truyền hình đa góc nhìn H.264 Advance Video Coding: định dạng mã hóa video tiên tiến H264 JMVC – Joint Multiview Video Coding : bộ chƣơng trình mã hóa/giả mã tham khảo MERL - Mitsubishi Electric Research Laboratories : phòng thí nghiệm nghiên cứu điện tử Mitsubishi MPEG - Moving Picture Experts Group : hội chuyên gia về phim và ảnh thế giới NAL - Network Abstraction Layer : lớp trừu tƣợng mạng PSNR - Peak Signal to Noise Ratio: tỉ số tín hiệu cực đại trên nhiễu VLC – Variable Length Code: mã chiều dài thay đổi Trang vii DANH MỤC BẢNG BIỂU Bảng 2-1 Cách tính khối tham khảo P.
28 Bảng 4-1 So sánh kết quả thử nghiệm chọn ngƣỡng. 47 Bảng 5-1 Tập dữ liệu kiểm tra chƣơng trình. 58 Bảng 5-2 Tham số cấu hình cơ bản cho chƣơng trình. 59 Bảng 5-3 Kết quả tổng hợp của từng tập dữ liệu.
60 Bảng 5-4 Bảng so sánh kết quả các thuật toán với JMVC 8. 62 Bảng 5-5 Bảng kết quả chi tiết của thuật toán FastInter cho từng tập dữ liệu. 63 Bảng 5-6 Bảng kết quả chi tiết của thuật toán Proposed_SR cho từng tập dữ liệu. 64 Bảng 5-7 Bảng kết quả chi tiết của thuật toán Proposed_Merge cho từng tập dữ liệu.
65 Trang viii DANH MỤC HÌNH ẢNH Hình 1-1 Một hệ thống 3DTV. 12 Hình 2-1 Sơ đồ khối của một video encoder. 17 Hình 2-2 Ảnh dƣ thừa của 2 ảnh kề nhau. 18 Hình 2-3 Biến đổi DCT của khối 4x4.
19 Hình 2-4 Simulcast cho mã hóa video đa hƣớng nhìn. 21 Hình 2-5 Kết hợp dự đoán thời gian/inter-view cho video đa hƣớng nhìn. 22 Hình 2-6 Sơ đồ khối của video encoder đa hƣớng nhìn. 23 Hình 2-7 Sự phân chia slice trong ảnh.
24 Hình 2-8 Các kiểu phân hoạch macroblock và macroblock phụ. 24 Hình 2-9 Sơ đồ khối bộ mã hóa video của H. 26 Hình 2-10 Cấu trúc dự đoán. 27 Hình 2-11 Gán nhãn cho khối dự đoán và các mẫu lân cận.
28 Hình 2-12 Dự đoán intra cho khối 16x16. 29 Hình 3-1 Cấu trúc dự đoán phân cấp ảnh B. 34 Hình 3-2 Dự đoán inter-frame/inter-view dùng cấu trúc ảnh B phân cấp. 35 Hình 3-3 Thuật toán chọn mode nhanh đƣợc đề xuất.
37 Hình 3-4 Đề xuất giảm số mode Inter cần kiểm tra cho view phụ. 38 Hình 3-5 Chọn mode nhanh với ngƣỡng linh động. 39 Hình 4-1 Cấu trúc hệ thống mã hóa video đa hƣớng nhìn. 41 Hình 4-2 Sơ đồ khối tổng quát chƣơng trình mã hóa video.
42 Hình 4-3 Sơ đồ khối mã hóa ở lớp macroblock – hàm encodeSlice(). 43 Hình 4-4 Sơ đồ khối motion estimation Inter mode (InterNxN). 44 Hình 4-5 Vùng tìm kiếm trong ảnh tham khảo. 45 Hình 4-6 Sơ đồ hoạt động chọn MB mode trong FastInter.
50 Hình 4-7 Sơ đồ khối motion estimation Inter mode (InterNxN) cải tiến. 52 Hình 5-1 So sánh thời gian mã hóa giữa các thuật toán. 61 Hình 5-2 So sánh bitrate giữa các thuật toán. 61 Trang ix Hình 5-3 So sánh PSNR giữa các thuật toán.
62 Hình 5-4 Kết quả định tính Ballroom view 1 frame 2. 67 Hình 5-5 Kết quả định tính Exit view 1 frame 2. 67 Trang x CHƢƠNG 1 TỔNG QUAN VỀ ĐỀ TÀI Phần này sẽ giới thiệu tổng quan về đề tài bao gồm hoàn cảnh ra đời của đề tài, mục tiêu của đề tài và phƣơng pháp nghiên cứu. Hình thành vấn đề Mã hóa video (Video coding) đơn góc nhìn (single view) không còn là đề tài xa lạ và mới mẻ nữa.
Nó bao gồm hai quá trình mã hóa (encode) và giải mã (decode) dữ liệu video. Dữ liệu video thô đƣợc mã hóa trƣớc khi truyền hay lƣu trữ. Dữ liệu video mã hóa sau đó đƣợc giải mã trƣớc khi hiển thị cho ngƣời dùng cuối. Hiện nay, mặc dù các hệ thống máy tính ngày càng mạnh mẽ (về mặt lƣu trữ, khả năng xử lý cũng nhƣ băng thông mạng), lƣợng dữ liệu video số không nén vẫn quá lớn gây khó khăn cho việc lƣu trữ, tính toán và truyền tải.