Đặt vấn đề, đề xuất, trình bày luận văn, các vấn đề liên quan, mục tiêu nghiên cứu, các đóng góp của luận văn Chương 2: Trình bày các khái niệm cơ bản liên quan đến vấn đề nghiên cứu như FTV, 3DTV, VSRS, HEVC,… Chương 3: Trình bày thuật toán Hole filling SWA Chương 4: Trình bày kết quả thí nghiệm, đề xuất, chỉ ra hướng nghiên cứu 13 LUAN VAN CHAT LUONG download : add luanvanchat@agmail. CHƯƠNG 2: CÁC KHÁI NIỆM CƠ BẢN Chương này giới thiệu các khái niệm cơ bản trong lĩnh vực video coding đặc biệt có sự tham khảo chuẩn HEVC, mở rộng mã hóa Multi-view video và tổng hợp quan sát dựa trên chiều sâu. Chương này bắt đầu với cái nhìn tổng quan về video.1 giới thiệu về các ứng dụng video giả lập 3D.1 giới thiệu về Tivi 3D. Tivi Free VewPoint được giới thiệu trong Mục 2.
Các định dạng biểu diễn video 3D được giới thiệu trong Mục 2.1 Giới thiệu về MVV và MVVD, 2.2 nói về bản đồ độ sâu. Cuối cùng, biểu diễn dựa trên ảnh độ sâu được giới thiệu trong mục 2.3, có 3 bước: Tổng hợp 3D, sáp nhập khung hình và hole filling các vùng disocclusion 2. CÁC ỨNG DỤNG VIDEO GIẢ LẬP 3D 2. TIVI 3D ( 3DTV ) Con người chúng ta có hai mắt, nằm gần nhau và bên cạnh nhau.
Mỗi mắt có một quan sát khu vực nhìn từ một góc khác nhau. Não chúng ta nhận các hình ảnh từ hai mắt và kết hợp chúng bằng những điểm tương đồng. Bên cạnh đó, sự khác biết nhỏ nhất giữa hai hình ảnh được giải thích bằng thông tin về độ sâu. Quá trình này tạo ra một khung hình 3D: một với chiều cao, một với chiều rộng và với chiều sâu.
Thị giác của con người được goi là thị giác lập thể. Nguyên tắc thị giác của người được minh họa trong Hình 2. Nguyên tắc này có thể được áp dụng đối với công nghệ hiển thị video. Nếu màn hình cung cấp những cái nhìn đúng đắn để mắt tương thích, nó có thể bắt chước điều kiện thị giác con người một cách tự nhiên và sự khác biệt trong hình ảnh lập thể có thể được chuyển đổi thành chiều sâu.
Những hình ảnh lập thể tương ứng với mắt có thể đạt được theo nhiều cách khác nhau chẳng hạn như đeo kính đặc biệt có thể lọc được những hình ảnh chính xác cho mắt nhìn chính xác như trong hiển thị lập thể. Các kỹ thuật khác sử dụng các thành phần quang học được tích hợp trong màn hình khác. 14 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.1: Minh họa nguyên lý nhìn của con người [8] 2. TIVI FREE VIEWPOINT (FTV) FTV là một hệ thống cho phép người dùng kiểm soát tương tác các điểm khung hình và tạo ra các khung hình mới của một cảnh động từ bất kỳ vị trí 3D nào.
FTV hứa hẹn sẽ phục vụ nhu cầu người sử dụng với mức độ cao hơn về chất lượng video. Trong một số khía cạnh, FTV là giống như đồ họa máy tính 3D, cái mà cho phép chúng ta quan sát khung cảnh từ một góc nhìn bất kỳ. Nhưng FTV có thể hiển thị những khung cảnh thực tế được chụp bởi camera thực tế trong khi đồ họa máy tính 3D chỉ có thể thực hiện hình ảnh máy tính tạo ra. FTV có thể mang lại những trải nghiệm thú vị cho người sử dụng khi áp dụng đa dạng các nội dung giải trí như là sự kiện thể thao và phim.
Một hệ thống hoàn chỉnh FTV chứa đựng nhiều giai đoạn như thấy 15 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com trong Hình 2. Trước tiên, các cảnh được chụp bởi một hệ thống đa camera. Chúng ta cần thiết đặt camera với các đặc tính khác nhau như thể chúng là camera duy nhất. Sau đó, dữ liệu phải được mã hóa và được truyền tới người sử dụng.
Ví dụ, trong cấu trúc MPEG 3DV, định dạng 3D là Video đa khung hình gồm chiều sâu (MVD) sử dụng các video 2D thông thường và thêm vào bản đồ chiều sâu với chuỗi 8 bit. Sau đó, dữ liệu phải được mã hóa và truyền tới người sử dụng. Các dữ liệu lớn vì vậy chúng ta cần phải có một chương trình nén hiệu quả. Về phía người sử dụng, dữ liệu được giải mã và sử dụng để tạo ra các khung hình mới tương thích với điểm quan sát người sử dụng.
Chúng ta có thể nắm bắt được số khung hình hữu hạn để việc hiển thị khung hình tổng hợp đóng một vai trò quan trọng trong việc sản xuất nội dung cho các màn hình 3D Hình 2.2: Hệ thống FTV tổng quát 2. CÁC ĐỊNH DẠNG BIỂU DIỄN VIDEO 3D Trong kỹ thuật video, video 3D là ngày càng phổ biến bởi vì sự hữu ích của chúng trong nhiều ứng dụng. Hiển nhiên rằng, biểu diễn 3D một cách hiệu quả là cần thiết cho các ứng dụng 3D video thành công và nó cũng liên quan chặt chẽ tới các thành phần khác của hệ thống 3D video như: thu thập nội dung, truyền tải, biểu diễn và hiển thị. Hiển thị 3D linh hoạt cho cả người cung cấp lẫn người tiêu dùng sẽ có tác động đáng kể đến hiệu suất tổng thể của hệ thống, bao gồm yêu cầu về băng thông và chất lượng hình ảnh người dùng cuối cùng cũng như những hạn chế như là khả năng tương thích với các thiết bị và cơ sở hạ tầng hiện có [9].
Phần sau đây sẽ xem xét hai định dạng biểu diễn 3D: định dạng video đa khung hình (MVV) và video đa khung hình định dạng chiều sâu (MVD) 16 LUAN VAN CHAT LUONG download : add luanvanchat@agmail. VIDEO ĐA KHUNG HÌNH (MVV) VÀ VIDEO ĐA KHUNG HÌNH THEO CHIỀU SÂU (MVVD) Video đa khung hình (MVV) là một định dạng video bao gồm một vài video màu từ các điểm khung hình khác nhau của cùng một cảnh đạt được bởi 1 hệ thống camera như Hình 2. MVV đặc biệt là thích hợp cho hiển thị tự động lập thể, yêu cầu một lượng lớn khung hình. Hơn nữa, nó cũng cho phép lưu giữ toàn bộ độ phân giải của chuỗi video [9].
Ngoài ra những khó khăn liên quan đến tổng hợp khung hình có thể tránh được. Cuối cùng, việc hiển thị có thể dễ dàng được thực hiện tương ứng với hiển thị 2D truyền thống bằng cách trích xuất từ 1 trong các khung hình. Tùy thuộc vào mục đích cụ thể, số lượng camera và sự sắp xếp camera có thể khác nhau. Thông thường, có 3 kiểu sắp xếp camera: sắp xếp tuyến tính, sắp xếp phẳng và sắp xếp hình tròn như Hình 2.4 Video đa khung hình (MVV) là 1 định dạng video bao gồm một vài video màu từ các điểm khung hình khác nhau trong cùng một cảnh được đồng bộ bởi một hệ thống camera được hiển thị như Hình 2.
MVV đặc biệt thích hợp cho màn hình lập thể tự động, những màn hình này yêu cầu số lượng lớn các khung hình. Hơn thế nữa, màn hình này cho phép bảo toàn được toàn bộ độ phân giải chuỗi video. Ngoài ra, những khó khăn liên quan đến tổng hợp khung hình có thể tránh được. Cuối cùng, việc hiện thị có thể dễ dàng được thực hiện tương thích với các màn hình truyền thống 2D bằng cách trích xuất ra 1 trong các khung hình.
Tùy thuộc vào các mục đích cụ thể, số lượng camera và sự sắp xếp các camera có thể khác nhau. Thông thường, có 3 kiểu bố trí camera: tuyến tính, phẳng và tròn như Hình 2.3: Ví dụ về một cảnh biểu diễn video đa khung hình – Break Dance 17 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.4: Ví dụ về sắp xếp một hệ thống camera đa khung hình Mã hóa video đa khung hình có thể được nén một cách hiệu quả nội dung MVV bằng cách kết hợp dự đoán dựa trên chuyển động trong khung hình thông thường và dự đoán dựa trên độ lệch trong khung hình nhưng tỉ lệ bit vẫn tăng lên một cách tuyến tính với số lượng khung hình được mã hóa. Điều này dẫn đến sự xuất hiện định dạng chiều sâu với video đa khung hình (MVD). MVD là 1 sự kết hợp của MVV và định dạng chiều sâu với video.
Vì vậy, nó có những lợi thế từ cả hai. Trong MVD, mỗi khung hình thứ N được yêu cầu với chiều sâu liên quan, như Hình 2. Với thông tin chiều sâu từ mỗi khung hình, MVD chứng minh rằng hình học 3D của cảnh với độ chính xác tốt hơn nhiều so với MVV hoặc video theo chiều sâu. Vì vậy, chúng ta có thể áp dụng kỹ thuật biểu diễn hình ảnh DIBR để biểu diễn các khung hình trung gian tại bất kỳ vị trí cuối nào của người nhận.
Điều này giúp giảm số lượng khung hình cần để truyền tải so với trường hợp MVV. Do đó, MVD là một trong những định dạng phổ biến nhất để hiển thị video 3D. Hai chuỗi, vân video và độ sâu có thể được mã hóa và được truyền đi một cách độc lập hoặc có thể cùng được mã hóa bằng việc khai thác các dư thừa giữa chúng để đạt được hiệu suất mã hóa tốt hơn 18 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.5: Ví dụ về video đa khung hình với chiều sâu 2. BẢN ĐỒ ĐỘ SÂU Bản đồ chiều sâu ( ảnh chiều sâu ) là một ảnh với kích thước bằng với ảnh màu, giá trị của mỗi điểm ảnh trong ảnh chiều sâu là giá trị chiều sâu của điểm ảnh màu tương ứng, như được chỉ thấy trong Hình 2.
Nói cách khác, một bản đồ chiều sâu ánh xạ mỗi điểm ảnh trong một video màu để khoảng cách của nó từ camera ( trục Z trên camera ). Bản đồ độ sâu chủ yếu bao gồm các vùng mịn được ngăn cách bởi các biên mà không có vân hay bóng. Điển hình bản đồ độ sâu là một ảnh gray scale 8 bit, khoảng giá trị bit từ 0 đến 255. Giá trị 0 là giá trị ở gần mặt phẳng nhất (𝑍𝑍𝑛𝑒𝑎𝑟 ) biểu diễn mức xa nhất và giá trị 255 là giá trị cách xa mặt phẳng nhất (𝑍𝑍𝑓𝑓𝑎𝑎𝑟 ) biểu diễn mức độ gần nhất Hình 2.6: Một khung màu và bản đồ độ sâu liên quan Có hai hướng tiếp cận để xây dựng bản đồ chiều sâu.
Hướng tiếp cận thứ nhất được tích hợp vào một camera thời gian bay (ToF) [10] để tính toán khoảng cách từ các điểm trong khung cảnh đến camera. Camera ToF là một hệ thống camera sắp xếp để giải quyết khoảng cách dựa vào tốc độ ánh sáng, đo lường thời gian bay của một tín 19 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com hiệu ánh sáng giữa camera và đối tượng của mỗi điểm trên ảnh. Kỹ thuật này mang lại các kết quả hữu ích nhưng nó chỉ có hiệu quả bên trong một vùng nhỏ với độ sâu lên đến vài mét.