Luận văn thạc sĩ: Ứng dụng tổng hợp ảnh chiều sâu trong khoa học máy tính

Luận văn thạc sĩ nghiên cứu máy tính tổng hợp ảnh dựa trên chiều sâu để hỗ trợ các ứng dụng đa hướng nhìn, khảo sát thực trạng, phân tích nguyên nhân, đề xuất giải pháp cải thiện

Chuyên ngành

Khoa Học Máy Tính

Người đăng

Ẩn danh

Thể loại

luận văn thạc sĩ

2012

82
4
0

Phí lưu trữ

30 Point

Tóm tắt

I. Tổng quan về đề tài

Nhu cầu sử dụng các ứng dụng video 3D như truyền hình 3D (3DTV) và video đa hướng nhìn ngày càng gia tăng trong ngành công nghiệp điện tử. Tổng hợp ảnh chiều sâu là một giải pháp hữu hiệu để giảm lượng dữ liệu thô cần truyền tải, đồng thời nâng cao trải nghiệm người dùng. Đề tài này nhằm nghiên cứu và phát triển mô hình tổng hợp ảnh dựa trên chiều sâu, bao gồm các bước ánh xạ 3D, pha trộn ảnh và lấp lỗ trống. Mô hình này không chỉ hỗ trợ cho các ứng dụng giải trí mà còn có thể áp dụng trong các lĩnh vực giáo dục và y tế. Việc sử dụng công nghệ hình ảnh hiện đại giúp cải thiện đáng kể chất lượng hình ảnh tổng hợp và giảm thiểu dữ liệu cần truyền tải, từ đó nâng cao hiệu suất và hiệu quả cho các ứng dụng đa hướng nhìn.

1.1. Hình thành vấn đề

Sự phát triển của công nghệ chế tạo máy ảnh và thiết bị hiển thị đã tạo điều kiện cho việc thu hình một cảnh từ nhiều góc nhìn khác nhau. Điều này dẫn đến nhu cầu về các ứng dụng video 3D và video đa hướng nhìn ngày càng cao. Tuy nhiên, việc truyền tải dữ liệu ảnh từ nhiều góc nhìn đồng nghĩa với việc tăng khối lượng dữ liệu cần xử lý. Do đó, nghiên cứu về tổng hợp ảnh dựa trên chiều sâu nhằm giảm thiểu dữ liệu truyền tải mà vẫn đảm bảo chất lượng hình ảnh là rất cần thiết. Các định dạng video mới ra đời cho phép truyền tải dữ liệu một cách hiệu quả hơn, điển hình là việc sử dụng Multiview Video plus Depth (MVD) để giảm thiểu khối lượng dữ liệu cần truyền tải mà vẫn đáp ứng được yêu cầu về chất lượng hình ảnh.

1.2. Phạm vi nghiên cứu

Đối tượng nghiên cứu chính của đề tài là ảnh trung gian được tổng hợp từ các cặp máy ảnh liền kề. Các phương pháp tổng hợp ảnh hiện nay chủ yếu dựa trên dữ liệu chiều sâu của các ảnh tham khảo. Nghiên cứu sẽ tập trung vào ba nhóm phương pháp chính: theo độ tin cậy các vùng trong ảnh, theo hiệu chỉnh ảnh và theo chiều sâu thích nghi. Đặc biệt, việc tổng hợp ảnh dựa trên chiều sâu có thể gặp phải một số lỗi như vết mờ, đường viền và lỗ. Do đó, nghiên cứu cũng sẽ xem xét các giải thuật hiệu quả nhằm cải thiện chất lượng ảnh tổng hợp.

II. Cơ sở lý thuyết

Mô hình hệ thống video 3D là một trong những yếu tố quan trọng trong việc tổng hợp ảnh. Hệ thống này cho phép nhiều người xem cùng lúc trải nghiệm hình ảnh từ nhiều góc nhìn khác nhau. Việc sử dụng các công nghệ như Depth Image-Based Rendering (DIBR) giúp cải thiện khả năng truyền tải và giảm thiểu băng thông cần thiết. Mô hình này cũng liên quan đến việc sử dụng các thông số camera và hệ tọa độ để xác định mối quan hệ giữa các góc nhìn. Việc áp dụng các phương pháp đánh giá định lượng và định tính sẽ giúp đảm bảo rằng các ảnh tổng hợp đạt được chất lượng tốt nhất, từ đó nâng cao trải nghiệm người dùng trong các ứng dụng video 3D.

2.1. Mô hình hệ thống video 3D

Hệ thống video 3D được thiết kế để hỗ trợ nhiều góc nhìn, cho phép người dùng tương tác và chọn góc nhìn tùy thích. Việc sử dụng công nghệ MVD giúp giảm đáng kể khối lượng dữ liệu cần truyền tải. Các nghiên cứu hiện tại đang tìm cách tối ưu hóa việc truyền tải dữ liệu bằng cách sử dụng các định dạng video kết hợp với thông tin chiều sâu. Điều này không chỉ giúp tiết kiệm băng thông mà còn nâng cao chất lượng hình ảnh, mang lại trải nghiệm tốt hơn cho người dùng.

2.2. Hệ tọa độ và thông số camera

Để tổng hợp ảnh một cách chính xác, việc xác định các hệ tọa độ và thông số camera là rất quan trọng. Mỗi camera có hệ tọa độ và thông số riêng, giúp xác định mối quan hệ giữa các góc nhìn khác nhau. Việc sử dụng các ma trận nội và ngoại giúp chuyển đổi giữa các hệ tọa độ, từ đó hỗ trợ cho quá trình tổng hợp ảnh. Nghiên cứu này sẽ tập trung vào việc cải thiện độ chính xác của các thông số camera nhằm nâng cao chất lượng ảnh tổng hợp.

III. Kết quả nghiên cứu và ứng dụng

Kết quả nghiên cứu cho thấy rằng việc áp dụng các phương pháp tổng hợp ảnh dựa trên chiều sâu có thể cải thiện đáng kể chất lượng hình ảnh trong các ứng dụng video 3D. Các thử nghiệm đã chỉ ra rằng mô hình tổng hợp ảnh đã đạt được kết quả tốt trong việc giảm thiểu dữ liệu truyền tải mà vẫn đảm bảo chất lượng hình ảnh. Điều này mở ra cơ hội cho việc áp dụng rộng rãi các công nghệ này trong thực tế, không chỉ trong lĩnh vực giải trí mà còn trong giáo dục và y tế.

3.1. Kết quả thực hiện

Mô hình tổng hợp ảnh đã được triển khai thành công với các bước ánh xạ 3D, pha trộn ảnh và lấp lỗ trống. Các kết quả thu được từ các thử nghiệm cho thấy rằng mô hình này có thể tạo ra những ảnh tổng hợp chất lượng cao từ các dữ liệu đầu vào khác nhau. Việc áp dụng các phương pháp lấp chỗ trống đã giúp cải thiện đáng kể chất lượng ảnh tổng hợp, giảm thiểu các lỗi như vết mờ và lỗ hổng trong ảnh.

3.2. Ứng dụng thực tiễn

Nghiên cứu này có thể được áp dụng trong nhiều lĩnh vực khác nhau, từ giải trí đến giáo dục và y tế. Việc sử dụng tổng hợp ảnh chiều sâu trong các ứng dụng video 3D có thể mang lại trải nghiệm người dùng tốt hơn, đồng thời giảm thiểu khối lượng dữ liệu cần truyền tải. Điều này không chỉ nâng cao hiệu quả cho các ứng dụng mà còn mở ra hướng đi mới cho nghiên cứu và phát triển trong lĩnh vực công nghệ hình ảnh.

05/01/2025

Trích đoạn nội dung tài liệu

ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH TRƢỜNG ĐẠI HỌC BÁCH KHOA -------------------- [ TẠ THỊ TÙNG LY TỔNG HỢP ẢNH DỰA TRÊN CHIỀU SÂU ĐỂ HỖ TRỢ CÁC ỨNG DỤNG ĐA HƢỚNG NHÌN Chuyên ngành: Khoa học máy tính Mã số: 604801 LUẬN VĂN THẠC SĨ TP. HỒ CHÍ MINH, Tháng 06 năm 2012 LỜI CÁM ƠN Đầu tiên, tôi xin gửi lời cảm ơn chân thành đến TS. Lê Thành Sách đã cung cấp tài liệu cũng như tận tình hướng dẫn, hỗ trợ tôi trong suốt quá trình nghiên cứu để hoàn thành luận văn tốt nghiệp.

Thầy đã tạo điều kiện tốt nhất để giúp tôi có thể hoàn thành đề tài này. Bên cạnh đó, tôi cũng xin cảm ơn sự giúp đỡ nhiệt tình của các bạn đồng nghiệp ở trong nhóm nghiên cứu về Xử lý ảnh và Đồ họa máy tính của Khoa Khoa Học và Kĩ Thuật Máy Tính đã hỗ trợ và chia sẻ thông tin liên quan đến đề tài của tôi trong quá trình nghiên cứu và hiện thực ứng dụng. Cuối cùng, xin cảm ơn đến gia đình và bạn bè, những người đã luôn ủng hộ và giúp đỡ tôi trong cuộc sống để tôi có thể hoàn thành tốt luận văn. Thành phố Hồ Chí Minh, tháng 06 năm 2012 Trang 1 TÓM TẮT Các ứng dụng video 3D như truyền hình 3D (3DTV) và video đa hướng nhìn đã và đang chiếm được thị phần rộng lớn trong ngành công nghiệp điện tử, người dùng có thể tương tác và chọn một góc nhìn tùy thích trong không gian 3D để sử dụng những ứng dụng video hấp dẫn và sinh động hơn.

Vấn đề đặt ra là dữ liệu ảnh tương ứng với nhiều góc nhìn tăng lên đáng kể so với việc chỉ trình chiếu đơn góc nhìn. Tổng hợp góc nhìn ảo từ những góc nhìn tham khảo cho trước là một giải pháp để giảm dữ liệu thô truyền đi. Luận Văn sẽ trình bày kết quả nghiên cứu về mô hình Tổng hợp ảnh dựa trên chiều sâu bao gồm các bước ánh xạ 3D, pha trộn ảnh và lấp lỗ trống. Đồng thời luận văn này cũng hiện thực một mô hình đánh giá hoàn chỉnh cho ứng dụng Tổng hợp ảnh.

Mô hình đánh giá bao gồm các tập dữ liệu đầu vào, chương trình tổng hợp ảnh theo chiều sâu kết hợp một số phương pháp lấp chỗ trống khác nhau, và cuối cùng là áp dụng các phương pháp đánh giá định tính và định lượng cho hệ thống tổng hợp ảnh. Với kết quả đạt được, những nghiên cứu tiếp theo có thể sử dụng mô hình này để bổ sung, đánh giá các phương pháp cải tiến cho ứng dụng tổng hợp ảnh một cách thuận lợi và hiệu quả. Trang 2 MỤC LỤC LỜI CÁM ƠN. 3 DANH MỤC CÁC TỪ VIẾT TẮT.

5 DANH MỤC BẢNG BIỂU. 6 DANH MỤC HÌNH ẢNH. 7 CHƢƠNG 1 TỔNG QUAN VỀ ĐỀ TÀI. Hình thành vấn đề.

Phạm vi nghiên cứu. Đối tượng nghiên cứu. Mục tiêu của đề tài. Phương pháp nghiên cứu.

Tóm lược những kết quả đạt được. Kết cấu của đề tài. 12 CHƢƠNG 2 CƠ SỞ LÝ THUYẾT. Mô hình hệ thống video 3D.

Hệ tọa độ và thông số camera. Bản đồ chiều sâu của ảnh. Tổng hợp ảnh cho video 3D. Phương pháp đánh giá kết quả.

25 CHƢƠNG 3 CÁC KẾT QUẢ NGHIÊN CỨU LIÊN QUAN. Tổng hợp ảnh theo vùng ảnh tin cậy. Mã hóa và Tổng hợp ảnh cho Multiview Video. Cải tiến tổng hợp ảnh dựa trên tách lớp đối tượng.

Dự đoán trên ảnh tổng hợp cho Multiview Video. Tổng hợp ảnh theo hiệu chỉnh ảnh. Tổng hợp ảnh không có thông số hiệu chỉnh. Nội suy và ngoại suy ảnh cho MVC.

Tổng hợp ảnh theo chiều sâu thích nghi. Tổng kết các nghiên cứu liên quan. 43 CHƢƠNG 4 HIỆN THỰC CHƢƠNG TRÌNH. Tập tin cấu hình.

Tập tin tham số camera. Dữ liệu ảnh đầu vào. Sơ đồ khối chức năng của chương trình. 58 CHƢƠNG 5 KẾT QUẢ VÀ ĐÁNH GIÁ.

Cài đặt và thực thi chương trình. Tập dữ liệu kiểm tra chương trình. Thiết lập camera cho các tập dữ liệu. Đặc tả tập dữ liệu.

Kết quả thực thi chương trình. Đánh giá kết quả thu được. 75 CHƢƠNG 6 KẾT LUẬN VÀ KIẾN NGHỊ. 78 TÀI LIỆU THAM KHẢO.

79 LÝ LỊCH TRÍCH NGANG. 81 Trang 4 DANH MỤC CÁC TỪ VIẾT TẮT 3DTV - Three Dimensions Television: truyền hình kĩ thuật số ba chiều 3DV - Three Dimensions Video : video ba chiều DIBR - Depth Image-Based Rendering: mô hình ảnh dựa trên chiều sâu ETRI – Electronic and Telecommunications Reseach Institute FTV - Free Viewpoint Television: truyền hình đa góc nhìn GIST - Gwangju Institute of Science and Technology H.264 Advance Video Coding: định dạng mã hóa video tiên tiến H264 LDI - Layer Depth Image : ảnh độ sâu theo lớp MPEG - Moving Picture Experts Group : hội chuyên gia về phim và ảnh thế giới MVD - Multiview Video plus Depth : video đa góc nhìn với dữ liệu chiều sâu PSNR - Peak Signal to Noise Ratio: tỉ số tín hiệu cực đại trên nhiễu RVI - Rectification-based Interpolation : nội suy dựa trên hiệu chỉnh ảnh ViSBD - View Synthesis Based on Disparity/Depth: tổng hợp ảnh dựa trên chiều sâu VSRS - View Synthesis Reference Software: phần mềm tổng hợp ảnh tham khảo Trang 5 DANH MỤC BẢNG BIỂU Bảng 1: Cấu trúc thư mục của chương trình tổng hợp ảnh. 65 Bảng 2: Các tập dữ liệu kiểm tra chương trình. 66 Bảng 3: Kết quả PSNR của tập dữ liệu Balloon.

68 Bảng 4: Kết quả PSNR của tập dữ liệu Kendo. 69 Bảng 5: Kết quả PSNR của tập dữ liệu Champagne. 70 Bảng 6: Kết quả PSNR của tập dữ liệu LoveBird. 71 Bảng 7: Kết quả PSNR của tập dữ liệu LoveBird.

72 Trang 6 DANH MỤC HÌNH ẢNH Hình 2.2: Mối quan hệ hình học giữa hệ tọa độ camera và hệ tọa độ ảnh .3: Ví dụ về bản đồ chiều sâu của ảnh .4 : Ví dụ về giá trị chiều sâu của ảnh .5: Chiều sâu tương quan giữa hai ảnh thông qua bản đồ disparity.6: Sơ đồ tổng hợp ảnh trung gian dựa trên chiều sâu .7: Khái niệm chung về 3D warping .1: Sơ đồ xử lý của tổng hợp ảnh dựa trên độ tin cây .2: Kết quả tổng hợp ảnh có và không sử dụng độ tin cậy .3: Ví dụ trạng thái khởi tạo của thuật toán Region Growing.4: Kết quả áp dụng Region Growing cho các lớp đã phân loại .5: So sánh rendering giữa LDI thông thường và dựa trên đôi tượng.6: Kết quả tổng hợp sử dụng Parallax,.7: Sơ đồ khối của giải thuật RVI .8: Nội suy ảnh cho các trường hợp điểm ảnh khác nhau .9 Ví dụ về tổng hợp ảnh theo chiều sâu thích nghi .1: Sơ đồ khối chức năng chương trình tổng hợp ảnh.2: Sơ đồ khối chức năng nội suy trung gian .1: Thiết lập camera thu hình .2: Kết quả so sánh PSRN của tập Balloon .3: Kết quả so sánh PSNR của tập Kendo .4: Kết quả so sánh PSNR của tập Champagne .5: Kết quả so sánh PSNR của tập LoveBird .6: Kết quả so sánh PSNR của tập Newspaper .7: Kết quả định tính của tập dữ liệu Balloon .8: Kết quả định tính của tập dữ liệu Champagne.9: Kết quả định tính của tập dữ liệu Kendo .10: Kết quả định tính của tập dữ liệu Newspaper .11: Kết quả định tính của tập dữ liệu LoveBird .12: Ví dụ đánh giá định tính của tập Champagne .13: Ví dụ đánh giá định tính của tập LoveBird. 77 Trang 8 CHƢƠNG 1 TỔNG QUAN VỀ ĐỀ TÀI Phần này sẽ giới thiệu tổng quan về đề tài bao gồm hoàn cảnh ra đời của đề tài, phạm vi nghiên cứu xét đến đối tượng nghiên cứu và phương pháp thực hiện đề tài, cũng như xác định mục tiêu, ý nghĩa của đề tài. Hình thành vấn đề Những tiến bộ trong công nghệ chế tạo máy ảnh và thiết bị hiển thị giúp cho việc thu hình một cảnh với nhiều góc nhìn (Free Viewpoint) được hỗ trợ tốt hơn về mặt công nghệ và phần cứng. Điều này khiến cho nhu cầu về các ứng dụng video 3D như truyền hình 3D (3DTV) và video đa hướng nhìn đã và đang chiếm được thị phần rộng lớn trong ngành công nghiệp điện tử.

Ứng dụng video 3D (3DV) dựa vào việc mở rộng video 2D với khả năng tạo dựng 3D (3D rendering) để có hai góc nhìn trái-phải tạo hiệu ứng 3D, do đó cần có thêm một góc quay nữa được giải mã và hiển thị một cách đồng thời. Đối với ứng dụng đa góc nhìn, người dùng có thể tương tác và chọn một góc nhìn tùy thích trong không gian 3D để cầu sử dụng những ứng dụng video hấp dẫn và sinh động trở nên thực tế hơn quan sát hình ảnh của thế giới thực. Các ứng dụng này không những phục vụ cho nhu cầu giải trí đa phương tiện mà còn được áp dụng trong các lĩnh vực giáo dục, y tế… nhằm đem đến hiệu quả hình ảnh tốt nhất, gần gũi với thế giới thực nhất. Vấn đề đặt ra là dữ liệu ảnh tương ứng với nhiều góc nhìn (Multiview) tăng lên đáng kể so với việc chỉ trình chiếu đơn góc nhìn.

Do đó, việc khai thác mối tương quan vốn có trong xử lý ảnh từ nhiều góc quay để làm giảm dữ liệu ảnh truyền đi trong các ứng dụng video đa hướng nhìn hoặc truyền hình 3D (3DTV) ngày càng được nhiều tổ chức nghiên cứu cũng như công nghiệp quan tâm đến. Các dịnh dạng 3D video mới ra đời cho phép giảm tỉ lệ dữ liệu thô (raw data) truyền đi một cách đáng kể. Khi sử dụng các định dạng video nhiều góc quay cộng thêm chiều sâu (MVD –Multiview Video plus Chƣơng 1. TỔNG QUAN VỀ ĐỀ TÀI Depth) chỉ cần M tập con của N góc nhìn được truyền đi, đối với mỗi chuỗi trong video thuộc M, truyền thêm thông tin dữ liệu về chiều sâu tương ứng.

Từ nhu cầu ngày càng cao về sử dụng những ứng dụng video sinh động cộng thêm những tiến bộ trong nghiên cứu lĩnh vực 3DV nói trên, hướng nghiên cứu về đề tài Tổng hợp ảnh (View synthesis) dùng trong 3DV đang trở nên sôi động và có ý nghĩa thực tiễn. Với mục đích xây dựng một hình ảnh tổng hợp được lấy từ một máy quay ảo được đặt ở một điểm khác với các máy quay thực cho trước, tổng hợp ảnh dựa trên chiều sâu là một kĩ thuật quan trọng được giới thiệu nhằm nâng cao chất lượng của ảnh tổng hợp trung gian trong hệ thống 3DV. Đó chính là lí do đề tài nghiên cứu: “Tổng hợp ảnh dựa trên chiều sâu để hỗ trợ các ứng dụng đa góc nhìn” được đề xuất. Phạm vi nghiên cứu 1.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ

Bài luận văn thạc sĩ "Luận văn thạc sĩ: Ứng dụng tổng hợp ảnh chiều sâu trong khoa học máy tính" của tác giả Tạ Thị Tùng Ly, dưới sự hướng dẫn của TS. Lê Thành Sách, được trình bày tại Trường Đại Học Bách Khoa, Đại Học Quốc Gia TP. Hồ Chí Minh vào năm 2012. Bài viết khám phá ứng dụng của công nghệ tổng hợp ảnh chiều sâu, một lĩnh vực quan trọng trong khoa học máy tính, giúp nâng cao khả năng xử lý và phân tích hình ảnh. Những lợi ích mà công nghệ này mang lại bao gồm cải thiện độ chính xác trong nhận diện và phân loại hình ảnh, từ đó hỗ trợ tốt hơn cho các ứng dụng đa hướng nhìn.

Để mở rộng thêm kiến thức về lĩnh vực này, bạn có thể tham khảo các tài liệu liên quan như Luận Văn Thạc Sĩ: Ứng Dụng Active Learning trong Lựa Chọn Dữ Liệu Gán Nhãn cho Bài Toán Nhận Diện Giọng Nói, nơi nghiên cứu về việc áp dụng các phương pháp học máy để cải thiện nhận diện giọng nói, và Luận văn thạc sĩ: Nhận dạng giọng nói tiếng Việt qua học sâu và mô hình ngôn ngữ, tập trung vào việc ứng dụng học sâu trong nhận diện giọng nói. Những tài liệu này không chỉ giúp bạn hiểu rõ hơn về công nghệ hình ảnh mà còn mở rộng kiến thức về các ứng dụng liên quan trong lĩnh vực khoa học máy tính.