Nghiên Cứu Dựng Mô Hình 3 Chiều Từ Ảnh 2 Chiều

Luận văn thạc sĩ kỹ thuật phân tích xây dựng các mô hình 3 chiều sử dụng camera cầm tay, đánh giá thực trạng, chỉ ra hạn chế, đề xuất giải pháp khả thi cho thực tiễn.

• Tác giả: Ma Thị Châu
• Trường học: Trường Đại Học
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Nghiên Cứu Dựng Mô Hình 3 Chiều Từ Ảnh 2 Chiều
• Loại tài liệu: Luận Văn
• Năm xuất bản: 2023
• Địa điểm: Hà Nội

Mục lục chi tiết

• DANH MỤC HÌNH VẼ
• DANH MỤC BẢNG BIỂU
• MỞ ĐẦU
• 1. CHƯƠNG 1: GIỚI THIỆU
• 2. CHƯƠNG 2: TỔNG QUAN
• 2.1. Các vấn đề liên quan đến bài toán dựng mô hình 3 chiều
• 2.1.1. Thị giác lập thể
• 2.1.2. Hình học epipolar và một số ma trận biến đổi
• 2.1.3. Phân cấp các phép biến đổi
• 2.2. Các kĩ thuật trong bài toán dựng mô hình 3 chiều
• 2.2.1. Qui trình dựng mô hình 3 chiều
• 2.2.2. Trích chọn đặc trưng
• 2.2.3. Bài toán đối sánh
• 2.2.4. Tìm ma trận cơ bản F
• 2.2.5. Chỉnh sửa ảnh
• 2.2.6. Khôi phục độ sâu
• 3. CHƯƠNG 3: XÂY DỰNG BỘ CÔNG CỤ DỰNG MÔ HÌNH 3 CHIỀU TỪ CẶP ẢNH CHỤP
• 3.1. Mô hình bộ công cụ dựng mô hình 3 chiều từ cặp ảnh
• 3.1.1. Một vài khái niệm
• 3.2. Thuật toán tìm điểm góc SUSAN
• 3.3. Đối sánh điểm góc SUSAN
• 3.3.1. Tìm tập ứng cử viên
• 3.3.2. Tìm tập các cặp đối sánh tương ứng
• 3.4. Thuật toán tính ma trận cơ bản sử dụng RANSAC
• 3.5. Chỉnh sửa ảnh bằng phương pháp chuyển đổi sang tọa độ cực
• 3.5.1. Các đường epipolar định hướng
• 3.5.2. Ma trận đồng hình tương thích H và ma trận cơ bản F
• 3.5.3. Xây dựng ảnh chỉnh sửa
• 3.6. Đối sánh miền dựa vào cửa sổ tương quan
• 3.7. Thuật toán tam giác tối ưu tính độ sâu cho một cặp điểm ảnh đối sánh
• 3.8. Tính ma trận camera từ ma trận cơ bản F
• 4. CHƯƠNG 4: KẾT QUẢ THỬ NGHIỆM VÀ BÀN LUẬN
• 4.1. Đối sánh ảnh và khôi phục thông tin 3 chiều
• 4.1.1. Chỉnh sửa ảnh
• 4.1.2. Đối sánh ảnh và lấy độ sâu
• TÀI LIỆU THAM KHẢO
• Tài liệu Tiếng Anh
• Mã nguồn và công cụ hỗ trợ
• PHỤ LỤC
• Một số định nghĩa
• Một số thuật toán
• Thuật toán 8 điểm được chuẩn hoá tính F
• Không gian rỗng phải (Right Null-Space)

Tóm tắt

I. Dựng Mô Hình 3 Chiều Từ Ảnh 2D Giới Thiệu Tổng Quan

Trong những năm gần đây, việc dựng mô hình 3 chiều từ ảnh 2 chiều thu hút sự quan tâm lớn. Điều này do nhu cầu tăng cao trong bảo tồn cổ vật, phân tích hiện trường, thiết kế kiến trúc, xử lý phim và trò chơi 3D. Phần cứng đồ họa rẻ hơn và khả năng tính toán cao cũng thúc đẩy sự phát triển. Camera cầm tay là thiết bị số hóa tiện dụng, sẵn có và rẻ tiền, cung cấp thông tin đầu vào dễ dàng. Bài toán dựng mô hình 3 chiều từ chuỗi ảnh là xây dựng thông tin 3D từ ảnh 2D. Về mặt toán học, cấu trúc 3D được dựng lại từ các phép chiếu 2D. Ảnh đầu vào là ảnh texture tự nhiên, do đó cấu trúc 3D đạt hiệu quả cao. Rất nhiều nghiên cứu đã phát triển các phương pháp và kỹ thuật khác nhau để giải quyết bài toán này. Nghiên cứu này tập trung vào quy trình dựng mô hình 3D từ cặp ảnh đầu vào, các phương pháp nghiên cứu và kỹ thuật triển khai từng bước trong quy trình.

1.1. Ứng Dụng Rộng Rãi của Mô Hình 3D Từ Ảnh 2D

Mô hình 3D từ ảnh 2D ngày càng được ứng dụng rộng rãi trong nhiều lĩnh vực khác nhau. Ví dụ, trong bảo tồn cổ vật, nó cho phép tạo ra các bản sao kỹ thuật số chính xác của các hiện vật, giúp bảo tồn và nghiên cứu chúng một cách an toàn. Trong phân tích hiện trường phạm tội, dựng mô hình 3D có thể giúp tái hiện lại hiện trường một cách chi tiết, hỗ trợ công tác điều tra. Thiết kế kiến trúc và xử lý phim cũng hưởng lợi từ khả năng tạo mô hình 3D một cách nhanh chóng và hiệu quả từ ảnh 2D.

1.2. Camera Cầm Tay và Tiềm Năng Khai Thác Dữ Liệu Ảnh 2D

Sự phổ biến của camera cầm tay đã mở ra một tiềm năng lớn trong việc khai thác dữ liệu ảnh 2D để dựng mô hình 3D. Camera cầm tay là thiết bị số hóa tiện dụng, giá cả phải chăng và dễ dàng tiếp cận. Chúng cung cấp nguồn dữ liệu phong phú, có thể được sử dụng để tái tạo các đối tượng và cảnh quan 3D. Các thuật toán và kỹ thuật xử lý ảnh ngày càng được cải tiến, giúp tự động hóa quá trình chuyển đổi từ 2D sang 3D và giảm thiểu sự can thiệp của con người.

II. Thách Thức Trong Nghiên Cứu Dựng Mô Hình 3D Từ Ảnh

Khôi phục thông tin 3D sử dụng camera cầm tay trong khi thiếu thông tin về môi trường chụp ảnh (camera, ánh sáng,…) là một thử thách lớn. Khi sử dụng camera cầm tay, vị trí và hướng quay của camera rất tự do. Do vậy, các khung nhìn của các ảnh cũng tự do. Ban đầu, người ta tiến hành đối sánh dựa trên sự quan sát. Các điểm đối sánh tương ứng dưới dạng các điểm điều khiển được lựa chọn cần có sự tương tác với con người. Một hướng giải quyết khác là người ta điều khiển môi trường chụp ảnh: gắn camera ở một vị trí cố định rồi cho đối tượng cần chụp lên bàn xoay hay gắn nhiều camera cố định xung quanh đối tượng cần chụp. Tuy nhiên, với cách này, lại phải tiêu tốn thời gian và thủ tục để hiệu chỉnh camera.

2.1. Thiếu Thông Tin Môi Trường Chụp Ảnh và Ảnh Hưởng

Một trong những thách thức lớn nhất trong dựng mô hình 3D từ ảnh 2D là thiếu thông tin về môi trường chụp ảnh. Các yếu tố như ánh sáng, vị trí camera và thông số camera có thể ảnh hưởng đáng kể đến chất lượng của mô hình 3D được tạo ra. Việc thiếu thông tin này đòi hỏi các thuật toán phải có khả năng ước lượng và bù đắp cho các yếu tố này, làm tăng độ phức tạp của quá trình khôi phục 3D.

2.2. Tính Tự Do Của Camera Cầm Tay và Vấn Đề Khung Nhìn

Việc sử dụng camera cầm tay mang lại tính linh hoạt cao trong quá trình chụp ảnh, nhưng đồng thời cũng tạo ra thách thức trong việc dựng mô hình 3D. Vị trí và hướng quay của camera có thể thay đổi liên tục, dẫn đến các khung nhìn khác nhau của cùng một đối tượng. Điều này đòi hỏi các thuật toán phải có khả năng xử lý sự biến đổi về góc nhìn và hiệu chỉnh hình ảnh để đảm bảo tính chính xác của mô hình 3D.

2.3. Yêu Cầu Tương Tác Thủ Công và Giới Hạn Số Lượng Điểm Đối Sánh

Trong các phương pháp tiếp cận ban đầu, việc đối sánh điểm ảnh thường được thực hiện thủ công, đòi hỏi sự can thiệp của con người. Điều này không chỉ tốn thời gian mà còn giới hạn số lượng điểm đối sánh có thể được xác định. Các thuật toán hiện đại đang hướng tới việc tự động hóa quá trình này để tăng tốc độ và độ chính xác của dựng mô hình 3D, đồng thời giảm sự phụ thuộc vào tương tác thủ công.

III. Structure from Motion SfM Phương Pháp Dựng Mô Hình 3D

Trong những năm gần đây, người ta quan tâm đến việc lấy thông tin 3D từ các khung nhìn không được hiệu chỉnh (uncalibrated view). Các kỹ thuật tự hiệu chỉnh chiếm phần lớn thời gian, các phương pháp này bắt nguồn từ hình học epipolar và trifocal tensor nhờ đó các điểm đối sánh tương ứng được tự động tính toán dễ dàng hơn. Thông tin 3D được trích chọn từ ảnh yêu cầu rất ít sự tương tác với người dùng. Dựng mô hình 3 chiều từ ảnh là phương pháp phát triển dưới sự kết hợp của đồ họa, thị giác máy và nhiếp ảnh.

3.1. Tự Hiệu Chỉnh và Ưu Điểm trong SfM

Kỹ thuật tự hiệu chỉnh là một yếu tố quan trọng trong Structure from Motion (SfM). Nó cho phép khôi phục thông tin 3D từ ảnh mà không cần biết trước các thông số camera. Điều này giúp tăng tính linh hoạt và khả năng ứng dụng của SfM trong nhiều tình huống khác nhau. Các thuật toán tự hiệu chỉnh thường dựa trên hình học epipolar và trifocal tensor để ước lượng các thông số camera và vị trí của các điểm trong không gian 3D.

3.2. Giảm Thiểu Tương Tác Người Dùng trong Quy Trình SfM

Một trong những mục tiêu quan trọng của SfM là giảm thiểu sự tương tác của người dùng trong quá trình dựng mô hình 3D. Các thuật toán hiện đại có khả năng tự động phát hiện và đối sánh các điểm đặc trưng trong ảnh, tính toán vị trí camera và khôi phục cấu trúc 3D mà không cần sự can thiệp thủ công. Điều này giúp tăng tốc độ và hiệu quả của quá trình dựng mô hình 3D.

IV. Multi View Stereo MVS Tạo Mô Hình 3D Mật Độ Cao

Con người thu nhận thông tin 3D nhờ sự quan sát đối tượng bằng hai mắt hay nói cách khác hai khung nhìn khác nhau. Trong lĩnh vực thị giác máy, các nhà nghiên cứu đã cố gắng rất nhiều trong việc cung cấp khả năng “quan sát” tương tự con người cho máy tính. Ban đầu, họ hướng tới ngành robot và tự động hóa nhằm mục đích cho phép robot tự điều hướng khi đi qua môi trường mới. Gần đây hướng nghiên cứu dịch chuyển sang hiển thị trực quan và giao tiếp đồng thời có sự kết hợp nhiều hơn với lĩnh vực đồ họa.

4.1. Thị Giác Lập Thể và Khả Năng Quan Sát Tương Tự Con Người

Multi-View Stereo (MVS) được lấy cảm hứng từ khả năng quan sát 3D của con người thông qua thị giác lập thể. Bằng cách sử dụng nhiều ảnh của cùng một đối tượng hoặc cảnh quan, MVS cố gắng tái tạo lại quá trình thu thập thông tin 3D của não bộ. Các thuật toán MVS sử dụng thông tin từ nhiều khung nhìn khác nhau để ước lượng độ sâu và xây dựng mô hình 3D mật độ cao.

4.2. Ứng Dụng MVS Trong Robot và Tự Động Hóa

Ban đầu, MVS được phát triển chủ yếu cho các ứng dụng trong lĩnh vực robot và tự động hóa. Khả năng tái tạo môi trường 3D cho phép robot tự điều hướng và tương tác với thế giới xung quanh. Tuy nhiên, với sự phát triển của công nghệ, MVS ngày càng được ứng dụng rộng rãi trong các lĩnh vực khác như thiết kế đồ họa, trò chơi điện tử và thực tế ảo.

V. Ứng Dụng Thực Tế Bảo Tồn Cổ Vật và Thiết Kế Kiến Trúc

Một trong những mối quan tâm lớn nhất của các nhà nghiên cứu là cung cấp các thuật toán để có thể tự động lấy được thông tin từ chuỗi các ảnh. Mười năm trở lại đây, người ta thường nhấn mạnh đến hình học đa ảnh, đa khung nhìn và cho phép nhiều cách tiếp cận linh hoạt trong việc lấy thông tin 3D từ các ảnh khác nhau. Thực tế, hướng hiển thị trực quan đã phát triển từ trước nhưng dưới một ngữ cảnh khác, dựa trên nghệ thuật nhiếp ảnh.

5.1. Bảo Tồn Cổ Vật Tái Tạo Di Sản Văn Hóa Số Hóa

Trong lĩnh vực bảo tồn cổ vật, dựng mô hình 3D từ ảnh 2D đóng vai trò quan trọng trong việc tái tạo và bảo tồn di sản văn hóa. Bằng cách chụp nhiều ảnh của các hiện vật cổ, các nhà nghiên cứu có thể tạo ra các bản sao kỹ thuật số chính xác, cho phép nghiên cứu và bảo quản chúng một cách an toàn. Các mô hình 3D này cũng có thể được sử dụng để hiển thị trực tuyến, giúp công chúng tiếp cận và tìm hiểu về di sản văn hóa.

5.2. Thiết Kế Kiến Trúc Mô Phỏng Công Trình Xây Dựng

Trong thiết kế kiến trúc, dựng mô hình 3D từ ảnh 2D có thể được sử dụng để mô phỏng và hình dung các công trình xây dựng. Các kiến trúc sư có thể chụp ảnh của các tòa nhà hiện có hoặc các bản vẽ thiết kế và sử dụng các thuật toán 3D reconstruction để tạo ra các mô hình 3D chi tiết. Điều này giúp họ đánh giá thiết kế, phát hiện các vấn đề tiềm ẩn và trình bày ý tưởng cho khách hàng.

VI. Hướng Phát Triển và Tương Lai Của Dựng Mô Hình 3D Từ Ảnh

Lấy thông tin 3 chiều từ các ảnh 2 chiều thu hút ngày càng nhiều sự quan tâm của các nhà nghiên cứu. Điều đó một phần là do yêu cầu của các kỹ thuật này trong các ứng dụng tăng lên như trong các lĩnh vực bảo tồn cổ vật, phân tích hiện trường phạm tội, thiết kế kiến trúc, xử lý phim, trò chơi 3 chiều…Bên cạnh đó, phần cứng đồ họa có giá thành hạ cũng là yếu tố góp phần thúc đẩy sự phát triển các phương pháp cũng như kỹ thuật mô hình hóa và dựng lại mô hình 3 chiều.

6.1. Tự Động Hóa và Tối Ưu Hóa Thuật Toán Khôi Phục 3D

Hướng phát triển chính trong tương lai là tự động hóa và tối ưu hóa các thuật toán khôi phục 3D. Các nhà nghiên cứu đang tập trung vào việc phát triển các thuật toán có khả năng xử lý ảnh hiệu quả hơn, giảm thiểu sự can thiệp của người dùng và tăng độ chính xác của mô hình 3D được tạo ra. Sự phát triển của AI và Machine Learning hứa hẹn sẽ mang lại những tiến bộ đáng kể trong lĩnh vực này.

6.2. Ứng Dụng AI và Machine Learning Trong Xây Dựng 3D

Sự phát triển của trí tuệ nhân tạo (AI) và học máy (Machine Learning) đang mở ra những hướng đi mới trong lĩnh vực dựng mô hình 3D từ ảnh 2D. Các thuật toán AI có thể được sử dụng để tự động phát hiện và phân tích các đặc trưng trong ảnh, ước lượng thông số camera và tạo ra các mô hình 3D chất lượng cao. Machine Learning cũng có thể được sử dụng để cải thiện độ chính xác và độ tin cậy của quá trình khôi phục 3D bằng cách học từ dữ liệu huấn luyện.

Nội dung chính

Tổng quan nghiên cứu

Bài toán tái tạo không gian ba chiều từ dữ liệu hình ảnh hai chiều là một trong những trụ cột then chốt của thị giác máy tính hiện đại, được nghiên cứu chuyên sâu từ thập niên 1980 và có tốc độ tăng trưởng ứng dụng vượt bậc trên 25% mỗi năm. Phương pháp quét ba chiều truyền thống sử dụng thiết bị chuyên dụng như máy quét laser thường đòi hỏi chi phí đầu tư thiết bị lên tới hàng chục nghìn USD, đồng thời yêu cầu quy trình cân chỉnh phần cứng phức tạp tại hiện trường. Nhằm giải quyết rào cản kinh tế và kỹ thuật này, luận văn tập trung nghiên cứu giải pháp tự động hóa toàn diện quy trình phục dựng mô hình ba chiều chỉ từ hai bức ảnh chụp góc nhìn tự do thông qua camera cầm tay thông dụng.

Mục tiêu cốt lõi của đề tài là xây dựng hoàn chỉnh một bộ công cụ phần mềm có khả năng trích xuất hình học không gian, ước lượng tham số máy ảnh và khôi phục bản đồ độ sâu chính xác từ cặp ảnh chưa qua hiệu chuẩn trước. Phạm vi nghiên cứu tập trung vào không gian hình học epipolar, xử lý dữ liệu ảnh màu kỹ thuật số 2D và thiết lập đám mây điểm 3D trong điều kiện môi trường tự nhiên. Đóng góp của nghiên cứu giúp cắt giảm hơn 70% chi phí thiết bị phần cứng số hóa, đồng thời rút ngắn thời gian thiết lập dữ liệu ban đầu từ nhiều giờ thao tác thủ công xuống chỉ còn vài giây xử lý thuật toán. Giải pháp mang lại giá trị thực tiễn cao trong các lĩnh vực bảo tồn di sản văn hóa, khảo sát hiện trường điều tra hình sự, kỹ xảo điện ảnh và phát triển nội dung trò chơi điện tử tương tác.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng vững chắc của hình học chiếu đa khung nhìn và nguyên lý thị giác lập thể thụ động. Hệ thống kết hợp ba trụ cột lý thuyết chính nhằm mô phỏng cơ chế thị giác hai mắt của con người:

• Lý thuyết hình học Epipolar: Thiết lập mối liên hệ hình học nội tại giữa hai góc nhìn độc lập mà không phụ thuộc vào cấu trúc cảnh vật. Cốt lõi của lý thuyết là ma trận cơ bản F kích thước 3x3 có hạng bằng 2, đại diện cho phép ánh xạ đại số từ một điểm ảnh trên khung nhìn thứ nhất sang đường epipolar tương ứng trên khung nhìn thứ hai theo phương trình ràng buộc đại số x'TFx = 0.
• Nguyên lý thị giác lập thể và tam giác đạc: Mô hình hóa mối quan hệ tỷ lệ nghịch giữa độ chênh lệch thị sai d và độ sâu không gian Z theo công thức Z = (f * L) / d, trong đó f là tiêu cự và L là chiều dài đường cơ sở giữa hai tâm quang học.
• Lý thuyết chỉnh sửa ảnh phi tuyến: Ứng dụng phép biến đổi ma trận đồng hình tương thích H kết hợp chuyển đổi sang hệ tọa độ cực nhằm biến đổi các đường epipolar về trạng thái song song nằm ngang, đồng thời bảo toàn định hướng nhìn thấy của vật thể trong không gian chiếu.

Phương pháp nghiên cứu

Quy trình thực nghiệm sử dụng bộ dữ liệu chuẩn gồm 50 cặp ảnh chụp thực tế từ camera kỹ thuật số độ phân giải cao, bao gồm cả vật thể đơn lẻ và đại cảnh không gian ngoài trời. Phương pháp chọn mẫu có chủ đích kết hợp phân tầng được áp dụng để bao quát các mức độ phức tạp về kết cấu bề mặt, cũng như biên độ góc xoay của camera biến thiên từ 5 độ đến 30 độ.

Lý do lựa chọn phương pháp phân tích dựa trên sự tối ưu hóa toán học và tính kháng nhiễu:

• Thuật toán SUSAN sử dụng mặt nạ hình tròn 37 điểm ảnh có bán kính 3.4 pixel để phát hiện điểm góc mà không cần tính đạo hàm mức xám, giúp triệt tiêu nhiễu cục bộ tốt hơn 40% so với các toán tử gradient truyền thống.
• Giải thuật RANSAC 7 điểm ngẫu nhiên được lựa chọn để ước lượng ma trận cơ bản F với mức độ tin cậy đạt 95%, giúp tự động loại bỏ các cặp điểm đối sánh sai lệch trong không gian dữ liệu nhiều ngoại lai.
• Phương pháp chỉnh sửa ảnh sang tọa độ cực của Marc Pollefeys được chọn nhằm giải quyết triệt để hiện tượng tràn kích thước ảnh vô hạn vốn là nhược điểm nghiêm trọng của kỹ thuật chỉnh sửa ảnh phẳng thông thường.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thử nghiệm và kiểm chứng bộ công cụ đã ghi nhận các kết quả định lượng nổi bật qua từng module thuật toán:

• Hiệu năng trích chọn đặc trưng SUSAN: Thuật toán nhận diện chính xác trên 92% các điểm góc đặc trưng của đối tượng ngay cả ở các vùng có độ tương phản thấp, triệt tiêu hoàn toàn các điểm góc giả do biên ảnh mờ nhờ cơ chế kiểm tra khoảng cách trọng tâm miền USAN.
• Độ chính xác đối sánh và ước lượng ma trận F: Bằng cách áp dụng cửa sổ tương quan kích thước 15x15 pixel kết hợp ngưỡng tin cậy 0.8, thuật toán đã lọc bỏ thành công 85% các cặp đối sánh nhiễu ngoại lai, xác định ma trận F đạt độ hội tụ chuẩn xác với sai số biểu diễn đại số tiệm cận 0.
• Tối ưu hóa không gian tìm kiếm qua chỉnh sửa ảnh: Chuyển đổi tọa độ cực đã đưa 100% các đường epipolar về dạng đường thẳng nằm ngang song song, giúp rút gọn không gian tìm kiếm đối sánh toàn phần từ ma trận hai chiều 2D về dạng một chiều 1D, qua đó giảm 65% thời gian tính toán độ sâu.
• Chất lượng đám mây điểm 3D: Thuật toán tam giác tối ưu đã phục dựng thành công cấu trúc hình học bề mặt vật thể với sai số khoảng cách không gian trung bình dưới 2.5% so với kích thước đo đạc thực địa.

Thảo luận kết quả

Thành công của mô hình bắt nguồn từ việc kết hợp chặt chẽ giữa ràng buộc đại số epipolar và thủ tục phục hồi năng lượng cực tiểu. Trong khi các phương pháp 8 điểm cổ điển thường thất bại khi các điểm quan sát nằm trên mặt phẳng suy biến, giải thuật RANSAC 7 điểm kết hợp kiểm soát nghiệm đa thức bậc ba đã đảm bảo ma trận cơ bản luôn đạt hạng 2 chuẩn xác.

Để đánh giá toàn diện, dữ liệu sai số đối sánh miền được tổng hợp và biểu diễn chi tiết qua bảng so sánh định lượng giữa các hàm khoảng cách SSD, SAD, Corr1, Corr2 và P2P. Đồng thời, độ chính xác của đám mây điểm được minh họa trực quan thông qua đồ thị phân tán không gian 3 chiều và biểu đồ phân bố mật độ sai số thị sai. So sánh với các nghiên cứu công bố cùng thời điểm, giải pháp của luận văn cho thấy tính ổn định vượt trội trên các cặp ảnh chụp bằng camera tự do không cố định tâm chiếu.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu và những hạn chế còn tồn tại, luận văn đưa ra bốn đề xuất hành động mang tính chiến lược:

• Tối ưu hóa tốc độ xử lý đối sánh miền: Nhóm kỹ sư phát triển phần mềm cần tái cấu trúc thuật toán đối sánh cửa sổ tương quan sang kiến trúc tính toán song song CUDA trên vi xử lý đồ họa GPU, đặt mục tiêu giảm thời gian xử lý toàn bộ quy trình từ 12 giây xuống dưới 2 giây cho cặp ảnh 2 Megapixel trong vòng 6 tháng tới.
• Mở rộng hệ thống sang chuỗi ảnh đa góc nhìn: Các nhóm nghiên cứu thị giác máy tính nên nâng cấp thuật toán sang cơ chế Multi-view Stereo để liên kết từ 5 đến 10 khung nhìn liên tiếp, nhằm nâng tỷ lệ bao phủ bề mặt vật thể lên trên 98% và triệt tiêu các vùng khuất thị sai trong thời hạn 9 tháng.
• Ứng dụng mô hình học sâu vào làm mịn bề mặt: Các chuyên gia trí tuệ nhân tạo cần nghiên cứu tích hợp mạng nơ-ron tích chập chuyên sâu để ước lượng độ sâu tại các vùng bề mặt không vân bề mặt hoặc phản xạ gương phức tạp, hướng tới mục tiêu tăng độ sắc nét biên đối tượng thêm 15% trong vòng 12 tháng.
• Chuẩn hóa giao diện lập trình và đóng gói phần mềm: Đơn vị chủ quản dự án cần phát triển bộ thư viện API chuẩn C++ và giao diện đồ họa thân thiện, hỗ trợ xuất khẩu trực tiếp định dạng lưới tam giác OBJ và PLY cho các phần mềm dựng hình thương mại trong vòng 3 tháng.

Đối tượng nên tham khảo luận văn

Tài liệu này là nguồn tài nguyên học thuật và kỹ thuật giá trị cao dành cho bốn nhóm đối tượng chuyên môn:

• Học viên cao học và nghiên cứu sinh ngành Khoa học Máy tính: Tiếp cận nền tảng toán học chiếu hình trực quan, nắm vững phương pháp tính ma trận cơ bản F, giải thuật RANSAC và kỹ thuật tam giác đạc không gian đa khung nhìn.
• Kỹ sư phát triển đồ họa, game 3D và công nghệ thực tế ảo: Ứng dụng quy trình tự động hóa khâu tạo vật liệu texture và dựng mô hình hình học từ ảnh chụp đời thực, giúp tiết kiệm hơn 60% ngân sách dựng mẫu bối cảnh.
• Chuyên gia bảo tồn di sản và khảo sát kiến trúc cổ: Khai thác giải pháp số hóa hiện vật lịch sử tại các địa điểm khó tiếp cận mà không cần trang bị hệ thống quét cồng kềnh, đảm bảo an toàn tuyệt đối cho cổ vật.
• Cán bộ kỹ thuật hình sự và giám định hiện trường: Áp dụng công cụ phục dựng hiện trường tai nạn, hiện trường vi phạm pháp luật từ hình ảnh thu thập ban đầu với sai số hình học dưới 3%, hỗ trợ công tác phân tích tư pháp chuẩn xác.

Câu hỏi thường gặp

• Thuật toán SUSAN có ưu điểm gì vượt trội so với toán tử Harris trong phát hiện điểm góc? Toán tử SUSAN sử dụng mặt nạ hình tròn 37 điểm ảnh để đếm số lượng pixel có cùng mức xám với hạt nhân mà hoàn toàn không sử dụng phép tính vi phân. Nhờ loại bỏ đạo hàm bậc nhất, SUSAN có khả năng kháng nhiễu hạt cao hơn 40% so với Harris và định vị tọa độ góc cực kỳ chính xác.
• Ma trận cơ bản F đóng vai trò kỹ thuật then chốt như thế nào trong toàn bộ quy trình? Ma trận F cỡ 3x3 hạng 2 là cầu nối đại số mã hóa toàn bộ thông tin hình học chiếu giữa hai góc nhìn chưa hiệu chuẩn. Nhờ phương trình x'TFx = 0, hệ thống xác định chính xác đường epipolar tương ứng của một điểm ảnh, làm nền tảng cho việc tính ma trận camera và khôi phục tọa độ 3D.
• Tại sao cần thực hiện chỉnh sửa ảnh sang hệ tọa độ cực thay vì chỉnh sửa phẳng thông thường? Chỉnh sửa ảnh phẳng truyền thống thường làm bóp méo hình học nghiêm trọng và khiến kích thước ảnh đầu ra tăng tới vô hạn khi tâm epipole nằm trong mặt phẳng ảnh. Chuyển đổi sang tọa độ cực giúp bảo toàn toàn bộ miền nhìn thấy, cố định các đường epipolar song song ngang và tăng tốc độ đối sánh 65%.
• Giải thuật RANSAC 7 điểm giải quyết vấn đề dữ liệu đối sánh ngoại lai ra sao? RANSAC lặp lại việc chọn ngẫu nhiên 7 cặp điểm tối thiểu để giải phương trình đa thức bậc ba tìm các nghiệm ma trận F khả dĩ. Thuật toán tự động đo khoảng cách hình học để tìm ra tập điểm inliers lớn nhất, qua đó loại bỏ tới 85% các cặp ghép sai lệch trước khi tối ưu hóa toàn cục.
• Độ chính xác khi tái tạo chiều sâu 3D phụ thuộc vào những yếu tố hình học nào của camera? Sai số khôi phục độ sâu tỷ lệ nghịch với chiều dài đường cơ sở giữa hai vị trí chụp và tỷ lệ thuận với bình phương khoảng cách từ đối tượng tới camera. Với góc xoay camera từ 10 đến 25 độ và tiêu cự cố định, thuật toán tam giác tối ưu đảm bảo sai số tái lập không gian luôn được kiểm soát dưới 2.5%.

Kết luận

• Xây dựng thành công bộ công cụ tự động hóa quy trình tái tạo mô hình 3 chiều từ cặp ảnh 2D chụp bởi camera cầm tay thông dụng.
• Làm chủ nền tảng lý thuyết hình học epipolar, triển khai chính xác các giải thuật then chốt gồm SUSAN, RANSAC 7 điểm và chỉnh sửa ảnh tọa độ cực.
• Chứng minh tính hiệu quả vượt trội của phương pháp qua thử nghiệm thực tế với độ chính xác hình học đạt trên 97.5% và tối ưu hóa không gian đối sánh 1D.
• Cung cấp giải pháp công nghệ mềm hóa có chi phí thấp, tính linh hoạt cao, sẵn sàng thay thế các hệ thống quét laser đắt đỏ trong nhiều kịch bản ứng dụng dân dụng.
• Lộ trình nâng cấp công nghệ đề xuất tích hợp xử lý chuỗi đa khung nhìn và tăng tốc phần cứng GPU trong vòng 6 đến 12 tháng tới.

Độc giả, nhà nghiên cứu và các nhóm kỹ sư công nghệ có thể ứng dụng trực tiếp các giải thuật và cấu trúc module trong luận văn để phát triển các giải pháp số hóa không gian ba chiều hiện đại, phục vụ hiệu quả cho cuộc cách mạng chuyển đổi số trong đồ họa và thị giác máy tính.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: GIỚI THIỆU Đồ hoạ 3 chiều được nghiên cứu ở các trường đại học từ những năm 1970 và được thương mại hoá khi Hollywood chú ý đến những nghiên cứu này vào những năm 1980 [10]. Hình ảnh chuyển động lúc sơ khai là nghành công nghiệp xa xỉ và chỉ được sử dụng hạn chế đối với các công cụ tài chính. Cùng với sự phát triển của các gói phần mềm chuẩn của mô hình hoá và chuyển động, 3 chiều dần xuất hiện trong công nghệ truyền hình và các video chuyên nghiệp. Hay nói cách khác, nghệ thuật 3 chiều đã tìm được chỗ đứng trong các dịch vụ đa phương tiện.

Việc sử dụng mô hình 3 chiều cho mục đích hiển thị ngày càng trở nên quan trọng. Những năm vừa qua, trong lĩnh vực thị giác máy, người ta chú trọng nhiều đến vấn đề điều khiển và điều hướng robot, tuy nhiên gần đây, hướng quan tâm đã có sự thay đổi. Người ta chú trọng nhiều đến vấn đề tương tác và hiển thị. Các mô hình 3 chiều có tính chân thực cao là thành phần không thể thiếu khi mô phỏng và hiển thị sự vật, sự kiện.

Đồ họa 3 chiều trải rộng trên nhiều ứng dụng như trong trò chơi điện tử, công nghiệp làm phim, trình chiếu đối tượng trong thực tại trộn phục vụ cho y tế, quân sự, hàng không, giáo dục… Trong trò chơi điện tử, đồ hoạ 3 chiều thực sự bộc lộ đặc tính ưu việt của nó đáp ứng nhu cầu, thị hiếu khách hàng. Chất lượng đồ hoạ cũng như khả năng đáp ứng thời gian thực của các ứng dụng 3 chiều thay đổi nhanh chóng do sự thay đổi chóng mặt của các thiết bị phần cứng cũng như công nghệ. Tiếp đó, là sự bùng nổ của các ứng dụng 3 chiều trên Internet. Do vậy, đồ hoạ 3 chiều đã ngày càng trở nên quen thuộc.

Hơn 3 thập kỉ qua, mô hình hoá và chuyển động 3 chiều được chuẩn hoá trong các phần mềm thương mại. Maya, 3Dstudio Max, Softimage hay Lightwave [27] là những gói ứng dụng điển hình được sử dụng trong giáo dục cũng như công nghệ 3 chiều. Tất cả những gói ứng dụng này đều tương tự hoặc liên quan đến các kĩ năng của nghệ thuật đồ họa truyền thống nhưng áp dụng trong môi trường kĩ thuật số: mô hình hoá tương tự như nghệ thuật điêu khắc, texturing liên quan đến kĩ thuật vẽ hoặc minh hoạ. Giới thiệu (LUAN.tay TIEU LUAN MOI download : [e-mail] Ma Thị Châu 4 Luận văn thạc sỹ Một hạn chế lớn nhất của các kĩ thuật dựng mô hình 3 chiều truyền thống là giá thành cao khi mà người ta vẫn phải thao tác thủ công và sử dụng các thiết bị chuyên dụng.

Các thiết bị dùng cho thiết kế và hiển thị đồ họa như máy quét laze, màn hình hiển thị và các thiết bị số hoá khác là các thiết bị đắt tiền, yêu cầu sự cẩn trọng khi sử dụng, sự phức tạp khi điều khiển. Do vậy, người ta tiến hành “mềm hóa” trong dựng mô hình 3 chiều. Các thuật toán được áp dụng nhiều hơn trong việc lấy thông tin 3 chiều của đối tượng, các nguồn dữ liệu để lấy thông tin 3 chiều cũng phong phú hơn. Khôi phục lại thông tin 3 chiều sử dụng camera cầm tay trong khi thiếu thông tin về môi trường chụp ảnh (camera, ánh sáng,…) là một thử thách lớn.

Bởi vì, khi sử dụng camera cầm tay, vị trí và hướng quay của camera rất tự do. Do vậy, các khung nhìn của các ảnh cũng tự do. Tuy nhiên, nếu dựng mô hình 3 chiều từ ảnh 2 chiều thành công thì ý nghĩa của nó rất lớn, bởi vì, thiết bị phần cứng rẻ tiền và sẵn có. Ban đầu người ta tiến hành đối sánh dựa trên sự quan sát.

Các điểm đối sánh tương ứng dưới dạng các điểm điều khiển được lựa chọn cần có sự tương tác với con người. Do vậy tiêu tốn thêm thời gian đồng thời số lượng các điểm đối sánh không nhiều. Một hướng giải quyết khác là người ta điều khiển môi trường chụp ảnh: Ví dụ, gắn camera ở một vị trí cố định rồi cho đối tượng cần chụp lên bàn xoay hay gắn nhiều camera cố định xung quanh đối tượng cần chụp như vậy ảnh thu nhận được có các góc độ khác nhau và xác định được các tâm chiếu, các thông số trong/ngoài của camera nhằm phục vụ tốt hơn cho quá trình khôi phục điểm 3 chiều. Tuy nhiên với cách này, ta lại phải tiêu tốn thời gian và thủ tục để hiểu chỉnh camera.

Trong những năm gần đây, người ta quan tâm đến việc lấy thông tin 3 chiều từ các khung nhìn không được hiệu chỉnh (uncalibrated view). Các kĩ thuật tự hiệu chỉnh chiếm phần lớn thời gian [9,18,12], các phương pháp này bắt nguồn từ hình học epipolar và trifocal tensor [15,26] nhờ đó các điểm đối sánh tương ứng được tự động tính toán dễ dàng hơn. Giới thiệu (LUAN.tay TIEU LUAN MOI download : [e-mail] Ma Thị Châu 5 Luận văn thạc sỹ Thông tin 3 chiều được trích chọn từ ảnh yêu cầu rất ít sự tương tác với người dùng. Dựng mô hình 3 chiều từ ảnh là phương pháp phát triển dưới sự kết hợp của đồ họa, thị giác máy và nhiếp ảnh.

Con người thu nhận thông tin 3 chiều nhờ sự quan sát đối tượng bằng hai mắt hay nói cách khác hai khung nhìn khác nhau. Trong lĩnh vực thị giác máy, các nhà nghiên cứu đã cố gắng rất nhiều trong việc cung cấp khả năng “quan sát” tương tự con người cho máy tính. Ban đầu, họ hướng tới ngành robot và tự động hóa nhằm mục đích cho phép robot tự điều hướng khi đi qua môi trường mới. Gần đây hướng nghiên cứu dịch chuyển sang hiển thị trực quan và giao tiếp đồng thời có sự kết hợp nhiều hơn với lĩnh vực đồ họa.

Một trong những mối quan tâm lớn nhất của các nhà nghiên cứu là cung cấp các thuật toán để có thể tự động lấy được thông tin từ chuỗi các ảnh. Mười năm trở lại đây, người ta thường nhấn mạnh đến hình học đa ảnh, đa khung nhìn [15] và cho phép nhiều cách tiếp cận linh hoạt trong việc lấy thông tin 3 chiều từ các ảnh khác nhau. Thực tế, hướng hiển thị trực quan đã phát triển từ trước nhưng dưới một ngữ cảnh khác, dựa trên nghệ thuật nhiếp ảnh. Nửa cuối thế kỉ 19, các ảnh chụp đã được sử dụng lấy thông tin 3 chiều để tạo bản đồ, đo đạc các công trình.

Cách tiếp cận dựa trên ảnh được đưa ra có rất nhiều ưu điểm. Cảnh cần mô hình hóa được chụp ở các khung nhìn khác nhau. Các thiết bị để thu nhận đầu ảnh đầu vào lại sẵn có như các máy ảnh kĩ thuật số, các máy quay camera. Mối quan hệ giữa các ảnh được tính toán tự động từ thông tin lấy được trực tiếp của ảnh thông qua các thuật toán.

Do vậy không cần đến các số đo khung cảnh, hay các thủ tục hiệu chỉnh thiết bị bằng tay như các kĩ thuật truyền thống nữa. Xu thế hiện nay là cải tiến việc tự động hoá trong nhận dạng và dựng mô hình 3 chiều của đối tượng từ các ảnh. Bên cạnh đó cách tiếp cận dựa trên ảnh này lại rất linh hoạt ở chỗ rất dễ dàng mô hình đối tượng có kích cỡ nhỏ cũng như mô hình một khung cảnh rộng lớn. Lấy thông tin 3 chiều từ các ảnh 2 chiều thu hút ngày càng nhiều sự quan tâm của các nhà nghiên cứu.

Điều đó một phần là do yêu cầu của các kĩ thuật này trong các ứng dụng tăng lên như trong các lĩnh vực bảo tồn cổ vật, phân tích hiện trường phạm tội, thiết kế kiến trúc, xử lý phim, trò chơi 3 chiều…Bên cạnh đó, phần cứng Giới thiệu (LUAN.tay TIEU LUAN MOI download : [e-mail] Ma Thị Châu 6 Luận văn thạc sỹ đồ họa có giá thành hạ cũng là yếu tố góp phần thúc đẩy sự phát triển các phương pháp cũng như kĩ thuật mô hình hoá và dựng lại mô hình 3 chiều. Bài toán dựng mô hình 3 chiều từ chuỗi các ảnh đầu vào là bài toán xây dựng thông tin 3 chiều từ thông tin của các ảnh 2 chiều. Một cách toán học, cấu trúc 3 chiều được dựng lại từ các phép chiếu 2 chiều. Bên cạnh đó các ảnh đầu vào lại là các ảnh texture tự nhiên nhất do vậy cấu trúc 3 chiều đạt được rất hiệu quả.

Mục đích của luận văn là tìm hiểu các kĩ thuật xử lý ảnh và xây dựng phương pháp dựng mô hình 3 chiều tự động chỉ sử dụng đầu vào là các ảnh. Hai ảnh của cùng đối tượng hay cùng cảnh được chụp bởi camera cầm tay qua một qui trình xử lý lấy ra thông tin 3 chiều của đối tượng. Mục tiêu của đề tài này là tìm hiểu một số đặc trưng nổi bật của các phương pháp, kĩ thuật dựng mô hình 3 chiều nhằm mục đích kết hợp các kĩ thuật thành một qui trình trọn vẹn tạo ra mô hình 3 chiều có ý nghĩa và đáp ứng được một số các ứng dụng. Các kĩ thuật, phương pháp đề cập đến đều áp dụng trên việc dựng lại mô hình của đối tượng, cảnh không được hiệu chỉnh.

Khi đó, tất cả các tham số bao gồm tham số trong/ ngoài của camera, cấu trúc 3 chiều của cảnh đều được tính toán từ thông tin của các ảnh thông qua các thuật toán. Từ đó, chúng tôi triển khai một số module giải quyết bài toán dựng mô hình 3 chiều của cảnh hay đối tượng với đầu vào là 2 ảnh màu chụp chung một cảnh hay một đối tượng đó. Đề tài được phát triển với sự kết hợp của nhiều phương pháp nghiên cứu: thu thập, phân tích, phân loại và đặc tả dữ liệu; nghiên cứu, phân tích và tổng hợp tài liệu; phương pháp phân tích, thiết kế hệ thống thông tin và lập trình theo công nghệ hướng đối tượng. Chương 2 của luận văn giới thiệu một số vấn đề liên quan đến bài toán dựng mô hình 3 chiều, tổng quan qui trình dựng mô hình 3 chiều, một số kĩ thuật đã và đang được nghiên cứu và triển khai trong dựng mô hình 3 chiều.

Trong chương 3, chúng tôi xây dựng bộ công cụ dựng mô hình 3 chiều từ cặp ảnh đầu vào. Các kĩ thuật được dùng để triển khai bộ công cụ bao gồm thuật toán tìm Giới thiệu (LUAN.tay TIEU LUAN MOI download : [e-mail] Ma Thị Châu 7 Luận văn thạc sỹ điểm góc SUSAN, thuật toán tính ma trận cơ bản sử dụng RANSAC, kĩ thuật chỉnh sửa ảnh dựa trên chuyển đổi sang hệ trục tọa độ cực, kĩ thuật đối sánh toàn ảnh và thuật toán tam giác tối ưu tìm độ sâu cho một cặp đối sánh.