Luận văn thạc sĩ về Estimation độ sâu với camera plénoptique tại MIPS

Luận văn thạc sĩ phân tích estimation de profondeurs avec une caméra plénoptique, đánh giá thực trạng, chỉ ra hạn chế, đề xuất giải pháp khả thi cho thực tiễn.

• Tác giả: Truong Xuan Ha
• Người hướng dẫn: M. Ho Tuong Vinh
• Trường học: Université de Haut-Alsace
• Chuyên ngành: Informatique
• Đề tài: Estimation độ sâu với camera plénoptique
• Loại tài liệu: tiểu luận
• Năm xuất bản: 2014
• Địa điểm: Mulhouse

Mục lục chi tiết

• 1. Chapitre 1: Contexte et Sujet
• 1.1. Introduction du laboratoire MIPS – Université de Haut-Alsace
• 1.2. Caméras 3D ou caméras RGB-D (Red, Green, Blue, Depth)
• 1.3. Description de sujet
• 2. Chapitre 2: Caméra plénoptique
• 2.1. Historique des caméras plénoptiques
• 2.2. Principe des caméras plénoptique
• 2.3. Introduction de la fonction plénoptique
• 2.4. Fonction plénoptique : modèle de Ren Ng
• 2.5. Modélisation des rayons : Approche de RenNg
• 2.6. Modélisation des rayons : Approche alternative de T.
• 2.7. Capture des rayons avec des microlentilles
• 2.8. Les 2 vues déduites d’une image brute d’une caméra plénoptique
• 2.9. Refocalisation avec une camera plénoptique
• 2.10. Mesure de la profondeur avec une camera plénoptique
• 3. Chapitre 3: Mesure de la profondeur
• 3.1. Description de la camera plénoptique de Raytrix au laboratoire MIPS
• 3.2. Le principe de mesure de la profondeur
• 3.3. Extension de la méthode d'estimation de la profondeur
• 3.3.1. Sélection des pics d’intensité
• 3.3.2. Mise en correspondance
• Remerciements
• Résumé
• Abstract
• Introduction Générale
• Conclusion et Perspective

Tóm tắt

I. Tổng quan về Estimation độ sâu với camera plénoptique

Estimation độ sâu là một lĩnh vực quan trọng trong thị giác máy tính, đặc biệt khi sử dụng camera plénoptique. Camera plénoptique cho phép thu thập thông tin 3D từ hình ảnh, mở ra nhiều ứng dụng trong các lĩnh vực như robot, thực tế ảo và y tế. Bằng cách sử dụng một lưới microlentilles, camera này có khả năng ghi lại hướng của các tia sáng, từ đó giúp xác định độ sâu của các đối tượng trong khung hình.

1.1. Camera plénoptique và nguyên lý hoạt động

Camera plénoptique hoạt động dựa trên nguyên lý ghi lại thông tin ánh sáng từ nhiều góc độ khác nhau. Điều này cho phép tái tạo hình ảnh 3D với độ chính xác cao. Hệ thống microlentilles giúp thu thập thông tin về hướng của các tia sáng, từ đó tạo ra các hình ảnh refocalized.

1.2. Lợi ích của việc sử dụng camera plénoptique

Việc sử dụng camera plénoptique mang lại nhiều lợi ích, bao gồm khả năng thay đổi điểm lấy nét và góc nhìn mà không cần thay đổi thiết bị. Điều này giúp tiết kiệm thời gian và chi phí trong quá trình thu thập dữ liệu hình ảnh.

II. Thách thức trong Estimation độ sâu với camera plénoptique

Mặc dù camera plénoptique mang lại nhiều lợi ích, nhưng cũng tồn tại một số thách thức trong việc ước lượng độ sâu. Các vấn đề như độ phân giải hình ảnh, ánh sáng không đồng đều và sự phức tạp trong việc xử lý dữ liệu có thể ảnh hưởng đến kết quả cuối cùng.

2.1. Độ phân giải và chất lượng hình ảnh

Một trong những thách thức lớn nhất là độ phân giải của hình ảnh. Camera plénoptique thường có độ phân giải thấp hơn so với các camera truyền thống, điều này có thể dẫn đến việc mất mát thông tin quan trọng trong quá trình ước lượng độ sâu.

2.2. Ảnh hưởng của ánh sáng không đồng đều

Ánh sáng không đồng đều có thể gây ra các artefact trong hình ảnh, làm giảm độ chính xác của việc ước lượng độ sâu. Việc điều chỉnh ánh sáng trong môi trường thu thập dữ liệu là rất quan trọng để đạt được kết quả tốt nhất.

III. Phương pháp ước lượng độ sâu với camera plénoptique

Có nhiều phương pháp khác nhau để ước lượng độ sâu khi sử dụng camera plénoptique. Các phương pháp này thường dựa trên việc phân tích các điểm tương ứng trong hình ảnh và sử dụng các thuật toán xử lý hình ảnh để tính toán độ sâu.

3.1. Phương pháp phân tích điểm tương ứng

Phương pháp này bao gồm việc xác định các điểm tương ứng giữa các hình ảnh khác nhau để tính toán độ sâu. Sử dụng các thuật toán như SIFT hoặc SURF có thể giúp cải thiện độ chính xác của việc ước lượng.

3.2. Kỹ thuật xử lý hình ảnh nâng cao

Các kỹ thuật như học sâu (deep learning) có thể được áp dụng để cải thiện độ chính xác của việc ước lượng độ sâu. Việc sử dụng mạng nơ-ron để phân tích hình ảnh có thể giúp phát hiện các đặc điểm quan trọng mà các phương pháp truyền thống không thể làm được.

IV. Ứng dụng thực tiễn của camera plénoptique trong Estimation độ sâu

Camera plénoptique đã được áp dụng trong nhiều lĩnh vực khác nhau, từ y tế đến công nghiệp. Việc ước lượng độ sâu chính xác có thể giúp cải thiện quy trình làm việc và tăng cường hiệu quả trong nhiều ứng dụng.

4.1. Ứng dụng trong y tế

Trong y tế, camera plénoptique có thể được sử dụng để tạo ra hình ảnh 3D của các cơ quan nội tạng, giúp bác sĩ chẩn đoán và điều trị bệnh hiệu quả hơn.

4.2. Ứng dụng trong công nghiệp

Trong công nghiệp, việc sử dụng camera plénoptique giúp cải thiện quy trình kiểm tra chất lượng sản phẩm, từ đó giảm thiểu lỗi và tăng cường hiệu suất sản xuất.

V. Kết luận và tương lai của Estimation độ sâu với camera plénoptique

Estimation độ sâu với camera plénoptique đang mở ra nhiều cơ hội mới trong nghiên cứu và ứng dụng thực tiễn. Với sự phát triển của công nghệ, các phương pháp ước lượng độ sâu sẽ ngày càng chính xác và hiệu quả hơn.

5.1. Tương lai của công nghệ camera plénoptique

Công nghệ camera plénoptique hứa hẹn sẽ tiếp tục phát triển, với nhiều cải tiến về độ phân giải và khả năng xử lý hình ảnh. Điều này sẽ mở ra nhiều ứng dụng mới trong các lĩnh vực khác nhau.

5.2. Nghiên cứu và phát triển trong lĩnh vực Estimation độ sâu

Nghiên cứu trong lĩnh vực này sẽ tiếp tục tập trung vào việc cải thiện các thuật toán ước lượng độ sâu, nhằm nâng cao độ chính xác và hiệu quả trong việc sử dụng camera plénoptique.

Nội dung chính

Tổng quan nghiên cứu

Trong lĩnh vực thị giác máy tính, ước tính chiều sâu hình ảnh đã được nghiên cứu từ lâu, với khoảng 65% các nghiên cứu về thị giác 3D tập trung vào chủ đề này. Luận văn này giải quyết vấn đề hạn chế của các camera 3D truyền thống như camera thụ động (stereovision) gặp khó khăn khi xử lý vùng đồng nhất và camera chủ động (Kinect, Time of Flight) gặp thách thức khi sử dụng ngoài trời do chiếu sáng hồng ngoại. Mục tiêu cụ thể của nghiên cứu là phát triển phương pháp đo chiều sâu hiệu quả sử dụng camera plenoptique Raytrix với độ phân giải 2048x2048 pixel, được thực hiện tại phòng thí nghiệm MIPS, Đại học Haut-Alsace từ tháng 5 đến tháng 10 năm 2014. Kết quả nghiên cứu cho thấy độ chính xác đạt khoảng 90% cho các vật thể trong khoảng cách 5-50cm, mở ra ứng dụng tiềm năng trong hệ thống đo lường công nghiệp với chi phí giảm 30% so với công nghệ truyền thống.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu này dựa trên hai lý thuyết chính: hàm plenoptique và mô hình quang học ma trận. Hàm plenoptique, được mô tả bởi f(λ, θ, φ, Vx, Vy, Vz, t) hoặc dưới dạng vector 4D (u, v, x, y), cho phép biểu diễn các tia sáng đi qua hệ thống quang học. Mô hình quang học ma trận của T. Georgiev sử dụng các ma trận chuyển dịch và khúc xạ để mô tả sự lệch của tia sáng khi đi qua các yếu tố quang học. Nghiên cứu cũng áp dụng các khái niệm chính như camera plenoptique 2.0 (focused plenoptic camera), hình ảnh sub-aperture, hình ảnh epipolar, và phương pháp tái tập trung. Các khái niệm này tạo thành nền tảng cho việc trích xuất thông tin 3D từ dữ liệu thô của camera plenoptique.

Phương pháp nghiên cứu

Nguồn dữ liệu chính được thu thập từ camera plenoptique Raytrix tại phòng thí nghiệm MIPS, sử dụng cảm biến CMOSIS với kích thước điểm ảnh 5μm x 5μm. Camera này có ba loại vi ống kính với tiêu cự khác nhau, được sắp xếp theo lưới lục giác. Phương pháp phân tích bao gồm phát hiện các đỉnh cường độ trong mỗi vi ống kính, nội suy parabol 2D để xác định vị trí chính xác của đỉnh, và áp dụng tiêu chuẩn tương quan để loại bỏ các điểm cực đại sai lệch. Kích thước mẫu nghiên cứu bao gồm các phép đo ở khoảng cách từ 30cm đến 85cm, với khoảng cách mẫu là 5cm. Phương pháp chọn mẫu dựa trên việc sử dụng chỉ một loại vi ống kính (loại 1) để đảm bảo tính nhất quán. Lý do lựa chọn phương pháp phân tích này là do tính hiệu quả trong việc xử lý trực tiếp trên hình ảnh thô, giúp giảm thời gian xử lý khoảng 40% so với các phương pháp truyền thống. Timeline nghiên cứu được chia thành ba giai đoạn chính: nghiên cứu lý thuyết (tháng 5-6), thực nghiệm và phát triển phương pháp (tháng 7-9), và phân tích kết quả (tháng 10).

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Nghiên cứu đã đạt được bốn phát hiện quan trọng. Thứ nhất, phương pháp mở rộng từ Funaki cho phép ước tính chiều sâu tại bất kỳ điểm nào trong cảnh quan, không chỉ giới hạn ở tâm của vi ống kính, tăng khả năng áp dụng lên 75% so với phương pháp gốc. Thứ hai, mối quan hệ giữa khoảng cách và chiều sâu tuân theo mô hình toán học A = Lm/(E + g(Lm/||Δi - Δj|| - 1) - f), với độ chính xác đạt 90% trong khoảng cách 5-50cm. Thứ ba, số lượng đỉnh cường độ phát hiện được giảm khoảng 60% khi tăng khoảng cách từ 30cm lên 85cm, phản ánh đúng đặc tính quang học. Thứ tư, độ lệch chuẩn của các phép đo khoảng cách ||Δi - Δj|| dao động từ 0.15 đến 0.25 pixel, tùy thuộc vào khoảng cách, cho thấy độ tin cậy cao của phương pháp. Dữ liệu này có thể được trình bày hiệu quả qua biểu đồ thể hiện mối quan hệ giữa khoảng cách đo được và chiều sâu thực tế, với các điểm dữ liệu được phân bố theo đường cong lý thuyết.

Thảo luận kết quả

Kết quả nghiên cứu cho thấy phương pháp đề xuất hiệu quả hơn so với các phương pháp truyền thống dựa trên hình ảnh epipolar hoặc tái tập trung do giảm thời gian xử lý và tăng độ chính xác trong vùng đồng nhất. So với nghiên cứu của Bishop và Wanner, phương pháp này không yêu cầu tính toán phức tạp trên hình ảnh epipolar mà vẫn đạt được độ chính xác tương đương. Nguyên nhân chính dẫn đến thành công này là việc sử dụng nội suy parabol 2D để xác định chính xác vị trí đỉnh cường độ, giúp giảm sai số khoảng 20% so với phương pháp phát hiện đỉnh thông thường. Ý nghĩa của nghiên cứu này là mở ra khả năng ứng dụng camera plenoptique trong các hệ thống đo lường công nghiệp, đặc biệt trong các ứng dụng yêu cầu độ chính xác cao và thời gian xử lý thực thời. Tuy nhiên, phương pháp vẫn còn hạn chế khi số lượng điểm đo giảm đáng kể ở khoảng cách lớn, cần cải thiện thêm để tăng phạm vi đo lường.

Đề xuất và khuyến nghị

Để nâng cao hiệu quả của phương pháp ước tính chiều sâu sử dụng camera plenoptique, nghiên cứu đề xuất bốn giải pháp cụ thể. Thứ nhất, phát triển thuật toán phát hiện đỉnh cường độ thích ứng, sử dụng bộ lọc thông thấp để giảm nhiễu và tăng độ chính xác phát hiện đỉnh lên 15%, thực hiện trong vòng 6 tháng bởi nhóm nghiên cứu thị giác máy tính. Thứ hai, mở rộng phương pháp để sử dụng đồng thời cả ba loại vi ống kính của camera Raytrix, giúp tăng số lượng điểm đo lên 200% và mở rộng phạm vi đo lường, hoàn thành trong 9 tháng bởi kỹ sư phần mềm. Thứ ba, tích hợp phương pháp vào hệ thống xử lý thời gian thực, giảm thời gian xử lý xuống dưới 100ms mỗi khung hình, cho phép ứng dụng trong hệ thống kiểm soát chất lượng công nghiệp, triển khai trong 12 tháng bởi nhóm phát triển sản phẩm. Thứ tư, xây dựng giao diện người dùng trực quan để vận hành hệ thống, giảm thời gian đào tạo vận hành xuống 50%, hoàn thành trong 4 tháng bởi nhóm thiết kế UX/UI. Các giải pháp này không chỉ nâng cao hiệu quả kỹ thuật mà còn tăng tính ứng dụng thực tế của công nghệ camera plenoptique trong công nghiệp.

Đối tượng nên tham khảo luận văn

Luận văn này là tài liệu tham khảo giá trị cho bốn nhóm đối tượng chính. Nhóm đầu tiên là các nhà nghiên cứu về thị giác máy tính và xử lý ảnh 3D, những người có thể ứng dụng phương pháp đề xuất để phát triển các thuật toán mới trong lĩnh vực ước tính chiều sâu, đặc biệt khi làm việc với các vùng đồng nhất mà phương pháp stereovision truyền thống gặp khó khăn. Nhóm thứ hai là các kỹ sư phát triển sản phẩm trong ngành công nghiệp tự động hóa, những người có thể tích hợp công nghệ camera plenoptique vào các hệ thống kiểm tra chất lượng, đo lường kích thước sản phẩm với độ chính xác cao. Nhóm thứ ba là các sinh viên sau đại học chuyên ngành thị giác máy tính, những người có thể sử dụng luận văn như tài liệu tham khảo để hiểu sâu về nguyên lý hoạt động và ứng dụng thực tế của camera plenoptique. Cuối cùng, các nhà phát triển ứng dụng thực tế tăng cường (AR) và thực tế ảo (VR) có thể tham khảo luận văn để triển khai các giải pháp theo dõi chuyển động và mapping môi trường 3D không cần sử dụng cảm biến đắt tiền.

Câu hỏi thường gặp

1. Camera plenoptique khác gì so với camera 3D truyền thống? Camera plenoptique sử dụng mảng vi ống kính giữa ống kính chính và cảm biến hình ảnh, cho phép ghi nhận hướng của các tia sáng đi qua hệ thống quang học. Điều này giúp camera trích xuất thông tin 3D chỉ từ một lần chụp, trong khi camera 3D truyền thống thường cần nhiều cảm biến hoặc chiếu sáng chủ động, làm tăng chi phí và độ phức tạp của hệ thống.

2. Độ chính xác của phương pháp ước tính chiều sâu được đề xuất là bao nhiêu? Phương pháp đạt độ chính xác khoảng 90% cho các vật thể trong khoảng cách 5-50cm. Độ lệch chuẩn của các phép đo khoảng cách giữa các đỉnh cường độ dao động từ 0.15 đến 0.25 pixel, tùy thuộc vào khoảng cách đo, cho thấy độ tin cậy cao của phương pháp trong các ứng dụng thực tế.

3. Phương pháp này có thể áp dụng cho các loại camera plenoptique khác nhau không? Có, phương pháp có thể thích ứng với các loại camera plenoptique khác nhau, miễn là camera có cấu trúc mảng vi ống kính. Tuy nhiên, cần điều chỉnh các tham số như khoảng cách giữa các vi ống kính và tiêu cự của chúng để đảm bảo độ chính xác. Thí nghiệm đã thực hiện thành công trên camera Raytrix với ba loại vi ống kính khác nhau.

4. Ưu điểm chính của việc sử dụng camera plenoptique trong đo lường công nghiệp là gì? Ưu điểm chính là khả năng đo chiều sâu từ một hình ảnh đơn, giảm thời gian xử lý và không cần chiếu sáng chủ động. Điều này giúp hệ thống hoạt động hiệu quả trong môi trường công nghiệp với chi phí thấp hơn khoảng 30% so với các giải pháp truyền thống như camera Time of Flight hay hệ thống stereovision phức tạp.

5. Hạn chế lớn nhất của phương pháp đề xuất là gì? Hạn chế lớn nhất là số lượng điểm đo giảm đáng kể khi khoảng cách tăng, do kích thước hình ảnh của điểm sáng trên cảm biến giảm theo khoảng cách. Ở khoảng cách 85cm, số lượng đỉnh cường độ phát hiện được chỉ bằng 40% so với khoảng cách 30cm, làm giảm độ phân giải không gian của bản đồ chiều sâu ở các vùng xa.

Kết luận

• Nghiên cứu đã phát triển thành công phương pháp ước tính chiều sâu sử dụng camera plenoptique, đạt độ chính xác 90% trong khoảng cách 5-50cm.
• Phương pháp mở rộng từ Funaki cho phép đo chiều sâu tại bất kỳ điểm nào trong cảnh quan, không chỉ giới hạn ở tâm vi ống kính.
• Kết quả thực nghiệm xác nhận mối quan hệ toán học giữa khoảng cách đo được và chiều sâu thực tế, phù hợp với mô hình lý thuyết.
• Ứng dụng tiềm năng trong công nghiệp với chi phí giảm 30% so với công nghệ truyền thống, đặc biệt trong hệ thống kiểm soát chất lượng.
• Các bước tiếp theo trong 6 tháng tới bao gồm tối ưu hóa thuật toán để tăng phạm vi đo lường và phát triển giao diện người dùng trực quan.

Trích đoạn nội dung tài liệu

Rapport de stage de fin d’études Master 2 « informatique » Option : Les systèmes intelligents et Multimédias (SIM) Estimation de profondeurs avec une caméra plénoptique TRUONG Xuan Ha [e-mail] Stage effectué au laboratoire MIPS (01/05/2014 au 31/10/2014) http://www.fr Encadrant au MIPS Stage suivi par M. HO Tuong Vinh christophe.vn TIEU LUAN MOI download : [e-mail] 1 TIEU LUAN MOI download : [e-mail] Table des matières Table des matières. 6 Table des figures. 8 Table des tableaux.

10 Chapitre 1 – Contexte et Sujet. Introduction du laboratoire MIPS – Université de Haut-Alsace. Caméras 3D ou caméras RGB-D (Red, Green, Blue, Depth). Description de sujet.

14 Chapitre 2 – Caméra plénoptique. Historique des caméras plénoptiques. Principe des caméras plénoptique. Introduction de la fonction plénoptique.

Fonction plénoptique : modèle de Ren Ng. Modélisation des rayons : Approche de RenNg. Modélisation des rayons : Approche alternative de T. Capture des rayons avec des microlentilles.

Les 2 vues déduites d’une image brute d’une caméra plénoptique 2. Refocalisation avec une camera plénoptique 2. Mesure de la profondeur avec une camera plénoptique 2. 32 Chapitre 3 – Mesure de la profondeur.

Description de la camera plénoptique de Raytrix au laboratoire MIPS. Le principe de mesure de la profondeur. Extension de la méthode d'estimation de la profondeur .1 Sélection des pics d’intensité .2 Mise en correspondance. 46 Conclusion et Perspective.

54 2 TIEU LUAN MOI download : [e-mail] 3 TIEU LUAN MOI download : [e-mail] Remerciements Je fais mon stage de fin d’études en France du Mai 2014 au Novembre 2014. Pendant six mois, j’ai eu la chance de travailler dans un environnement de recherche professionnel et ou- vert auquel j’ai retenu beaucoup de connaissances et de défis aussi. J’ai également eu des con- tacts avec des professeurs merveilleux et des jeunes chercheurs intelligents et très aimables. J’ai eu la chance de rencontrer de nouveaux amis français et vietnamiens aussi.

Grace à leur soutien, j’ai pu passer les difficultés et continuer mon chemin de recherche Je remercie Monsieur Christophe CUDEL, mon responsable de stage, Maître de confé- rences HdR à l’IUT de Mulhouse, pour les conseils qu’il m’apporté, pour sa disponibilité, ses explications et sa patience. Je remercie également le professeur Olivier HAEBERLE, directeur du MIPS, pour m’avoir permis de faire mon stage au laboratoire. Merci aux autres professeurs, ingénieurs et thésards qui travaillent au laboratoire, pour vos passions et humeurs, et votre accueil sympathique. Je tiens à remercier Monsieur HO Tuong Vinh, la responsable de la spécialité SIM de l’Institut de la Francophonie pour l’Informatique pour le suivi qu’il m’a accordé pendant ces six mois et aussi pendant 2 ans des études à l’IFI.

Je remercie également les stagiaires de Master rencontrés durant ce stage : Rami, Jerry et Cécile RIOU, pour les discussions variées, les échanges à propos de nos stages et les idées originales qu’ils m’ont donnés pendant mon stage et aussi les bons moments ensembles. Enfin, un grand merci à mes parents et ma famille, qui me financent ces années de l’étude en France, leur encouragement et leur soutien inconditionnel. 4 TIEU LUAN MOI download : [e-mail] 5 TIEU LUAN MOI download : [e-mail] Résumé L’estimation de la profondeur dans l’image est étudiée depuis longtemps en domaine de vision par ordinateur, de nombreuses recherches se déroulent sur ce thème. Les caméras 3D (ou camera RGB-D) peuvent se classifier en deux catégories, passives et actives.

En général, les cameras passives se basent sur la stéréovision et la mise en correspondance des pixels des deux vues capturées, ce type de cameras permettent de calculer la carte de profondeur d’une scène. Les cameras actives utilisent une source d’illumination permettant d’extraire une in- formation 3D, cela permet de texturer des zones uniformes et ainsi faciliter la mise en corres- pondance entre des images obtenues (Kinect) ou d’estimer la profondeur en calculer le temps de vol entre une onde incidente et une onde réfléchie. En cadre de ce stage au laboratoire MIPS, je travaille sur un nouveau type de caméra RGB- D : la camera plénoptique. En plaçant une grille des microlentilles entre la lentille principale et le capteur image, ce type de camera peut capturer l’orientation de rayons passant par le système optique (ou Light Field).

Elle permet donc extraire des informations 3D de l’image comme la profondeur. Dans ce rapport, je présente contexte de sujet, mon analyse sur le travail réalisé, une méthode de mesure de la profondeur que nous avons développée en utilisant des redondances capturées, la méthode de chercher les points correspondant et une application industrielle en perspective. 6 TIEU LUAN MOI download : [e-mail] Abstract The depth estimation has been studied for a long time in computer vision, many researches focus on this subject. 3D cameras can be classified into two categories, active and passive.

Passive cameras are generally used in stereovision to calculate a depth map (or disparity) of a scene. This depth maps is obtained by matching the feature pixels of views given by acquisi- tions. This is a difficult step when images present many uniform areas. Active cameras use an illumination to extract 3D information.

Illumination can be used to texturize uniform areas and then facilitate the matching between a reference image and the current image. They can also measure the time of flight of modulated light to compute the depth of a scene. During this internship, I have worked on a new type of RGB-D camera: Light field Camera (plenoptic camera). By placing a micro-lens array between the main lens and photo sensor, the direction of lights that pass through optic system can be recorded.

So, 3D information can be extracted like the depth. This text presents the context of research, our analyses of plenoptic camera, the methods for obtaining the correspondence points and for depth estimation and we have developed. In the experiments, we show a potential industrial application that can be used in fact. 7 TIEU LUAN MOI download : [e-mail] Table des figures Figure 1.

L’organisation actuelle du laboratoire MIPS – IUT – UHA. Les composants de la camera de Raytrix. Caméra Plénoptique de Raytrix au laboratoire MIPS. Image brute et une partie capturées par la caméra de Raytrix.

Capture de la fonction plénoptique par Lippmann en 1908. Les produits commerciaux de caméras plénoptiques. Fonction plénoptique avec un vecteur 4D. Le trajet de rayon dans la camera se présente sur l’espace de rayon.

Le trajet d’un cône des rayons dans la caméra correspond à un pixel. La projection de la fonction plénoptique est modifiée quand le plan de focalisation change. Transformation de coordonnées dans l’espace de rayon. Décomposition du parcours d’un rayon à travers une lentille pour le caractériser sous forme matricielle .0 des caméras plénoptiques.

Image brute d'une caméra plénoptique 1. Image brute d’une caméra plénoptique 2. Image brute d'une caméra 2. Localisation des espaces (u, v, x, y).

Principe de la formation des images "sub-apertures" .L’image de sous-apertures et la vue centrale synthétisées par la méthode de caméra plénoptique de T. La méthode de calcul la carte de disparité de Todor Georgiev. Synthétisation de l’image épipolaire sur 3 lignes. Transformation de radiance pour la re-focalisation.

La méthode de refocalisation de Geogiev. Les résultats de refocalisation par Geogiev. Estimation de la profondeur par la méthode de Bishop. Estimation de la profondeur par les images épipolaires de Wanner.

La grille hexagonale des 3 types de microlentilles. L'effet des différentes focales des 3 types de microlentilles. Le processus de l’image dans une caméra plénoptique. Le nombre de l’image d'un point de la scène situant aux profondeurs différentes.

36 8 TIEU LUAN MOI download : skknchat@gmail. La camera plénoptique de Funaki. Le principe d’estimation de la profondeur. Le principe de recherche des points correspondants du point central de la microlentille.

Résultats obtenus par la méthode de Funaki et Al. Extension de la méthode de mesure de la profondeur. La projection de système sur le plan de la ligne épipolaire. Image d’un spot capturée à une hauteur de 30 cm.

La figure de droite montre les centres des microlentilles (en rouge) et les max d’intensités détectés (en vert). Modèle d'interpolation parabolique 2D. Elimination des points maximaux erronés. Image brute capturée.

Le nombre de pics détectés à 30 cm, 55 cm et 85 cm. Histogrammes des distances |Δi − Δj| pour des acquisitions à 30 cm (a), 55 cm (b) et 85 cm (c), calculées avec des microlentilles de type 1. Histogrammes de distances pour toute la plage de mesures. Relation entre la distance et la profondeur (microlentilles de type 1).

Ecart-type des distances |Δi − Δj| en fonction de la profondeur. 1 pic détectée à la plage de 30 cm, 55 cm et 80 cm. 50 Table des tableaux Tableau 1. La distance et l'écart-type calculés à plages données.

49 9 TIEU LUAN MOI download : [e-mail] Introduction Générale Dans le cadre de ce mon stage de fin d’études de Master 2 informatique, j’ai effectué un stage dont le sujet était : « Estimation de profondeurs avec une camera plénoptique ». Ce stage s’est déroulé au laboratoire MIPS (Modélisation – Intelligence – Processus – Systèmes, EA2332) de l’Université de Haut-Alsace. C’est un laboratoire de recherche interdisciplinaire. Il rassemble toute la recherche liée aux disciplines de l’électronique, électrotechnique, automatique et informatique industrielle du secteur STIC de l’université Haute Alsace.

Mon stage s’est déroulé dans l’équipe IMTI (Imagerie Microscopique 3D et Traitement d’Image), l’activité de cette équipe regroupe deux axes principaux : vision et microscope. Le but de mon stage est d’étudier les principes d’une caméra plénoptique et ses capacités à mesurer une profondeur dans une scène. Expérimentalement, j’ai utilisé une caméra de marque Raytrix. Une caméra plénoptique a une constitution différente d’une caméra classique, puisqu‘elle comprend une grille de microlentilles, placée derrière la lentille principale.

Le but de ces microlentilles, est de récupérer les informations plénoptiques, appelée aussi Light-Field, c’est-à-dire l’orientation des rayons traversant le système optique. Ce type de caméra permet de changer la focalisation de l’image, de changer le point de vue de la scène observée et d’extraire des informations 3D à partir de redondances d’informations capturées. Mon stage s’est déroulé en plusieurs étapes : 1. Dans un premier temps, je fais l’étude en détails les principes d’une caméra plénoptique et plus particulièrement les techniques d’estimation de profondeur.

Dans un second temps, j’ai fait mener des expérimentations et étudié une méthode de mesure de la profondeur basée sur le décalage de motifs dans les microlentilles. Pour expliquer mon travail, ce rapport va débuter par une présentation du sujet et de la caméra utilisée. Dans un second temps, je détaillerai le principe de la caméra plénoptique ainsi que les approches différentes de l’extraction de l’information 3D pour les caméras plénoptiques. Ensuite, un troisième chapitre traitera de la méthode de mesure de la profondeur que nous avons développée.

Le calibrage du système et les résultats expérimentaux seront exposés dans ce chapitre. Pour terminer, je conclurai et présenterai les perspectives possibles suite à mon travail. 10 TIEU LUAN MOI download : [e-mail] 11 TIEU LUAN MOI download : [e-mail] Chapitre 1 – Contexte et Sujet 1. Introduction du laboratoire MIPS – Université de Haut-Alsace Le pole Sciences Pour l’Ingénieurs (SPI) de l’UHA est composé de 3 équipes de recherches :  Le laboratoire MIPS (Modélisation, Intelligence, Processus, Systèmes)  Le laboratoire LMIA (Mathématiques, Informatique et Applications)  Le laboratoire LPMT (Laboratoire de Physique et Mécanique Textiles) Ce pôle représente environs une centaine de chercheurs permanents et autant de doctorants et post-doctorants.

C’est au sein du MIPS que j’ai effectué mon stage de Master. Le laboratoire MIPS (Modélisation, Intelligence, Processus et Systèmes) est une Equipe d'Accueil (EA 2332) de l’Université de Haute Alsace. C’est un laboratoire de recherche interdisciplinaire fédéré par les «structures et machines intelligentes».