chương 1 đó là tổng quan về đề tài đã được nhóm trình bày phần trên. Chương 2 là các cơ sở lý thuyết xử lý ảnh cơ bản cần phải thành thạo vì là nền tảng để xây dựng những thuật toán phức tạp hơn, hiểu về thị giác nổi, mô hình máy ảnh lỗ kim, đồng nhất tọa độ, hình học epipolar, tất cả các tài liệu nghiên cứu về thị giác nổi đều nói về nó. Chương 3 là chương xây dựng mô hình 3D gồm camera, vật thể, khung cảnh và sơ đồ khối cho từng chức năng, từng nhiệm vụ của những cơ sở lý thuyết được nêu ở trên. Chương 4 đề cập tới chương trình code và cách để sử dụng code.
Cuối cùng là chương 5 thu được kết quả từ thực nghiệm là tất cả những thí nghiệm được thể hiện đầy đủ trong đề tài mà nhóm thực hiện được, phần code của chương trình được đính kèm trong phần phụ lục. Số hiệu: HD/QT-PKHCN-QHQT-NCKHSV/00 Lần soát xét: 00 Ngày hiệu lực: 01/4/2020 Trang: 17/90 Luan van CƠ SỞ LÝ THUYẾT 2. Tìm hiểu về stereo camera 2. Mô hình pinhole camera Mô hình pinhole camera [8] là một mô hình máy ảnh đơn giản mà không có lens và chỉ cần một hố nhỏ (hay có khẩu độ nhỏ), màn chắn và hộp đen.
Cơ chế chụp ảnh của mô hình này là dựa vào các tia sáng phản chiếu từ đối tượng trong không gian, các tia sáng này sẽ đi qua lỗ trên hộp đen và cuối cùng nằm trên màn chắn, điều này được thể hiện Hình 15. Vì điểm sáng thu được chỉ tới từ một vài tia sáng chiếu từ vật thể trong không gian đi qua lỗ của hộp đen tiến tới màn chắn. Nên khi khẩu độ nhỏ, tương đương lượng ánh sáng đi qua lỗ ít và cho ảnh có sự sắc nét hơn, nhưng khi máy ảnh hoạt động trong điều kiện thiếu sáng thì ảnh thu được sẽ bị tối. Ngược lại khi khẩu độ lớn, một số lượng ánh sáng các đối tượng xung quanh cũng đi qua lỗ và cùng chiếu tới một điểm trên màn chắn dẫn đến ảnh thu được sẽ bị mất nét và mờ đi.
Trong đó ảnh thu được trên màn chắn sẽ có chiều ngược lại so với đối tượng trong không gian 3D. Hình 15: Mô hình pinhole Về mặt toán học, mô hình pinhole camera là mô hình toán học mô tả mối quan hệ của các điểm chiếu trong không gian 3D đến mặt phẳng ảnh image plane. Các thông số của mô hình sẽ được miêu tả trong Hình 16. Trong đó Z là khoảng cách từ camera đến đối tượng, f là chiều dài tiêu cự của máy ảnh, được tính từ màn chắn đến bề mặt hộp chứa lỗ.
Số hiệu: HD/QT-PKHCN-QHQT-NCKHSV/00 Lần soát xét: 00 Ngày hiệu lực: 01/4/2020 Trang: 18/90 Luan van Hình 16 Mô hình Pinhole Từ đó, chúng ta có thể suy ra kích thước của đối tượng dựa vào tỉ lệ tam giác đồng dạng được thể hiện trong phương trình dưới đây: X x f (2.1) Z Dấu (-) thể hiện chiều của đối tượng trên màn chắn. Lens distortion Trong lý thuyết, mô hình pinhole camera làm một mô hình lý tưởng nên ma trận camera không tính đến sự biến dạng của ống kính. Trong thực tế, ống kính nó sẽ không hoàn hảo. Lý do chính là do nhà sản xuất, ống kính mặt cầu dễ sản xuất hơn so với ống kính có dạng parabol về mặt toán học.
Chúng ta cũng khó căn chỉnh chính xác ống kính và hình ảnh một cách cơ học. Để thể hiện chính xác một máy ảnh thực, một mô hình camera sẽ bao gồm hai sự méo dạng chính là méo dạng bán kính (distortion radial) và méo dạng tuyến tính (tangential distortion). Radial distortion sinh ra là kết quả về hình dạng của ống kính, nhưng trái lại tangential distortion sinh ra từ quá trình lắp ráp của toàn bộ camera. Chúng ta bắt đầu với radial distortion.
Ống kính của camera thật thường làm sai lệch đáng kể vị trí của các pixel gần các cạnh của hình ảnh. Trong Hình 17 cho ta thấy một cách trực quan tại sao radial distortion xảy ra. Trên thực tế, một số ống kính rẻ tiền điển hình thì sẽ gây ra sự méo dạng mạnh hơn. Đối với sự méo dạng bán kính, sự méo dạng là 0 tại tâm của hình ảnh và tăng khi chúng ta di chuyển về phía đối tượng.
Tổng quát, vị trí bán kính của một điểm trên hình ảnh sẽ được dời lại theo phương trình dưới đây: Số hiệu: HD/QT-PKHCN-QHQT-NCKHSV/00 Lần soát xét: 00 Ngày hiệu lực: 01/4/2020 Trang: 19/90 Luan van Hình 17 Radial distortion xcorrected x(1 k1r 2 k2 r 4 k3r 6 ) (2.2) ycorrected y (1 k1r 2 k2 r 4 k3r 6 ) Trong đó: ( x, y) là vị trí ban đầu của điểm bị méo ( xcorrected , ycorrected ) là vị trí mới đã được hiệu chỉnh, không còn bị méo dạng. k1 , k 2 và k3 là hệ số méo dạng bán kính của ống kính. r 2 x2 y 2 Thông thường, hai hệ số thì đã đủ cho việc hiệu chỉnh trong trường hợp của chúng tôi. Đối với một vài sự méo dạng, cũng như trong các ống kính góc rộng, chúng ta có thể chọn ba hệ số bao gồm cả k3.
Sự méo dạng phổ biến thứ hai là tangential distortion. Sự méo dạng này thì do trong quá trình lắp ráp sản phẩm làm cho các ống kính không song song với mặt phẳng ảnh một cách chính xác, như Hình 18. Hình 18 Sự méo dạng tiếp tuyến Biến dạng tuyến tính được đặc trưng bởi hai thông số p1 và p2 , như là: xcorrected x [2 p1 y p2 (r 2 2 x 2 )] (2.3) ycorrected y [p1 (r 2 2 y 2 ) 2 p2 x] Số hiệu: HD/QT-PKHCN-QHQT-NCKHSV/00 Lần soát xét: 00 Ngày hiệu lực: 01/4/2020 Trang: 20/90 Luan van Như đã giải thích ở trên, trong trường hợp này, chúng tôi chỉ cần tìm bốn hệ số méo dạng. Và tất cả 4 thông số thì hầu hết các quy trình của OpenCV đều sử dụng chúng, chúng thường được thể hiện ở dưới dạng vector.
Đó là ma trận 4 hàng 1 cột chứa các thông số k1 , k2 , p1 , p2. Homogeneous Coordinates Trong không gian Euclidean, hai đường thẳng song song giống nhau cùng nằm trên một mặt phẳng thì không thể giao nhau hoặc không thể gặp nhau mãi mãi. Đó là điều hiển nhiên mà mọi người đều biết. Tuy nhiên, nó thì không đúng trong bất kì không gian phản xạ ảnh nào.
Ví dụ, đường ray tàu lửa ở Hình 19 trở nên hẹp đi khi nó di chuyển ra xa tầm nhìn của con người. Cuối cùng hai đường ray song song gặp nhau ở chân trời, là một điểm ở vô cực. Hình 19 Không gian Euclide (hoặc không gian Descartes) mô tả hình học 2D/3D của chúng ta rất tốt, nhưng chúng không đủ để xử lý không gian phản xạ ảnh (projective space). Thực ra hình học Euclide là một tập con của hình học phản xạ ảnh.
Tọa độ Descartes của một điểm 2D có thể được biểu diễn dưới dạng ( x, y). Nếu điểm này đi xa đến vô cùng thì sao? Điểm ở vô cực sẽ là (, ) , và nó trở nên vô nghĩa trong không gian Euclide. Các đường thẳng song song gặp nhau ở vô cùng trong không gian xạ ảnh, nhưng không gian Euclide. Và các nhà toán học đã khám phá ra cách giải quyết vấn đề này là đồng nhất hệ tọa độ (Homogeneous Coordinates).
Homogeneous Coordinates được giới thiệu bởi August Ferdinand Mobius, cho phép thực hiện các phép tính đồ họa và hình học trong không gian xạ ảnh. Hệ tọa độ đồng nhất là một cách biểu diễn tọa độ N chiều với N+1 số. Số hiệu: HD/QT-PKHCN-QHQT-NCKHSV/00 Lần soát xét: 00 Ngày hiệu lực: 01/4/2020 Trang: 21/90 Luan van Để tạo tọa độ đồng nhất 2D, đơn giản chúng tôi chỉ cần thêm một biến là w vào tọa độ hiện có. Do đó một điểm trong hệ tọa độ Descarter ( x, y) trở thành ( x, y, w) trong hệ tọa độ đồng nhất.
Và x, y trong tọa độ Descartes được biểu diễn với x, y và w trong tọa độ Hormogeneous như: x y X ;Y (2.4) w w Ví dụ, một điểm trong Dercartes (1,2) trở thành (1,2,1) trong tọa độ đồng nhất. Nếu một điểm (1,2) di chuyển về phía vô cùng, nó sẽ trở thành (, ) trong hệ tọa độ Descartes. Và nó trở thành (1,2,0) trong tọa độ đồng nhất, vì (1/0,2/0) (, ). Như đã đề cập trước đây, để mà chuyển từ tọa độ đồng nhất ( x, y, w) đến tọa độ Cartesian, chúng ta đơn giản bằng cách chia x và y cho w .5) Homogous Cartesian Khi chuyển hệ tọa độ Homogeneous thành tọa độ Cartesian, chúng ta có thể tìm được một điều quan trọng.
Theo dõi ví dụ sau đây: 1 2 (1, 2,3) , 3 3 2 4 (2, 4, 6) , 6 6 3 6 (3, 6,9) , 9 9 1a, 2a,3a 1a 2a 1 2 , , 3a 3a 3 3 Như bạn có thể thấy, các điểm (1,2,3),(2,4,6) và (3, 6,9) tương ứng với cùng một điểm Euclide 1/ 3,2 / 3. Và bất kỳ tích vô hướng nào, (1a, 2a,3a) thì đều cùng điểm với (1/ 3, 2 / 3) trong không gian Euclide. Do đó, những điểm này là đồng nhất vì chúng biểu điểm trong không gian Euclide. Hay nói cách khác tọa độ đồng nhất là bất biến tỉ lệ.
Cân bằng sáng ̣(histogram equalization) Số hiệu: HD/QT-PKHCN-QHQT-NCKHSV/00 Lần soát xét: 00 Ngày hiệu lực: 01/4/2020 Trang: 22/90 Luan van Trước khi tìm hiểu về cân bằng histogram, chúng ta cần phải biết histogram là gì. Histogram là một biểu đồ tần suất hay đồ thị biểu diễn sự phân bố cường độ sáng của một ảnh. Nó định lượng số lượng pixel cho mỗi giá trị cường độ được xem xét. Cân bằng histogram là một kĩ thuật được sử dụng để điều chỉnh cường độ của ảnh xám để nâng cao độ tương phản của ảnh.
Để làm rõ hơn, từ Hình 22 Đồ thị ảnh chưa cân bằng sáng, bạn có thể thấy rằng các pixel tập trung đa số tại vị trí giữa. Những gì mà cân bằng histogram làm ra mở rộng vùng pixel này. Hãy xem hình bên dưới, vùng ở hai biên của biểu đồ là nơi có cường độ pixel thấp. Sau khi áp dụng cân bằng histogram, chúng tôi thu được một biểu đồ như Hình 23 Đồ thị ảnh đã cân bằng sáng.
Dựa vào biểu đồ chúng ta có thể thấy rằng giá trị pixel đã được kéo dãn ra không bị co cụm một khoảng hẹp như trước. Trong thực tế, camera thường chịu ảnh hưởng rất nhiều từ ánh sáng bên ngoài.