Mở đầu Chương 2: Tổng quan về xử lý ảnh Chương 3: Một số kĩ thuật thuật toán phát hiện và nhận dạng đối tượng Chương 4: Mô hình YOLO trong bài toán nhận dạng đối tượng Chương 5: Thuật toán nhận dạng lỗi chai Chương 6: Kết luận chung và hướng phát triển của luận văn 10 Luan van TỔNG QUAN VỀ XỬ LÝ ẢNH Cơ bản về xử lý ảnh Các giai đoạn của một quá trình xử lý ảnh Để có thể hình dung cấu hình một hệ thống xử lý ảnh chuyên dụng hay một hệ thống xử lý ảnh trong nghiên cứu, các bước cần thiết trong xử lý ảnh được xem xét như sau. Thu nhận Tách các Xử lý trước Phân đoạn Phân loại ảnh đặc tính Hình 2.1 Các giai đoạn của một quá trình xử lý ảnh Thu nhận ảnh Ảnh có thể thu nhận qua camera. Thường ảnh thu nhận qua camera là tín hiệu tương tự (loại camera ống kiểu CCIR), nhưng cũng có thể là tín hiệu số hoá (loại CCD - Charge Coupled Device). Ảnh cũng có thể thu nhận từ vệ tinh qua các bộ cảm ứng hay ảnh, tranh được quét trên scanner.
Sau đó được lưu trữ trong máy tính. Gồm có 2 quá trình: - Biến đổi năng lượng quang học sang năng lượng điện - Biến đổi năng lượng điện sang các ma trận. Xử lí trước Quá trình xử lí trước thực ra bao gồm nhiều công đoạn nhỏ. Trước hết là công việc tăng cường ảnh để nâng cao chất lượng ảnh.
Do những nguyên nhân khác nhau: có thể do chất lượng thiết bị thu nhận ảnh, do nguồn sáng hay do nhiễu, ảnh có thể bị suy biến. Do vậy cần phải tăng cường và khôi phục lại ảnh để làm nổi bật một số đặc tính chính của ảnh, hay làm cho ảnh gần giống nhất với trạng thái gốc (trạng thái trước khi ảnh bị biến dạng). Nhằm các mục đích phục vụ cho các bước tiếp theo. Những mục đích riêng biệt có thể đặt ra cho quá trình xử lý trước là: + Thực hiện điều chỉnh độ chiếu sáng để khắc phục hậu quả của sự chiếu sáng không đồng đều.
+ Giảm nhỏ thành phần nhiễu. + Cải thiện độ tương phản của ảnh màu do khuôn màu không tốt. + Hiệu chỉnh độ méo giá trị xám + Loại bỏ tính không đồng thể của ảnh gây nên từ tính không đồng bộ của lớp nhạy quang của hệ thống thu nhận ảnh. + Chuẩn hóa độ lớn, dạng và màu.
+ Điều chỉnh bộ lọc để khuyếch đại các tần số với những thông tin quan trọng được khuyếch đại và nén đi các tần số khác. 11 Luan van Phân đoạn Là quá trình phân chia các đối tượng cần khảo sát ra khỏi phần nội dung còn lại của ảnh, phân tách các đối tượng tiếp giáp nhau và phân tách những đối tượng riêng biệt thành những đối tượng con. Một phương pháp phân đoạn ảnh là sử dụng một ngưỡng giá trị xám để phân tách ảnh thành đối tượng và nền (những điểm dưới ngưỡng xám thuộc về nền, ngược lại thuộc về đối tượng). Tách ra các đặc tính Dựa trên các thông tin thu nhận được qua quá trình phân đoạn, kết hợp với các kỹ thuật xử lý để đưa ra các đặc trưng, đối tượng ảnh cũng như các thông tin cần thiết trong quá trình xử lý.
Nhờ các đặc tính có được từ ảnh ta có thể phân loại các đối tượng khác nhau của ảnh. Phân loại ảnh Thực hiện công việc sắp xếp một đối tượng vào một lớp đối tượng cho trước. Để giải quyết bài toán này thì các đặc tính có ý nghĩa phải được lựa chọn. Ta tìm thấy các đặc tính có ý nghĩa khi ta phân tích các mẫu được lựa chọn từ những đối tượng khác nhau.
Các kĩ thuật lọc nhiễu trong ảnh Nguyên tắc chung của lọc ảnh Nguyên tắc chung của các phương pháp lọc là cho ma trận ảnh nhân với một ma trận lọc (Kernel). Trong đó ma trận lọc lọc (Kernel) còn có thể được gọi là cửa số chập (trong phép nhân chập), cửa sổ lọc, mặt nạ…. Việc nhân ảnh với ma trận lọc giống như việc trượt ma trận lọc theo hàng trên ảnh và nhân với từng vùng của ảnh, cộng các kết quả lại tạo thành kết quả của điểm ảnh trung tâm. 12 Luan van Hình 2.2 Quy tắc nhân chập ma trận lọc kernel Ma trận đầu vào I được nhân với ma trận lọc (phần xám ở hình trái) để tạo thành ma trận đầu ra O.
Trên thực tế, hai phép lọc ảnh là tương quan (correlation) và tích chập (convolution). Với phép tương quan, ma trận lọc sẽ được trượt đi và nhân với từng vùng của ảnh như trên. Tuy nhiên với phép tích chập, ma trận lọc sẽ được xoay 180 độ (theo cả chiều ngang và dọc) trước khi thực hiện nhân. 2 phép toán này là tương đương khi ma trận lọc đối xứng.
Với mỗi phép lọc ta có những ma trận lọc (Kernel) khác nhau, không có một quy định cụ thể nào cho việc xác định M. Kích thước ma trận M là một số lẻ. Khi nhân các phần tử tương ứng với nhau (giữa pixel, các điểm lân cận – các thành phần trong kernel), đối với các phần tử ở cạnh thì sẽ có một số pixel bị khuyết, lúc này, có nhiều cách giải quyết như bỏ qua, chèn thêm một (một số) hàng, cột mang giá trị 0 hoặc bằng giá trị gần nhất, hoặc tạo một đối xứng gương ở cạnh ảnh. Một số bộ lọc làm mịn ảnh: a, Lọc trung bình (Normanlize Box Filter): Đây là bộ lọc đơn giản nhất.
Nó được xây dựng dựa trên ý tưởng tính giá trị một điểm ảnh bằng trung bình cộng các điểm ảnh xung quanh nó. Ma trận lọc của lọc trung bình có dạng: 1 1 1 .1) Cách lọc này thường được áp dụng cho làm trơn ảnh vẫn muốn giữ lại biên không bị mờ. 13 Luan van Hình 2.3 Kết quả sau khi lọc trung bình [8] Ưu điểm: +Đơn giản trong tính toán +Ảnh đạt độ trơn mịn Khuyết điểm: +Không hoàn toàn loại bỏ được nhiễu, các pixel đơn lẻ (nhiễu sẽ ảnh hướng đến giá trị trung bình của các pixel lân cận. +Độ sắc nét của ảnh kém +Độ tương phản thấp b, Lọc Gauss (Gaussian Filter): Bộ lọc Gauss được cho là bộ lọc hữu ích nhất, được thực hiện bằng cách nhân chập ảnh đầu vào với một ma trận lọc Gauss sau đó cộng chúng lại để tạo thành ảnh đầu ra.
Ý tưởng chung là giá trị mỗi điểm ảnh sẽ phụ thuộc nhiều vào các điểm ảnh ở gần hơn là các điểm ảnh ở xa. Trọng số của sự phụ thuộc được lấy theo hàm Gauss (cũng được sử dụng trong quy luật phân phối chuẩn). 14 Luan van Hình 2.4 Sơ đồ phân phối Gauss [8] Giả sử ảnh là một chiều. Điểm ảnh ở trung tâm sẽ có trọng số lớn nhất.
Các điểm ảnh ở càng xa trung tâm sẽ có trọng số giảm dần khi khoảng cách từ chúng tới điểm trung tâm tăng lên. Như vậy điểm càng gần trung tâm sẽ càng đóng góp nhiều hơn vào giá trị điểm trung tâm. Trên thực tế, việc lọc ảnh dựa trên hàm Gauss 2 chiều (ngang và dọc). Phân phối chuẩn 2 chiều có thể biểu diễn dưới dạng: 2 −( x − µ _ x ) 2 − ( y − µ _y ) + 2 2σ 2y G _ 0( x, y) = Ae 2σ _ x (2.2) Trong đó μ là trung bình (đỉnh), σ2 là phương sai của các biến số x và y Tham số μ quyết định tác dụng của bộ lọc Gauss lên ảnh.
Độ lớn của ma trận lọc (kernel) cần được lựa chọn cho đủ rộng. 15 Luan van Hình 2.5 Kết quả sau khi lọc Gauss [8] c, Lọc trung vị (Median Filter): Phép lọc trung vị cũng được thực hiện với các ma trận lọc. Tuy nhiên nó tính trung vị tất cả các giá trị điểm ảnh trong vùng ma trận lọc và sử dụng trung vị này cho giá trị điểm trung tâm. Một điều khá thú vị là với các cách lọc ở trên, giá trị điểm trung tâm được tính mới (có thể bằng hoặc khác với giá trị một điểm trong vùng ma trận lọc), còn với phép lọc trung vị, giá trị điểm trung tâm luôn được thay bằng một giá trị điểm ảnh trong bức ảnh đầu vào.
Do vậy, phương pháp lọc này có khả năng loại bỏ nhiễu muối tiêu (salt-and-pepper noise) khá tốt. Có một điểm cũng cần được chú ý là phép lọc trung bình và lọc Gauss là phép lọc tuyến tính, nhưng phép lọc trung vị không phải là một phép lọc tuyến tính. 16 Luan van Hình 2.6 Kết quả sau khi lọc trung vị [8] Các kĩ thuật dò cạnh Khái quát về dò cạnh Các cạnh là những vùng ảnh mà có độ tương phản cao. Vì thế các cạnh thường xuyên xuất hiện tại những vị trí được thấy như là những đường bao quanh vật trên hình ảnh, xác định cạnh thường được dùng phổ biến trên những hình ảnh có nhiều vật thể khác nhau khi ta muốn chia hình ảnh thành những vùng khác nhau có chứa vật thể.
Biểu diễn một hình ảnh bằng các cạnh thì có nhiều thuận lợi hơn là làm giảm được dữ liệu ảnh trong khi vẫn đảm bảo giữ được những thông tin về vật thể trên ảnh. Các cạnh chủ yếu có tần số cao nên theo lý thuyết, dò cạnh sử dụng lọc tần số cao bằng phương pháp Fourier hay bằng cách nhân chập hình ảnh với những Kernel thích hợp trong miền không gian Fourier. Trên thực tế, dò cạnh được thực hiện trong miền không gian vì thực hiện dễ dàng hơn và thường cho ra kết quả tốt hơn. Cách xác định cạnh: vì các cạnh tương ứng với sự chiếu sáng mạnh, từ đó có thể làm nổi bật lên bằng cách tính toán đạo hàm của hình ảnh.
Có thể thấy rằng vị trí của cạnh có thể được ước lượng với giá trị lớn nhất của đạo hàm bậc nhất hay với điểm uốn của đạo hàm bậc 2. Vì thế sẽ tìm một kĩ thuật để tính toán đạo hàm của một hình ảnh 2 chiều. Những Kernel dùng cho việc xác định cạnh được tính dựa theo công thức trên cho phép tính toán đạo hàm bậc một và bậc hai của một hình ảnh 2 chiều. Có 2 tiến trình chung tính đạo hàm bậc một trong một hình ảnh hai chiều, dò cạnh Pretwitt compass và dò cạnh gradient.
Các phương pháp dò cạnh a, Phương pháp Robert Cross: 17 Luan van Theo Roberts, để xác định cạnh ta cần dựa vào các tính chất sau: cạnh được tạo ra cần được xác định rõ, nền của ảnh có ít nhiễu và cường độ của cạnh được xác định bằng mắt thường. Với những đặc tính đó, Roberts đưa ra phương trình sau: ,= , ,= , , + , , (2.