CHƯƠNG 1: TỔNG QUAN VỀ XỬ LÝ ẢNH VÀ CÁC CÔNG CỤ XỬ LÝ ẢNH 1. GIỚI THIỆU CHUNG 1.1 Bài toán nhận diện mặt người và khó khăn gặp phải.1 Bài toán nhận diện mặt người. Hệ thống có đầu vào là ảnh hoặc một đoạn vid. Thông qua phân tích giúp tìm kiếm khuôn mặt người (nếu có) tiếp đó xác định là người nào có trong những người mà hệ thống đã được “dạy” qua sự “học” hoặc không biết.
9 Hình 1 1 Demo cơ bản quy trình nhận diện một gương mặt 10 1.2 Nhận diện khuân mặt có những khó khăn. - Đầu vào từ góc ảnh: góc gương mặt biến đổi do góc chụp máy ảnh. Ví dụ như: thẳng, chéo trái, chụp chéo phải, chụp trên xuống hoặc chụp từ dưới lên. Ở các góc khác nhau, các điểm bộ phận mắt, miệng, mũi là khác nhau.
- Có hay không có bộ phận của khuân mặt như: râu hàm,râu mép mắt khiến cho việc xử lý có thể trở nên rắc rối. - Cảm xúc : biểu hiện cơ mặt người tác động đến các điểm của khuân mặt. Ví dụ như, cùng một người, khi cười hay khi sợ hãi, v.v… sẽ có những biểu cảm khác nhau. - Bị che lấp: có thể bị che lấp bởi các nhân tố hay các gương mặt khác.
- Điều kiện: độ sáng, thuộc tính camera có chất lượng thấp ảnh hưởng đến chất lượng ảnh khuân mặt và khả năng nhận diện. - Việc nhận dạng ảnh mặt là một vấn đề khó khăn khi thay đổi theo thời gian. - Các hệ thống cực lớn (very large scale systems): Các CSDL ảnh mặt được test bởi các nhà nghiên cứu còn khá nhỏ (vài trăm tới vài chục nghìn ảnh mặt), tuy nhiên trên thực tế các CSDL có thể rất lớn, ví dụ CSDL ảnh mặt của cảnh sát của một đất nước có thể chứa từ hàng triệu tới hơn 1 tỉ ảnh… 1. Tổng quan của hệ thống.
Tìm kiếm gương mặt. Phân chia khuân mặt. Chọn lọc điểm mặt. 11 Hình 1 2 Các bước nhận diện ảnh hoặc video Phát hiện gương mặt: tìm kiếm, xác định vùng hay vùng có thể là mặt người.
Những vùng vị trí được tách riêng xử lý. Tách điểm mặt, tìm vị trí các bộ phận của mặt người để chuyển kết quả cho bước trích chọn lọc điểm mặt. Bước chọn lọc điểm, sử dụng phương pháp trích chọn đặc điểm nào đó để sử dụng với ảnh mặt để xuất các thông tin đặc điểm riêng cho ảnh từ các thông tin về các bộ phận khuôn mặt, kết quả mỗi ảnh sẽ biểu diễn dưới dạng một vector đặc trưng. Vecto đặc trưng sẽ là dữ liệu đầu vào cho mô hình đã dạy từ trước nhận diện khuân mặt(Face Recognition) - danh tính(identity) hay thẻ ảnh-đây là người nào.
Ở bước nhận diện khuôn mặt (Face Recognition), thường phương pháp k-kề gần hay được sử dụng. Ngoài những bước chính trên, một số bước khác có thêm như: hậu xử lý, tiền xử lý giúp cải thiện chính xác. Dữ liệu nhận diện mặt người được chia làm 3 phần: huấn luyện, tham chiếu và phần nhận diện. Trong nhiều hệ thống, tập training trùng với tập reference.
Tập training có hình ảnh cho huấn luyện (học), thông thường tập này được dùng để tạo ra một không gian con là ma trận. PCA(Principal Component Analysis), LDA(Linear Discriminant Analysis), KPCA(Kernel PCA) là các phương pháp thường được sử dụng. Các hình ảnh đã biết chiếu vào không gian con là tham chiếu ở bước huấn luyện. 2 mục tiêu của Training(huấn luyện): vector đặc điểm có 12 độ dài khá lớn nên cần giảm số chiều, tính toán sẽ lâu khi để nguyên việc, 2 là làm tăng giữa các ảnh khác lớp tính phân biệt (định danh khác nhau), ngoài ra có thể làm giảm tính phân biệt giữa các ảnh thuộc về một lớp (tùy theo phương pháp, ví dụ như Linear Discriminant Analysis LDA- còn gọi là Fisher Linear Discriminant Analysis-Fisherface là một phương pháp làm việc với tập training mà mỗi đối tượng có nhiều ảnh mặt ở các điều kiện khác nhau).
Sau đó, một ma trận sẽ được lưu lại bởi hệ thống với mỗi cột của matrix là một vector tương ứng với ảnh biết trước để thực hiện nhận diện. Cần lưu ý là mỗi ảnh có định dạng là một vector, có thể dùng khái niệm hàm khoảng cách giữa hai vector để đo sự khác biệt giữa các ảnh.3 Ngôn ngữ lập trình. Để giải quyết bài toán nhận dạng khuôn mặt sử dụng thư viện OpenCV, có thể sử dụng các ngôn ngữ lập trình như: .NET C#, VB, IronPython, Java, C++… Trong chuyên đề này ngôn ngữ lập trình được sử dụng là python , Django và Pycharm IDE. TỔNG QUAN VỀ XỬ LÝ ẢNH 1.1 Xử lý ảnh, các vấn đề cơ bản trong xử lý ảnh.1 Xử lý ảnh Với sự phát triển của phần cứng, xử lý ảnh và xử lý đồ họa cũng phát triển mạnh mẽ và có nhiều ứng dụng trong cuộc sống.
đóng vai trò quan trọng trong tương tác giữa người và máy. Xử lý ảnh được xem là thao tác ảnh đầu vào cho ra kết quả mong muốn. Kết quả đầu ra của quá trình xử lý ảnh có thể là một ảnh hoặc một kết luận. Hình 2 1 Xử lý ảnh Tập hợp hữu hạn các điểm ảnh dùng cho biểu diễn ảnh gần với ảnh thật với mức xám phù hợp.
Độ phân giải của ảnh xác định số điểm ảnh. Để thể hiện rõ nét các đặt điểm của tấm hình thì cần ảnh có độ phân giải càng cao làm cho tấm ảnh trở nên thực và sắc nét hơn. Một tín hiệu hai chiều được quy định bởi một ảnh. Nó được xác định bởi hàm toán học f(x, y) trong đó x và y là hai tọa độ theo chiều ngang và chiều dọc.Các giá trị của f (x, y) tại bất kỳ điểm nào là cung cấp các giá trị điểm ảnh (pixel ) tại điểm đó của một hình ảnh.
Sơ đồ tổng quát của hệ thống xử lý ảnh: 14 Hình 2 2 Sơ đồ tổng quát của hệ thống xử lý ảnh Sơ đồ gồm các phần: - Phần thu nhận ảnh. Qua camera màu hoặc đen trắng có thể nhận ảnh. Camera thường dùng là loại quét dòng; tạo ra ảnh có dạng hai chiều. Thiết bị thu, môi trường quy định chất lượng ảnh nhận được.
Hình ảnh có thể bị nhiễu sau bộ thu nhận, cần đưa vào bộ tiền xử lý vì độ tương phản thấp để nâng cao chất lượng. Bộ tiền xử lý có chức năng chính là lọc nhiễu, nâng độ tương phản để làm nét và rõ hơn. - Phân đoạn hay phân vùng ảnh. Tách một ảnh đầu vào thành các vùng thành phần để nhận dạng, biểu diễn và phân tích ảnh được gọi là phân vùng ảnh.
Trong XLA đây là phần phức tạp hay tạo lỗi, khiến giảm chính xác của ảnh và là phần khó khăn nhất. Công đoạn này cho ra kết quả chính của việc nhận dạng. - Mô tả ảnh. Sau phân đoạn gồm điểm của ảnh hay của vùng ảnh (ảnh đã phân đoạn) đầu ra ảnh cộng liên kết với các vùng lân cận.
Trích chọn đặc trưng (Feature Selection) là lấy các tính chất ảnh gắn với việc làm cơ sở để phân biệt lớp đối tượng này với đối tượng khác hay tách các đặc tính của ảnh dưới dạng các thông tin định lượng hoặc trong phạm vi ảnh nhận được 15 - Phát hiện ảnh và phân tích ảnh. Quá trình xác định ảnh là nhận dạng ảnh. Mẫu chuẩn đã được học (hoặc lưu từ trước) so sánh với ảnh nhận được để thu được kết quả trong quá trình này. Phân tích ảnh trên cơ sở nhận dạng để phán đoán ảnh.
Có hai loại nhận dạng cơ bản của ảnh phân theo các mô hình toán học về ảnh: - Theo tham số. - Theo cấu trúc. Đối tượng nhận dạng phổ biến hiện nay áp dụng trong khoa học và công nghệ là: nhận dạng văn bản (Text), nhận dạng mã vạch , nhận dạng vân tay, nhận dạng ký tự (in,viết tay hay điện tín) và nhận dạng mặt người… - Cơ sở tri thức. Ảnh là một đối tượng khá phức tạp về đường nét, dung lượng điểm ảnh, độ sáng tối môi trường.
Ngoài việc đơn giản hóa các phương pháp toán học đảm bảo tiện lợi cho xử lý, bắt chước quy trình nhận biết và xử lý ảnh theo cách của con người là mong muốn hơn cả. Trong đó, trí tuệ con người là phương pháp được xử dụng cho nhiều khâu hiện nay. Ảnh được lưu vào bộ nhớ sau khi số hóa, hoặc chuyển tiếp sang để phân tích. Yêu cầu bộ nhớ có dung lượng cực lớn nếu muốn độ chính xác cao vì vậy sẽ không hiệu quả theo quan điểm ứng dụng và công nghệ.
Các ảnh thô đó được biểu diễn theo các điểm đặc trưng của ảnh gọi là các đặc trưng ảnh: vùng ảnh, biên ảnh. Phương pháp thường dùng: - Biểu diễn bằng mã chạy(Run-Length Code) - Biểu diễn bằng mã xích(Chaine-Code) - Biểu diễn bằng mã tứ phân(Quad-Tree Code) 16 Trên là cơ bản các thành phần trong các khâu xử lý ảnh. Các quá trình không nhất thiết qua hết các khâu trong thực tế của quá trình xử lý ảnh. Ảnh khi số hóa, được nén lại, lưu lại và truyền qua các hệ thống khác hoặc xử lý tiếp.
Ngoài ra, có thể không cần tới công đoạn cải thiện phẩm chất sau khi số hóa ảnh (khi ảnh đủ chất lượng theo một yêu cầu nào đó) để chuyển tới khâu phân đoạn hoặc chuyển trực tiếp tới khâu chọn đặc trưng. Các nhánh song song cũng được chia như: cải thiện chất lượng ảnh(có hai hướng): khôi phục ảnh (khi ảnh gốc bị hỏng hồi phục lại ảnh thật) hoặc cải thiện chất lượng ảnh. Hình 2 3 Sơ đồ chi tiết của hệ thống xử lý ảnh 1.2 Các vấn đề cơ bản trong xử lý ảnh. Ảnh liên tục về không gian và độ sáng là gốc của ảnh.
Ảnh cần phải được số hóa để có thể xử lý bằng máy tính. Sự thay đổi sát với một ảnh liên tục thành một tập sát với ảnh thật về độ sáng(mức xám) và vị trí(không gian) gọi là số hóa ảnh. Khoảng cách giữa các điểm ảnh đó được thiết lập sao cho mắt người không phân biệt được ranh giới giữa chúng. Mỗi một điểm như vậy gọi là điểm ảnh (PEL: 17 Picture Element) hay gọi tắt là Pixcel.
Mỗi pixel ứng với cặp tọa độ (x, y) trong không gian 2 chiều. Định Nghĩa: tại tọa độ (x, y) là phân tử của ảnh số với màu hoặc độ xám là điểm ảnh. Độ dài và kích thước được chọn thích hợp giữa các điểm ảnh đó để cảm nhận sự liên tục về mức xám (hoặc màu) và không gian của ảnh số gần như ảnh thật. Một phần tử ảnh ứng vỡi một phần tử của ma trận.
Định nghĩa: Mật độ điểm ảnh được ấn định trên một ảnh số được hiển thị gọi là độ phân giải ảnh.