PHẦN MỞ ĐẦU Ngày nay, với sự thịnh hành của máy tính và sự phát triển của xã hội, số lƣợng những tài liệu lƣu trữ trên giấy đã tăng lên đáng kể. Hàng tỷ tỷ những trang giấy đƣợc tạo ra mỗi năm dƣới nhiều hình thức khác nhau nhƣ sách báo, tạp chí, bản tin, văn bản, thƣ từ, biểu mẫu, bảng ghi nhớ, … trên khắp thế giới, và việc sử dụng giấy để lƣu trữ tài liệu trong một số mục đích vẫn không thể thay thế đƣợc (nhƣ sách báo, công văn, văn bản pháp luật…). Trong số những tài liệu này, có rất nhiều thông tin cần phải đƣợc lƣu trữ vào máy tính để xử lý, chẳng hạn nhƣ các phiếu điều tra của các nhà sản xuất muốn điều tra thị hiếu và mức tiêu thụ sản phẩm, các nhà hoạch định chính sách muốn có những cuộc điều tra để xây dựng những chính sách phù hợp với thực tế, các kỳ thi trắc nghiệm. trên giấ y , hoặc các tờ kê khai thuế mà doanh nghiệp phải nộp cho cơ quan thuế, hải quan, và rất nhiều lý do khác.
Các tài liệu giấy có thể đƣợc số hoá và lƣu trữ trong máy tính bằng máy quét, máy fax, nhƣng làm thế nào để chuyển từ tài liệu giấy thành dạng máy có thể hiểu và xử lý đƣợc? Câu hỏi đó đã khiến các chuyên gia trong lĩnh vực Công nghệ thông tin phải đầu tƣ, nghiên cứu. Cách thủ công nhất đó là nhập lại nội dung của văn bản thông qua bàn phím và tất nhiên, đó là công việc đòi hỏi tốn rất nhiều công sức, thời gian và nhân lực, thậm chí không thể thực hiện đƣợc với một số lƣợng cực lớn những tài liệu giấy. Hiện nay chúng ta đã có các máy Scan với tốc độ cao, công nghệ xử lý của máy tính ngày càng siêu việt với tốc độ tính toán cao, vậy tại sao chúng ta không quét toàn bộ các trang tài liệu vào và chuyển chúng thành văn bản một cách tự động? Vấn đề ở đây là khi quét vào máy tính chúng ta không thu đƣợc ngay các dòng văn bản từ các trang tài liệu kia để có thể soạn thảo, sửa chữa và tìm kiếm nhƣ làm trên Office. Tất cả những gì thu đƣợc chỉ là các tấm ảnh của các trang văn bản, máy tính lại đối xử công bằng nhƣ nhau với mọi điểm ảnh, máy tính không có “mắt” nhƣ chúng ta để biết đâu là điểm ảnh của chữ, đâu là điểm ảnh của đối tƣợng đồ họa.
Một giải pháp có thể đáp ứng đƣợc những yêu cầu đó là xây dựng một hệ thống nhận dạng quang học (OCR - Optical Character Recognition system), ở đó, LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 8 mỗi văn bản sẽ đƣợc scan bằng máy scaner thành một file ảnh, hệ thống OCR sẽ phân tích file ảnh đó để nhận biết nội dung của tài liệu đó là gì (xem hình 0.1: Hệ thống OCR Một cách tổng quát thì cách thức làm việc của một hệ thống nhận dạng chữ nhƣ sau: 1. Chụp ảnh, scan các trang tài liệu trên giấy và lƣu lại trong máy tính dƣới dạng hình ảnh. Sử dụng một chƣơng trình xử lý ảnh để phân tích hình ảnh sau khi quét, đọc đƣợc ký tự trên hình ảnh đó và ghi lại vào máy tính theo cách mà máy tính quản lý đƣợc thông tin đó. Bƣớc 1 là phân tích cấu trúc của ảnh tài liệu, từ đó xác định đâu là phần chứa chữ, đâu là phần chứa cả ảnh lẫn ký tự và đâu chỉ chứa hình ảnh.
Bƣớc này thực sự quan trọng cho bƣớc nhận dạng. Bởi nó định vị chính xác cho việc áp dụng các thuật toán nhận dạng lên vùng đã xác định tính chất. Bƣớc 2 nhận dạng ký tự dựa vào các tính chất của ký tự, ví dụ nhƣ sắp xếp theo dòng, khoảng cách giữa 2 từ lớn hơn khoảng cách giữa 2 ký tự, dùng trí tuệ nhân tạo để dự đoán các ký tự kề nhau phải nhƣ thế nào, các từ trong câu phải nhƣ thế nào để câu có nghĩa. Từ đó có nội dung đúng để lƣu trữ, quản lý….
Hệ thống nhập liệu tự động OCR là bài toán ngày càng thu hút nhiều sự chú ý vì khả năng áp dụng rộng rãi vào thực tế và những hiệu quả mà nó mang lại, có thể kể đến một số ứng dụng nhƣ: - Sắp xếp thƣ tín, dựa vào việc nhận dạng mã bƣu chính (Zipcode) hay địa chỉ gửi tới. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 9 - Tự động thu thập dữ liệu từ các mẫu đơn/báo biểu hay từ các hồ sơ lao động. - Hệ thống tự động kiểm tra trong ngân hàng (tự động xác nhận chữ ký) - Tự động xử lý các hóa đơn hay các yêu cầu thanh toán - Hệ thống tự động đọc và kiểm tra passport - Tự động phục hồi và copy tài liệu từ các ảnh quét. - Máy đọc cho những ngƣời khiếm thính - Các ứng dụng Datamining -… Kỹ thuật nhập liệu tự động liên quan chặt chẽ với đồ hoạ, nhận dạng và thuật xử lý ảnh.
Sự phát triển nhanh chóng của công nghệ thông tin trên cả hai lĩnh vực phần cứng và phần mềm đã cho phép kỹ thuật nhập liệu tự động phát triển theo nhiều phƣơng hƣớng khác nhau và đã đạt đƣợc những thành công nhất định. Tuy vậy trong thực tế, việc hiện thực một hệ thống OCR để có thể đƣa ra đƣợc những kết quả chính xác một cách tự động, không cần bất cứ một sự chỉnh sửa nào là một vấn đề vô cùng khó khăn. Những vấn đề thƣờng gặp phải trong quá trình thu nhận đó là: nhiễu, độ lệch, độ dịch chuyển, xoay, biến dạng v. của phiếu điều tra, cũng nhƣ vấn đề tách đƣợc các đối tƣợng hình học đƣợc dùng để đánh dấu trong phiếu.
Xuất phát từ thực tế đó, luận văn nhằm nghiên cứu một số kỹ thuật xử lý ảnh giúp nâng cao chất lƣợng ảnh Form đầu vào nhằm nâng cao chất lƣợng các hệ thống nhận dạng Form mẫu. Đây là một việc làm có ý nghĩa khoa học và ý nghĩa thực tiễn trong hoàn cảnh của Việt Nam. Luận văn đƣợc trình bày 3 chƣơng nhƣ sau: Chƣơng 1 trình bày tổng quan về xử lý ảnh, các phƣơng pháp biểu diễn ảnh, biểu diễn Form tài liệu. Chƣơng 2 trình bày một số kỹ thuật phát hiện và hiệu chỉnh góc nghiêng ảnh văn bản, độ dịch chuyển, khử nhiễu, … Chƣơng 3 cài đặt chƣơng trình thử nghiệm phát hiện góc nghiêng văn bản và chỉnh lại văn bản nhờ các kỹ thuật tìm hiểu đƣợc, qua đó giúp nâng cao chất lƣợng ảnh form dữ liệu đầu vào cho các hệ thống nhận dạng Form mẫu LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 10 Chƣơng 1 : KHÁI QUÁT VỀ XỬ LÝ ẢNH VÀ FORM TÀI LIỆU 1.
KHÁI QUÁT VỀ XỬ LÝ ẢNH 1. Xử lý ảnh là gì Xử lý ảnh là một lĩnh vực mang tính khoa học và công nghệ. Nó là một ngành khoa học mới mẻ so với nhiều ngành khoa học khác nhƣng tốc độ phát triển của nó rất nhanh, kích thích các trung tâm nghiên cứu, ứng dụng, đặc biệt là máy tính chuyên dụng riêng cho nó. Quá trình xử lý ảnh đƣợc xem nhƣ là quá trình thao tác ảnh đầu vào nhằm cho ra kết quả mong muốn.
Kết quả đầu ra của một quá trình xử lý ảnh có thể là một ảnh “tốt hơn” hoặc một kết luận.1: Quá trình xử lý ảnh Để dễ tƣởng tƣợng, xét các bƣớc cần thiết trong xử lý ảnh. Đầu tiên, ảnh tự nhiên từ thế giới ngoài đƣợc thu nhận qua các thiết bị thu (nhƣ Camera, máy chụp ảnh, máy scanner). Trƣớc đây, ảnh thu qua Camera là các ảnh tƣơng tự (loại Camera ống kiểu CCIR). Gần đây, với sự phát triển của công nghệ, ảnh màu hoặc đen trắng đƣợc lấy ra từ Camera, sau đó nó đƣợc chuyển trực tiếp thành ảnh số tạo thuận lợi cho xử lý tiếp theo.
Mặt khác, ảnh cũng có thể tiếp nhận từ vệ tinh; có thể quét từ ảnh chụp bằng máy quét ảnh.2 dƣới đây mô tả các bƣớc cơ bản trong xử lý ảnh. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.1: Các bƣớc cơ bản trong xử lý ảnh Sơ đồ này bao gồm các thành phần sau: a) Phần thu nhận ảnh (Image Acquisition) Ảnh có thể nhận qua camera màu hoặc đen trắng. Thƣờng ảnh nhận qua camera là ảnh tƣơng tự (loại camera ống chuẩn CCIR với tần số 1/25, mỗi ảnh 25 dòng), cũng có loại camera đã số hoá (nhƣ loại CCD – Change Coupled Device) là loại photodiot tạo cƣờng độ sáng tại mỗi điểm ảnh. Camera thƣờng dùng là loại quét dòng, ảnh tạo ra có dạng hai chiều.
Chất lƣợng một ảnh thu nhận đƣợc phụ thuộc vào thiết bị thu, vào môi trƣờng (ánh sáng, phong cảnh) b) Tiền xử lý (Image Processing) Sau bộ thu nhận, ảnh có thể nhiễu độ tƣơng phản thấp nên cần đƣa vào bộ tiền xử lý để nâng cao chất lƣợng. Chức năng chính của bộ tiền xử lý là lọc nhiễu, nâng độ tƣơng phản, nổi biên, làm trơn biên ảnh, khuyếch đại ảnh… để làm ảnh rõ hơn, nét hơn. c) Phân đoạn (Segmentation) hay phân vùng ảnh Phân vùng ảnh là tách một ảnh đầu vào thành các vùng thành phần để biểu diễn phân tích, nhận dạng ảnh. Ví dụ: để nhận dạng chữ (hoặc mã vạch) trên phong bì thƣ cho mục đích phân loại bƣu phẩm, cần chia các câu, chữ về địa chỉ hoặc tên ngƣời thành các từ, các chữ, các số (hoặc các vạch) riêng biệt để nhận dạng.
Đây là phần phức tạp khó khăn nhất trong xử lý ảnh và cũng dễ gây lỗi, làm mất độ chính xác của ảnh. Kết quả nhận dạng ảnh phụ thuộc rất nhiều vào công đoạn này. d) Biểu diễn ảnh (Image Representation) LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 12 Đầu ra ảnh sau phân đoạn chứa các điểm ảnh của vùng ảnh (ảnh đã phân đoạn) cộng với mã liên kết với các vùng lận cận. Việc biến đổi các số liệu này thành dạng thích hợp là cần thiết cho xử lý tiếp theo bằng máy tính.
Việc chọn các tính chất để thể hiện ảnh gọi là trích chọn đặc trƣng (Feature Selection) gắn với việc tách các đặc tính của ảnh dƣới dạng các thông tin định lƣợng hoặc làm cơ sở để phân biệt lớp đối tƣợng này với đối tƣợng khác trong phạm vi ảnh nhận đƣợc. Ví dụ: trong nhận dạng ký tự trên phong bì thƣ, chúng ta miêu tả các đặc trƣng của từng ký tự giúp phân biệt ký tự này với ký tự khác. e) Nhận dạng và nội suy ảnh (Image Recognition and Interpretation) Nhận dạng ảnh là quá trình xác định ảnh. Quá trình này thƣờng thu đƣợc bằng cách so sánh với mẫu chuẩn đã đƣợc học (hoặc lƣu) từ trƣớc.