CHƯƠNG 1 - TỔNG QUAN VỀ NHẬN DẠNG CHỮ Nhận dạng chữ là lĩnh vực được nhiều nhà nghiên cứu quan tâm và cho đến nay lĩnh vực này cũng đã đạt được nhiều thành tựu cả về mặt lý thuyết lẫn ứng dụng thực tế. Chương này sẽ trình bày các khía cạnh tổng quan về bài toán nhận dạng chữ. Trong đó, phần đầu tiên của chương sẽ đề cập đến các thao tác xử lý cơ bản trong qui trình chung của bài toán nhận dạng chữ. Phần tiếp theo là những tìm hiểu, khảo sát về các phần mềm nhận dạng chữ đang được công bố và thương mại hóa trên thị trường như phần mềm FineReader, VnDOCR, Omnipage, VietOCR.
Phần cuối cùng trình bày và hệ thống lại những vấn đề thường gặp trong bài toán nhận dạng cũng như các yếu tố ảnh hưởng đến chất lượng của một hệ thống nhận dạng. Qui trình chung của một hệ nhận dạng chữ Qui trình chung của một hệ thống nhận dạng chữ thường gồm hai giai đoạn là: Phân lớp mẫu và nhận dạng văn bản. Phân lớp mẫu Phân lớp (sắp lớp) mẫu là giai đoạn quyết định trong quá trình nhận dạng. Hai kiểu phân lớp điển hình thường được sử dụng là: phân lớp có giám sát (học có giám sát) và phân lớp không giám sát (học không giám sát).
Các vấn đề thường được đặt ra trong bước phân lớp là: Độ chính xác: Độ tin tưởng của một luật phân lớp được thể hiện bởi tỷ lệ phân lớp đúng. Nhìn chung, độ chính xác được đo bởi tập dữ liệu học và độ chính xác được đo bởi tập dữ liệu thử nghiệm là khác nhau. Đây không phải là một điều bất thường, đặc biệt trong các ứng dụng học máy, đối với tập dữ liệu học thì có thể đúng hoàn toàn, nhưng trên tập dữ liệu thử nghiệm có khi kết quả lại rất tồi tệ. Khi nói đến độ chính xác của một thuật toán phân lớp thì thường là nói đến độ chính xác trên tập dữ liệu thử nghiệm.
Kinh nghiệm thực tế cho thấy, độ chính xác của Trang - 13- một thuật toán phân lớp phụ thuộc khá nhiều vào tập dữ liệu học (cả về mặt số lượng lẫn chất lượng) nói một cách khác là việc trích chọn đặc trưng của các mẫu có ảnh hưởng lớn tới độ chính xác của quá trình phân lớp. Tốc độ phân lớp: Đây là yếu tố đặc biệt quan trọng đối với các hệ thống có tính thời gian thực, chẳng hạn như nhận dạng chữ viết tay trực tuyến (online),. Tính dễ hiểu: Thuật toán phân lớp đơn giản, dễ cài đặt và hiệu quả. Thời gian học: Nhất là trong một môi trường thường xuyên thay đổi, cần phải học một luật phân lớp một cách nhanh chóng hoặc hiệu chỉnh một luật đã có trong thời gian thực.
Để học nhanh, nhiều khi ta chỉ cần sử dụng một số lượng nhỏ các mẫu huấn luyện để thiết lập các luật phân lớp. Nhận dạng văn bản Các bước cần thực hiện trong giai đoạn này được thể hiện cụ thể trên Hình 1. Thu nhận và lưu trữ ảnh: Đây là công đoạn đầu tiên trong một quá trình nhận dạng ảnh. Trong một hệ thống nhận dạng, ảnh thường được thu nhận qua scanner, sau đó được lưu trữ dưới các định dạng file (.
Nhìn chung việc lựa chọn định dạng file lưu trữ sẽ tuỳ thuộc vào các văn bản đầu vào cần nhận dạng và các yêu cầu cụ thể của từng hệ thống. Tiền xử lý ảnh: Đây là công đoạn sử dụng các kỹ thuật xử lý ảnh để nâng cao chất lượng ảnh đầu vào. Nhìn chung, chất lượng của ảnh đầu vào sẽ ảnh hưởng nhiều đến chất lượng nhận dạng. Vì vậy, tiền xử lý ảnh là một bước không thể thiếu được trong một hệ thống nhận dạng hay xử lý Trang - 14- ảnh.
Các kỹ thuật thường được sử dụng trong quá trình tiền xử lý là: Phân ngưỡng, căn chỉnh độ lệch trang văn bản, lọc nhiễu, nối nét đứt trên ảnh,. Phân đoạn ảnh: Đây là một trong những công đoạn quan trọng nhất trọng nhất của quá trình nhận dạng và có ảnh hưởng lớn đến kết quả nhận dạng. Hai cách tiếp cận phổ biến được đề xuất trong quá trình phân đoạn ảnh là: Cách tiếp cận trên xuống (top-down): Toàn bộ ảnh văn bản cần phân đoạn được coi là một khối lớn, sau đó khối này được phân thành các khối nhỏ hơn, các khối nhỏ này lại tiếp tục được phân thành các khối nhỏ hơn nữa cho đến khi thu được các ký tự hoặc không thể phân nhỏ hơn được nữa. Nhìn chung, với cách tiếp cận này, phương pháp thường dùng để phân đoạn ảnh là sử dụng các biểu đồ tần suất ngang và dọc.
Tuy nhiên, do biểu đồ tần suất bị ảnh hưởng nhiều bởi độ nghiêng trang văn bản nên trước khi xử lý phân đoạn, ta thường phải căn chỉnh độ lệch của trang văn bản. Cách tiếp cận dưới lên (bottom-up): Quá trình phân đoạn bắt đầu bằng việc xác định những thành phần nhỏ nhất, sau đó gộp chúng lại thành những thành phần lớn hơn, cho đến khi thu được tất cả các khối trong trang văn bản. Trang - 15- Thu nhận ảnh Tiền xử lý Phân trang văn bản Cập nhật tri thức Cơ sở tri thức Nhận dạng (thông qua huấn luyện mẫu mới) Hậu xử lý Lưu văn bản Hình 1.1: Qui trình chung của một hệ thống nhận dạng chữ 4. Nhận dạng: Đây chính là thao tác gán nhãn cho đối tượng dựa trên những tri thức đã học được, nói cách khác đây là thao tác tìm kiếm một lớp mẫu phù hợp nhất với đối tượng đầu vào.
Học mẫu mới: Do tập mẫu huấn luyện không thể bao quát được toàn bộ các mẫu trong thực tế nên trong quá trình nhận dạng có thể sẽ gặp những mẫu mới mới mà hệ thống không thể nhận dạng chính xác được. Khi đó việc học thêm những mẫu này sẽ góp phần làm tăng chất lượng của hệ thống nhận dạng. Hậu xử lý: Đây là một trong những công đoạn cuối cùng của quá trình nhận dạng. Trong nhận dạng chữ, có thể hiểu hậu xử lý là bước ghép nối các ký tự đã nhận dạng được thành các từ, các câu, các đoạn văn nhằm tái Trang - 16- hiện lại văn bản đồng thời phát hiện ra các lỗi nhận dạng bằng cách kiểm tra chính tả dựa trên cấu trúc và ngữ nghĩa của câu, đoạn văn.
Việc phát hiện ra các lỗi, các sai sót trong nhận dạng ở bước này đã góp phần đáng kể vào việc nâng cao kết quả nhận dạng. Đặc biệt đối với các ảnh văn bản đầu vào không tốt (chẳng hạn: Bản in bị mờ, bị đứt nét do photo nhiều lần,.) hoặc các văn bản in chứa nhiều thông tin hỗn hợp (chẳng hạn: Trong văn bản có cả số lẫn chữ và các ký hiệu), điều này rất dễ gây nhầm lẫn trong nhận dạng. Thậm chí có những trường hợp nhập nhằng chỉ có thể giải quyết được bằng ngữ cảnh bằng cách phân tích ngữ cảnh của câu, chẳng hạn như trường hợp nhập nhằng giữa từ “lO” với số “10”. Lưu văn bản: Sau khi văn bản cần nhận dạng đã được tái tạo về dạng nguyên bản sẽ được lưu lại ở các định dạng file được hệ thống hỗ trợ, chẳng hạn như file dạng (.
Tìm hiểu một số phần mềm nhận dạng chữ 1. VnDOCR Phần mềm nhận dạng tiếng Việt VnDOCR là một sản phẩm của Viện Công nghệ Thông tin. VnDOCR có khả năng nhận dạng ký tự tiếng Việt từ máy scan hoặc file ảnh và chuyển đổi về dạng file văn bản như: *. [18] và có thể đọc và sửa trên các phần mềm soạn thảo văn bản thông dụng như Office, Wordpad, Notepad.2: Màn hình làm việc của VnDOCR Môi trường + PC với hệ điều hành Windows 9x, Windows ME, Windows 2000, Windows XP hoặc Windows NT Tiện ích: Bộ gõ chữ Việt và bộ phông ABC, VNI, Unicode.
Thông tin đưa vào + Quét trực tiếp các loại sách báo, văn bản qua máy quét (scanner). + Đọc và xử lý hơn 30 dạng tệp tin ảnh phổ dụng nhất như PCX, BMP, TIF, GIF, JPG,. Có thể nhận dạng trực tiếp tài liệu quét qua scanner. Các trang tài liệu có thể được quét và lưu trữ dưới dạng tệp tin nhiều trang.
Có thể là các dạng tệp tin của Microsoft Word (.doc), tệp ký tự ASCII (.txt), Rich Text Format (. Theo công bố, độ chính xác của phần mềm có thể đạt tới 99 % trong trường hợp các file ảnh cần nhận dạng có chất lượng tốt. Trang - 18- Các tính năng chính: - Tiền xử lý: Căn chỉnh độ nghiêng, tăng cường chất ảnh (xóa nhiễu, làm dày nét chữ nhằm nối nét đứt, làm mỏng nét chữ,… ). - Phân tích cấu trúc trang văn bản nhằm xác định các vùng thông tin khác nhau (chẳng hạn vùng ảnh, vùng văn bản, vùng bảng, các dạng tiêu đề…).
- Nhận dạng văn bản: Nhận dạng các khối văn bản đã được xác định ở bước phân trang. - Hậu xử lý: Định dạng lại trang văn bản ban đầu, chỉnh lỗi chính tả,… Một số hạn chế của phần mềm (Tính đến phiên bản 4.0) - VnDOCR chỉ làm việc với ảnh đen trắng. - Với ảnh có cấu trúc vật lí phức tạp thì hiệu quả phân tích trang và độ chính xác nhận dạng còn chưa cao. FineReader FineReader là một sản phẩm của hãng ABBYY, có khả năng nhận dạng đa ngôn ngữ (198 ngôn ngữ) bao gồm cả ngôn ngữ tiếng Việt.3: Màn hình làm việc của FineReader Trang - 19- Môi trường làm việc: PC với hệ điều hành: Windows XP, 2003, Vista, 2008, Windows 7, Windows 8, Windows 8.
Các tính năng cơ bản của phần mềm: Tiền xử lý: Căn chỉnh độ nghiêng, tăng cường chất ảnh (xóa nhiễu, làm dày nét chữ nhằm nối nét đứt, làm mỏng nét chữ,… ) Phân tích cấu trúc trang văn bản nhằm xác định các vùng thông tin khác nhau (chẳng hạn vùng ảnh, vùng văn bản, vùng bảng, các dạng tiêu đề…). Nhận dạng: Nhận dạng các khối văn bản Nhận dạng công thức toán. Nhận dạng mã vạch. Văn bản: Nhận dạng các khối văn bản đã được xác định ở bước phân trang.
Hậu xử lý: Định dạng lại trang văn bản ban đầu, chỉnh lỗi chính tả,… Ngoài ra còn có các tính năng mở rộng như: Xuất ra XML và tích hợp với Microsoft Office Word Hỗ trợ các fiel ảnh đầu vào có định dạng file PDF. Kết quả nhận dạng có thể được xuất ra nhiều định dạng file như: DOC, DOCX, XLS, XLSX, PPTX, RTF, PDF,PDF/A, HTML, CSV, TXT, ODT, EPUB, FB2, DjVu. Chức năng tìm kiếm với Morphology Support Các tùy chọn lưu ảnh cao cấp Các ứng dụng thêm cho việc hoàn thành và in ấn các Form.
