Chương 1: Tổng quan về nhận dạng chữ dựa trên mô hình mạng nơron LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 11 Nội dung của chương này sẽ tập trung khảo sát cách tiếp cận nhận dạng dựa trên mô hình mạng nơron thông qua mô hình mạng nhiều lớp truyền thẳng MLP (Multilayer Perceptrons). Từ đó đánh giá được các ưu, nhược điểm của mạng MLP, đây cũng chính là tiền đề cho quá trình xây dựng xây dựng mô hình nhận dạng ở chương sau Chương 2: Nhận dạng từ dựa trên mô hình đa mạng nơron cải tiến kết hợp với thống kê ngữ cảnh Chương này tập trung vào việc xây dựng mô hình hiệu quả để nhận dạng chữ viết tay hạn chế với những nội dung chính sau đây: Sử dụng phương pháp trích chọn đặc trưng phù hợp cho ký tự Sơ đồ tổng quan của mô hình nhận dạng từ được đề xuất bởi luận văn. Quá trình xây dựng mô hình đa mạng nơron thích hợp cho nhận dạng chữ viết tay tiếng Việt. Quá trình xây dựng bộ thống kê ngữ cảnh.
Đánh giá khả năng nhận dạng của mô hình Chương 3: Cài đặt hệ thống nhận dạng chữ viết tay hạn chế Chương này sẽ mô tả một cách cụ thể hơn về quy trình nhận dạng ký tự viết tay. Đồng thời sẽ cụ thể hoá đến mức chi tiết nhất việc ứng dụng mô hình nhận dạng đã được đề xuất chương 3 để nhận dạng ký tự viết tay. Chương 4: Thí nghiệm hệ thống nhận dạng chữ viết tay hạn chế Chương này sẽ mô tả chi tiết quá trình thí nghiệm cũng như các kết quả thí nghiệm của hệ thống với các tập dữ liệu khác nhau Phần kết luận Phần này sẽ nêu lên các vấn đề đã giải quyết được, chưa giải quyết được và hướng phát triển trong tương lai của luận văn Các phần phụ lục A, B, C LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 12 Các phần phụ lục sẽ cung cấp các thông tin tham khảo có giá trị về các kết quả thực nghiệm của chương trình, các ký hiệu, từ khoá được sử dụng trong luận văn, các tài liệu tham khảo,. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 13 CHƢƠNG 1.
Quy trình chung của một hệ nhận dạng chữ Quy trình chung của một hệ thống nhận dạng chữ thường gồm hai giai đoạn là phân lớp mẫu và nhận dạng văn bản 1. Phân lớp mẫu Phân lớp (sắp lớp) mẫu là giai đoạn quyết định trong quá trình nhận dạng. Hai kiểu phân lớp điển hình thường được sử dụng là: phân lớp có thầy (học có thầy) và phân lớp không có thầy (học không có thầy ). Các vấn đề thường được đặt ra trong bước phân lớp là: • Độ chính xác: Độ tin tưởng của một luật phân lớp được thể hiện bởi tỷ lệ phân lớp đúng.
Nhìn chung, độ chính xác được đo bởi tập dữ liệu học và độ chính xác được đo bởi tập dữ liệu thí nghiệm là khác nhau. Đây không phải là một điều bất thường, đặc biệt trong các ứng dụng học máy, đối với tập dữ liệu học thì có thể đúng hoàn toàn, nhưng trên tập dữ liệu thử nghiệm có khi kết quả lại rất tồi tệ. Khi nói đến độ chính xác của một thuật toán phân lớp thì thường là nói đến độ chính xác trên tập dữ liệu thử nghiệm. Kinh nghiệm thực tế cho thấy, độ chính xác của một thuật toán phân lớp phụ thuộc khá nhiều vào tập dữ liệu học (cả về mặt số lượng lẫn chất lượng) nói một cách khác là việc trích chọn đặc trưng của các mẫu có ảnh hưởng lớn tới độ chính xác của quá trình phân lớp.
• Tốc độ phân lớp: Đây là yếu tố đặc biệt quan trọng đối với các hệ thống có tính thời gian thực, chẳng hạn như nhận dạng chữ viết tay trực tuyến (online),. • Tính dễ hiểu: Thuật toán phân lớp đơn giản, dễ cài đặt và hiệu quả • Thời gian học: Nhất là trong một môi trường thường xuyên thay đổi, cần phải học một luật phân lớp một cách nhanh chóng hoặc hiệu chỉnh một luật đã có trong thời gian thực. Để học nhanh, nhiều khi ta chỉ cần sử dụng một số lượng nhỏ các mẫu huấn luyện để thiết lập các luật phân lớp. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.
Cấu trúc của hệ thống nhận dạng văn bản Cấu trúc cơ bản của hệ thống nhận dạng được chỉ ra trong hình 1. Một số công việc thực hiện trong xử lý nhận dạng là độc lập với hướng nghiên cứu một số khác thì liên quan và có thể được sử dụng để phân biệt giữa các hệ thống khác nhau. Các bước cần thực hiện trong giai đoạn này bao gồm: Thu nhận ảnh Chuẩn hoá Phân đoạn Nhận dạng Trích Nhận Cập nhật tri thức chọn dạng Cơ sở tri thức đặc bằng trưng mạng nơron Hậu xử lý Lưu văn bản Hình 1.1: Qui trình chung của một hệ thống nhận dạng chữ Bƣớc 1 Thu nhận và lƣu trữ ảnh: Đây là công đoạn đầu tiên trong một quá trình nhận dạng ảnh. Trong một hệ thống nhận dạng, ảnh thường được thu nhận qua máy quét, sau đó được lưu trữ dưới các định dạng file (*.
Nhìn chung việc lựa chọn định dạng file lưu trữ sẽ tuỳ thuộc vào các văn bản đầu vào cần nhận dạng và các yêu cầu cụ thể của từng hệ thống. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 15 Bƣớc 2 Chuẩn hoá: độ nghiêng nằm ngang và thẳng đứng của ảnh dữ liệu thường lớn hơn 0 do quá trình thu nhận ảnh và nét chữ tự do của người viết, khi đưa vào trong ảnh và độ nghiêng của chúng sẽ không thay đổi, do đó ta sẽ phải chuẩn hoá để ảnh của từ được thẳng đứng, trong công đoạn này ta sử dụng mật độ histogram lớn nhất để xác định dòng theo chiều ngang và theo chiều đứng của văn bản. Quá trình này sẽ nâng cao chất lượng ảnh đầu vào. Nói chung chất lượng của ảnh đầu vào sẽ ảnh hưởng nhiều đến chất lượng nhận dạng, ngoài việc căn chỉnh độ nghiêng của văn bản còn có một số thao tác chuẩn hoá khác như khử nhiễu ảnh đầu vào.
Bƣớc 3 Phân đoạn ảnh: Đây là một trong những công đoạn quan trọng của quá trình nhận dạng và có ảnh hưởng lớn đến kết quả nhận dạng. Hai cách tiếp cận phổ biến được đề xuất trong quá trình phân đoạn ảnh là: • Cách tiếp cận trên xuống (top-down): Toàn bộ ảnh văn bản phân đoạn được coi là một khối lớn, sau đó khối này được phân thành các khối nhỏ hơn, các khối nhỏ hơn này lại tiếp tục được phân thành các khối nhỏ hơn nữa cho đến khi thu được các ký tự hoặc không thể phân nhỏ hơn được nữa. Nhìn chung, với cách tiếp cận này, phương pháp thường dùng để phân đoạn ảnh là sử dụng các biểu đồ tần suất ngang và dọc. Tuy nhiên, do biểu đồ tần suất bị ảnh hưởng nhiều bởi độ nghiêng trang văn bản nên trước khi xử lý phân đoạn, ta thường phải căn chỉnh độ lệch của trang văn bản.
• Cách tiếp cận dưới lên (bottom-up): Quá trình phân đoạn bắt đầu bằng việc xác định những thành phần nhỏ nhất, sau đó gộp chúng lại thành những thành phần lớn hơn, cho đến khi thu được tất cả các khối trong trang văn bản. Bƣớc 4 Nhận dạng: Bao gồm hai công đoạn, thứ nhất là trích chọn đặc trưng để giảm kích cỡ đầu vào và tìm được những nét cơ bản nhất của ký tự. Tiếp theo là sử dụng đa mạng nơron để nhận dạng ký tự, đây chính là thao tác gán nhãn cho đối tượng dựa trên những tri thức đã học được, nói cách khác đây là thao tác tìm kiếm một lớp mẫu phù hợp nhất với đối tượng đầu vào. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 16 Bƣớc 5 Hậu xử lý: Đây là một trong những công đoạn cuối cùng của quá trình nhận dạng.
Trong nhận dạng chữ, có thể hiểu hậu xử lý là bước ghép nối các ký tự đã nhận dạng được thành các từ, các câu, các đoạn văn nhằm tái hiện lại văn bản đồng thời phát hiện ra các lỗi nhận dạng bằng cách kiểm tra chính tả dựa trên cấu trúc và ngữ nghĩa của câu, đoạn văn. Việc phát hiện ra các lỗi, các sai sót trong nhận dạng ở bước này đã góp phần đáng kể vào việc nâng cao kết quả nhận dạng Đặc biệt đối với các ảnh văn bản đầu vào không tốt (chẳng hạn: Bản in bị mờ, bị đứt nét do photo nhiều lần,.) hoặc các văn bản in chứa nhiều thông tin hỗn hợp (chẳng hạn trong văn bản có cả số lẫn chữ và các ký hiệu), điều này rất dễ gây nhầm lẫn trong nhận dạng. Thậm chí có những trường hợp nhập nhằng chỉ có thể giải quyết được bằng ngữ cảnh bằng cách phân tích ngữ cảnh của câu, chẳng hạn như trường hợp nhập nhằng giữa từ “IO” với số “10”. Bƣớc 6 Lƣu văn bản: Sau khi văn bản cần nhận dạng đã được tái tạo về dạng nguyên bản sẽ được lưu lại ở các định dạng file được hệ thống hỗ trợ, chẳng hạn như file dạng (.
Một trong những thủ tục quan trọng và tiêu tốn nhiều thời gian của các phương pháp nhận dạng truyền thống là làm mảnh ký tự. Thủ tục này làm giảm độ rộng các nét ký tự xuống còn một điểm nhằm phát hiện bộ khung xương của ký tự. Thủ tục này tạo điều kiện cho việc tìm kiếm các dấu hiệu đặc trưng của ký tự, song nó cũng làm cho một số ký tự trở nên giống nhau hơn. Do đó gây khó khăn cho các thủ tục ra quyết định sau này.
Thủ tục này sẽ không làm việc tốt khi chất lượng quét của máy quét tồi hoặc bản thân ký tự lấy từ văn bản mờ hoặc có nét đứt. Do đó cần được các thủ tục tiền xử lý như làm trơn đường biên, khử nhiễu trợ giúp. Các phương pháp ra quyết định trong phương pháp nhận dạng truyền thống được cài đặt tĩnh trong chương trình. Các phương pháp này dựa vào việc nghiên cứu đặc trưng của các ký tự như số giao điểm hoặc cấu trúc các ký tự như số điểm kết thúc, số chu trình, số thành phần liên thông,.Nhìn chung các phương pháp truyền thống đều gặp khó khăn khi chất lượng ảnh sau khi số hoá tương đối kém.
LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 17 Hiện nay, cách tiếp cận nhận dạng dựa trên mô hình mạng nơron đang trở thành một trong những hướng nghiên cứu chính và nó đã được ứng dụng rộng rãi không chỉ trong lĩnh vực nhận dạng chữ mà cả những lĩnh vực khác, chẳng hạn như: Điều khiển thông tin, dự tính, dự báo, .