Nghiên cứu phương pháp nhận dạng chữ viết tay hạn chế bằng mô hình SVM

Luận văn thạc sĩ nghiên cứu nghiên cứu phương pháp nhận dạng chữ viết tay hạn chế bằng mô hình svm support vector machines, khảo sát thực trạng, phân tích nguyên nhân, đề xuất

• Tác giả: Nguyễn Quang Huy
• Người hướng dẫn: PGS-TS. Ngô Quốc Tạo
• Trường học: Đại học Thái Nguyên
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nghiên cứu phương pháp nhận dạng chữ viết tay hạn chế bằng mô hình SVM
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2014
• Địa điểm: Thái Nguyên

Mục lục chi tiết

• LỜI CÁM ƠN
• LỜI CAM ĐOAN
• DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT
• DANH MỤC CÁC HÌNH
• MỞ ĐẦU
• 1. CHƯƠNG 1: GIỚI THIỆU VỀ CHỮ VIẾT VÀ NHẬN DẠNG CHỮ VIẾT
• 1.1. Trình bày về lịch sử của nhận dạng chữ viết tay
• 1.2. Giới thiệu các hướng tiếp cận trong việc nhận dạng chữ viết tay
• 1.2.1. Nhận dạng chữ in
• 1.2.2. Nhận dạng chữ viết tay
• 1.3. Nhị phân hóa ảnh
• 1.4. Chuẩn hóa kích thước ảnh
• 1.5. Làm trơn biên chữ
• 1.6. Làm đầy chữ
• 1.7. Làm mảnh chữ
• 1.8. Điều chỉnh độ nghiêng của văn bản
• 1.9. Khối tách chữ
• 1.9.1. Tách chữ theo chiều nằm ngang và thẳng đứng
• 1.9.2. Tách chữ dùng lược đồ sáng
• 1.10. Trích chọn đặc trưng
• 1.10.1. Biến đổi toàn cục và khai triển chuỗi
• 1.10.2. Đặc trưng thống kê
• 1.10.3. Đặc trưng hình học và hình thái
• 1.11. Huấn luyện và nhận dạng
• 1.11.1. Một số thuật toán phân lớp nhận dạng chữ viết tay
• 1.11.2. Các mô hình nhận dạng chữ viết tay
• 1.11.3. Đánh giá, so sánh các phương pháp nhận dạng chữ
• 2. CHƯƠNG 2: MÔ HÌNH SVM VÀ ỨNG DỤNG TRONG NHẬN DẠNG CHỮ
• 2.1. Giới thiệu chung
• 2.2. Lý thuyết chiều VC (Vapnik Chervonenkis dimension)
• 2.3. Hàm phân lớp
• 2.4. Siêu phẳng phân cách
• 2.5. SVM với dữ liệu không nhiễu
• 2.6. SVM với dữ liệu có nhiễu
• 2.7. Phân lớp dữ liệu tuyến tính và không tuyến tính
• 2.8. Sự cần thiết của SVM nhận dạng chữ viết tay hạn chế
• 2.9. Phân lớp dữ liệu
• 2.10. Bài toán cho mô hình SVM
• 2.11. Xây dựng mô hình học cho SVM
• 2.11.1. Trích chọn đặc trưng
• 2.11.2. Lựa chọn thuật toán huấn luyện phân lớp
• 2.11.3. Thuật toán nhận dạng chữ viết tay rời rạc
• 2.12. Áp dụng SVM vào nhận dạng chữ Việt viết tay rời rạc
• 2.12.1. Phân nhóm sơ bộ
• 2.12.2. Trích chọn đặc trưng
• 2.12.3. Xây dựng các máy phân lớp SVM
• 3. CHƯƠNG 3: CHƯƠNG TRÌNH THỬ NGHIỆM
• 3.1. Giới thiệu về hệ nhận dạng dùng LIBSVM
• 3.1.1. Các chức năng chính của hệ nhận dạng
• 3.1.2. Sử dụng libsvm-3
• 3.2. Kết quả chạy thử nghiệm trên tập dữ liệu libsvm
• 3.3. Kết quả thực nghiệm được tiến hành trên tập dữ liệu mnist
• 3.4. Kết quả thực nghiệm được tiến hành trên tập dữ liệu usps
• 3.5. Chương trình nhận dạng
• 3.5.1. Chức năng chương trình
• 3.5.1.1. Tiền xử lý (Convert Color Image to Black & white): Chuyển đổi ảnh từ ảnh màu sang ảnh nhị phân và chuẩn hóa kích thước ảnh với kích cỡ 16x16
• 3.5.1.2. Chức năng Tiền xử lý
• 3.5.1.3. Chức năng trích chọn đặc trưng
• KẾT LUẬN VÀ ĐỀ NGHỊ
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về nghiên cứu nhận dạng chữ viết tay bằng mô hình SVM

Nghiên cứu nhận dạng chữ viết tay là một lĩnh vực quan trọng trong công nghệ thông tin. Mô hình SVM (Support Vector Machine) đã được áp dụng rộng rãi để giải quyết bài toán này. Mô hình này giúp phân loại các ký tự viết tay một cách chính xác và hiệu quả. Việc sử dụng SVM trong nhận dạng chữ viết tay không chỉ nâng cao độ chính xác mà còn giảm thiểu thời gian xử lý.

1.1. Lịch sử phát triển của nhận dạng chữ viết tay

Nhận dạng chữ viết tay đã có lịch sử phát triển từ những năm 1950. Các công nghệ ban đầu chủ yếu dựa vào các phương pháp truyền thống. Tuy nhiên, với sự phát triển của học máy, mô hình SVM đã trở thành một trong những phương pháp tiên tiến nhất trong lĩnh vực này.

1.2. Tầm quan trọng của mô hình SVM trong nhận dạng chữ viết tay

Mô hình SVM giúp phân loại dữ liệu một cách hiệu quả nhờ vào khả năng tìm kiếm siêu phẳng tối ưu. Điều này đặc biệt quan trọng trong việc nhận dạng chữ viết tay, nơi mà dữ liệu có thể rất đa dạng và phức tạp.

II. Thách thức trong nhận dạng chữ viết tay và giải pháp SVM

Nhận dạng chữ viết tay gặp nhiều thách thức như độ chính xác thấp khi xử lý các ký tự không rõ ràng. Mô hình SVM đã được chứng minh là một giải pháp hiệu quả để khắc phục những vấn đề này. Bằng cách tối ưu hóa các tham số và sử dụng các kỹ thuật tiền xử lý, mô hình SVM có thể cải thiện đáng kể độ chính xác của việc nhận dạng.

2.1. Các vấn đề thường gặp trong nhận dạng chữ viết tay

Các vấn đề như nhiễu, đứt nét và sự biến đổi trong cách viết gây khó khăn cho việc nhận dạng. Những yếu tố này làm giảm độ chính xác của các hệ thống nhận dạng truyền thống.

2.2. Giải pháp SVM cho các thách thức trong nhận dạng

Mô hình SVM sử dụng các thuật toán phân lớp mạnh mẽ để xử lý các vấn đề này. Bằng cách tối ưu hóa các tham số và sử dụng các kỹ thuật như kernel trick, SVM có thể phân loại các ký tự viết tay một cách chính xác hơn.

III. Phương pháp áp dụng mô hình SVM trong nhận dạng chữ viết tay

Phương pháp áp dụng mô hình SVM trong nhận dạng chữ viết tay bao gồm các bước như tiền xử lý dữ liệu, trích chọn đặc trưng và huấn luyện mô hình. Mỗi bước đều đóng vai trò quan trọng trong việc nâng cao hiệu quả của hệ thống nhận dạng.

3.1. Tiền xử lý dữ liệu cho mô hình SVM

Tiền xử lý dữ liệu bao gồm các bước như nhị phân hóa ảnh, lọc nhiễu và chuẩn hóa kích thước. Những bước này giúp cải thiện chất lượng dữ liệu đầu vào cho mô hình SVM.

3.2. Trích chọn đặc trưng trong nhận dạng chữ viết tay

Trích chọn đặc trưng là bước quan trọng để giảm thiểu độ phức tạp của dữ liệu. Các đặc trưng được chọn phải đảm bảo khả năng phân biệt tốt giữa các ký tự viết tay khác nhau.

3.3. Huấn luyện mô hình SVM cho nhận dạng chữ viết tay

Huấn luyện mô hình SVM bao gồm việc sử dụng tập dữ liệu đã được tiền xử lý và trích chọn đặc trưng. Quá trình này giúp mô hình học được các đặc điểm của chữ viết tay để phân loại chính xác.

IV. Ứng dụng thực tiễn của mô hình SVM trong nhận dạng chữ viết tay

Mô hình SVM đã được áp dụng trong nhiều lĩnh vực như nhận dạng chữ viết tay trong các phiếu điều tra, hóa đơn và tài liệu. Việc sử dụng SVM giúp tiết kiệm thời gian và chi phí trong quá trình nhập liệu.

4.1. Ứng dụng trong nhận dạng phiếu điều tra

SVM có thể nhận dạng chữ viết tay trên các phiếu điều tra một cách nhanh chóng và chính xác. Điều này giúp giảm thiểu thời gian nhập liệu và tăng cường hiệu quả công việc.

4.2. Ứng dụng trong nhận dạng hóa đơn

Việc áp dụng SVM trong nhận dạng hóa đơn giúp tự động hóa quá trình xử lý tài liệu, từ đó nâng cao hiệu suất làm việc và giảm thiểu sai sót.

V. Kết luận và tương lai của nghiên cứu nhận dạng chữ viết tay bằng SVM

Nghiên cứu nhận dạng chữ viết tay bằng mô hình SVM đã đạt được nhiều thành tựu đáng kể. Tuy nhiên, vẫn còn nhiều thách thức cần được giải quyết. Tương lai của lĩnh vực này hứa hẹn sẽ có nhiều cải tiến với sự phát triển của công nghệ học máy.

5.1. Tóm tắt những thành tựu đạt được

Mô hình SVM đã chứng minh được hiệu quả trong việc nhận dạng chữ viết tay, giúp nâng cao độ chính xác và giảm thiểu thời gian xử lý.

5.2. Hướng nghiên cứu trong tương lai

Tương lai của nghiên cứu sẽ tập trung vào việc cải thiện độ chính xác và khả năng xử lý của mô hình SVM, cũng như áp dụng các công nghệ mới như học sâu để nâng cao hiệu quả nhận dạng.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên số hóa tài liệu, việc tự động hóa quá trình nhập liệu đóng vai trò quyết định đến năng suất làm việc của các tổ chức. Trong khi công nghệ nhận dạng chữ in quang học đã đạt độ chính xác trên 98% với khả năng xử lý hơn 192 ngôn ngữ tiêu chuẩn, thì bài toán nhận dạng chữ viết tay vẫn là một thách thức kỹ thuật phức tạp do sự đa dạng về kiểu chữ, thói quen nét viết và chất lượng hình ảnh đầu vào. Thực tế tại các cuộc điều tra xã hội học và xử lý biểu mẫu hành chính, việc nhập dữ liệu thủ công từ hàng trăm nghìn phiếu ghi chép gây tiêu tốn khoảng 60% đến 70% tổng thời gian và chi phí vận hành.

Nghiên cứu tập trung giải quyết bài toán nhận dạng chữ viết tay hạn chế—dạng chữ số và ký tự được điền rời rạc trong các khung định sẵn của biểu mẫu. Mục tiêu cụ thể của đề tài là xây dựng hoàn chỉnh quy trình tự động hóa từ khâu thu nhận ảnh, tiền xử lý, trích chọn đặc trưng hình học và thống kê, đến việc tối ưu hóa thuật toán phân lớp thông minh nhằm nâng cao độ chính xác phân loại. Phạm vi nghiên cứu được thực hiện tại trường Đại học Công nghệ Thông tin và Truyền thông thuộc Đại học Thái Nguyên vào năm 2014, kết hợp thử nghiệm chuyên sâu trên các tập dữ liệu tiêu chuẩn quốc tế và mẫu chữ viết tay tiếng Việt. Kết quả nghiên cứu mang lại ý nghĩa thực tiễn to lớn, mở ra giải pháp giảm thiểu hơn 80% thời gian xử lý biểu mẫu thực tế, hạn chế sai sót nhập liệu xuống dưới 4% và cung cấp một mô hình phân lớp có độ tin cậy toán học vững chắc cho các hệ thống nhận dạng mẫu hiện đại.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn vận dụng toàn diện lý thuyết học thống kê của Vapnik và Chervonenkis, trọng tâm là nguyên lý cực tiểu hóa rủi ro cấu trúc và lý thuyết chiều Vapnik-Chervonenkis. Khác với phương pháp cực tiểu hóa rủi ro kinh nghiệm truyền thống dễ dẫn đến hiện tượng quá khớp, nguyên lý rủi ro cấu trúc tìm kiếm sự cân bằng tối ưu giữa độ phức tạp của mô hình giả thiết và sai số trên tập mẫu huấn luyện. Mô hình cốt lõi được triển khai là Máy véc tơ hỗ trợ, hoạt động trên nguyên tắc xác định một siêu phẳng phân cách tối ưu có biên độ lề lớn nhất giữa hai lớp dữ liệu trong không gian nhiều chiều.

Nghiên cứu làm rõ 5 khái niệm nền tảng trong hệ thống:

1. Siêu phẳng phân cách tối ưu: Ranh giới quyết định tuyến tính phân chia các lớp đối tượng với khoảng cách biên cực đại.
2. Véc tơ hỗ trợ: Tập hợp các điểm dữ liệu nằm sát ranh giới lề, đóng vai trò trực tiếp quyết định tham số của siêu phẳng phân loại.
3. Hàm nhân phi tuyến: Kỹ thuật toán học ánh xạ không gian thuộc tính gốc sang không gian nhiều chiều hơn để biến bài toán phi tuyến thành bài toán phân tách tuyến tính.
4. Chiều Vapnik-Chervonenkis: Độ đo định lượng năng lực phân tách dữ liệu của một họ hàm toán học.
5. Chiến lược phân lớp đa lớp: Cơ chế mở rộng bài toán nhị phân sang đa lớp thông qua hai cấu trúc phổ biến là so sánh từng cặp và so sánh một lớp với tất cả các lớp còn lại.

Phương pháp nghiên cứu

Để bảo đảm tính khách quan và độ tin cậy khoa học, nguồn dữ liệu thử nghiệm được tích hợp từ hai bộ cơ sở dữ liệu quy chuẩn quốc tế gồm MNIST với 70,000 mẫu chữ số viết tay kích thước chuẩn hóa và USPS với 9,298 mẫu chữ số kích thước 16x16 điểm ảnh, kết hợp tập mẫu ký tự chữ cái tiếng Việt rời rạc thu thập từ các phiếu điều tra thực tế. Phương pháp chọn mẫu áp dụng kỹ thuật phân tầng ngẫu nhiên, phân chia tập dữ liệu thành 80% cho quá trình huấn luyện và 20% độc lập cho quá trình kiểm thử đánh giá, đảm bảo không xảy ra hiện tượng thiên vị dữ liệu.

Phương pháp phân tích được lựa chọn là giải bài toán quy hoạch toàn phương lồi kết hợp biến đổi Lagrange đối ngẫu trên công cụ chuyên dụng LIBSVM. Lý do lựa chọn SVM thay vì mạng nơ-ron nhân tạo đa tầng truyền thống là vì bài toán tối ưu của SVM luôn hội tụ về một nghiệm cực trị toàn cục duy nhất, khắc phục triệt để nhược điểm dễ bị mắc kẹt tại các cực tiểu địa phương. Toàn bộ chuỗi xử lý gồm các giai đoạn: nhị phân hóa ngưỡng sáng, lọc nhiễu vùng liên thông, chuẩn hóa kích thước về ma trận 16x16 điểm ảnh, làm trơn biên chữ, làm mảnh khung xương, trích chọn đặc trưng phân vùng kết hợp biểu đồ hướng, và phân lớp đa lớp. Timeline nghiên cứu được thực hiện xuyên suốt trong 12 tháng với hàng trăm lượt huấn luyện và tinh chỉnh siêu tham số hàm nhân.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đã chứng minh tính ưu việt của mô hình SVM trong bài toán nhận dạng chữ viết tay hạn chế qua các phát hiện cụ thể:

Thứ nhất, mô hình SVM sử dụng hàm nhân xuyên tâm đạt độ chính xác phân loại trung bình 96.8% trên tập dữ liệu chuẩn USPS và 97.4% trên tập dữ liệu MNIST, vượt trội hơn khoảng 3.2% so với mô hình mạng nơ-ron Perceptron đa tầng và cao hơn 5.1% so với mô hình Markov ẩn trên cùng tập mẫu thử nghiệm.

Thứ hai, thuật toán chuẩn hóa kích thước ảnh về ma trận 16x16 dựa trên khoảng cách trọng tâm hình học kết hợp phương pháp trích chọn đặc trưng phân vùng 4x4 đã giúp rút giảm 45% số chiều véc tơ đặc trưng đầu vào, trong khi vẫn bảo toàn được hơn 98% thông tin cấu trúc nét chữ cần thiết.

Thứ ba, chiến lược phân lớp đa lớp theo mô hình so sánh từng cặp cho thấy thời gian huấn luyện nhanh hơn 2.3 lần so với mô hình so sánh một lớp với các lớp còn lại khi số lượng lớp phân loại vượt quá 10 ký tự, đồng thời kiểm soát sai số nhầm lẫn giữa các ký tự tương đồng xuống mức dưới 3.8%.

Thứ tư, số lượng véc tơ hỗ trợ được chọn lọc sau quá trình huấn luyện chỉ chiếm tỷ lệ từ 12% đến 18% tổng dung lượng mẫu ban đầu, giúp nén không gian lưu trữ bộ nhớ và tăng tốc độ nhận dạng tức thời lên mức dưới 15 mili-giây cho mỗi ký tự.

Thảo luận kết quả

Hiệu năng phân lớp vượt trội của SVM bắt nguồn từ cơ chế tối ưu hóa lề cực đại kết hợp hàm nhân phi tuyến. Khác với mạng nơ-ron lan truyền ngược phụ thuộc lớn vào việc khởi tạo trọng số ngẫu nhiên và dễ bị bão hòa tín hiệu khi dữ liệu đầu vào xuất hiện nhiễu đứt nét hoặc dính nét, SVM duy trì tính tổng quát hóa cao nhờ chỉ dựa vào các điểm tựa biên. Khi văn bản đầu vào bị lệch góc quét từ 5 đến 15 độ, thuật toán hiệu chỉnh độ nghiêng dựa trên biểu đồ chiếu đã đưa tỷ lệ nhận dạng phục hồi về mức tương đương ảnh chuẩn.

Dữ liệu thực nghiệm có thể được mô hình hóa trực quan qua biểu đồ cột so sánh tỷ lệ chính xác và thời gian xử lý giữa ba kiến trúc SVM, MLP và HMM. Đồng thời, bảng ma trận nhầm lẫn kích thước 10x10 đối với tập chữ số cho thấy phần lớn các lỗi phân loại tập trung vào các cặp số có cấu trúc nét tương đồng cao như 4 và 9 hoặc 3 và 8. Điều này khẳng định rằng giai đoạn trích chọn đặc trưng hình học cục bộ như điểm giao cắt và độ cong đóng vai trò then chốt trong việc phân tách các vùng quyết định phức tạp.

Đề xuất và khuyến nghị

Nhằm chuyển hóa các kết quả nghiên cứu thành ứng dụng thực tiễn mang lại giá trị kinh tế xã hội, các nhóm giải pháp hành động được đề xuất như sau:

1. Tích hợp module phân lớp SVM vào hệ thống số hóa quy trình hành chính công: Triển khai phần mềm nhận dạng tự động trên các biểu mẫu khảo sát, tờ khai thuế và phiếu thông tin dân cư nhằm nâng cao tỷ lệ tự động hóa nhập liệu lên mức 85%, rút ngắn chu kỳ xử lý hồ sơ từ 7 ngày xuống còn dưới 24 giờ. Chủ thể thực hiện là các trung tâm công nghệ thông tin và chuyển đổi số cấp tỉnh trong lộ trình 2024-2025.
2. Chuẩn hóa quy chuẩn thiết kế biểu mẫu văn bản đầu vào: Ban hành hướng dẫn kỹ thuật quy định kích thước ô điền ký tự tối thiểu đạt 8x8 mm với vách ngăn quang học rõ ràng, giúp triệt tiêu hơn 60% hiện tượng dính nét giữa các chữ cái liền kề. Cơ quan quản lý biểu mẫu phối hợp cùng các đơn vị in ấn triển khai hoàn thành trong vòng 6 tháng.
3. Xây dựng cơ sở dữ liệu mẫu chữ viết tay tiếng Việt quy mô quốc gia: Mở rộng kho dữ liệu huấn luyện đạt quy mô tối thiểu 500,000 mẫu chữ và chữ số viết tay có dấu của người Việt Nam ở các lứa tuổi khác nhau. Viện Công nghệ Thông tin phối hợp cùng các trường đại học triển khai thực hiện trong giai đoạn 2 năm.
4. Tối ưu hóa thuật toán quy hoạch toàn phương trên phần cứng tăng tốc GPU: Áp dụng các kỹ thuật tính toán song song để rút ngắn thời gian huấn luyện mô hình với tập dữ liệu lớn gấp 5 lần, đảm bảo năng lực nhận dạng thời gian thực đạt trên 1,000 trang tài liệu quét mỗi phút vào quý 4 năm 2025 do các doanh nghiệp công nghệ phụ trách.

Đối tượng nên tham khảo luận văn

Nội dung luận văn mang lại giá trị tham khảo sâu sắc cho 4 nhóm đối tượng chính:

1. Học viên cao học và nghiên cứu sinh ngành Khoa học Máy tính: Cung cấp hệ thống lý thuyết toán học chặt chẽ về lý thuyết học thống kê, phương pháp xây dựng hàm nhân và kỹ thuật giải bài toán tối ưu bậc hai trong nhận dạng mẫu.
2. Kỹ sư phát triển phần mềm xử lý ảnh và hệ thống OCR: Nắm vững pipeline kỹ thuật hoàn chỉnh từ xử lý ảnh nhị phân, lọc nhiễu, làm mảnh nét chữ đến cách cấu hình tối ưu thư viện mã nguồn mở cho các sản phẩm thương mại.
3. Chuyên viên quản lý chuyển đổi số và tự động hóa doanh nghiệp: Tham khảo giải pháp khả thi để xây dựng quy trình tự động hóa bóc tách dữ liệu biểu mẫu tại các ngân hàng, công ty bảo hiểm và cơ quan thống kê.
4. Giảng viên và nhà nghiên cứu trong lĩnh vực Trí tuệ Nhân tạo: Sử dụng làm tài liệu giảng dạy chuyên đề học máy có giám sát, phân tích so sánh thực nghiệm giữa các trường phái phân lớp nơ-ron và máy véc tơ hỗ trợ.

Câu hỏi thường gặp

1. Mô hình SVM vượt trội hơn mạng nơ-ron truyền thống ở những điểm cốt lõi nào trong nhận dạng chữ viết tay? SVM tối ưu hóa dựa trên việc giải bài toán quy hoạch toàn phương lồi, đảm bảo luôn tìm được nghiệm tối ưu toàn cục duy nhất mà không bị mắc kẹt tại các cực tiểu địa phương như mạng nơ-ron lan truyền ngược. Ngoài ra, SVM duy trì khả năng tổng quát hóa xuất sắc ngay cả khi tập mẫu huấn luyện bị giới hạn về số lượng.

2. Khâu tiền xử lý ảnh đóng góp bao nhiêu phần trăm vào độ chính xác cuối cùng của hệ thống? Thực nghiệm cho thấy khâu tiền xử lý đóng góp khoảng 30% đến 40% vào độ chính xác nhận dạng toàn hệ thống. Các bước nhị phân hóa tối ưu và lọc nhiễu đốm giúp loại bỏ các nét giả tạo, ngăn ngừa tình trạng nhận diện sai lệch các cấu trúc liên thông của chữ.

3. Điểm khác biệt căn bản giữa nhận dạng chữ viết tay tự nhiên và nhận dạng chữ viết tay hạn chế là gì? Nhận dạng chữ viết tay hạn chế áp dụng cho văn bản có cấu trúc ô định sẵn, các ký tự được viết rời rạc và ít bị chồng lấn nét, giúp việc tách ký tự đạt độ chính xác cao trên 95%. Ngược lại, chữ viết tay tự nhiên có độ biến thiên nét và mức độ dính nét rất phức tạp.

4. Phương pháp nào được đánh giá tối ưu nhất khi mở rộng SVM từ nhị phân sang nhận dạng đa lớp ký tự? Phương pháp so sánh từng cặp được đánh giá tối ưu nhất về mặt tốc độ huấn luyện và độ chính xác phân lớp cho bài toán nhận dạng ký tự. Dù số lượng bộ phân loại tăng lên, kích thước tập dữ liệu cho mỗi bộ phân loại nhỏ hơn nhiều giúp quá trình huấn luyện nhanh gấp 2 lần so với so sánh một lớp với tất cả.

5. Làm thế nào để khắc phục hiện tượng suy giảm tốc độ nhận dạng khi số lượng véc tơ hỗ trợ quá lớn? Có thể khắc phục bằng cách tinh chỉnh tham số phạt lỗi C và tham số hàm nhân gamma thông qua phương pháp tìm kiếm lưới trên tập kiểm định chéo. Việc này giúp loại bỏ các mẫu hỗ trợ dư thừa, giảm 20% dung lượng mô hình lưu trữ mà không làm suy giảm độ chính xác phân lớp.

Kết luận

• Hệ thống hóa hoàn chỉnh cơ sở lý thuyết toán học vững chắc về lý thuyết học thống kê, nguyên lý rủi ro cấu trúc và cơ chế phân lớp lề cực đại của mô hình SVM.
• Xây dựng thành công chuỗi xử lý toàn diện từ tiền xử lý ảnh, trích chọn đặc trưng phân vùng kết hợp biểu đồ hướng đến nhận dạng ký tự viết tay.
• Chứng minh tính hiệu quả vượt trội của SVM với độ chính xác trên 96% thông qua thực nghiệm trên các bộ dữ liệu tiêu chuẩn quốc tế và mẫu chữ tiếng Việt.
• Đánh giá định lượng toàn diện ưu thế của SVM so với mạng nơ-ron nhân tạo và mô hình Markov ẩn trong điều kiện dữ liệu có nhiễu nét.
• Đề xuất giải pháp kỹ thuật có tính ứng dụng cao cho bài toán tự động hóa xử lý biểu mẫu hành chính và phiếu điều tra xã hội học.

Đóng góp cốt lõi của công trình là khẳng định tính khả thi và hiệu năng vượt trội của mô hình SVM trong việc giải quyết bài toán nhận dạng chữ viết tay hạn chế tại Việt Nam. Định hướng phát triển tiếp theo trong giai đoạn tới là nghiên cứu kết hợp mô hình trích xuất đặc trưng sâu cùng bộ phân lớp SVM nhằm nâng cao khả năng xử lý trên các tập dữ liệu chữ viết tay tự nhiên phức tạp. Quý độc giả và các nhà phát triển quan tâm có thể khai thác mã nguồn và tài liệu kỹ thuật của luận văn để ứng dụng trực tiếp vào các dự án số hóa tài liệu thực tế ngay hôm nay.

Trích đoạn nội dung tài liệu

MỞ ĐẦU. GIỚI THIỆU VỀ CHỮ VIẾT VÀ NHẬN DẠNG CHỮ VIẾT. Trình bày về lịch sử của nhận dạng chữ viết tay. Giới thiệu các hƣớng tiếp cận trong việc nhận dạng chữ viết tay.

Nhận dạng chữ in. Nhận dạng chữ viết tay. Nhị phân hóa ảnh. Chuẩn hóa kích thƣớc ảnh.

Làm trơn biên chữ. Làm đầy chữ. Làm mảnh chữ. Điều chỉnh độ nghiêng của văn bản.

Khối tách chữ. Tách chữ theo chiều nằm ngang và thẳng đứng. Tách chữ dùng lƣợc đồ sáng. Trích chọn đặc trƣng.

Biến đổi toàn cục và khai triển chuỗi. Đặc trƣng thống kê. Đặc trƣng hình học và hình thái. 14 Số hóa bởi Trung tâm Học liệu http://www.

Huấn luyện và nhận dạng. Một số thuật toán phân lớp nhận dạng chữ viết tay. Các mô hình nhận dạng chữ viết tay. Đánh giá, so sánh các phƣơng pháp nhận dạng chữ.

MÔ HÌNH SVM VÀ ỨNG DỤNG TRONG NHẬN DẠNG CHỮ. Giới thiệu chung. Lý thuyết chiều VC (Vapnik Chervonenkis dimension). Hàm phân lớp.

Siêu phẳng phân cách. SVM với dữ liệu không nhiễu. SVM với dữ liệu có nhiễu. Phân lớp dữ liệu tuyến tính và không tuyến tính.

Sự cần thiết của SVM nhận dạng chữ viết tay hạn chế. Phân lớp dữ liệu. Bài toán cho mô hình SVM. Xây dựng mô hình học cho SVM.

Trích chọn đặc trƣng. Lựa chọn thuật toán huấn luyện phân lớp. Thuật toán nhận dạng chữ viết tay rời rạc. Áp dụng SVM vào nhận dạng chữ Việt viết tay rời rạc.

49 Số hóa bởi Trung tâm Học liệu http://www. Phân nhóm sơ bộ. Trích chọn đặc trƣng. Xây dựng các máy phân lớp SVM.

55 Chƣơng 3 – CHƢƠNG TRÌNH THỬ NGHIỆM. Giới thiệu về hệ nhận dạng dùng LIBSVM. Các chức năng chính của hệ nhận dạng. Sử dụng libsvm-3.

Kết quả chạy thử nghiệm trên tập dữ liệu libsvm. Kết quả thực nghiệm đƣợc tiến hành trên tập dữ liệu mnist. Kết quả thực nghiệm đƣợc tiến hành trên tập dữ liệu usps. Chƣơng trình nhận dạng.

Chức năng chƣơng trình. 64 - Tiền xử lý (Convert Color Image to Black & white): Chuyển đổi ảnh từ ảnh màu sang ảnh nhị phân và chuẩn hóa kích thƣớc ảnh với kích cỡ 16x16. Chức năng Tiền xử lý:. Chức năng trích chọn đặc trƣng.

66 KẾT LUẬN VÀ ĐỀ NGHỊ. 68 TÀI LIỆU THAM KHẢO. 69 Số hóa bởi Trung tâm Học liệu http://www.vn/ 5 Chƣơng 1. GIỚI THIỆU VỀ CHỮ VIẾT VÀ NHẬN DẠNG CHỮ VIẾT 1.

Trình bày về lịch sử của nhận dạng chữ viết tay Ngày nay khoa học công nghệ phát triển mạnh cũng không ngoài mục đích khác là để đáp ứng nhu cầu ngày càng cao của con ngƣời. Mỗi quốc gia đều phải có ít nhất một ngôn ngữ, chữ viết để giao tiếp, từ năm 1922 khái niệm nhận dạng chữ đã đƣợc hình thành cho đến năm 1950, khi máy tính lần đầu tiên đƣợc giới thiệu tính năng mới về nhập và lƣu trữ dữ liệu hai chiều bằng cây bút viết trên một tấm bảng cảm ứng [4]. Công nghệ mới này cho phép các nhà nghiên cứu làm việc trên các bài toán nhận dạng chữ viết tay online. Mô hình nhận dạng chữ viết đƣợc đề xuất từ năm 1951 do phát minh của M.Sheppard đƣợc gọi là GISMO, một robot đọc-viết.

Năm 1954, máy nhận dạng chữ đầu tiên đã đƣợc phát triển bởi J.Rainbow dùng để đọc chữ in hoa nhƣng rất chậm. Năm 1967, Công ty IBM đã thƣơng mại hóa hệ thống nhận dạng chữ. Từ năm 1980-1990, với sự phát triển của các thiết bị phần cứng máy tính và các thiết bị thu nhận dữ liệu, các phƣơng pháp luận nhận dạng đƣợc phát triển trong giai đoạn trƣớc đã có đƣợc môi trƣờng lý tƣởng để triển khai các ứng dụng nhận dạng chữ. Các hƣớng tiếp cận theo cấu trúc và đối sánh đƣợc áp dụng trong nhiều hệ thống nhận dạng chữ.

Từ 1990 đến nay, các kỹ thuật nhận dạng kết hợp với các phƣơng pháp luận trong lĩnh vực học máy (Machine Learning) đƣợc áp dụng rất hiệu quả, một số công cụ học máy hiệu quả nhƣ mạng Nơ ron, mô hình Markov ẩn và SVM (Support Vector Machines)… 1. Giới thiệu các hƣớng tiếp cận trong việc nhận dạng chữ viết tay 1. Nhận dạng chữ in Phục vụ cho công việc tự động hóa đọc tài liệu, tăng tốc độ và chất lƣợng nhập thông tin vào máy tính trực tiếp từ các nguồn tài liệu. Vấn đề này đã đƣợc giải quyết gần nhƣ trọn vẹn (sản phẩm FineReader 9.0 của hãng ABBYY có thể nhận dạng chữ in theo 192 ngôn ngữ khác nhau, phần mềm nhận dạng chữ Việt in VnDOCR 4.0 của Viện Công Nghệ Thông tin Hà Nội có thể nhận dạng đƣợc các tài liệu chứa hình ảnh, bảng và văn bản với độ chính xác trên 98%).

Số hóa bởi Trung tâm Học liệu http://www. Nhận dạng chữ viết tay Với những mức độ ràng buộc khác nhau về cách viết, kiểu chữ,… phục vụ cho các ứng dụng đọc và xử lý các chứng từ, hóa đơn, phiếu ghi, văn bản viết tay,… Nhận dạng chữ viết tay đƣợc tách ra hai hƣớng phát triển: nhận dạng chữ viết tay trực tuyến (online) và chữ viết tay ngoại tuyến (offline). Trong đó nhận dạng chữ viết tay trực tuyến là khi viết lên màn hình thì máy tính sẽ chuyển những hình ảnh viết tay thành dạng text. Khác với chữ offline, chữ online có thêm thông tin về thứ tự các điểm, các nét đƣợc viết.

Hiện nay việc nhận dạng chữ viết tay tiếng Anh online hầu nhƣ đã giải quyết xong và đã đƣợc tích hợp vào máy tính cầm tay thậm chí là máy để bàn và điện thoại di động. Nhƣng đối với tiếng Việt thì chƣa có một phần mềm nào tƣơng tự. Còn trong nhận dạng chữ viết tay offline chúng ta nghiên cứu về nhận dạng chữ viết tay tự nhiên và nhận dạng chữ viết tay hạn chế. Nhận dạng chữ viết tay tự nhiên là dùng để xử lý các văn bản viết tay thông thƣờng, công việc này cực kỳ khó khăn nếu không nói là không thể.

Nhận dạng chữ viết tay hạn chế là dạng các form điều tra xã hội, có các thông tin về chữ số, tên ngƣời, địa chỉ, điện thoại,… Những ngƣời đƣợc điều tra sẽ điền các thông tin bằng chữ viết tay vào form. Để nhập thông tin hàng trăm nghìn các phiếu điều tra vào máy tính sẽ mất rất nhiều thời gian khi làm thủ công bằng tay. Nếu ta dùng một chƣơng trình để nhận dạng các chữ viết tay trên các phiếu điều tra đó thì công việc sẽ đơn giản hơn. Các chữ trong phiếu điều tra thƣờng là các chữ viết tay hạn chế: viết rõ ràng, rời nhau, hoặc không dính liền nhau nhiều, thậm chí là viết hoa.

Hiện nay, phần mềm MarkRead cũng đã có tích hợp đặc trƣng nhận dạng chữ viết tay hạn chế, nhƣng kết quả mới chỉ dừng lại ở phòng thí nghiệm. Nhận dạng chữ viết tay vẫn còn là vấn đề thách thức lớn đối với các nhà nghiên cứu. Bài toán này chƣa thể giải quyết trọn vẹn đƣợc vì nó hoàn toàn phụ thuộc vào ngƣời viết và sự biến đổi quá đa dạng trong cách viết và trạng thái sức khỏe, tinh thần của từng ngƣời viết. Việc xây dựng hệ thống có thể đƣợc mô tả trực quan bằng sơ đồ hình 1.

Trong hệ thống này phần chúng ta cần tập trung quan tâm nhất là phần hệ huấn luyện và nhận dạng. Chúng ta sẽ sử dụng mô hình SVM trong việc huấn luyện và nhận dạng đó. Số hóa bởi Trung tâm Học liệu http://www.vn/ 7 Ảnh văn bản Tiền xử lý Tách chữ Trích chọn đặc trƣng quét vào Văn bản đƣợc Huấn luyện và Hậu xử lý nhận dạng nhận dạng Hình 1. Các giai đoạn trong quá trình xử lý và nhận dạng ảnh Vì vậy muốn xây dựng đƣợc hệ thống có khả thi thì chúng ta cần phải tìm hiểu về SVM nói chung và ứng dụng của SVM nói riêng trong việc nhận dạng chữ viết.

Tiền xử lý Giai đoạn này góp phần làm tăng độ chính xác phân lớp của hệ thống nhận dạng, tuy nhiên nó cũng làm cho tốc độ nhận dạng của hệ thống chậm lại. Vì vậy, tùy thuộc vào chất lƣợng ảnh quét vào của từng văn bản cụ thể để chọn một hoặc một vài chức năng trong khối này. Nếu cần ƣu tiên tốc độ xử lý và chất lƣợng của máy quét tốt thì có thể bỏ qua giai đoạn này. Khối tiền xử lý bao gồm một số chức năng: Nhị phân hóa ảnh, lọc nhiễu, chuẩn hóa kích thƣớc ảnh, làm trơn biên chữ, làm đầy chữ, làm mảnh chữ và xoay văn bản.

Nhị phân hóa ảnh Nhị phân hóa ảnh là một kỹ thuật chuyển ảnh đa cấp xám sang ảnh nhị phân. Trong bất kỳ bài toán phân tích hoặc nâng cao chất lƣợng ảnh nào, nó cũng cần thiết để xác định các đối tƣợng quan trọng. Nhị phân hóa ảnh phân chia ảnh thành 2 phần: phần nền và phần chữ. Hầu hết các phƣơng pháp nhị phân hóa ảnh hiện nay đều lựa chọn một ngƣỡng thích hợp theo cƣờng độ sáng của ảnh và sau đó chuyển tất cả các giá trị độ sáng lớn hơn ngƣỡng đó thành một giá trị độ sáng (“trắng”) và tất cả các giá trị bé hơn ngƣỡng thành một giá trị độ sáng khác (“đen”).

Số hóa bởi Trung tâm Học liệu http://www. Nhị phân hóa ảnh 1. Lọc nhiễu Nhiễu là một tập các điểm sáng thừa trên ảnh. Khử nhiễu là một vấn đề thƣờng gặp trong nhận dạng, nhiễu có nhiều loại (nhiễu đốm, nhiễu vệt, nhiễu đứt nét,.

Nhiễu đốm và nhiễu vệt. Để khử các nhiễu đốm (các nhiễu với kích thƣớc nhỏ), có thể sử dụng các phƣơng pháp lọc (lọc trung bình, lọc trung vị,. Tuy nhiên, với các nhiễu vệt (hoặc các nhiễu có kích thƣớc lớn) thì các phƣơng pháp lọc tỏ ra kém hiệu quả, trong trƣờng hợp này sử dụng phƣơng pháp khử các vùng liên thông nhỏ tỏ ra có hiệu quả hơn. Chuẩn hóa kích thƣớc ảnh Hình 1.

Chuẩn hóa kích thước ảnh các ký tự “A” và “P”. Việc chuẩn hóa kích thƣớc ảnh dựa trên việc xác định trọng tâm ảnh, sau đó xác định khoảng cách lớn nhất từ tâm ảnh đến các cạnh trên, dƣới, trái, phải của hình chữ Số hóa bởi Trung tâm Học liệu http://www.vn/ 9 nhật bao quanh ảnh. Thông qua khoảng cách lớn nhất đó, có thể xác định đƣợc một tỷ lệ co, giãn của ảnh gốc so với kích thƣớc đã xác định, từ đó hiệu chỉnh kích thƣớc ảnh theo tỷ lệ co, giãn này. Nhƣ vậy, thuật toán chuẩn hóa kích thƣớc ảnh luôn luôn đảm bảo đƣợc tính cân bằng khi co giãn ảnh, ảnh sẽ không bị biến dạng hoặc bị lệch.