I. Giới thiệu
Trong thời đại cách mạng công nghiệp 4.0, nhu cầu tự động hóa quy trình quản lý đang trở thành một yếu tố quan trọng trong sự phát triển của quốc gia. Việc xây dựng một hệ thống tự động thu thập và số hóa thông tin, đặc biệt là chữ viết tay, là một bài toán cần thiết. Các phương pháp truyền thống trong số hóa dữ liệu thường tốn thời gian và dễ xảy ra sai sót. Do đó, việc phát triển mô hình nhận dạng chữ viết tay trong các biểu mẫu cố định là rất quan trọng. Luận văn này tập trung vào việc xây dựng mô hình nhận dạng chữ viết tay tiếng Việt, sử dụng phiếu gửi của Viettel post làm mẫu chính. Qua đó, tác giả đã thu thập và gán nhãn một tập dữ liệu mới, đa dạng về nét chữ và phông nền, nhằm phục vụ cho bài toán nhận dạng.
1.1 Trong thực tiễn
Việc số hóa dữ liệu viết tay vẫn tồn tại do nhiều lý do như kiểm tra sự trùng khớp về nét chữ và bảo mật thông tin. Các biểu mẫu viết tay vẫn được sử dụng rộng rãi, mặc dù công nghệ số đang phát triển. Điều này tạo ra nhu cầu cho một hệ thống tự động hóa, giúp giảm thiểu thời gian và sai sót trong quá trình nhập liệu. Hệ thống sẽ quét tài liệu giấy và tự động trích xuất thông tin từ các vùng chữ viết tay, từ đó hỗ trợ việc quản lý dữ liệu hiệu quả hơn.
1.2 Trong nghiên cứu
Bài toán nhận dạng chữ viết tay đã được nghiên cứu trong hơn ba mươi năm, từ nhận dạng ký tự đến từ và dòng. Hai phương pháp chính là nhận dạng trực tuyến và ngoại tuyến. Luận văn này tập trung vào nhận dạng ngoại tuyến, phù hợp với mục tiêu nghiên cứu. Nhận dạng ngoại tuyến yêu cầu đầu vào là hình ảnh tĩnh của nét chữ, không có thông tin bổ sung về quá trình viết. Điều này tạo ra thách thức trong việc phát triển mô hình có khả năng nhận diện chính xác từ hình ảnh đã quét.
II. Kiến thức nền tảng
Phần này tập trung vào các mô hình học sâu và các phương pháp truyền thống trong nhận dạng chữ viết tay. Các mô hình như Hidden Markov Model (HMM), Convolutional Recurrent Neural Network (CRNN), và Attention-based Seq2Seq đều được phân tích. Đặc biệt, việc thay thế khối Long Short-Term Memory (LSTM) bằng khối Transformer trong mô hình Attention-based Seq2Seq đã cho thấy kết quả khả quan. Mô hình học sâu này cho phép khai thác tốt hơn các đặc trưng của dữ liệu chữ viết tay, từ đó nâng cao độ chính xác trong việc nhận diện.
2.1 Mô hình học sâu
Mô hình học sâu là một phương pháp hiệu quả trong nhận dạng chữ viết tay. Việc sử dụng mạng neuron tích chập (CNN) và mạng hồi quy (RNN) đã chứng minh được khả năng xử lý dữ liệu phức tạp. Mô hình học sâu lan truyền thuận giúp cải thiện khả năng nhận diện các ký tự viết tay, trong khi mạng neuron hồi quy cho phép xử lý dữ liệu theo chuỗi. Sự kết hợp của các phương pháp này mang lại hiệu quả cao trong việc nhận dạng chữ viết tay, đặc biệt là trong các biểu mẫu có bố cục cố định.
2.2 Mạng neuron hồi quy
Mạng neuron hồi quy, đặc biệt là LSTM, đã được áp dụng rộng rãi trong nhận dạng chữ viết tay. Tuy nhiên, việc thay thế LSTM bằng mô hình Transformer đã mở ra hướng đi mới với nhiều ưu điểm. Mô hình Transformer cho phép xử lý đồng thời các thông tin và giảm thiểu độ trễ trong nhận diện. Điều này rất quan trọng trong việc nhận dạng chữ viết tay, nơi mà thông tin cần được xử lý nhanh chóng và chính xác.
III. Các công trình liên quan
Nghiên cứu trước đây về nhận dạng chữ viết tay đã chỉ ra rằng có nhiều phương pháp khác nhau được áp dụng, từ mô hình Markov ẩn đến các mô hình học sâu. Mỗi phương pháp đều có ưu điểm và nhược điểm riêng, ảnh hưởng đến độ chính xác và tốc độ nhận dạng. Việc phân tích các công trình liên quan giúp xác định khoảng trống trong nghiên cứu và hướng phát triển mô hình mới. Sự kết hợp giữa các phương pháp truyền thống và hiện đại sẽ tạo ra một mô hình mạnh mẽ hơn trong việc nhận dạng chữ viết tay.
3.1 Mô hình Markov ẩn
Mô hình Markov ẩn đã được sử dụng để nhận dạng chữ viết tay trong quá khứ. Tuy nhiên, mô hình này gặp khó khăn trong việc xử lý các chuỗi dữ liệu dài và phức tạp. Điều này đã dẫn đến sự phát triển của các phương pháp mới hơn như CRNN và Attention-based Seq2Seq, cho phép cải thiện độ chính xác trong nhận diện.
3.2 Mô hình Convolutional Recurrent Neural Network
CRNN kết hợp giữa CNN và RNN, cho phép khai thác cả thông tin không gian và chuỗi trong dữ liệu chữ viết tay. Mô hình này đã cho thấy hiệu quả cao trong nhiều bài toán nhận dạng, nhưng vẫn cần cải thiện để xử lý tốt hơn các mẫu chữ viết tay đa dạng và phức tạp.
IV. Hướng tiếp cận
Hướng tiếp cận của luận văn này là đề xuất một phương pháp mới sử dụng mô hình Transformer cho nhận dạng chữ viết tay. Mô hình Transformer sẽ thay thế LSTM trong mô hình Attention-based Seq2Seq, cho phép tăng cường khả năng nhận diện. Phương pháp này không chỉ cải thiện độ chính xác mà còn giảm thiểu thời gian xử lý, đáp ứng yêu cầu thực tiễn trong việc nhận dạng chữ viết tay trong các biểu mẫu cố định.
4.1 Phương pháp đề xuất
Phương pháp đề xuất trong luận văn này tập trung vào việc sử dụng mô hình Transformer để cải thiện độ chính xác trong nhận dạng chữ viết tay. Mô hình này cho phép xử lý đồng thời nhiều thông tin và giảm thiểu độ trễ trong nhận diện. Việc áp dụng mô hình Transformer sẽ giúp nâng cao hiệu suất của hệ thống nhận dạng, đặc biệt là trong các bài toán có dữ liệu lớn và đa dạng.
4.2 Chi tiết kiến trúc mô hình tổng quát
Kiến trúc mô hình tổng quát bao gồm các khối encoder và decoder của Transformer, cho phép nhận diện chữ viết tay một cách hiệu quả. Việc sử dụng cơ chế tự tập trung giúp mô hình khai thác tốt hơn các đặc trưng của dữ liệu, từ đó nâng cao độ chính xác trong việc nhận diện chữ viết tay. Điều này sẽ được chứng minh qua các thí nghiệm thực tế trong luận văn.
V. Kết quả thí nghiệm
Kết quả thí nghiệm cho thấy mô hình Transformer đạt được độ chính xác cao trong việc nhận diện chữ viết tay trong các biểu mẫu cố định. So với các mô hình trước đó như CRNN và Seq2Seq, mô hình Transformer đã chứng minh được ưu thế rõ rệt. Các chỉ số đánh giá như tỷ lệ lỗi từ và ký tự cho thấy sự cải thiện đáng kể, khẳng định tính hiệu quả của phương pháp đề xuất.
5.1 Kết quả trên tập dữ liệu VNOnDB
Mô hình Transformer đã được thử nghiệm trên tập dữ liệu VNOnDB và cho thấy độ chính xác cao hơn 24% so với mô hình CRNN. Điều này chứng tỏ rằng mô hình Transformer có khả năng nhận diện chữ viết tay tốt hơn, đặc biệt trong các trường hợp có độ phức tạp cao.
5.2 Kết quả trên tập dữ liệu Viettel post
Kết quả từ tập dữ liệu Viettel post cũng cho thấy mô hình Transformer hoạt động hiệu quả trong việc nhận diện chữ viết tay. Sự kết hợp giữa các phương pháp học sâu đã giúp cải thiện đáng kể độ chính xác, làm nổi bật khả năng của mô hình trong việc xử lý các biểu mẫu có bố cục cố định.
