Toàn văn Luận văn: Nhận dạng văn bản viết tay tiếng Việt - Đặng Văn Báu

Nghiên cứu chuyên sâu Nhận dạng văn bản viết tay tiếng Việt: Luận văn Thạc sĩ góp phần nâng cao kiến thức chuyên ngành và ứng dụng

• Tác giả: Đặng Văn Báu
• Người hướng dẫn: Ts. Phạm Tiến Lâm
• Trường học: Đại học Phenikaa
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nhận dạng văn bản viết tay tiếng Việt
• Loại tài liệu: Luận văn Thạc sĩ
• Năm xuất bản: 2023
• Địa điểm: Hà Nội

Tóm tắt

I. Giới thiệu về Nhận dạng Văn bản Viết tay Tiếng Việt

Nhận dạng văn bản viết tay tiếng Việt là một lĩnh vực nghiên cứu quan trọng trong khoa học máy tính hiện đại. Luận văn Thạc sĩ của Đặng Văn Báu tại Trường Đại học Phenikaa tập trung vào việc phát triển các phương pháp nhận dạng văn bản viết tay sử dụng công nghệ học sâu và thị giác máy tính. Bài toán này có ứng dụng thực tiễn rộng rãi trong tài liệu hành chính, bảo tồn di sản văn hóa và hệ thống số hóa tài liệu. Nghiên cứu này không chỉ đóng góp vào phát triển công nghệ mà còn giải quyết những thách thức đặc thù của tiếng Việt với các dấu tonal phức tạp.

1.1. Khái niệm Nhận dạng Văn bản Viết tay

Nhận dạng văn bản viết tay là quá trình chuyển đổi hình ảnh chứa các ký tự hoặc từ được viết tay thành văn bản số. Công nghệ này kết hợp xử lý ảnh số và mạng nơron sâu để phân tích và hiểu các đặc trưng hình thái của từng ký tự. Đối với tiếng Việt, độ phức tạp tăng lên do sự tồn tại của các dấu tonal và các ký tự có cấu trúc phức tạp, yêu cầu các mô hình học máy tiên tiến và dữ liệu huấn luyện lớn.

1.2. Tầm quan trọng trong Khoa học Máy tính

Nhận dạng văn bản viết tay đóng vai trò then chốt trong nhiều ứng dụng thực tế như chuyển đổi tài liệu quét, xử lý hóa đơn, và bảo tồn tài liệu lịch sử. Trong bối cảnh chuyển đổi số, công nghệ này giúp các tổ chức số hóa nhanh chóng lượng lớn tài liệu giấy. Sử dụng học sâu và mạng nơron nhân tạo mang lại độ chính xác cao hơn so với các phương pháp truyền thống.

II. Cơ sở Lý thuyết và Công nghệ Sử dụng

Luận văn sử dụng nền tảng lý thuyết từ thị giác máy tính, mạng nơron sâu và các kiến trúc tiên tiến. Các công nghệ chính bao gồm CNN (Convolutional Neural Network) để trích xuất đặc trưng hình ảnh, RNN và LSTM (Long Short-Term Memory) để xử lý chuỗi dữ liệu văn bản. Ngoài ra, kiến trúc Encoder-Decoder kết hợp với cơ chế Attention và Self-Attention cho phép mô hình tập trung vào các phần quan trọng của hình ảnh. Multi-Head Attention giúp mô hình hiểu nhiều khía cạnh khác nhau của dữ liệu đầu vào, nâng cao độ chính xác nhận dạng.

2.1. Mô hình CNN và Trích xuất Đặc trưng

CNN (Convolutional Neural Network) là kiến trúc lý tưởng cho xử lý hình ảnh. Mô hình sử dụng các lớp tích chập để phát hiện các đặc trưng cấp độ thấp như đường nét, góc cạnh, từ đó xây dựng các đặc trưng phức tạp hơn. Trong nhận dạng văn bản viết tay, CNN giúp trích xuất các mẫu hình thái độc đáo của từng ký tự, tạo cơ sở cho các lớp xử lý tiếp theo trong mạng nơron.

2.2. LSTM và Xử lý Chuỗi Dữ liệu

LSTM (Long Short-Term Memory) là một biến thể của RNN chuyên để xử lý chuỗi dữ liệu dài. Công nghệ này giải quyết vấn đề gradient vanishing trong RNN truyền thống, cho phép mô hình nhớ thông tin trong suốt toàn bộ chuỗi từ. BiLSTM (Bidirectional LSTM) xử lý văn bản theo cả hai hướng, cải thiện khả năng hiểu ngữ cảnh và độ chính xác nhận dạng văn bản viết tay tiếng Việt.

2.3. Cơ chế Attention và Self Attention

Cơ chế Attention cho phép mô hình tập trung lực lượng tính toán vào những vùng quan trọng nhất của hình ảnh. Self-Attention giúp mô hình hiểu mối quan hệ giữa các ký tự trong một từ hoặc cụm từ. Multi-Head Attention mở rộng khả năng này bằng cách xử lý nhiều biểu diễn không gian khác nhau, tăng cơ hội phát hiện các đặc trưng tinh tế trong nhận dạng ký tự viết tay.

III. Phương pháp Triển khai và Chuẩn bị Dữ liệu

Triển khai thực nghiệm bao gồm các bước chuẩn bị dữ liệu, xây dựng mô hình và huấn luyện. Dữ liệu được chuẩn bị thông qua xử lý tiền xử lý, bao gồm chuẩn hóa hình ảnh, loại bỏ nhiễu và căn chỉnh kích thước. Luận văn áp dụng tăng cường dữ liệu (data augmentation) để mở rộng tập huấn luyện, giúp mô hình khái quát hóa tốt hơn. Nghiên cứu được chia thành hai phần chính: nhận dạng từ đơn và nhận dạng cụm từ, mỗi phần có các chiến lược tối ưu khác nhau để đạt hiệu suất cao nhất.

3.1. Chuẩn bị và Xử lý Dữ liệu

Chuẩn bị dữ liệu là bước không thể thiếu trong nhận dạng văn bản viết tay. Hình ảnh được chuẩn hóa về kích thước, độ sáng và độ tương phản. Các phương pháp loại bỏ nhiễu như Gaussian blur hoặc morphological operations được áp dụng. Tăng cường dữ liệu sử dụng các phép biến đổi như xoay, dịch, co dãn để tạo các biến thể của hình ảnh gốc, giúp mô hình học được sự biến thiên của chữ viết tay tự nhiên.

3.2. Nhận dạng Từ Đơn và Cụm Từ

Nghiên cứu nhận dạng từ đơn tập trung vào nhận diện các ký tự hoặc từ riêng lẻ với mô hình CNN-LSTM cơ bản. Nhận dạng cụm từ nâng cao độ phức tạp bằng cách xử lý các từ kết nối với nhau, yêu cầu cơ chế Attention để hiểu được ranh giới giữa các từ và ngữ cảnh. Kết quả của hai phần nghiên cứu này cung cấp cái nhìn toàn diện về khả năng nhận dạng văn bản viết tay tiếng Việt ở các mức độ khác nhau.

IV. Kết quả Nghiên cứu và Ứng dụng Thực tế

Luận văn đạt được kết quả đáng kể trong cả hai hướng nghiên cứu. Nhận dạng từ đơn đạt độ chính xác cao với Character Error Rate (CER) thấp. Nhận dạng cụm từ cũng cho thấy hiệu suất ấn tượng khi kết hợp các mô hình tiên tiến. Kiểm thử với dữ liệu thực tế từ các tài liệu viết tay thực sự chứng minh tính khả thi của phương pháp đề xuất. Những ưu điểm bao gồm khả năng xử lý chữ viết tay Việt, độ chính xác cao và tốc độ xử lý nhanh. Nhược điểm chính là yêu cầu dữ liệu huấn luyện lớn và độc lập với các biến thể chữ viết cá nhân.

4.1. Thành tựu và Kết quả Định lượng

Kết quả định lượng cho thấy các mô hình đạt độ chính xác (Accuracy) trên 90% cho nhận dạng từ đơn. Character Error Rate được giảm xuống dưới 5% trong nhiều trường hợp. Nhận dạng cụm từ cũng đạt kết quả tương đương, chứng tỏ hiệu quả của cơ chế Attention. Những con số này cho thấy sự tiến bộ đáng kể so với các phương pháp truyền thống trong lĩnh vực nhận dạng văn bản viết tay tiếng Việt.

4.2. Ưu điểm và Hạn chế

Ưu điểm chính của phương pháp bao gồm khả năng xử lý đặc thù tiếng Việt với dấu tonal, độ chính xác cao và khả năng mở rộng cho các ứng dụng khác. Hạn chế chính là yêu cầu tập dữ liệu lớn để huấn luyện, chi phí tính toán cao, và khó khăn trong thích ứng với các biến thể chữ viết mới chưa thấy trong dữ liệu huấn luyện. Hướng phát triển tương lai cần giải quyết các vấn đề này để áp dụng rộng rãi hơn.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: TỔNG QUAN Từ những năm 1996 đã có những nghiên cứu rất sớm về nhận diện chữ viết tay [5], Jianying Hu sử dụng các điểm và góc để trích xuất ra cấu trúc của các chữ cái. Đến năm 2001, tiếp tục có những công trình nghiên cứu [6][7] tiếp tục sử dụng phương pháp nhận diện bằng cấu trúc. Cụ thể là tác giả xây dựng tập dữ liệu chuẩn của riêng mình, sau đó so sánh khoảng cách giữa ảnh dự đoán và ảnh trong tập dữ liệu chuẩn và cuối cùng sử dụng phương pháp cây quyết định để trả về kết quả. Đến những năm 2008, các nhà nghiên cứu đã nghiên cứu các phương pháp học máy khác nhau, bao gồm SVM (Support Vector Machine), KNN (k-nearest neighbor) … Điển hình trong đó có các công bố nghiên cứu [4,6].

Tiếp đến là những phương pháp học sâu và những mô hình học máy mới bắt đầu ra đời và phát triển như mạng nơron (Neural Network), mạng nơron tích chập (Convolution Neural Network), mạng RNN (Recurrent Neural Network), mạng LSTM (Long Short-Term Memory), mạng BiLSTM [8,9] (Bidirectional Long Short-Term Memory), mạng DBLSTM (Deep Long Short-Term Memory). Trong các nghiên cứu về nhận dạng chữ viết tay thì chia làm hai hướng nghiên cứu chính đó là nghiên cứu cách trích xuất đặc trưng từ dữ liệu và ứng dụng học máy trong quá trình Mã hóa và Giải mã.1 Các nghiên cứu đi sâu vào trích xuất đặc trưng từ dữ liệu Đối với các nghiên cứu về trích xuất đặc trưng từ dữ liệu ảnh có một số phương pháp như: o Sử dụng cấu trúc của chữ viết Hình 1.1: Hình minh họa phân đoạn nét của mẫu trữ cái trong nghiên cứu [5] 3 Đặng Văn Báu Luận văn Thạc Sĩ Khoa Học Máy Tính Hình 1.2: Hình minh họa so khớp hai ký tự trong nghiên cứu [7] Trong hai nghiên cứu [5,6] đã chỉ rõ các hướng nghiên cứu của mình trong việc sử dụng cấu trúc của các chữ để nhận diện chữ đó là chữ gì. Trong bài báo [5] tác giả tạo ra các điểm (point) trên các nét chữ. Sau đó tính ra góc giữa các điểm để biết hướng của chúng, cuối cùng sử dụng HMM để dự đoán chữ đó là chữ gì.

Đối với bài báo số [7] thì tác giả xây dựng cho mình một tập dữ liệu chuẩn bao gồm 17928 ký tự chữ và số (36 lớp: 10 chữ số và 26 chữ cái viết thường). Sau đó tác giả tính khoảng cách dữ liệu đầu vào với tập dữ liệu chuẩn cuối cùng đưa vào cây quyết định để phân cụm. o Sử dụng phân tách vùng đối tượng kết hợp với SVM P. Phuong và các cộng sự [6] tác giả một phần cũng sử dụng phương pháp phân cụm dựa trên cấu trúc nhưng tác giả chia nhỏ các ký tự trong chữ ra thành phần nhỏ sau đó sử dụng kỹ thuật Support Vector Machine (SVM) để nhận diện ra ký tự đó thuộc cụm nào.

Để tiến hành phân tách các nét hoặc ký tự thành các phần nhỏ hơn, nhóm tác giả đã áp dụng một loạt các kỹ thuật xử lý ảnh để có thể loại bỏ đi các yếu tố không quan trọng (quá trình loại bỏ nhiễu). Tiếp đến là quá trình tách các ký tự có nét bị chồng lên nhau. 4 Đặng Văn Báu Luận văn Thạc Sĩ Khoa Học Máy Tính Hình 1.3: Hình minh họa chuẩn hóa các kết nối trong nghiên cứu [6] G. Altwaijry và đồng nghiệp [4], nhóm tác giả sử dụng phương pháp chuyển ảnh thành thang xám sau đó tìm ra các điểm sáng nổi trội hơn so với vùng lân cận.

Và biến những điểm đó thành các điểm đen, và thu được một vector đặc trưng sau cùng đưa vector đó vào SVM để trả về kết quả.4: Hình minh họa các đặc điểm dựa vào các mức DP khác nhau trong nghiên cứu [4] o Sử dụng các kỹ thuật tiền xử lý ảnh và tăng cường dữ liệu để huấn luyện mô hình NN Có rất nhiều nghiên cứu về ứng dụng của mạng Neural Network (NN) để ứng dụng vào bài toán này, điển hình tôi đã chọn ra hai nghiên cứu [10,11]. Các tác giả đều đi theo hướng chuyển từ một bức ảnh sang một vector và sau đó đưa 5 Đặng Văn Báu Luận văn Thạc Sĩ Khoa Học Máy Tính vào mạng nơron để huấn luyện mô hình học máy. Chỉ có khác nhau là số lớp ẩn (Hidden Layer) và số nút khác nhau. Hoặc là có thêm một vài bước tiền xử lý ảnh trước khi đưa vào học máy.5: Hình minh họa các bước giải quyết bài toán trong nghiên cứu [11] Trong hình 1.5, nhóm tác giả đề xuất mô tả quá trình chuẩn hóa dữ liệu và tăng cường dữ liệu trong nghiên cúu [11].

Đầu tiên các nhà nghiên cứu áp dụng các kỹ thuật tăng cường độ tương phản của dữ liệu gốc ban đầu nhằm làm nổi bật đối tượng trong bức ảnh ban đầu. Sau đó, họ tiến hành chuẩn hóa dữ liệu về kích thước chuẩn đã định nghĩa. Nhận thấy rằng với dữ liệu chữ viết thì các nét chữ sẽ dễ bị chồng lên nhau, chính vì vậy các tác giả sử dụng phương pháp xói mòn để làm mỏng các nét chữ (xói mòn). Cuối cùng, để tăng cường dữ liệu bằng cách xoay ảnh với các góc độ khác nhau để có thêm dự đa dạng về thông tin từ dữ liệu.

Sau quá trình tiền xử lý và tăng cường dữ liệu thì là quá trình huấn luyện mô hình phân loại dựa vào thông tin từ dữ liệu cung cấp. o Sử dụng mạng Convolution Neural Network (CNN) để trích xuất đặc trưng Với sự thành công của mạng NN thì mạng CNN ra đời tạo nên một bước tiến mới trong học máy với lĩnh vực Thị giác máy tính (Computer Vision). Các nhà nghiên cứu ứng dụng mạng CNN vào các nghiên cứu của mình. Đặc biệt trong đó cũng không thể không nhắc đến những ứng dụng của CNN vào bài toán nhận diện chữ viết tay.

Điển hình trong đó là các công bố [2,3,12,13]. Các nghiên 6 Đặng Văn Báu Luận văn Thạc Sĩ Khoa Học Máy Tính cứu chủ yếu đi vào xây dựng mạng CNN thật sâu để trích xuất được thật nhiều thông tin có giá trị (feature extraction) rồi sau đó đưa vào mạng NN học.6: Hình minh họa kiến trúc mạng CNN trong nghiên cứu [13] Tại hình 1.6, chúng ta thấy đây là một ví dụ điển hình trong việc xây dựng một kiến trúc mạng CNN để trích xuất các đặc trưng. Cụ thể, trong mỗi lớp Tích chập (Convolution) mạng sử dụng các bộ lọc khác nhau để tìm ra các đặc điểm riêng biệt từ dữ liệu. Điều này có thể dẫn đến việc phát hiện ra các khía cạnh khác từ dữ liệu như các đường biên, góc cạnh hoặc thậm chí là các thông tin ẩn bên trong dữ liệu mà không thể nào có thể tìm ra bằng các kỹ thuật xử lý ảnh truyền thống.2 Ứng dụng học máy trong quy trình Mã hóa và Giải mã Trong phần trước, tôi tập chung giới thiệu các nghiên cứu tập đi sâu vào trích xuất đặc trưng từ dữ liệu.

Bởi đó là một bước quan trọng trong quy trình Nhận dạng ký tự từ hình ảnh - OCR (Optical Character Recocognition). Các phương pháp trích xuất đặc trưng giúp chúng ta nắm bắt được các thông tin quan trọng từ hình ảnh và biến chúng thành dạng dữ liệu máy có thể học. Tuy nhiên, để hoàn thiện quá trình OCR và đặt được hiệu suất cao hơn, chúng ta cần kết hợp với quy trình mã hóa và giải mã. 7 Đặng Văn Báu Luận văn Thạc Sĩ Khoa Học Máy Tính Trong phần này, tôi sẽ đi vào giới thiệu một vài nghiên cứu đã ứng dụng học máy trong quá trình mã hóa và giải mã.

Đã có rất nhiều nghiên cứu nổi bật đáng để kể đến đó là nghiên cứu [1,14–18]. Các nghiên cứu tập trung triển khai các nghiên cứu ở 2 phần: Mã hóa (Encoder) và Giải mã (Decoder). o Sử dụng mạng LSTM trong lớp mã hóa và giải mã kết hợp cơ chế Chú ý Hình 1.7: Hình minh họa kiến trúc mô hình trong nghiên cứu [18] Trong hình 1.7, chúng ta thấy được một ví dụ quan trọng trong việc sử dụng mạng LSTM trong kiến trúc mã hóa và giải mã. Mạng LSTM có khả năng xử lý chuỗi thời gian, vì có khả năng ghi nhớ thông tin từ quá khứ và áp dụng nó vào việc dự đoán từ hoặc ký tự tương lai.

Đặc biệt, mạng LSTM trong hình 1.7 đã kết hợp với cơ chế “Chú ý” (Attention). Cho phép mạng tập trung vào các phần quan trọng của dữ liệu đầu vào trong quá trình mã hóa và giải mã. Nó giúp mạng chú ý vào những đặc điểm quan trọng của dữ liệu, từ đó cải thiện hiệu quả và tạo ra dữ liệu đầu ra chất lượng hơn. Sự kết hợp của mạng LSTM và cơ chế chú ý trong nghiên cứu này mang lại những kết quả rất tốt.

Điều này thể hiện rằng, việc kết hợp mạng LSTM với cơ chế Chú ý trong quy trình mã hóa và giải mã cải thiện hiệu quả chất lượng của mô hình. 8 Đặng Văn Báu Luận văn Thạc Sĩ Khoa Học Máy Tính o Sử dụng mạng Deep Long Short-Term Memory (DBLSTM) Mô hình DBLSTM là mô hình cải tiến dựa trên sự kết hợp của 2 mô hình LSTM và CRNN. Tác giả công bố nghiên cứu của mình và có được kết quả tương đối khả quan trong bài báo [19]. Một trong những điểm nổi bật của nghiên cứu này là tác giả tăng số kết nối từ dữ liệu đầu vào và cho qua nhiều lớp LSTM hơn các mạng thông thường.8: Hình minh họa thay đổi kiến trúc lớp LSTM trong nghiên cứu [19] 9 Đặng Văn Báu Luận văn Thạc Sĩ Khoa Học Máy Tính CHƯƠNG 2: CƠ SỞ LÝ THUYẾT Trong chương trước, tôi đã trình bày tổng quan về các nghiên cứu nhận diện chữ viết tay.

Chương này tôi sẽ đi sâu vào chi tiết các ứng dụng mạng nơron vào thị giác máy tính nói chung và việc nhận diện chữ viết tay nói riêng. Tôi tập trung thảo luận về một số kiến trúc mạng cơ bản được sử dụng trong báo cáo này.1 Thị giác máy tính Thị giác máy tính (Computer Vision) là một lĩnh vực của trí tuệ nhân tạo liên quan đến việc sử dụng máy tính và các thuật toán để nhận dạng, phân tích và hiểu được các hình ảnh hoặc video. Thị giác máy tính cũng có thể được định nghĩa là quá trình xử lý ảnh số để tạo ra thông tin hữu ích từ các hình ảnh. Một số bài toán quan trọng của Thị giác máy tính: - Xử lý ảnh (Image Processing): Việc xử lý hình ảnh để tạo ra hình ảnh mới hoặc cải thiện thông tin trong hình ảnh.

Đảm bảo chất lượng của dữ liệu ổn định và loại bỏ đi những thông tin dư thừa trong ảnh.