Khóa Luận Tốt Nghiệp: Đánh Giá Các Phương Pháp Nhận Dạng Văn Bản Tiếng Việt Viết Tay Cấp Độ Từ

Khóa luận tốt nghiệp đánh giá các phương pháp nhận dạng văn bản trên tập dữ liệu chữ viết tay tiếng Việt cấp độ từ, ứng dụng trong khoa học máy tính.

• Tác giả: Nguyen Thanh Dat
• Người hướng dẫn: ThS. Do Van Tien
• Trường học: Đại học Công nghệ Thông tin, Đại học Quốc gia Thành phố Hồ Chí Minh
• Chuyên ngành: Khoa học máy tính
• Đề tài: Đánh giá một số phương pháp nhận dạng văn bản trên tập dữ liệu chữ viết tay tiếng Việt cấp độ từ
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2023
• Địa điểm: Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT KHÓA LUẬN
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Đặt van đề
• 1.2. Mục tiêu và phạm vi
• 1.2.1. Mục tiêu
• 1.2.2. Phạm vi
• 1.3. Đóng góp của khóa luận
• 1.4. Cấu trúc khóa luận
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT VÀ CÁC NGHIÊN CỨU LIÊN QUAN
• 2.1. Định nghĩa về văn bản trong ảnh
• 2.2. Mạng nơ-ron tích chập (CNN)
• 2.3. Mô hình Sequence-to-sequence
• 2.4. Mô hình Transformer
• 2.4.1. Tổng quan về mô hình Transformer
• 2.4.2. Mô hình Vision Transformer
• 2.4.2.1. Chia ảnh thành các phần nhỏ và duỗi thẳng
• 2.4.2.2. Những vị trí - Position Embedding
• 2.4.3. Contrastive Language-image Pre-training (CLIP)
• 2.5. Các nghiên cứu liên quan
• 2.5.1. Các hướng tiếp cận trong bài toán nhận dạng chữ viết tay
• 2.5.1.1. Hướng tiếp cận dựa trên CTC
• 2.5.1.2. Hướng tiếp cận dựa trên Attention Seq2Seq
• 2.5.2. Các bộ dữ liệu chữ viết tay tiếng Việt
• 3. CHƯƠNG 3: MỘT SỐ PHƯƠNG PHÁP NHẬN DẠNG VĂN BẢN ÁP DỤNG CHO CHỮ VIẾT TAY TIẾNG VIỆT
• 3.1. Transformer Encoder, Decoder và cơ chế attention
• 3.2. Tổng quan về kiến trúc ABINet
• 3.3. Những hạn chế của các phương pháp trước
• 3.4. Mô hình Permuted Autoregressive Sequence
• 3.4.1. Permutation Language Modeling (PLM)
• 3.4.2. Kiến trúc mô hình
• 3.5. Mô hình CLIP4STR
• 3.5.1. Tổng quan về kiến trúc
• 3.5.2. Hàm mất mát cho huấn luyện
• 4. CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 4.1. Xây dựng tập dữ liệu
• 4.2. Gán nhãn dữ liệu
• 4.3. Các độ đo sử dụng để đánh giá
• 4.4. Kết quả và đánh giá
• 4.5. Xây dựng ứng dụng minh họa
• 4.6. Đánh giá ứng dụng
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.1. Kết luận
• 5.2. Hướng phát triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về nhận dạng văn bản tiếng Việt viết tay

Nhận dạng văn bản tiếng Việt viết tay là một bài toán quan trọng trong lĩnh vực xử lý ngôn ngữ tự nhiên và công nghệ nhận dạng. Bài toán này đặt ra nhiều thách thức do sự đa dạng trong phong cách viết, vị trí đặt dấu, và các yếu tố nhiễu từ môi trường. Tiếng Việt viết tay đặc biệt phức tạp với 224 ký tự, bao gồm các biến thể nguyên âm và dấu thanh, làm tăng độ khó của bài toán. Các nghiên cứu trước đây chủ yếu tập trung vào tiếng Anh, trong khi dữ liệu cho tiếng Việt còn hạn chế. Hai bộ dữ liệu chính là VNOnDB và UIT-HWDB được sử dụng, nhưng chúng thiếu các tính chất thực tế như nhiễu nền và độ mờ. Nghiên cứu này nhằm xây dựng một bộ dữ liệu thực tế hơn và đánh giá các phương pháp nhận dạng tiên tiến.

1.1. Thách thức trong nhận dạng tiếng Việt viết tay

Nhận dạng chữ viết tay tiếng Việt gặp nhiều thách thức do sự đa dạng trong phong cách viết và vị trí đặt dấu. Các dấu thanh không dính liền với ký tự chính, dẫn đến việc nhận dạng sai nếu dấu được đặt không chính xác. Ngoài ra, các yếu tố nhiễu từ môi trường như độ mờ, màu sắc mực, và bề mặt viết cũng làm tăng độ khó của bài toán. Phương pháp nhận dạng hiện tại chủ yếu dựa trên các bộ dữ liệu tổng hợp, thiếu tính thực tế, dẫn đến hiệu suất không cao khi áp dụng vào thực tế.

1.2. Tầm quan trọng của dữ liệu thực tế

Các nghiên cứu gần đây như của Yang và cộng sự [4] và Singh và cộng sự [6] chỉ ra rằng dữ liệu thực tế giúp cải thiện đáng kể hiệu suất của các mô hình nhận dạng. Bộ dữ liệu VNOnDB và UIT-HWDB tuy hữu ích nhưng thiếu các yếu tố thực tế như nhiễu nền và độ mờ. Nghiên cứu này tập trung vào việc xây dựng một bộ dữ liệu thực tế hơn, bao gồm 190.685 ảnh, nhiều hơn gần gấp đôi so với hai bộ dữ liệu hiện có. Bộ dữ liệu mới này sẽ giúp các mô hình nhận dạng đạt hiệu suất cao hơn khi áp dụng vào thực tế.

II. Phương pháp nhận dạng văn bản tiếng Việt viết tay

Các phương pháp nhận dạng tiên tiến như ViTSTR, ABINet, PARSeq, CLIP4STR, và SVTR-CPPD được đánh giá trong nghiên cứu này. Các phương pháp này kết hợp mô hình ngôn ngữ và cơ chế sửa nhãn dự đoán để cải thiện độ chính xác. OCR tiếng Việt đặc biệt được chú trọng do sự phức tạp của ngôn ngữ này. Các mô hình này được huấn luyện trên bộ dữ liệu mới xây dựng, bao gồm các ảnh chụp thực tế từ học bạ sinh viên và các cuộc thi như BKAI-OCR và Cinnamon. Kết quả thực nghiệm cho thấy các phương pháp này đạt hiệu suất cao hơn so với các bộ dữ liệu tổng hợp.

2.1. Đánh giá các phương pháp nhận dạng

Các phương pháp như ViTSTR và ABINet được đánh giá dựa trên độ chính xác và khả năng xử lý các yếu tố nhiễu. ViTSTR sử dụng Vision Transformer để chia ảnh thành các patch nhỏ và xử lý chúng một cách hiệu quả. ABINet kết hợp mô hình ngôn ngữ và mô hình thị giác để cải thiện độ chính xác. Kết quả cho thấy các phương pháp này đạt hiệu suất cao hơn khi sử dụng dữ liệu thực tế so với dữ liệu tổng hợp.

2.2. Ứng dụng thực tế của các phương pháp

Các phương pháp nhận dạng này có thể được áp dụng trong các ứng dụng thực tế như số hóa tài liệu, đọc hóa đơn, và xử lý văn bản viết tay. Xử lý văn bản tiếng Việt đặc biệt được chú trọng do sự phức tạp của ngôn ngữ này. Nghiên cứu này cũng xây dựng một ứng dụng minh họa trên nền tảng web để thể hiện khả năng của các phương pháp nhận dạng trong thực tế.

III. Kết quả và đánh giá

Kết quả thực nghiệm cho thấy các phương pháp nhận dạng tiên tiến đạt hiệu suất cao hơn khi sử dụng dữ liệu thực tế. CLIP4STR và SVTR-CPPD là hai phương pháp nổi bật, đạt độ chính xác cao trong việc nhận dạng các ký tự tiếng Việt. Các phương pháp này cũng thể hiện khả năng xử lý các yếu tố nhiễu như độ mờ và nhiễu nền. Nghiên cứu này cũng chỉ ra rằng việc kết hợp mô hình ngôn ngữ và cơ chế sửa nhãn dự đoán giúp cải thiện đáng kể độ chính xác của các mô hình nhận dạng.

3.1. So sánh hiệu suất các phương pháp

Các phương pháp như CLIP4STR và SVTR-CPPD được so sánh dựa trên độ chính xác và khả năng xử lý các yếu tố nhiễu. CLIP4STR sử dụng Contrastive Language-Image Pre-training để cải thiện độ chính xác, trong khi SVTR-CPPD kết hợp Character Counting và Character Ordering để xử lý các ký tự tiếng Việt. Kết quả cho thấy cả hai phương pháp đều đạt hiệu suất cao hơn so với các phương pháp truyền thống.

3.2. Ứng dụng minh họa

Một ứng dụng minh họa được xây dựng để thể hiện khả năng của các phương pháp nhận dạng trong thực tế. Ứng dụng này cho phép người dùng tải lên ảnh chứa văn bản viết tay và nhận kết quả nhận dạng ngay lập tức. Kết quả cho thấy các phương pháp nhận dạng tiên tiến có thể được áp dụng hiệu quả trong các ứng dụng thực tế như số hóa tài liệu và xử lý văn bản.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Nhận dạng chữ viết tay (Handwritten Text Recognition - HTR) là bài toán trọng tâm trong lĩnh vực thị giác máy tính với mục tiêu chuyển đổi ảnh chứa vùng văn bản viết tay thành dữ liệu số có thể lưu trữ, tìm kiếm và xử lý tự động. Trong thực tế, bài toán này đóng vai trò then chốt đối với công tác số hóa tài liệu hành chính, học bạ, hóa đơn, sổ ghi chép và giấy khai sinh. Đầu vào của hệ thống là ảnh chứa vùng văn bản cần nhận dạng, và đầu ra là chuỗi văn bản tương ứng.

Quá trình nhận dạng chữ viết tay phải đối mặt với nhiều rào cản kỹ thuật phức tạp:

• Tính đa dạng cao về phong cách viết của từng cá nhân, tình trạng viết nhanh làm mất nét, viết tắt, viết nguệch ngoạc, chữ xiên vẹo và các nét chữ chồng chéo lên nhau.
• Các yếu tố ngoại cảnh gây suy giảm chất lượng ảnh như nhiễu nền từ bề mặt viết, màu mực đa dạng, độ mờ do thiết bị thu nhận và điều kiện ánh sáng môi trường phân bố không đều.
• Tính phức tạp đặc thù của chữ viết tay tiếng Việt: Trong khi bảng ký tự tiếng Anh tiêu chuẩn chỉ gồm 96 ký tự (bao gồm chữ hoa, chữ thường, chữ số và dấu câu), tiếng Việt yêu cầu xử lý tới 224 ký tự. Hệ thống chữ viết tiếng Việt có 5 dấu thanh (sắc, huyền, hỏi, ngã, nặng) kết hợp với các nguyên âm gốc (u, e, o, a, i) và các nguyên âm biến thể (ă, â, ê, đ, ơ, ô, ư), làm gia tăng đột biến không gian nhãn dự đoán. Thêm vào đó, do dấu thanh được viết rời khỏi thân chữ cái, vị trí đặt dấu thường bị lệch hoặc không tương ứng chuẩn xác với ký tự mang dấu, dẫn đến nguy cơ sai lệch hoàn toàn ngữ nghĩa của từ khi nhận dạng.

Mặc dù lĩnh vực nhận dạng văn bản cảnh (Scene Text Recognition - STR) trên thế giới đã đạt được nhiều tiến bộ với các kiến trúc học sâu hiện đại, nghiên cứu nhận dạng chữ viết tay tiếng Việt vẫn gặp trở ngại lớn do thiếu hụt dữ liệu thực tế. Các nghiên cứu trước đây chủ yếu dựa vào hai bộ dữ liệu: VNOnDB (110.746 ảnh, bản chất là dữ liệu nhận dạng online thu nhận qua thiết bị cảm ứng rồi chuyển đổi thành ảnh offline) và UIT-HWDB (110.745 ảnh, dữ liệu tổng hợp dựa trên VNOnDB). Hai tập dữ liệu này thiếu vắng các đặc tính nhiễu vật lý thực tế.

Trong bối cảnh đó, khóa luận đặt ra 4 mục tiêu nghiên cứu cụ thể:

1. Tìm hiểu tổng quan về bài toán nhận dạng chữ viết tay và các hướng tiếp cận tiên tiến hiện nay.
2. Xây dựng bộ dữ liệu chữ viết tay tiếng Việt thực tế ở cấp độ từ thông qua việc thu thập từ tài liệu thực tế (học bạ sinh viên) và dữ liệu các cuộc thi (BKAI-OCR, Cinnamon), tiến hành tiền xử lý và gán nhãn chuẩn hóa.
3. Đánh giá, so sánh thực nghiệm một số phương pháp nhận dạng hiện đại nhằm phân tích ưu, nhược điểm và cơ chế cải tiến của từng mô hình.
4. Xây dựng hệ thống phần mềm minh họa cho đề tài trên nền tảng web.

Phạm vi nghiên cứu của đề tài giới hạn ở bài toán nhận dạng chữ viết tay tiếng Việt cấp độ từ (word level). Không gian nhãn đánh giá khảo sát ở hai mức độ: tập ký tự phổ biến (196 ký tự) và toàn bộ bảng ký tự tiếng Việt (224 ký tự). Đối tượng thực nghiệm gồm các mô hình nhận dạng văn bản cảnh tiên tiến (ViTSTR, ABINet, PARSeq, CLIP4STR, SVTR-CPPD) và hai mô hình tiêu biểu từng đạt kết quả tốt trên dữ liệu tiếng Việt trước đây (ResNet34_2-Transformer, TransformerOCR).

Cơ sở lý thuyết và phương pháp nghiên cứu

Khóa luận thiết lập nền tảng lý thuyết thông qua việc phân loại và phân tích các cơ chế xử lý văn bản trong ảnh:

• Phân loại văn bản trong ảnh: Phân biệt giữa văn bản đồ họa (graphic text - chữ được chèn nhân tạo vào ảnh/video sau khi quay chụp) và văn bản cảnh (scene text - chữ xuất hiện trên các vật thể trong môi trường tự nhiên trước khi chụp); phân biệt văn bản in (phông chữ chuẩn hóa, ít biến động) và văn bản viết tay (chồng chéo nét, biến thiên phong cách lớn); phân biệt dữ liệu chữ viết tay online (thu nhận tọa độ nét bút theo thời gian thực) và dữ liệu offline (ảnh tĩnh chứa chữ viết tay).
• Mạng nơ-ron tích chập (CNN): Sử dụng các kiến trúc nền tảng (backbone) như VGG (VGG-16, VGG-19) và ResNet (ResNet-34, ResNet-50, ResNet-101) để rút trích bản đồ đặc trưng thị giác 2 chiều từ ảnh đầu vào.
• Mô hình Sequence-to-sequence (Seq2Seq) và cơ chế Attention: Khung kiến trúc Encoder-Decoder ánh xạ chuỗi đặc trưng đầu vào sang chuỗi token ngôn ngữ đích. Cơ chế Attention tính toán các trọng số phân bố xác suất ngữ cảnh (context vector) tại từng bước giải mã, khắc phục hiện tượng mất mát thông tin trên chuỗi dài của các mạng RNN/LSTM truyền thống. Tác giả khảo sát 4 chiến lược tìm kiếm đầu ra: Exhaustive search, Ancestral sampling, Greedy Search và Beam Search.
• Kiến trúc Transformer: Áp dụng cơ chế Self-Attention và Multi-Head Attention thông qua 3 vector Query (Q), Keys (K) và Values (V), kết hợp Positional Encoding và Masked Multi-Head Attention tại bộ giải mã nhằm nắm bắt mối quan hệ phụ thuộc toàn cục giữa các phần tử trong chuỗi với tốc độ xử lý song song cao.
• Mô hình Vision Transformer (ViT): Cơ chế chia ảnh đầu vào kích thước $(H, W)$ thành $N = HW/P^2$ gói nhỏ (patches) kích thước $P \times P$, thực hiện phép chiếu tuyến tính (patch embedding), cộng vector vị trí 1 chiều (position embedding) và đưa qua các khối Transformer Encoder. Tác giả tổng hợp 3 phiên bản chuẩn của ViT:

Phiên bản mô hình	Số lớp (Layers)	Kích thước ẩn (Hidden size $D$)	Kích thước lớp MLP	Số đầu Attention (Heads)	Số lượng tham số (Params)
ViT-Base	12	768	3072	12	86M
ViT-Large	24	1024	4096	16	307M
ViT-Huge	32	1280	5120	16	632M

• Mô hình Contrastive Language-Image Pre-training (CLIP): Học biểu diễn đa phương thức giữa ảnh và văn bản thông qua việc tối đa hóa độ tương đồng Cosine (cosine similarity) giữa các cặp ảnh - chú thích đúng và cực tiểu hóa đối với các cặp không khớp bằng hàm mất mát Cross-Entropy.
• Các hướng tiếp cận nhận dạng chữ viết tay: Khóa luận hệ thống hóa hai nhánh học sâu chính: tiếp cận dựa trên Connectionist Temporal Classification (CTC) với đại diện tiêu biểu là CRNN, và tiếp cận dựa trên Attention Seq2Seq.

Phương pháp nghiên cứu thực nghiệm bao gồm: thu thập dữ liệu đa nguồn từ thực tế; tiền xử lý và cắt dòng thành từ; chuẩn hóa và tái gán nhãn dữ liệu; thiết lập môi trường huấn luyện đồng nhất cho các mô hình nhận dạng; đánh giá kết quả bằng các độ đo độ lỗi ký tự và độ lỗi từ trên tập kiểm thử độc lập.

Thiết kế và triển khai hệ thống thực nghiệm

Nhằm phục vụ quá trình nghiên cứu và ứng dụng thực tiễn, tác giả triển khai quy trình xây dựng tập dữ liệu và hệ thống phần mềm minh họa:

[Dữ liệu gốc: Học bạ, Cinnamon, BKAI-OCR]
[Tiền xử lý: Cắt dòng thành từ, Lọc dữ liệu]
[Gán nhãn & Kiểm duyệt: Công cụ PPOCRLabel]
[Tập dữ liệu thực tế hoàn chỉnh (190.685 ảnh)]
[Huấn luyện & Thực nghiệm các mô hình STR]
[Tích hợp vào Ứng dụng Web minh họa]

Quá trình chuẩn bị dữ liệu và phát triển ứng dụng bao gồm:

1. Thu thập và xử lý tập dữ liệu:
   • Dữ liệu học bạ sinh viên được số hóa từ các bản scan học bạ thực tế nhằm bổ sung mẫu chữ viết số và từ ngữ học thuật.
   • Dữ liệu Cinnamon ban đầu ở dạng dòng văn bản, được phân tách (crop) thành từng từ riêng biệt.
   • Dữ liệu BKAI-OCR có tỷ lệ nhãn lỗi cao được rà soát và gán nhãn lại toàn bộ.
   • Quá trình gán nhãn thực hiện qua phần mềm chuyên dụng PPOCRLabel, xuất nhãn theo định dạng file chuẩn phục vụ huấn luyện.
2. Triển khai ứng dụng minh họa:
   • Hệ thống được xây dựng dưới dạng ứng dụng trên nền tảng web.
   • Kiến trúc hệ thống bao gồm: giao diện tiếp nhận ảnh tải lên từ người dùng, khối tiền xử lý ảnh, module tải trọng số mô hình đã huấn luyện tốt nhất để thực hiện dự đoán, và giao diện trực quan hóa kết quả nhận dạng văn bản tiếng Việt.

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương này tập trung trình bày tính cấp thiết của bài toán nhận dạng chữ viết tay trong tiến trình chuyển đổi số tài liệu. Tác giả đi sâu phân tích 6 thách thức cốt lõi: chữ viết thiếu nét, sự phức tạp về vị trí đặt dấu thanh, các nét chữ chồng lên nhau, nhiễu bề mặt viết, sự đa dạng phong cách cá nhân và chữ viết xiên vẹo. Tác giả đối chiếu hạn chế của hai bộ dữ liệu hiện hành (VNOnDB và UIT-HWDB) với ảnh thực tế, từ đó xác lập 4 mục tiêu nghiên cứu, phạm vi thực hiện ở cấp độ từ và liệt kê 5 đóng góp chính của khóa luận.

Chương 2: Cơ sở lý thuyết và các nghiên cứu liên quan

Chương 2 cung cấp nền tảng toán học và kiến trúc học sâu cho bài toán. Tác giả định nghĩa văn bản cảnh, văn bản đồ họa, văn bản in và văn bản viết tay; phân tích chi tiết cơ chế hoạt động của mạng tích chập CNN (VGG, ResNet). Khung làm việc Sequence-to-sequence được mổ xẻ qua công thức toán học của hàm giải mã xác suất có điều kiện và hàm mất mát Cross-Entropy, đồng thời so sánh các giải thuật giải mã từ Greedy Search đến Beam Search.

Chương này trình bày chi tiết toán học cơ chế Self-Attention và Multi-Head Attention trong Transformer, phương pháp biểu diễn vector vị trí Positional Encoding và cơ chế Masked Attention tại Decoder. Tiếp đó, nguyên lý của Vision Transformer (ViT) được mô tả qua các khâu trích xuất patch, patch embedding, inductive bias và cấu trúc 3 phiên bản ViT. Tác giả kết thúc chương với cơ chế Contrastive Pre-training của mô hình CLIP và tổng quan các bộ dữ liệu chữ viết tay tiếng Việt đã công bố.

Chương 3: Một số phương pháp nhận dạng văn bản áp dụng cho chữ viết tay tiếng Việt

Tác giả phân tích cấu trúc kỹ thuật của 7 mô hình được lựa chọn thực nghiệm:

• TransformerOCR và ResNet34_2-Transformer: Hai mô hình kết hợp mạng nơ-ron tích chập ResNet-34 làm bộ trích xuất đặc trưng thị giác và khối Transformer làm bộ giải mã chuỗi ký tự.
• ViTSTR: Kiến trúc nhận dạng văn bản cảnh thuần Transformer, chuyển đổi các patch ảnh thành chuỗi vector 1D và đưa trực tiếp qua bộ mã hóa ViT.
• ABINet: Kiến trúc mạng 2 chiều tự trị gồm nhánh thị giác (Vision Model) kết hợp với mô hình ngôn ngữ 2 chiều (Language Model - BCN) hoạt động độc lập và cơ chế sửa nhãn dự đoán lặp lại (iterative correction).
• PARSeq: Mô hình chuỗi tự hồi quy hoán vị (Permuted Autoregressive Sequence) ứng dụng kỹ thuật mô hình hóa ngôn ngữ hoán vị (Permutation Language Modeling - PLM). Khối giải mã kết hợp thị giác - ngôn ngữ (Visio-lingual decoder) với 2 lớp Attention cho phép học đồng thời 3 chiến lược masking: tự hồi quy (AR), không tự hồi quy (NAR) và che từ (cloze).
• CLIP4STR: Mô hình tận dụng khả năng biểu diễn đa phương thức của CLIP, gồm nhánh trích xuất thị giác và nhánh tương tác chéo (cross-modal) để tinh chỉnh dự đoán, trong đó bộ mã hóa văn bản được đóng băng một phần.
• SVTR-CPPD: Kết hợp mô hình thị giác đơn SVTR (sử dụng các khối Patch Embedding và biến đổi tuyến tính) với bộ giải mã lan truyền ngữ cảnh CPPD (Context Perception and Propagation Decoder) gồm hai mô-đun: đếm ký tự (Character Counting - CC) và định thứ tự ký tự (Character Ordering - CO).

Chương 4: Thực nghiệm và đánh giá

Chương này mô tả chi tiết quy trình xây dựng tập dữ liệu thực tế gồm 190.685 ảnh cấp độ từ. Tác giả thống kê tỷ lệ ảnh chứa số trước và sau khi bổ sung dữ liệu học bạ, đồng thời trình bày quy trình chuẩn hóa dữ liệu bằng PPOCRLabel.

Thực nghiệm đánh giá được tiến hành qua các độ đo chuẩn: độ chính xác mức ký tự/từ và độ lỗi nhận dạng. Tác giả thực hiện 4 nhóm thực nghiệm đối sánh:

1. Đánh giá các phương pháp trên tập dữ liệu VNOnDB, UIT-HWDB và tập dữ liệu thực tế xây dựng mới trên không gian 196 ký tự.
2. So sánh chuyên sâu giữa ResNet34_2-Transformer và TransformerOCR.
3. Đánh giá toàn bộ các mô hình trên tập dữ liệu thực tế với đầy đủ 224 ký tự tiếng Việt.
4. Đánh giá kết quả nhận dạng khi không xét dấu thanh tiếng Việt.

Phần phân tích lỗi chia các trường hợp sai lệch thành 3 nhóm: lỗi do chữ viết quá xấu hoặc thiếu nét, lỗi do dấu thanh bị đặt sai vị trí hoặc nhận diện sai biến thể nguyên âm (điển hình ở CLIP4STR), và lỗi do nhiễu nền/ảnh mờ. Cuối chương là phần trình bày kiến trúc và kết quả đánh giá ứng dụng minh họa trên nền tảng web.

Chương 5: Kết luận và hướng phát triển

Chương 5 tóm tắt các kết quả đạt được về mặt dữ liệu, mô hình và ứng dụng minh họa. Tác giả khẳng định tính ưu việt của dữ liệu thực tế so với dữ liệu tổng hợp, xác lập vai trò của mô hình ngôn ngữ trong bài toán nhận dạng chữ viết tay tiếng Việt, đồng thời đề xuất các định hướng nghiên cứu tiếp theo.

Kết quả và đóng góp của khóa luận

Khóa luận đã đóng góp các kết quả định lượng cụ thể cho bài toán nhận dạng chữ viết tay tiếng Việt:

1. Xây dựng tập dữ liệu chữ viết tay tiếng Việt thực tế quy mô lớn

Khóa luận tạo lập thành công bộ dữ liệu chữ viết tay tiếng Việt cấp độ từ từ các nguồn tài liệu thực tiễn với quy mô vượt trội so với các công bố trước đó:

Tập dữ liệu	Số lượng ảnh	Bản chất dữ liệu	Tính chất thực tế (Nhiễu nền, mờ, màu mực)
VNOnDB	110.746	Dữ liệu online chuyển sang ảnh offline	Không có
UIT-HWDB	110.745	Dữ liệu tổng hợp từ VNOnDB	Không có
Dữ liệu khóa luận	190.685	Ảnh chụp/scan từ học bạ, BKAI-OCR, Cinnamon	Đầy đủ tính chất thực tế

2. Kết quả thực nghiệm và hiệu năng mô hình

• Tác động của dữ liệu thực tế: Khi huấn luyện các mô hình trên tập dữ liệu thực tế do nhóm xây dựng, độ lỗi nhận dạng trung bình giảm xuống còn 5% - 10%, thấp hơn một nửa so với huấn luyện trên bộ UIT-HWDB (độ lỗi 15% - 30%) và giảm khoảng 3 lần so với bộ VNOnDB (độ lỗi 15% - 40%). Kết quả chứng minh dữ liệu thực tế mang tính quyết định đến độ chính xác của hệ thống nhận dạng.
• Xác định hướng tiếp cận tối ưu: Các mô hình có tích hợp mô hình ngôn ngữ và cơ chế sửa nhãn dự đoán đạt hiệu năng vượt trội. Ba phương pháp ABINet, PARSeq và CLIP4STR đạt độ lỗi ký tự trung bình thấp nhất, đều ở mức khoảng 7.x%.
• Khảo sát ảnh hưởng của dấu thanh: Thực nghiệm với toàn bộ 224 ký tự và thực nghiệm loại bỏ dấu thanh cho thấy việc nhận diện chính xác vị trí và loại dấu thanh tiếng Việt là nguồn gây lỗi lớn nhất của các mô hình thị giác thuần túy.

3. Đóng góp về học thuật và ứng dụng

• Hệ thống hóa tài liệu chuyên khảo về các kiến trúc nhận dạng văn bản hiện đại áp dụng cho tiếng Việt.
• Công bố toàn bộ kết quả nghiên cứu thành một bài báo khoa học (đính kèm trong phụ lục khóa luận).
• Triển khai hoàn chỉnh ứng dụng web minh họa phục vụ kiểm thử mô hình với ảnh chữ viết tay thực tế.

Hạn chế và hướng nghiên cứu tiếp theo

Khóa luận chỉ rõ các hạn chế tồn tại dựa trên kết quả phân tích thực nghiệm:

• Mô hình nhận dạng vẫn gặp khó khăn trong việc phân biệt các biến thể nguyên âm và dấu thanh tiếng Việt. Điển hình tại mô hình CLIP4STR, hệ thống nhận dạng chính xác ký tự nguyên âm gốc nhưng vẫn dự đoán sai các biến thể có dấu (như nhầm lẫn giữa các dấu hỏi, ngã, sắc, nặng).
• Nghiên cứu mới giải quyết bài toán ở cấp độ từ đơn lẻ (word level). Dữ liệu dạng dòng văn bản (như tập Cinnamon) phải trải qua bước tiền xử lý cắt từ thủ công hoặc bán tự động, chưa tích hợp thành một quy trình nhận dạng toàn diện từ cấp độ trang tài liệu xuống cấp độ dòng và từ (end-to-end).
• Các mẫu chữ viết quá ẩu, chữ viết tắt hoặc bị mất nét nghiêm trọng do bề mặt viết vẫn vượt quá khả năng phục hồi của các mô hình hiện tại.

Hướng nghiên cứu tiếp theo được tác giả đề xuất:

• Mở rộng bài toán nhận dạng lên cấp độ dòng (line-level) và đoạn văn bản (paragraph-level) nhằm giảm phụ thuộc vào khâu phân đoạn từ.
• Tích hợp các mô hình ngôn ngữ tiếng Việt tiền huấn luyện sâu hơn vào bộ giải mã để tận dụng triệt để ngữ cảnh từ vựng, hỗ trợ sửa lỗi dấu thanh.
• Nghiên cứu cải tiến các khối chú ý thị giác chuyên biệt hóa cho việc nhận diện dấu thanh nhỏ và các nét phụ trong chữ viết tiếng Việt.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo hữu ích cho sinh viên, học viên cao học và các nhóm nghiên cứu thuộc ngành Khoa học máy tính, Trí tuệ nhân tạo và Thị giác máy tính:

• Giá trị về dữ liệu: Cung cấp quy trình chi tiết về thu thập, cắt lọc và sử dụng công cụ PPOCRLabel để chuẩn hóa và gán nhãn tập dữ liệu chữ viết tay tiếng Việt thực tế quy mô 190.685 ảnh.
• Giá trị về kiến trúc mô hình: Là tài liệu tham khảo chuyên sâu bằng tiếng Việt phân tích chi tiết cấu tạo toán học và cơ chế giải mã của các kiến trúc nhận dạng văn bản tiên tiến nhất: Transformer, ViT, ABINet, PARSeq, CLIP4STR và SVTR-CPPD.
• Giá trị về phương pháp luận thực nghiệm: Cung cấp khung đối chuẩn (benchmark) toàn diện trên nhiều tập dữ liệu (VNOnDB, UIT-HWDB, dữ liệu thực tế) với các thiết lập đánh giá có dấu và không xét dấu, hỗ trợ định hướng giải pháp cho các đề tài số hóa văn bản hành chính và giáo dục tại Việt Nam.

Câu hỏi thường gặp

1. Điểm khác biệt căn bản giữa tập dữ liệu 190.685 ảnh do nhóm tác giả xây dựng so với hai bộ dữ liệu VNOnDB và UIT-HWDB là gì?

Bộ dữ liệu VNOnDB vốn là dữ liệu nhận dạng online (thu qua bảng vẽ/bút cảm ứng) được chuyển đổi nhân tạo thành ảnh tĩnh, còn UIT-HWDB là dữ liệu tổng hợp nhân tạo từ VNOnDB. Cả hai bộ dữ liệu này đều thiếu các tính chất vật lý thực tế. Tập dữ liệu 190.685 ảnh của khóa luận được thu thập từ nguồn tài liệu thực tế (học bạ sinh viên, cuộc thi BKAI-OCR và Cinnamon), chứa đầy đủ các thuộc tính nhiễu bề mặt giấy, đa dạng màu mực, ảnh bị mờ do thiết bị chụp và ánh sáng không đều.

2. Vì sao bài toán nhận dạng chữ viết tay tiếng Việt có độ phức tạp cao hơn nhiều so với tiếng Anh?

Trong khi tiếng Anh chỉ có 96 ký tự chuẩn, bảng ký tự tiếng Việt đầy đủ có tới 224 ký tự bao gồm chữ hoa, chữ thường, chữ số và dấu câu. Tiếng Việt có 5 dấu thanh kết hợp cùng các nguyên âm gốc và nguyên âm biến thể (ă, â, ê, đ, ơ, ô, ư) tạo nên số lượng tổ hợp ký tự rất lớn. Ngoài ra, dấu thanh tiếng Việt nằm tách rời khỏi thân chữ cái, dẫn đến hiện tượng người viết đặt dấu lệch vị trí, khiến mô hình dễ nhầm lẫn hoặc làm sai lệch hoàn toàn ý nghĩa của từ.

3. Những mô hình nào đạt kết quả nhận dạng tốt nhất trong nghiên cứu và nguyên nhân kỹ thuật là gì?

Ba mô hình ABINet, PARSeq và CLIP4STR đạt độ lỗi ký tự trung bình thấp nhất (khoảng 7.x%). Nguyên nhân là do các kiến trúc này không chỉ dựa thuần túy vào đặc trưng thị giác mà kết hợp thêm mô hình ngôn ngữ (như khối BCN trong ABINet hay Permutation Language Modeling trong PARSeq) cùng cơ chế lặp lại để tự động rà soát và sửa nhãn dự đoán dựa trên xác suất ngữ cảnh chuỗi ký tự.

4. Nhóm tác giả đã sử dụng công cụ và kỹ thuật tiền xử lý nào để xây dựng tập dữ liệu?

Tác giả thu thập dữ liệu học bạ sinh viên để bổ sung ký tự số, cắt các dòng văn bản từ bộ dữ liệu Cinnamon thành các ảnh cấp độ từ, và sử dụng công cụ gán nhãn chuyên dụng PPOCRLabel để chuẩn hóa và gán nhãn lại toàn bộ các mẫu dữ liệu bị gán sai nhãn từ tập BKAI-OCR.

5. Nghiên cứu ghi nhận hiện tượng lỗi đặc trưng nào ở mô hình CLIP4STR khi xử lý tiếng Việt?

Tại mô hình CLIP4STR, mặc dù hệ thống trích xuất tốt đặc trưng toàn cục và nhận dạng chính xác ký tự nguyên âm gốc, mô hình vẫn thường xuyên mắc lỗi dự đoán sai các dấu thanh đi kèm hoặc nhầm lẫn giữa các biến thể nguyên âm (ví dụ nhận diện đúng thân chữ nhưng đoán sai dấu hỏi, ngã, sắc, nặng).

Kết luận

Khóa luận tốt nghiệp của sinh viên Nguyễn Thành Đạt và Hàn Phi Trường đã giải quyết bài toán nhận dạng chữ viết tay tiếng Việt cấp độ từ thông qua việc xây dựng thành công tập dữ liệu thực tế gồm 190.685 ảnh. Nghiên cứu thực nghiệm toàn diện trên 7 kiến trúc học sâu chứng minh việc sử dụng dữ liệu thực tế giúp giảm độ lỗi nhận dạng trung bình xuống còn 5% - 10%, đồng thời khẳng định tính ưu việt của hướng tiếp cận kết hợp mô hình ngôn ngữ và cơ chế sửa nhãn tự động (ABINet, PARSeq, CLIP4STR). Đề tài hoàn thành trọn vẹn các mục tiêu học thuật, đóng góp một bài báo khoa học chuyên ngành và xây dựng thành công ứng dụng web minh họa phục vụ số hóa chữ viết tay tiếng Việt.

Trích đoạn nội dung tài liệu

Chương 1 TỔNG QUAN 1.1 Đặt van đề Nhận dạng chữ viết tay là một bài toán nhận được rất nhiều sự quan tâm của cộng đồng thị giác máy tính từ trước đến nay bởi vì tính hữu dụng của nó với các ứng dụng có thể được kể tới như đọc văn bản viết tay từ hóa đơn, từ các cuốn ghi chép, giấy khai sinh. và chuyển chúng thành dữ liệu số để lưu trữ, xử lý và tìm kiếm dễ dàng hơn, gọi chung là số hóa thông tin. Bài toán nhận dạng chữ viết tay được phát biểu như sau: "Với đầu vào là ảnh kí tự hoặc từ viết tay cần nhận dạng và đầu ra là nội dung văn bản trong ảnh" (xem hình 1. * Đầu vào (input): Ảnh chứa vùng văn bản cần nhận dạng.

Đây thực sự là một bài toán với nhiều thách thức do có rất nhiều phong cách viết, màu sắc chữ, viết nhanh làm mất chữ hoặc viết tắt, viết nguệch ngoạc,. làm cho việc nhận dạng cực kỳ khó khăn (xem hình 1. Nhận dạng chữ viết tay được nghiên cứu nhiều, tuy nhiên chủ yếu là trên tiếng Anh, trong khi đó tiếng Việt vẫn còn khá hạn chế. Ngoài việc ít được quan tâm nghiên cứu thì chữ viết tay tiếng Việt lại phức tạp hơn tiếng Anh khi số ký 1.

Tổng quan PF ỳ Sách Dau vào Dầu ra Hình 1.1: Đầu vào và đầu ra của bài toán nhận dạng chữ viết tay tiếng Việt bier! BY ry woe Phony Lig Ga hố, y2 ^„oO. / feyChữ viết bị thiếu nét (b) Sự phức tạp về vị trí đặt dấu (c) Các nét chồng lên nhau N we ll Beat fine. a xe (d) Nhiễu từ bề mặt viết (e) Da dang phong cach viét (f) Chữ xiên, veo Hình 1.2: Một số thách thức của chữ viết tay nói chung và chữ viết tay tiếng Việt nói riêng tự của tiếng Việt nhiều hơn han tiếng Anh, trong khi tiếng Anh chi gồm 96 ký tự (bao gồm ký tự chữ viết hoa, viết thường, số và ký tự dấu câu) thì với tiếng Việt đã có tới 224 ký tự (bao gồm ký tự chữ viết hoa, viết thường, số, ký tự dấu câu) - nhiều gấp hơn hai lần so với Tiếng Anh. Số lượng ký tự tiếng Việt nhiều hơn rất nhiều là bởi tiếng Việt có các dấu thanh bao gồm 5 dấu (’ ` ? ~.

Tổng quan dấu này khi kết hợp với các nguyên âm (u e 0 a i) sẽ tạo ra các biến thể (ủ ũ Wud.) ngoài ra các ký tự mà tiếng Anh không có (4 â ê đ ơ 6) khi kết hợp +*® / vu Ge g với dau cũng tao ra một ký tự mới (4444 a.) dẫn đến số lượng ký tự cần dự ay đoán nhiều hơn rất nhiều. Bên cạnh khó khăn về số lượng ky tự can nhận dạng thì chữ viết tay tiếng Việt còn gặp thử thách lớn về vị trí đặt các dấu thanh do các dau của Tiếng Việt không dính liền với ký tự chữ cái nên khi viết có thé các dấu được đặt ở vị trí không tương ứng với ký tự chữ cái chứa dấu đó (xem hình 1.2 (b)), cùng một từ khi đặt dấu thanh khác nhau sẽ dẫn đến kết quả nhận dạng khác nhau làm cho ý nghĩa của từ bị sai. Một lý do nữa làm cho bài toán nhận diện chữ viết tay Tiếng Việt ít được quan tâm là do thiếu dữ liệu phục vụ cho việc nghiên cứu. Theo khảo sát của nhóm, đến thời điểm hiện tại dữ liệu cho nhận dạng chữ viết tay tiếng Việt còn hạn chế khi chỉ có hai bộ dữ liệu là VNOnDB [1] và UIT-HWDB [2] (quan sát hình 1.

Trong đó bộ dữ liệu VNOnDB [1] là dữ liệu cho bài toán nhận diện chữ viết tay online (dif liệu được ghi nhận trong thời gian thực bằng các thiết bị cảm ứng như là bút và bảng điện tử) và được các nghiên cứu trước đây chuyển về dang offline (ảnh chụp chứa chữ) và bộ UIT-HWDB [2] là dữ liệu tổng hợp dùng bộ VNOnDB [1] xây dựng nên. Do đó 2 bộ dữ liệu này thiếu mất các tính chất đặc trưng của dữ liệu thực tế như là nhiễu nền, bị mờ do thiết bị và môi trường chụp ảnh,. Theo như nghiên cứu của Yang và cộng sự [4], Singh và cộng sự [6] hay trong nghiên cứu của Bautista va Atienza [5] cho thấy sử dụng dữ liệu thực tế để huấn luyện mô hình giúp cải thiện độ chính xác. Hơn nữa trong nghiên cứu của Baek và cộng sự [3] đã khám phá tác động của dữ liệu thực tế đến hiệu suất của các mô hình Scene Text Recognition (STR).

Cùng là nhận dạng văn bản tuy nhiên ở bài toán nhận dạng văn bản cảnh (Scene Text Recognition) lại đạt được khá nhiều thành công khi liên tục có rất nhiều mô hình, kiến trúc mới được công bồ (ViTSTR [9], ABINet [10], PARSeq [5], CLIP4STR [11], SVTR-CPPD [12]-[13], .) giúp cải thiện kết quả nhận 1. Tổng quan dạng. Chúng tôi mong muốn thực nghiệm và đánh giá các phương pháp đó trên dữ liệu chữ viết tay, từ đó có thể đưa ra nhận định và cải thiện trên dữ liệu chữ viết tay. Từ những lý do trên, chúng tôi sẽ xây dựng một bộ dữ liệu chữ viết tay thực tế mức độ từ cho tiếng Việt.

Sau đó sẽ đánh giá các phương pháp nhận dạng văn bản cảnh tiên tiến hiện nay cho bài toán nhận dạng chữ viết tay Tiếng Việt ở mức độ từ. Sau cùng chúng tôi xây dựng một ứng dụng trên nền tảng web để minh họa cho nghiên cứu của chúng tôi. (a) VNONDB dataset give (b) UITATIWDB dataset Hình 1.3: Một số anh trong bộ dữ liệu VNOnDB (a) và UIT-HWDB (b) mnie \ ~ (a) VNOnDB dataset (b) UIT-HWDB dataset (c) Dữ liệu tir thực tế Hình 1.4: Sự khác nhau giữa dữ liệu từ bộ VNOnDB (a), UIT-HWDB (b) và dữ liệu từ thực tế (c) 1.2 Mục tiêu và phạm vi 1.21 Mục tiêu Để thực hiện bai dé tài khóa luận "Đánh Giá Một Só Phương Pháp Nhận Dạng Văn Bản Trên Tập Dit Liệu Chữ Viết Tay Tiếng Việt Cấp Độ Từ", nhóm thực hiện khóa luận đặt ra những mục tiêu như sau: « Tìm hiểu tổng quan về bài toán và các hướng tiếp cận tiên tiến hiện nay với bài toán này. * Xây dựng một bộ dữ liệu chữ viết tay tiếng Việt thực tế bằng cách thu thập và gán nhãn dữ liệu.

Nguồn dữ liệu bao gồm dữ liệu từ tài liệu thực tế là học ba sinh viên và dữ liệu được công bố từ các cuộc thi. « Đánh giá một số phương pháp nhận dạng để đánh giá, so sánh, phân tích ưu và nhược điểm của từng phương pháp, từ đó thấy được sự cải tiến của từng phương pháp. « Xây dựng hệ thống minh họa.2 Phạm vi Dựa trên những mục đã đề xuất tại nội dung 1.1, trong khuôn khổ của khóa luận, chúng tôi sẽ tập trung hoàn thành các nội dung sau đây: * Nghiên cứu tổng quan về bài toán, bao gồm tìm hiểu về các thách thức va cơ sở lý thuyết của một số phương pháp hiện đại: ViTSTR [9], ABINet [10], PARSeq [5], CLIP4STR [1 1], SVTR-CPPD ([12]-[13]), để tim được các phương pháp phù hợp cho bài toán này. * Xây dựng tập dữ liệu chữ viết tay tiếng Việt bằng cách cắt và gan nhãn từ dữ liệu chúng tôi tự thu thập từ học bạ sinh viên và từ các bộ dữ liệu thực 1.

Tổng quan té từ các cuộc thi như Cinamon dataset [8] và BKAI-OCR [7]. « Đánh giá và so sánh các phương pháp nhận dạng tiên tiến trên tập dif liệu chữ viết tay tiếng Việt. * Xây dựng hệ thống minh họa cho dé tài trên nền tang web.3 Dong góp của khóa luận Sau đây là một số đóng góp mà chúng tôi đã đạt được trong quá trình thực hiện khóa luận: « Xây dựng được một tài liệu tổng quan về bài toán này cũng như các thách thức và các cách tiếp cận phổ biến hiện nay giúp giải quyết bài toán, và tài liệu mô tả lý thuyết, cách hoạt động của một số phương pháp nhận dạng chữ tiên tiến. « Xây dựng được một bộ dữ liệu chữ viết tay tiếng Việt cấp độ từ đa dạng với 190.685 ảnh, nhiều hơn gần gấp đôi so với 2 bộ dữ liệu hiện có là VNOnDB [1] (110.746 ảnh) và UIT-HWDB [2] (110.745 ảnh), và chứa các tính chất của chữ viết tay trong thực tế mà 2 bộ VNOnDB và UIT- HWDB không có như là nhiễu nền từ bé mặt viết, màu sắc đa dạng từ màu mực, ảnh hưởng của môi trường và thiết bị chụp khiến ảnh bị mờ và phân bổ màu sắc không đều.

Xây dựng được một tài liệu mô tả thông tin thu được khi phân tích bộ dữ liệu và cách thức để đánh giá trên bộ dữ liệu này. « Tổng kết các kết quả thu được khi đánh giá các phương pháp nhận diện tiên tiến được chọn, phân tích ưu nhược điểm của chúng. Khi huấn luyện các mô hình sử dụng dữ liệu thực tế thì độ lỗi nhận dạng trung bình giảm hơn một nửa so với sử dụng bộ dữ liệu UIT-HWDB [2] và giảm khoảng 3 lần so với bộ VNOnDB [1] (15-30% và 15-40% giảm xuống còn 5-10%). Tổng quan đó rút ra được kết luận rằng đối với bài toán nhận diện chữ viết tay Tiếng Việt thì sử dụng dữ liệu thực tế sẽ tốt hơn so với dữ liệu tổng hợp.

Đồng thời, 3 phương pháp ABINet[10], PARSeq[5] và CLIP4STR[1 1] có độ lỗi kí tự trung bình thấp nhất lần lượt là 7. Qua đó có thể thấy hướng tiếp cận kết hợp sử dụng mô hình ngôn ngữ và cơ chế sửa nhãn dự đoán giúp các mô hình nhận dạng tốt hơn, chính xác hơn. Điều này sẽ giúp ích cho việc xây dựng và cải tiền các phương pháp cho bài toán nhận diện chữ viết tay tiếng Việt. » Tổng kết các kết quả thành một bài báo khoa học (được đính kèm ở sau cuốn khóa luận).

« Xây dựng hệ thống minh hoa cho đề tài.4 Cấu trúc khóa luận Chương 1: Giới thiệu tổng quan về bài toán nhận dang chữ viết tay tiếng Việt, Chương 2: Trình bày về cơ sở lý thuyết và các nghiên cứu liên quan đến bài toán nhận dạng chữ viết tay tiếng Việt. Chương 3: Trình bày về các phương pháp nhận dạng văn bản sử dụng để thực nghiệm. Chương 4: Trình bày cách xây dựng bộ dữ liệu, phân tích dữ liệu, cách thức đánh giá và so sánh kết quả của các mô hình trên bộ dữ liệu đã xây dựng. Chương 5: Trình bày về cách xây dựng ứng dụng minh họa Chương 6: Kết luận về khóa luận tốt nghiệp và hướng phát triển trong tương lai.