Khóa Luận Tốt Nghiệp: Đánh Giá Các Phương Pháp Nhận Dạng Văn Bản Tiếng Việt Viết Tay Cấp Độ Từ

Khóa luận tốt nghiệp đánh giá các phương pháp nhận dạng văn bản trên tập dữ liệu chữ viết tay tiếng Việt cấp độ từ, ứng dụng trong khoa học máy tính.

Chuyên ngành

Khoa học máy tính

Người đăng

Ẩn danh

Thể loại

khóa luận tốt nghiệp

2023

130
2
0

Phí lưu trữ

35 Point

Mục lục chi tiết

LỜI CẢM ƠN

TÓM TẮT KHÓA LUẬN

1. CHƯƠNG 1: TỔNG QUAN

1.1. Đặt van đề

1.2. Mục tiêu và phạm vi

1.2.1. Mục tiêu

1.2.2. Phạm vi

1.3. Đóng góp của khóa luận

1.4. Cấu trúc khóa luận

2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT VÀ CÁC NGHIÊN CỨU LIÊN QUAN

2.1. Định nghĩa về văn bản trong ảnh

2.2. Mạng nơ-ron tích chập (CNN)

2.3. Mô hình Sequence-to-sequence

2.4. Mô hình Transformer

2.4.1. Tổng quan về mô hình Transformer

2.4.2. Mô hình Vision Transformer

2.4.2.1. Chia ảnh thành các phần nhỏ và duỗi thẳng
2.4.2.2. Những vị trí - Position Embedding

2.4.3. Contrastive Language-image Pre-training (CLIP)

2.5. Các nghiên cứu liên quan

2.5.1. Các hướng tiếp cận trong bài toán nhận dạng chữ viết tay

2.5.1.1. Hướng tiếp cận dựa trên CTC
2.5.1.2. Hướng tiếp cận dựa trên Attention Seq2Seq

2.5.2. Các bộ dữ liệu chữ viết tay tiếng Việt

3. CHƯƠNG 3: MỘT SỐ PHƯƠNG PHÁP NHẬN DẠNG VĂN BẢN ÁP DỤNG CHO CHỮ VIẾT TAY TIẾNG VIỆT

3.1. Transformer Encoder, Decoder và cơ chế attention

3.2. Tổng quan về kiến trúc ABINet

3.3. Những hạn chế của các phương pháp trước

3.4. Mô hình Permuted Autoregressive Sequence

3.4.1. Permutation Language Modeling (PLM)

3.4.2. Kiến trúc mô hình

3.5. Mô hình CLIP4STR

3.5.1. Tổng quan về kiến trúc

3.5.2. Hàm mất mát cho huấn luyện

4. CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ

4.1. Xây dựng tập dữ liệu

4.2. Gán nhãn dữ liệu

4.3. Các độ đo sử dụng để đánh giá

4.4. Kết quả và đánh giá

4.5. Xây dựng ứng dụng minh họa

4.6. Đánh giá ứng dụng

5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

5.1. Kết luận

5.2. Hướng phát triển

TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về nhận dạng văn bản tiếng Việt viết tay

Nhận dạng văn bản tiếng Việt viết tay là một bài toán quan trọng trong lĩnh vực xử lý ngôn ngữ tự nhiêncông nghệ nhận dạng. Bài toán này đặt ra nhiều thách thức do sự đa dạng trong phong cách viết, vị trí đặt dấu, và các yếu tố nhiễu từ môi trường. Tiếng Việt viết tay đặc biệt phức tạp với 224 ký tự, bao gồm các biến thể nguyên âm và dấu thanh, làm tăng độ khó của bài toán. Các nghiên cứu trước đây chủ yếu tập trung vào tiếng Anh, trong khi dữ liệu cho tiếng Việt còn hạn chế. Hai bộ dữ liệu chính là VNOnDBUIT-HWDB được sử dụng, nhưng chúng thiếu các tính chất thực tế như nhiễu nền và độ mờ. Nghiên cứu này nhằm xây dựng một bộ dữ liệu thực tế hơn và đánh giá các phương pháp nhận dạng tiên tiến.

1.1. Thách thức trong nhận dạng tiếng Việt viết tay

Nhận dạng chữ viết tay tiếng Việt gặp nhiều thách thức do sự đa dạng trong phong cách viết và vị trí đặt dấu. Các dấu thanh không dính liền với ký tự chính, dẫn đến việc nhận dạng sai nếu dấu được đặt không chính xác. Ngoài ra, các yếu tố nhiễu từ môi trường như độ mờ, màu sắc mực, và bề mặt viết cũng làm tăng độ khó của bài toán. Phương pháp nhận dạng hiện tại chủ yếu dựa trên các bộ dữ liệu tổng hợp, thiếu tính thực tế, dẫn đến hiệu suất không cao khi áp dụng vào thực tế.

1.2. Tầm quan trọng của dữ liệu thực tế

Các nghiên cứu gần đây như của Yang và cộng sự [4] và Singh và cộng sự [6] chỉ ra rằng dữ liệu thực tế giúp cải thiện đáng kể hiệu suất của các mô hình nhận dạng. Bộ dữ liệu VNOnDBUIT-HWDB tuy hữu ích nhưng thiếu các yếu tố thực tế như nhiễu nền và độ mờ. Nghiên cứu này tập trung vào việc xây dựng một bộ dữ liệu thực tế hơn, bao gồm 190.685 ảnh, nhiều hơn gần gấp đôi so với hai bộ dữ liệu hiện có. Bộ dữ liệu mới này sẽ giúp các mô hình nhận dạng đạt hiệu suất cao hơn khi áp dụng vào thực tế.

II. Phương pháp nhận dạng văn bản tiếng Việt viết tay

Các phương pháp nhận dạng tiên tiến như ViTSTR, ABINet, PARSeq, CLIP4STR, và SVTR-CPPD được đánh giá trong nghiên cứu này. Các phương pháp này kết hợp mô hình ngôn ngữcơ chế sửa nhãn dự đoán để cải thiện độ chính xác. OCR tiếng Việt đặc biệt được chú trọng do sự phức tạp của ngôn ngữ này. Các mô hình này được huấn luyện trên bộ dữ liệu mới xây dựng, bao gồm các ảnh chụp thực tế từ học bạ sinh viên và các cuộc thi như BKAI-OCRCinnamon. Kết quả thực nghiệm cho thấy các phương pháp này đạt hiệu suất cao hơn so với các bộ dữ liệu tổng hợp.

2.1. Đánh giá các phương pháp nhận dạng

Các phương pháp như ViTSTRABINet được đánh giá dựa trên độ chính xác và khả năng xử lý các yếu tố nhiễu. ViTSTR sử dụng Vision Transformer để chia ảnh thành các patch nhỏ và xử lý chúng một cách hiệu quả. ABINet kết hợp mô hình ngôn ngữmô hình thị giác để cải thiện độ chính xác. Kết quả cho thấy các phương pháp này đạt hiệu suất cao hơn khi sử dụng dữ liệu thực tế so với dữ liệu tổng hợp.

2.2. Ứng dụng thực tế của các phương pháp

Các phương pháp nhận dạng này có thể được áp dụng trong các ứng dụng thực tế như số hóa tài liệu, đọc hóa đơn, và xử lý văn bản viết tay. Xử lý văn bản tiếng Việt đặc biệt được chú trọng do sự phức tạp của ngôn ngữ này. Nghiên cứu này cũng xây dựng một ứng dụng minh họa trên nền tảng web để thể hiện khả năng của các phương pháp nhận dạng trong thực tế.

III. Kết quả và đánh giá

Kết quả thực nghiệm cho thấy các phương pháp nhận dạng tiên tiến đạt hiệu suất cao hơn khi sử dụng dữ liệu thực tế. CLIP4STRSVTR-CPPD là hai phương pháp nổi bật, đạt độ chính xác cao trong việc nhận dạng các ký tự tiếng Việt. Các phương pháp này cũng thể hiện khả năng xử lý các yếu tố nhiễu như độ mờ và nhiễu nền. Nghiên cứu này cũng chỉ ra rằng việc kết hợp mô hình ngôn ngữcơ chế sửa nhãn dự đoán giúp cải thiện đáng kể độ chính xác của các mô hình nhận dạng.

3.1. So sánh hiệu suất các phương pháp

Các phương pháp như CLIP4STRSVTR-CPPD được so sánh dựa trên độ chính xác và khả năng xử lý các yếu tố nhiễu. CLIP4STR sử dụng Contrastive Language-Image Pre-training để cải thiện độ chính xác, trong khi SVTR-CPPD kết hợp Character CountingCharacter Ordering để xử lý các ký tự tiếng Việt. Kết quả cho thấy cả hai phương pháp đều đạt hiệu suất cao hơn so với các phương pháp truyền thống.

3.2. Ứng dụng minh họa

Một ứng dụng minh họa được xây dựng để thể hiện khả năng của các phương pháp nhận dạng trong thực tế. Ứng dụng này cho phép người dùng tải lên ảnh chứa văn bản viết tay và nhận kết quả nhận dạng ngay lập tức. Kết quả cho thấy các phương pháp nhận dạng tiên tiến có thể được áp dụng hiệu quả trong các ứng dụng thực tế như số hóa tài liệu và xử lý văn bản.

21/02/2025

Trích đoạn nội dung tài liệu

Chương 1 TỔNG QUAN 1.1 Đặt van đề Nhận dạng chữ viết tay là một bài toán nhận được rất nhiều sự quan tâm của cộng đồng thị giác máy tính từ trước đến nay bởi vì tính hữu dụng của nó với các ứng dụng có thể được kể tới như đọc văn bản viết tay từ hóa đơn, từ các cuốn ghi chép, giấy khai sinh. và chuyển chúng thành dữ liệu số để lưu trữ, xử lý và tìm kiếm dễ dàng hơn, gọi chung là số hóa thông tin. Bài toán nhận dạng chữ viết tay được phát biểu như sau: "Với đầu vào là ảnh kí tự hoặc từ viết tay cần nhận dạng và đầu ra là nội dung văn bản trong ảnh" (xem hình 1. * Đầu vào (input): Ảnh chứa vùng văn bản cần nhận dạng.

Đây thực sự là một bài toán với nhiều thách thức do có rất nhiều phong cách viết, màu sắc chữ, viết nhanh làm mất chữ hoặc viết tắt, viết nguệch ngoạc,. làm cho việc nhận dạng cực kỳ khó khăn (xem hình 1. Nhận dạng chữ viết tay được nghiên cứu nhiều, tuy nhiên chủ yếu là trên tiếng Anh, trong khi đó tiếng Việt vẫn còn khá hạn chế. Ngoài việc ít được quan tâm nghiên cứu thì chữ viết tay tiếng Việt lại phức tạp hơn tiếng Anh khi số ký 1.

Tổng quan PF ỳ Sách Dau vào Dầu ra Hình 1.1: Đầu vào và đầu ra của bài toán nhận dạng chữ viết tay tiếng Việt bier! BY ry woe Phony Lig Ga hố, y2 ^„oO. / feyChữ viết bị thiếu nét (b) Sự phức tạp về vị trí đặt dấu (c) Các nét chồng lên nhau N we ll Beat fine. a xe (d) Nhiễu từ bề mặt viết (e) Da dang phong cach viét (f) Chữ xiên, veo Hình 1.2: Một số thách thức của chữ viết tay nói chung và chữ viết tay tiếng Việt nói riêng tự của tiếng Việt nhiều hơn han tiếng Anh, trong khi tiếng Anh chi gồm 96 ký tự (bao gồm ký tự chữ viết hoa, viết thường, số và ký tự dấu câu) thì với tiếng Việt đã có tới 224 ký tự (bao gồm ký tự chữ viết hoa, viết thường, số, ký tự dấu câu) - nhiều gấp hơn hai lần so với Tiếng Anh. Số lượng ký tự tiếng Việt nhiều hơn rất nhiều là bởi tiếng Việt có các dấu thanh bao gồm 5 dấu (’ ` ? ~.

Tổng quan dấu này khi kết hợp với các nguyên âm (u e 0 a i) sẽ tạo ra các biến thể (ủ ũ Wud.) ngoài ra các ký tự mà tiếng Anh không có (4 â ê đ ơ 6) khi kết hợp +*® / vu Ge g với dau cũng tao ra một ký tự mới (4444 a.) dẫn đến số lượng ký tự cần dự ay đoán nhiều hơn rất nhiều. Bên cạnh khó khăn về số lượng ky tự can nhận dạng thì chữ viết tay tiếng Việt còn gặp thử thách lớn về vị trí đặt các dấu thanh do các dau của Tiếng Việt không dính liền với ký tự chữ cái nên khi viết có thé các dấu được đặt ở vị trí không tương ứng với ký tự chữ cái chứa dấu đó (xem hình 1.2 (b)), cùng một từ khi đặt dấu thanh khác nhau sẽ dẫn đến kết quả nhận dạng khác nhau làm cho ý nghĩa của từ bị sai. Một lý do nữa làm cho bài toán nhận diện chữ viết tay Tiếng Việt ít được quan tâm là do thiếu dữ liệu phục vụ cho việc nghiên cứu. Theo khảo sát của nhóm, đến thời điểm hiện tại dữ liệu cho nhận dạng chữ viết tay tiếng Việt còn hạn chế khi chỉ có hai bộ dữ liệu là VNOnDB [1] và UIT-HWDB [2] (quan sát hình 1.

Trong đó bộ dữ liệu VNOnDB [1] là dữ liệu cho bài toán nhận diện chữ viết tay online (dif liệu được ghi nhận trong thời gian thực bằng các thiết bị cảm ứng như là bút và bảng điện tử) và được các nghiên cứu trước đây chuyển về dang offline (ảnh chụp chứa chữ) và bộ UIT-HWDB [2] là dữ liệu tổng hợp dùng bộ VNOnDB [1] xây dựng nên. Do đó 2 bộ dữ liệu này thiếu mất các tính chất đặc trưng của dữ liệu thực tế như là nhiễu nền, bị mờ do thiết bị và môi trường chụp ảnh,. Theo như nghiên cứu của Yang và cộng sự [4], Singh và cộng sự [6] hay trong nghiên cứu của Bautista va Atienza [5] cho thấy sử dụng dữ liệu thực tế để huấn luyện mô hình giúp cải thiện độ chính xác. Hơn nữa trong nghiên cứu của Baek và cộng sự [3] đã khám phá tác động của dữ liệu thực tế đến hiệu suất của các mô hình Scene Text Recognition (STR).

Cùng là nhận dạng văn bản tuy nhiên ở bài toán nhận dạng văn bản cảnh (Scene Text Recognition) lại đạt được khá nhiều thành công khi liên tục có rất nhiều mô hình, kiến trúc mới được công bồ (ViTSTR [9], ABINet [10], PARSeq [5], CLIP4STR [11], SVTR-CPPD [12]-[13], .) giúp cải thiện kết quả nhận 1. Tổng quan dạng. Chúng tôi mong muốn thực nghiệm và đánh giá các phương pháp đó trên dữ liệu chữ viết tay, từ đó có thể đưa ra nhận định và cải thiện trên dữ liệu chữ viết tay. Từ những lý do trên, chúng tôi sẽ xây dựng một bộ dữ liệu chữ viết tay thực tế mức độ từ cho tiếng Việt.

Sau đó sẽ đánh giá các phương pháp nhận dạng văn bản cảnh tiên tiến hiện nay cho bài toán nhận dạng chữ viết tay Tiếng Việt ở mức độ từ. Sau cùng chúng tôi xây dựng một ứng dụng trên nền tảng web để minh họa cho nghiên cứu của chúng tôi. (a) VNONDB dataset give (b) UITATIWDB dataset Hình 1.3: Một số anh trong bộ dữ liệu VNOnDB (a) và UIT-HWDB (b) mnie \ ~ (a) VNOnDB dataset (b) UIT-HWDB dataset (c) Dữ liệu tir thực tế Hình 1.4: Sự khác nhau giữa dữ liệu từ bộ VNOnDB (a), UIT-HWDB (b) và dữ liệu từ thực tế (c) 1.2 Mục tiêu và phạm vi 1.21 Mục tiêu Để thực hiện bai dé tài khóa luận "Đánh Giá Một Só Phương Pháp Nhận Dạng Văn Bản Trên Tập Dit Liệu Chữ Viết Tay Tiếng Việt Cấp Độ Từ", nhóm thực hiện khóa luận đặt ra những mục tiêu như sau: « Tìm hiểu tổng quan về bài toán và các hướng tiếp cận tiên tiến hiện nay với bài toán này. * Xây dựng một bộ dữ liệu chữ viết tay tiếng Việt thực tế bằng cách thu thập và gán nhãn dữ liệu.

Nguồn dữ liệu bao gồm dữ liệu từ tài liệu thực tế là học ba sinh viên và dữ liệu được công bố từ các cuộc thi. « Đánh giá một số phương pháp nhận dạng để đánh giá, so sánh, phân tích ưu và nhược điểm của từng phương pháp, từ đó thấy được sự cải tiến của từng phương pháp. « Xây dựng hệ thống minh họa.2 Phạm vi Dựa trên những mục đã đề xuất tại nội dung 1.1, trong khuôn khổ của khóa luận, chúng tôi sẽ tập trung hoàn thành các nội dung sau đây: * Nghiên cứu tổng quan về bài toán, bao gồm tìm hiểu về các thách thức va cơ sở lý thuyết của một số phương pháp hiện đại: ViTSTR [9], ABINet [10], PARSeq [5], CLIP4STR [1 1], SVTR-CPPD ([12]-[13]), để tim được các phương pháp phù hợp cho bài toán này. * Xây dựng tập dữ liệu chữ viết tay tiếng Việt bằng cách cắt và gan nhãn từ dữ liệu chúng tôi tự thu thập từ học bạ sinh viên và từ các bộ dữ liệu thực 1.

Tổng quan té từ các cuộc thi như Cinamon dataset [8] và BKAI-OCR [7]. « Đánh giá và so sánh các phương pháp nhận dạng tiên tiến trên tập dif liệu chữ viết tay tiếng Việt. * Xây dựng hệ thống minh họa cho dé tài trên nền tang web.3 Dong góp của khóa luận Sau đây là một số đóng góp mà chúng tôi đã đạt được trong quá trình thực hiện khóa luận: « Xây dựng được một tài liệu tổng quan về bài toán này cũng như các thách thức và các cách tiếp cận phổ biến hiện nay giúp giải quyết bài toán, và tài liệu mô tả lý thuyết, cách hoạt động của một số phương pháp nhận dạng chữ tiên tiến. « Xây dựng được một bộ dữ liệu chữ viết tay tiếng Việt cấp độ từ đa dạng với 190.685 ảnh, nhiều hơn gần gấp đôi so với 2 bộ dữ liệu hiện có là VNOnDB [1] (110.746 ảnh) và UIT-HWDB [2] (110.745 ảnh), và chứa các tính chất của chữ viết tay trong thực tế mà 2 bộ VNOnDB và UIT- HWDB không có như là nhiễu nền từ bé mặt viết, màu sắc đa dạng từ màu mực, ảnh hưởng của môi trường và thiết bị chụp khiến ảnh bị mờ và phân bổ màu sắc không đều.

Xây dựng được một tài liệu mô tả thông tin thu được khi phân tích bộ dữ liệu và cách thức để đánh giá trên bộ dữ liệu này. « Tổng kết các kết quả thu được khi đánh giá các phương pháp nhận diện tiên tiến được chọn, phân tích ưu nhược điểm của chúng. Khi huấn luyện các mô hình sử dụng dữ liệu thực tế thì độ lỗi nhận dạng trung bình giảm hơn một nửa so với sử dụng bộ dữ liệu UIT-HWDB [2] và giảm khoảng 3 lần so với bộ VNOnDB [1] (15-30% và 15-40% giảm xuống còn 5-10%). Tổng quan đó rút ra được kết luận rằng đối với bài toán nhận diện chữ viết tay Tiếng Việt thì sử dụng dữ liệu thực tế sẽ tốt hơn so với dữ liệu tổng hợp.

Đồng thời, 3 phương pháp ABINet[10], PARSeq[5] và CLIP4STR[1 1] có độ lỗi kí tự trung bình thấp nhất lần lượt là 7. Qua đó có thể thấy hướng tiếp cận kết hợp sử dụng mô hình ngôn ngữ và cơ chế sửa nhãn dự đoán giúp các mô hình nhận dạng tốt hơn, chính xác hơn. Điều này sẽ giúp ích cho việc xây dựng và cải tiền các phương pháp cho bài toán nhận diện chữ viết tay tiếng Việt. » Tổng kết các kết quả thành một bài báo khoa học (được đính kèm ở sau cuốn khóa luận).

« Xây dựng hệ thống minh hoa cho đề tài.4 Cấu trúc khóa luận Chương 1: Giới thiệu tổng quan về bài toán nhận dang chữ viết tay tiếng Việt, Chương 2: Trình bày về cơ sở lý thuyết và các nghiên cứu liên quan đến bài toán nhận dạng chữ viết tay tiếng Việt. Chương 3: Trình bày về các phương pháp nhận dạng văn bản sử dụng để thực nghiệm. Chương 4: Trình bày cách xây dựng bộ dữ liệu, phân tích dữ liệu, cách thức đánh giá và so sánh kết quả của các mô hình trên bộ dữ liệu đã xây dựng. Chương 5: Trình bày về cách xây dựng ứng dụng minh họa Chương 6: Kết luận về khóa luận tốt nghiệp và hướng phát triển trong tương lai.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ

Tài liệu "Đánh Giá Phương Pháp Nhận Dạng Văn Bản Tiếng Việt Viết Tay Cấp Độ Từ" tập trung vào việc phân tích và đánh giá các phương pháp nhận dạng văn bản viết tay tiếng Việt ở cấp độ từ. Nó cung cấp cái nhìn sâu sắc về các kỹ thuật hiện đại, thách thức trong xử lý ngôn ngữ tự nhiên, và cách tối ưu hóa độ chính xác trong nhận dạng văn bản. Đây là nguồn tài liệu hữu ích cho các nhà nghiên cứu và chuyên gia trong lĩnh vực xử lý ngôn ngữ tiếng Việt, giúp họ nắm bắt được các phương pháp tiên tiến và ứng dụng thực tiễn.

Để mở rộng kiến thức về các phương pháp học sâu và ứng dụng trong xử lý ngôn ngữ, bạn có thể tham khảo Luận văn thạc sĩ HCMUTE phân loại cảm xúc trong văn bản tiếng Việt sử dụng phương pháp học sâu, nghiên cứu về cách phân loại cảm xúc trong văn bản tiếng Việt. Ngoài ra, Luận văn đề tài xây dựng mô hình ngôn ngữ cho tiếng Việt cung cấp cái nhìn tổng quan về việc xây dựng mô hình ngôn ngữ tiếng Việt, một yếu tố quan trọng trong nhận dạng văn bản. Cuối cùng, Luận văn tìm kiếm văn bản pháp quy sử dụng kỹ thuật học sâu là tài liệu tham khảo hữu ích về ứng dụng học sâu trong xử lý văn bản pháp quy.