Đánh Giá Nhận Dạng Văn Bản Nghệ Thuật Tiếng Việt

Khóa luận đánh giá các phương pháp nhận dạng văn bản trên tập dữ liệu chữ nghệ thuật cho tiếng Việt, góp phần phát triển công nghệ xử lý ngôn ngữ.

• Tác giả: Le Tran Trong Khiem
• Người hướng dẫn: TS. Ngo Duc Thanh
• Trường học: Đại học Công nghệ Thông tin
• Chuyên ngành: Cử nhân ngành Khoa học máy tính
• Đề tài: Đánh Giá Nhận Dạng Văn Bản Nghệ Thuật Tiếng Việt
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2022
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT KHÓA LUẬN
• DANH SÁCH HỘI ĐỒNG BẢO VỆ KHÓA LUẬN
• DANH SÁCH HÌNH VẼ
• DANH SÁCH BẢNG
• DANH MỤC TỪ VIẾT TẮT
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Đặt vấn đề
• 1.2. Mục tiêu và phạm vi
• 1.2.1. Mục tiêu
• 1.2.2. Phạm vi
• 1.3. Đóng góp của khóa luận
• 1.4. Cấu trúc khóa luận
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT VÀ CÁC NGHIÊN CỨU LIÊN QUAN
• 2.1. Định nghĩa về văn bản trong ảnh
• 2.2. Nhận dạng văn bản nghệ thuật trong ảnh ngoại cảnh
• 2.3. Các nghiên cứu liên quan
• 2.4. Các phương pháp liên quan
• 3. CHƯƠNG 3: MỘT SỐ PHƯƠNG PHÁP NHẬN DẠNG VĂN BẢN ÁP DỤNG CHO CHỮ NGHỆ THUẬT TIẾNG VIỆT
• 3.1. Mô hình SATRN
• 3.1.1. Kiến trúc mô hình
• 3.1.2. Khối Corner-Guided Encoder
• 3.1.3. Hàm mất mát Character contrastive loss
• 3.2. Mô hình VietOCR
• 3.3. Cách nhìn tổng quan về mô hình ABINet
• 3.4. Mô hình PARSeq
• 3.4.1. Permutation Language Modeling (PLM) - thiết lập tổ hợp
• 3.4.2. Tổng quan mô hình
• 3.4.3. Decoder - Visio-lingual decoder
• 4. CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 4.1. Xây dựng tập dữ liệu
• 4.2. Các độ đo sử dụng để đánh giá
• 4.2.1. Số khung hình trên giây (FPS)
• 4.3. Kết quả và đánh giá
• 5. CHƯƠNG 5: XÂY DỰNG ỨNG DỤNG MINH HỌA
• 5.1. Kiến trúc hệ thống
• 5.2. Đánh giá ứng dụng
• 6. CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Đánh Giá Nhận Dạng Văn Bản Nghệ Thuật Tiếng Việt

Nhận dạng văn bản nghệ thuật tiếng Việt là một lĩnh vực nghiên cứu đang thu hút sự quan tâm lớn từ cộng đồng khoa học. Bài toán này không chỉ đơn thuần là nhận diện chữ viết mà còn bao gồm các yếu tố nghệ thuật, thẩm mỹ trong thiết kế chữ. Việc đánh giá các phương pháp nhận dạng văn bản nghệ thuật giúp cải thiện độ chính xác và khả năng ứng dụng trong thực tiễn.

1.1. Định Nghĩa Nhận Dạng Văn Bản Nghệ Thuật

Nhận dạng văn bản nghệ thuật (Artistic Text Recognition) là quá trình xác định và phân tích các ký tự trong hình ảnh có chứa văn bản nghệ thuật. Điều này bao gồm việc nhận diện các kiểu chữ, màu sắc và hiệu ứng đặc biệt.

1.2. Tầm Quan Trọng Của Nhận Dạng Văn Bản Nghệ Thuật

Việc nhận dạng văn bản nghệ thuật có ứng dụng rộng rãi trong nhiều lĩnh vực như quảng cáo, truyền thông và nghệ thuật. Nó giúp máy tính hiểu và xử lý thông tin từ các hình ảnh phức tạp.

II. Vấn Đề Và Thách Thức Trong Nhận Dạng Văn Bản Nghệ Thuật

Nhận dạng văn bản nghệ thuật tiếng Việt đối mặt với nhiều thách thức, bao gồm sự đa dạng về kiểu chữ và phong cách thiết kế. Các yếu tố như độ phân giải hình ảnh, ánh sáng và nền phức tạp cũng ảnh hưởng đến độ chính xác của các phương pháp nhận dạng.

2.1. Đặc Điểm Của Văn Bản Nghệ Thuật Tiếng Việt

Văn bản nghệ thuật tiếng Việt thường có nhiều kiểu chữ và dấu thanh, làm cho việc nhận diện trở nên khó khăn hơn. Sự phong phú của ngôn ngữ cũng tạo ra nhiều thách thức cho các mô hình nhận dạng.

2.2. Các Thách Thức Kỹ Thuật Trong Nhận Dạng

Các thách thức kỹ thuật bao gồm việc xử lý các ký tự bị chồng chéo, độ phân giải thấp và các hiệu ứng nghệ thuật phức tạp. Những yếu tố này có thể dẫn đến sai sót trong quá trình nhận dạng.

III. Phương Pháp Nhận Dạng Văn Bản Nghệ Thuật Hiện Nay

Có nhiều phương pháp được áp dụng để nhận dạng văn bản nghệ thuật tiếng Việt. Các phương pháp này bao gồm sử dụng mạng nơ-ron sâu, học máy và các thuật toán xử lý hình ảnh tiên tiến.

3.1. Mô Hình SATRN Trong Nhận Dạng Văn Bản

Mô hình SATRN (Scene Text Recognition Network) là một trong những phương pháp tiên tiến, sử dụng kiến trúc mạng nơ-ron để cải thiện độ chính xác trong việc nhận diện văn bản nghệ thuật.

3.2. Mô Hình ViTSTR Và Ứng Dụng Của Nó

Mô hình ViTSTR (Vision Transformer for Scene Text Recognition) áp dụng công nghệ transformer để xử lý văn bản nghệ thuật, giúp tăng cường khả năng nhận diện trong các điều kiện phức tạp.

IV. Ứng Dụng Thực Tiễn Của Nhận Dạng Văn Bản Nghệ Thuật

Nhận dạng văn bản nghệ thuật có nhiều ứng dụng thực tiễn trong đời sống hàng ngày. Từ việc nhận diện biển quảng cáo đến số hóa tài liệu, công nghệ này đang ngày càng trở nên quan trọng.

4.1. Ứng Dụng Trong Quảng Cáo

Trong lĩnh vực quảng cáo, nhận dạng văn bản nghệ thuật giúp các doanh nghiệp thu thập thông tin từ hình ảnh quảng cáo, từ đó tối ưu hóa chiến lược marketing.

4.2. Ứng Dụng Trong Giáo Dục

Công nghệ nhận dạng văn bản nghệ thuật cũng có thể được áp dụng trong giáo dục, giúp số hóa tài liệu học tập và tạo ra các ứng dụng học tập tương tác.

V. Kết Luận Và Hướng Phát Triển Tương Lai

Nhận dạng văn bản nghệ thuật tiếng Việt là một lĩnh vực đầy tiềm năng với nhiều thách thức cần được giải quyết. Các nghiên cứu hiện tại đang mở ra hướng đi mới cho việc phát triển các phương pháp nhận dạng hiệu quả hơn.

5.1. Tương Lai Của Nhận Dạng Văn Bản Nghệ Thuật

Tương lai của nhận dạng văn bản nghệ thuật hứa hẹn sẽ có nhiều cải tiến với sự phát triển của công nghệ AI và học sâu, giúp nâng cao độ chính xác và khả năng ứng dụng.

5.2. Nghiên Cứu Tiếp Theo Trong Lĩnh Vực Này

Các nghiên cứu tiếp theo có thể tập trung vào việc phát triển các bộ dữ liệu phong phú hơn và cải thiện các thuật toán nhận dạng để đáp ứng tốt hơn nhu cầu thực tiễn.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Nhận dạng văn bản trong ảnh đời thường (Scene Text Recognition - STR) là bài toán trọng tâm trong lĩnh vực thị giác máy tính với mục tiêu chuyển đổi vùng ảnh chứa ký tự hoặc từ thành văn bản số tương ứng. Kết quả xử lý đóng vai trò nền tảng cho nhiều ứng dụng thông minh như số hóa tài liệu, đọc biển hiệu, nhận diện tên đường phục vụ định vị và trích xuất thông tin cửa hàng từ bảng quảng cáo. Khác với văn bản in tài liệu truyền thống hoặc văn bản đồ họa (graphic text) được chèn nhân tạo vào ảnh/video, văn bản cảnh (scene text) tồn tại trong môi trường tự nhiên, thường xuyên chịu tác động bởi góc chụp nghiêng, điều kiện chiếu sáng không đồng đều, độ mờ nhòe và độ phân giải thấp.

Trong các bối cảnh thực tế như áp phích hay biển hiệu, văn bản thường được thiết kế cách điệu mang tính thẩm mỹ cao—được định nghĩa trong các nghiên cứu chuyên ngành là chữ nghệ thuật (artistic text). Chữ nghệ thuật đặt ra thách thức lớn đối với các thuật toán nhận dạng hiện đại do sự đa dạng về phông chữ phi chuẩn, các hiệu ứng bóng chìm, uốn lượn, chữ nổi, nét chữ chồng chéo hoặc lẫn sâu vào nền phức tạp. Khảo sát tài liệu cho thấy phần lớn các nghiên cứu và tập dữ liệu chuẩn trước đây (như chuỗi cuộc thi ICDAR) chỉ tập trung vào ký tự thông thường hoặc ký tự Latinh tiếng Anh (tiêu biểu là tập dữ liệu WordArt).

Đối với tiếng Việt, bài toán nhận dạng chữ nghệ thuật gặp rào cản đặc thù do hệ thống chữ viết có 5 dấu thanh (sắc, huyền, hỏi, ngã, nặng) phân bố trên các nguyên âm (a, o, e, u, i) cùng các nguyên âm biến thể (ô, ơ, ê, â, ă, ư). Sự kết hợp này làm gia tăng đáng kể số lượng lớp ký tự cần phân loại. Dưới tác động cách điệu của phông chữ nghệ thuật, các chi tiết dấu rất dễ bị nhầm lẫn thị giác (chẳng hạn ký tự "a" nhầm với "â", "ă", "á"; hoặc từ "Duy" nhìn giống "Dưy", từ "Thùy" trông như "Thù"). Nhằm giải quyết các khoảng trống này, đề tài tập trung xây dựng dữ liệu chuyên biệt và thực nghiệm đối sánh các kiến trúc học sâu tiên tiến trên dữ liệu chữ nghệ thuật tiếng Việt.

Tác giả xác định 4 mục tiêu nghiên cứu cụ thể:

1. Tìm hiểu tổng quan về bài toán nhận dạng văn bản và các hướng tiếp cận tiên tiến hiện nay.
2. Xây dựng và phân tích tập dữ liệu chữ nghệ thuật cho tiếng Việt và tiếng Anh.
3. Đánh giá và so sánh một số phương pháp tiên tiến hiện nay, phân tích ưu điểm và nhược điểm của từng phương pháp.
4. Xây dựng hệ thống minh họa cho đề tài trên nền tảng web.

Phạm vi nghiên cứu giới hạn ở bài toán nhận dạng từ ảnh cắt sẵn (word-level STR) đối với văn bản cảnh tiếng Việt và tiếng Anh. Dữ liệu được trích xuất và kế thừa từ các bộ dữ liệu chuẩn gồm VinText, BKAI-TEXT, VietSignBoard, CUTE80, Total-Text, ICDAR13 và WordArt. Các phương pháp mô hình hóa được khảo sát bao gồm ViTSTR, SATRN, Corner Transformer, VietOCR, ABINet và PARSeq.

Cơ sở lý thuyết và phương pháp

Về mặt lý thuyết cấu trúc, một hệ thống STR tiêu chuẩn thường được chuẩn hóa qua 4 giai đoạn xử lý kế tiếp nhau:

• Tiền xử lý (Transformation): Áp dụng mạng không gian (Spatial Transformer Network - STN) với các phép biến đổi affine để nắn thẳng văn bản cong hoặc khử biến dạng hình học trước khi đưa vào trích xuất đặc trưng.
• Trích xuất đặc trưng (Feature Extraction): Sử dụng các mạng nơ-ron tích chập (CNN như VGG, ResNet) hoặc mạng biến đổi thị giác (Vision Transformer - ViT) nhằm trích xuất các đặc trưng biểu diễn bất biến của ký tự, loại bỏ nhiễu nền.
• Mô hình hóa tuần tự (Sequence Modeling): Dùng các mạng hồi quy (RNN, LSTM, BiLSTM) để nắm bắt mối quan hệ ngữ cảnh giữa các ký tự kế cận trong một từ.
• Dự đoán kết quả (Prediction): Ánh xạ chuỗi đặc trưng sang nhãn văn bản thông qua giải thuật CTC (Connectionist Temporal Classification) hoặc cơ chế Attention.

Cùng với sự phát triển của học sâu, kiến trúc Transformer dựa trên cơ chế tự chú ý (Self-Attention) với các thành phần Query (Q), Key (K), Value (V) và Multi-Head Attention đã dần thay thế các mạng hồi quy truyền thống nhờ khả năng tính toán song song và mô hình hóa quan hệ phụ thuộc xa mà không làm mất mát thông tin. Positional Encoding dạng sóng sin/cosin được tích hợp để bảo toàn thứ tự ký tự. Đối với miền thị giác, Vision Transformer (ViT) chia ảnh thành các mảng cố định (patches), làm phẳng và chiếu tuyến tính thành các vector đặc trưng kèm mã hóa vị trí 1 chiều đưa qua các tầng Transformer Encoder.

Mô hình ViT	Số lớp	Số chiều ẩn (D)	Số chiều MLP	Số Head	Số lượng tham số
ViT-Base	12	768	3072	12	86 triệu
ViT-Large	24	1024	4096	16	307 triệu
ViT-Huge	32	1280	5120	16	632 triệu

Phương pháp nghiên cứu thực nghiệm được triển khai theo quy trình:

• Thu thập và chuẩn hóa dữ liệu từ các bộ dữ liệu ảnh thực tế tiếng Việt và tiếng Anh.
• Tùy biến công cụ mã nguồn mở PPOCRLabel, bổ sung chức năng đánh dấu thuộc tính "art text" để lọc và gán nhãn tập con chữ nghệ thuật.
• Cài đặt, huấn luyện lại các mô hình STR đại diện cho các trường phái kiến trúc: mạng kết hợp CNN-Transformer (SATRN), Transformer thuần túy cho thị giác (ViTSTR), mạng kết hợp mô hình thị giác và ngôn ngữ độc lập (ABINet), mạng giải mã hoán vị đa hướng (PARSeq), mạng chuyên biệt cho chữ nghệ thuật (Corner Transformer) và mô hình nhận dạng tiếng Việt sẵn có (VietOCR).
• Đánh giá hiệu năng bằng các chỉ số định lượng gồm: Độ chính xác nhận dạng từ (Accuracy %, tính theo chế độ không phân biệt chữ hoa/chữ thường, đo lường ở hai trường hợp có xét dấu thanh và không xét dấu thanh tiếng Việt) và tốc độ suy luận (Frames Per Second - FPS).

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương 1 giới thiệu tổng quan bài toán nhận dạng văn bản trong ảnh (Scene Text Recognition), phân tích nguyên nhân lựa chọn đề tài xuất phát từ nhu cầu thực tiễn trong việc đọc thông tin biển hiệu, bảng quảng cáo. Tác giả chỉ rõ chữ nghệ thuật (artistic text) là thách thức mới của cộng đồng nghiên cứu quốc tế, đồng thời nhấn mạnh rào cản dấu thanh trong tiếng Việt mà các nghiên cứu trước đây (như bộ dữ liệu WordArt tiếng Anh) chưa đáp ứng được. Chương này cũng công bố cụ thể 4 mục tiêu, phạm vi nghiên cứu, cấu trúc văn bản và tóm tắt các đóng góp chính của khóa luận.

Chương 2: Cơ sở lý thuyết và các nghiên cứu liên quan

Chương 2 thiết lập khung lý thuyết nền tảng cho đề tài. Văn bản trong ảnh được phân loại thành văn bản in/viết tay và văn bản cảnh/văn bản đồ họa. Tác giả tổng thuật các tập dữ liệu chuẩn trong nước và quốc tế gồm ICDAR13, Total-Text, CUTE80 và VinText. Về mặt phương pháp, chương trình bày chi tiết quy trình 4 giai đoạn của STR (Transformation, Feature Extraction, Sequence Modeling, Prediction), hoạt động của mạng STN với ma trận affine biến đổi tọa độ pixel, mô hình Sequence-to-sequence dùng LSTM, cơ chế giải mã Greedy Search và Beam Search, cơ chế Attention, kiến trúc Transformer hoàn chỉnh (Self-attention, Multi-Head Attention, Positional Encoding) và mạng Vision Transformer (ViT) với các phiên bản Base, Large, Huge.

Chương 3: Một số phương pháp nhận dạng văn bản áp dụng cho chữ nghệ thuật tiếng Việt

Chương 3 đi sâu vào cơ chế hoạt động của 6 kiến trúc học sâu được lựa chọn để thực nghiệm:

• SATRN: Sử dụng mạng nơ-ron tích chập nông kết hợp khối mã hóa Transformer sửa đổi để duy trì thông tin không gian 2D của ký tự.
• Corner Transformer: Kiến trúc thiết kế chuyên biệt cho chữ nghệ thuật, sử dụng khối Corner-Guided Encoder để phát hiện các điểm góc đặc trưng của ký tự và áp dụng hàm mất mát tương phản ký tự (Character Contrastive Loss - CC loss) kết hợp Cross-Entropy loss nhằm phân tách các biểu diễn ký tự trong không gian vector.
• ViTSTR: Loại bỏ hoàn toàn khối CNN và Decoder truyền thống, tận dụng trực tiếp kiến trúc Vision Transformer để trích xuất và phân loại ký tự song song, tối ưu hóa tốc độ tính toán.
• VietOCR: Mô hình nhận dạng chữ tiếng Việt dựa trên kiến trúc kết hợp trích xuất đặc trưng và khối Transformer-Decoder.
• ABINet: Xây dựng hai nhánh độc lập gồm Mô hình Thị giác (Vision Model - VM) không ngữ cảnh và Mô hình Ngôn ngữ hai chiều (Language Model - LM với kiến trúc BCN), sử dụng cơ chế lặp (iterative-refinement) để sửa lỗi chính tả dựa trên ngữ cảnh từ vựng.
• PARSeq: Khắc phục nhược điểm phụ thuộc từ điển của ABINet bằng phương pháp Permutation Language Modeling (PLM). Mô hình học đồng thời các cơ chế sinh từ tự hồi quy (AR), không tự hồi quy (NAR) và đoán từ khuyết (Cloze) thông qua các ma trận mặt nạ chú ý (attention mask), kết hợp cùng bộ giải mã Visio-lingual decoder hai lớp attention.

Chương 4: Thực nghiệm và đánh giá

Chương 4 mô tả quy trình xây dựng tập dữ liệu thực nghiệm bằng công cụ PPOCRLabel có bổ sung cờ kiểm tra chữ nghệ thuật. Tác giả tiến hành đo lường, đối sánh định lượng hiệu năng của 6 mô hình trên tập dữ liệu thử nghiệm. Kết quả được bóc tách chi tiết theo tốc độ suy luận (FPS), độ chính xác tổng thể và độ chính xác phân hóa giữa việc có xét dấu thanh và không xét dấu thanh của tiếng Việt, qua đó phân tích nguyên nhân sai lệch do phông chữ cách điệu gây nhiễu dấu.

Chương 5: Xây dựng ứng dụng minh họa

Chương 5 hiện thực hóa kết quả nghiên cứu thành một hệ thống ứng dụng minh họa hoàn chỉnh trên giao diện web. Mô hình có độ chính xác cao nhất từ thực nghiệm (PARSeq) được đóng gói và tích hợp vào phần phụ trợ (backend) để tiếp nhận ảnh, thực hiện tiền xử lý, suy luận nhận dạng và trả kết quả văn bản hiển thị trực tiếp lên giao diện người dùng. Tác giả thực hiện đánh giá tính ổn định và khả năng đáp ứng thực tế của ứng dụng.

Chương 6: Kết luận và hướng phát triển

Chương 6 tổng kết lại toàn bộ các mục tiêu đã hoàn thành của khóa luận, bao gồm việc xây dựng bộ dữ liệu chữ nghệ thuật đầu tiên có hỗ trợ tiếng Việt, kết quả thực nghiệm 6 mô hình học sâu và hệ thống demo. Đồng thời, tác giả chỉ ra các hạn chế hiện tại về phạm vi nhận dạng ảnh cắt và đề xuất các định hướng mở rộng nghiên cứu trong tương lai.

Thiết kế và triển khai ứng dụng minh họa

Hệ thống ứng dụng minh họa được thiết kế dưới dạng ứng dụng web tương tác nhằm chứng minh tính khả thi của mô hình trong thực tế. Kiến trúc hệ thống bao gồm:

• Tầng giao diện (Frontend): Cung cấp giao diện trực quan cho phép người dùng tải lên hình ảnh chứa văn bản nghệ thuật ngoại cảnh, gửi yêu cầu xử lý và hiển thị trực tiếp chuỗi ký tự nhận dạng được.
• Tầng xử lý trung tâm (Backend): Tiếp nhận dữ liệu ảnh từ giao diện, thực hiện các bước chuẩn hóa kích thước, đưa qua mô hình học sâu để dự đoán chuỗi ký tự và trả về kết quả dạng chuỗi văn bản.
• Mô hình lõi: Sử dụng mô hình PARSeq—phương pháp đạt độ chính xác cao nhất trong các thực nghiệm so sánh tại Chương 4—để đảm bảo khả năng nhận dạng chính xác các ký tự tiếng Việt có dấu và cấu trúc phông chữ phức tạp.
• Công cụ hỗ trợ xây dựng dữ liệu: Nhóm tác giả đã can thiệp vào mã nguồn của công cụ gán nhãn PPOCRLabel, bổ sung chức năng kiểm tra nhãn chữ nghệ thuật (check art text), cho phép người gán nhãn nhanh chóng phân loại thuộc tính nghệ thuật đồng thời với việc xác định khung nhãn từ.

Kết quả và đóng góp

Nghiên cứu mang lại các kết quả định lượng cụ thể và đóng góp học thuật rõ ràng:

1. Xây dựng bộ dữ liệu chữ nghệ thuật đa ngôn ngữ: Tổng hợp thành công bộ dữ liệu gồm 143.168 ảnh, trong đó trích xuất và gán nhãn được 10.318 ảnh chữ nghệ thuật bao gồm cả tiếng Việt và tiếng Anh. Nguồn dữ liệu kết hợp từ tập WordArt quốc tế và các bộ dữ liệu tiếng Việt chuẩn (VinText, BKAI-TEXT, VietSignBoard).
2. Đánh giá thực nghiệm toàn diện các phương pháp SOTA: Thực hiện đối sánh hệ thống giữa 6 mô hình học sâu tiêu biểu (SATRN, ViTSTR, VietOCR, Corner Transformer, ABINet, PARSeq) trên cùng một tập dữ liệu kiểm thử chữ nghệ thuật. Kết quả thực nghiệm xác định PARSeq là mô hình đạt độ chính xác nhận dạng tốt nhất trên tập dữ liệu chữ nghệ thuật tiếng Việt.
3. Phân tích thực nghiệm về ảnh hưởng của dấu thanh: Các bảng số liệu thực nghiệm chứng minh sự sụt giảm độ chính xác rõ rệt khi chuyển từ chế độ đánh giá không xét dấu sang có xét dấu tiếng Việt. Dấu thanh nhỏ, nằm tách rời hoặc bị biến dạng uốn lượn theo phong cách thiết kế của người nghệ sĩ là nguyên nhân hàng đầu gây ra lỗi nhận diện sai giữa các nguyên âm gốc và nguyên âm phái sinh.
4. Đóng góp công bố khoa học và sản phẩm ứng dụng: Toàn bộ kết quả thực nghiệm được nhóm nghiên cứu tổng hợp thành một bài báo khoa học (đính kèm phụ lục khóa luận) và triển khai thành công hệ thống ứng dụng web minh họa sử dụng mô hình PARSeq.

Thành phần nghiên cứu	Chi tiết kỹ thuật / Số liệu trong văn bản
Quy mô bộ dữ liệu xây dựng	143.168 ảnh tổng cộng (chứa 10.318 ảnh chữ nghệ thuật Anh - Việt)
Nguồn dữ liệu kế thừa	VinText, BKAI-TEXT, VietSignBoard, CUTE80, Total-Text, ICDAR13, WordArt
Các mô hình thực nghiệm	SATRN, ViTSTR, VietOCR, Corner Transformer, ABINet, PARSeq
Mô hình đạt kết quả tối ưu nhất	PARSeq (được chọn để tích hợp vào ứng dụng demo)
Các độ đo đánh giá	Accuracy (%) không phân biệt hoa thường (xét dấu / không xét dấu), FPS
Công cụ gán nhãn tùy biến	PPOCRLabel (tích hợp thêm chức năng check art text)
Sản phẩm thực nghiệm	Bài báo khoa học đính kèm và ứng dụng minh họa trên nền tảng web

Hạn chế và hướng nghiên cứu tiếp

Dựa trên các phân tích trong văn bản khóa luận, nghiên cứu còn tồn tại một số giới hạn:

• Phạm vi đầu vào: Đề tài chỉ tập trung giải quyết giai đoạn nhận dạng văn bản (STR) từ các vùng ảnh cắt chứa từ (cropped word images), chưa tích hợp thành một quy trình hoàn chỉnh từ phát hiện vị trí văn bản (text detection) đến nhận dạng (end-to-end scene text spotter).
• Quy mô mẫu chữ nghệ thuật tiếng Việt: Mặc dù đã xây dựng được hơn 10.000 ảnh chữ nghệ thuật, số lượng mẫu tiếng Việt thực tế vẫn còn hạn chế so với sự phong phú của các biển quảng cáo ngoài đời thực, đặc biệt là các biến thể chữ thư pháp hoặc chữ vẽ tay thủ công.
• Thách thức hình thái học cực hạn: Các trường hợp chữ bị biến dạng quá mức (extreme deformation), góc uốn lượn phức tạp hoặc chữ chìm sâu vào họa tiết nền gây ra tỷ lệ dự đoán sai đối với cả những mô hình mạnh như PARSeq hay Corner Transformer.

Hướng phát triển tiếp theo được tác giả định hướng bao gồm:

• Mở rộng quy mô tập dữ liệu chữ nghệ thuật tiếng Việt với nhiều phông chữ và bối cảnh tự nhiên đa dạng hơn.
• Nghiên cứu kết hợp module phát hiện và module nhận dạng thành hệ thống phát hiện - nhận dạng văn bản toàn diện (End-to-End Scene Text System).
• Cải tiến kiến trúc mạng nhằm tăng cường khả năng chú ý vào các chi tiết dấu thanh nhỏ của tiếng Việt trong điều kiện nền nhiễu.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo có giá trị chuyên môn cao cho:

• Sinh viên và học viên cao học ngành Khoa học máy tính, Trí tuệ nhân tạo, Thị giác máy tính: Cung cấp tài liệu hệ thống hóa bài bản về các kỹ thuật xử lý ảnh văn bản, từ các kiến trúc CNN, LSTM cổ điển đến các cơ chế hiện đại như Self-Attention, Multi-Head Attention, Vision Transformer (ViT) và Permutation Language Modeling (PLM).
• Các nhóm nghiên cứu về OCR tiếng Việt: Khóa luận cung cấp phương pháp luận chi tiết về việc xây dựng, lọc và gán nhãn tập dữ liệu chữ nghệ thuật bằng công cụ PPOCRLabel tùy biến, đồng thời cung cấp các phân tích định lượng về sự nhầm lẫn dấu thanh tiếng Việt dưới các phông chữ phức tạp.
• Kỹ sư phát triển ứng dụng thị giác máy tính: Phần phân tích thực nghiệm so sánh giữa độ chính xác và tốc độ xử lý (FPS) của 6 mô hình cung cấp cơ sở thực tế để lựa chọn kiến trúc cân bằng giữa tài nguyên phần cứng và hiệu năng khi triển khai sản phẩm thực tế.

Câu hỏi thường gặp

1. Chữ nghệ thuật (artistic text) được định nghĩa như thế nào trong khóa luận và khác gì so với văn bản thông thường?
Chữ nghệ thuật là dạng văn bản được người thiết kế cách điệu hóa theo chủ đích thẩm mỹ, thường xuất hiện trên bảng quảng cáo, áp phích và tên cửa hàng. Khác với văn bản in hoặc chữ cảnh thông thường có phông chữ chuẩn và đường nét rõ ràng, chữ nghệ thuật sở hữu đa dạng phông chữ lạ, hiệu ứng bóng chìm, uốn lượn, chữ nổi 3D, các ký tự bị gối lên nhau hoặc lẫn sâu vào nền phức tạp, gây khó khăn lớn cho các thuật toán nhận dạng chuẩn.

2. Tại sao việc nhận dạng chữ nghệ thuật tiếng Việt lại phức tạp hơn so với tiếng Anh?
Tiếng Việt sở hữu hệ thống 5 dấu thanh (sắc, huyền, hỏi, ngã, nặng) đặt trên các nguyên âm cùng nhiều biến thể ký tự có dấu mũ, dấu móc (ô, ơ, ê, â, ă, ư). Điều này làm tăng kích thước không gian nhãn dự đoán và tạo ra nhiều cặp ký tự có độ tương đồng thị giác cao (như a, â, ă, á). Khi kết hợp với các phông chữ nghệ thuật cách điệu, dấu câu dễ bị biến dạng, mờ nhạt hoặc hòa vào nét chữ chính khiến mô hình dễ nhầm lẫn (ví dụ chữ "Duy" thành "Dưy", "Thùy" thành "Thù").

3. Quy mô và nguồn gốc của bộ dữ liệu được xây dựng trong khóa luận là bao nhiêu?
Tác giả đã xây dựng bộ dữ liệu gồm tổng cộng 143.168 ảnh, trong đó có 10.318 ảnh thuộc nhóm chữ nghệ thuật cho cả tiếng Anh và tiếng Việt. Dữ liệu được trích xuất, kế thừa và chuẩn hóa từ các tập dữ liệu chuẩn gồm WordArt, ICDAR13, Total-Text, CUTE80 (tiếng Anh) và VinText, BKAI-TEXT, VietSignBoard (tiếng Việt).

4. Mô hình nào đạt hiệu năng tốt nhất trong các thực nghiệm và được lựa chọn để xây dựng hệ thống demo?
Mô hình PARSeq (Permutation Autoregressive Sequence) đạt kết quả tổng thể tối ưu nhất về độ chính xác nhận dạng trên tập dữ liệu kiểm thử chữ nghệ thuật. Do đó, tác giả đã lựa chọn PARSeq làm mô hình cốt lõi để tích hợp vào phần backend của ứng dụng web minh họa.

5. Nhóm nghiên cứu đã sử dụng và tùy biến công cụ nào để thực hiện gán nhãn dữ liệu?
Tác giả đã sử dụng công cụ gán nhãn mã nguồn mở PPOCRLabel và tiến hành lập trình tùy biến, bổ sung thêm thuộc tính kiểm tra chữ nghệ thuật (check art text). Tính năng này cho phép người gán nhãn vừa gán nhãn văn bản vừa đánh dấu phân loại dữ liệu chữ nghệ thuật một cách thuận tiện.

Kết luận

Khóa luận tốt nghiệp của tác giả Lê Trần Trọng Khiêm đã giải quyết bài toán nhận dạng chữ nghệ thuật trong ảnh ngoại cảnh đối với tiếng Việt—một hướng nghiên cứu giàu tính thực tiễn nhưng còn thiếu hụt dữ liệu chuẩn. Đề tài đã xây dựng thành công bộ dữ liệu hơn 10.000 ảnh chữ nghệ thuật Anh - Việt, đồng thời tiến hành khảo sát và đánh giá thực nghiệm toàn diện 6 kiến trúc học sâu tiên tiến (SATRN, ViTSTR, VietOCR, Corner Transformer, ABINet, PARSeq). Kết quả thực nghiệm đã khẳng định tính ưu việt của mô hình PARSeq và chỉ ra tác động sâu sắc của dấu thanh tiếng Việt lên độ chính xác nhận dạng, làm cơ sở xây dựng ứng dụng web minh họa hoàn chỉnh và đóng góp một tài liệu tham khảo có giá trị học thuật cao cho cộng đồng thị giác máy tính trong nước.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu tổng quan về bài toán nhận dang văn bản. Chương 2: Trình bày về cơ sở lý thuyết và các nghiên cứu liên quan đến bài toán nhận dạng văn bản. Chương 3: Trình bày về các phương pháp nhận dạng văn bản sử dụng để thực nghiệm. Chương 4: Trình bày cách xây dựng bộ dữ liệu, phân tích dữ liệu, cách thức đánh giá và so sánh kết quả của các mô hình trên bộ dif liệu đã xây dựng.

Chương 5: Trình bày về cách xây dựng ứng dụng minh họa Chương 6: Kết luận về khóa luận tốt nghiệp và hướng phát triển trong tương lai. Chương 2 CƠ SỞ LÝ THUYET VÀ CÁC NGHIÊN CỨU LIÊN QUAN Trước khi đi vào nội dung chính của khóa luận, tôi xin được trình bày các khái niệm, cơ sở lý thuyết của bài toán nhận dạng văn bản và một số hướng tiếp cận phổ biến hiện nay.1 Định nghĩa về văn ban trong anh Trong thực tế, văn bản trong ảnh có thể xuất hiện dưới nhiều hình dạng khác nhau. Ví dụ, dựa vào cách tạo ra có thể chia làm văn bản in và văn bản viết tay [16]. Văn bản in được tạo ra và in bằng máy in dé dàng nhận dang hơn so với văn bản viết tay, do văn bản viết tay thường phức tạp, chồng chéo nhau, kể cả cùng 1 người, nét chữ giữa các lần viết cũng có thể khác nhau.

Ngoài ra, cũng có thể phân loại văn bản thành 2 loại là văn bản đồ hoa (graphic text) và văn bản cảnh (scene text) như trong [17] - xem hình minh hoa 2. Trong đó có thể thấy văn bản cảnh đa dạng và khó hơn rất nhiều so với dang văn bản dé họa. Theo như trong bài báo [16], văn bản đồ họa là văn bản thêm vào ảnh, video sau khi chụp, quay. Văn bản cảnh là văn bản trên đối tượng được chụp trong môi 2.

Cơ sở lý thuyết và các nghiên cứu liên quan | 'A0NguyếnThaMục —— HMmifeMgcĐsren —— TaL0982759903- a) Văn bản cảnh Hình 2.1: Hình minh họa văn bản cảnh (a) và văn bản đô họa (b). Văn ban cảnh là văn bản xuất hiện trong lúc chụp ảnh; còn ngược lại, văn bản đô họa là văn bản được thêm vào bởi con người sau khi chụp (thường dành cho mục đích tiêu đề, phụ dé,. trường tự nhiên của nó. Hơn thé nữa, tùy vào loại ngôn ngữ, ví dụ ngôn ngữ dựa trên tiếng Latin như tiếng Anh, tiếng Việt, ngôn ngữ dựa trên chữ tượng hình như tiếng Trung, tiếng Hàn.

thì số lượng kí tự trong bản chữ cái, thứ tự đọc cũng sẽ khác nhau, và mỗi ngôn ngữ sẽ có thách thức riêng. Trong khóa luận lần này, tôi sẽ tập trung vào văn bản cảnh tiếng Việt và cả tiếng Anh. Đối với văn bản cảnh, vì được chụp trong môi trường tự nhiên nên sẽ bị đa dạng phông chữ, nhiễu do điều kiện chụp như ngược sáng, không đủ sáng, bị mờ, độ phân giải thấp. Đối với tiếng Việt, số lượng kí tự trong bảng chữ cái nhiều hơn tiếng Anh do các dấu thanh (’, ‘, ?, ., ~) trên nguyên âm (a, o, e, u, i) và các biến thể (6, ể, a, 4, ơ, ư).

Tỷ lệ nhầm lẫn giữa các kí tự gốc và các kí tự có nguyên âm hoặc biến thể của nó cao hơn so với tiếng Anh (ví dụ a với â, ă, á - ảnh minh họa 1. Nhận dang van bản nghệ thuật trong ảnh ngoại cảnh Nhận dạng văn bản trong ảnh ngoại cảnh là một trong những bài toán được cộng đồng thé giới quan tâm nghiên cứu vì tinh ứng dụng cao của nó.