Bối cảnh và vấn đề nghiên cứu

Nhận diện văn bản trong ảnh cảnh tự nhiên (Scene Text Recognition - STR) là một bài toán trọng tâm trong lĩnh vực thị giác máy tính, đóng vai trò nền tảng giúp máy tính đọc hiểu các thông tin văn bản xuất hiện trong đời sống thường ngày như biển hiệu, biển quảng cáo, nhãn sản phẩm, biển báo giao thông. Kết quả của bài toán này phục vụ trực tiếp cho nhiều hệ thống ứng dụng thực tế như truy vấn hình ảnh, xe tự lái, robot tự hành và dịch thuật qua hình ảnh.

Khác với bài toán nhận diện ký tự quang học truyền thống trên tài liệu scan (vốn có nền trắng, phông chữ đồng nhất và bố cục phẳng), văn bản trong ảnh cảnh tự nhiên gặp phải nhiều thách thức lớn:

  • Sự đa dạng về phông chữ, kích thước, màu sắc và hình dạng bất kỳ (thẳng, cong, xiên, uốn lượn).
  • Các yếu tố ngoại cảnh phức tạp như nền nhiễu, ánh sáng không đồng đều, bị che khuất hoặc mờ do chuyển động.
  • Đối với tiếng Việt, thách thức tăng lên do hệ thống ký tự có dấu thanh và dấu phụ phức tạp; việc nhận diện sai dấu dẫn đến thay đổi hoàn toàn ngữ nghĩa của từ.

Các hướng tiếp cận trước đây chủ yếu sử dụng phương pháp nắn thẳng văn bản (Rectification) hoặc phân đoạn ký tự (Character Segmentation), nhưng gặp hạn chế về độ chính xác và tốc độ xử lý. Việc ứng dụng kiến trúc Transformer với cơ chế Self-Attention mang lại khả năng mô hình hóa sự phụ thuộc không gian và ngữ cảnh vượt trội.

Mục tiêu nghiên cứu:

  1. Tìm hiểu tổng quan về bài toán nhận diện văn bản trong ảnh và các hướng tiếp cận phổ biến hiện nay.
  2. Tìm hiểu các hướng áp dụng kiến trúc Transformer vào bài toán nhận diện văn bản trong ảnh.
  3. Xây dựng tập dữ liệu phục vụ bài toán nhận diện chữ viết tiếng Việt trong hình ảnh để huấn luyện và đánh giá mô hình.
  4. Cài đặt, hiện thực và đánh giá kết quả của các phương pháp trên tập dữ liệu đã xây dựng dựa trên độ đo tiêu chuẩn.
  5. Xây dựng ứng dụng web minh họa nhận diện nội dung văn bản tiếng Việt trong ảnh.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Các thuật toán và mô hình Deep Learning nhận diện văn bản tiếng Việt trong ảnh cảnh tự nhiên, trọng tâm là các mô hình ứng dụng kiến trúc Transformer.
  • Phạm vi nghiên cứu: Nhận diện văn bản tiếng Việt ở mức độ từ (word-level); thực nghiệm so sánh 6 phương pháp gồm ASTER, SCAN, ViTSTR, SSCAN, VietOCR và TransformerOCR trên bộ dữ liệu gồm 110.000 ảnh huấn luyện và 10.000 ảnh kiểm thử thu thập từ thực tế tại Việt Nam.

Cơ sở lý thuyết và phương pháp

Khung lý thuyết và mô hình cơ sở

Khóa luận hệ thống hóa các kiến thức nền tảng trong học sâu và xử lý ảnh phục vụ nhận diện văn bản:

  • Mạng nơ-ron tích chập (CNN): Phân tích cơ chế trích xuất đặc trưng qua vùng tiếp nhận cục bộ (Local Receptive Field - LRF), phép tích chập với các bộ lọc (filter/kernel), tính chất chia sẻ trọng số (shared weights), hàm kích hoạt phi tuyến ReLU, lớp gộp cực đại (Max-pooling) tạo tính bất biến dịch chuyển, và lớp chuẩn hóa (Normalization) nhằm tránh hiện tượng "dying ReLU".
  • Phân đoạn ảnh và mạng HRNet: Khái niệm phân đoạn ảnh ngữ nghĩa (Semantic Segmentation), phân đoạn ảnh đối tượng (Instance Segmentation) và kiến trúc HRNet (High-Resolution Network) kết nối song song các luồng đa độ phân giải để duy trì thông tin không gian và ngữ nghĩa chính xác.
  • Mạng nơ-ron hồi quy và LSTM: Cấu trúc RNN truyền thống cùng các cải tiến của mạng bộ nhớ dài-ngắn (LSTM) với trạng thái tế bào (cell state) và 3 cổng xử lý dữ liệu gồm cổng quên (forget gate), cổng vào (input gate), cổng ra (output gate) để giải quyết vấn đề phụ thuộc xa (long-term dependency).
  • Mô hình Sequence-to-Sequence (Seq2Seq): Cấu trúc Encoder-Decoder kết hợp thuật toán giải mã Greedy Search và Beam Search.
  • Cơ chế Attention: Cơ chế tính toán trọng số tập trung dựa trên ngữ cảnh theo mô hình Bahdanau và Luong.
  • Kiến trúc Transformer: Cơ chế Self-Attention và Multi-Head Attention, cấu trúc Transformer Encoder và Transformer Decoder.

Phương pháp nghiên cứu

  • Phương pháp thu thập và xử lý dữ liệu: Thu thập ảnh chụp thực tế có chứa chữ tiếng Việt; sử dụng công cụ VGG Image Annotator (VIA) để gán nhãn dữ liệu; lọc bỏ các ảnh không đạt chuẩn (ảnh quá mờ, không đọc được); cắt các vùng ảnh chứa văn bản ở mức độ từ để xây dựng tập dữ liệu chuẩn hóa.
  • Phương pháp thực nghiệm đối sánh: Cài đặt và huấn luyện 6 mô hình đại diện cho các nhóm tiếp cận khác nhau trên cùng một tập dữ liệu phân chia cố định (110.000 ảnh train / 10.000 ảnh test), sử dụng độ đo chính xác (Accuracy) để phân tích định lượng.
  • Phương pháp phát triển phần mềm: Xây dựng ứng dụng web demo tích hợp mô hình nhận diện văn bản tiếng Việt.

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương 1 trình bày bối cảnh ra đời của đề tài, phân tích tầm quan trọng của bài toán nhận diện văn bản trong ảnh tự nhiên đối với các hệ thống thông minh, nêu rõ khó khăn đặc thù của tiếng Việt có dấu và sự thiếu hụt các nghiên cứu chuyên sâu về STR tiếng Việt. Tác giả xác định 5 mục tiêu cụ thể, 2 phạm vi giới hạn, 4 đóng góp chính của đề tài và tóm tắt cấu trúc 6 chương của khóa luận.

Chương 2: Cơ sở lý thuyết và các nghiên cứu liên quan

Chương này cung cấp hệ thống lý thuyết nền tảng và khảo sát các phương pháp hiện hữu:

  • Phân loại văn bản trong ảnh: Phân biệt chữ viết tay và chữ in; chữ Latinh, tiếng Trung và tiếng Việt; văn bản đồ họa (graphic text) và văn bản cảnh (scene text).
  • So sánh OCR scan và nhận diện văn bản cảnh: Phân tích sự khác biệt về 4 yếu tố: Nền (đơn giản so với phức tạp), Hình thức (phông chuẩn so với đa dạng màu sắc/hướng), Nhiễu (chất lượng cao so với biến dạng/mờ/thiếu sáng), và Hình dạng (phẳng so với biến dạng bất kỳ).
  • Chi tiết các thành phần mạng Deep Learning: Trình bày toán học và cấu trúc của CNN, HRNet, RNN, LSTM, Seq2Seq, cơ chế Attention trong dịch máy và mô tả ảnh.
  • Hai hướng tiếp cận phổ biến trước Transformer:
    1. Hướng tiếp cận nắn thẳng văn bản (Rectification): Đại diện bởi mô hình ASTER sử dụng mạng biến đổi không gian (Spatial Transformer Network - STN) và phép biến đổi Thin Plate Spline (TPS) để làm thẳng văn bản cong/uốn lượn trước khi nhận diện.
    2. Hướng tiếp cận phân đoạn ký tự (Character Segmentation): Đại diện bởi mô hình SCAN tiếp cận qua 2 giai đoạn huấn luyện đa tác vụ và mức từ.

Chương 3: Áp dụng kiến trúc Transformer cho bài toán nhận diện văn bản trong ảnh

Chương 3 đi sâu vào nguyên lý hoạt động của kiến trúc Transformer và phân tích 3 hướng tiếp cận chính khi ứng dụng vào bài toán STR:

  • Hướng chỉ áp dụng Transformer Encoder: Đại diện là mô hình ViTSTR (Vision Transformer for Scene Text Recognition), xử lý chuỗi các patch ảnh đầu vào thông qua các khối Encoder để xuất trực tiếp chuỗi ký tự dự đoán, giúp tăng tốc độ suy luận.
  • Hướng chỉ áp dụng Transformer Decoder: Đại diện là mô hình SSCAN với module Decoder 2 chiều (bi-directional decoder), kết hợp trích xuất đặc trưng CNN với bộ giải mã Transformer.
  • Hướng áp dụng cả Transformer Encoder và Decoder: Khảo sát hai mô hình:
    • VietOCR: Mô hình kết hợp CNN (với các backbone như VGG, ResNet) và Transformer Encoder-Decoder được tối ưu hóa cho tiếng Việt.
    • TransformerOCR: Mô hình sử dụng cấu trúc Encoder-Decoder hoàn chỉnh để học mối quan hệ không gian 2 chiều của ảnh và quan hệ ngữ cảnh chuỗi ký tự.

Chương 4: Thực nghiệm và đánh giá

Nội dung chương 4 tập trung vào quy trình xây dựng tập dữ liệu và đánh giá hiệu năng:

  • Quy trình xây dựng bộ dữ liệu tiếng Việt: Thu thập ảnh thực tế, gán nhãn bằng phần mềm VGG Image Annotator (VIA), quy chuẩn loại bỏ các ảnh hỏng, cắt các vùng chữ chứa từ đơn hoặc cụm từ. Tập dữ liệu hoàn chỉnh đạt quy mô 120.000 ảnh (110.000 ảnh train, 10.000 ảnh test).
  • Độ đo sử dụng: Độ chính xác nhận diện toàn từ (Word Accuracy).
  • Đánh giá và so sánh thực nghiệm: Kiểm thử 6 mô hình trên tập dữ liệu kiểm thử tiếng Việt, phân tích định tính và định lượng ưu nhược điểm của từng phương pháp đối với các trường hợp văn bản mờ, uốn cong và có dấu phức tạp.

Chương 5: Xây dựng ứng dụng minh họa

Chương 5 trình bày thiết kế và cài đặt hệ thống ứng dụng web minh họa:

  • Kiến trúc ứng dụng: Sơ đồ luồng xử lý từ bước người dùng tải ảnh lên giao diện web, hệ thống xử lý tiền xử lý ảnh, đưa qua mô hình nhận diện văn bản tiếng Việt và trả kết quả nội dung văn bản trích xuất trực tiếp lên giao diện.
  • Môi trường và thư viện: Liệt kê các thư viện yêu cầu, hướng dẫn cài đặt, cấu hình môi trường thực thi và hiển thị kết quả chạy thử nghiệm thực tế.

Chương 6: Kết luận và hướng phát triển

Chương cuối đúc kết toàn bộ quá trình nghiên cứu, tổng kết các kết quả đạt được về mặt học thuật và thực tiễn, đồng thời chỉ ra các hạn chế hiện tại và định hướng các nghiên cứu tiếp theo.

Kết quả và đóng góp

Kết quả thực nghiệm định lượng

Khóa luận đã thực hiện kiểm thử và so sánh 6 mô hình trên tập dữ liệu 10.000 ảnh kiểm thử tiếng Việt:

Phương pháp Hướng tiếp cận Thành phần Transformer Độ chính xác (Accuracy)
ASTER [1] Nắn thẳng văn bản (TPS/STN) Không sử dụng Thấp hơn nhóm Transformer
SCAN [2] Phân đoạn ký tự Không sử dụng Thấp hơn nhóm Transformer
ViTSTR [3] Transformer Chỉ Encoder Tốc độ nhanh nhất
SSCAN [4] Transformer Chỉ Decoder Vượt trội hơn ASTER, SCAN
VietOCR [5] Transformer Encoder + Decoder Hiệu năng cao trên tiếng Việt
TransformerOCR [6] Transformer Encoder + Decoder 82.35% (Cao nhất)

Ghi chú từ thực nghiệm:

  • Các phương pháp sử dụng Transformer đều cho kết quả nhận diện vượt trội so với các phương pháp truyền thống (ASTER và SCAN).
  • Mô hình TransformerOCR đạt độ chính xác cao nhất với 82.35%.
  • Mô hình ViTSTR đạt ưu thế về tốc độ xử lý nhanh nhất nhờ cấu trúc tinh gọn chỉ sử dụng Transformer Encoder.

Thành tích thực tế

  • Tác giả đạt Giải Nhì trong vòng chung kết cuộc thi Thử thách Trí tuệ Nhân tạo TP.HCM (HCM AI Challenge 2021) với chủ đề "Trí tuệ nhân tạo cho nhận diện chữ tiếng Việt trong ảnh" nhờ ứng dụng phương pháp VietOCR trong khâu nhận diện văn bản.

Đóng góp chính của khóa luận

  1. Hệ thống hóa cơ sở lý thuyết toàn diện về mạng nơ-ron sâu (CNN, HRNet, RNN, LSTM, Attention, Transformer) và các hướng tiếp cận bài toán STR.
  2. Xây dựng thành công bộ dữ liệu ảnh văn bản cảnh tiếng Việt quy mô lớn gồm 110.000 ảnh huấn luyện và 10.000 ảnh kiểm thử ở mức độ từ.
  3. Phân loại và đánh giá thực nghiệm có hệ thống các mô hình Transformer (ViTSTR, SSCAN, VietOCR, TransformerOCR) đối chiếu với các phương pháp nắn thẳng và phân đoạn ký tự.
  4. Triển khai ứng dụng web minh họa hoàn chỉnh phục vụ nhận diện chữ tiếng Việt từ ảnh.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế

  • Dữ liệu nghiên cứu và thực nghiệm giới hạn ở mức độ từ (word-level), chưa mở rộng trực tiếp cho toàn bộ văn bản dạng dòng dài hoặc đoạn văn phức tạp mà không qua bước phát hiện văn bản (Text Detection).
  • Đối với các trường hợp văn bản cảnh có góc nghiêng quá lớn, bị che khuất nặng hoặc chất lượng ánh sáng cực kém, mô hình vẫn xuất hiện sai sót trong việc nhận diện đúng dấu thanh tiếng Việt.
  • Mô hình có độ chính xác cao nhất (TransformerOCR) đòi hỏi tài nguyên tính toán lớn hơn so với mô hình tối ưu tốc độ như ViTSTR.

Hướng nghiên cứu tiếp

  • Nghiên cứu kết hợp tối ưu hóa kiến trúc TransformerOCR để cải thiện tốc độ suy luận mà vẫn duy trì độ chính xác cao.
  • Mở rộng quy mô và độ đa dạng của bộ dữ liệu tiếng Việt với nhiều phông chữ nghệ thuật, chữ viết tay và các điều kiện ngoại cảnh phức tạp hơn.
  • Xây dựng hệ thống End-to-End kết hợp đồng thời mô hình phát hiện vùng chứa văn bản (Text Detection) và mô hình nhận diện văn bản (Text Recognition) trên toàn bộ bức ảnh gốc.

Giá trị tham khảo

Tài liệu khóa luận có giá trị tham khảo cụ thể đối với:

  • Sinh viên và học viên ngành Khoa học Máy tính, Trí tuệ Nhân tạo, Công nghệ Thông tin: Nguồn tài liệu hệ thống hóa rõ ràng về cơ sở toán học của CNN, LSTM, Attention và Transformer trong bài toán xử lý ảnh.
  • Các nhà nghiên cứu và kỹ sư phát triển OCR tiếng Việt: Cung cấp thông tin tham khảo giá trị về quy trình gán nhãn dữ liệu bằng công cụ VGG Image Annotator, các cấu hình mô hình Transformer (chỉ Encoder, chỉ Decoder, hoặc kết hợp cả hai), cùng số liệu thực nghiệm đối sánh trực tiếp trên dữ liệu tiếng Việt.
  • Phần đáng tham khảo nhất: Chương 3 (phân tích chi tiết 3 hướng áp dụng Transformer cho STR) và Chương 4 (phương pháp tổ chức tập dữ liệu 120.000 ảnh và phân tích kết quả đối sánh giữa 6 mô hình).

Câu hỏi thường gặp

1. Khóa luận tập trung giải quyết bài toán gì và có điểm gì khác biệt so với OCR tài liệu scan truyền thống?

Khóa luận giải quyết bài toán nhận diện văn bản tiếng Việt trong ảnh cảnh tự nhiên (Scene Text Recognition - STR) ở mức độ từ. Khác với OCR tài liệu scan (nền trắng phẳng, phông chữ chuẩn, chất lượng cao), văn bản cảnh tự nhiên có nền rất phức tạp, phông chữ và kích thước đa dạng, văn bản có thể bị cong, nghiêng, uốn lượn, chịu ảnh hưởng của ánh sáng không đều và nhiễu chuyển động, đồng thời đòi hỏi phải nhận diện chính xác hệ thống dấu thanh của tiếng Việt.

2. Bộ dữ liệu thực nghiệm trong khóa luận được xây dựng với quy mô như thế nào?

Bộ dữ liệu tiếng Việt do tác giả cùng sự hỗ trợ của CLB CS-UIT AI Club xây dựng gồm tổng cộng 120.000 ảnh ở mức độ từ thu thập từ đời sống thường ngày tại Việt Nam, được phân chia thành 110.000 ảnh cho tập huấn luyện (training set) và 10.000 ảnh cho tập kiểm thử (testing set), sử dụng công cụ gán nhãn VGG Image Annotator (VIA).

3. Tác giả phân loại các phương pháp ứng dụng Transformer cho STR thành những nhóm nào?

Tác giả phân loại thành 3 nhóm kiến trúc:

  1. Chỉ áp dụng Transformer Encoder: Mô hình ViTSTR.
  2. Chỉ áp dụng Transformer Decoder: Mô hình SSCAN (với Decoder 2 chiều).
  3. Áp dụng cả Transformer Encoder và Decoder: Mô hình VietOCR và TransformerOCR.

4. Kết quả thực nghiệm cho thấy mô hình nào đạt độ chính xác cao nhất và mô hình nào có tốc độ xử lý nhanh nhất?

Trong 6 mô hình được đánh giá (ASTER, SCAN, ViTSTR, SSCAN, VietOCR, TransformerOCR), mô hình TransformerOCR đạt độ chính xác cao nhất với 82.35%, trong khi mô hình ViTSTR là phương pháp có tốc độ xử lý nhanh nhất. Tất cả các phương pháp dựa trên Transformer đều cho kết quả vượt trội so với phương pháp nắn thẳng (ASTER) và phân đoạn ký tự (SCAN).

5. Thành tích thực tế nổi bật mà tác giả đạt được trong quá trình thực hiện khóa luận là gì?

Tác giả đã đạt Giải Nhì tại vòng chung kết cuộc thi Thử thách Trí tuệ Nhân tạo TP.HCM (HCM AI Challenge 2021) với chủ đề "Trí tuệ nhân tạo cho nhận diện chữ tiếng Việt trong ảnh" bằng việc ứng dụng phương pháp VietOCR cho bước nhận diện văn bản.

Kết luận

Khóa luận tốt nghiệp của tác giả Lê Quang Hưng đã nghiên cứu và hệ thống hóa bài toán nhận diện văn bản tiếng Việt trong ảnh cảnh tự nhiên, tập trung vào việc khảo sát và thực nghiệm các kiến trúc dựa trên Transformer. Bằng việc xây dựng bộ dữ liệu chuẩn gồm 120.000 ảnh tiếng Việt và đánh giá thực nghiệm 6 mô hình tiêu biểu, công trình đã chứng minh tính ưu việt của Transformer so với các phương pháp nắn thẳng và phân đoạn ký tự truyền thống, trong đó TransformerOCR đạt độ chính xác cao nhất 82.35%. Kết quả nghiên cứu không chỉ đóng góp về mặt dữ liệu và phân tích học thuật mà còn được kiểm chứng qua giải Nhì cuộc thi HCM AI Challenge 2021 cùng một ứng dụng web minh họa hoàn chỉnh.