Bối cảnh và vấn đề nghiên cứu

Trong lịch sử nhân loại, chữ viết là phương tiện lưu truyền tri thức và phát minh qua các thế hệ. Cùng với sự phát triển của công nghệ số, nhu cầu chuyển đổi ký tự từ văn bản giấy sang định dạng kỹ thuật số ngày càng tăng. Tuy nhiên, khả năng đọc và hiểu văn bản tự nhiên của máy tính vẫn còn khoảng cách lớn so với con người. Trong lĩnh vực thị giác máy tính, bài toán nhận diện chữ trong ảnh cảnh (Scene Text Recognition - STR) thu hút sự quan tâm lớn nhờ tính ứng dụng thực tiễn cao trong các hệ thống hỗ trợ thông minh và truy vấn hình ảnh (như Google Image Search). Dữ liệu đầu vào của bài toán STR được phân loại thành hai nhóm chính:

  • Hình ảnh chỉnh sửa: Ảnh tạo từ mạng Internet với văn bản được thêm vào qua các công cụ chỉnh sửa đồ họa; không chịu tác động môi trường nhưng đa dạng về phông chữ, màu sắc, vị trí.
  • Hình ảnh cảnh: Ảnh chụp trong môi trường tự nhiên ngoài trời (không phải ảnh quét tài liệu); chịu ảnh hưởng phức tạp từ điều kiện chiếu sáng, góc chụp nghiêng, độ rung mờ, sương mù hoặc nước mưa, cùng sự đa dạng cao về phông chữ và hình dạng.

Tại thời điểm nghiên cứu (năm 2022), công nghệ nhận diện chữ trong ảnh cảnh tiếng Việt còn rất hạn chế, chủ yếu được cung cấp dưới dạng dịch vụ có trả phí từ các tập đoàn công nghệ lớn (như Google) mà không công bố mã nguồn hay kiến trúc chi tiết. Đa số các bộ dữ liệu chuẩn quốc tế chỉ tập trung vào tiếng Latinh nói chung hoặc tiếng Trung Quốc (như tập dữ liệu ShopSign), với tỷ lệ ảnh biển hiệu thương mại rất thấp (ICDAR15 chỉ có 2 ảnh biển hiệu, Total-Text chỉ chiếm khoảng một phần ba). Nhằm giải quyết sự thiếu hụt dữ liệu tiếng Việt và khai thác tiềm năng của mạng nơ-ron đồ thị (Graph Neural Network - GNN), tác giả đã đề xuất xây dựng tập dữ liệu biển hiệu tiếng Việt và nghiên cứu mô hình học sâu tương ứng.

Mục tiêu nghiên cứu cụ thể của đề tài:

  1. Tìm hiểu tổng quan về máy học, các khái niệm cơ bản trong máy học và học sâu (Deep Learning).
  2. Khảo sát các phương pháp nhận diện văn bản tiên tiến sử dụng học sâu.
  3. Xây dựng tập dữ liệu phục vụ bài toán nhận diện văn bản tiếng Việt trong hình ảnh, đáp ứng nhu cầu huấn luyện và kiểm thử.
  4. Cài đặt, hiện thực và đánh giá kết quả của các phương pháp trên tập dữ liệu xây dựng dựa trên các độ đo tiêu chuẩn của bài toán nhận diện đối tượng trong ảnh tĩnh.
  5. Xây dựng ứng dụng web trực quan hóa kết quả dự đoán của các mô hình.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng: Văn bản tiếng Việt xuất hiện trong ảnh cảnh tự nhiên, tập trung vào hình ảnh các biển hiệu quảng cáo (signboard).
  • Phạm vi dữ liệu: Tập dữ liệu SignboardText gồm 1.175 ảnh biển quảng cáo cho giai đoạn phát hiện chữ (Text Detection) và 59.588 ảnh cắt chứa từ/cụm từ cho giai đoạn nhận diện chữ (Text Recognition).
  • Phạm vi kỹ thuật: Tiếp cận pipeline hai giai đoạn độc lập; thực nghiệm các mô hình TextSnake, DRRG (Deep Relational Reasoning Graph Network) và VietOCR; cải tiến thuật toán DRRG bằng cách thay thế module Graph Convolutional Network (GCN) bằng Graph Attention Network (GAT).

Cơ sở lý thuyết và phương pháp

Khóa luận phân rã bài toán nhận diện văn bản trong ảnh thành quy trình hai giai đoạn nối tiếp: phát hiện vị trí văn bản (Text Detection) nhằm trích xuất các vùng chứa chữ dưới dạng hộp bao (bounding box/polygon), và nhận diện nội dung văn bản (Text Recognition) từ các vùng ảnh đã được cắt ra.

Khung lý thuyết và mô hình nền tảng

  1. Kiến trúc mạng tích chập (CNN) và trích xuất đặc trưng:

    • VGG16/VGG19: Sử dụng các bộ lọc kích thước nhỏ $3 \times 3$ xếp chồng để tăng độ sâu và giảm tham số tính toán so với AlexNet.
    • Google Inception: Áp dụng khối kiến trúc đa nhánh kết hợp các bộ lọc $1 \times 1$, $3 \times 3$, $5 \times 5$ cùng kỹ thuật bottleneck $1 \times 1$ giúp giảm số lượng tham số xuống xấp xỉ 5 triệu (nhỏ hơn VGG 12 lần).
    • ResNet: Giải quyết triệt để hiện tượng tiêu biến đạo hàm (Vanishing Gradient) trong mạng tích chập sâu thông qua cơ chế kết nối tắt (Skip/Shortcut Connection), cho phép xây dựng các mạng sâu 50, 150 đến 200 tầng.
    • Fully Convolutional Network (FCN): Thay thế toàn bộ các lớp kết nối dày đặc (Dense) ở tầng cuối bằng lớp tích chập hoặc Global Pooling, cho phép tiếp nhận kích thước ảnh đầu vào tùy ý và tạo ra bản đồ đặc trưng tương ứng theo từng điểm ảnh (pixel-to-pixel).
    • Feature Pyramid Network (FPN): Kết hợp các đặc trưng ngữ nghĩa cấp cao ở tầng sâu (độ phân giải thấp) với đặc trưng không gian ở tầng nông (độ phân giải cao) thông qua hai nhánh bottom-up, top-down và các đường kết nối bên (lateral connections) để tạo ra các bản đồ đặc trưng đa tỷ lệ ${P_2, P_3, P_4, P_5}$.
    • Batch Normalization (BN): Chuẩn hóa giá trị kích hoạt theo từng mini-batch dựa trên giá trị trung bình ($\mu$) và độ lệch chuẩn ($\sigma$), giúp ổn định quá trình lan truyền và tăng tốc độ hội tụ của mô hình.

  2. Lý thuyết đồ thị và mạng nơ-ron đồ thị (GNN):

    • Biểu diễn dữ liệu phi Euclid dưới dạng đồ thị $G = (V, E)$, trong đó $V$ là tập hợp các đỉnh (node) và $E$ là tập hợp các cạnh (edge) liên kết. Ba nhóm bài toán cơ bản trên đồ thị gồm: phân loại đỉnh (node-level), dự đoán liên kết/cạnh (edge-level), và phân loại toàn đồ thị (graph-level).
    • Graph Convolutional Network (GCN): Lan truyền thông tin đặc trưng của các nút lân cận thông qua ma trận kề chuẩn hóa.
    • Graph Attention Network (GAT): Tính toán trọng số chú ý động giữa các nút liên kết thay vì sử dụng trọng số cố định, giúp mô hình tập trung vào các mối quan hệ hình học và ngữ cảnh quan trọng giữa các phân đoạn văn bản.

  3. Cơ chế Attention trong nhận diện chuỗi ký tự:

    • Khắc phục nhược điểm nén mất mát thông tin và đường dẫn đạo hàm quá dài của mô hình Seq2Seq thuần LSTM khi xử lý chuỗi dài. Cơ chế Attention tính toán các trọng số phân bổ trên toàn bộ bản đồ đặc trưng để bộ giải mã (decoder) tập trung vào vùng ký tự tương ứng tại từng bước sinh từ.

Phương pháp nghiên cứu thực nghiệm

  • Giai đoạn phát hiện chữ: Tác giả phân tích hai hướng tiếp cận chính:
    • Top-down: Điển hình là Differentiable Binarization (DB), tối ưu hóa thời gian hậu xử lý thông qua hàm nhị phân hóa khả vi, trích xuất đặc trưng bằng ResNet kết hợp FPN.
    • Bottom-up: Phân rã văn bản thành các thành phần hạt nhân nhỏ rồi gom cụm lại. Tác giả khảo sát TextSnake (sử dụng FCN dự đoán vùng văn bản TR, đường tâm văn bản TCL, góc xoay $\sin/\cos$; hậu xử lý qua 3 hành động Centralizing, Striding, Sliding) và DRRG. Trong DRRG, văn bản được phân rã thành các thành phần nhỏ (text component) có chiều rộng $w \in [w_{min}=8, w_{max}=24]$, hình thành vector thuộc tính hình học $D = (x, y, h, w, \cos\theta, \sin\theta)$. DRRG kết hợp đặc trưng hình học phi Euclid với đặc trưng tích chập trích xuất qua Rotation Region Proposal Networks (RRPN) để xây dựng ma trận đặc trưng đỉnh $X$ và ma trận kề $A$. Khóa luận thực hiện cải tiến cốt lõi: thay thế module GCN nguyên bản trong DRRG bằng module GAT nhằm tối ưu khả năng suy diễn quan hệ giữa các thành phần văn bản tiếng Việt.
  • Giai đoạn nhận diện chữ: Đánh giá phương pháp biến đổi Affine của STAR-Net (chỉ xử lý tốt biến dạng hình học đơn giản) so với VietOCR. Lựa chọn VietOCR làm kiến trúc nhận diện chính: trích xuất đặc trưng bằng mạng CNN, duỗi thẳng bản đồ đặc trưng kích thước $(Channel \times Height \times Width)$ theo hai chiều không gian $(Height \times Width)$ thành chuỗi vector ngữ cảnh đưa vào LSTM kết hợp Attention.
  • Nguồn dữ liệu: Tự xây dựng bộ dữ liệu SignboardText từ các nguồn ảnh thực tế, gán nhãn theo định dạng chuẩn ICDAR2015.

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương 1 giới thiệu vai trò của văn bản và sự cần thiết của bài toán nhận dạng văn bản trong ảnh cảnh (STR). Tác giả phân tích đặc điểm khác biệt giữa ảnh chỉnh sửa và ảnh chụp cảnh ngoài trời, nhấn mạnh sự thiếu hụt nghiêm trọng của các bộ dữ liệu ảnh cảnh tiếng Việt công khai so với các ngôn ngữ khác. Chương này công bố mục tiêu, phạm vi nghiên cứu, cấu trúc của khóa luận và xác định 6 đóng góp chính, bao gồm việc tổng hợp phương pháp luận, xây dựng tập dữ liệu SignboardText, huấn luyện lại TextSnake, DRRG, VietOCR, cải tiến DRRG bằng module Graph Attention và phát triển hệ thống web minh họa.

Chương 2: Bài toán nhận diện văn bản trong hình ảnh và các kiến thức liên quan

Chương 2 hệ thống hóa các khái niệm nền tảng về thị giác máy tính: cấu trúc điểm ảnh (pixel), biểu diễn ảnh nhị phân (1-bit), ảnh mức xám (8-bit, thang độ 0-255), ảnh màu RGB (24-bit) và định dạng mở rộng có kênh alpha. Tác giả phân tích chi tiết pipeline bài toán STR và so sánh hai hướng tiếp cận phát hiện chữ:

  • Hướng tiếp cận top-down (tiêu biểu là thuật toán DB) xử lý theo cấp độ từ hoặc dòng.
  • Hướng tiếp cận bottom-up (TextSnake, DRRG) phân rã từ thành các thành phần cục bộ rồi gom cụm. Phương pháp này mô phỏng cơ chế đọc của con người và thích ứng chính xác với các biến dạng uốn cong, nghiêng lệch của chữ trong ảnh cảnh. Đối với bài toán nhận diện chữ, tác giả phân tích cơ chế nắn chỉnh Affine của STAR-Net, đồng thời trình bày nguyên lý cơ chế Attention (Hard Attention, Soft Attention, Self-Attention) giải quyết hạn chế của Seq2Seq truyền thống. Tác giả phân tích cấu trúc mô hình VietOCR, chỉ rõ cách thức chuyển đổi bản đồ đặc trưng 2D từ CNN thành chuỗi tuần tự cho LSTM và Attention Decoder.

Chương 3: Áp dụng Graph Attention trong bài toán nhận diện văn bản

Chương 3 trình bày cơ sở toán học và kiến trúc của học sâu và học sâu trên đồ thị. Tác giả điểm lại các dấu mốc phát triển: AlexNet tại ILSVRC 2012 (đạt tỷ lệ lỗi 16%, cải thiện 12% so với năm trước), VGG16/19, Google Inception (vô địch ILSVRC 2014 với tỷ lệ lỗi 6,7%), cơ chế liên kết tắt của ResNet và giải thuật chuẩn hóa Batch Normalization. Chương này phân tích chi tiết kiến trúc FCN (bỏ lớp Dense để duy trì kích thước không gian) và FPN (tận dụng bản đồ đặc trưng đa quy mô).

Phần trọng tâm của chương tập trung vào biểu diễn dữ liệu dạng đồ thị và phương pháp gom cụm thành phần văn bản. Tác giả chi tiết hóa giải thuật DRRG: trích xuất các thành phần văn bản, xác định vector hình học $D = (x, y, h, w, \cos\theta, \sin\theta)$, sinh ma trận kề cục bộ $A$ (Local Graph) dựa trên khoảng cách giữa các tâm $(x, y)$, và trích xuất đặc trưng vùng quay (Rotation RoI) từ mạng RRPN để hình thành ma trận đặc trưng $X$. Tác giả đề xuất tích hợp Graph Attention Network (GAT) vào mô hình đồ thị $G(X, A)$ để học các trọng số liên kết phi tuyến giữa các nút, giúp việc phân loại cạnh và liên kết các phân đoạn văn bản đạt độ tin cậy cao hơn so với mạng tích chập đồ thị (GCN) truyền thống.

Chương 4: Thực nghiệm và đánh giá

Chương 4 mô tả toàn diện quá trình xây dựng tập dữ liệu SignboardText và các kết quả thực nghiệm:

  • Tập dữ liệu SignboardText: Thu thập ảnh từ camera hành trình ô tô, điện thoại thông minh của người đi bộ và video quay ngoài trời nhằm đảm bảo độ đa dạng cao về góc chụp, ánh sáng và phông chữ nghệ thuật tiếng Việt. Dữ liệu được gán nhãn thủ công theo chuẩn ICDAR2015 (tọa độ 4 đỉnh hộp bao quanh từ và nội dung phiên âm).
  • Hệ thống độ đo: Ứng dụng các chỉ số Intersection over Union (IoU), ma trận nhầm lẫn (Confusion Matrix gồm TP, FP, FN, TN), độ chính xác (Precision), độ thu hồi (Recall) và độ đo F-measure (F1-score).
  • Kết quả thực nghiệm: Chương trình so sánh hiệu năng phát hiện giữa TextSnake, mô hình DRRG nguyên bản dùng GCN và mô hình DRRG cải tiến dùng GAT. Tác giả tiến hành khảo sát độ nhạy của các siêu tham số trong module GAT và đánh giá độ chính xác của VietOCR trên 59.588 ảnh cắt từ tập SignboardText.

Chương 5: Xây dựng ứng dụng minh họa thực nghiệm

Chương 5 trình bày thiết kế và hiện thực ứng dụng web demo nhằm trực quan hóa kết quả dự đoán của các mô hình phát hiện và nhận diện văn bản. Hệ thống tiếp nhận tệp tin nén định dạng zip chứa cấu trúc các tệp tin JSON ghi nhận tọa độ các đa giác và chuỗi ký tự dự đoán. Ứng dụng cung cấp giao diện trực quan gồm trang tổng quan, danh sách ảnh thu nhỏ (thumbnail) và trang chi tiết hiển thị hộp bao phủ văn bản kèm chuỗi ký tự nhận diện tương ứng trên ảnh gốc.

Chương 6: Kết luận và hướng phát triển

Chương 6 tổng kết các kết quả đạt được: xây dựng thành công tập dữ liệu SignboardText, áp dụng thành công module GAT vào thuật toán DRRG, huấn luyện pipeline nhận dạng văn bản tiếng Việt và xây dựng công cụ trực quan hóa. Tác giả đồng thời nêu rõ các hạn chế tồn đọng và đề xuất các hướng mở rộng cho đề tài.

Thiết kế và triển khai hệ thống minh họa

Nhằm phục vụ việc đánh giá định tính và trực quan hóa kết quả đầu ra của pipeline học sâu, tác giả đã thiết kế và triển khai một ứng dụng web demo chuyên dụng.

Kiến trúc dữ liệu và giao thức giao tiếp

Hệ thống sử dụng cơ chế nạp kết quả dự đoán ngoại tuyến (offline inference) thông qua tệp tin nén:

  • Định dạng đóng gói: Người dùng hoặc tiến trình kiểm thử tải lên một tệp nén định dạng .zip.
  • Cấu trúc dữ liệu: Bên trong tệp nén bao gồm các tệp tin .json tương ứng với từng hình ảnh cần trực quan hóa. Mỗi tệp JSON lưu trữ danh sách các đối tượng văn bản phát hiện được, bao gồm mảng tọa độ đỉnh của đa giác/hộp bao (coors: [x1, y1, x2, y2, x3, y3, x4, y4]) và nhãn chuỗi văn bản đã nhận diện (transcription).

Các giao diện chức năng chính

  1. Trang chính tiếp nhận dữ liệu: Cung cấp khu vực tải lên tệp tin kết quả (.zip) và hiển thị tóm tắt thông số phiên làm việc.
  2. Giao diện danh mục dạng Thumbnail: Hiển thị toàn bộ các hình ảnh cảnh dưới dạng lưới thu nhỏ, cho phép người dùng quan sát tổng thể phân bổ các vùng văn bản và tình trạng phát hiện sơ bộ trên tập dữ liệu kiểm nghiệm.
  3. Giao diện trực quan hóa chi tiết: Khi chọn một hình ảnh cụ thể, hệ thống hiển thị ảnh ở kích thước đầy đủ, vẽ đè các đường bao đa giác (bounding polygon) quanh từng vùng văn bản tiếng Việt được phát hiện, đồng thời hiển thị chuỗi ký tự (transcription) tương ứng được giải mã từ mô hình nhận diện.

Kết quả và đóng góp

Số liệu thực nghiệm và so sánh dữ liệu

Dưới đây là bảng tổng hợp đặc điểm của tập dữ liệu SignboardText do tác giả xây dựng so với các tập dữ liệu chuẩn cho bài toán phát hiện và nhận diện văn bản được trình bày trong khóa luận:

Tập dữ liệu Ngôn ngữ chính Loại hình ảnh Đặc điểm đối với ảnh biển hiệu (Signboard)
ICDAR15 Tiếng Anh (Latinh) Ảnh cảnh ngoài trời Chỉ có 2 hình ảnh chứa biển hiệu quảng cáo
Total-Text Tiếng Anh (Latinh) Chữ đa hướng, uốn cong Khoảng một phần ba dữ liệu đáp ứng điều kiện biển hiệu
ShopSign Tiếng Trung Biển hiệu cửa hàng Chuyên về biển hiệu nhưng không hỗ trợ ký tự Latinh
VinText Tiếng Việt Ảnh cảnh tự nhiên Ảnh cảnh nói chung, không tập trung sâu vào biển hiệu
SignboardText (Đề xuất) Tiếng Việt (Latinh) Biển quảng cáo ngoài trời 1.175 ảnh phát hiện chữ, 59.588 ảnh nhận diện cắt từ

Trong các thực nghiệm phát hiện chữ:

  • Mô hình DRRG tích hợp Graph Attention Network (GAT) cho thấy khả năng liên kết các thành phần văn bản cục bộ chính xác hơn so với mô hình DRRG nguyên bản dùng GCN và thuật toán TextSnake (vốn chỉ dựa trên hậu xử lý thuần túy hình học Centralizing, Striding, Sliding).
  • Mô hình VietOCR khi được huấn luyện trên 59.588 ảnh cắt từ tập dữ liệu SignboardText đã học được các đặc trưng dấu thanh đặc thù và các dạng phông chữ nghệ thuật phức tạp của tiếng Việt trên biển quảng cáo.

Đóng góp thực tiễn và giải pháp đề xuất

  1. Đóng góp dữ liệu: Cung cấp bộ dữ liệu SignboardText được thu thập thực tế từ camera hành trình, thiết bị di động với môi trường ánh sáng phức tạp, được gán nhãn chuẩn hóa theo định dạng ICDAR2015.
  2. Cải tiến kỹ thuật: Hiện thực hóa việc thay thế GCN bằng GAT trong mạng DRRG, chứng minh tính hiệu quả của cơ chế chú ý đồ thị trong việc học mối liên hệ không gian và hình học giữa các thành phần chữ tiếng Việt.
  3. Hiện thực hóa pipeline hoàn chỉnh: Kết hợp thành công mô hình phát hiện bottom-up (DRRG-GAT) và mô hình nhận diện chú ý chuỗi (VietOCR), tạo thành luồng xử lý khép kín cho văn bản biển hiệu tiếng Việt.
  4. Công cụ trực quan: Xây dựng phần mềm web demo hỗ trợ tải tệp kết quả JSON/ZIP và trực quan hóa các hộp bao, chuỗi văn bản trên giao diện web.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được ghi nhận

  • Quy mô 1.175 ảnh biển quảng cáo cho giai đoạn phát hiện chữ còn ở mức khiêm tốn so với độ đa dạng rất lớn của các loại biển hiệu trong thực tế tại Việt Nam.
  • Pipeline xử lý vẫn tách rời hai giai đoạn độc lập (two-stage), khiến sai số từ bước phát hiện (cắt lệch vùng chữ, bỏ sót ký tự có dấu) bị tích lũy trực tiếp sang bước nhận diện của VietOCR.
  • Đối với các biển hiệu có phông chữ nghệ thuật bị cách điệu quá mức, chữ bị che khuất một phần hoặc ảnh chụp trong điều kiện ban đêm quá tối, độ rung nhòe cao, mô hình vẫn còn xuất hiện dự đoán sai lệch.

Hướng nghiên cứu tiếp

  • Mở rộng quy mô và tăng cường độ đa dạng của tập dữ liệu SignboardText với nhiều điều kiện thời tiết khắc nghiệt hơn.
  • Nghiên cứu mô hình học sâu hợp nhất end-to-end (tích hợp đồng thời việc phát hiện và nhận diện văn bản trong một mạng nơ-ron duy nhất) để khắc phục hiện tượng tích lũy sai số giữa hai giai đoạn.
  • Tiếp tục tối ưu hóa cấu trúc đồ thị và các siêu tham số trong GAT nhằm cải thiện tốc độ tính toán, đáp ứng yêu cầu xử lý thời gian thực trên các thiết bị biên hoặc camera hành trình.

Giá trị tham khảo

Tài liệu khóa luận mang lại giá trị học thuật và kỹ thuật thực tiễn cho nhiều nhóm đối tượng:

  • Sinh viên và học viên chuyên ngành Khoa học Máy tính, Trí tuệ Nhân tạo: Là tài liệu tham khảo chi tiết về quy trình xây dựng bài toán thị giác máy tính từ khâu thu thập, tiền xử lý, gán nhãn dữ liệu chuẩn ICDAR2015 cho đến thiết lập mô hình.
  • Kỹ sư và nhà nghiên cứu trong lĩnh vực OCR/STR tiếng Việt: Cung cấp phương pháp luận rõ ràng trong việc áp dụng mạng nơ-ron đồ thị (GNN/GAT) cho việc gom cụm thành phần văn bản dạng bottom-up, thay thế cho các giải thuật phân cụm hoặc hậu xử lý hình học truyền thống.
  • Nội dung đáng tham khảo nhất:
    • Kỹ thuật mô hình hóa thành phần văn bản thành đồ thị cục bộ (Local Graph) và vector đặc trưng hình học $D = (x, y, h, w, \cos\theta, \sin\theta)$ trong Chương 3.
    • Cơ chế duỗi thẳng bản đồ đặc trưng CNN theo hai chiều không gian để tương thích với bộ giải mã Attention trong VietOCR tại Chương 2.
    • Cấu trúc tổ chức dữ liệu kiểm thử và quy chuẩn tệp tin JSON/ZIP để trực quan hóa kết quả nhận dạng đối tượng trên nền tảng web trong Chương 5.

Câu hỏi thường gặp

1. Khóa luận phân chia hình ảnh chứa văn bản thành những loại nào và văn bản cảnh có đặc điểm gì phức tạp?

Khóa luận chia ảnh chứa văn bản thành hai loại: ảnh chỉnh sửa (văn bản được chèn nhân tạo bằng công cụ đồ họa, không chịu tác động ngoại cảnh) và ảnh cảnh (ảnh tự nhiên chụp ngoài trời). Văn bản trong ảnh cảnh phức tạp hơn do chịu ảnh hưởng từ môi trường thực tế (ánh sáng thay đổi, sương mù, mưa, góc chụp nghiêng, rung nhòe) và sự biến dạng đa dạng về phông chữ nghệ thuật, màu sắc, vị trí.

2. Tại sao tác giả chọn tiếp cận bài toán phát hiện chữ theo hướng bottom-up thay vì top-down?

Tiếp cận top-down (nhận diện theo dòng) thường gây sai lệch lớn ở bước nhận diện chữ tiếp theo do kích thước dòng văn bản biến thiên mạnh. Tiếp cận bottom-up (như TextSnake, DRRG) phân rã văn bản thành các thành phần hạt nhân nhỏ rồi dùng mô hình gom cụm lại. Cách tiếp cận này mô phỏng cơ chế đọc của con người, thích ứng linh hoạt với văn bản uốn cong, đa hướng và giúp việc cắt hộp bao chữ đạt độ chính xác cao hơn cho giai đoạn nhận diện.

3. Module Graph Attention Network (GAT) được tích hợp vào vị trí nào trong thuật toán DRRG?

Trong thuật toán DRRG, sau khi trích xuất các thành phần văn bản cục bộ, thuật toán xây dựng ma trận kề $A$ (Local Graph) dựa trên khoảng cách không gian và ma trận đặc trưng nút $X$ (kết hợp vector hình học $D = (x, y, h, w, \cos\theta, \sin\theta)$ cùng đặc trưng Rotation RoI từ RRPN). Tác giả đã cài đặt module GAT thay thế cho lớp tích chập đồ thị (GCN) nguyên bản để học trọng số liên kết chú ý động giữa các nút trên đồ thị $G(X, A)$.

4. Quy mô và cấu trúc gán nhãn của tập dữ liệu SignboardText được xây dựng ra sao?

Tập dữ liệu SignboardText bao gồm 1.175 ảnh chụp biển quảng cáo cho giai đoạn phát hiện chữ và 59.588 ảnh cắt chứa nội dung văn bản cho giai đoạn nhận diện chữ. Toàn bộ dữ liệu được gán nhãn theo chuẩn ICDAR2015, bao gồm tọa độ 4 đỉnh của vùng bao văn bản $[x_1, y_1, x_2, y_2, x_3, y_3, x_4, y_4]$ và chuỗi ký tự phiên âm chính xác tương ứng.

5. Mô hình VietOCR xử lý bản đồ đặc trưng không gian từ CNN như thế nào để đưa vào bộ giải mã Attention?

Khi ảnh đi qua mạng trích xuất đặc trưng CNN, đầu ra là một bản đồ đặc trưng có kích thước dạng $(Channel \times Height \times Width)$. Để đưa vào mô hình LSTM (vốn chỉ nhận đầu vào dạng $Hidden \times Time_step$), VietOCR thực hiện duỗi thẳng hai chiều không gian cuối $(Height \times Width)$ thành một chuỗi đặc trưng một chiều. Chuỗi vector này đại diện cho các bước thời gian đầu vào phục vụ cơ chế Soft Attention và bộ giải mã tuần tự.

Kết luận

Khóa luận tốt nghiệp của tác giả Trần Doãn Thuyên đã giải quyết bài toán nhận diện văn bản tiếng Việt trong ảnh cảnh thông qua pipeline học sâu hai giai đoạn hoàn chỉnh. Đóng góp nổi bật của đề tài là việc xây dựng thành công tập dữ liệu SignboardText chuyên biệt cho biển quảng cáo ngoài trời và áp dụng thành công module Graph Attention Network vào thuật toán DRRG nhằm tối ưu hóa việc phát hiện văn bản dạng bottom-up. Kết hợp với mô hình nhận diện chuỗi VietOCR và ứng dụng web trực quan hóa thực nghiệm, nghiên cứu đã cung cấp cơ sở dữ liệu và giải pháp kỹ thuật có giá trị tham khảo rõ ràng cho các bài toán thị giác máy tính xử lý ngôn ngữ tiếng Việt.