Bối cảnh và vấn đề nghiên cứu

Sự gia tăng nhanh chóng của dữ liệu số trên mạng Internet kéo theo nhu cầu lưu trữ và xử lý thông tin ở quy mô lớn trong nhiều lĩnh vực. Trong số các định dạng lưu trữ hiện nay, tài liệu dạng hình ảnh chiếm tỷ trọng đáng kể. Khi khối lượng văn bản hình ảnh tăng cao, các quy trình quản lý, phân loại thủ công bộc lộ nhiều hạn chế về thời gian xử lý, chi phí vận hành và nguồn nhân lực. Nhằm tự động hóa các khâu tiền xử lý trước khi lưu trữ, bài toán phân loại hình ảnh văn bản (Document Image Classification) đã trở thành hướng nghiên cứu thu hút sự quan tâm của cộng đồng khoa học máy tính.

Theo khảo sát của tác giả Nguyễn Quang Hiếu trong khóa luận tốt nghiệp ngành Khoa học Máy tính tại Trường Đại học Công nghệ Thông tin – Đại học Quốc gia TP.HCM (2022), các công bố khoa học về phân loại hình ảnh văn bản tiếng Việt tại thời điểm nghiên cứu còn khá hạn chế. Phần lớn các công trình hiện có chỉ tập trung vào nhóm tài liệu thông tin cá nhân có độ khác biệt trực quan cao giữa các lớp, chẳng hạn như căn cước công dân, giấy phép lái xe, sổ hộ khẩu hoặc giấy đăng ký kết hôn. Ngược lại, các dạng tài liệu có độ phức tạp cao như biên bản, báo cáo tài chính ngân hàng—nơi các văn bản đều có hình thức trình bày tương đồng (nền trắng, chữ đen, chứa nhiều cấu trúc bảng biểu)—vẫn chưa được giải quyết thấu đáo bằng các bộ dữ liệu và mô hình thực nghiệm chuyên sâu.

Đề tài xác định các mục tiêu và nhiệm vụ nghiên cứu cụ thể như sau:

  1. Tìm hiểu tổng quan về bài toán phân loại hình ảnh văn bản và khảo sát các hướng tiếp cận kỹ thuật phổ biến.
  2. Xây dựng bộ dữ liệu hình ảnh văn bản báo cáo tài chính của các ngân hàng bằng tiếng Việt phục vụ cho công tác đào tạo và kiểm thử mô hình.
  3. Thử nghiệm, so sánh và đánh giá các phương pháp học sâu tiên tiến thuộc các trường phái khác nhau trên tập dữ liệu đã xây dựng.
  4. Xây dựng một chương trình/hệ thống phần mềm hỗ trợ xác định và phân loại hình ảnh văn bản báo cáo tài chính ngân hàng.

Về đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Các hình ảnh tài liệu văn bản thuộc nhóm báo cáo tài chính ngân hàng tiếng Việt.
  • Phạm vi không gian dữ liệu: Dữ liệu hình ảnh văn bản báo cáo tài chính được thu thập từ các nguồn công bố công khai trên Internet của các ngân hàng tại Việt Nam.
  • Phạm vi thời gian: Đề tài được triển khai thực hiện từ ngày 10/02/2022 đến ngày 15/07/2022.

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập nền tảng lý thuyết dựa trên sự giao thoa giữa hai phân ngành chính của Trí tuệ nhân tạo: Thị giác Máy tính (Computer Vision - CV) và Xử lý Ngôn ngữ Tự nhiên (Natural Language Processing - NLP), kết hợp kỹ thuật Nhận dạng Ký tự Quang học (Optical Character Recognition - OCR).

Khung lý thuyết và mô hình nghiên cứu

Tác giả phân loại và kiểm chứng ba hướng tiếp cận kỹ thuật chính:

  • Hướng tiếp cận dựa trên đặc trưng hình ảnh (Thị giác máy tính): Tiếp cận hình ảnh tài liệu dưới dạng ma trận điểm ảnh để trích xuất đặc trưng không gian. Phương pháp này bao gồm mô hình Visual and Textual Features (VaTF) sử dụng các mạng tích chập (Convolutional Neural Networks - CNN) làm mạng trích xuất đặc trưng nền tảng (backbone) gồm VGG16, ResNet50, Xception; và mô hình Vision Transformer (ViT) – mô hình áp dụng cơ chế tự chú ý (Self-Attention) trực tiếp lên các mảnh ảnh (image patches) tuần tự.
  • Hướng tiếp cận dựa trên đặc trưng ngôn ngữ (Xử lý ngôn ngữ tự nhiên): Áp dụng công cụ OCR để bóc tách văn bản thô từ ảnh, sau đó chuyển văn bản thành chuỗi token để phân loại. Khóa luận sử dụng mô hình BERT (Bidirectional Encoder Representations from Transformers) được huấn luyện trước với hai cơ chế chính: Masked Language Model (Masked LM) và Next Sentence Prediction (NSP). Công đoạn nhận diện văn bản tiếng Việt sử dụng VietOCR với hai biến thể kiến trúc TransformerOCR và AttentionOCR.
  • Hướng tiếp cận đa phương thức kết hợp đặc trưng hình ảnh, ngôn ngữ và bố cục: Triển khai mô hình LayoutLM. Mô hình này mở rộng kiến trúc Transformer bằng cách tiếp nhận đồng thời đặc trưng văn bản, đặc trưng hình ảnh trực quan và đặc trưng nhúng vị trí tọa độ 2D (2D spatial layout / Bounding Box) của từng từ trong trang tài liệu.

Nền tảng kiến trúc Transformer

Khóa luận phân tích chi tiết cơ chế toán học của khối Transformer:

  • Cơ chế Multi-Head Attention: Vector đầu vào biến đổi tuyến tính thành ba ma trận Queries ($Q$), Keys ($K$), Values ($V$). Trọng số tập trung được tính bằng hàm Scaled Dot-Product Attention: $$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$ trong đó $d_k$ là kích thước của vector Keys. Nhiều đầu chú ý (multi-head) được kết hợp để nắm bắt mối liên hệ giữa các từ từ nhiều không gian biểu diễn khác nhau.
  • Cơ chế mã hóa vị trí (Positional Encoding): Để bù đắp việc loại bỏ mạng hồi quy tuần tự (RNN/LSTM), mô hình bổ sung vector vị trí thông qua các hàm lượng giác sin và cosin với chu kỳ biến thiên theo tần số, đảm bảo mỗi bước thời gian có một biểu diễn vị trí duy nhất và khoảng cách tương đối giữa các vị trí là nhất quán.

Phương pháp nghiên cứu thực nghiệm và dữ liệu

  • Thu thập và tiền xử lý dữ liệu: Thu thập các báo cáo tài chính ngân hàng được công bố công khai, chuyển đổi định dạng, gán nhãn thủ công và chuẩn hóa dữ liệu thành 7 lớp tài liệu riêng biệt, mỗi lớp có chính xác 1.000 hình ảnh (tổng quy mô tập dữ liệu đạt 7.000 hình ảnh).
  • Quy trình thực nghiệm: Dữ liệu sau khi xử lý được đưa vào huấn luyện và đánh giá trên các mô hình tương ứng.
  • Phương pháp đánh giá: Sử dụng các độ đo tiêu chuẩn trong học máy bao gồm Precision (độ chính xác), Recall (độ thu hồi), F1-score và ma trận nhầm lẫn (Confusion Matrix) để phân tích các trường hợp dự đoán sai lệch giữa các lớp tài liệu.

Thiết kế và triển khai

Hệ thống phân loại hình ảnh văn bản được thiết kế theo luồng kiến trúc xử lý nối tiếp hai giai đoạn cốt lõi:

  1. Giai đoạn trích xuất đặc trưng (Feature Extraction): Tiếp nhận ảnh văn bản đầu vào, trích xuất đồng thời các vector đặc trưng trực quan thông qua mạng CNN/Vision Transformer và vector đặc trưng văn bản kèm tọa độ hình học (thông qua VietOCR).
  2. Giai đoạn phân loại (Classification): Kết hợp các vector đặc trưng qua bộ phân loại học sâu để tính toán phân bố xác suất và trả về nhãn lớp tài liệu dự đoán.
[Hình ảnh tài liệu đầu vào] 
[Trích xuất đặc trưng (Feature Extraction)]
[Mô hình phân loại (Classification - LayoutLM / BERT / CNN)]
[Kết quả phân loại (Nhãn loại báo cáo tài chính)]

Về mặt ứng dụng, tác giả tiến hành đóng gói mô hình tốt nhất vào một chương trình ứng dụng minh họa với giao diện web. Ứng dụng cho phép người dùng tải lên hình ảnh văn bản báo cáo tài chính ngân hàng, hệ thống tự động xử lý ngầm và hiển thị trực tiếp loại tài liệu tương ứng trên màn hình website.

Nội dung chính theo từng chương

Chương 1: Mở đầu

Chương 1 trình bày tổng quan về tính cấp thiết của đề tài trong bối cảnh bùng nổ dữ liệu tài liệu số hóa. Tác giả chỉ ra lỗ hổng nghiên cứu về phân loại văn bản tiếng Việt có độ tương đồng cao như báo cáo tài chính ngân hàng. Chương này xác định rõ 4 mục tiêu nghiên cứu, phạm vi thực hiện đề tài và hệ thống hóa các thách thức chính:

  • Thách thức về dữ liệu: Sự khan hiếm của các tập dữ liệu tiếng Việt công khai; sự đồng nhất về mặt trực quan giữa các mẫu báo cáo (nền trắng chữ đen, cấu trúc bảng biểu); sự biến thiên trong cách trình bày giữa các ngân hàng thương mại khác nhau.
  • Thách thức về phương pháp: Các mô hình thị giác truyền thống chỉ hoạt động tốt trên các tài liệu có độ tương phản hình thức cao; các mô hình xử lý ngôn ngữ thuần túy làm mất ngữ cảnh cấu trúc không gian khi văn bản được dàn thành chuỗi sau bước OCR.
  • Thách thức về tài nguyên tính toán: Nhu cầu phần cứng lớn phục vụ đào tạo các mạng nơ-ron học sâu hiện đại. Chương 1 cũng tóm lược danh mục đóng góp của khóa luận và phác thảo cấu trúc 5 chương của toàn văn báo cáo.

Chương 2: Các nghiên cứu liên quan

Chương 2 cung cấp bức tranh tổng thể về các công trình nghiên cứu tiền nhiệm và phân loại các hướng tiếp cận đối với bài toán phân loại hình ảnh văn bản:

  • Hướng tiếp cận đặc trưng hình ảnh: Phân tích ưu điểm xử lý nhanh của phương pháp Visual and Textual Features và Vision Transformer, đồng thời chỉ rõ nhược điểm không phân biệt được các tài liệu có cấu trúc biểu mẫu tương tự nhau.
  • Hướng tiếp cận đặc trưng ngôn ngữ: Trình bày quy trình trích xuất văn bản bằng OCR và phân loại bằng mô hình BERT; phân tích hạn chế đứt gãy ngữ nghĩa đối với dữ liệu dạng bảng biểu khi cấu trúc không gian bị phẳng hóa.
  • Hướng tiếp cận đa phương thức: Khảo sát mô hình LayoutLM như một giải pháp kết hợp thế mạnh của cả thị giác, ngôn ngữ và thông tin bố cục.
  • Cơ sở lý thuyết Transformer: Phân tích toán học chi tiết về cơ chế tự chú ý đa đầu (Multi-Head Attention), hàm chú ý Scaled Dot-Product Attention và phương pháp mã hóa vị trí (Positional Encoding) dạng sin/cosin giải quyết bài toán phụ thuộc xa trong chuỗi dữ liệu.

Chương 3: Áp dụng các phương pháp phân loại hình ảnh

Chương 3 đi sâu vào chi tiết kỹ thuật của các kiến trúc học sâu được lựa chọn thử nghiệm:

  • Visual and Textual Feature: Trình bày nguyên lý trích xuất đặc trưng hình ảnh thông qua ba mạng CNN đào tạo trước:
    • VGG16: Kiến trúc 16 lớp có trọng số học được (13 lớp Convolution, 5 lớp Max Pooling, 3 lớp Fully Connected), sử dụng thống nhất các bộ lọc kích thước nhỏ $3 \times 3$ với bước nhảy 1 kết hợp hàm kích hoạt ReLU, giúp tăng số lớp phi tuyến và giảm tham số so với các mạng tiền nhiệm (AlexNet, ZFNet).
    • ResNet50: Kiến trúc mạng nơ-ron 50 lớp khắc phục triệt để hiện tượng suy giảm hoặc bùng nổ đạo hàm (vanishing/exploding gradient) trong các mạng cực sâu nhờ vào các kết nối tắt (residual/skip connections), thực hiện phép cộng kết quả đầu vào và đầu ra của từng khối tích chập.
    • Xception: Mô hình cải tiến kết hợp ưu thế của VGG16 và ResNet, ứng dụng kỹ thuật tích chập tách biệt theo chiều sâu (depthwise separable convolutions) để học song song các đặc trưng ở nhiều mức độ sâu khác nhau một cách tối ưu.
  • Vision Transformer (ViT): Trình bày phương thức chia nhỏ hình ảnh thành chuỗi các mảnh ảnh phẳng và đưa qua bộ mã hóa Transformer tương tự xử lý chuỗi từ trong NLP.
  • Hệ thống OCR: Trình bày giải pháp trích xuất văn bản tiếng Việt sử dụng thư viện VietOCR với hai cấu trúc mạng chính là TransformerOCR và AttentionOCR.
  • Mô hình ngôn ngữ BERT: Mô tả cơ chế học biểu diễn hai chiều thông qua hai tác vụ tiền huấn luyện: Masked Language Model (dự đoán từ bị ẩn) và Next Sentence Prediction (xác định quan hệ nối tiếp giữa hai câu).
  • Mô hình đa phương thức LayoutLM: Mô tả kiến trúc nhúng đồng thời thông tin từ văn bản, hình ảnh thị giác và tọa độ không gian hộp giới hạn 2D.

Chương 4: Thực nghiệm và đánh giá

Chương 4 ghi nhận quy trình thực nghiệm và phân tích định lượng kết quả:

  • Xây dựng tập dữ liệu: Thu thập, tiền xử lý và gán nhãn 7.000 mẫu hình ảnh báo cáo tài chính ngân hàng chia đều cho 7 lớp văn bản (1.000 ảnh/lớp).
  • Đánh giá hiệu năng: Tính toán độ đo F1-score, Precision, Recall và lập ma trận nhầm lẫn cho từng mô hình:
    • Mô hình VaTF-VGG16 đạt chỉ số F1-score thấp nhất ở mức 0.4579.
    • Mô hình VaTF-ResNet50 cải thiện F1-score lên 0.5972.
    • Mô hình Vision Transformer nâng F1-score lên 0.7627.
    • Mô hình ngôn ngữ BERT đạt F1-score 0.8126.
    • Mô hình LayoutLM đạt hiệu năng vượt trội với F1-score đạt 0.9807 (độ chính xác đạt xấp xỉ 98%).
  • Phân tích lỗi (Error Analysis): Khóa luận chỉ ra hai nguyên nhân chính dẫn đến các trường hợp dự đoán sai lệch trên ma trận nhầm lẫn:
    • Nhóm dữ liệu giống nhau về nội dung nhưng khác loại tài liệu dẫn đến sai sót ở các mô hình thuần thị giác.
    • Nhóm dữ liệu bị dự đoán sai do cấu trúc biểu mẫu phức tạp hoặc định dạng bảng biểu làm xáo trộn ngữ nghĩa sau khi quét OCR, ảnh hưởng tiêu cực đến mô hình thuần ngôn ngữ như BERT.
  • Xây dựng ứng dụng minh họa: Triển khai giao diện website kiểm thử thực tế, cho phép nhập ảnh báo cáo tài chính và hiển thị kết quả phân loại nhanh chóng.

Chương 5: Kết luận và hướng phát triển

Chương 5 tổng kết lại toàn bộ các mục tiêu đã hoàn thành của khóa luận, khẳng định tính khả thi của việc kết hợp đa phương thức trong phân loại tài liệu tài chính phức tạp, đồng thời nêu rõ các hướng phát triển kỹ thuật trong tương lai.

Kết quả và đóng góp

Kết quả định lượng

Khóa luận đã tiến hành đánh giá thực nghiệm đa mô hình trên cùng một tập dữ liệu chuẩn hóa gồm 7.000 hình ảnh báo cáo tài chính ngân hàng tiếng Việt. Kết quả chỉ số F1-score tổng hợp được ghi nhận cụ thể như sau:

Phương pháp tiếp cận Mô hình thử nghiệm F1-score
Đặc trưng hình ảnh (CV - CNN Backbone) VaTF-VGG16 0.4579
Đặc trưng hình ảnh (CV - CNN Backbone) VaTF-ResNet50 0.5972
Đặc trưng hình ảnh (CV - Attention) Vision Transformer (ViT) 0.7627
Đặc trưng ngôn ngữ (OCR + NLP) BERT 0.8126
Đa phương thức (Hình ảnh + Văn bản + Bố cục) LayoutLM 0.9807

Kết quả thực nghiệm phản ánh rõ rệt sự phân hóa hiệu năng:

  • Các phương pháp thuần thị giác (VaTF-VGG16, VaTF-ResNet50) đạt kết quả thấp (F1-score từ 0.4579 đến 0.5972) do không thể phân biệt được các trang văn bản có bố cục nền trắng chữ đen gần như giống hệt nhau.
  • Mô hình Vision Transformer cải thiện đáng kể (0.7627) nhờ khả năng nắm bắt mối tương quan vùng ảnh thông qua Self-Attention.
  • Mô hình BERT đạt F1-score 0.8126, cho thấy thông tin nội dung từ ngữ có tính phân loại cao hơn đặc trưng hình ảnh đơn thuần.
  • Mô hình LayoutLM đạt kết quả cao nhất với F1-score 0.9807 (độ chính xác đạt 98%), minh chứng rằng việc tích hợp đồng thời nội dung văn bản, đặc trưng thị giác và tọa độ bố cục không gian là giải pháp tối ưu cho nhóm tài liệu hành chính phức tạp.

Đóng góp của đề tài

  1. Hệ thống hóa lý thuyết: Tổng hợp, phân loại và phân tích tường minh các hướng tiếp cận kỹ thuật từ đơn phương thức (CV, NLP) đến đa phương thức cho bài toán phân loại hình ảnh văn bản.
  2. Đóng góp dữ liệu: Xây dựng thành công bộ dữ liệu chuẩn gồm 7.000 hình ảnh văn bản báo cáo tài chính ngân hàng tiếng Việt chia đều cho 7 lớp tài liệu, góp phần giải quyết sự thiếu hụt dữ liệu nghiên cứu chuyên sâu tại Việt Nam.
  3. Thực nghiệm đối sánh toàn diện: Thực hiện đào tạo, kiểm thử và so sánh khách quan 5 phương pháp/mô hình học sâu tiêu biểu, cung cấp các bằng chứng thực nghiệm cụ thể về ưu - nhược điểm của từng phương pháp.
  4. Hiện thực hóa giải pháp: Xây dựng hoàn chỉnh chương trình ứng dụng web minh họa có khả năng phân loại tự động hình ảnh báo cáo tài chính ngân hàng.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được ghi nhận

  • Rào cản tài nguyên tính toán: Quá trình huấn luyện các mô hình học sâu kích thước lớn, đặc biệt là các biến thể Transformer và LayoutLM, đòi hỏi cấu hình phần cứng đồ họa (GPU) cao và tiêu tốn nhiều thời gian tính toán.
  • Phụ thuộc vào chất lượng OCR: Hướng tiếp cận ngôn ngữ và đa phương thức phụ thuộc lớn vào độ chính xác của bước nhận dạng ký tự quang học; khi tài liệu bị mờ, nghiêng hoặc bảng biểu phức tạp làm đảo lộn thứ tự từ, ngữ nghĩa của mô hình BERT bị suy giảm.
  • Phạm vi dữ liệu: Mặc dù đạt số lượng 7.000 ảnh, dữ liệu chỉ mới tập trung vào 7 lớp báo cáo tài chính ngân hàng, chưa bao quát toàn bộ các biểu mẫu tài liệu kế toán, kiểm toán và hành chính khác trong doanh nghiệp.

Hướng phát triển

  • Tối ưu hóa kiến trúc mô hình nhằm giảm bớt yêu cầu phần cứng và rút ngắn thời gian xử lý khi triển khai thực tế.
  • Nâng cao độ chính xác của khâu tiền xử lý và trích xuất cấu trúc văn bản từ các bảng biểu phức tạp.
  • Mở rộng tập dữ liệu sang nhiều thể loại tài liệu hành chính, thương mại và pháp lý khác nhau để nâng cao tính tổng quát của hệ thống.

Giá trị tham khảo

Báo cáo khóa luận là tài liệu tham khảo có giá trị chuyên môn đối với sinh viên, học viên cao học và các nhóm nghiên cứu thuộc các ngành Khoa học Máy tính, Kỹ thuật Phần mềm, Trí tuệ Nhân tạo và Công nghệ Thông tin:

  • Tham khảo về phương pháp luận và kỹ thuật: Tài liệu cung cấp phần tổng hợp lý thuyết sâu sắc và trực quan về cơ chế Transformer, Multi-Head Attention, Positional Encoding, cũng như cách thức tích hợp đặc trưng đa phương thức trong mô hình LayoutLM.
  • Tham khảo về quy trình thực nghiệm: Các phân tích so sánh đối chuẩn (benchmark) giữa mạng CNN truyền thống (VGG16, ResNet50), Transformer trong thị giác (ViT), NLP (BERT) và mô hình đa phương thức (LayoutLM) là nguồn tư liệu thực tế cho những ai đang thực hiện đề tài về Document AI (Trí tuệ nhân tạo cho tài liệu).
  • Tham khảo về kỹ thuật xử lý dữ liệu tiếng Việt: Cung cấp giải pháp mẫu trong việc ứng dụng thư viện VietOCR kết hợp bóc tách đặc trưng bố cục để xử lý văn bản tiếng Việt có cấu trúc phức tạp.

Câu hỏi thường gặp

1. Bộ dữ liệu báo cáo tài chính trong khóa luận có quy mô và cấu trúc như thế nào?

Bộ dữ liệu do tác giả tự thu thập và xây dựng bao gồm 7 lớp tài liệu báo cáo tài chính ngân hàng bằng tiếng Việt được công bố công khai trên Internet. Mỗi lớp tài liệu chứa chính xác 1.000 hình ảnh, tạo thành tập dữ liệu hoàn chỉnh có quy mô 7.000 hình ảnh phục vụ việc huấn luyện và kiểm thử mô hình.

2. Mô hình nào đạt hiệu năng phân loại cao nhất và kết quả định lượng cụ thể là bao nhiêu?

Mô hình đạt hiệu năng cao nhất là LayoutLM thuộc hướng tiếp cận đa phương thức, đạt chỉ số F1-score là 0.9807 (độ chính xác đạt xấp xỉ 98%), vượt trội hoàn toàn so với mô hình BERT (0.8126) và các mô hình dựa trên đặc trưng hình ảnh như Vision Transformer (0.7627), VaTF-ResNet50 (0.5972) và VaTF-VGG16 (0.4579).

3. Tại sao các mô hình thị giác thuần túy (như VGG16, ResNet50) lại đạt kết quả thấp trên tập dữ liệu này?

Các mô hình CNN thuần túy phân loại dựa trên đặc trưng hình ảnh không gian. Do các trang báo cáo tài chính ngân hàng có mức độ tương đồng hình thức rất cao (hầu hết đều có định dạng nền trắng, chữ đen, canh lề và bố cục bảng biểu tương tự nhau giữa các lớp), mô hình thị giác không thể trích xuất được các đặc trưng mang tính phân biệt nếu không đọc được ngữ nghĩa văn bản.

4. Vì sao mô hình BERT thuần ngôn ngữ gặp khó khăn khi phân loại văn bản dạng bảng biểu?

Khi xử lý tài liệu có bảng biểu, công đoạn OCR bóc tách văn bản thô thường quét từ trái sang phải và từ trên xuống dưới, làm phá vỡ cấu trúc dạng cột của bảng. Điều này dẫn đến việc chuỗi văn bản đầu vào bị xáo trộn thứ tự từ ngữ, làm biến dạng ngữ nghĩa ngữ cảnh mà mô hình BERT cần dựa vào để phân loại.

5. Khóa luận sử dụng công cụ nào để thực hiện nhận dạng ký tự quang học (OCR) cho văn bản tiếng Việt?

Khóa luận sử dụng công cụ VietOCR để trích xuất ký tự văn bản tiếng Việt từ hình ảnh tài liệu, trong đó tác giả nghiên cứu hai kiến trúc nền tảng của VietOCR là TransformerOCR và AttentionOCR.

Kết luận

Khóa luận tốt nghiệp của tác giả Nguyễn Quang Hiếu đã giải quyết trọn vẹn bài toán phân loại hình ảnh văn bản báo cáo tài chính ngân hàng tiếng Việt thông qua việc xây dựng tập dữ liệu chuẩn hóa gồm 7.000 mẫu ảnh thuộc 7 lớp tài liệu. Công trình đã đối sánh toàn diện các hướng tiếp cận học sâu tiêu biểu, chứng minh sự vượt trội của mô hình đa phương thức LayoutLM khi tích hợp đồng thời văn bản, hình ảnh và tọa độ bố cục không gian với F1-score đạt 0.9807. Toàn bộ giải pháp nghiên cứu đã được hiện thực hóa thành công dưới dạng một ứng dụng phần mềm có giao diện website hỗ trợ phân loại tự động văn bản tài chính.