Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh nền kinh tế và hoạt động thương mại phát triển, việc thu thập và phân tích dữ liệu mua sắm của khách hàng đóng vai trò quan trọng đối với các doanh nghiệp nhằm nghiên cứu hành vi người tiêu dùng, tối ưu hóa hoạt động marketing, lưu trữ và tìm kiếm dữ liệu. Nguồn dữ liệu từ hóa đơn bán lẻ tại các cửa hàng, siêu thị, trung tâm thương mại là nguồn thông tin trực tiếp và phong phú. Tuy nhiên, quy trình xử lý hóa đơn truyền thống phụ thuộc chủ yếu vào việc nhập liệu thủ công của con người, gây tốn kém lớn về thời gian và chi phí vận hành.

Trên thế giới, một số ứng dụng trích xuất thông tin hóa đơn tích điểm đã được triển khai thương mại như Ibotta, Receipt Hog, Fetch Reward. Tại Việt Nam, ứng dụng Reward+ (phục vụ khách hàng tại hệ thống trung tâm thương mại Estella Place và Saigon Centre) cho phép người dùng chụp ảnh hóa đơn để tích điểm, nhưng thời gian xử lý thủ công kéo dài lên tới 10 ngày kể từ khi gửi hóa đơn, ảnh hưởng tiêu cực đến trải nghiệm người dùng. Tại thời điểm nghiên cứu (năm 2020), chưa có ứng dụng công bố nào tại Việt Nam giải quyết được bài toán tự động trích xuất thông tin hóa đơn trong thời gian thực.

Nhằm giải quyết bài toán trên, khóa luận tốt nghiệp cử nhân ngành Khoa học Máy tính của tác giả Nguyễn Trung Bảo Anh và Vũ Lê Hoàng Phúc (Trường Đại học Công nghệ Thông tin, Đại học Quốc gia TP. Hồ Chí Minh, dưới sự hướng dẫn của PGS. Lê Đình Duy) tập trung nghiên cứu và xây dựng hệ thống tự động trích xuất các trường thông tin quan trọng từ hình ảnh hóa đơn tiếng Việt.

Mục tiêu và nhiệm vụ nghiên cứu cụ thể bao gồm:

  1. Nghiên cứu tổng quan về bài toán trích xuất thông tin tự động từ hóa đơn và các phương pháp học sâu liên quan.
  2. Xây dựng mô hình tích hợp ba giai đoạn: Phát hiện văn bản (Text Localization/Detection), Nhận diện văn bản (Text Recognition) và Trích xuất thông tin chính (Key Information Extraction - KIE).
  3. Thu thập, tiền xử lý và gán nhãn bộ dữ liệu hóa đơn tiếng Việt thực tế mang tên UIT-ReceiptsInTheWild (UIT-RIW).
  4. Thiết kế, huấn luyện, thực nghiệm đánh giá các mô hình thành phần và toàn bộ đường ống (pipeline).
  5. Phát triển ứng dụng web minh họa (demo) có khả năng trích xuất thông tin hóa đơn tiếng Việt tự động.

Hệ thống tập trung trích xuất 4 trường thực thể mục tiêu từ hình ảnh hóa đơn:

  • company: Tên công ty hoặc tên cửa hàng/đơn vị phát hành hóa đơn.
  • address: Địa chỉ của công ty hoặc chi nhánh cửa hàng.
  • date: Thời gian, ngày tháng in hóa đơn hoặc thực hiện giao dịch.
  • total: Tổng số tiền thanh toán của hóa đơn.

Đối tượng nghiên cứu là các hình ảnh hóa đơn mua sắm chụp trong điều kiện môi trường thực tế tại Việt Nam (in the wild). Phạm vi dữ liệu gồm 514 hình ảnh hóa đơn tiếng Việt với các đặc điểm phức tạp: hóa đơn bị nhàu, chất lượng ảnh mờ, ánh sáng không đồng đều, chữ in bị nghiêng/cong, phông chữ đa dạng và nền lẫn tạp âm hình ảnh.

Cơ sở lý thuyết và phương pháp

Khóa luận tiếp cận bài toán trích xuất thông tin hóa đơn tự động dưới dạng một hệ thống đường ống (pipeline) nối tiếp gồm ba giai đoạn xử lý chính, kết hợp các kiến trúc học sâu:

Giai đoạn Mô hình / Công nghệ sử dụng Kiến trúc / Kỹ thuật chính
1. Phát hiện văn bản (Text Detection) CRAFT (Character Region Awareness for Text Detection) Mạng tích chập hoàn toàn (FCN) với xương sống (backbone) VGG-16 Batch Normalization, kiến trúc giải mã kiểu U-Net, tạo bản đồ Region Score và Affinity Score.
2. Nhận diện văn bản (Text Recognition) VietOCR / TransformerOCR Kiến trúc Transformer gồm khối Encoder - Decoder, cơ chế Multi-Head Scaled Dot-Product Attention và kỹ thuật mã hóa vị trí Positional Encoding.
3. Trích xuất thông tin (Key Information Extraction) PICK (Processing Key Information Extraction using Improved Graph Learning-Convolutional Networks) Nhúng đa phương thức (Multimodal: Transformer mã hóa văn bản + CNN ResNet-50 mã hóa hình ảnh), khối học cấu trúc đồ thị thích ứng (Graph Learning), tích chập đồ thị (Graph Convolution), giải mã chuỗi với BiLSTM và CRF.

Phương pháp nghiên cứu thực nghiệm được triển khai theo các quy trình:

  • Phương pháp phát hiện văn bản CRAFT: Huấn luyện dựa trên cơ chế giám sát yếu (weakly-supervised learning) để phân tách nhãn từ mức từ (word-level) thành các vùng ký tự (character-level) thông qua thuật toán watershed. Mô hình đưa ra hai bản đồ điểm số dạng nhiệt (heatmap): Region score biểu thị xác suất pixel nằm ở tâm ký tự, và Affinity score biểu thị liên kết không gian giữa hai ký tự liền kề. Kỹ thuật tạo đa giác văn bản (polygon generation) được áp dụng để bao bọc các chuỗi ký tự cong và đa hướng.
  • Phương pháp nhận diện văn bản VietOCR: Ứng dụng mô hình mạng Transformer nhằm khắc phục hạn chế tính toán tuần tự của RNN/LSTM. Cơ chế Multi-Head Attention cho phép mô hình học các trọng số tương quan ngữ cảnh ở nhiều không gian biểu diễn khác nhau. Hàm mã hóa vị trí Positional Encoding theo hàm lượng giác sóng sin/cosin được cộng trực tiếp vào vector nhúng để duy trì thứ tự từ mà không cần cấu trúc hồi quy.
  • Phương pháp trích xuất thông tin PICK: Biểu diễn tài liệu dưới dạng một đồ thị động $G = (V, R, E)$. Mỗi đoạn văn bản tạo thành một nút (node) mang vector đặc trưng kết hợp $X = TE + IE$, trong đó $TE$ là vector nhúng văn bản (text embedding) từ Transformer và $IE$ là vector nhúng phân đoạn hình ảnh (image embedding) từ ResNet-50. Khối Graph Learning học ma trận kề thích ứng $A$ có ràng buộc chính quy hóa chuẩn Frobenius (Frobenius-Norm) để loại bỏ các liên kết nhiễu. Khối Graph Convolution cập nhật thông tin nút dựa trên bộ ba nút - cạnh - nút kết hợp khoảng cách tọa độ và tỷ lệ độ dài chuỗi ký tự. Cuối cùng, tầng phân loại chuỗi BiLSTM - CRF gán nhãn thực thể theo định dạng IOB (Inside, Outside, Beginning).

Nguồn dữ liệu thực nghiệm bao gồm:

  1. Tập dữ liệu tự xây dựng UIT-ReceiptsInTheWild (UIT-RIW) gồm 514 ảnh hóa đơn tiếng Việt được gán nhãn chi tiết cho cả 3 tác vụ: hộp giới hạn văn bản, chuỗi ký tự thực tế và 4 lớp thực thể thông tin.
  2. Tập dữ liệu đối chuẩn quốc tế SROIE (Scanned Receipts OCR and Information Extraction) phục vụ tham chiếu và so sánh phương pháp.

Hệ thống chỉ số đánh giá định lượng sử dụng trong khóa luận gồm:

  • Mean Entity Accuracy (mEA)
  • Mean Entity Precision (mEP), Mean Entity Recall (mER), Mean Entity F-measure (mEF)
  • Character Error Rate (CER) và Word Error Rate (WER)

Thiết kế và triển khai hệ thống

Khóa luận xây dựng một hệ thống xử lý hoàn chỉnh từ ảnh chụp đầu vào đến cấu trúc dữ liệu đầu ra và đóng gói thành ứng dụng web giao diện người dùng.

[Hình ảnh hóa đơn] 
[Giao diện Web Gradio]

Chi tiết triển khai kỹ thuật của hệ thống:

  1. Tiền xử lý và Nhận diện:
    • Hình ảnh hóa đơn đầu vào được đưa qua mô hình CRAFT đã tiền huấn luyện để xác định tọa độ các hộp giới hạn (bounding box) hoặc đa giác bao quanh từng dòng/từ.
    • Các vùng ảnh cắt nhỏ (cropped images) tương ứng với từng hộp văn bản được truyền vào mạng VietOCR để chuyển đổi thành văn bản tiếng Việt có dấu.
  2. Xử lý Đồ thị và Trích xuất Thực thể với PICK:
    • Mỗi vùng văn bản cùng hình ảnh cắt tương ứng được mã hóa song song qua Transformer Encoder và ResNet-50.
    • Ma trận kề $A$ của đồ thị được tối ưu hóa thông qua hàm mất mát $\mathcal{L}_{GL}$ có tham số phạt nhằm duy trì tính thưa và loại trừ các cạnh kết nối không quan trọng giữa các đoạn văn bản ở xa.
    • Tầng Union ghép nối biểu diễn nút với chuỗi đóng gói, sau đó mạng BiLSTM và CRF phân lớp từng từ thành các nhãn thực thể tương ứng (B-company, I-company, B-address, I-address, B-date, I-date, B-total, I-total, O).
  3. Triển khai ứng dụng Web:
    • Ứng dụng minh họa được phát triển bằng thư viện mã nguồn mở Gradio trên nền tảng Python.
    • Giao diện cung cấp khung tải ảnh hóa đơn từ máy tính hoặc chụp trực tiếp, nút kích hoạt tiến trình trích xuất và bảng hiển thị kết quả thời gian thực với các trường thông tin được phân tách rõ ràng.

Nội dung chính theo từng chương

Chương 1: Giới thiệu

Chương 1 thiết lập bài toán trích xuất hóa đơn tự động trong bối cảnh chuyển đổi số của các doanh nghiệp bán lẻ. Tác giả chỉ rõ các thách thức kỹ thuật cốt lõi: sự suy giảm chất lượng quang học của hóa đơn thực tế (nhăn, mờ, độ sáng không đều), sự phức tạp của văn bản tiếng Việt có dấu với hướng chữ cong/nghiêng, và hiện tượng lỗi lan truyền giữa các giai đoạn (cascaded error). Về mặt dữ liệu, thách thức lớn nhất là sự thiếu hụt hoàn toàn các tập dữ liệu hóa đơn tiếng Việt công khai. Chương này cũng trình bày mục tiêu, cấu trúc 6 chương và đóng góp chính của khóa luận.

Chương 2: Công trình liên quan và Kiến thức cơ bản

Chương 2 cung cấp bức tranh tổng quan và phân tích chuyên sâu về lý thuyết của 3 bài toán thành phần:

  • Phát hiện văn bản: Phân tích sự tiến hóa từ phương pháp học máy cổ điển (cửa sổ trượt, thành phần kết nối kết hợp HOG, SIFT, SVM, Random Forest) đến các phương pháp học sâu (hồi quy hộp giới hạn như YOLO, Faster R-CNN, SSD; phân đoạn ngữ nghĩa như FCN; và phương pháp tiếp cận lai). Đi sâu vào chi tiết cấu trúc mô hình CRAFT, nguyên lý tạo nhãn giả thông qua watershed và thuật toán tạo đa giác bao phủ chữ cong.
  • Nhận diện văn bản: Đánh giá các kiến trúc OCR từ truyền thống đến học sâu (CRNN, STN-ResNet-Attn). Giới thiệu chi tiết kiến trúc mạng Transformer và mô hình VietOCR, làm rõ công thức toán học của Scaled Dot-Product Attention, cơ chế che mặt nạ (Masked Attention) trong Decoder và công thức mã hóa vị trí Positional Encoding.
  • Trích xuất thông tin: So sánh ba nhánh tiếp cận: dựa trên khuôn mẫu (Template-based), dựa trên xử lý ngôn ngữ tự nhiên (NLP/NER), và dựa trên mạng tích chập đồ thị (Graph Convolutional Network - GCN). Trình bày chi tiết toán học của mô hình PICK: kiến trúc Encoder đa phương thức, cơ chế học ma trận kề $A$ trong Graph Learning, phương trình lan truyền tích chập trên bộ ba nút-cạnh-nút, và tầng giải mã chuỗi BiLSTM - CRF.

Chương 3: Xây dựng bộ hóa đơn Tiếng Việt

Chương 3 trình bày quy trình xây dựng bộ dữ liệu UIT-ReceiptsInTheWild (UIT-RIW) gồm 514 ảnh hóa đơn thu thập từ các cửa hàng, quán cà phê, nhà hàng và siêu thị tại Việt Nam. Tác giả mô tả chi tiết quy trình chuẩn hóa dữ liệu, công cụ gán nhãn, định dạng lưu trữ dữ liệu ground-truth (phục vụ đồng thời cho 3 bài toán: tọa độ hộp văn bản, nội dung ký tự tiếng Việt và nhãn thực thể mục tiêu).

Chương 4: Thực nghiệm

Chương 4 tập trung vào việc cài đặt thực nghiệm, kiểm thử và phân tích kết quả định lượng:

  • Trình bày các bộ dữ liệu thực nghiệm (UIT-RIW, SROIE) và các công thức độ đo (mEA, mEP, mER, mEF, CER, WER).
  • Thực nghiệm so sánh hiệu năng phát hiện văn bản của CRAFT với các phương pháp khác.
  • Thực nghiệm nhận diện văn bản: so sánh mô hình mã nguồn mở Tesseract OCR với TransformerOCR (VietOCR) trên bộ dữ liệu nghiên cứu; đánh giá mức độ cải thiện khi áp dụng kỹ thuật tinh chỉnh (fine-tuning) kết hợp tăng cường dữ liệu (Data Augmentation) trên UIT-RIW.
  • Thực nghiệm các biến thể của mô hình PICK (đánh giá vai trò của module Graph Learning, sự kết hợp đặc trưng hình ảnh và đặc trưng văn bản).
  • Đánh giá và so sánh kết quả trên toàn bộ đường ống tích hợp (end-to-end pipeline) so với các mô hình đường cơ sở (baseline).

Chương 5: Ứng dụng minh họa

Chương 5 mô tả chi tiết việc xây dựng chương trình ứng dụng minh họa. Tác giả giới thiệu thư viện Gradio, cách cài đặt môi trường, quy trình tích hợp các mô hình đã huấn luyện vào mã nguồn ứng dụng web, phân tích luồng xử lý dữ liệu từ giao diện đến hệ thống suy luận (inference) và hiển thị kết quả kiểm thử trên các mẫu hóa đơn thực tế.

Chương 6: Kết luận

Chương 6 tổng kết các kết quả đạt được, chỉ ra những hạn chế còn tồn tại của hệ thống và đề xuất các định hướng nghiên cứu mở rộng trong tương lai.

Kết quả và đóng góp

Khóa luận đạt được các kết quả và đóng góp cụ thể sau:

  1. Bộ dữ liệu chuẩn hóa: Xây dựng thành công bộ dữ liệu hình ảnh hóa đơn tiếng Việt UIT-ReceiptsInTheWild (UIT-RIW) với 514 mẫu hóa đơn thực tế, được gán nhãn đầy đủ cho 3 tác vụ nghiên cứu trong bài toán Document AI tại Việt Nam.
  2. Mô hình đường ống hoàn chỉnh: Tích hợp thành công chuỗi mô hình học sâu kết hợp CRAFT (phát hiện văn bản), VietOCR (nhận diện ký tự tiếng Việt trên nền Transformer) và PICK (trích xuất thông tin dựa trên mạng đồ thị đa phương thức).
  3. Đánh giá thực nghiệm chi tiết: Khóa luận chứng minh việc fine-tuning VietOCR với kỹ thuật tăng cường dữ liệu mang lại sự sụt giảm đáng kể tỷ lệ lỗi ký tự (CER) và tỷ lệ lỗi từ (WER) so với Tesseract OCR truyền thống; đồng thời mô hình PICK với cơ chế Graph Learning tự động tối ưu cấu trúc đồ thị mang lại hiệu năng trích xuất thực thể vượt trội so với các phương pháp thuần NLP hoặc đồ thị kết nối cố định.
  4. Sản phẩm ứng dụng: Phát triển hoàn chỉnh chương trình ứng dụng web demo bằng thư viện Gradio, chứng minh tính khả thi của việc tự động hóa trích xuất dữ liệu hóa đơn tiếng Việt thay thế cho quy trình nhập liệu thủ công.

Hạn chế và hướng nghiên cứu tiếp

Dựa trên các phân tích trong văn bản khóa luận, các hạn chế và hướng phát triển được xác định:

  • Hạn chế:

    • Quy mô bộ dữ liệu UIT-ReceiptsInTheWild còn khiêm tốn (khoảng 514 ảnh), chưa bao phủ toàn bộ các dạng hóa đơn, phông chữ và tình trạng hư hỏng vật lý phức tạp trong thực tế.
    • Hiện tượng tích lũy sai số giữa các giai đoạn (cascaded error): nếu mô hình CRAFT bỏ sót vùng văn bản hoặc VietOCR nhận diện sai ký tự, kết quả trích xuất của mô hình PICK ở giai đoạn sau sẽ bị suy giảm trực tiếp.
    • Tốc độ xử lý của toàn bộ hệ sinh thái pipeline khi kết hợp 3 mô hình học sâu kích thước lớn (VGG-16, Transformer, ResNet-50, BiLSTM-CRF) đòi hỏi tài nguyên tính toán đáng kể.

  • Hướng phát triển tiếp theo:

    • Mở rộng quy mô và tính đa dạng của bộ dữ liệu hóa đơn tiếng Việt UIT-RIW về số lượng mẫu và chủng loại hóa đơn bán lẻ.
    • Nghiên cứu các kiến trúc mô hình học sâu tích hợp đầu-cuối (End-to-End) để giảm thiểu sai số lan truyền giữa các khâu phát hiện, nhận diện và trích xuất.
    • Tối ưu hóa kích thước mô hình và tốc độ suy luận nhằm triển khai hiệu quả trên các thiết bị di động hoặc máy chủ tài nguyên hạn chế.

Giá trị tham khảo

Khóa luận tốt nghiệp này là tài liệu tham khảo chuyên khảo dành cho:

  • Sinh viên và nhà nghiên cứu chuyên ngành Khoa học Máy tính, Trí tuệ Nhân tạo, Thị giác Máy tính và Xử lý Ngôn ngữ Tự nhiên đang thực hiện các đề tài liên quan đến Document AI, Visual Information Extraction và Optical Character Recognition cho tiếng Việt.
  • Kỹ sư phần mềm và phát triển hệ thống: Cung cấp tài liệu tham khảo về kiến trúc đường ống tích hợp nhiều mô hình học sâu, quy trình tiền xử lý dữ liệu đồ thị từ tài liệu trực quan (Visually Rich Documents) và phương pháp xây dựng giao diện thử nghiệm nhanh bằng Gradio.
  • Phần có giá trị tham khảo cao:
    • Nội dung phân tích toán học và cơ chế lan truyền đặc trưng của mô hình PICK tại Chương 2.
    • Quy trình xây dựng, cấu trúc dữ liệu và phương pháp gán nhãn bộ dữ liệu hóa đơn tiếng Việt tại Chương 3.
    • Thiết kế thực nghiệm và các bảng so sánh đánh giá định lượng tại Chương 4.

Câu hỏi thường gặp

Khóa luận giải quyết việc trích xuất những trường thông tin cụ thể nào từ hóa đơn?
Khóa luận định nghĩa và tập trung trích xuất 4 trường thực thể quan trọng trên hóa đơn mua sắm gồm: tên công ty/cửa hàng (company), địa chỉ (address), thời gian/ngày lập hóa đơn (date), và tổng số tiền thanh toán (total).

Tại sao tác giả lại lựa chọn mô hình CRAFT cho bài toán phát hiện văn bản?
Mô hình CRAFT có khả năng nhận biết vùng ký tự độc lập và mối liên kết giữa các ký tự thông qua hai bản đồ nhiệt Region score và Affinity score, hỗ trợ tạo đa giác bao phủ các dòng văn bản có hình dạng tùy ý (cong, nghiêng) mà không bị giới hạn bởi các khung chữ nhật ngang như các phương pháp truyền thống.

Mô hình PICK tiếp nhận và kết hợp những dạng thông tin nào để phân loại thực thể?
PICK là mô hình đa phương thức (multimodal), tiếp nhận đồng thời đặc trưng văn bản (text embeddings trích xuất từ Transformer Encoder) và đặc trưng hình ảnh trực quan (image embeddings trích xuất từ mạng CNN ResNet-50), kết hợp với mối quan hệ không gian tọa độ và tỷ lệ độ dài chuỗi giữa các nút trên đồ thị.

Bộ dữ liệu UIT-ReceiptsInTheWild do nhóm tác giả xây dựng có quy mô bao nhiêu?
Bộ dữ liệu gồm 514 hình ảnh hóa đơn tiếng Việt thu thập trong môi trường thực tế tại các cửa hàng ở Việt Nam, được gán nhãn ground-truth đa tác vụ để phục vụ cho cả ba bài toán: Text Detection, Text Recognition và Key Information Extraction.

Giao diện thử nghiệm của đề tài được triển khai bằng công cụ nào?
Chương trình minh họa của khóa luận được xây dựng dưới dạng ứng dụng web thông qua thư viện Gradio bằng ngôn ngữ Python, cho phép tải ảnh hóa đơn và quan sát kết quả trích xuất tự động theo thời gian thực.

Kết luận

Khóa luận tốt nghiệp của tác giả Nguyễn Trung Bảo Anh và Vũ Lê Hoàng Phúc đã nghiên cứu và giải quyết bài toán tự động trích xuất thông tin hóa đơn tiếng Việt thông qua đường ống kết hợp ba mô hình học sâu CRAFT, VietOCR và PICK. Đề tài đã đóng góp bộ ngữ liệu thực tế UIT-ReceiptsInTheWild gồm 514 ảnh hóa đơn được gán nhãn đa tác vụ, đồng thời kiểm chứng tính hiệu quả của phương pháp đồ thị đa phương thức trong việc trích xuất 4 thực thể thông tin cốt lõi. Hệ thống được hiện thực hóa thông qua ứng dụng web minh họa sử dụng thư viện Gradio, đặt nền tảng cho việc tự động hóa xử lý chứng từ hóa đơn trong các ứng dụng chuyển đổi số và quản trị doanh nghiệp tại Việt Nam.