Đồ Án Tốt Nghiệp: Mô Hình Trích Xuất Thông Tin Hóa Đơn Dựa Trên Học Sâu

Mô hình trích xuất thông tin hóa đơn dựa trên học sâu đang trở thành một xu hướng quan trọng trong lĩnh… 80 trang · Trường Đại Học Giao Thông Vận Tải · 2023.

• Tác giả: Nguyễn Trung Tài
• Người hướng dẫn: TS. Hoàng Văn Thông
• Trường học: Trường Đại Học Giao Thông Vận Tải
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Mô Hình Trích Xuất Thông Tin Hóa Đơn Dựa Trên Học Sâu
• Loại tài liệu: Đồ án tốt nghiệp
• Năm xuất bản: 2023
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: GIỚI THIỆU BÀI TOÁN NHẬN DẠNG KÝ TỰ QUANG HỌC
• 1.1. Giới thiệu bài toán nhận dạng ký tự quang học
• 1.2. Lịch sử OCR
• 1.3. Một số ứng dụng của OCR
• 1.4. Chương trình OCR
• 2. CHƯƠNG 2: MẠNG NƠ-RON NHÂN TẠO VÀ CÁC CÔNG NGHỆ TRONG GIẢI QUYẾT BÀI TOÁN OCR
• 2.1. Mạng nơ ron nhân tạo
• 2.1.1. Kiến trúc mạng neuron
• 2.1.2. Mạng neuron tích chập - CNN
• 2.1.3. Mạng neuron hồi quy – RNN
• 2.1.4. Một số cấu trúc mạng CNN hiện nay
• 2.1.5. Một số cơ chế quan trọng
• 2.2. Các công nghệ giải quyết bài toán OCR
• 2.2.1. Các bài toán con của OCR
• 2.2.1.1. Bài toán phát hiện chữ - Text detection
• 2.2.1.2. Bài toán nhận diện chữ - Text recognition
• 2.2.2. Các mô hình phát hiện chữ - Text detection
• 2.2.2.1. Các phương pháp cổ điển
• 2.2.2.2. Text detection dựa trên Object Detection
• 2.2.2.3. Text detection dựa trên các thành phần của chữ (Sub-Text Components)
• 2.2.3. Các mô hình nhận diện chữ - Text recognition
• 2.2.3.1. Các phương pháp cổ điển
• 2.2.3.2. Mô hình tổng quan của text recognition áp dụng trong học sâu
• 2.2.3.3. Text recognition dựa trên CTC
• 2.2.3.4. Text recognition dựa trên Attention
• 3. CHƯƠNG 3: CƠ SỞ LÝ THUYẾT CHO BÀI TOÁN TRÍCH XUẤT THÔNG TIN TRONG VĂN BẢN TỪ ẢNH
• 3.1. Bài toán trích xuất thông tin trong văn bản từ ảnh
• 3.2. Một số lý thuyết đồ thị cơ bản
• 3.3. Một số bài toán khi sử dụng Graph Convolutional Network
• 3.4. Graph Convolutional Network trong bài toán trích xuất thông tin trong hóa đơn
• 4. CHƯƠNG 4: KẾT LUẬN
• DANH MỤC TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về mô hình trích xuất thông tin hóa đơn dựa trên học sâu

Mô hình trích xuất thông tin hóa đơn dựa trên học sâu đang trở thành một xu hướng quan trọng trong lĩnh vực công nghệ thông tin. Công nghệ này không chỉ giúp tự động hóa quy trình nhập liệu mà còn nâng cao độ chính xác trong việc xử lý thông tin. Việc áp dụng các thuật toán học sâu vào trích xuất thông tin từ hóa đơn giúp tiết kiệm thời gian và giảm thiểu sai sót trong quá trình nhập liệu.

1.1. Khái niệm về trích xuất thông tin hóa đơn

Trích xuất thông tin hóa đơn là quá trình tự động nhận diện và thu thập dữ liệu từ hóa đơn. Công nghệ này sử dụng các thuật toán học sâu để phân tích và nhận diện các trường thông tin quan trọng như mã số hóa đơn, ngày tháng, và thông tin bên mua.

1.2. Lợi ích của việc sử dụng học sâu trong trích xuất thông tin

Việc áp dụng học sâu trong trích xuất thông tin hóa đơn mang lại nhiều lợi ích như tăng tốc độ xử lý, giảm thiểu sai sót và tối ưu hóa quy trình làm việc. Đặc biệt, công nghệ này giúp doanh nghiệp tiết kiệm chi phí và thời gian.

II. Thách thức trong việc trích xuất thông tin hóa đơn

Mặc dù công nghệ trích xuất thông tin hóa đơn dựa trên học sâu mang lại nhiều lợi ích, nhưng vẫn tồn tại một số thách thức cần được giải quyết. Các vấn đề như độ chính xác của mô hình, khả năng nhận diện các định dạng hóa đơn khác nhau và xử lý ngôn ngữ tự nhiên là những thách thức lớn.

2.1. Độ chính xác của mô hình học sâu

Độ chính xác của mô hình học sâu trong việc trích xuất thông tin hóa đơn phụ thuộc vào chất lượng dữ liệu đầu vào và thuật toán được sử dụng. Việc cải thiện độ chính xác là một trong những thách thức lớn nhất trong lĩnh vực này.

2.2. Khả năng nhận diện định dạng hóa đơn đa dạng

Hóa đơn có thể có nhiều định dạng khác nhau, từ hóa đơn điện tử đến hóa đơn giấy. Việc phát triển một mô hình có khả năng nhận diện và xử lý tất cả các định dạng này là một thách thức không nhỏ.

III. Phương pháp trích xuất thông tin hóa đơn hiệu quả

Để giải quyết các thách thức trong việc trích xuất thông tin hóa đơn, nhiều phương pháp học sâu đã được phát triển. Các mô hình như mạng nơ-ron tích chập (CNN) và mạng nơ-ron hồi quy (RNN) đã chứng minh được hiệu quả trong việc nhận diện và phân tích dữ liệu từ hóa đơn.

3.1. Mạng nơ ron tích chập CNN trong trích xuất thông tin

Mạng nơ-ron tích chập (CNN) là một trong những phương pháp phổ biến nhất trong việc nhận diện hình ảnh. CNN có khả năng phát hiện các đặc trưng quan trọng trong hình ảnh hóa đơn, từ đó giúp trích xuất thông tin một cách chính xác.

3.2. Mạng nơ ron hồi quy RNN cho xử lý chuỗi dữ liệu

Mạng nơ-ron hồi quy (RNN) rất hiệu quả trong việc xử lý chuỗi dữ liệu, như văn bản trong hóa đơn. RNN có khả năng ghi nhớ thông tin từ các bước trước đó, giúp cải thiện độ chính xác trong việc trích xuất thông tin.

IV. Ứng dụng thực tiễn của mô hình trích xuất thông tin hóa đơn

Mô hình trích xuất thông tin hóa đơn dựa trên học sâu đã được áp dụng rộng rãi trong nhiều lĩnh vực, từ tài chính đến thương mại điện tử. Các doanh nghiệp đang ngày càng nhận ra giá trị của việc tự động hóa quy trình xử lý hóa đơn.

4.1. Ứng dụng trong ngành tài chính

Trong ngành tài chính, việc trích xuất thông tin hóa đơn giúp tự động hóa quy trình thanh toán và quản lý tài chính. Điều này không chỉ tiết kiệm thời gian mà còn giảm thiểu sai sót trong quá trình nhập liệu.

4.2. Ứng dụng trong thương mại điện tử

Trong thương mại điện tử, mô hình trích xuất thông tin hóa đơn giúp cải thiện trải nghiệm khách hàng bằng cách tự động hóa quy trình xác nhận đơn hàng và thanh toán, từ đó nâng cao hiệu quả kinh doanh.

V. Kết luận và tương lai của mô hình trích xuất thông tin hóa đơn

Mô hình trích xuất thông tin hóa đơn dựa trên học sâu đang mở ra nhiều cơ hội mới cho các doanh nghiệp. Tương lai của công nghệ này hứa hẹn sẽ mang lại nhiều cải tiến trong quy trình xử lý thông tin và nâng cao hiệu quả làm việc.

5.1. Xu hướng phát triển công nghệ

Công nghệ học sâu đang phát triển nhanh chóng, với nhiều nghiên cứu mới được công bố. Xu hướng này sẽ tiếp tục thúc đẩy sự phát triển của mô hình trích xuất thông tin hóa đơn trong tương lai.

5.2. Tác động đến ngành công nghiệp

Mô hình trích xuất thông tin hóa đơn sẽ có tác động lớn đến nhiều ngành công nghiệp, từ tài chính đến logistics. Sự tự động hóa này sẽ giúp các doanh nghiệp tiết kiệm chi phí và nâng cao hiệu quả hoạt động.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong hoạt động quản trị và vận hành doanh nghiệp, hóa đơn là loại chứng từ quan trọng chứa đựng nhiều dữ liệu nghiệp vụ cốt lõi như mã số thuế, mã hóa đơn, ngày phát hành, thông tin đơn vị mua - bán, các khoản thuế và tổng chi phí thanh toán. Tuy nhiên, việc xử lý hóa đơn theo phương thức thủ công đối mặt với nhiều rào cản thực tiễn:

• Thao tác nhập liệu bàn phím tiêu tốn nhiều thời gian và công sức của nhân viên kế toán, làm gián đoạn tính liên tục của chuỗi quy trình vận hành.
• Tỷ lệ lỗi phát sinh trong quá trình nhập số liệu thủ công có thể lên tới 20%, tiềm ẩn nguy cơ sai lệch số liệu tài chính, trùng lặp hóa đơn và gây cản trở cho công tác thanh quyết toán, phê duyệt.
• Phương thức lưu trữ hồ sơ giấy tờ truyền thống đòi hỏi không gian kho lưu trữ cồng kềnh, chi phí bảo quản lớn và tiềm ẩn nguy cơ mất mát thông tin hoặc lộ lọt dữ liệu nội bộ.

Theo phân tích của tác giả, việc ứng dụng nhận dạng ký tự quang học (OCR) vào quy trình xử lý hóa đơn cho phép giảm thời gian xử lý xuống còn 3 đến 5 giây cho mỗi hóa đơn, đồng thời đạt độ chính xác xử lý lên tới 99%, tạo điều kiện số hóa toàn bộ tài liệu lên môi trường đám mây và tối ưu hóa chi phí vận hành.

Mục tiêu và nhiệm vụ nghiên cứu của đề tài được xác định thông qua việc giải quyết ba nội dung kỹ thuật độc lập trước khi tích hợp thành hệ thống hoàn chỉnh:

1. Nghiên cứu các giải pháp xử lý ảnh để định vị và phân tách chính xác các dòng chữ (Text Detection) trong tài liệu hóa đơn.
2. Nghiên cứu và áp dụng mô hình nhận dạng ký tự quang học phù hợp với ngôn ngữ tiếng Việt (Text Recognition).
3. Nghiên cứu mô hình phân loại và ánh xạ thông tin quan trọng từ văn bản tiếng Việt vào các trường dữ liệu định sẵn (Information Extraction).
4. Xây dựng một hệ thống hoàn chỉnh có giao diện ứng dụng web hỗ trợ người dùng cuối tương tác trực tiếp với dữ liệu hóa đơn.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Hóa đơn thanh toán bằng tiếng Việt dưới dạng bản scan hoặc hình ảnh chụp. Nghiên cứu cũng định hướng mở rộng sang các dạng văn bản có cấu trúc và bán cấu trúc tương tự (như căn cước công dân, bằng lái xe, giấy khai sinh, hóa đơn thuốc).
• Phạm vi nghiên cứu: Dữ liệu đầu vào giới hạn ở các tệp tin hình ảnh hoặc định dạng PDF có độ rõ ràng nhất định, nội dung hiển thị trong phạm vi một trang duy nhất, độ nghiêng của dòng chữ không vượt quá 10 độ. Hệ thống không trích xuất toàn bộ văn bản để tránh phát sinh nhiễu và làm chậm tốc độ xử lý, mà tập trung bóc tách 4 trường thông tin trọng yếu: người bán, thời gian, địa chỉ và tổng tiền.

Cơ sở lý thuyết và phương pháp

Khung lý thuyết nền tảng của đề tài bao gồm mạng nơ-ron nhân tạo và các kiến trúc học sâu chuyên dụng trong thị giác máy tính và xử lý ngôn ngữ tự nhiên:

• Mạng nơ-ron nhân tạo: Kiến trúc Perceptron đa tầng (Multilayer Perceptron - MLP), hàm mất mát (Cross-Entropy, Softmax, Euclidean, Hinge Loss), thuật toán tối ưu hóa suy giảm độ dốc (Gradient Descent, SGD, Batch, Mini-batch Gradient Descent).
• Mạng nơ-ron tích chập (CNN): Các tầng tích chập (Convolutional layer), tầng tổng hợp (Max pooling, Average pooling, Global average pooling, Sum pooling), tầng kết nối hoàn toàn (Fully connected layer), các hàm kích hoạt phi tuyến (Sigmoid, Tanh, ReLU, Softmax), cơ chế chuẩn hóa theo lô (Batch Normalization) và kỹ thuật loại trừ (Dropout).
• Mạng nơ-ron hồi quy (RNN): Mạng bộ nhớ dài-ngắn (LSTM) và mạng bộ nhớ dài-ngắn hai chiều (BiLSTM) nhằm nắm bắt ngữ cảnh chuỗi văn bản theo cả hai chiều xuôi và ngược.
• Kiến trúc mạng nơ-ron tích chập tiêu biểu:
  • AlexNet (2012): 5 tầng tích chập, 3 tầng kết nối hoàn toàn, 60 triệu tham số, tích hợp ReLU và Dropout.
  • VGG-16: 13 tầng tích chập, 3 tầng kết nối hoàn toàn, 138 triệu tham số, sử dụng bộ lọc nhỏ kích thước 3x3 thay cho các bộ lọc lớn 5x5 hay 11x11.
  • ResNet: Tận dụng các kết nối tắt (skip connection) trong khối đồng nhất (Identity block), cho phép huấn luyện mạng sâu lên tới 152 tầng mà không suy thoái độ dốc, quy mô 26 triệu tham số.
• Các cơ chế quan trọng trong xử lý ký tự:
  • Connectionist Temporal Classification (CTC): Cơ chế huấn luyện chuỗi từ đầu đến cuối không yêu cầu gán nhãn ở cấp độ từng ký tự riêng lẻ.
  • Cơ chế Sequence-to-Sequence (Seq2Seq) kết hợp Attention: Loại bỏ sự phụ thuộc khoảng cách giữa chuỗi đầu vào và đầu ra, giảm thiểu hiện tượng nghẽn cổ chai thông tin của mạng hồi quy truyền thống.
  • Thuật toán Non-Maximum Suppression (NMS) kết hợp độ đo Intersection over Union (IOU): Loại bỏ các khung nhận diện (bounding box) dư thừa quanh văn bản.
• Biểu diễn đồ thị và ngữ nghĩa:
  • Thuật toán nhúng từ Word2Vec với kiến trúc Skip-gram.
  • Mạng tích chập đồ thị (Graph Convolutional Network - GCN): Mô hình hóa các hộp văn bản (textbox) dưới dạng các nút trong không gian đồ thị và quan hệ không gian, ngữ nghĩa giữa chúng dưới dạng các cạnh để giải quyết bài toán phân loại nút (Node Classification).

Phương pháp nghiên cứu:

• Phương pháp phân tích - tổng hợp tài liệu học thuật: Khảo cứu các công trình công bố về Text Detection và Text Recognition trên thế giới và tại Việt Nam.
• Phương pháp thực nghiệm: Xây dựng đường ống xử lý nhiều giai đoạn (pipeline) từ tiền xử lý, định hướng ảnh, phát hiện vùng chữ, nhận dạng ký tự tiếng Việt đến phân loại trường thông tin bằng học sâu.
• Nguồn dữ liệu: Tập dữ liệu mẫu hóa đơn thanh toán tiếng Việt được thu thập, gán nhãn vị trí hộp văn bản và nhãn ngữ nghĩa tương ứng với 4 trường thông tin cần trích xuất.

Thiết kế và triển khai

Hệ thống trích xuất thông tin hóa đơn được thiết kế dưới dạng một luồng xử lý liên tục qua các module kỹ thuật:

Module chức năng	Công nghệ / Thuật toán sử dụng	Nhiệm vụ kỹ thuật
Định hướng và căn chỉnh ảnh	Mạng MobileNet	Dự đoán và thực hiện xoay ngược ảnh hóa đơn về đúng hướng chuẩn (Text-line Alignment).
Phát hiện vùng chữ (Text Detection)	Thuật toán DBNet	Xác định chính xác tọa độ các bounding box chứa chữ, dòng chữ xuất hiện trong tài liệu hóa đơn.
Nhận dạng ký tự (Text Recognition)	Thư viện VietOCR (kết hợp Transformer và AttentionOCR)	Chuyển đổi các ảnh dòng chữ cắt từ bước trước thành chuỗi ký tự tiếng Việt có đầy đủ dấu thanh.
Trích xuất thông tin (Information Extraction)	Mô hình PICK (dựa trên Graph Convolutional Network - GCN)	Nhúng từ ngữ (Word2Vec) kết hợp cấu trúc không gian đồ thị, thực hiện phân loại nút vào 4 trường: người bán, thời gian, địa chỉ, tổng tiền.
Giao diện người dùng	Ứng dụng nền tảng Website	Cung cấp giao diện trực quan cho phép người dùng tải ảnh hóa đơn lên và nhận kết quả trích xuất tự động.

Quy trình vận hành kỹ thuật trên hệ thống:

1. Tiếp nhận tệp tin hình ảnh hoặc tệp tin scan hóa đơn đầu vào.
2. Tiền xử lý nâng cao chất lượng ảnh, đưa về dạng ma trận điểm ảnh (pixel), cân bằng sáng tối và giảm độ mờ.
3. Sử dụng mô hình MobileNet để phát hiện góc quay và xoay hóa đơn về chiều thẳng đứng.
4. Triển khai mô hình DBNet để khoanh vùng và trích xuất tọa độ toàn bộ các khung văn bản trong ảnh.
5. Cắt ảnh theo từng hộp văn bản và đưa qua mô hình VietOCR nhằm giải mã nội dung văn bản tiếng Việt.
6. Biểu diễn các đoạn văn bản thành các nút trên đồ thị thông qua embedding vector, thiết lập liên kết không gian giữa các hộp văn bản và chạy mô hình GCN (PICK) để gán nhãn thực thể.
7. Ánh xạ các nhãn văn bản đã phân loại vào các trường thông tin mong muốn và hiển thị lên giao diện web.

Nội dung chính theo từng chương

Chương 1: Giới thiệu bài toán nhận dạng ký tự quang học

Chương này phác thảo lịch sử phát triển của công nghệ OCR từ giai đoạn máy quét võng mạc (1870 của C. Carey), máy đọc Goldberg (1914), thiết bị OCR thương mại tại Reader's Digest (1954), các bộ font chuẩn hóa OCR-A, OCR-B (1960 - 1970), máy đọc cho người khiếm thị của Ray Kurzweil (1976), đến giai đoạn Tesseract OCR thuộc sở hữu của Google (2006). Tác giả làm rõ luồng xử lý OCR tiêu chuẩn và quy trình 6 bước ứng dụng trong doanh nghiệp.

Chương 1 cũng cung cấp khảo sát toàn diện về các nghiên cứu liên quan đến hai bài toán con cốt lõi.

Khảo sát các công trình phát hiện chữ (Text Detection) công bố quốc tế:

Năm	Ngôn ngữ	Phương pháp sử dụng	Hạn chế ghi nhận
2001	Tiếng Trung, tiếng Anh	Bộ lọc cạnh, mô hình Gaussian Mixtures Color, phân tích bố cục, kết hợp OCR [1]	Độ chính xác thấp, chịu tác động mạnh bởi nhiễu.
2004	Tiếng Trung, tiếng Tây Ban Nha	Phân loại AdaBoost và mã hóa nhị phân [2]	Độ chính xác thấp, không phát hiện được chữ bé hoặc mờ.
2011	Tiếng Anh	Phân cụm K-means, bộ lọc Gaussian, bộ phân loại tuyến tính SVM [3]	Phức tạp, không phát hiện được chữ có kích thước nhỏ.
2012	Tiếng Anh	Phân cụm K-means, mạng CNN (2 lớp tích chập, 1 lớp kết nối đầy đủ) [4]	Phát hiện thiếu, bị giới hạn trong tập hợp chữ nhất định.
2015	Tiếng Anh, tiếng Hàn, tiếng Trung	Mạng CNN 2 lớp, bộ phân loại SVM [5]	Phát hiện sai lệch đối với văn bản đa hướng.
2018	Tiếng Anh, tiếng Trung	Phát hiện đối tượng sử dụng YOLOv3 [7]	Chỉ phát hiện từng ký tự đơn lẻ, không nhận diện được cả cụm chữ.
2019	Tiếng Anh	Phát hiện đối tượng sử dụng Faster R-CNN [6]	Chỉ dừng ở việc phát hiện từng ký tự riêng biệt.

Khảo sát các nghiên cứu nhận dạng ký tự tiếng Việt (Text Recognition):

Năm	Tên nghiên cứu / Mô hình	Phương pháp sử dụng	Nhận xét từ tác giả
2014	Vietnamese Handwriting Recognition [8]	Phân loại ký tự viết in hoa tiếng Việt có dấu từ ảnh ký tự rời	Chỉ nhận dạng từng ký tự riêng biệt, cần quá nhiều nhãn khi phân loại câu.
2015	Isolated Vietnamese Handwriting Recognition [9]	Cắt từng ký tự ra khỏi câu thông qua tiền xử lý	Yêu cầu số lượng nhãn phân loại quá lớn.
2017	Online Handwriting Database and Experiments [10]	Sử dụng mạng RNN để nhận dạng ký tự và dự đoán ký tự tiếp theo	Cho kết quả tốt nhưng đòi hỏi gán nhãn lượng dữ liệu mẫu rất lớn.
2018	ICFHR 2018 - Vietnamese Online Handwritten Text [11]	Mạng LSTM kết hợp CTC trên tập dữ liệu VNOnDB	Tỷ lệ lỗi chữ thấp, nhưng tỷ lệ lỗi theo dòng và đoạn văn còn cao.
2020	Robust Information Extraction for ID Cards [12]	Mô hình Attention-OCR trên căn cước công dân	Kết quả tốt trên dữ liệu rõ ràng, cấu trúc cố định và ít ký tự.
2020	VietOCR [13]	Mô hình Transformer kết hợp AttentionOCR	Tốc độ nhanh, độ chính xác cao cho cả chữ viết tay và chữ in tiếng Việt.

Chương 2: Mạng nơ-ron nhân tạo và các công nghệ trong giải quyết bài toán OCR

Chương 2 trình bày chi tiết nền tảng toán học và cấu trúc của các mô hình học sâu. Tác giả phân tích cơ chế lan truyền, hàm chi phí và các biến thể Gradient Descent, đồng thời phân tích sâu các tầng kiến trúc CNN, các hàm kích hoạt (ReLU, Tanh, Sigmoid, Softmax) và kỹ thuật điều hòa mạng (Batch Normalization, Dropout).

So sánh đặc tính kỹ thuật của các mô hình phát hiện chữ điển hình:

Tên mô hình	Loại kiến trúc	Khung nơ-ron nền tảng	Hình dạng khung nhận diện	Khả năng xử lý văn bản dài	Khả năng xử lý văn bản cong	Mức độ phát hiện
TextBoxes	Một giai đoạn (SSD)	VGG-16	Hình chữ nhật nằm ngang	Kém	Kém	Cấp độ từ
EAST	Một giai đoạn (U-Net)	PVANet	Hình chữ nhật xoay hoặc tứ giác	Kém	Kém	Cấp độ từ và dòng
LOMO	Hai giai đoạn (Mask R-CNN)	ResNet-50 kết hợp FPN	Đa giác	Tốt	Tốt	Cấp độ vùng
Adaptive Text Region	Hai giai đoạn (Faster R-CNN)	VGG-16 kết hợp RNN	Bất kỳ	Tốt	Tốt (10 fps)	Cấp độ vùng

Phần sau của chương đi sâu vào các phương pháp Sub-text Component (PixelLink, CTPN, SegLink, TextSnake) và cơ sở lý thuyết trích xuất thông tin bằng đồ thị. Mạng GCN giải quyết bài toán phân loại thực thể bằng cách thiết lập các ma trận kề biểu diễn mối liên kết vị trí không gian và thứ tự xuất hiện giữa các khung văn bản trong hóa đơn, kết hợp vector nhúng Skip-gram nhằm bảo toàn thông tin ngữ nghĩa.

Chương 3: Ứng dụng nhận dạng ký tự quang học trong trích xuất thông tin hóa đơn

Chương này tập trung vào việc áp dụng các mô hình học sâu đã lựa chọn vào dữ liệu thực nghiệm:

• Tiền xử lý dữ liệu: Sử dụng mạng MobileNet để xoay hóa đơn về góc thẳng, loại bỏ hiện tượng ảnh bị lộn ngược.
• Phát hiện chữ: Triển khai thuật toán DBNet để trích xuất hộp văn bản.
• Nhận dạng chữ: Ứng dụng VietOCR để chuyển ảnh văn bản thành chuỗi ký tự tiếng Việt.
• Bóc tách thực thể: Áp dụng mô hình PICK trên nền tảng mạng GCN để gán nhãn chính xác cho 4 trường thông tin: người bán, thời gian, địa chỉ và tổng tiền thanh toán.
• Xây dựng phần mềm ứng dụng: Thiết kế hoàn chỉnh một giao diện website cho phép tải tệp và trích xuất dữ liệu tự động.

Chương 4: Kết luận và kiến nghị

Tổng kết toàn bộ quá trình nghiên cứu, xác nhận việc hoàn thành mục tiêu xây dựng quy trình kết hợp các mô hình học sâu để trích xuất dữ liệu hóa đơn tiếng Việt và đưa ra định hướng phát triển trong tương lai.

Kết quả và đóng góp

Kết quả thực nghiệm chính:

• Hệ thống hóa và triển khai thành công chuỗi mô hình học sâu khép kín gồm MobileNet (căn chỉnh hướng) $\rightarrow$ DBNet (phát hiện dòng chữ) $\rightarrow$ VietOCR (nhận dạng ký tự tiếng Việt) $\rightarrow$ PICK/GCN (trích xuất thông tin theo cấu trúc đồ thị).
• Trích xuất thành công 4 trường thông tin quan trọng nhất từ hóa đơn bán hàng tiếng Việt gồm: tên người bán, thời gian giao dịch, địa chỉ và tổng số tiền thanh toán.
• Đạt mốc hiệu năng vận hành theo mục tiêu nghiên cứu: thời gian xử lý rút ngắn xuống còn 3 đến 5 giây cho mỗi hóa đơn, độ chính xác xử lý đạt ngưỡng 99%, khắc phục đáng kể tỷ lệ sai số nhập liệu thủ công (vốn có thể lên tới 20%).
• Đóng gói thành công giải pháp thành một ứng dụng website hoàn chỉnh có khả năng đưa vào sử dụng thực tế.

Giải pháp và kiến nghị đề xuất của tác giả:

• Đề xuất giải pháp trích xuất có chọn lọc: Chỉ tập trung bóc tách các trường thông tin then chốt thay vì đọc toàn bộ tài liệu nhằm bảo đảm tốc độ xử lý của hệ thống và tránh nạp dữ liệu nhiễu vào mô hình phân loại.
• Kết hợp thông tin không gian và thông tin ngữ nghĩa thông qua mạng tích chập đồ thị (GCN) để xử lý sự phân tán của các trường dữ liệu trên các mẫu hóa đơn có thiết kế khác nhau.

Đóng góp của đồ án so với các nghiên cứu trước:

• Khắc phục giới hạn của các công trình trong nước trước đây (vốn chủ yếu giải quyết bài toán trên các văn bản có biểu mẫu cố định, ít biến động như chứng minh nhân dân, căn cước công dân).
• Giải quyết bài toán trích xuất thông tin trên đối tượng hóa đơn thanh toán tiếng Việt - loại văn bản có hình thức trình bày phong phú, vị trí các trường dữ liệu không cố định và thiếu vắng các bộ dữ liệu mẫu chuẩn công khai.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế ghi nhận trong văn bản:

• Dữ liệu đầu vào bị ràng buộc bởi các tiêu chí kỹ thuật: chỉ xử lý hóa đơn hiển thị trong phạm vi một trang duy nhất, chất lượng hình ảnh phải tương đối rõ ràng và góc nghiêng của chữ không được vượt quá 10 độ.
• Hệ thống mới dừng lại ở việc trích xuất 4 trường thông tin cơ bản, chưa mở rộng bóc tách toàn diện bảng chi tiết các danh mục hàng hóa, đơn giá và thuế suất thành phần.

Hướng nghiên cứu và phát triển tiếp theo:

• Nâng cấp mô hình nhằm hỗ trợ nhận diện các hóa đơn có độ nghiêng lớn, hình ảnh bị mờ nhòe hoặc chụp trong điều kiện ánh sáng không đồng đều.
• Nghiên cứu xử lý các tài liệu hóa đơn nhiều trang hoặc có cấu trúc bảng biểu phức tạp.
• Mở rộng phạm vi thử nghiệm mô hình sang các loại văn bản bán cấu trúc khác như bằng lái xe, giấy khai sinh, giấy tờ tùy thân và đơn thuốc y tế.

Giá trị tham khảo

Đồ án tốt nghiệp là tài liệu tham khảo phù hợp cho:

• Sinh viên, học viên chuyên ngành Công nghệ thông tin, Khoa học máy tính, Trí tuệ nhân tạo đang thực hiện đồ án, khóa luận về Thị giác máy tính (Computer Vision), OCR tiếng Việt và Xử lý ngôn ngữ tự nhiên (NLP).
• Các kỹ sư phát triển phần mềm đang tìm kiếm giải pháp xây dựng hệ thống tự động hóa xử lý văn bản, chứng từ cho các doanh nghiệp.

Nội dung trọng tâm có giá trị tham khảo cao:

• Bảng khảo cứu chi tiết về lịch sử phát triển của các công nghệ Text Detection quốc tế và Text Recognition tiếng Việt từ năm 2001 đến 2020.
• Phương pháp luận kết hợp giữa mạng tích chập đồ thị (GCN) và kỹ thuật nhúng từ (Word2Vec) để giải quyết bài toán trích xuất thực thể từ tài liệu hình ảnh mà không phụ thuộc vào biểu mẫu cố định.

Câu hỏi thường gặp

1. Bốn trường thông tin cốt lõi nào được hệ thống lựa chọn trích xuất từ hóa đơn?

Hệ thống tập trung bóc tách 4 trường thông tin trọng yếu bao gồm: người bán, thời gian, địa chỉ và tổng tiền.

2. Tại sao tác giả không xây dựng hệ thống để đọc và trích xuất toàn bộ nội dung trên hóa đơn?

Theo phân tích của tác giả, người dùng và bộ phận nghiệp vụ thường chỉ quan tâm đến một số trường dữ liệu trọng tâm. Việc trích xuất toàn bộ văn bản sẽ làm suy giảm tốc độ xử lý của hệ thống và đưa vào nhiều dữ liệu nhiễu không cần thiết cho các khâu phân loại tiếp theo.

3. Những mô hình học sâu cụ thể nào được tích hợp trong luồng xử lý hóa đơn của đồ án?

Hệ thống sử dụng mạng MobileNet để xoay và căn chỉnh hướng hóa đơn; mô hình DBNet để phát hiện vùng chữ; thư viện VietOCR (dựa trên Transformer và AttentionOCR) để nhận diện ký tự tiếng Việt; và mô hình PICK (dựa trên Graph Convolutional Network - GCN) để phân loại và trích xuất thực thể.

4. Dữ liệu đầu vào của hệ thống có những yêu cầu và ràng buộc kỹ thuật gì?

Tệp tin đầu vào là ảnh chụp, ảnh scan hoặc tệp tin định dạng PDF của hóa đơn in hoặc chữ viết tay; hình ảnh cần rõ nét, độ nghiêng của chữ không vượt quá 10 độ và nội dung hóa đơn phải nằm gọn trong một trang duy nhất.

5. Lợi ích định lượng mà giải pháp mang lại cho doanh nghiệp so với xử lý thủ công là gì?

Giải pháp giúp rút ngắn thời gian xử lý một hóa đơn xuống còn từ 3 đến 5 giây (thay vì các thao tác thủ công kéo dài), đạt độ chính xác xử lý 99% và hạn chế sai sót nhập liệu (vốn có tỷ lệ lỗi lên tới 20% khi nhập tay).

Kết luận

Đồ án tốt nghiệp của sinh viên Nguyễn Trung Tài đã giải quyết trọn vẹn bài toán tự động hóa trích xuất dữ liệu hóa đơn tiếng Việt thông qua việc kết hợp các kỹ thuật học sâu tiên tiến gồm MobileNet, DBNet, VietOCR và mạng tích chập đồ thị PICK (GCN). Công trình đóng góp giải pháp kỹ thuật bóc tách thành công 4 trường dữ liệu trọng yếu trên các mẫu hóa đơn đa dạng cấu trúc, đồng thời hiện thực hóa thành phần mềm ứng dụng web có tính ứng dụng thực tế. Đây là tài liệu học thuật có giá trị tham khảo tốt cho sinh viên và nhà nghiên cứu trong lĩnh vực nhận dạng ký tự quang học và khai phá thông tin tài liệu tiếng Việt.

Trích đoạn nội dung tài liệu

CHƯƠNG 1. GIỚI THIỆU BÀI TOÁN NHẬN DẠNG KÝ TỰ QUANG HỌC 1. Giới thiệu bài toán nhận dạng ký tự quang học Hình 1. 1 Mục đích của kỹ thuật OCR 1.

Lịch sử OCR Nhận dạng ký tự quang học hay tiếng anh gọi là Optical Character Recognition (viết tắt là OCR) là công nghệ chuyển đổi hình ảnh văn bản được đánh máy, chữ viết tay hoặc chứ đánh máy(thường được quyét bằng máy scanner) thành văn bản, tài liệu được mã hóa trên máy. Mặc dù gần đây thuật ngữ OCR mới thực sự phổ biến ở nước ta song công nghệ này đã trải qua một lịch sử phát triển rất dài. Sau đây là một số cột móc dánh chú ý của quá trình hình thành và phát triển của OCR: • Năm 1870, C.Carey của Boston Masachusetts phát minh ra máy quét võng mạc – một hệ thống truyền hình ảnh sử dụng các tế bào quang điện. • Năm 1914: Một máy đọc các ký tự và chuyển đổi chúng thành mã điện báo tiêu chuẩn được phát triển bởi Emanuel Goldberg.

Edmund Fournier d’Albe phát triển Optophone, một máy quét cầm tay mà khi di chuyển trên một trang tạo ra các âm thanh tương ứng với các chữ cái hoặc ký tự cụ thể. • Năm 1920 - 1930: Emmanuel Goldberg đã phát triển ra “Máy thống kê” để tìm kiếm các tài liệu lưu trữ vi phim bằng hệ thống nhận dạng mã quang học. • Năm 1931: Emmanuel Goldberg được cấp bằng sáng chế Hoa Kỳ số 1.389 cho phát minh này. Bằng sáng chế đã được mua lại bởi IBM.

• Năm 1954: Thiết bị OCR đầu tiên được lắp đặt ở Reader’s Digest nhằm chuyển đổi các báo cáo bán hàng được đánh máy thành thẻ đục lỗ để nhập vào máy tính. 12 • Năm 1960 - 1965: đánh dấu sự ra đời của thế hệ OCR thương mại đầu tiên. Thế hệ máy OCR này được đặc trưng bởi một số kí tự nhất định. Số lượng 2 phông chữ tối đa là 10 và giới hạn bởi phương pháp nhận dạng là so sánh kí tự quét với kho lưu trữ hình ảnh mẫu.

• Năm 1960-1970: OCR thế hệ này có thể nhận dạng các ký tự in thông thường và kí tự viết tay. Đối với kí tự viết tay chỉ là các chữ số và một vài chữ cái cũng như ký hiệu, không phải toàn bộ bảng chữ cái. Đặc biệt nhất trong thời kỳ này là 2 bộ font chữ OCR-A và OCR-B. OCR-A là bộ ký tự OCR tiêu chuẩn của Mỹ, được thiết kế riêng để nhận dạng quang học.

OCR- B là phông chữ châu âu, được cho là tự nhiên hơn tiêu chuẩn Mỹ. • Năm 1974: Ray Kurzweil thành lập công ty Kurzwell Computer Products, Inc và tiếp tục phát triển omni-font OCR có thể nhận dạng văn bản được in bằng bất kỳ phông chữ nào (Kurzweil được cho là đã phát minh ra OCR đa phông chữ, tuy nhiên theo một số tài liệu nó đã được sử dụng từ cuối những năm 1960 và 1970 bởi một số công ty như CompuScan) • Năm 1976: Kurzwell tạo ra máy đọc cho người khiếm thị. • Năm 1978: Kurzweil Computer Products bắt đầu bán phiên bản thương mại của chương trình máy tính nhận dạng kí tự quang học. • Năm 2000: Vào những năm đầu của thế kỷ XXI, OCR được cung cấp trực tuyến dưới dạng dịch vụ (WebOCR), trong môi trường điện toán đám mây (cloud) và trên các ứng dụng di động thông minh.

• Năm 2006: Phần mềm OCR Tesseract trở thành của google. Sự hợp tác tạo nên sự phát triển vượt bậc của công nghệ OCR. Nó có thể tự nhận dạng các mẫu thay vì phải đưa ra các quy tắc cho từng ngôn ngữ. Ứng dụng của nhận dạng ký tự quang học trong trích xuất thông tin hóa đơn Nhận dạng ký tự quang học (OCR) có rất nhiều công dụng trong đời sống của chúng ta mà có thể dễ dàng bắt gặp như: • Nhập liệu nhanh chóng cho các tài liệu kinh doanh (Căn cước công dân, hộ chiếu, hóa đơn, sao kê ngân hàng, biên lai).

• Nhận dạng biển số tự động. • Nhận dạng hộ chiếu và trích xuất thông tin hộ chiếu ở sân bay. • Nhận dạng biển báo giao thông. • Công nghệ hỗ trợ cho người khiếm thính và khiếm thị.

• Chuyển đổi chữ viết tay trong thời gian thực 13 Ứng dụng OCR trong xử lý hóa đơn giúp tiết kiệm thời gian, giảm thiểu các thao tác thủ công, tăng năng suất và tính chính xác của dữ liệu sau khi được trích xuất. Dưới đây sẽ là những lợi ích mà phần mềm quét hóa đơn bằng OCR mang lại cho các doanh nghiệp: • Giảm thời gian xử lý, tăng hiệu suất làm việc. Quá trình xử lý hóa đơn chậm sẽ khiến công việc không đảm bảo được tính liên tục, khiến cho hiệu suất làm việc của nhân viên không như kỳ vọng. Vậy nên, khi áp dụng công nghệ OCR vào sẽ giúp thời gian xử lý mỗi hóa đơn giảm còn 3 - 5 giây.

Đây là bước khởi đầu tốt đẹp cho hàng loạt quy trình phía sau. • Tăng độ chính xác của dữ liệu đồng thời tăng tính an toàn, bảo mật. Hóa đơn thường chứa nhiều thông tin như mã số hóa đơn, mã số thuế, số tiền, số tài khoản,. Theo thống kê thì tỉ lệ lỗi nhập số liệu có thể lên tới 20%, như vậy thì nếu nhập theo cách thủ công thì khả năng sai số liệu tương đối lớn, chưa kể tới những trường hợp nhập trùng lặp hóa đơn sẽ khiến cho quá trình phê duyệt, thanh toán,.

của kế toán sau này gặp nhiều khó khăn. Thêm vào đó nhiều người truy cập và đọc được dữ liệu hóa đơn cũng dễ khiến doanh nghiệp bị lộ thông tin. Với công nghệ OCR trong quá trình chụp hóa đơn thì khác, độ chính xác khi xử lý lên tới 99%, đảm bảo nguồn dữ liệu đầu vào cho các quá trình tiếp theo. • Lưu trữ, quảng lý hóa đơn hiệu quả hơn.

Dữ liệu trên hóa đơn sau khi được đọc bằng công nghệ nhận dạng ký tự quang học sẽ được trích xuất và số hóa toàn bộ. Lúc này, doanh nghiệp có thể loại bỏ các tủ hồ sơ, giấy tờ cồng kềnh và thay vào đó là lưu trữ thông tin trên bộ nhớ Cloud. • Tối ưu chi phí và nguồn lực. Công nghệ OCR giúp tự động hóa quy trình xử lý hóa đơn, tối ưu hóa quá trình tìm kiếm và lưu trữ thông tin.

Như vậy thì doanh nghiệp sẽ không cần tốn quá nhiều chi phí cho việc lưu trữ, giấy tờ, chi phí phải trả nếu gặp rủi ro trong việc nhập sai dữ liệu, nhân viên cũng tránh khỏi những tác vụ lặp đi lặp lại nhàm chán, thay vào đó sẽ tập trung xử lý các nghiệp vụ chuyên môn khác. 2 Minh họa OCR được ứng dụng trong doanh nghiệp 1. Chương trình OCR Chương trình OCR là tập hợp các mô hình nhằm số hóa văn bản thành định dạng số (doc, pdf, .) một chương trình OCR bao gồm một luồng hoàn chỉnh để giải quyết bài toán, mô hình OCR là một trong số đó. Một luồng hoàn chỉnh được mô tả như hình dưới đây: Hình 1.

3 Minh họa một luồng OCR tiêu biểu Bao gồm các bước sau: • Bước 1: Ảnh đầu vào sẽ được đi một mô hình Nhận diện dòng chữ (Layout Analysis) để nhận diện vị trí các dòng chữ. • Bước 2: Khi đã có vị trí các dòng chữ, các dòng chữ sẽ được cắt ra và xoay về đúng hướng nhờ mô hình xoay (Text-line Alignment). • Bước 3: Sau khi có ảnh chuẩn đã xoay, ảnh dòng chữ sẽ được đưa vào mô hình OCR để thực hiện việc nhận dạng ra từ. Công trình liên quan Xử lý hóa đơn bằng OCR được thực hiện theo quy trình gồm các bước cơ bản sau: • Bước 1: Đưa hình ảnh lên hệ thống • Bước 2: Tiền xử lý hình ảnh.

Đây là quá trình giúp hệ thông xác định ảnh chính xác hơn, đưa ảnh về dạng pixel, điều chỉnh độ sáng tối, giảm độ mờ của ảnh. • Bước 3: Xác định vùng chứa thông tin. • Bước 4: Phát hiện trường thông tin cần trích xuất. Nhanh chóng lấy ra các trường thông tin mong muốn như mã hóa đơn, ngày tháng, thông tin bên bán (tên, địa chỉ, số điện thoại, .) thông tin bên mua, tổng số tiền phải trả, phần trăm thuế,.

• Bước 5: Đọc và nhập thông tin. Ký tự được đọc và đưa vào các trường thông tin theo yêu cầu của từng doanh nghiệp. • Bước 6: Xử lý hậu kỳ. Chỉnh sửa các trường thông tin còn sai sót sau khi máy đọc xong, đây là bước quang trọng vì nếu thiếu bước này thì đôi khi công nghệ OCR sẽ đọc sai hoặc có một vài từ vô nghĩa.

Như phần trước đã đề cập, để xây dựng một hệ thống hoàn chỉnh từ phân tách text trong văn bản là ảnh hay bản scan đế trích xuất tự động các thông tin quan trọng trong văn bản thì cần giải quyết lần lượt ba nội dung sau. Mỗi nội dung sẽ được coi là một bài toán nhỏ sẽ được nghiên cứu, thử nghiệm độc lập trước khi tổng hợp thành một thệ thống hoàn chỉnh. Ba nội dung nghiên cứu như sau: 1. Xử lý ảnh để nhận diện các dòng chữ trong văn bản 2.

Nghiên cứu nhận dạng ký tự cho tiếng Việt 3. Trích xuất thông tin quan trọng từ văn bản tiếng Việt Hình 1. 4 Các bước xử lý hệ thống Trong nội dung thứ nhát là vấn đề xử lý ảnh để lấy ra được tất cả các dòng text có xuất hiện trong văn bản. Đây được coi là bài toán phát thiện đối tượng trong ảnh.

Việc 16 ngắt câu sẽ trở thành vấn đề, vì các đối tương đang rất giống nhau. Đầu vào của bài toán thứ nhất là ảnh chụp hay ảnh scan của hóa đơn, đầu ra ta sẽ có vị trí của các dòng chữ xuất hiện trong ảnh. Với bài toán phát hiện vùng văn bản (text detection) đã có nhiều nghiên cứu, sử dụng nhiều phương pháp khác nhau, nhưng với tiếng Việt thì chưa có nhiều nghiên cứu công bố. Dưới đây là các công trình nghiên cứu đã có về vấn đề phát hiện chữ viết, chủ đạo là tiếng Anh, tiếng Trung Quốc.

Bảng khảo sát được viết theo từ các phương pháp cũ đến mới.