Đồ Án Tốt Nghiệp: Mô Hình Trích Xuất Thông Tin Hóa Đơn Dựa Trên Học Sâu

Tài liệu nghiên cứu Xây dựng một mô hình trích xuất thông tin hóa đơn dựa trên học sâu, tổng hợp lý thuyết và thực hành, cung cấp kiến thức chuyên sâu về kỹ thuật.

• Tác giả: Nguyễn Trung Tài
• Người hướng dẫn: TS. Hoàng Văn Thông
• Trường học: Trường Đại Học Giao Thông Vận Tải
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Mô Hình Trích Xuất Thông Tin Hóa Đơn Dựa Trên Học Sâu
• Loại tài liệu: Đồ án tốt nghiệp
• Năm xuất bản: 2023
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: GIỚI THIỆU BÀI TOÁN NHẬN DẠNG KÝ TỰ QUANG HỌC
• 1.1. Giới thiệu bài toán nhận dạng ký tự quang học
• 1.2. Lịch sử OCR
• 1.3. Một số ứng dụng của OCR
• 1.4. Chương trình OCR
• 2. CHƯƠNG 2: MẠNG NƠ-RON NHÂN TẠO VÀ CÁC CÔNG NGHỆ TRONG GIẢI QUYẾT BÀI TOÁN OCR
• 2.1. Mạng nơ ron nhân tạo
• 2.1.1. Kiến trúc mạng neuron
• 2.1.2. Mạng neuron tích chập - CNN
• 2.1.3. Mạng neuron hồi quy – RNN
• 2.1.4. Một số cấu trúc mạng CNN hiện nay
• 2.1.5. Một số cơ chế quan trọng
• 2.2. Các công nghệ giải quyết bài toán OCR
• 2.2.1. Các bài toán con của OCR
• 2.2.1.1. Bài toán phát hiện chữ - Text detection
• 2.2.1.2. Bài toán nhận diện chữ - Text recognition
• 2.2.2. Các mô hình phát hiện chữ - Text detection
• 2.2.2.1. Các phương pháp cổ điển
• 2.2.2.2. Text detection dựa trên Object Detection
• 2.2.2.3. Text detection dựa trên các thành phần của chữ (Sub-Text Components)
• 2.2.3. Các mô hình nhận diện chữ - Text recognition
• 2.2.3.1. Các phương pháp cổ điển
• 2.2.3.2. Mô hình tổng quan của text recognition áp dụng trong học sâu
• 2.2.3.3. Text recognition dựa trên CTC
• 2.2.3.4. Text recognition dựa trên Attention
• 3. CHƯƠNG 3: CƠ SỞ LÝ THUYẾT CHO BÀI TOÁN TRÍCH XUẤT THÔNG TIN TRONG VĂN BẢN TỪ ẢNH
• 3.1. Bài toán trích xuất thông tin trong văn bản từ ảnh
• 3.2. Một số lý thuyết đồ thị cơ bản
• 3.3. Một số bài toán khi sử dụng Graph Convolutional Network
• 3.4. Graph Convolutional Network trong bài toán trích xuất thông tin trong hóa đơn
• 4. CHƯƠNG 4: KẾT LUẬN
• DANH MỤC TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về mô hình trích xuất thông tin hóa đơn dựa trên học sâu

Mô hình trích xuất thông tin hóa đơn dựa trên học sâu đang trở thành một xu hướng quan trọng trong lĩnh vực công nghệ thông tin. Công nghệ này không chỉ giúp tự động hóa quy trình nhập liệu mà còn nâng cao độ chính xác trong việc xử lý thông tin. Việc áp dụng các thuật toán học sâu vào trích xuất thông tin từ hóa đơn giúp tiết kiệm thời gian và giảm thiểu sai sót trong quá trình nhập liệu.

1.1. Khái niệm về trích xuất thông tin hóa đơn

Trích xuất thông tin hóa đơn là quá trình tự động nhận diện và thu thập dữ liệu từ hóa đơn. Công nghệ này sử dụng các thuật toán học sâu để phân tích và nhận diện các trường thông tin quan trọng như mã số hóa đơn, ngày tháng, và thông tin bên mua.

1.2. Lợi ích của việc sử dụng học sâu trong trích xuất thông tin

Việc áp dụng học sâu trong trích xuất thông tin hóa đơn mang lại nhiều lợi ích như tăng tốc độ xử lý, giảm thiểu sai sót và tối ưu hóa quy trình làm việc. Đặc biệt, công nghệ này giúp doanh nghiệp tiết kiệm chi phí và thời gian.

II. Thách thức trong việc trích xuất thông tin hóa đơn

Mặc dù công nghệ trích xuất thông tin hóa đơn dựa trên học sâu mang lại nhiều lợi ích, nhưng vẫn tồn tại một số thách thức cần được giải quyết. Các vấn đề như độ chính xác của mô hình, khả năng nhận diện các định dạng hóa đơn khác nhau và xử lý ngôn ngữ tự nhiên là những thách thức lớn.

2.1. Độ chính xác của mô hình học sâu

Độ chính xác của mô hình học sâu trong việc trích xuất thông tin hóa đơn phụ thuộc vào chất lượng dữ liệu đầu vào và thuật toán được sử dụng. Việc cải thiện độ chính xác là một trong những thách thức lớn nhất trong lĩnh vực này.

2.2. Khả năng nhận diện định dạng hóa đơn đa dạng

Hóa đơn có thể có nhiều định dạng khác nhau, từ hóa đơn điện tử đến hóa đơn giấy. Việc phát triển một mô hình có khả năng nhận diện và xử lý tất cả các định dạng này là một thách thức không nhỏ.

III. Phương pháp trích xuất thông tin hóa đơn hiệu quả

Để giải quyết các thách thức trong việc trích xuất thông tin hóa đơn, nhiều phương pháp học sâu đã được phát triển. Các mô hình như mạng nơ-ron tích chập (CNN) và mạng nơ-ron hồi quy (RNN) đã chứng minh được hiệu quả trong việc nhận diện và phân tích dữ liệu từ hóa đơn.

3.1. Mạng nơ ron tích chập CNN trong trích xuất thông tin

Mạng nơ-ron tích chập (CNN) là một trong những phương pháp phổ biến nhất trong việc nhận diện hình ảnh. CNN có khả năng phát hiện các đặc trưng quan trọng trong hình ảnh hóa đơn, từ đó giúp trích xuất thông tin một cách chính xác.

3.2. Mạng nơ ron hồi quy RNN cho xử lý chuỗi dữ liệu

Mạng nơ-ron hồi quy (RNN) rất hiệu quả trong việc xử lý chuỗi dữ liệu, như văn bản trong hóa đơn. RNN có khả năng ghi nhớ thông tin từ các bước trước đó, giúp cải thiện độ chính xác trong việc trích xuất thông tin.

IV. Ứng dụng thực tiễn của mô hình trích xuất thông tin hóa đơn

Mô hình trích xuất thông tin hóa đơn dựa trên học sâu đã được áp dụng rộng rãi trong nhiều lĩnh vực, từ tài chính đến thương mại điện tử. Các doanh nghiệp đang ngày càng nhận ra giá trị của việc tự động hóa quy trình xử lý hóa đơn.

4.1. Ứng dụng trong ngành tài chính

Trong ngành tài chính, việc trích xuất thông tin hóa đơn giúp tự động hóa quy trình thanh toán và quản lý tài chính. Điều này không chỉ tiết kiệm thời gian mà còn giảm thiểu sai sót trong quá trình nhập liệu.

4.2. Ứng dụng trong thương mại điện tử

Trong thương mại điện tử, mô hình trích xuất thông tin hóa đơn giúp cải thiện trải nghiệm khách hàng bằng cách tự động hóa quy trình xác nhận đơn hàng và thanh toán, từ đó nâng cao hiệu quả kinh doanh.

V. Kết luận và tương lai của mô hình trích xuất thông tin hóa đơn

Mô hình trích xuất thông tin hóa đơn dựa trên học sâu đang mở ra nhiều cơ hội mới cho các doanh nghiệp. Tương lai của công nghệ này hứa hẹn sẽ mang lại nhiều cải tiến trong quy trình xử lý thông tin và nâng cao hiệu quả làm việc.

5.1. Xu hướng phát triển công nghệ

Công nghệ học sâu đang phát triển nhanh chóng, với nhiều nghiên cứu mới được công bố. Xu hướng này sẽ tiếp tục thúc đẩy sự phát triển của mô hình trích xuất thông tin hóa đơn trong tương lai.

5.2. Tác động đến ngành công nghiệp

Mô hình trích xuất thông tin hóa đơn sẽ có tác động lớn đến nhiều ngành công nghiệp, từ tài chính đến logistics. Sự tự động hóa này sẽ giúp các doanh nghiệp tiết kiệm chi phí và nâng cao hiệu quả hoạt động.

Trích đoạn nội dung tài liệu

CHƯƠNG 1. GIỚI THIỆU BÀI TOÁN NHẬN DẠNG KÝ TỰ QUANG HỌC 1. Giới thiệu bài toán nhận dạng ký tự quang học Hình 1. 1 Mục đích của kỹ thuật OCR 1.

Lịch sử OCR Nhận dạng ký tự quang học hay tiếng anh gọi là Optical Character Recognition (viết tắt là OCR) là công nghệ chuyển đổi hình ảnh văn bản được đánh máy, chữ viết tay hoặc chứ đánh máy(thường được quyét bằng máy scanner) thành văn bản, tài liệu được mã hóa trên máy. Mặc dù gần đây thuật ngữ OCR mới thực sự phổ biến ở nước ta song công nghệ này đã trải qua một lịch sử phát triển rất dài. Sau đây là một số cột móc dánh chú ý của quá trình hình thành và phát triển của OCR: • Năm 1870, C.Carey của Boston Masachusetts phát minh ra máy quét võng mạc – một hệ thống truyền hình ảnh sử dụng các tế bào quang điện. • Năm 1914: Một máy đọc các ký tự và chuyển đổi chúng thành mã điện báo tiêu chuẩn được phát triển bởi Emanuel Goldberg.

Edmund Fournier d’Albe phát triển Optophone, một máy quét cầm tay mà khi di chuyển trên một trang tạo ra các âm thanh tương ứng với các chữ cái hoặc ký tự cụ thể. • Năm 1920 - 1930: Emmanuel Goldberg đã phát triển ra “Máy thống kê” để tìm kiếm các tài liệu lưu trữ vi phim bằng hệ thống nhận dạng mã quang học. • Năm 1931: Emmanuel Goldberg được cấp bằng sáng chế Hoa Kỳ số 1.389 cho phát minh này. Bằng sáng chế đã được mua lại bởi IBM.

• Năm 1954: Thiết bị OCR đầu tiên được lắp đặt ở Reader’s Digest nhằm chuyển đổi các báo cáo bán hàng được đánh máy thành thẻ đục lỗ để nhập vào máy tính. 12 • Năm 1960 - 1965: đánh dấu sự ra đời của thế hệ OCR thương mại đầu tiên. Thế hệ máy OCR này được đặc trưng bởi một số kí tự nhất định. Số lượng 2 phông chữ tối đa là 10 và giới hạn bởi phương pháp nhận dạng là so sánh kí tự quét với kho lưu trữ hình ảnh mẫu.

• Năm 1960-1970: OCR thế hệ này có thể nhận dạng các ký tự in thông thường và kí tự viết tay. Đối với kí tự viết tay chỉ là các chữ số và một vài chữ cái cũng như ký hiệu, không phải toàn bộ bảng chữ cái. Đặc biệt nhất trong thời kỳ này là 2 bộ font chữ OCR-A và OCR-B. OCR-A là bộ ký tự OCR tiêu chuẩn của Mỹ, được thiết kế riêng để nhận dạng quang học.

OCR- B là phông chữ châu âu, được cho là tự nhiên hơn tiêu chuẩn Mỹ. • Năm 1974: Ray Kurzweil thành lập công ty Kurzwell Computer Products, Inc và tiếp tục phát triển omni-font OCR có thể nhận dạng văn bản được in bằng bất kỳ phông chữ nào (Kurzweil được cho là đã phát minh ra OCR đa phông chữ, tuy nhiên theo một số tài liệu nó đã được sử dụng từ cuối những năm 1960 và 1970 bởi một số công ty như CompuScan) • Năm 1976: Kurzwell tạo ra máy đọc cho người khiếm thị. • Năm 1978: Kurzweil Computer Products bắt đầu bán phiên bản thương mại của chương trình máy tính nhận dạng kí tự quang học. • Năm 2000: Vào những năm đầu của thế kỷ XXI, OCR được cung cấp trực tuyến dưới dạng dịch vụ (WebOCR), trong môi trường điện toán đám mây (cloud) và trên các ứng dụng di động thông minh.

• Năm 2006: Phần mềm OCR Tesseract trở thành của google. Sự hợp tác tạo nên sự phát triển vượt bậc của công nghệ OCR. Nó có thể tự nhận dạng các mẫu thay vì phải đưa ra các quy tắc cho từng ngôn ngữ. Ứng dụng của nhận dạng ký tự quang học trong trích xuất thông tin hóa đơn Nhận dạng ký tự quang học (OCR) có rất nhiều công dụng trong đời sống của chúng ta mà có thể dễ dàng bắt gặp như: • Nhập liệu nhanh chóng cho các tài liệu kinh doanh (Căn cước công dân, hộ chiếu, hóa đơn, sao kê ngân hàng, biên lai).

• Nhận dạng biển số tự động. • Nhận dạng hộ chiếu và trích xuất thông tin hộ chiếu ở sân bay. • Nhận dạng biển báo giao thông. • Công nghệ hỗ trợ cho người khiếm thính và khiếm thị.

• Chuyển đổi chữ viết tay trong thời gian thực 13 Ứng dụng OCR trong xử lý hóa đơn giúp tiết kiệm thời gian, giảm thiểu các thao tác thủ công, tăng năng suất và tính chính xác của dữ liệu sau khi được trích xuất. Dưới đây sẽ là những lợi ích mà phần mềm quét hóa đơn bằng OCR mang lại cho các doanh nghiệp: • Giảm thời gian xử lý, tăng hiệu suất làm việc. Quá trình xử lý hóa đơn chậm sẽ khiến công việc không đảm bảo được tính liên tục, khiến cho hiệu suất làm việc của nhân viên không như kỳ vọng. Vậy nên, khi áp dụng công nghệ OCR vào sẽ giúp thời gian xử lý mỗi hóa đơn giảm còn 3 - 5 giây.

Đây là bước khởi đầu tốt đẹp cho hàng loạt quy trình phía sau. • Tăng độ chính xác của dữ liệu đồng thời tăng tính an toàn, bảo mật. Hóa đơn thường chứa nhiều thông tin như mã số hóa đơn, mã số thuế, số tiền, số tài khoản,. Theo thống kê thì tỉ lệ lỗi nhập số liệu có thể lên tới 20%, như vậy thì nếu nhập theo cách thủ công thì khả năng sai số liệu tương đối lớn, chưa kể tới những trường hợp nhập trùng lặp hóa đơn sẽ khiến cho quá trình phê duyệt, thanh toán,.

của kế toán sau này gặp nhiều khó khăn. Thêm vào đó nhiều người truy cập và đọc được dữ liệu hóa đơn cũng dễ khiến doanh nghiệp bị lộ thông tin. Với công nghệ OCR trong quá trình chụp hóa đơn thì khác, độ chính xác khi xử lý lên tới 99%, đảm bảo nguồn dữ liệu đầu vào cho các quá trình tiếp theo. • Lưu trữ, quảng lý hóa đơn hiệu quả hơn.

Dữ liệu trên hóa đơn sau khi được đọc bằng công nghệ nhận dạng ký tự quang học sẽ được trích xuất và số hóa toàn bộ. Lúc này, doanh nghiệp có thể loại bỏ các tủ hồ sơ, giấy tờ cồng kềnh và thay vào đó là lưu trữ thông tin trên bộ nhớ Cloud. • Tối ưu chi phí và nguồn lực. Công nghệ OCR giúp tự động hóa quy trình xử lý hóa đơn, tối ưu hóa quá trình tìm kiếm và lưu trữ thông tin.

Như vậy thì doanh nghiệp sẽ không cần tốn quá nhiều chi phí cho việc lưu trữ, giấy tờ, chi phí phải trả nếu gặp rủi ro trong việc nhập sai dữ liệu, nhân viên cũng tránh khỏi những tác vụ lặp đi lặp lại nhàm chán, thay vào đó sẽ tập trung xử lý các nghiệp vụ chuyên môn khác. 2 Minh họa OCR được ứng dụng trong doanh nghiệp 1. Chương trình OCR Chương trình OCR là tập hợp các mô hình nhằm số hóa văn bản thành định dạng số (doc, pdf, .) một chương trình OCR bao gồm một luồng hoàn chỉnh để giải quyết bài toán, mô hình OCR là một trong số đó. Một luồng hoàn chỉnh được mô tả như hình dưới đây: Hình 1.

3 Minh họa một luồng OCR tiêu biểu Bao gồm các bước sau: • Bước 1: Ảnh đầu vào sẽ được đi một mô hình Nhận diện dòng chữ (Layout Analysis) để nhận diện vị trí các dòng chữ. • Bước 2: Khi đã có vị trí các dòng chữ, các dòng chữ sẽ được cắt ra và xoay về đúng hướng nhờ mô hình xoay (Text-line Alignment). • Bước 3: Sau khi có ảnh chuẩn đã xoay, ảnh dòng chữ sẽ được đưa vào mô hình OCR để thực hiện việc nhận dạng ra từ. Công trình liên quan Xử lý hóa đơn bằng OCR được thực hiện theo quy trình gồm các bước cơ bản sau: • Bước 1: Đưa hình ảnh lên hệ thống • Bước 2: Tiền xử lý hình ảnh.

Đây là quá trình giúp hệ thông xác định ảnh chính xác hơn, đưa ảnh về dạng pixel, điều chỉnh độ sáng tối, giảm độ mờ của ảnh. • Bước 3: Xác định vùng chứa thông tin. • Bước 4: Phát hiện trường thông tin cần trích xuất. Nhanh chóng lấy ra các trường thông tin mong muốn như mã hóa đơn, ngày tháng, thông tin bên bán (tên, địa chỉ, số điện thoại, .) thông tin bên mua, tổng số tiền phải trả, phần trăm thuế,.

• Bước 5: Đọc và nhập thông tin. Ký tự được đọc và đưa vào các trường thông tin theo yêu cầu của từng doanh nghiệp. • Bước 6: Xử lý hậu kỳ. Chỉnh sửa các trường thông tin còn sai sót sau khi máy đọc xong, đây là bước quang trọng vì nếu thiếu bước này thì đôi khi công nghệ OCR sẽ đọc sai hoặc có một vài từ vô nghĩa.

Như phần trước đã đề cập, để xây dựng một hệ thống hoàn chỉnh từ phân tách text trong văn bản là ảnh hay bản scan đế trích xuất tự động các thông tin quan trọng trong văn bản thì cần giải quyết lần lượt ba nội dung sau. Mỗi nội dung sẽ được coi là một bài toán nhỏ sẽ được nghiên cứu, thử nghiệm độc lập trước khi tổng hợp thành một thệ thống hoàn chỉnh. Ba nội dung nghiên cứu như sau: 1. Xử lý ảnh để nhận diện các dòng chữ trong văn bản 2.

Nghiên cứu nhận dạng ký tự cho tiếng Việt 3. Trích xuất thông tin quan trọng từ văn bản tiếng Việt Hình 1. 4 Các bước xử lý hệ thống Trong nội dung thứ nhát là vấn đề xử lý ảnh để lấy ra được tất cả các dòng text có xuất hiện trong văn bản. Đây được coi là bài toán phát thiện đối tượng trong ảnh.

Việc 16 ngắt câu sẽ trở thành vấn đề, vì các đối tương đang rất giống nhau. Đầu vào của bài toán thứ nhất là ảnh chụp hay ảnh scan của hóa đơn, đầu ra ta sẽ có vị trí của các dòng chữ xuất hiện trong ảnh. Với bài toán phát hiện vùng văn bản (text detection) đã có nhiều nghiên cứu, sử dụng nhiều phương pháp khác nhau, nhưng với tiếng Việt thì chưa có nhiều nghiên cứu công bố. Dưới đây là các công trình nghiên cứu đã có về vấn đề phát hiện chữ viết, chủ đạo là tiếng Anh, tiếng Trung Quốc.

Bảng khảo sát được viết theo từ các phương pháp cũ đến mới.