Chương 1. LÝ DO CHON DE TÀI. MỤC DICH NGHIÊN CỨU. ĐỐI TƯỢNG NGHIÊN CỨU.
PHAM VI NGHIÊN CỨU.----2:++eccettrreeverrrrerrrtrrrrrrrrrrrrrrrre 4 Chương 2.2--cec2+tee2E+2EEESEEEEEEEEEiEEEEEieEtrrretrrrrreerre 5 2. Cac Phương Pháp Trước ĐÓ. Rule-based Method. NLP-based Method.
Hướng Giải Quyết Trong Dé Tài Này .-iiceccccccrrrreeeeevrrrrrrrree 14 Chương 3. _ PHƯƠNG PHÁP. Lý thuyết về đồ thị. Ma trận bậc ÏD.
Ma trận LaplÌaCe€. Graph Neural NetwOrk. _ Sự tương quan giữa đồ thị và học sâu. _ Cơ sở tính toán Graph Neural Network.
essere 22 (a) Message Passing. che 23 (DĐ) — ABBT€gAtIOH.c HH ri 24 (C) pdafe.rH HH ghê 24 (d) Kết nối các lớp GNN. Spectral Graph ConvoÏufIOH. Lý Thuyết Phổ Đồ Thi.
Graph Fourier TTanSÍOTm. _ Phép tích chập trên đồ thị. Mạng Neural Đồ Thị Phổ. Graph Convolutional NefWOFK.
Tổng quan về GON ceccscssssesssssosesssssssesssssosesssssnsessssssensssasnsesssasesesesnssnsesssses 36 3. Node Classification sử dụng mô hình GCN ban giám sắt. TRIỂN KHAI BÀI TOÁN. _ Thu Thập Và Xử Lý Dữ Liệu.
Mô Hình Hóa Đồ Thị. Quy Dinh Đặc Trưng ÌNOde. Triển Khai Mô Hình. Kết Quả Thực Nghiệm.--22++ce2trecEtrrerEtrtrrErrrrrrrrrrrrrrre 56 Chương 5.--eco+ieecSEE22EEEEEE.te 60 Chương 6.
_ HƯỚNG PHÁT TRIỂN.---2::cce2trceettrrerttrrerrrrrrrrrrrzer 61 TÀI LIEU THAM KHAO .-----+-ecc2tt+++e2SEEEEEEEr22EEEEEEEtrrrrrrrrrrrrrrrrrrrrrrree 62 DANH MỤC HÌNH Hình 2-1. Mô hình CRE. HH HH HH re 9 Hình 2-2. Mô hình LS TÌM.
Mô hình BiLSTM .kcSLHEHHHH HH Hà 11 Hình 2-4. Mô hình Transformer.--- --©55<©++SY+EExeEExtsrkerrketrkrtkrrtrrrrrkrrrkrrre 12 Hình 3-1. Hình ảnh dưới dạng Euclide và đồ thị đưới dang phi Euclide. Các ma trận quan trỌng.
Ma trận kỀ A. Ma trận bậc ID. Ma trận Laplace. Cau tạo một perceptron.---++ccc++eccettrtrevvvttrerrvrrrrrrrrtrrrrrrrrrrrre 21 Hình 3-7 Phép tích chập truyền thống.
Tích chập truyền thong và tích chập trên đồ thị. Tổng quan các bước mô hình GON. Ảnh hóa đơn trong bộ dữ liỆu. Kết quả trích xuất từ Pytesseract.
Tọa độ các box và nội dung tương Ứng. Dữ liệu sau khi bổ sung nhãn.---++ccssi+reccttrreevvvrrrrrvrrrrrre 47 Hình 4-5. Sự đa dạng trong cau trúc của các hóa đơn. Quy tắc kết nối giữa các bounding box.
Các bước mô hình thành dit liệu đồ thị.----cs2+-cccssrrcce 51 Hình 4-8. Kết quả mô hình thực nghiệm. Sự không nhất quán giữa các bounding box.cccccerrree 59 DANH MỤC BANG Bang 4-1. Phân phối số lượng nhãn trong bộ dữ liệu.
Trọng số sử dụng dé cân bằng cho các nhãn. Thống kê số lượng node và cạnh trong bộ đữ liệu. Bộ tham số được sử dụng cho mô hình. Accuracy của các mô hình thực nghiệm.
Confusion Matrix của GCN tại epochs 521 vests 57 Bang 4-7. Kết quả so sánh các mô hình. Thời gian huấn luyện các mô hình.---+-ccs2++rcccettrrecverrrrce 58 DANH MỤC TỪ VIET TAT Các từ viết tắt Ý nghĩa NLP Natural Language Processing CRF Conditional Random Field LSTM Long Short-Term Memory BiLSTM Bidirectional Long Short-Term Memory CNN Convolutional Neural Network GNN Graph Neural Network GCN Graph Convolutional Network SGNN Spectral Graph Neural Network TOM TAT KHÓA LUẬN Đây là một báo cáo trình bày các cơ sở khoa học, cách triển khai thực hiện cho bài toán “Nhận Diện Ký Tự Quang Học Dựa Trên Phương Pháp Đồ Thị”. Mục tiêu của bài toán này là nhận diện và trích xuất được các nội dung (thực thé) trong một bức ảnh biên lai, hóa đơn có các cấu trúc khác nhau, các thực thê này có thê bao gồm tên sản phẩm, giá cả, ngày tháng, và các thông tin khác có trên biên lai hoặc hóa đơn.
Dựa trên các kiến thức nền tảng trong lĩnh vực Khoa Học Dữ Liệu cùng với đó là Lý Thuyết Đồ Thị được áp dụng xuyên suốt trong mô hình thực nghiệm, em đã thành công trong việc triển khai được mô hình trích xuất ra được hau hết các thực thé được gán nhãn trong bài toán, qua đó khăng định được ưu thế của mô hình thực nghiệm so với các mô hình trước đây. Các mô hình graph-based lần lượt cho ra các kết quả rất tốt trong tác vụ này với Fl-score lần lượt cho các mô hình GCN, ChebNet, ARMA-GNN là 0. Kết quả cho thấy các mô hình dựa trên đồ thị đều đạt được hiệu quả cao trong bài toán nhận điện ký tự quang học từ biên lai, hóa đơn. Điều này khang định rằng việc áp dụng lý thuyết đồ thị trong bài toán OCR không chỉ khả thi mà còn mang lại những cải tiền đáng kế so với các phương pháp trước đây.
LÝ DO CHỌN ĐÈ TÀI Quyết định chọn đề tài “Nhận diện kí tự quang học dựa trên phương pháp đồ thị” xuất phát từ nhu cầu thực tế của xã hội và sự phát triển mạnh mẽ trong lĩnh vực công nghệ. Việc xử lý các đữ liệu từ các hình ảnh như biên lai hay hóa đơn trở nên thiết yếu hơn trong các công cụ tự động hóa, ứng dụng của nó đang ngày càng được áp dụng rộng rãi trong nhiều lĩnh vực khác nhau như bảo hiểm, tài chính, ngân hàng, quản lý doanh nghiệp,. Mỗi ngày có hàng triệu tài liệu cần được số hóa và thông tin của nó cần được thu thập một cách nhanh chóng và thật chính xác. Vì vậy ta có thể nhìn nhận được thách thức trong bài toán này đó là đảm bảo độ chính xác, năng suất và thời gian trong việc trích xuất thông tin.
OCR (Optical Character Recognition) từ lâu đã trở thành một công cụ hữu ích trong việc chuyên đồi thông tin từ định dang ảnh sang định dạng văn bản. Thế nhưng dé đạt được kết quả tối ưu nhất thì việc áp dụng các kỹ thuật tiên tiến là điều thiết yếu nhất. Việc kiến thức về đồ thị được áp dụng vào bài toán này là một hướng tiếp cận mới mẻ và ngoài ra nó còn rất thích hợp trong việc xử lý các bài toán mà ở đó dữ liệu có cầu trúc ngẫu nhiên, rời rạc. Khi kết hợp cộng nghệ OCR và phương pháp đồ thị chúng ta không những tận dụng được tối đa sức mạnh của cả hai công nghệ mà còn biết cách vận hành cũng như hiểu được các ưu điểm của phương pháp này.
Đồng thời đây cũng là cách tiếp cận giúp tăng cường hiệu suất so với các hướng tiếp cận trước đây ma qua đó giảm thiểu các bước trung gian và tôi ưu hóa được các thuật toán. Tom lại việc thực hiện bai toán “Nhận diện kí tự quang học dựa trên phương pháp đồ thị” không những tận dụng được giá trị lý thuyết mà còn đáp ứng được các giá trị thực tiễn. Nó đã mở ra một hướng đi khác trong việc vận dụng trí tuệ nhân tạo vào các vấn đề thực tế cũng như góp phần nâng cao chất lượng và tính chính xác của các hệ thống xử lý thông tin từ hình ảnh và từ đó đáp ứng được nhu cầu ngày càng cao trong xã hội hiện đại. MỤC DICH NGHIÊN CỨU Mục tiêu chính của nghiên cứu này là phát triển một hệ thống nhận diện kí tự quang học (OCR) tiên tiến, sử dụng đồ thị để cải thiện, tăng cường khả năng trích xuất thông tin từ hình ảnh biên lai.
Với việc vẫn còn tồn tại nhiều hạn chế về độ chính xác cũng như là năng suất thì nghiên cứu này sẽ vận dụng tiêm năng của phương pháp đồ thị nhằm mang lại một bước cải tiến mới trong lĩnh vực xử ly thông tin từ hình ảnh. Ngoài ra thông qua việc tiến hành đề tài nghiên cứu này nó còn giúp ta hiểu được các lý thuyết của các phương pháp từ đó thấy được các ưu điểm và hạn chế trong từng cách làm. Mà thông qua kiến thức về lý thuyết đồ thì chúng ta có thể mô hình hóa và phân tích các mối quan hệ phức tạp giữa các đối tượng, hứa hẹn sẽ mang lại kết quả tích cực hơn so với các phương pháp OCR truyền thống. Cuối cùng, mục tiêu của em với đề tài này là tạo ra một hệ thong OCR không chỉ có kha năng hoạt động tự động ma còn có tính linh hoạt cao, có thể dễ dàng điều chỉnh và mở rộng đề phù hợp với nhiều loại tài liệu và ứng dụng khác nhau.
Thông qua việc đạt được những mục tiêu trên, nghiên cứu này kỳ vọng sẽ đóng góp một phần quan trọng vào sự phát triển của công nghệ OCR, mở ra những hướng đi mới trong việc ứng dụng trí tuệ nhân tạo và phương pháp đồ thị vào các bài toán thực tiễn. ĐÓI TƯỢNG NGHIÊN CỨU Đối tượng nghiên cứu chính của dự án này là các hình ảnh chứa thông tin văn bản từ các loại biên lai, đặc biệt là những biên lai liên quan đến giao dịch thương mại, hóa đơn thanh toán và các tài liệu tài chính khác. Mục tiêu của nghiên cứu là áp dụng kiến thức đồ thị để mô hình hóa mối quan hệ giữa các nội dung và cấu trúc văn bản trên biên lai. Đồng thời, sử dụng các kỹ thuật của mô hình học sâu để phát triển một hệ thống nhận diện mẫu cấu trúc và liên kết giữa các ký tự.
Kết hợp giữa học sâu và kiến thức đồ thị nhằm cải thiện, nâng cao tính xác thực va tính hiệu quả cua quá trình nhận dạng là mục tiêu chính của đê tai nay. Mô hình dự kiến sẽ cung cấp một phương pháp tiên tiến và hiệu quả để nhận diện các ký tự từ các hình ảnh biên lai, hỗ trợ tự động hóa quy trình kế toán và quản lý tài chính. Giúp tăng cường khả năng xử lý, trích xuất đữ liệu từ các tài liệu văn bản phức tạp trong môi trường thương mại và tài chính. PHAM VI NGHIÊN CỨU Dự án tập trung vào áp dụng lý thuyết đồ thị, deep learning, spectral graph theory và các phép tính toán liên quan để trích rút thông tin từ hóa đơn và các văn bản tương tự.
Kết hợp đồ thị và deep learning giúp mô hình hóa mối quan hệ phức tạp giữa các thành phần dữ liệu trong các hóa đơn có cấu trúc không đồng nhất và đa dạng nội dung. Nghiên cứu sẽ khám phá và áp dụng các phương pháp biến đổi toán học đề biểu diễn đồ thị với các đặc trưng đặc thù của từng vùng văn bản trên hóa đơn. Cụ thể, việc sử dụng ma trận kề và phép biến đôi Laplace sẽ giúp tính toán các đặc trưng đồ thi, trong khi các mô hình hoc sâu như Graph Convolutional Network (GCN) sẽ được áp dụng đê học câu trúc và biêu diễn dữ liệu trên đô thi một cách hiệu quả. Nghiên cứu cũng sẽ tập trung vào phân tích ưu và nhược điểm của các phương pháp trước đó trong lĩnh vực này.
Các mô hình truyền thống thường gặp khó khăn trong việc xử lý các hình ảnh chất lượng kém, hoặc bố cục phức tạp trên hóa đơn. Bằng việc nghiên cứu và cải tiễn các mô hình đồ thị kết hợp học sâu, dự án mong muốn giải quyết các thách thức này và cung cấp giải pháp tự động hóa hiệu quả hơn cho việc trích rút thông tin từ các tài liệu văn bản phức tạp trong thực tế. Cac Phương Pháp Trước Đó 2.