Cải tiến mạng nơ ron nhiều tầng với cơ chế chú ý cho nhận dạng văn bản

Luận văn đề xuất phương pháp nhận dạng văn bản mới dựa trên mạng nơ ron và cơ chế chú ý, cho hiệu suất vượt trội trên ảnh chất lượng thấp.

• Tác giả: Nguyễn Trọng Thái
• Người hướng dẫn: TS. Đinh Viết Sang
• Trường học: Trường đại học bách khoa hà nội
• Chuyên ngành: Khoa học máy tính
• Đề tài: Cải tiến mạng nơ-ron nhiều tầng dựa trên cơ chế chú ý cho bài toán nhận dạng văn bản
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2021
• Địa điểm: Hà nội

Tóm tắt

I. Giới thiệu về Nhận dạng Văn bản với Mạng Nơ ron Chú ý

Nhận dạng văn bản từ hình ảnh là một lĩnh vực nghiên cứu quan trọng trong xử lý hình ảnh và trí tuệ nhân tạo. Trong những năm gần đây, các mạng nơ-ron dựa trên cơ chế chú ý đã trở thành phương pháp hàng đầu để giải quyết bài toán này. Tuy nhiên, khi xử lý hình ảnh từ thiết bị di động được chụp trong điều kiện thực tế như ánh sáng kém, chất lượng mờ hoặc độ phân giải thấp, các phương pháp truyền thống gặp nhiều khó khăn. Luận văn thạc sĩ từ Trường Đại học Bách Khoa Hà Nộ đã đề xuất một phương pháp cải tiến mạng nơ-ron kết hợp cơ chế chú ý nhằm nâng cao hiệu suất nhận dạng văn bản. Phương pháp này sử dụng kiến trúc bộ mã hóa - bộ giải mã tiên tiến để xử lý các hình ảnh phức tạp và đạt được độ chính xác cao hơn.

1.1. Thách thức trong Nhận dạng Văn bản Hiện tại

Các thách thức chính trong nhận dạng văn bản bao gồm: hình ảnh có chất lượng thấp, ánh sáng không đều, bối cảnh phức tạp và nhiễu. Những yếu tố này làm giảm hiệu suất của các mô hình truyền thống. Cơ chế chú ý giúp giải quyết vấn đề này bằng cách tập trung vào các phần quan trọng của hình ảnh, bỏ qua thông tin không liên quan.

1.2. Tầm quan trọng của Cơ chế Chú ý

Cơ chế chú ý cho phép mô hình học tập cách ưu tiên các vùng hình ảnh chứa văn bản. Điều này đặc biệt hữu ích khi xử lý hình ảnh biên lai, ảnh chụp tài liệu trong môi trường thực. Phương pháp này cải thiện đáng kể độ chính xác so với các phương pháp không sử dụng chú ý.

II. Kiến trúc Mạng Nơ ron Bộ mã hóa Bộ giải mã Cải tiến

Phương pháp đề xuất sử dụng kiến trúc mã hóa - giải mã được cải tiến với các thành phần độc lập. Bộ mã hóa sử dụng EfficientNet làm bộ trích chọn đặc trưng mạnh mẽ, cho phép mô hình học các biểu diễn phong phú từ hình ảnh đầu vào. Bộ giải mã được tăng cường bằng cơ chế chú ý phân tầng đa quy mô kết hợp với các cổng chú ý kênh. Cấu trúc này cho phép mô hình tập trung vào các đặc trưng quan trọng ở các mức độ khác nhau. Kết quả thử nghiệm trên các tập dữ liệu SROIE 2019, B-MOD và CORD cho thấy phương pháp này đạt được hiệu suất vượt trội so với các phương pháp cơ sở và các phương pháp hiện đại khác.

2.1. Vai trò của EfficientNet trong Bộ mã hóa

EfficientNet là một bộ trích chọn đặc trưng hiện đại giúp mô hình học đặc trưng mạnh từ hình ảnh. Nó sử dụng phương pháp mở rộng quy mô hợp nhất để cân bằng chiều sâu, chiều rộng và độ phân giải. Điều này giúp tăng hiệu suất nhận dạng văn bản đáng kể.

2.2. Cơ chế Chú ý Đa quy mô trong Bộ giải mã

Cơ chế chú ý phân tầng đa quy mô cho phép bộ giải mã xử lý thông tin ở các tầng khác nhau của mạng. Các cổng chú ý kênh giúp mô hình tập trung vào các kênh đặc trưng quan trọng, cải thiện chất lượng dự đoán.

III. Kết quả Thử nghiệm và Đánh giá Hiệu suất

Phương pháp cải tiến mạng nơ-ron chú ý được đánh giá trên ba tập dữ liệu quan trọng: SROIE 2019 (biên lai quảng cáo), B-MOD (tài liệu kinh doanh) và CORD (hóa đơn). Kết quả cho thấy mô hình đề xuất đạt được độ chính xác cao hơn so với các phương pháp cơ sở hiện tại. Ngoài ra, bài luận văn cũng phân tích độ phức tạp tính toán của mô hình sử dụng thước đo FLOPS (Floating Point Operations). Thời gian chạy của mô hình cũng được so sánh chi tiết với các phương pháp khác. Những kết quả này chứng minh rằng cơ chế chú ý không chỉ cải thiện độ chính xác mà còn duy trì hiệu quả tính toán hợp lý.

3.1. Tập dữ liệu Thử nghiệm

Ba tập dữ liệu SROIE 2019, B-MOD và CORD được sử dụng để đánh giá toàn diện. Mỗi tập dữ liệu có đặc điểm riêng: SROIE 2019 chứa hình ảnh biên lai, B-MOD là tài liệu kinh doanh phức tạp, CORD là hóa đơn từ các quán ăn. Kết quả cho thấy phương pháp đề xuất cân bằng tốt giữa độ chính xác và tốc độ xử lý.

3.2. So sánh Hiệu suất với Các Phương pháp Khác

Hiệu suất vượt trội của phương pháp được chứng minh qua so sánh với nhiều phương pháp hiện đại khác. Phương pháp sử dụng cơ chế chú ý đạt độ chính xác cạnh tranh hoặc tốt hơn các phương pháp đã công bố, đặc biệt trên hình ảnh chất lượng thấp.

IV. Ứng dụng và Hướng Phát triển Trong Tương lai

Nhận dạng văn bản với mạng nơ-ron chú ý có nhiều ứng dụng thực tiễn quan trọng. Các hệ thống trích xuất thông tin từ biên lai, xử lý hóa đơn tự động và số hóa tài liệu đều được hưởng lợi từ phương pháp này. Trong tương lai, nghiên cứu có thể tập trung vào tối ưu hóa mô hình để chạy trên các thiết bị di động với tài nguyên hạn chế. Ngoài ra, kết hợp với các công nghệ khác như nhận dạng bố cục tài liệu hoặc xử lý ngôn ngữ tự nhiên cũng là hướng phát triển tiềm năng. Phương pháp này cũng có thể được mở rộng để hỗ trợ nhận dạng đa ngôn ngữ và các loại tài liệu phức tạp khác.

4.1. Ứng dụng Thực tiễn Hiện tại

Phương pháp nhận dạng văn bản cải tiến được ứng dụng trong hệ thống trích xuất văn bản từ biên lai, xử lý hóa đơn tự động và quản lý tài liệu số. Các công ty có thể sử dụng để tự động hóa quy trình xử lý tài liệu, tiết kiệm thời gian và giảm lỗi.

4.2. Hướng Phát triển Tương lai

Tối ưu hóa cho thiết bị di động, hỗ trợ đa ngôn ngữ và kết hợp xử lý bố cục tài liệu là những hướng phát triển chính. Mô hình nhẹ dễ triển khai trên smartphone sẽ mở rộng ứng dụng thực tiễn của phương pháp này.

Trích đoạn nội dung tài liệu

CHƯƠNG 1 GIỚI THIỆU BÀI TOÁN Trong chương này, tác giả trình bày động lực của việc thực hiện đề tài luận văn, thông qua việc phân tích hạn chế cụ thể trong phương pháp cơ sở của bài toán nhận dạng văn bản, và trình bày những đóng góp chính trong luận văn qua việc đề xuất một phương pháp nhận dạng văn bản mới nhằm khắc phục hạn chế đó.1 Nghiên cứu liên quan Đối với bài toán nhận dạng văn bản, các cách tiếp cận chính được chia thành hai dạng: nhận dạng dựa trên ký tự và nhận dạng dựa trên đối tượng văn bản. Dựa trên nhận dạng ký tự, [13]-[15] nhận dạng văn bản bằng cách trước tiên phát hiện từng ký tự, sau đó sử dụng CNN làm bộ phân loại. Cách tiếp cận này thường gây nhầm lẫn giữa các ký tự, không thể sử dụng hiệu quả thông tin ngữ cảnh toàn cục và phụ thuộc phần lớn vào độ chính xác của bộ phân loại, điều này càng gây khó khăn với yêu cầu cải thiện hiệu suất tổng thể. Dựa trên nhận dạng đối tượng văn bản, [12] và [16]-[18] đã phân tích bài toán nhận dạng văn bản tương tự như một bài toán mô hình hóa chuỗi, trực tiếp tạo chuỗi đầu ra bằng cách trích chọn thông tin từ đầu vào, sử dụng mạng nơ-ron hồi tiếp với CTC [19] hoặc cơ chế chú ý, giúp cải thiện đáng kể độ chính xác của bộ nhận dạng văn bản.

Đại diện của mạng nơ-ron hồi tiếp như LSTM [10] được sử dụng rộng rãi trong bài toán nhận dạng văn bản cũng như trong nhiều lĩnh vực khác. Sự ra đời của cơ chế chú ý và LSTM hai chiều [20] làm cho mạng chú ý nhiều hơn đến thông tin ngữ cảnh và cải thiện được hiệu suất chung. Trong luận văn này, chúng tôi xem xét phương pháp mạng nơ-ron bộ mã 17 hóa - bộ giải mã dựa trên cơ chế chú ý truyền thống được giới thiệu bởi Bahdanau và cộng sự [29] là phương pháp cơ sở trong các phân tích và thử nghiệm của chúng tôi.2 Hạn chế của phương pháp cơ sở Trong bài toán nhận dạng văn bản, điều kiện trong bối cảnh thực có tác động đáng kể đến chất lượng hình ảnh đầu vào (ví dụ: hình ảnh chứa văn bản bị biến dạng hoặc chồng lấp, hình ảnh có cảnh nền phức tạp, các ký tự có kiểu chữ, kích thước và màu sắc đa dạng. Đối với những hình ảnh có tính thách thức như vậy, các phương pháp cơ sở dựa trên cơ chế chú ý truyền thống thường hoạt động kém hiệu quả.

Phân tích các kết quả trung gian và cuối cùng từ cơ chế chú ý truyền thống trên tập dữ liệu thực, chúng tôi nhận thấy rằng một trong những lý do chính là do các liên kết được ước tính bởi hoạt động căn chỉnh của cơ chế chú ý truyền thống thường bị hỏng do chất lượng của hình ảnh. Nói cách khác, cơ chế chú ý truyền thống trong trường hợp này không thể liên kết chính xác từng vector đặc trưng với từng mục tiêu tương ứng trong hình ảnh đầu vào. Điều này có nghĩa là, các vùng chú ý sinh từ cơ chế chú ý truyền thống bị lệch đi ở mức độ nào đó so với các vùng chứa ký tự mục tiêu trong ảnh. [12] gọi hiện tượng này là sự sai lệch chú ý (“attention drift”), và do đó đặt ra yêu cầu phát triển một số kỹ thuật để khắc phục sai lệch từ hoạt động căn chỉnh.1 a) minh họa cho hiện tượng sự sai lệch chú ý của cơ chế chú ý truyền thống, với ví dụ được chọn từ một trong các thử nghiệm đánh giá.

Sau khi hình ảnh đầu vào được nhập, mô hình được mong đợi trả về một chuỗi văn bản “Telur”, nhưng thực tế nó trả về “Tetur”, với ký tự ‘l’ đã bị nhận dạng sai thành ký tự ‘t’. Trên thực tế, có rất nhiều ví dụ mà kết quả nhận dạng bị sai lệch như vậy. Để minh họa trực quan hơn, chúng tôi tính toán các bản đồ chú ý của năm ký tự trong ảnh; với mỗi bản đồ, chọn vùng có điểm chú ý cực 18 Hình 1.1: Minh họa về sự sai lệch chú ý trong a) phương pháp dựa trên cơ chế chú ý truyền thống và b) phương pháp đề xuất của chúng tôi. đại làm tâm của bản đồ chú ý và được minh họa bằng ký hiệu ‘+’ màu vàng trong hình ảnh kết quả ở trên cùng của Hình 1.

Có thể thấy rằng, tâm của bản đồ chú ý tương ứng ký tự ‘l’ nằm lệch về phía đuôi của nó, tương tự như hình dạng đuôi của một ký tự ‘t’, do đó mô hình đã bị nhầm lẫn và xuất ra ký tự dự đoán là ‘t’. Các ký tự còn lại được nhận dạng chính xác, mặc dù vậy quan sát thấy rằng tâm chú ý của chúng bị lệch đi đáng kể so với vị trí trên hình ảnh. Theo hiểu biết của tác giả, điều này xuất phát từ hoạt động của cơ chế chú ý truyền thống, nó chỉ tiếp nhận và xử lý đầu vào là các vector đặc trưng 1D được mã hóa (từ bộ trích chọn đặc trưng) và tính toán trọng số chú ý dựa trên thông tin lịch sử từ trạng thái ẩn của mạng nơ-ron hồi tiếp, do các đặc trưng không còn mang thông tin về mặt không gian nên cơ chế chú ý truyền thống không thể căn chỉnh chính xác giữa đặc trưng và mục tiêu tương ứng.3 Đóng góp Để giải quyết vấn đề trên, trong luận văn này, tác giả đề xuất một phương pháp nhận dạng mới, dựa trên việc cải thiện cơ chế chú ý truyền thống.1 b) minh họa cho phương pháp đề xuất của chúng tôi. Trước hết, do cơ chế chú ý truyền thống không thể xử lý thông tin về mặt không gian, chúng tôi sử dụng kiến trúc chú ý trực quan gồm hai nhánh, với một nhánh tạo ra các bản đồ chú ý (hoặc còn gọi là bản đồ nhiệt) từ bản đồ đặc trưng 2D có khả năng định vị hóa vị trí các ký tự trong hình ảnh, thông qua một mô-đun căn chỉnh sử dụng kiến trúc mạng nơ-ron phân tầng đa quy mô (multi-scale cascade), kết hợp với các mô-đun cổng chú ý kênh.

Một cơ chế chú ý sử dụng các bản đồ nhiệt được sinh ra và bản đồ đặc trưng 2D để tạo ra tập các vector mang thông tin ngữ cảnh phong phú; sau đó, thông qua một bộ giải mã được thiết kế dưới dạng một vòng lặp giải mã, sử dụng nó để giải mã các vector ngữ cảnh, tạo ra phân phối dự đoán theo từng bước thời gian.1 b), phương pháp đề xuất đã trả về chuỗi văn bản chính xác “Telur”, với các tâm chú ý của mỗi ký tự tương ứng được căn chỉnh chính xác đáng kể so với cơ chế chú ý truyền thống. Mô hình của chúng tôi cũng được củng cố bởi một bộ trích chọn đặc trưng mạnh mẽ có tên gọi EfficientNet [8], chúng tôi tiến hành chỉnh sửa kiến trúc mạng nơ-ron này để tăng khả năng cải thiện hiệu suất cho bài toán nhận dạng văn bản. Những đóng góp chính của chúng tôi trong luận văn này có thể được tóm tắt như sau: • Chúng tôi đề xuất mạng nơ-ron giống EfficientNet và sử dụng nó như một mô-đun trích chọn đặc trưng trước bộ giải mã. • Chúng tôi đề xuất một cơ chế chú ý mới theo kiểu phân tầng đa quy mô để cải thiện khả năng định vị hóa ký tự trong hình ảnh văn bản.

• Chúng tôi thực hiện các thử nghiệm chi tiết để đánh giá hiệu quả của 20 phương pháp đề xuất của chúng tôi trên ba tập dữ liệu SROIE 2019, B-MOD và CORD, đồng thời xác nhận rằng phương pháp đề xuất của chúng tôi mang lại hiệu suất cạnh tranh so với các phương pháp tiếp cận hiện đại khác. 21 CHƯƠNG 2 TỔNG QUAN LÝ THUYẾT Trong chương này, tác giả trình bày một số kiến thức tổng quan về lĩnh vực học sâu và mạng nơ-ron sâu, những hiểu biết này đóng vai trò quan trọng vào việc hình thành cách tiếp cận cơ sở cho bài toán nhận dạng văn bản.1 Mô tả chung về mạng nơ-ron sâu (DNN) DNN có thể được phân chia thành một số kiểu lớp mạng khác nhau, nhìn chung chúng khác nhau về cách thức đầu vào và đầu ra của một lớp được kết nối với nhau như thế nào. Có hai thuộc tính cơ bản đối với các kết nối trong một lớp mạng: • Nếu một lớp có toàn bộ đầu vào được kết nối với đầu ra, thì lớp đó được gọi là lớp kết nối hoàn toàn (lớp FC). Mặt khác, nếu một lớp mà chỉ có một tập con của các đầu vào được kết nối với một đầu ra, thì lớp đó được gọi là kết nối thưa.

Đối với lớp kết nối thưa, đầu ra có thể được kết nối với bất kỳ đầu vào nào (toàn cục) hoặc chỉ trên một vùng lân cận trong đầu vào (cục bộ). Hệ quả là, xuất hiện một cửa sổ trượt, xác định một vùng lân cận được sử dụng làm đầu vào để tính toán đầu ra của lớp mạng, được gọi là trường tiếp thụ (receptive field). • Giá trị trọng số liên quan đến mỗi kết nối: Trong trường hợp phổ biến trọng số có thể nhận bất kỳ giá trị nào (mỗi trọng số có thể có một giá trị duy nhất). Một trường hợp khác là cùng một giá trị được chia sẻ bởi nhiều trọng số, được gọi là cơ chế chia sẻ trọng số.

Các lớp có thuộc tính kết nối hoàn toàn được gọi là lớp FC. Một kiểu lớp kết nối thưa cục bộ và chia sẻ trọng số là lớp tích chập (lớp Conv). Tính toán 22 Hình 2.1: Kết nối hoàn toàn và kết nối thưa. [1] chính trong lớp FC và lớp Conv là phép tính tổng trọng số, ngoài ra có thể thực hiện một số phép tính khác.2 Các kiểu lớp phổ biến Phần này mô tả về các kiểu lớp phổ biến trong DNN, các lớp này có thể được xem như là lớp nguyên thủy, chúng thường được kết hợp với nhau để tạo thành khối mạng tính toán phức hợp.1 Lớp tích chập (Conv) Các lớp Conv chủ yếu là các phép tích chập nhiều chiều.

Trong phép tính này, đầu vào của một lớp được cấu trúc dưới dạng bản đồ đặc trưng đầu vào 3D, trong đó các chiều là chiều cao (H ), chiều rộng (W ) và số kênh của đầu vào (C ). Trọng số của lớp Conv được cấu trúc như một bộ lọc 3D, trong đó các chiều của bộ lọc là chiều cao (R), chiều rộng (S ) và số kênh (C - số kênh của bản đồ đặc trưng và bộ lọc là như nhau). Đối với từng kênh, bản đồ đặc trưng là đầu vào của phép tích chập 2D, tương ứng với từng kênh của bộ lọc.