Tổng quan nghiên cứu

Nhận dạng ký tự quang học (OCR) là một lĩnh vực quan trọng trong công nghệ xử lý ảnh và trí tuệ nhân tạo, với ứng dụng rộng rãi trong số hóa tài liệu, tự động hóa nhập liệu và nhận diện văn bản từ hình ảnh. Theo ước tính, việc số hóa tài liệu truyền thống có thể giảm thiểu đến 70% thời gian xử lý và lưu trữ, đồng thời nâng cao hiệu quả tra cứu thông tin. Luận văn tập trung vào bài toán nhận dạng ký tự quang học cho văn bản có cấu trúc, cụ thể là ứng dụng trong đọc chứng minh thư nhân dân, một loại giấy tờ tùy thân phổ biến tại Việt Nam. Nghiên cứu được thực hiện trong phạm vi thời gian năm 2022, với dữ liệu thu thập từ khoảng 580 ảnh chứng minh thư thực tế, nhằm phát triển một hệ thống nhận dạng tự động, chính xác và hiệu quả.

Mục tiêu chính của luận văn là xây dựng một phương pháp nhận dạng ký tự quang học ứng dụng kỹ thuật học sâu, kết hợp các mô hình tiên tiến như SSD-v2, CRAFT và Transformer để xử lý ảnh chứng minh thư bị biến dạng, nghiêng, mờ hoặc lóa. Nghiên cứu không chỉ tập trung vào việc nhận diện ký tự mà còn xử lý các bước tiền xử lý ảnh, xác định vùng quan tâm và chuẩn hóa ảnh nhằm nâng cao độ chính xác nhận dạng. Kết quả nghiên cứu có ý nghĩa lớn trong việc hỗ trợ tự động hóa quy trình kiểm tra, xác thực giấy tờ, giảm thiểu sai sót và tăng tốc độ xử lý trong các cơ quan hành chính, ngân hàng và các tổ chức cần xác minh thông tin cá nhân.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai khung lý thuyết chính: nhận dạng ký tự quang học (OCR) và kỹ thuật học sâu (Deep Learning).

  1. Nhận dạng ký tự quang học (OCR): Là quá trình chuyển đổi hình ảnh chứa văn bản thành dữ liệu số có thể xử lý. Các bước cơ bản gồm tiền xử lý ảnh, phát hiện ký tự và nhận diện ký tự. Văn bản được phân loại thành hai loại: văn bản có cấu trúc (như chứng minh thư) và văn bản phi cấu trúc (như biển hiệu, hóa đơn).

  2. Kỹ thuật học sâu: Sử dụng các mô hình mạng nơ-ron tích chập (CNN), mạng thần kinh hồi tiếp (RNN), mạng LSTM và Transformer để trích xuất đặc trưng và nhận diện ký tự. Mô hình SSD-v2 được dùng để xác định vị trí 4 góc của chứng minh thư, mô hình CRAFT để phát hiện vùng ký tự, và mô hình Transformer (vietOCR) để nhận diện ký tự với cơ chế attention giúp cải thiện độ chính xác so với RNN và LSTM truyền thống.

Các khái niệm chính bao gồm:

  • Phép biến đổi TPS (Thin Plate Spline): Dùng để chỉnh sửa biến dạng ảnh, làm thẳng các ký tự bị nghiêng hoặc méo.
  • Biến đổi Hough: Phát hiện góc nghiêng của ảnh dựa trên phân tích đường thẳng trong không gian ảnh.
  • Intersection over Union (IoU): Đánh giá độ chính xác của hộp giới hạn trong nhận diện vật thể.
  • Attention Mechanism: Cơ chế giúp mô hình tập trung vào các phần quan trọng của chuỗi dữ liệu đầu vào, nâng cao hiệu quả nhận diện.

Phương pháp nghiên cứu

Nguồn dữ liệu chính gồm 580 ảnh chứng minh thư thu thập từ các nhóm Facebook chuyên tìm kiếm và trả lại giấy tờ, cùng bộ dữ liệu tự sinh gồm một triệu ảnh ký tự dùng để huấn luyện mô hình nhận diện ký tự.

Phương pháp nghiên cứu bao gồm:

  • Tiền xử lý ảnh: Xác định và chuẩn hóa vùng ảnh chứng minh thư bằng mô hình SSD-v2 để phát hiện 4 góc, sử dụng phép biến đổi TPS và biến đổi Hough để chỉnh sửa ảnh bị nghiêng, méo.
  • Phát hiện vùng ký tự: Áp dụng mô hình CRAFT để xác định chính xác vị trí từng ký tự trong ảnh.
  • Nhận diện ký tự: Sử dụng mô hình Transformer trong thư viện vietOCR với cơ chế attention để nhận dạng ký tự từ vùng ảnh đã được tách.

Phương pháp phân tích sử dụng các chỉ số như F1 score để đánh giá độ chính xác mô hình. Cỡ mẫu huấn luyện cho mô hình SSD-v2 là 300 ảnh, kiểm tra trên 280 ảnh. Thời gian huấn luyện mô hình SSD-v2 là khoảng 8 tiếng trên môi trường CPU Intel i7-10700F, GPU GTX 2070 8GB, RAM 32GB, sử dụng thư viện Pytorch 1.0.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

  1. Độ chính xác xác định góc chứng minh thư: Mô hình SSD-v2 đạt F1 score 97% trên bộ kiểm tra 280 ảnh, với 551 mẫu đúng và 10 mẫu sai do bị che góc. Kết quả này cho thấy mô hình có khả năng phát hiện chính xác vị trí 4 góc của chứng minh thư, giúp chuẩn hóa ảnh hiệu quả.

  2. Hiệu quả phát hiện vùng ký tự bằng CRAFT: Mô hình CRAFT nhận diện chính xác các ký tự trong vùng ảnh chứng minh thư, ngay cả với ảnh bị nghiêng, mờ hoặc lóa. Các hộp giới hạn ký tự được xác định rõ ràng, tạo điều kiện thuận lợi cho bước nhận diện ký tự tiếp theo.

  3. Nhận diện ký tự bằng mô hình Transformer (vietOCR): Mô hình Transformer cho kết quả nhận diện ký tự vượt trội so với các mô hình RNN và LSTM truyền thống, đặc biệt trong việc xử lý các chuỗi ký tự dài và có ngữ nghĩa phức tạp. Thời gian xử lý nhanh và khả năng nhận diện chính xác các ký tự tiếng Việt trong chứng minh thư được cải thiện rõ rệt.

  4. Khả năng xử lý ảnh biến dạng: Hệ thống tổng thể có thể xử lý tốt các ảnh chứng minh thư bị biến dạng như nghiêng, méo, mất góc hoặc ánh sáng kém, nhờ sự kết hợp của các kỹ thuật tiền xử lý như TPS và biến đổi Hough.

Thảo luận kết quả

Nguyên nhân thành công của hệ thống là do sự kết hợp hiệu quả giữa các mô hình học sâu chuyên biệt cho từng bước xử lý: SSD-v2 cho phát hiện góc, CRAFT cho phát hiện ký tự và Transformer cho nhận diện ký tự. So với các nghiên cứu trước đây chỉ sử dụng mô hình truyền thống hoặc học máy cổ điển, hệ thống này đạt độ chính xác cao hơn khoảng 10-15% trong nhận diện ký tự trên ảnh chứng minh thư.

Kết quả có thể được trình bày qua biểu đồ F1 score so sánh giữa các mô hình SSD-v2, CRAFT và các mô hình truyền thống, cũng như bảng thống kê số lượng mẫu đúng/sai trong từng bước xử lý. Ngoài ra, biểu đồ thời gian xử lý trung bình cho mỗi ảnh cũng minh họa hiệu quả của hệ thống.

Tuy nhiên, do hạn chế về kích thước bộ dữ liệu thực tế (580 ảnh), kết quả có thể chưa phản ánh đầy đủ các trường hợp giới hạn như ảnh quá mờ hoặc bị che khuất nhiều. Luận văn đề xuất mở rộng bộ dữ liệu để cải thiện độ bao phủ và độ chính xác trong tương lai.

Đề xuất và khuyến nghị

  1. Mở rộng bộ dữ liệu huấn luyện: Thu thập thêm nhiều ảnh chứng minh thư từ các nguồn khác nhau, đặc biệt là các trường hợp ảnh bị mờ, lóa hoặc che khuất để tăng độ đa dạng và độ chính xác của mô hình. Mục tiêu đạt ít nhất 2000 ảnh trong vòng 12 tháng, do nhóm nghiên cứu và cộng đồng hỗ trợ.

  2. Tối ưu hóa mô hình nhận diện ký tự: Nghiên cứu và áp dụng các kiến trúc Transformer mới hơn hoặc kết hợp với kỹ thuật tăng cường dữ liệu (data augmentation) để nâng cao khả năng nhận diện ký tự trong điều kiện ảnh kém chất lượng. Thời gian thực hiện dự kiến 6 tháng, do nhóm phát triển AI đảm nhiệm.

  3. Phát triển ứng dụng thực tế: Xây dựng phần mềm hoặc API tích hợp hệ thống nhận dạng ký tự quang học cho các cơ quan hành chính, ngân hàng nhằm tự động hóa quy trình kiểm tra giấy tờ. Mục tiêu triển khai thử nghiệm trong 9 tháng, phối hợp với các đơn vị đối tác.

  4. Nâng cao khả năng xử lý ảnh phi cấu trúc: Mở rộng nghiên cứu sang nhận dạng văn bản phi cấu trúc như hóa đơn, biển số xe bằng cách điều chỉnh mô hình CRAFT và Transformer phù hợp. Thời gian nghiên cứu 1 năm, do nhóm nghiên cứu chuyên sâu về xử lý ảnh thực hiện.

Đối tượng nên tham khảo luận văn

  1. Nhà nghiên cứu và sinh viên ngành hệ thống thông tin, trí tuệ nhân tạo: Luận văn cung cấp kiến thức chuyên sâu về ứng dụng học sâu trong nhận dạng ký tự quang học, giúp phát triển các đề tài nghiên cứu liên quan.

  2. Chuyên gia phát triển phần mềm xử lý ảnh và OCR: Các kỹ thuật và mô hình được trình bày có thể áp dụng để xây dựng hoặc cải tiến các hệ thống nhận dạng văn bản tự động, đặc biệt trong lĩnh vực giấy tờ tùy thân.

  3. Cơ quan hành chính và tổ chức tài chính: Hệ thống nhận dạng chứng minh thư tự động giúp tăng tốc độ xử lý hồ sơ, giảm sai sót và nâng cao hiệu quả công việc.

  4. Doanh nghiệp công nghệ và startup trong lĩnh vực AI: Tham khảo để phát triển sản phẩm ứng dụng OCR cho các loại giấy tờ, tài liệu khác nhau, mở rộng thị trường và nâng cao chất lượng dịch vụ.

Câu hỏi thường gặp

  1. Hệ thống có thể nhận diện chính xác khi ảnh chứng minh thư bị mờ hoặc lóa không?
    Hệ thống sử dụng kỹ thuật tiền xử lý như TPS và mô hình học sâu giúp cải thiện khả năng nhận diện trong điều kiện ảnh mờ, lóa. Thực nghiệm cho thấy vẫn nhận diện được ký tự với độ chính xác cao trên nhiều ảnh bị biến dạng.

  2. Tại sao chọn mô hình Transformer thay vì RNN hay LSTM?
    Transformer xử lý song song các từ trong chuỗi, giảm thời gian huấn luyện và cải thiện khả năng ghi nhớ phụ thuộc dài, giúp nhận diện ký tự chính xác hơn, đặc biệt với ngôn ngữ có cấu trúc phức tạp như tiếng Việt.

  3. Bộ dữ liệu huấn luyện có đủ lớn để đảm bảo độ chính xác không?
    Bộ dữ liệu thực tế gồm 580 ảnh chứng minh thư và một triệu ảnh ký tự tự sinh giúp mô hình học tốt. Tuy nhiên, tác giả đề xuất mở rộng dữ liệu để bao phủ các trường hợp giới hạn và nâng cao độ chính xác.

  4. Hệ thống có thể áp dụng cho các loại giấy tờ khác ngoài chứng minh thư không?
    Về nguyên tắc, hệ thống có thể điều chỉnh để nhận dạng các loại giấy tờ có cấu trúc tương tự như hộ chiếu, giấy khai sinh, hoặc các văn bản có cấu trúc khác bằng cách huấn luyện lại mô hình với dữ liệu phù hợp.

  5. Thời gian xử lý trung bình cho một ảnh chứng minh thư là bao lâu?
    Thời gian xử lý trung bình trên môi trường thử nghiệm là vài giây cho mỗi ảnh, phù hợp để ứng dụng trong các hệ thống tự động hóa quy trình kiểm tra giấy tờ.

Kết luận

  • Luận văn đã xây dựng thành công hệ thống nhận dạng ký tự quang học cho chứng minh thư nhân dân dựa trên kỹ thuật học sâu, kết hợp SSD-v2, CRAFT và Transformer.
  • Mô hình SSD-v2 đạt F1 score 97% trong việc xác định góc ảnh, giúp chuẩn hóa ảnh hiệu quả.
  • Mô hình CRAFT và Transformer cho kết quả nhận diện ký tự chính xác ngay cả với ảnh bị biến dạng, mờ hoặc lóa.
  • Hệ thống có thể xử lý ảnh chứng minh thư trong điều kiện thực tế với độ chính xác và tốc độ xử lý cao.
  • Đề xuất mở rộng bộ dữ liệu và phát triển ứng dụng thực tế nhằm nâng cao hiệu quả và mở rộng phạm vi ứng dụng trong tương lai.

Để tiếp tục phát triển, các nhà nghiên cứu và doanh nghiệp nên tập trung vào mở rộng dữ liệu, tối ưu mô hình và tích hợp hệ thống vào quy trình làm việc thực tế nhằm khai thác tối đa tiềm năng của công nghệ nhận dạng ký tự quang học.