Tổng quan nghiên cứu

Trong bối cảnh kinh doanh hiện đại, danh thiếp vẫn giữ vai trò quan trọng trong việc kết nối và chia sẻ thông tin liên lạc. Tuy nhiên, việc chuyển đổi thông tin từ danh thiếp sang định dạng số thường tốn nhiều thời gian và dễ phát sinh sai sót khi thực hiện thủ công. Theo ước tính, có khoảng 1330 ảnh danh thiếp được thu thập và xử lý trong nghiên cứu này nhằm phát triển một giải pháp tự động trích xuất thông tin chính xác và hiệu quả. Mục tiêu cụ thể của luận văn là xây dựng một ứng dụng sử dụng kỹ thuật học sâu, kết hợp mô hình YOLOv8 để phát hiện vị trí các trường thông tin quan trọng như tên, điện thoại, email, địa chỉ trên danh thiếp, sau đó sử dụng thư viện Tesseract OCR để trích xuất văn bản từ các vùng đã xác định. Phạm vi nghiên cứu tập trung vào dữ liệu thu thập từ các công ty, hội chợ triển lãm và các nguồn trực tuyến tại thành phố Hồ Chí Minh trong năm 2023. Ý nghĩa của đề tài nằm ở việc tự động hóa quy trình thu thập và quản lý thông tin danh thiếp, giúp tiết kiệm thời gian, giảm thiểu sai sót và nâng cao hiệu quả quản lý dữ liệu trong các hệ thống CRM và ứng dụng quản lý liên hệ.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết chính: mạng thần kinh tích chập (CNN) và nhận diện đối tượng (Object Detection). CNN là mô hình học sâu hiệu quả trong việc xử lý dữ liệu hình ảnh, với các lớp tích chập giúp trích xuất đặc trưng từ ảnh. Nhận diện đối tượng là nhiệm vụ xác định vị trí và phân loại các đối tượng trong ảnh, được thực hiện qua các mô hình như R-CNN, Fast R-CNN, Faster R-CNN và YOLO. Trong đó, YOLO (You Only Look Once) là mô hình một giai đoạn, cho phép phát hiện đối tượng nhanh và chính xác trong một lần xử lý ảnh. Phiên bản YOLOv8 được sử dụng trong nghiên cứu có nhiều cải tiến về kiến trúc như tinh chỉnh phần Stem, Bottleneck, Backbone (khối C2f thay cho C3), Neck và hàm mất mát, giúp tăng độ chính xác và hiệu suất xử lý. Ngoài ra, thư viện Tesseract OCR được áp dụng để trích xuất văn bản từ các vùng ảnh đã được phát hiện, với quy trình gồm tiền xử lý ảnh, phân tích thành phần kết nối, cấu trúc dòng văn bản, phân đoạn từ và nhận dạng ký tự.

Phương pháp nghiên cứu

Nguồn dữ liệu chính là 1330 ảnh danh thiếp thu thập thủ công từ các công ty, hội chợ triển lãm, tờ rơi quảng cáo và các nguồn trực tuyến. Dữ liệu được phân chia thành tập huấn luyện gồm 1064 ảnh và tập đánh giá gồm 266 ảnh, với các nhãn gồm bốn lớp: Name (986 nhãn), Email (902 nhãn), Phone (1594 nhãn), Address (1149 nhãn). Phương pháp chọn mẫu là chọn các ảnh rõ nét, chụp chính diện, không bị mờ hoặc biến dạng. Quá trình xử lý dữ liệu bao gồm tiền xử lý ảnh như xoay, điều chỉnh độ sáng, giảm nhiễu và loại bỏ ảnh lỗi. Mô hình YOLOv8 được huấn luyện trên nền tảng Google Colab với GPU Tesla T4, CPU 2 cores, sử dụng ba phiên bản YOLOv8n, YOLOv8m và YOLOv8l với các tham số như kích thước ảnh 640x640, batch size 16, tốc độ học 0.937, số vòng huấn luyện 100 epochs. Kết quả huấn luyện được đánh giá qua các chỉ số Accuracy, Precision, Recall, F1-score và mAP@50. Sau khi phát hiện vị trí các trường thông tin, ảnh được cắt nhỏ và tiền xử lý để tăng độ rõ nét trước khi đưa vào Tesseract OCR trích xuất văn bản. Ứng dụng được xây dựng trên nền tảng Flask, hỗ trợ giao diện web và tích hợp RESTful API để triển khai mô hình.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

  1. Hiệu suất mô hình YOLOv8n: Mô hình đạt Precision trung bình khoảng 80.2%, Recall đạt 89.5% cho lớp Name, mAP@50 đạt 95%, cho thấy khả năng phát hiện vị trí các trường thông tin trên danh thiếp rất tốt. Confusion Matrix cho thấy tỷ lệ dự đoán đúng lần lượt là 90% (Name), 87% (Email), 87% (Phone), 87% (Address).

  2. So sánh các phiên bản YOLOv8: Phiên bản YOLOv8m và YOLOv8l có độ chính xác cao hơn YOLOv8n nhưng thời gian xử lý lâu hơn. Mô hình YOLOv8 đạt mAP@50 là 0.62 với độ trễ GPU chỉ 1.3ms, vượt trội so với Faster R-CNN với mAP@50 là 0.41 và độ trễ 54ms.

  3. Độ chính xác trích xuất văn bản: Việc kết hợp YOLOv8 với Tesseract OCR giúp trích xuất chính xác các thông tin như tên, số điện thoại, email và địa chỉ từ các vùng ảnh đã phát hiện, giảm thiểu sai sót so với phương pháp OCR truyền thống.

  4. Tính đa dạng dữ liệu: Tập dữ liệu đa dạng với nhiều định dạng danh thiếp, kích thước và kiểu chữ khác nhau, giúp mô hình có khả năng tổng quát hóa tốt trong thực tế.

Thảo luận kết quả

Nguyên nhân chính giúp mô hình đạt hiệu quả cao là do sự kết hợp giữa khả năng phát hiện đối tượng chính xác của YOLOv8 và khả năng nhận dạng ký tự mạnh mẽ của Tesseract. Việc sử dụng mạng CNN với kiến trúc cải tiến giúp mô hình tập trung vào các đặc trưng quan trọng, đồng thời giảm thiểu tài nguyên tính toán. So với các nghiên cứu trước đây sử dụng Faster R-CNN hoặc các phương pháp OCR truyền thống, nghiên cứu này cho thấy sự cải thiện rõ rệt về tốc độ và độ chính xác. Kết quả có thể được trình bày qua biểu đồ Confusion Matrix, biểu đồ so sánh mAP và thời gian xử lý giữa các mô hình, cũng như bảng thống kê các chỉ số Precision, Recall, F1-score cho từng lớp. Ý nghĩa của kết quả là tạo nền tảng cho các ứng dụng thực tế trong quản lý danh bạ, CRM và tự động hóa quy trình kinh doanh, góp phần nâng cao hiệu quả và giảm thiểu sai sót trong xử lý thông tin danh thiếp.

Đề xuất và khuyến nghị

  1. Triển khai ứng dụng trên nền tảng di động: Phát triển phiên bản ứng dụng trên điện thoại thông minh để người dùng có thể quét và trích xuất thông tin danh thiếp mọi lúc mọi nơi, hướng tới tăng tỷ lệ sử dụng và tiện lợi trong vòng 6 tháng tới.

  2. Mở rộng tập dữ liệu huấn luyện: Thu thập thêm dữ liệu danh thiếp đa dạng về ngôn ngữ, kiểu chữ và thiết kế để nâng cao khả năng tổng quát hóa của mô hình, dự kiến thực hiện trong 12 tháng tiếp theo bởi nhóm nghiên cứu và đối tác doanh nghiệp.

  3. Tối ưu hóa mô hình cho thời gian thực: Nghiên cứu và áp dụng các kỹ thuật nén mô hình, pruning hoặc quantization để giảm độ trễ xử lý, đảm bảo ứng dụng có thể hoạt động mượt mà trên các thiết bị có cấu hình thấp, hoàn thành trong 9 tháng.

  4. Tích hợp hệ thống quản lý dữ liệu: Kết nối ứng dụng với các hệ thống CRM và quản lý liên hệ hiện có để tự động cập nhật và đồng bộ dữ liệu, giúp doanh nghiệp quản lý khách hàng hiệu quả hơn, triển khai trong vòng 6 tháng.

Đối tượng nên tham khảo luận văn

  1. Nhà phát triển phần mềm và kỹ sư AI: Có thể áp dụng kiến thức về mô hình YOLOv8 và kỹ thuật OCR để phát triển các ứng dụng nhận diện và trích xuất thông tin tự động trong nhiều lĩnh vực khác nhau.

  2. Doanh nghiệp và bộ phận quản lý khách hàng: Sử dụng ứng dụng để tự động hóa việc nhập liệu danh thiếp, giảm thiểu sai sót và tiết kiệm thời gian, nâng cao hiệu quả quản lý dữ liệu khách hàng.

  3. Nhà nghiên cứu trong lĩnh vực thị giác máy tính và học sâu: Tham khảo phương pháp kết hợp phát hiện đối tượng và nhận dạng ký tự, cũng như các cải tiến kiến trúc mạng YOLOv8 để phát triển các nghiên cứu tiếp theo.

  4. Sinh viên và giảng viên ngành Khoa học máy tính: Học tập và áp dụng các kỹ thuật học sâu, xử lý ảnh và xây dựng ứng dụng thực tế, từ đó nâng cao năng lực nghiên cứu và thực hành.

Câu hỏi thường gặp

  1. Ứng dụng có thể xử lý các loại danh thiếp đa ngôn ngữ không?
    Hiện tại, ứng dụng chủ yếu được huấn luyện trên danh thiếp tiếng Việt với các ký tự Latinh. Tuy nhiên, với việc mở rộng tập dữ liệu và tinh chỉnh mô hình, ứng dụng có thể được điều chỉnh để hỗ trợ đa ngôn ngữ trong tương lai.

  2. Độ chính xác của mô hình trong điều kiện ảnh mờ hoặc chụp nghiêng như thế nào?
    Mô hình yêu cầu ảnh đầu vào rõ nét, chụp chính diện để đạt hiệu suất tốt nhất. Ảnh mờ hoặc lệch góc có thể làm giảm độ chính xác, do đó cần tiền xử lý hoặc loại bỏ ảnh lỗi trước khi trích xuất.

  3. Thời gian xử lý trung bình cho một ảnh danh thiếp là bao lâu?
    Với cấu hình GPU Tesla T4, thời gian xử lý trung bình cho một ảnh khoảng 1.3ms đối với mô hình YOLOv8, đảm bảo khả năng xử lý gần thời gian thực.

  4. Ứng dụng có thể tích hợp với hệ thống CRM hiện có không?
    Có thể tích hợp thông qua API RESTful được xây dựng trên nền tảng Flask, giúp đồng bộ dữ liệu tự động giữa ứng dụng và hệ thống CRM.

  5. Làm thế nào để cải thiện độ chính xác trích xuất văn bản từ các vùng ảnh?
    Tiền xử lý ảnh như tăng độ tương phản, giảm nhiễu và cắt ảnh chính xác giúp nâng cao chất lượng đầu vào cho Tesseract OCR, từ đó cải thiện độ chính xác nhận dạng ký tự.

Kết luận

  • Luận văn đã xây dựng thành công ứng dụng trích xuất thông tin từ danh thiếp sử dụng kỹ thuật học sâu, kết hợp mô hình YOLOv8 và thư viện Tesseract OCR.
  • Mô hình đạt độ chính xác cao với mAP@50 lên đến 95% và thời gian xử lý nhanh, phù hợp cho ứng dụng thực tế.
  • Phương pháp này giúp tự động hóa quy trình thu thập và quản lý thông tin danh thiếp, tiết kiệm thời gian và giảm thiểu sai sót so với phương pháp thủ công.
  • Kết quả nghiên cứu mở ra hướng phát triển ứng dụng trên nền tảng di động và tích hợp với hệ thống CRM, nâng cao hiệu quả quản lý dữ liệu doanh nghiệp.
  • Các bước tiếp theo bao gồm mở rộng tập dữ liệu, tối ưu hóa mô hình và phát triển giao diện người dùng thân thiện, mời các nhà nghiên cứu và doanh nghiệp cùng hợp tác ứng dụng công nghệ này.