Nghiên Cứu Và Đánh Giá Phương Pháp Rút Trích Thông Tin Từ Danh Thiếp

Luận văn tốt nghiệp toán học nghiên cứu tốt nghiệp khoa học máy tính nghiên cứu và đánh giá một số phương pháp cho bài toán rút trích thông, điều tra thực trạng, phân tích số

• Tác giả: Phạm Duy Giác Nguyên
• Người hướng dẫn: TS. Mai Tiến Dũng
• Trường học: Đại học Công nghệ Thông tin
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Nghiên Cứu Phương Pháp Rút Trích Thông Tin Từ Danh Thiếp
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2022
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Giới thiệu
• 1.2. Mục tiêu và phạm vi nghiên cứu
• 1.2.1. Mục tiêu
• 1.2.2. Phạm vi
• 1.3. Đóng góp của khóa luận
• 1.4. Cấu trúc khóa luận
• 2. CHƯƠNG 2: CÁC NGHIÊN CỨU LIÊN QUAN
• 2.1. Mở đầu
• 2.2. Bài toán rút trích thông tin thẻ danh thiếp
• 3. CHƯƠNG 3: NGHIÊN CỨU VÀ ĐÁNH GIÁ MỘT SỐ PHƯƠNG PHÁP CHO BÀI TOÁN RÚT TRÍCH THÔNG TIN TỪ DANH THIẾP
• 3.1. Xác định vị trí danh thiếp
• 3.1.1. Xác định vị trí thẻ danh thiếp bằng phương pháp xử lý hình ảnh
• 3.1.2. Phát hiện đường thẳng
• 3.1.3. Hệ thống xếp hạng hai bước
• 3.1.4. Xác định vị trí thẻ danh thiếp bằng phương pháp học sâu
• 3.2. Phát hiện văn bản
• 3.2.1. Nhóm các phương pháp theo hướng tiếp cận từ trên xuống
• 3.2.1.1. Phương pháp TextFuseNet
• 3.2.1.2. Phương pháp PMTD
• 3.2.2. Nhóm các phương pháp theo hướng tiếp cận từ dưới lên
• 3.2.2.1. Phương pháp CRAFT
• 3.2.2.2. Phương pháp PAN
• 3.2.2.3. Phương pháp PSENet
• 3.2.2.3.1. Kiến trúc AttentionOCR
• 3.2.2.3.2. Kiến trúc TransformerOCR
• 4. CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 4.1. Mở đầu
• 4.2. Xây dựng bộ dữ liệu
• 4.2.1. Quá trình thu thập dữ liệu
• 4.2.2. Cách thức thực hiện
• 4.2.3. Quá trình gán nhãn
• 4.3. Độ đo đánh giá cho giai đoạn xác định vị trí thẻ danh thiếp
• 4.4. Độ đo đánh giá cho giai đoạn phát hiện văn bản
• 4.4.1. Recall và Precision theo giao thức TedEval
• 4.5. Độ đo đánh giá cho giai đoạn nhận diện văn bản
• 4.5.1. Giai đoạn xác định vị trí thẻ danh thiếp
• 4.5.2. Giai đoạn phát hiện văn bản
• 4.5.3. Giai đoạn nhận diện văn bản
• 5. CHƯƠNG 5: XÂY DỰNG HỆ THỐNG MINH HỌA
• 5.1. Mở đầu
• 5.2. Giao diện sử dụng
• 6. CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 6.1. Kết luận
• 6.2. Hướng phát triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Nghiên Cứu Phương Pháp Rút Trích Thông Tin Từ Danh Thiếp

Nghiên cứu về rút trích thông tin từ danh thiếp đang trở thành một lĩnh vực quan trọng trong công nghệ thông tin. Danh thiếp không chỉ là công cụ giao tiếp mà còn chứa đựng nhiều thông tin giá trị. Việc số hóa và rút trích thông tin từ danh thiếp giúp quản lý dữ liệu hiệu quả hơn. Tuy nhiên, việc này cũng đặt ra nhiều thách thức về độ chính xác và tính khả thi của các phương pháp hiện có.

1.1. Khái Niệm Về Danh Thiếp Và Tầm Quan Trọng Của Nó

Danh thiếp là một công cụ quan trọng trong việc kết nối và duy trì mối quan hệ. Nó chứa thông tin cá nhân như tên, số điện thoại và địa chỉ email. Việc số hóa danh thiếp giúp dễ dàng quản lý và truy xuất thông tin, từ đó nâng cao hiệu quả công việc.

1.2. Lịch Sử Phát Triển Của Danh Thiếp Trong Giao Tiếp

Danh thiếp đã xuất hiện từ lâu và trở thành một phần không thể thiếu trong giao tiếp chuyên nghiệp. Sự phát triển của công nghệ đã làm thay đổi cách thức thiết kế và sử dụng danh thiếp, từ đó tạo ra nhu cầu mới cho việc rút trích thông tin.

II. Thách Thức Trong Việc Rút Trích Thông Tin Từ Danh Thiếp

Việc rút trích thông tin từ danh thiếp gặp phải nhiều thách thức. Đặc biệt, sự đa dạng về mẫu mã, kiểu dáng và ngôn ngữ của danh thiếp gây khó khăn cho các hệ thống nhận diện. Các yếu tố như độ nghiêng của chữ và bố cục phức tạp cũng làm giảm độ chính xác của quá trình rút trích.

2.1. Độ Đa Dạng Về Mẫu Mã Và Kiểu Dáng

Danh thiếp có nhiều kiểu dáng và mẫu mã khác nhau, từ đó tạo ra sự khó khăn trong việc nhận diện. Các ký tự từ các font chữ khác nhau có thể gây nhầm lẫn cho hệ thống nhận diện văn bản.

2.2. Vấn Đề Về Độ Nghiêng Và Bố Cục

Khi chụp ảnh danh thiếp, độ nghiêng và bố cục không đồng đều có thể làm giảm độ chính xác của việc rút trích thông tin. Các phương pháp hiện tại cần cải thiện để xử lý tốt hơn các tình huống này.

III. Phương Pháp Rút Trích Thông Tin Từ Danh Thiếp Hiện Nay

Có nhiều phương pháp được áp dụng để rút trích thông tin từ danh thiếp, bao gồm các kỹ thuật học sâu và xử lý hình ảnh. Những phương pháp này giúp cải thiện độ chính xác và tốc độ xử lý thông tin. Việc lựa chọn phương pháp phù hợp cho từng bài toán con là rất quan trọng.

3.1. Phương Pháp Học Sâu Trong Rút Trích Thông Tin

Học sâu đã trở thành một công cụ mạnh mẽ trong việc nhận diện văn bản từ danh thiếp. Các mô hình như CNN và RNN được sử dụng để cải thiện độ chính xác trong việc phát hiện và nhận diện thông tin.

3.2. Kỹ Thuật Xử Lý Hình Ảnh Để Tăng Cường Độ Chính Xác

Các kỹ thuật như xử lý hình ảnh và phân tích dữ liệu giúp cải thiện khả năng nhận diện văn bản. Việc áp dụng các phương pháp này có thể giảm thiểu lỗi và tăng cường hiệu quả của hệ thống.

IV. Ứng Dụng Thực Tiễn Của Phương Pháp Rút Trích Thông Tin

Việc rút trích thông tin từ danh thiếp không chỉ có giá trị trong nghiên cứu mà còn có nhiều ứng dụng thực tiễn. Các hệ thống nhận diện danh thiếp có thể được áp dụng trong nhiều lĩnh vực như marketing, quản lý khách hàng và tổ chức sự kiện.

4.1. Ứng Dụng Trong Quản Lý Khách Hàng

Hệ thống rút trích thông tin từ danh thiếp giúp doanh nghiệp quản lý thông tin khách hàng hiệu quả hơn. Việc số hóa thông tin giúp dễ dàng truy xuất và phân tích dữ liệu.

4.2. Ứng Dụng Trong Marketing Và Quảng Cáo

Các doanh nghiệp có thể sử dụng thông tin từ danh thiếp để xây dựng chiến lược marketing hiệu quả. Việc phân tích dữ liệu từ danh thiếp giúp xác định đối tượng mục tiêu và tối ưu hóa chiến dịch quảng cáo.

V. Kết Luận Và Hướng Phát Triển Trong Nghiên Cứu Rút Trích Thông Tin

Nghiên cứu về rút trích thông tin từ danh thiếp đang mở ra nhiều cơ hội mới. Các phương pháp hiện tại cần được cải thiện để đáp ứng tốt hơn nhu cầu thực tiễn. Hướng phát triển trong tương lai có thể bao gồm việc áp dụng công nghệ mới và cải tiến các thuật toán hiện có.

5.1. Tương Lai Của Công Nghệ Rút Trích Thông Tin

Công nghệ rút trích thông tin từ danh thiếp sẽ tiếp tục phát triển với sự hỗ trợ của các công nghệ mới. Việc áp dụng AI và machine learning sẽ giúp cải thiện độ chính xác và hiệu quả.

5.2. Đề Xuất Các Hướng Nghiên Cứu Mới

Các nghiên cứu trong tương lai có thể tập trung vào việc phát triển các mô hình mới và cải tiến các phương pháp hiện có. Việc xây dựng bộ dữ liệu phong phú và đa dạng cũng là một yếu tố quan trọng.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong hoạt động giao tiếp và thiết lập quan hệ công việc, thẻ danh thiếp là phương tiện cung cấp thông tin cá nhân và tổ chức ngắn gọn, phổ biến ở nhiều ngành nghề. Nhu cầu số hóa dữ liệu từ thẻ danh thiếp nhằm phục vụ công tác quản lý, lưu trữ và tự động hóa quy trình nhập liệu trong doanh nghiệp ngày càng gia tăng. Tuy nhiên, việc nhận diện và trích xuất tự động thông tin từ danh thiếp gặp nhiều rào cản kỹ thuật xuất phát từ tính đa dạng về mẫu mã, bố cục tự do, phông chữ cách điệu, màu sắc nền phức tạp và điều kiện chụp thực tế (bị xoay góc, sai lệch hướng, ánh sáng không đồng đều hoặc bị che khuất).

Hiện nay, các giải pháp thương mại như ABBYY Business Card Reader, CamCard hoặc xContact chủ yếu hoạt động trên mã nguồn đóng, chưa công bố chi tiết phương pháp xử lý nội bộ và được thiết kế tối ưu cho các ngôn ngữ quốc tế, dẫn đến hiệu quả trích xuất chưa cao khi áp dụng vào danh thiếp tiếng Việt có hệ thống dấu thanh phức tạp. Bên cạnh đó, các nghiên cứu gần đây thường tập trung xây dựng ứng dụng di động đơn lẻ mà chưa tiến hành đánh giá thực nghiệm toàn diện các mô hình thị giác máy tính và học sâu tiên tiến, đồng thời còn thiếu hụt các bộ dữ liệu danh thiếp tiếng Việt được gán nhãn chuẩn hóa.

Khóa luận tốt nghiệp của tác giả Tô Viết Anh và Phạm Duy Giác Nguyên (ngành Khoa học Máy tính, Trường Đại học Công nghệ Thông tin – ĐHQG-HCM, năm 2022) hướng tới giải quyết bài toán nhận diện và bóc tách thông tin văn bản tiếng Việt từ ảnh chụp thẻ danh thiếp. Tác giả xác định 4 mục tiêu nghiên cứu cụ thể:

1. Tìm hiểu tổng quan bài toán rút trích thông tin từ danh thiếp và khảo sát các phương pháp phù hợp cho từng bài toán con thành phần.
2. Thu thập, gán nhãn và xây dựng tập dữ liệu danh thiếp tiếng Việt phục vụ việc huấn luyện và đánh giá thực nghiệm các mô hình học sâu.
3. Cài đặt và đánh giá định lượng các phương pháp tiên tiến nhất tương ứng cho từng giai đoạn xử lý trên bộ dữ liệu đã xây dựng.
4. Xây dựng ứng dụng web minh họa bóc tách thông tin dựa trên chuỗi mô hình đạt hiệu quả cao nhất qua thực nghiệm.

Đối tượng nghiên cứu của khóa luận là các kỹ thuật xử lý hình ảnh số, các kiến trúc học sâu dùng trong bài toán phát hiện, định vị và nhận diện chữ quang học (OCR). Phạm vi nghiên cứu giới hạn trên tập dữ liệu thẻ danh thiếp sử dụng bảng chữ cái Latinh thu thập tại Việt Nam, với điều kiện ảnh chụp đầu vào chứa một thẻ danh thiếp duy nhất và nội dung văn bản thể hiện rõ ràng.

Cơ sở lý thuyết và phương pháp

Khóa luận tiếp cận bài toán theo quy trình phân tách từng bước (Step-wise pipeline) thay vì mô hình tích hợp nguyên khối (Integrated end-to-end), xuất phát từ ưu điểm cho phép kiểm soát, tinh chỉnh và tối ưu hóa độc lập từng mô-đun chức năng. Quy trình tổng thể bao gồm 3 bài toán con:

1. Xác định vị trí thẻ danh thiếp (Card localization): Khảo sát hai hướng tiếp cận chính:
   • Xử lý ảnh truyền thống: Phương pháp Advanced Hough-based method (Tropin và cộng sự), dựa trên chuỗi thao tác: lọc hình thái học (Morphology Opening/Closing biên 1 pixel), tính đạo hàm theo trục Y, triệt tiêu không cực đại (Non-maximum suppression), lọc miền liên thông, làm mờ Gaussian, biến đổi Fast Hough Transform (FHT) tìm 15 cực đại địa phương trên 3 phân vùng ảnh để xác định các đường thẳng ngang và dọc; kết hợp mô hình camera (dựa trên tiêu cự $f$ và tỷ lệ cạnh $r$) để khôi phục cạnh bị khuyết và hệ thống xếp hạng hai bước dựa trên điểm số đồng mức (contour score) và điểm số tương phản (Chi-square contrast score).
   • Học sâu: Mô hình phân đoạn ngữ nghĩa U-Net (Ronneberger và cộng sự) gồm 23 lớp tích chập với cấu trúc đối xứng hình chữ U kết hợp nhánh co (contracting path) và nhánh mở rộng (expanding path) thông qua các kết nối tắt (skip connections).
2. Phát hiện vùng văn bản (Text detection): Khảo sát 6 kiến trúc học sâu thuộc hai trường phái:
   • Hướng tiếp cận từ trên xuống (Top-down): TextFuseNet (mở rộng từ Mask R-CNN, sử dụng backbone ResNet kết hợp FPN và RPN, đồng thời dung hợp đặc trưng ở 3 cấp độ: toàn cục, cấp từ và cấp ký tự); PMTD (Pyramid Mask Text Detector, đề xuất gán nhãn mềm dạng kim tự tháp cho điểm ảnh và sử dụng thuật toán gom cụm 4 mặt phẳng trong không gian 3 chiều để tạo hình tứ giác bao quanh chữ, hạn chế lan truyền lỗi từ nhánh đề xuất vùng).
   • Hướng tiếp cận từ dưới lên (Bottom-up): CRAFT (Character Region Awareness for Text Detection, sử dụng backbone VGG-16 dự đoán điểm số vùng và điểm số quan hệ qua bản đồ phân bố Gaussian 2 chiều, áp dụng cơ chế học giám sát yếu); DB (Differentiable Binarization, tích hợp hàm nhị phân hóa khả vi trực tiếp vào mạng nơ-ron phân đoạn để tối ưu hóa đồng thời bản đồ xác suất và bản đồ ngưỡng thích ứng); PAN (Pixel Aggregation Network, sử dụng cấu trúc nhẹ với mô-đun tăng cường kim tự tháp đặc trưng FPEM và mô-đun dung hợp đặc trưng FFM); PSENet (Progressive Scale Expansion Network, mở rộng vùng nhân chữ theo tỷ lệ lũy tiến).
3. Nhận diện văn bản (Text recognition): Đánh giá thư viện VietOCR dành riêng cho tiếng Việt với hai kiến trúc giải mã chuỗi là AttentionOCR (kết hợp mạng tích chập trích xuất đặc trưng với mạng hồi quy LSTM và cơ chế chú ý Attention) và TransformerOCR, đối chiếu với công cụ mã nguồn mở TesseractOCR.

Phương pháp nghiên cứu thực nghiệm được thực hiện trên cơ sở xây dựng bộ dữ liệu danh thiếp thực tế, triển khai huấn luyện và kiểm thử các mô hình bằng các độ đo học thuật chuẩn: IoU (Intersection over Union) đối với định vị thẻ; độ chính xác (Precision), độ thu hồi (Recall) và điểm F-measure theo giao thức TedEval đối với phát hiện văn bản; độ chính xác cấp độ từ và ký tự đối với nhận diện chữ. Nguồn dữ liệu thực nghiệm chính là bộ dữ liệu VBC-583 do nhóm tác giả tự thu thập và gán nhãn tại Việt Nam, cùng bộ dữ liệu chuẩn ICDAR2015 dùng trong huấn luyện tiền kỳ.

Thiết kế và triển khai hệ thống

Khóa luận xây dựng một hệ thống phần mềm minh họa dưới dạng ứng dụng web, tích hợp chuỗi 3 mô hình đạt kết quả thực nghiệm tối ưu cho từng bài toán con:

Thành phần chức năng	Phương pháp / Mô hình tích hợp	Nhiệm vụ kỹ thuật
Mô-đun 1: Định vị thẻ	Advanced Hough-based method	Xác định 4 đỉnh của thẻ danh thiếp từ ảnh chụp có phông nền; áp dụng phép biến đổi phối cảnh (Projective Transform) để căn chỉnh góc nghiêng và cắt vùng thẻ chuẩn hóa.
Mô-đun 2: Phát hiện văn bản	PAN (Pixel Aggregation Network)	Định vị chính xác tọa độ các hộp bao (bounding boxes) chứa các dòng chữ/từ trên thẻ danh thiếp đã được cắt.
Mô-đun 3: Nhận diện ký tự	VietOCR (kiến trúc AttentionOCR)	Chuyển đổi các đoạn ảnh văn bản cắt từ hộp bao thành văn bản số tiếng Việt có dấu hoàn chỉnh.

Hệ thống được thiết kế với giao diện web gồm hai màn hình chức năng: giao diện khởi tạo cho phép người dùng tải lên tệp ảnh danh thiếp từ máy tính cá nhân hoặc thiết bị chụp, và giao diện hiển thị kết quả trực quan gồm hình ảnh thẻ đã qua xử lý cắt nền kèm danh sách các trường thông tin văn bản được trích xuất tự động.

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương 1 trình bày lý do lựa chọn đề tài xuất phát từ nhu cầu quản lý thông tin danh thiếp và việc thiếu hụt giải pháp OCR tối ưu cho tiếng Việt. Tác giả xác định rõ mục tiêu nghiên cứu, phạm vi dữ liệu giới hạn trên các thẻ danh thiếp chữ Latinh thu thập tại Việt Nam, nêu bật 3 đóng góp chính của khóa luận (bộ dữ liệu VBC-583, tài liệu khảo sát - đánh giá thực nghiệm đa mô hình, ứng dụng web minh họa) và phác thảo cấu trúc khóa luận gồm 6 chương.

Chương 2: Các nghiên cứu liên quan

Chương này đi sâu phân tích bài toán trích xuất dữ liệu danh thiếp trong thực tế doanh nghiệp và các ưu điểm của phương pháp số hóa tự động (tốc độ xử lý tính bằng giây, hạn chế sai sót nhập liệu thủ công, thuận tiện tích hợp hệ thống quản lý). Tác giả phân tích các thách thức kỹ thuật:

• Mẫu mã, kiểu dáng đa dạng và sự phối hợp nhiều phông chữ (chữ có chân, không chân, chữ nghệ thuật).
• Bố cục tự do, phi cấu trúc, không tuân theo quy chuẩn cố định như căn cước công dân.
• Hiện tượng ảnh chụp bị xoay góc, sai lệch hướng chiếu ống kính.
• Nhiễu nền phức tạp do ánh sáng không đồng đều, bóng đổ hoặc viền trang trí nội bộ thẻ gây nhầm lẫn đường bao.

Chương 2 cũng so sánh hai hướng tiếp cận nhận diện văn bản (Step-wise và Integrated), lập luận căn cứ chọn lựa phương pháp Step-wise, đồng thời khảo sát các kỹ thuật trích xuất đặc trưng thủ công (Canny, MSER, SWT, HOG) đối chiếu với các mô hình học sâu hiện đại (CTPN, EAST, SSD, Faster R-CNN, RNN, LSTM, Attention).

Chương 3: Nghiên cứu và đánh giá một số phương pháp cho bài toán rút trích thông tin từ danh thiếp

Chương 3 trình bày chi tiết cơ sở toán học và kiến trúc mạng của các mô hình được lựa chọn thử nghiệm:

• Xác định vị trí thẻ: Mô tả chi tiết thuật toán Advanced Hough-based method (tiền xử lý giảm kích thước về 240px, các phép toán Opening/Closing, đạo hàm theo trục Y, Non-maximum suppression, lọc miền liên thông, biến đổi Fast Hough Transform tìm 15 cực đại địa phương, kỹ thuật khôi phục cạnh khuyết qua mô hình camera, xếp hạng tứ giác dựa trên contour score và khoảng cách Chi-square của histogram màu) và mạng U-Net 23 lớp tích chập.
• Phát hiện văn bản: Trình bày nguyên lý của 6 mô hình: TextFuseNet (dung hợp đặc trưng 3 cấp độ trên khung Mask R-CNN), PMTD (mặt nạ kim tự tháp mềm và gom cụm mặt phẳng 3D), CRAFT (bản đồ nhiệt Gaussian cho điểm số vùng/quan hệ, học giám sát yếu), DB (hàm nhị phân hóa khả vi Differentiable Binarization), PAN (kiến trúc nhẹ với FPEM và FFM) và PSENet (mở rộng tỷ lệ lũy tiến).
• Nhận diện văn bản: Phân tích nguyên lý trích xuất đặc trưng kết hợp giải mã chuỗi của thư viện VietOCR (AttentionOCR, TransformerOCR) và TesseractOCR.

+-----------------------------------------------------------------------------------------+
|                  CÁC PHƯƠNG PHÁP PHÁT HIỆN VĂN BẢN ĐƯỢC KHẢO SÁT VÀ ĐÁNH GIÁ            |
+------------------------------------+----------------------------------------------------+
| Hướng tiếp cận                     | Phương pháp cụ thể                                 |
+------------------------------------+----------------------------------------------------+
| Từ trên xuống (Top-down)           | TextFuseNet, PMTD                                  |
| Từ dưới lên (Bottom-up)            | Dựa theo thành phần: CRAFT                         |
|                                    | Dựa theo điểm ảnh: DB, PAN, PSENet                 |
+------------------------------------+----------------------------------------------------+

Chương 4: Thực nghiệm và đánh giá

Chương 4 mô tả quy trình xây dựng bộ dữ liệu VBC-583 gồm 583 ảnh danh thiếp tiếng Việt được chụp trong các điều kiện môi trường thực tế khác nhau. Quy trình gán nhãn thực hiện cho 3 bài toán: gán nhãn 4 đỉnh tứ giác vị trí thẻ, gán nhãn hộp bao văn bản theo chuẩn ICDAR và gán nhãn chuỗi ký tự tiếng Việt tương ứng. Tác giả thiết lập môi trường thực nghiệm, phân tích kết quả định lượng:

• Ở bài toán định vị thẻ, Advanced Hough-based method cho độ chính xác cao và vận hành ổn định trong việc phát hiện cạnh biên thẻ danh thiếp thực tế.
• Ở bài toán phát hiện văn bản, các mô hình tiếp cận từ dưới lên, đặc biệt là PAN và DB, thể hiện ưu thế vượt trội về tốc độ xử lý và sự cân bằng giữa Precision và Recall.
• Ở bài toán nhận diện văn bản, kiến trúc VietOCR-AttentionOCR đạt độ chính xác nhận diện từ và ký tự tiếng Việt vượt trội hoàn toàn so với công cụ TesseractOCR.

Chương 5: Xây dựng hệ thống minh họa

Chương 5 trình bày thiết kế kiến trúc và quy trình triển khai phần mềm thử nghiệm. Hệ thống liên kết ba mô-đun độc lập thành luồng dữ liệu khép kín: tiếp nhận ảnh tải lên -> Advanced Hough-based method cắt và nắn chỉnh thẻ -> mô hình PAN phát hiện các vùng văn bản -> VietOCR-AttentionOCR nhận diện ký tự tiếng Việt -> hiển thị kết quả trích xuất trên giao diện web.

Chương 6: Kết luận và hướng phát triển

Chương 6 tổng kết các kết quả đạt được đối với từng mục tiêu nghiên cứu đã đề ra, đồng thời chỉ ra các hạn chế kỹ thuật hiện tại và đề xuất các phương hướng nghiên cứu hoàn thiện trong tương lai.

Kết quả và đóng góp

Khóa luận đã hoàn thành các mục tiêu nghiên cứu với các kết quả cụ thể:

• Xây dựng bộ dữ liệu VBC-583: Bộ dữ liệu gồm 583 hình ảnh danh thiếp tiếng Việt được thu thập thực tế và gán nhãn đa tầng phục vụ trực tiếp cho cả 3 bài toán con: định vị thẻ, phát hiện hộp bao văn bản và nhận diện nội dung ký tự tiếng Việt.
• Báo cáo đánh giá thực nghiệm toàn diện: Cung cấp số liệu phân tích định lượng, đối sánh ưu - nhược điểm của các giải pháp xử lý ảnh truyền thống và học sâu trên dữ liệu thực tế tại Việt Nam:
  • Phương pháp Advanced Hough-based method chứng minh tính hiệu quả cao trong việc trích xuất khung thẻ danh thiếp, xử lý được các tình huống mất cạnh nhờ mô hình camera khôi phục hình học.
  • Mô hình PAN được xác định là phương án cân bằng tối ưu giữa độ chính xác nhận diện văn bản và tốc độ tính toán, phù hợp để tích hợp trên hệ thống thực tế.
  • Kiến trúc VietOCR-AttentionOCR thể hiện khả năng xử lý chính xác hệ thống dấu thanh tiếng Việt trên danh thiếp so với TesseractOCR.
• Xây dựng hệ thống web minh họa: Triển khai thành công ứng dụng web trích xuất dữ liệu danh thiếp hoàn chỉnh dựa trên chuỗi liên kết: Advanced Hough-based method $\rightarrow$ PAN $\rightarrow$ VietOCR-AttentionOCR.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận tự chỉ ra các hạn chế và đề xuất hướng mở rộng nghiên cứu:

• Hạn chế:
  • Quy mô bộ dữ liệu VBC-583 dừng lại ở 583 ảnh, chưa bao quát được toàn bộ các trường hợp danh thiếp trong thực tế như ảnh bị mờ nhòe nặng do chuyển động, điều kiện thiếu sáng nghiêm trọng hoặc ảnh chứa nhiều thẻ danh thiếp cùng lúc.
  • Phạm vi chỉ tập trung vào danh thiếp sử dụng chữ cái Latinh, chưa mở rộng cho các loại danh thiếp đa ngôn ngữ phức tạp (chữ tượng hình).
  • Hệ thống mới dừng lại ở việc bóc tách các dòng văn bản độc lập, chưa tích hợp mô hình phân loại thực thể (Named Entity Recognition) để tự động gán nhãn ngữ nghĩa vào các trường có cấu trúc cụ thể (họ tên, chức danh, số điện thoại, tên công ty, địa chỉ).
• Hướng phát triển:
  • Mở rộng số lượng và độ đa dạng của bộ dữ liệu danh thiếp tiếng Việt (bổ sung các mẫu danh thiếp đa dạng về chất liệu, độ phản quang và góc chụp phức tạp).
  • Nghiên cứu tối ưu hóa trọng số mô hình nhằm nâng cao tốc độ suy diễn và giảm tiêu thụ bộ nhớ, hướng tới triển khai trực tiếp trên các thiết bị di động.
  • Tích hợp thêm mô-đun xử lý ngôn ngữ tự nhiên (NLP) nhằm phân loại tự động thông tin sau khi nhận diện thành các trường dữ liệu có cấu trúc phục vụ lưu trữ vào hệ quản trị cơ sở dữ liệu.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo có giá trị chuyên môn đối với:

• Sinh viên và nghiên cứu viên ngành Khoa học Máy tính, Trí tuệ Nhân tạo, Công nghệ Thông tin: Cung cấp cái nhìn toàn diện về bài toán Document AI và quy trình triển khai hệ thống OCR đa thành phần (Step-wise OCR Pipeline).
• Người làm đề tài về OCR và xử lý ảnh tài liệu tiếng Việt: Cung cấp phương pháp luận chuẩn xác trong việc thu thập và gán nhãn dữ liệu ảnh tài liệu; phương pháp kết hợp giữa thuật toán xử lý ảnh hình học truyền thống (Fast Hough Transform, phép chiếu phối cảnh) và các mạng nơ-ron học sâu hiện đại (PAN, DB, CRAFT, VietOCR).
• Kỹ sư phát triển phần mềm: Tham khảo kiến trúc tích hợp chuỗi mô hình thị giác máy tính vào một ứng dụng web thực tế.

Câu hỏi thường gặp

1. Khóa luận lựa chọn hướng tiếp cận phân tách (Step-wise) hay tích hợp (Integrated) cho bài toán OCR, và vì sao?
Khóa luận lựa chọn hướng tiếp cận phân tách từng bước (Step-wise), chia quy trình thành 3 giai đoạn: xác định vị trí thẻ, phát hiện văn bản và nhận diện văn bản. Lý do là hướng tiếp cận này cho phép đánh giá, can thiệp và tối ưu hóa độc lập chất lượng của từng mô-đun chức năng, điều mà mô hình tích hợp nguyên khối (Integrated) khó kiểm soát được khi gặp lỗi cục bộ ở một giai đoạn.

2. Thuật toán Advanced Hough-based method xử lý tình huống thẻ danh thiếp bị che khuất hoặc nằm ngoài khung hình như thế nào?
Phương pháp kế thừa mô hình camera dựa trên nghiên cứu trước đó, sử dụng các tham số đã biết gồm tỷ lệ giữa các cạnh của tài liệu ($r$), tiêu cự camera ($f$) và tọa độ điểm trung tâm ảnh để tính toán khôi phục cạnh bị mất từ 3 cạnh còn lại. Nhờ đó, thuật toán vẫn có thể hình thành tứ giác biểu diễn thẻ từ 3 đường thẳng đã phát hiện kết hợp 1 đường thẳng được khôi phục.

3. Khóa luận đã khảo sát những phương pháp phát hiện văn bản nào và phân nhóm chúng ra sao?
Khóa luận khảo sát 6 phương pháp học sâu và phân chia thành hai nhóm tiếp cận:

• Hướng tiếp cận từ trên xuống (Top-down): TextFuseNet và PMTD.
• Hướng tiếp cận từ dưới lên (Bottom-up): CRAFT (dựa trên thành phần ký tự); DB, PAN và PSENet (dựa trên phân đoạn điểm ảnh).

4. Bộ dữ liệu VBC-583 có đặc điểm gì và được gán nhãn cho những bài toán nào?
VBC-583 là bộ dữ liệu gồm 583 ảnh thẻ danh thiếp tiếng Việt do nhóm tác giả tự thu thập thực tế tại Việt Nam với nhiều điều kiện phông nền và góc chụp khác nhau. Dữ liệu được gán nhãn cho cả 3 bài toán con: gán nhãn tọa độ 4 đỉnh thẻ danh thiếp, gán nhãn hộp bao văn bản theo chuẩn dữ liệu ICDAR, và gán nhãn chuỗi ký tự tiếng Việt có dấu tương ứng.

5. Chuỗi mô hình nào được lựa chọn để xây dựng hệ thống web minh họa và dựa trên tiêu chí gì?
Hệ thống web minh họa tích hợp chuỗi mô hình gồm: Advanced Hough-based method (xác định vị trí thẻ), PAN (phát hiện văn bản) và VietOCR-AttentionOCR (nhận diện văn bản tiếng Việt). Bộ ba mô hình này được lựa chọn do đạt sự cân bằng tối ưu giữa độ chính xác trích xuất văn bản tiếng Việt và tốc độ tính toán trong các thử nghiệm đánh giá định lượng của khóa luận.

Kết luận

Khóa luận tốt nghiệp của tác giả Tô Viết Anh và Phạm Duy Giác Nguyên đã giải quyết bài toán trích xuất dữ liệu từ thẻ danh thiếp tiếng Việt thông qua quy trình phân tách ba giai đoạn khoa học và chặt chẽ. Nghiên cứu đóng góp thiết thực cho cộng đồng học thuật thông qua việc xây dựng bộ dữ liệu VBC-583, cung cấp báo cáo đánh giá thực nghiệm đa mô hình chi tiết và hiện thực hóa thành công một hệ thống web minh họa có tính ứng dụng thực tế. Đây là công trình nghiên cứu nghiêm túc, cung cấp tài liệu tham khảo giá trị cho các nghiên cứu tiếp theo về nhận dạng ký tự quang học và xử lý tài liệu số tiếng Việt.

Trích đoạn nội dung tài liệu

Mở đầu Ở chương này nhóm sẽ làm rõ các khái niệm và thách thức liên quan đến bài toán trích xuất thông tin thẻ danh thiếp, đồng thời tìm hiểu một số phương pháp và hướng tiếp cận hiện nay. Nhóm đã khảo sát một số phương pháp nghiên cứu đã từng được áp dụng từ trước đến nay, từ đó có thể đưa ra nhận xét ưu và nhược điểm của từng phương pháp.2 Bài toán rút trích thông tin thẻ danh thiếp Nhiều tổ chức và doanh nghiệp hiện nay cần có đầy đủ thông tin khách hàng để phục vụ việc liên lạc, chạy tiếp thị - quảng cáo, hay làm thủ tục giấy tờ. Điều này đòi hỏi khách hàng phải cung cấp một số tài liệu mà doanh nghiệp yêu cầu để họ có thể xác nhận danh tính cũng như thu thập được các thông tin có liên quan. Điển hình có thể thấy như việc trao đổi danh thiếp ở các ngân hàng, khu du lịch, khách sạn,.

là tương đối nhiều. Thông thường các thông tin từ khách hàng dưới dạng thẻ danh thiếp trực tiếp hay ảnh chụp đòi hỏi các doanh nghiệp cần có bước kiểm tra, phân loại thông tin, bước trích xuất các thông tin quan 2. Các nghiên cứu liên quan. trọng như "họ và tên", "địa chỉ", 1 "nghề nghiệp",.

và sau cùng bước nhập liệu 7T vào các phần mềm quản lý. Trước sự phát triển của các phương pháp học sâu cùng với sự cải thiện của công nghệ OCR, các giải pháp tự động hay bán tự động liên quan đến việc trích xuất thông tin từ tài liệu đang được áp dụng rộng rãi và dần được ứng dụng vào việc rút trích thông thông tin từ danh thiếp. Xu hướng này cho thấy các ưu điểm vượt trội so với các thao tác thủ công truyền thống như: ‹ Trich xuất thông tin: Thông tin có thé dễ dàng thu được từ ảnh chụp thẻ danh thiếp và lưu trữ vào một nguồn có thể sử dụng lâu dài. Các thông tin thu được chủ yếu ở dạng văn bản hoặc số.

Điều này giúp các các doanh nghiệp tổ chức dữ liệu theo các cách khác nhau, tạo điều kiện cho việc sắp xếp hay chọn lọc thông tin. * Tốc độ nhanh và hiệu quả: Việc số hoá thông tin diễn ra khá nhanh giúp các doanh nghiệp, tổ chức tiết kiệm được thời gian và nguồn nhân lực. Hiện nay chỉ mat khoảng vài giây để chup/quét thẻ danh thiếp và truy xuất các thông tin liên quan. Sự chuyển dịch dần qua số hoá thông tin thay vì nhập liệu và xác minh thông tin một cách thủ công là nhờ các hướng tiếp cận dựa trên học sâu đang phát triển gần đây.

* Hạn chế phat sinh dữ liệu lỗi: Với sự tiến bộ trong công nghệ và sức mạnh tính toán của máy tính ngày nay cho phép thu thập dữ liệu, xử lý dữ liệu mà ít phát sinh lỗi. Khả năng xảy ra lỗi có thể được giảm thiểu bằng cách áp dụng các hệ thống tự động hoá này kết hợp với việc kiểm tra của con người ở bước cuối cùng trên quy trình trích xuất thông tin. + Dễ dàng tích hợp vào các hệ thong khác nhau: Các giải pháp số hoá có thể dễ dàng tích hợp vào bất cứ hệ thống nào. Ví dụ một mô hình được huấn luyện cho việc nhận diện thông tin có thể triển khai lên một trang 2.

Các nghiên cứu liên quan. Web nơi mà người dùng sẽ tải lên được rất nhiều ảnh cùng một lúc. Hay triển khai trên một thiết bị di động, ở đây người dùng có thể chụp và lựa chọn ảnh phù hợp. Kết quả có thể trả về theo định dạng phù hợp và một số tính năng riêng đi kèm.