Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh hội nhập quốc tế, chứng chỉ tiếng Anh như TOEIC, IELTS, TOEFL đóng vai trò quan trọng trong việc xác định năng lực ngoại ngữ của cá nhân, phục vụ mục đích xét chuẩn đầu ra tốt nghiệp tại các trường đại học cũng như làm tiêu chí tuyển dụng, phân bậc lương tại các doanh nghiệp. Tại Việt Nam, bài thi TOEIC Nghe và Đọc (TOEIC Listening & Reading) được sử dụng phổ biến ở hầu hết các cơ sở giáo dục đại học và đơn vị tuyển dụng. Tuy nhiên, quy trình quản lý và lưu trữ dữ liệu từ các chứng chỉ này hiện nay vẫn phụ thuộc chủ yếu vào thao tác nhập liệu thủ công. Phương pháp truyền thống đòi hỏi nhiều nhân lực, tốn kém thời gian và dễ phát sinh sai sót đối với các trường thông tin chi tiết (họ tên, ngày sinh, số định danh, điểm thành phần). Bên cạnh đó, các thiết bị quét (scan) thông thường chỉ chuyển đổi văn bản sang dạng ảnh số mà không có khả năng tự động bóc tách các trường dữ liệu ngữ nghĩa. Do đó, việc ứng dụng thị giác máy tính và học sâu nhằm tự động hóa quy trình trích xuất thông tin từ ảnh chụp chứng chỉ là nhu cầu cấp thiết trong tiến trình chuyển đổi số học vụ và quản lý nhân sự.

Mục tiêu nghiên cứu của khóa luận được xác định cụ thể qua 6 nhiệm vụ:

  1. Xây dựng bộ dữ liệu thực nghiệm mang tên UIT-IELC gồm hơn 8.800 ảnh chứng chỉ TOEIC Nghe và Đọc, thực hiện gán nhãn đầy đủ 8 trường thông tin theo định dạng của thư viện PaddleOCR.
  2. Thử nghiệm phương pháp tiếp cận kết hợp mô hình YOLOv8 cho tác vụ phát hiện vị trí cùng phân loại trường văn bản, đưa vùng cắt vào mô hình nhận diện EasyOCR sẵn có và phân tích các lỗi kỹ thuật phát sinh.
  3. Xây dựng và tối ưu các mô hình cho tác vụ Phát hiện văn bản (Text Detection) dựa trên thư viện PaddleOCR.
  4. Xây dựng và thử nghiệm các mô hình cho tác vụ Nhận diện văn bản (Text Recognition) dựa trên thư viện PaddleOCR.
  5. Xây dựng mô hình trích xuất thông tin khóa (Key Information Extraction - KIE) với hướng tiếp cận Nhận diện thực thể ngữ nghĩa (Semantic Entity Recognition - SER) nhằm phân loại chính xác 8 trường thông tin mục tiêu.
  6. Đánh giá hiệu năng tổng thể của các mô hình và toàn bộ hệ thống trích xuất trên tập kiểm thử cũng như dữ liệu ảnh thực tế.

Đối tượng nghiên cứu của đề tài là bài toán trích xuất thông tin từ hình ảnh chứng chỉ ngoại ngữ. Phạm vi nghiên cứu tập trung vào định dạng chứng chỉ TOEIC Nghe và Đọc, xử lý ảnh chụp đơn lẻ (mỗi ảnh chứa duy nhất một chứng chỉ) với 8 trường dữ liệu cố định: Họ và tên (Name), Số định danh (ID), Ngày sinh (DoB), Ngày thi (TestDate), Ngày hết hạn (ValidUntil), Điểm thi Nghe (ListeningScore), Điểm thi Đọc (ReadingScore) và Tổng điểm (TotalScore).

Cơ sở lý thuyết và phương pháp

Khóa luận tiếp cận bài toán trích xuất thông tin tài liệu thông qua sự kết hợp giữa công nghệ Nhận diện ký tự quang học (OCR) và Xử lý ngôn ngữ tự nhiên (NLP), phân loại theo các nhóm mô hình KIE đa phương thức (Multi-modal):

  • Phát hiện văn bản (Text Detection): Phân chia thành phương pháp tiếp cận theo hướng hồi quy (Regression-based) như YOLOv8 và phương pháp tiếp cận theo hướng phân đoạn ý nghĩa (Segmentation-based) như Single-Shot Arbitrarily-Shaped Text Detector (SAST) và Differentiable Binarization (DB/DB++ kết hợp khối Adaptive Scale Fusion - ASF).
  • Nhận diện ký tự (Text Recognition): Sử dụng các kiến trúc mạng học sâu gồm Convolutional Recurrent Neural Network (CRNN), Semantic Reasoning Network (SRN) và Autonomous, Bidirectional and Iterative Network (ABINet).
  • Trích xuất thông tin khóa (Key Information Extraction): Áp dụng hướng tiếp cận SER kết hợp thông tin vị trí không gian và bố cục thị giác qua các mô hình đồ thị Spatial Dual-Modality Graph Reasoning (SDMGR) và mô hình ngôn ngữ - thị giác Visual-feature Independent LayoutXLM (VI-LayoutXLM).

Quy trình thu thập và xây dựng dữ liệu được triển khai theo quy chuẩn bán nhân tạo (semi-synthetic) do tính chất bảo mật thông tin cá nhân trên chứng chỉ thực tế. Nhóm tác giả tạo phôi chứng chỉ TOEIC chuẩn trên Microsoft Word, sử dụng các hàm bảng tính Excel kết hợp tính năng Mail Merge để sinh dữ liệu ngẫu nhiên, in màu tài liệu và chụp ảnh ở 4 góc độ khác nhau cho mỗi chứng chỉ nhằm mô phỏng điều kiện thực tế (chụp nghiêng, thay đổi ánh sáng). Quá trình gán nhãn thực hiện qua công cụ PPOCRLabel với 5 vòng kiểm tra chéo giữa 4 thành viên. Dữ liệu văn bản được phân tích độ dài chuỗi (max_text_lengths) với giá trị ngưỡng 25 ký tự cho trường Họ tên.

Tập dữ liệu Tên nhãn: Name ID DoB TestDate ValidUntil ListeningScore ReadingScore TotalScore Tổng số Bounding Box
Tập huấn luyện (Train) 7.064 7.058 7.059 7.062 7.061 7.056 7.055 7.064 56.479
Tập đánh giá (Validation) 884 881 884 883 884 881 881 884 7.062
Tập kiểm thử (Test) 884 883 883 883 883 883 882 882 7.063
Tổng cộng 8.832 8.822 8.826 8.828 8.828 8.820 8.818 8.830 70.604

Nội dung chính theo từng chương

Chương 1: Tổng quan về đề tài

Chương này phân tích thực trạng ứng dụng công nghệ OCR trong bối cảnh chuyển đổi số giáo dục và quản trị nhân sự. Tác giả khảo sát các nghiên cứu tiêu biểu về trích xuất thông tin tài liệu có cấu trúc và bán cấu trúc như bộ dữ liệu hóa đơn SROIE (ICDAR 2019), bộ dữ liệu hóa đơn tiếng Việt MC-OCR (RIVF 2021), bộ dữ liệu bìa sách tiếng Việt Vi-BCI (IDC 2022, RIVF 2023), cùng các bộ dữ liệu cảnh tự nhiên Total-Text, ICDAR 2015, COCO-TEXT. Các mô hình nhận diện chuyên biệt như CRAFT, VietOCR, Tesseract, PhoBERT và các kỹ thuật KIE (Grid-based, Token-based, GCN-based, End-to-end) được tổng hợp làm cơ sở lựa chọn công nghệ cho đề tài.

Chương 2: Bài toán trích xuất thông tin trên ảnh chụp chứng chỉ TOEIC Nghe và Đọc

Chương này chuẩn hóa bài toán kỹ thuật: Đầu vào là một ảnh chụp chứng chỉ TOEIC Nghe và Đọc rõ nét, không xoay quá 90 độ; Đầu ra là chuỗi văn bản tương ứng với 8 trường dữ liệu mục tiêu. Tác giả thiết lập và so sánh hai quy trình tiếp cận:

  • Hướng tiếp cận thứ nhất: Phát hiện vị trí kết hợp phân loại trường bằng YOLOv8, sau đó cắt vùng ảnh đưa vào EasyOCR nhận diện ký tự.
  • Hướng tiếp cận thứ hai: Pipeline tuần tự 3 giai đoạn độc lập: Phát hiện vị trí văn bản (Text Detection) $\rightarrow$ Nhận diện ký tự (Text Recognition) $\rightarrow$ Phân loại thực thể ngữ nghĩa (Field Classification / SER).

Chương 3: Xây dựng bộ dữ liệu cho bài toán trích xuất thông tin trên ảnh chứng chỉ TOEIC Nghe và Đọc

Nội dung chương mô tả chi tiết quy trình tạo lập bộ dữ liệu UIT-IELC gồm 8.837 ảnh chụp với 70.604 bounding box. Tác giả định nghĩa cấu trúc 8 nhãn dữ liệu, quy cách lưu trữ nhãn (.txt cho YOLO, JSON và .txt cho PaddleOCR, LayoutXLM). Quy trình gán nhãn thực hiện trong 5 vòng (mỗi vòng 1.760 ảnh/4 người trong 2 tuần), có bước kiểm tra chéo và loại bỏ ảnh lỗi. Toàn bộ tập dữ liệu được chia theo tỷ lệ 8:1:1 cho huấn luyện, đánh giá và kiểm thử. Phân tích phân phối độ dài chuỗi ký tự xác định tham số max_text_lengths = 25 cho nhãn Tên.

Chương 4: Cơ sở lý thuyết về hướng tiếp cận và giải quyết bài toán chính

Chương này đi sâu vào cấu trúc toán học và kiến trúc mạng của các mô hình thực nghiệm:

  • Cơ chế Anchor-Free, mô-đun C2f và kỹ thuật Mosaic Augmentation trong YOLOv8.
  • Cấu trúc mạng SAST (Stem Network ResNet50, FPN, Context Attention Block - CAB, Point-to-quad Assignment) và cơ chế phân ngưỡng nhị phân khả vi trong DB/DB++ với mô-đun Adaptive Scale Fusion (ASF).
  • Các mô hình nhận diện chuỗi ký tự: CRNN (kết hợp CNN, RNN và CTC Loss), SRN (Semantic Reasoning Network) và ABINet (kiến trúc thị giác kết hợp mô hình ngôn ngữ song hướng lặp lại).
  • Các mô hình KIE đa phương thức: SDMGR (biểu diễn đồ thị đa phương thức không gian) và VI-LayoutXLM (trích xuất thực thể ngữ nghĩa SER dựa trên biểu diễn văn bản, vị trí 2D và bố cục tài liệu).

Chương 5: Cài đặt, thực nghiệm và đánh giá kết quả

Chương này trình bày chi tiết thiết lập siêu tham số cho từng tác vụ huấn luyện và phân tích số liệu thực nghiệm. Kết quả cho thấy phương pháp tiếp cận theo pipeline PaddleOCR vượt trội hoàn toàn so với việc kết hợp YOLOv8 và EasyOCR. Tác giả phân tích chi tiết các trường hợp lỗi: YOLOv8 nhận diện dư thừa vùng văn bản nhiễu khi ảnh chụp góc nghiêng, EasyOCR nhận diện sai ký tự quang học; trong khi pipeline DB++ kết hợp ABINet và VI-LayoutXLM duy trì độ chính xác cao và ổn định trên tập dữ liệu kiểm thử.

Chương 6: Kết luận và hướng phát triển

Tổng kết toàn bộ các kết quả đạt được về mặt xây dựng dữ liệu và hiệu năng mô hình trích xuất. Đưa ra các giải pháp cải tiến hệ thống trong tương lai nhằm khắc phục các giới hạn về chủng loại chứng chỉ và xử lý ảnh đa đối tượng.

Kết quả và đóng góp

Khóa luận đã triển khai thực nghiệm toàn diện các mô hình học sâu trên bộ dữ liệu UIT-IELC, thu được các chỉ số hiệu năng cụ thể theo từng tác vụ:

Tác vụ Mô hình thực nghiệm Độ đo chính (Metrics) Kết quả đạt được
Phát hiện văn bản (Detection) SAST F1-score / H-mean Đạt yêu cầu kiểm thử
DB++ H-mean 99,59%
Nhận diện văn bản (Recognition) CRNN Độ chính xác chuỗi (Acc_full_seq) Thực nghiệm so sánh
SRN Độ chính xác chuỗi (Acc_full_seq) Thực nghiệm so sánh
ABINet Độ chính xác chuỗi (Acc_full_seq) 99,59%
Trích xuất thông tin chính (KIE/SER) SDMGR F1-score Thực nghiệm so sánh
VI-LayoutXLM F1-score 99,91%

Đóng góp của khóa luận bao gồm:

  1. Đóng góp về dữ liệu: Xây dựng thành công bộ dữ liệu ảnh chứng chỉ tiếng Anh UIT-IELC quy mô 8.837 hình ảnh với 70.604 vùng nhãn chuẩn hóa cho 8 trường thông tin, giải quyết bài toán thiếu hụt dữ liệu nghiên cứu do rào cản bảo mật thông tin cá nhân.
  2. Đóng góp về giải pháp công nghệ: Đánh giá so sánh thực nghiệm giữa phương pháp phát hiện đối tượng thuần túy (YOLOv8 + EasyOCR) và pipeline OCR tài liệu chuyên sâu đa phương thức (PaddleOCR + LayoutXLM); chứng minh tính hiệu quả vượt trội của việc kết hợp mô hình DB++, ABINet và VI-LayoutXLM trong bài toán trích xuất thực thể tài liệu bán cấu trúc.
  3. Giá trị ứng dụng thực tiễn: Cung cấp giải pháp phần mềm tự động hóa việc nhập liệu bảng điểm chứng chỉ TOEIC, hỗ trợ trực tiếp công tác xét duyệt chuẩn đầu ra tại các cơ sở đào tạo và quản lý hồ sơ nhân sự tại doanh nghiệp.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận ghi nhận hai hạn chế kỹ thuật chính:

  • Độ đa dạng của dữ liệu: Bộ dữ liệu UIT-IELC hiện chỉ mới tập trung vào định dạng chứng chỉ TOEIC Nghe và Đọc, chưa mở rộng sang các chứng chỉ ngoại ngữ phổ biến khác (IELTS, TOEFL, TOEIC Nói - Viết, VNU-EPT, Cambridge).
  • Ràng buộc đầu vào hệ thống: Pipeline xử lý hiện tại chỉ đạt độ chính xác tối ưu khi mỗi ảnh đầu vào chứa duy nhất một chứng chỉ. Trong trường hợp ảnh chụp chứa từ hai chứng chỉ trở lên hoặc có nhiều tài liệu lồng ghép, hệ thống phát sinh sai sót trong việc phân tách thực thể.

Hướng phát triển tiếp theo của nhóm tác giả bao gồm:

  • Mở rộng quy mô và sự đa dạng của bộ dữ liệu bằng cách bổ sung nhiều mẫu chứng chỉ tiếng Anh khác nhau.
  • Phát triển và nâng cấp kiến trúc mô hình nhằm xử lý đồng thời nhiều chứng chỉ xuất hiện trong cùng một khung hình ảnh đầu vào.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo có giá trị học thuật và kỹ thuật thực hành cho sinh viên, học viên ngành Khoa học Dữ liệu, Trí tuệ Nhân tạo và Công nghệ Thông tin đang thực hiện các đề tài về Thị giác máy tính (Computer Vision), Nhận diện ký tự quang học (OCR) và Xử lý tài liệu thông minh (Document AI). Các nội dung đáng chú ý gồm:

  • Quy trình chuẩn hóa việc tạo lập, gán nhãn và phân chia tập dữ liệu ảnh tài liệu bán cấu trúc quy mô lớn bằng PPOCRLabel.
  • Phương pháp luận phân tích lỗi và so sánh giữa kiến trúc phát hiện đối tượng (Object Detection) với kiến trúc phân tích bố cục tài liệu chuyên dụng (Document Layout Analysis / KIE).
  • Kỹ thuật huấn luyện và tinh chỉnh các mô hình thị giác - ngôn ngữ đa phương thức (VI-LayoutXLM, SDMGR, ABINet, DB++).

Câu hỏi thường gặp

1. Tại sao nhóm nghiên cứu không sử dụng dữ liệu chứng chỉ TOEIC thật thu thập từ Internet để huấn luyện mô hình? Dữ liệu chứng chỉ thật trên Internet có số lượng hạn chế, chất lượng không đồng đều (bị mờ, nhòe, tối, xoay góc hoặc chèn watermark). Quan trọng nhất, chứng chỉ thật chứa các thông tin định danh cá nhân nhạy cảm, việc thu thập và công bố khi chưa được cấp phép vi phạm các quy định bảo mật quyền riêng tư. Do đó, nhóm đã chọn giải pháp tạo lập bộ dữ liệu giả lập (semi-synthetic) nhưng chuẩn hóa hoàn toàn theo cấu trúc chứng chỉ thật.

2. Hướng tiếp cận kết hợp YOLOv8 và EasyOCR gặp phải những nhược điểm kỹ thuật nào? Khi ảnh chụp nghiêng, YOLOv8 có xu hướng phát hiện dư thừa các vùng văn bản nền không thuộc 8 trường thông tin chính. Ngoài ra, độ chính xác định vị bounding box của YOLOv8 trên tập dữ liệu này thấp hơn mô hình phân đoạn chuyên dụng DB++, đồng thời mô hình EasyOCR sẵn có phát sinh nhiều lỗi nhận diện sai ký tự đối với các chuỗi ký tự số và tên riêng.

3. Tại sao mô hình DB++ lại đạt hiệu năng phát hiện văn bản cao hơn các mô hình truyền thống? Mô hình DB++ áp dụng cơ chế phân ngưỡng nhị phân khả vi (Differentiable Binarization), cho phép mạng nơ-ron tự động học và tối ưu hóa ngưỡng nhị phân động cho từng điểm ảnh trong quá trình lan truyền ngược, kết hợp cùng khối Adaptive Scale Fusion (ASF) giúp dung hợp hiệu quả đặc trưng văn bản ở nhiều tỷ lệ kích thước khác nhau.

4. Mô hình VI-LayoutXLM sử dụng những thông tin đầu vào nào để phân loại 8 trường thông tin chính? Khác với các mô hình NER truyền thống chỉ sử dụng ngữ nghĩa văn bản thuần túy, VI-LayoutXLM là mô hình đa phương thức tiếp nhận đồng thời: nội dung chuỗi văn bản đã nhận diện, tọa độ vị trí 2D (bounding box) và đặc trưng bố cục không gian của từng khối chữ trên ảnh chứng chỉ để thực hiện gán nhãn thực thể ngữ nghĩa (SER).

5. Cơ sở nào để nhóm tác giả thiết lập tham số max_text_lengths = 25 trong quá trình huấn luyện nhận diện văn bản? Qua phân tích thống kê phân phối độ dài chuỗi ký tự trên toàn bộ tập dữ liệu, các trường số (ID, Điểm, Ngày tháng) có độ dài cố định ngắn (từ 3 đến 13 ký tự). Trường Họ và tên là chuỗi ký tự chữ la-tinh không dấu có biến thiên độ dài lớn nhất, và ngưỡng 25 ký tự bao phủ hoàn toàn độ dài tên người Việt trong tập dữ liệu mà không làm lãng phí tài nguyên tính toán.

Kết luận

Khóa luận tốt nghiệp của sinh viên Trần Phạm Gia Phú và Quách Cơ Thái đã giải quyết bài toán tự động hóa trích xuất thông tin trên chứng chỉ TOEIC Nghe và Đọc thông qua việc xây dựng bộ dữ liệu UIT-IELC quy mô 8.837 ảnh và thiết lập pipeline học sâu 3 giai đoạn tối ưu. Nghiên cứu chứng minh tính ưu việt của việc kết hợp mô hình DB++ cho phát hiện văn bản (H-mean 99,59%), ABINet cho nhận diện ký tự (Acc_full_seq 99,59%) và VI-LayoutXLM cho trích xuất thực thể ngữ nghĩa đa phương thức (F1-score 99,91%). Kết quả của đề tài đóng góp một giải pháp kỹ thuật có độ tin cậy cao, mở ra hướng ứng dụng thiết thực trong công tác số hóa tài liệu học vụ và quản trị nhân sự.