Xây dựng hệ thống nhận dạng và trích xuất bảng điểm tự động sử dụng học máy

Đồ án nhận dạng và trích xuất bảng điểm tự động dùng học máy - ĐH Sư phạm Kỹ thuật TP.HCM

• Tác giả: Văn Thị Mười Ngọc
• Người hướng dẫn: TS. Trần Nhật Quang
• Trường học: Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Xây dựng hệ thống nhận dạng và trích xuất bảng điểm tự động sử dụng học máy
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2025
• Địa điểm: Thành phố Hồ Chí Minh

Tóm tắt

I. Tổng quan nhận dạng và trích xuất bảng điểm tự động tại HCMUTE

Quá trình chuyển đổi số trong giáo dục đại học diễn ra mạnh mẽ tại Việt Nam. Công tác quản lý học vụ đòi hỏi sự chuẩn xác và tốc độ xử lý thông tin cao. Trường Đại học Sư phạm Kỹ thuật TP.HCM triển khai nghiên cứu hệ thống tự động hóa hồ sơ sinh viên. Công nghệ nhận dạng ký tự quang học kết hợp học máy giữ vai trò trung tâm. Giải pháp này chuyển đổi nhanh chóng tài liệu bản cứng sang định dạng kỹ thuật số. Dữ liệu bảng điểm học tập được cấu trúc hóa rõ ràng và đồng bộ. Nhân viên phòng đào tạo không còn phải nhập điểm thủ công qua từng trang giấy. Sai sót về dữ liệu được hạn chế tối đa ngay từ khâu tiếp nhận. Quá trình tính toán điểm trung bình và điểm xét tuyển diễn ra tự động. Thời gian xử lý mỗi bộ hồ sơ giảm đáng kể. Các thuật toán thị giác máy tính nhận diện văn bản chính xác trên nhiều mẫu biểu. Cơ sở dữ liệu trường học được làm sạch và lưu trữ an toàn. Nền tảng này mở ra hướng đi bền vững cho quản trị trường học thông minh hiện đại.

1.1. Khái niệm nhận dạng ký tự quang học trong giáo dục

Nhận dạng ký tự quang học là công nghệ chuyển ảnh văn bản thành ký tự số. Công nghệ này áp dụng mạng nơ-ron tích chập để nhận biết mặt chữ. Hệ thống tách biệt các vùng văn bản, dòng chữ và từng ký tự riêng lẻ. Trong môi trường học đường, tài liệu giấy tờ xuất hiện rất nhiều. Bảng điểm, đơn từ và chứng chỉ cần được số hóa liên tục. Phương pháp quang học truyền thống thường dựa vào mẫu quy định cố định. Mô hình học sâu mới đem lại sự linh hoạt vượt bậc. Máy tính tự học hỏi các đặc trưng hình học của chữ in và chữ số. Dữ liệu trích xuất đạt độ chính xác cao ngay cả khi tài liệu scan có độ phân giải thấp. Việc ứng dụng công nghệ này giảm tải gánh nặng hành chính cho giảng viên.

1.2. Mục tiêu nghiên cứu và phạm vi áp dụng đề tài

Đề tài hướng tới việc xây dựng phần mềm nhận diện bảng điểm thông minh. Nhóm nghiên cứu tập trung giải quyết bài toán nhập liệu cho sinh viên khóa mới. Phạm vi ứng dụng diễn ra tại các phòng ban thuộc Trường ĐH Sư phạm Kỹ thuật TP.HCM. Mục tiêu cốt lõi là tự động đọc điểm môn học từ ảnh chụp hoặc file scan. Kết quả đầu ra là bảng dữ liệu số có cấu trúc chuẩn hóa. Hệ thống hỗ trợ đắc lực cho công tác xét học bổng và chuyển đổi tín chỉ. Thời gian kiểm tra hồ sơ rút ngắn từ vài tuần xuống còn vài giờ. Mọi thông tin cá nhân và điểm số của người học được bảo mật chặt chẽ. Đề tài mở đường cho việc áp dụng trí tuệ nhân tạo toàn diện trong nhà trường.

II. Thách thức trong nhận dạng và trích xuất bảng điểm tự động

Quy trình nhập liệu bảng điểm truyền thống gặp rất nhiều rào cản kỹ thuật. Mỗi cơ sở giáo dục phát hành mẫu bảng điểm với hình thức khác nhau. Số lượng hàng, cột và tiêu đề không tuân theo quy chuẩn cố định. Một số bảng điểm có đường kẻ rõ ràng, nhưng nhiều bảng điểm lại không có viền kẻ. Hiện tượng ô bị gộp hàng hoặc gộp cột diễn ra thường xuyên. Yếu tố này khiến các thuật toán phân tích bố cục thông thường thất bại. Bên cạnh đó, chất lượng ảnh đầu vào thường không đồng đều. Tài liệu scan có thể bị mờ nhòe, nghiêng góc hoặc dính nhiều tạp nhiễu. Độ tương phản kém làm giảm khả năng nhận diện các con số quan trọng. Nhiều ký tự tương đồng như số tám và chữ cái B rất dễ gây nhầm lẫn. Việc nhập liệu bằng tay từng môn học tiêu tốn lượng lớn nhân lực. Tỷ lệ sai sót tăng cao khi khối lượng giấy tờ dồn dập vào mùa tuyển sinh. Sự chậm trễ làm gián đoạn tiến độ công bố kết quả học tập. Do đó, việc xây dựng mô hình học sâu chuyên biệt là yêu cầu bức thiết.

2.1. Đa dạng bố cục và cấu trúc dữ liệu dạng bảng

Cấu trúc bảng điểm thể hiện mức độ phức tạp rất cao. Tài liệu giáo dục gồm nhiều trường dữ liệu đan xen. Tên môn học, số tín chỉ và điểm chữ nằm liền kề nhau. Nhiều trường hợp một môn học kéo dài qua hai dòng kẻ. Tiêu đề bảng chứa các ô phân cấp nhiều tầng. Các công cụ truyền thống như Tesseract gặp khó khăn trong việc phân ranh giới ô. Nếu thuật toán xác định sai tọa độ, dữ liệu cột điểm sẽ bị lệch dòng hoàn toàn. Hậu quả là điểm của môn này bị gán nhầm sang môn khác. Hệ thống cần hiểu ngữ cảnh không gian của từng hàng và cột. Việc phân tích cấu trúc bảng chính xác là tiền đề cho khâu trích xuất nội dung sau đó.

2.2. Biến dạng tài liệu scan và nhiễu quang học

Chất lượng tài liệu scan là trở ngại lớn đối với các thuật toán nhận dạng. Bảng điểm giấy qua thời gian lưu trữ dễ bị ố vàng hoặc rách góc. Thiết bị scan văn phòng tạo ra độ phân giải không đồng nhất. Nhiều bản scan xuất hiện vết gấp, bóng mờ và hiện tượng lệch khung hình. Các đốm mực in loang lổ che lấp nét chữ số. Góc quay tài liệu bị nghiêng khiến việc phân đoạn dòng bị sai lệch. Ký tự chữ số nhỏ dễ bị dính nét vào các đường viền kẻ bảng. Điều này dẫn tới sự nhầm lẫn giữa số không và số tám. Thuật toán tiền xử lý hình học đóng vai trò bắt buộc. Quá trình khử nhiễu, chỉnh nghiêng và tăng tương phản giúp cứu vãn dữ liệu bị hỏng.

III. Giải pháp học máy nhận dạng và trích xuất bảng điểm tự động

Hệ thống đề xuất tích hợp các mô hình học sâu tiên tiến nhất hiện nay. Quy trình xử lý gồm ba giai đoạn chính: phát hiện bảng, phân tách ô và nhận dạng ký tự. Mô hình Faster R-CNN đảm nhận nhiệm vụ định vị vùng bảng điểm trên ảnh. Thuật toán trích xuất đặc trưng hình ảnh thông qua mạng nơ-ron tích chập sâu. Vùng chứa bảng được khoanh vùng chuẩn xác nhờ cơ chế đề xuất vùng RPN. Sau đó, mạng Mask R-CNN hoặc các thuật toán phân đoạn hình học xác định tọa độ từng ô. Cấu trúc hàng và cột được tái tạo dựa trên không gian liên kết các cạnh. Công nghệ nhận dạng quang học OCR tiếp tục giải mã văn bản trong từng ô. Mô hình CRNN kết hợp Transformer chuyển đổi hình ảnh chữ số thành chuỗi ký tự. Dữ liệu trích xuất trải qua bước hậu xử lý logic. Hệ thống tự động so khớp điểm số với danh mục môn học đã định nghĩa sẵn. Kết quả cuối cùng được xuất ra định dạng JSON hoặc bảng tính Excel trực quan.

3.1. Ứng dụng Faster R CNN trong định vị cấu trúc bảng

Faster R-CNN là kiến trúc mạng nơ-ron nhận diện đối tượng tiêu chuẩn. Mô hình sử dụng mạng đường trục ResNet để tạo bản đồ đặc trưng. Khối đề xuất vùng RPN nhanh chóng quét qua toàn bộ trang tài liệu. Các hộp giới hạn tiềm năng chứa bảng biểu được dự đoán chính xác. Thuật toán tiến hành phân loại vùng bảng và tinh chỉnh tọa độ đường viền. Thử nghiệm trên tập dữ liệu học thuật cho thấy tốc độ xử lý rất nhanh. Mô hình vượt trội so với các công cụ phát hiện đường kẻ truyền thống. Những tài liệu không có đường kẻ khung vẫn được định vị ranh giới trọn vẹn. Khả năng khái quát hóa cao giúp mô hình thích ứng linh hoạt với nhiều biểu mẫu bảng điểm tại trường.

3.2. Khai thác tập dữ liệu chuyên biệt để huấn luyện mô hình

Quá trình huấn luyện mô hình đòi hỏi nguồn dữ liệu phong phú và chuẩn mực. Nghiên cứu sử dụng các bộ dữ liệu chuẩn quốc tế như ICDAR2019 và TableBank. Bên cạnh đó, dữ liệu bảng điểm thực tế được Phòng Tuyển sinh cung cấp. Hàng nghìn hình ảnh tài liệu được gán nhãn chi tiết vị trí từng dòng và ô. Kỹ thuật tăng cường dữ liệu được áp dụng để mở rộng tập mẫu. Các thao tác làm xoay, đổi sáng và thêm nhiễu giả lập các điều kiện scan thực tế. Mô hình học sâu nắm bắt tốt quy luật phân bố ký tự tiếng Việt. Độ chính xác nhận dạng từng bước đạt mức tối ưu. Khâu chuẩn bị dữ liệu bài bản đảm bảo hệ thống hoạt động ổn định khi triển khai thực địa.

IV. Hiệu quả thực tiễn nhận dạng và trích xuất bảng điểm tự động

Hệ thống tự động hóa mang lại bước chuyển lớn cho công tác quản lý đào tạo. Tốc độ số hóa bảng điểm tăng gấp nhiều lần so với thao tác thủ công. Nhân viên phòng đào tạo tiết kiệm hàng trăm giờ làm việc trong mỗi đợt xét tuyển. Tỷ lệ nhận diện đúng ký tự và điểm số đạt mức xấp xỉ tuyệt đối. Quy trình loại bỏ hoàn toàn các lỗi nhập nhầm điểm do mệt mỏi của con người. Dữ liệu sau khi trích xuất được tích hợp trực tiếp vào hệ thống quản lý học vụ nhà trường. Giảng viên và cán bộ khảo thí dễ dàng tra cứu, kiểm tra lịch sử điểm số của người học. Việc tự động tính toán điểm trung bình tích lũy diễn ra tức thì và minh bạch. Mô hình không chỉ phục vụ đợt tuyển sinh mà còn áp dụng cho xét tốt nghiệp. Chi phí vận hành bộ máy hành chính được tối ưu hóa rõ rệt. Đề tài khẳng định năng lực ứng dụng trí tuệ nhân tạo vào thực tiễn giáo dục đại học. Nền tảng kỹ thuật này hoàn toàn có thể nhân rộng sang nhiều cơ sở đào tạo khác.

4.1. Tối ưu hóa thời gian và nguồn lực quản lý học vụ

Ứng dụng hệ thống giúp cải thiện năng suất lao động vượt trội. Trước đây, một cán bộ tuyển sinh cần khoảng mười phút để nhập xong một bảng điểm. Khi áp dụng mô hình tự động, thời gian trích xuất giảm xuống dưới ba mươi giây. Tốc độ này cho phép giải quyết hàng nghìn hồ sơ mỗi ngày mà không gây ùn tắc. Nhân viên có thêm thời gian để đối soát chuyên môn và tư vấn sinh viên. Tình trạng căng thẳng và quá tải trong các kỳ thi hay tuyển sinh được xóa bỏ. Quy trình làm việc số hóa tạo nên môi trường công sở khoa học, hiện đại. Đây là bước đệm then chốt trong kế hoạch chuyển đổi số toàn diện của nhà trường.

4.2. Hướng phát triển tích hợp Transformer và mô hình lớn

Xu hướng nghiên cứu tương lai hướng tới việc áp dụng các kiến trúc Vision Transformer tiên tiến. Mô hình Transformer có khả năng nắm bắt sự phụ thuộc không gian tầm xa giữa các thành phần của bảng. Sự kết hợp giữa thị giác máy tính và mô hình ngôn ngữ lớn mở ra tiềm năng trích xuất thông tin đa phương thức. Hệ thống tương lai có thể tự động hiểu các ghi chú phức tạp và các dấu mộc xác thực trên văn bản. Khả năng tự sửa lỗi chính tả theo ngữ cảnh học vụ sẽ được hoàn thiện hơn nữa. Ngoài ra, việc mở rộng mô hình để đọc bảng điểm viết tay và chứng chỉ ngoại ngữ quốc tế là hướng đi khả thi. Giải pháp hứa hẹn nâng tầm năng lực số hóa dữ liệu giáo dục trong thời đại mới.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong công tác quản lý giáo dục hiện đại, việc quản lý hồ sơ và bảng điểm sinh viên đang từng bước chuyển dịch sang môi trường số. Tuy nhiên, tại nhiều cơ sở đào tạo, quá trình thu nhận và đối chiếu bảng điểm vẫn phụ thuộc đáng kể vào các thao tác thủ công của cán bộ quản lý học vụ và giảng viên. Phương thức xử lý truyền thống này đòi hỏi nhiều thời gian, công sức kiểm duyệt, đồng thời tiềm ẩn nguy cơ sai sót trong quá trình nhập liệu, gây ảnh hưởng trực tiếp đến tính chuẩn xác của cơ sở dữ liệu học tập. Nhận dạng ký tự quang học (OCR) kết hợp với các kỹ thuật thị giác máy tính tiên tiến đóng vai trò là công cụ chuyển đổi tài liệu bảng điểm từ dạng hình ảnh hoặc bản cứng sang dữ liệu số có cấu trúc, tạo nền tảng cho việc tự động hóa tính điểm trung bình, điểm tổ hợp và thống kê học vụ.

Đề tài khóa luận tốt nghiệp kỹ sư ngành Công nghệ thông tin (chuyên ngành Trí tuệ nhân tạo) tại Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh, do sinh viên Văn Thị Mười Ngọc và Nguyễn Thị Nhật Vy thực hiện dưới sự hướng dẫn của TS. Trần Nhật Quang, tập trung giải quyết bài toán tự động hóa trích xuất thông tin bảng điểm. Nghiên cứu xác lập 4 nhiệm vụ kỹ thuật cụ thể:

1. Phân tích yêu cầu và đặc tả hệ thống: Khảo sát nghiệp vụ xử lý bảng điểm, xác định luồng dữ liệu đầu vào (ảnh chụp bảng điểm), các công đoạn xử lý trung gian (nhận diện vùng bảng, phân tách ô/hàng/cột, OCR) và định dạng đầu ra (tệp CSV hoặc bảng số liệu); đề xuất kiến trúc hệ thống tích hợp mô hình DETR (Table Transformer), VietOCR và giao diện người dùng.
2. Xây dựng pipeline xử lý và huấn luyện mô hình: Thiết kế chu trình phát hiện bảng và cấu trúc hàng/cột bằng mô hình DETR đã tinh chỉnh (fine-tuning); tích hợp mô hình VietOCR cấu trúc seq2seq để nhận diện nội dung văn bản tiếng Việt trong từng ô; xây dựng tập dữ liệu từ bảng điểm thực tế và tinh chỉnh các siêu tham số học sâu.
3. Xây dựng giao diện người dùng bằng Streamlit: Hiện thực hóa ứng dụng web cho phép người dùng tải ảnh, thực thi nhận diện tự động, trực quan hóa kết quả phân vùng, biên tập chỉnh sửa dữ liệu trên bảng số liệu và xuất tệp CSV.
4. Đánh giá, kiểm thử và tối ưu hệ thống: Kiểm thử hoạt động của hệ thống trên các tài liệu bảng điểm có bố cục khác nhau, phân tích lỗi sai trong công đoạn phát hiện bảng và nhận diện ký tự, từ đó đề xuất giải pháp tối ưu.

Đối tượng nghiên cứu của đề tài là các mô hình học sâu phục vụ phát hiện bảng, nhận dạng cấu trúc bảng và nhận dạng ký tự quang học tiếng Việt trên tài liệu hình ảnh. Phạm vi nghiên cứu về mặt không gian tập trung vào cơ sở dữ liệu ảnh bảng điểm sinh viên do Phòng Tuyển sinh và Công tác Sinh viên Trường Đại học Sư phạm Kỹ thuật TP.HCM hỗ trợ cung cấp. Phạm vi thời gian thực hiện đề tài kéo dài từ tháng 01/2025 đến tháng 06/2025.

---

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập nền tảng lý thuyết dựa trên các kỹ thuật then chốt của thị giác máy tính (Computer Vision) và xử lý ngôn ngữ tự nhiên:

• Phát hiện đối tượng (Object Detection): Phân tích nguyên lý trích xuất đặc trưng không gian bằng bộ mã hóa (encoder) và ước lượng tọa độ hộp giới hạn (bounding box) cùng nhãn phân loại bằng bộ giải mã (decoder). Tác giả so sánh phương pháp cổ điển sử dụng mạng đề xuất vùng (Region Proposal Network - RPN) trong Faster R-CNN với phương pháp Transformer hiện đại.
• Mô hình DETR (DEtection TRansformer): Ứng dụng kiến trúc Transformer với cơ chế tự chú ý (self-attention) để xử lý dữ liệu hình ảnh end-to-end. DETR loại bỏ hoàn toàn các thành phần thiết kế thủ công như anchor boxes hay thuật toán triệt tiêu phi cực đại (Non-Maximum Suppression - NMS), cho phép mô hình học mối quan hệ ngữ cảnh toàn cục giữa các điểm ảnh, thích ứng với các bảng không có đường viền rõ ràng, bảng chứa dữ liệu hỗn hợp hoặc bảng bị nghiêng méo.
• Mô hình VietOCR: Sử dụng kiến trúc chuỗi-sang-chuỗi (seq2seq) chuyên biệt cho việc nhận diện ký tự tiếng Việt có dấu, giải quyết các hạn chế của các bộ thư viện OCR tiếng Anh truyền thống.
• Nghiên cứu liên quan và công cụ đối sánh: Khóa luận khảo sát nghiên cứu khảo sát của Kasema và cộng sự (2022) về mô hình học sâu cho nhận diện bảng trên các bộ dữ liệu ICDAR2013, ICDAR2019, TableBank, PubTables-1M; nghiên cứu của Gilani và cộng sự (2017) về Faster R-CNN trên bộ dữ liệu UNLV; cùng công trình tích hợp OCR của Surmieda (2022). Tác giả cũng phân tích chi tiết hai công cụ Tesseract OCR và EasyOCR qua các bảng so sánh.

Khía cạnh kỹ thuật	Tesseract OCR	EasyOCR
Tiền xử lý ảnh	Dựa trên phân đoạn nhị phân và phân tích thành phần liên thông (CCA)	Dựa trên các phép biến đổi hình học và chuẩn hóa tensor màu phục vụ mạng học sâu
Trích xuất đặc trưng	Sử dụng mạng CNN kết hợp mạng nơ-ron hồi quy LSTM	Kết hợp CRAFT (Character Region Awareness for Text Detection) và mạng ResNet
Nhận diện ký tự	Áp dụng mạng LSTM với hàm mất mát CTC (Connectionist Temporal Classification)	Áp dụng kiến trúc CRNN hoặc cơ chế chú ý (Attention)
Xử lý văn bản	Khớp từ điển ngôn ngữ và mô hình n-gram truyền thống	Tích hợp nhận diện đa ngôn ngữ học sâu trên không gian ký tự mở rộng

Phương pháp nghiên cứu thực nghiệm được triển khai thông qua các giai đoạn kỹ thuật rõ ràng:

• Xây dựng dữ liệu: Khai thác nguồn ảnh bảng điểm thực tế; sử dụng nền tảng Datatorch để khoanh vùng và dán nhãn (annotation) vùng bảng, hàng, cột và ô dữ liệu; xuất dữ liệu nhãn sang định dạng tệp JSON chuẩn.
• Tinh chỉnh mô hình (Fine-tuning): Xây dựng lớp nạp dữ liệu (Dataset và DataLoader) bằng thư viện PyTorch; thực hiện tập huấn DETR cho hai bài toán riêng biệt gồm nhận diện vùng bảng (Table Detection) và nhận diện cấu trúc hàng/cột (Table Structure Recognition); tích hợp VietOCR để giải mã văn bản từng ô.
• Đánh giá định lượng: Áp dụng bộ chỉ số chuẩn COCO metrics, bao gồm độ chính xác trung bình (Average Precision - AP, mAP), độ bao phủ trung bình (Average Recall - AR) tại các ngưỡng tỷ lệ diện tích giao nhau trên diện tích hợp (Intersection over Union - IoU), và so sánh trực tiếp với dữ liệu nhãn chuẩn (Ground Truth - GT).

---

Thiết kế và triển khai

Hệ thống được thiết kế theo mô hình xử lý phân tầng (pipeline), phân tách rõ ràng các công đoạn xử lý trung gian nhằm đảm bảo tính toàn vẹn dữ liệu từ hình ảnh ban đầu tới tệp kết quả.

Ảnh bảng điểm đầu vào
[Phân tách ô dữ liệu (Cells)]

Kiến trúc pipeline kỹ thuật

1. Thu nhận ảnh đầu vào: Hệ thống tiếp nhận ảnh chụp bảng điểm sinh viên với các điều kiện góc chụp và ánh sáng thực tế.
2. Phát hiện vùng bảng (Table Detection): Mô hình DETR đã được fine-tune tiếp nhận ảnh toàn trang, phân tích và dự đoán hộp giới hạn chứa toàn bộ bảng điểm, sau đó tự động cắt (crop) gọn vùng bảng nhằm loại bỏ nhiễu từ các văn bản ngoài bảng.
3. Nhận dạng cấu trúc bảng (Table Structure Recognition): Vùng bảng sau khi cắt được đưa vào mô hình DETR thứ hai để phát hiện các phân đoạn hàng và cột, từ đó xác định tọa độ không gian của từng ô dữ liệu.
4. Nhận dạng ký tự quang học (OCR): Từng ô dữ liệu sau khi cắt rời được chuyển qua mô hình VietOCR seq2seq để nhận diện chuỗi ký tự tiếng Việt và các giá trị số điểm.
5. Hậu xử lý và tái tạo cấu trúc: Hệ thống thực hiện ánh xạ chỉ số hàng - cột với chuỗi văn bản tương ứng để tổ chức lại thành ma trận dữ liệu hai chiều.

Công nghệ triển khai

• Ngôn ngữ và môi trường: Python, PyTorch phục vụ xây dựng và huấn luyện mô hình học sâu.
• Nền tảng dán nhãn: Datatorch, cung cấp cấu trúc tệp JSON quản lý tập hợp annotations cho tọa độ bounding box.
• Giao diện người dùng: Triển khai trên nền tảng thư viện Streamlit, cung cấp các tính năng:
  • Cho phép người dùng tải lên hình ảnh bảng điểm từ máy tính.
  • Hỗ trợ chế độ nhận diện tự động toàn bộ pipeline hoặc cho phép người dùng thao tác từng mô hình độc lập (phát hiện bảng, phân tách hàng/cột, chạy OCR).
  • Trực quan hóa hình ảnh kết quả: hiển thị vùng bảng được cắt, hiển thị các đường bounding box bao quanh hàng và cột.
  • Tích hợp bảng dữ liệu tương tác cho phép chỉnh sửa nội dung văn bản trực tiếp trong từng ô dữ liệu.
  • Cung cấp các nút công cụ thao tác bảng: thêm dòng, thêm cột, xóa dòng, xóa cột.
  • Chức năng xuất dữ liệu trích xuất ra tệp định dạng CSV và hỗ trợ nút tải về cho người dùng.

Kiểm thử và tối ưu siêu tham số

Trong quá trình huấn luyện mô hình DETR, tác giả tiến hành thực nghiệm đối chiếu để lựa chọn bộ siêu tham số tối ưu:

• Khảo sát ảnh hưởng của tốc độ học (learning rate) tổng thể đến khả năng hội tụ của mô hình.
• Khảo sát ảnh hưởng của tốc độ học riêng của mạng trích xuất đặc trưng (backbone CNN).
• Khảo sát ảnh hưởng của trọng số suy giảm (weight decay) đến độ ổn định của hàm mất mát (loss curve).

---

Nội dung chính theo từng chương

Chương 1: Cơ sở lý thuyết

Chương 1 hệ thống hóa các khái niệm học thuật và công nghệ nền tảng tạo dựng nên giải pháp:

• Thị giác máy tính và phát hiện đối tượng: Phân tích cơ chế hoạt động của Object Detection qua hai khối thành phần (bộ mã hóa trích xuất đặc trưng và bộ giải mã hồi quy tọa độ hộp giới hạn). Tác giả làm rõ các thách thức kỹ thuật của bài toán Table Detection khi xử lý các tài liệu in ấn bị mờ, méo, thay đổi phông chữ hoặc thiếu đường kẻ bảng rõ ràng.
• Giới thiệu mô hình DETR Transformer: Phân tích cấu trúc đột phá của mô hình DETR, nêu bật việc ứng dụng cơ chế chú ý toàn cục để dự đoán đồng thời nhãn và bounding box mà không cần dựa vào các đề xuất vùng phức tạp hay bước lọc NMS. Khả năng mô hình hóa mối quan hệ không gian giúp DETR duy trì tính bất biến trước các bảng bị xoay hoặc biến dạng.
• Tổng hợp các nghiên cứu liên quan: Đánh giá có hệ thống các công trình nghiên cứu đi trước (khảo sát của Kasema et al. năm 2022 về các mạng CNN/Faster R-CNN và các tập dữ liệu TableBank, PubTables-1M; nghiên cứu của Gilani et al. năm 2017 về Faster R-CNN trên tập UNLV; nghiên cứu của Surmieda năm 2022).
• Công nghệ OCR và đối sánh công cụ: Giới thiệu quy trình hoạt động của Tesseract OCR, các kỹ thuật xử lý hậu kỳ (postprocessing). Tác giả lập các bảng phân tích đối chiếu chi tiết từ Bảng 1 đến Bảng 5 nhằm so sánh Tesseract OCR và EasyOCR trên 4 khía cạnh: tiền xử lý, trích xuất đặc trưng, nhận diện ký tự, hiệu quả xử lý văn bản, và khả năng phối hợp giữa hai công cụ.
• Đặc trưng dữ liệu bảng điểm sinh viên: Khảo sát cấu trúc hình thức của bảng điểm thực tế, bao gồm thông tin hành chính, danh sách môn học, số tín chỉ và điểm số.

Chương 2: Xây dựng mô hình

Chương 2 mô tả chi tiết quy trình kỹ thuật huấn luyện và tích hợp các khối học máy:

• Tiền xử lý dữ liệu và dán nhãn: Giới thiệu quy trình gán nhãn ảnh bảng điểm bằng công cụ Datatorch. Tác giả phân tích cấu trúc tệp dữ liệu JSON đầu ra chứa các trường metadata, danh mục phân loại và danh sách tọa độ annotations; đồng thời thống kê số lượng mẫu nhãn phục vụ huấn luyện.
• Xây dựng lớp dữ liệu: Thiết kế các module Dataset và DataLoader trong framework PyTorch nhằm phục vụ việc tải theo lô (batch loading) và tăng cường dữ liệu cho mạng nơ-ron.
• Thiết kế kiến trúc và tập huấn mô hình:
  • Huấn luyện mô hình nhận diện vùng bảng dựa trên DETR.
  • Huấn luyện mô hình nhận diện cấu trúc hàng và cột dựa trên DETR.
  • Tác giả thực hiện chuỗi thực nghiệm so sánh ảnh hưởng của các siêu tham số: đánh giá sự thay đổi của hàm mất mát theo learning rate, theo tốc độ học riêng của backbone CNN, và theo trọng số phạt nhằm chọn ra cấu hình tối ưu.
• Tích hợp VietOCR: Triển khai mô hình VietOCR cấu trúc seq2seq để nhận dạng ký tự tiếng Việt từ các ô đã được cắt theo tọa độ hàng - cột.
• Xử lý kết quả trả về: Hiện thực hóa thuật toán xác định giao điểm không gian giữa hàng và cột nhằm định vị chính xác vị trí ô, gán kết quả OCR tương ứng vào cấu trúc bảng.

Chương 3: Xây dựng giao diện trực quan

Chương 3 trình bày việc thiết kế và lập trình giao diện người dùng ứng dụng Streamlit:

• Giao diện người dùng được thiết kế nhằm mục tiêu thao tác trực quan, cho phép người dùng theo dõi toàn bộ tiến trình xử lý từ lúc tải ảnh bảng điểm lên hệ thống.
• Cung cấp hai cơ chế vận hành linh hoạt: chế độ nhận diện tự động hoàn toàn và chế độ cho phép người dùng kích hoạt, kiểm tra kết quả trả về của từng mô hình độc lập (mô hình phát hiện bảng, mô hình phân tách hàng/cột, mô hình nhận dạng ký tự).
• Trực quan hóa kết quả phân tích hình ảnh: hiển thị khung bao vùng bảng được nhận diện, hình ảnh bảng sau khi cắt gọn, và lưới bounding box bao phủ các hàng, cột.
• Tích hợp khung chỉnh sửa dữ liệu tương tác: hiển thị bảng điểm dưới dạng bảng tính trực quan, hỗ trợ người dùng sửa chữa trực tiếp các ký tự OCR bị nhầm lẫn.
• Hệ thống công cụ quản trị bảng: cung cấp các nút chức năng xóa dòng, xóa cột, thêm dòng, thêm cột; hỗ trợ kết xuất (export) toàn bộ bảng dữ liệu ra tệp CSV để người dùng tải về lưu trữ hoặc nhập vào phần mềm quản lý học vụ.

Chương 4: Kết quả & Đánh giá

Chương 4 tập trung vào công tác thực nghiệm định lượng và phân tích hiệu năng:

• Phương pháp đánh giá: Thiết lập môi trường kiểm thử dựa trên bộ chỉ số chuẩn đánh giá đối tượng COCO, bao gồm Mean Average Precision (mAP), Average Precision (AP) và Average Recall (AR) tại các ngưỡng IoU khác nhau.
• Xây dựng hàm đánh giá: Lập trình các hàm tính toán sai số tự động so khớp tọa độ dự đoán của mô hình với nhãn Ground Truth (GT).
• Kết quả thực nghiệm và thảo luận: Đánh giá chi tiết hiệu năng của từng thành phần trong hệ thống:
  • Đánh giá mô hình phát hiện bảng (Table Detection) qua đồ thị và bảng số liệu thực nghiệm.
  • Đánh giá mô hình nhận dạng cấu trúc bảng (Table Structure Recognition) trong việc phân tách chính xác ranh giới các hàng và cột.
  • Đánh giá hiệu quả nhận diện ký tự quang học của mô hình VietOCR trên tập dữ liệu ô văn bản tiếng Việt.
• Phân tích lỗi sai: Chỉ ra các trường hợp sai lệch phát sinh khi tài liệu bảng điểm có chất lượng ảnh kém, bị mờ nét, hoặc các ô dữ liệu có kích thước quá nhỏ khiến mô hình phân tách cấu trúc hoặc OCR nhầm lẫn.
• Định hướng phát triển: Đề xuất các cải tiến về thuật toán và tối ưu hóa hệ thống trong giai đoạn tiếp theo.

---

Kết quả và đóng góp

Khóa luận hoàn thành toàn diện các nhiệm vụ nghiên cứu và phát triển kỹ thuật được đề ra trong đề cương:

1. Xây dựng pipeline tích hợp học sâu hoàn chỉnh: Hiện thực hóa thành công chuỗi xử lý kết hợp giữa DETR (phát hiện bảng và phân tích cấu trúc hàng - cột) và VietOCR (nhận dạng ký tự quang học tiếng Việt), giải quyết trọn vẹn luồng dữ liệu từ ảnh chụp thô đến dữ liệu số có cấu trúc.
2. Chuẩn hóa bộ dữ liệu thực tế: Thu thập và dán nhãn bộ dữ liệu hình ảnh bảng điểm sinh viên thực tế bằng công cụ Datatorch, xây dựng cấu trúc nhãn chuẩn JSON phục vụ nghiên cứu thị giác máy tính trên tài liệu giáo dục Việt Nam.
3. Tinh chỉnh siêu tham số mô hình: Xác định được bộ siêu tham số thích hợp (learning rate, CNN backbone learning rate, trọng số) thông qua phân tích biểu đồ hàm mất mát, giúp mô hình DETR đạt khả năng phát hiện bảng và hàng/cột ổn định.
4. Xây dựng sản phẩm phần mềm trực quan: Triển khai hoàn chỉnh ứng dụng web bằng Streamlit cho phép người dùng thao tác đa dạng, can thiệp chỉnh sửa dữ liệu và xuất kết quả ra tệp CSV/Excel phục vụ công tác thực tiễn.

Thành phần hệ thống	Công nghệ / Mô hình	Chức năng kỹ thuật chính
Phát hiện vùng bảng	DETR (fine-tuned)	Xác định vị trí và cắt gọn vùng bảng điểm trong tài liệu
Phân tích cấu trúc	DETR (fine-tuned)	Phát hiện ranh giới các hàng và cột để tạo lưới ô dữ liệu
Nhận dạng ký tự	VietOCR (seq2seq)	Chuyển đổi hình ảnh chữ và số tiếng Việt trong từng ô thành văn bản
Gán nhãn dữ liệu	Datatorch	Khoanh vùng và xuất tệp JSON tọa độ bounding box
Giao diện người dùng	Streamlit	Tải ảnh, chạy quy trình, trực quan hóa, biên tập bảng, xuất CSV

Về mặt đóng góp học thuật và ứng dụng, đề tài khắc phục nhược điểm của các phương pháp phát hiện bảng truyền thống (như Faster R-CNN kết hợp thuật toán heuristic) vốn phụ thuộc vào các đường kẻ bảng rõ ràng và yêu cầu hậu xử lý NMS phức tạp. Bằng cách áp dụng cơ chế tự chú ý của DETR, hệ thống có khả năng nhận diện cấu trúc ngay cả trên các bảng không có viền kẻ hoàn chỉnh hoặc bị biến dạng góc chụp. Đồng thời, việc tích hợp VietOCR seq2seq cung cấp giải pháp nhận dạng ký tự tiếng Việt có dấu chuẩn xác cho bảng điểm học vụ.

---

Hạn chế và hướng nghiên cứu tiếp

Khóa luận ghi nhận một số hạn chế kỹ thuật trong quá trình triển khai thực tế:

• Độ chính xác của khâu nhận dạng cấu trúc bảng và OCR vẫn bị suy giảm khi xử lý các hình ảnh bảng điểm có độ phân giải thấp, bị nhiễu nặng, chụp dưới điều kiện ánh sáng không đồng đều hoặc bị nghiêng lệch góc quá lớn.
• Mô hình OCR gặp khó khăn khi nhận diện các văn bản có phông chữ phức tạp, chữ viết tay hoặc các ô bảng có mật độ ký tự quá dày đặc.

Hướng nghiên cứu và phát triển tiếp theo được tác giả đề xuất:

• Mở rộng quy mô và sự đa dạng của bộ dữ liệu huấn luyện, bổ sung thêm nhiều biểu mẫu bảng điểm từ các cơ sở đào tạo khác nhau với nhiều kiểu bố cục và điều kiện chụp thực tế.
• Tối ưu hóa sâu hơn kiến trúc mô hình học máy và phương pháp tiền xử lý ảnh nhằm nâng cao năng lực khử nhiễu, cân bằng góc nghiêng tự động trước khi đưa vào pipeline nhận diện.
• Nâng cấp giao diện người dùng và hoàn thiện các thuật toán hậu xử lý để tự động cảnh báo các ô dữ liệu có xác suất nhận diện thấp, hỗ trợ người dùng kiểm tra nhanh chóng hơn.

---

Giá trị tham khảo

Báo cáo khóa luận là tài liệu tham khảo có giá trị chuyên môn cao cho:

• Sinh viên, học viên cao học và kỹ sư chuyên ngành Công nghệ thông tin, Trí tuệ nhân tạo, Khoa học dữ liệu đang thực hiện các đề tài về thị giác máy tính, nhận diện tài liệu (Document AI), phát hiện bảng (Table Detection) và nhận dạng cấu trúc bảng (Table Structure Recognition).
• Cán bộ kỹ thuật và chuyên viên công nghệ tại các trường đại học, viện nghiên cứu phụ trách công tác chuyển đổi số, tự động hóa xử lý hồ sơ sinh viên và số hóa tài liệu giáo dục.

Các nội dung nổi bật đáng tham khảo bao gồm:

• Quy trình triển khai mô hình DETR Transformer cho bài toán phát hiện đối tượng dạng lưới (hàng và cột).
• Phương pháp luận gán nhãn dữ liệu hình ảnh văn bản với Datatorch và cấu trúc tổ chức tệp JSON.
• Thiết kế giao diện ứng dụng Streamlit có tính tương tác cao, kết hợp giữa hiển thị trực quan đồ họa học máy và công cụ biên tập bảng số liệu trước khi xuất tệp CSV.

---

Câu hỏi thường gặp

1. Đồ án sử dụng mô hình học sâu nào cho tác vụ phát hiện bảng và cấu trúc hàng - cột?

Tác giả sử dụng mô hình DETR (DEtection TRansformer / Table Transformer) được tinh chỉnh (fine-tuning) trên tập dữ liệu bảng điểm thực tế cho cả hai tác vụ: nhận diện vùng bảng (Table Detection) và phân tách ranh giới hàng, cột (Table Structure Recognition).

2. Mô hình nào được lựa chọn để thực hiện nhận dạng ký tự quang học tiếng Việt trong từng ô bảng điểm?

Đồ án sử dụng mô hình VietOCR với kiến trúc chuỗi-sang-chuỗi (seq2seq). Mô hình này chuyên biệt cho tiếng Việt có dấu, giúp giải mã chính xác văn bản và điểm số trong các ô dữ liệu sau khi đã được cắt rời theo tọa độ hàng và cột.

3. Dữ liệu huấn luyện của đề tài được lấy từ nguồn nào và được gán nhãn bằng công cụ gì?

Dữ liệu hình ảnh bảng điểm sinh viên thực tế được hỗ trợ cung cấp bởi Phòng Tuyển sinh và Công tác Sinh viên Trường Đại học Sư phạm Kỹ thuật TP.HCM. Tác giả sử dụng nền tảng Datatorch để khoanh vùng bounding box và xuất cấu trúc nhãn sang tệp định dạng JSON.

4. Hệ thống được đánh giá bằng các chỉ số kỹ thuật nào?

Hiệu năng của các mô hình thành phần được đánh giá dựa trên bộ chỉ số chuẩn COCO metrics, bao gồm độ chính xác trung bình (mAP, AP), độ bao phủ trung bình (AR) tại các ngưỡng IoU khác nhau, so sánh trực tiếp với nhãn chuẩn Ground Truth.

5. Giao diện Streamlit cung cấp những tính năng tương tác nào cho người dùng?

Giao diện Streamlit cho phép người dùng tải ảnh bảng điểm, lựa chọn chế độ nhận diện tự động hoặc kích hoạt từng mô hình độc lập, hiển thị trực quan các bounding box của bảng và hàng/cột, chỉnh sửa trực tiếp nội dung văn bản trong từng ô, thêm/xóa dòng/cột, và xuất kết quả ra tệp CSV để tải về máy.

---

Kết luận

Đồ án tốt nghiệp của sinh viên Văn Thị Mười Ngọc và Nguyễn Thị Nhật Vy đã giải quyết thành công bài toán tự động hóa trích xuất thông tin bảng điểm sinh viên thông qua pipeline kết hợp giữa mô hình DETR và VietOCR. Hệ thống thực hiện hoàn chỉnh chu trình từ phát hiện vùng bảng, phân tích lưới hàng - cột đến giải mã văn bản tiếng Việt và kết xuất dữ liệu sang định dạng CSV. Ứng dụng giao diện trực quan bằng Streamlit cung cấp công cụ biên tập dữ liệu linh hoạt, tạo tiền đề ứng dụng thiết thực trong việc số hóa hồ sơ học vụ tại các cơ sở giáo dục đại học. Nghiên cứu đã khẳng định tính hiệu quả của các kiến trúc học sâu dựa trên Transformer trong xử lý cấu trúc tài liệu phức tạp.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: CƠ SỞ LÝ THUYẾT. THỊ GIÁC MÁY TÍNH. GIỚI THIỆU MÔ HÌNH DERT TRANSFORMER. TỔNG HỢP CÁC NGHIÊN CỨU LIÊN QUAN.

GIỚI THIỆU OCR (OPTICAL CHARACTER RECOGNITION). DỮ LIỆU BẢNG ĐIỂM SINH VIÊN. 20 CHƯƠNG 2: XÂY DỰNG MÔ HÌNH. TIỀN XỬ LÍ DỮ LIỆU.

THIẾT KẾ KIẾN TRÚC MÔ HÌNH. XÂY DỰNG MÔ HÌNH. TẬP HUẤN MÔ HÌNH. XỬ LÝ KẾT QUẢ TRẢ VỀ TỪ MÔ HÌNH.

59 CHƯƠNG 3: XÂY DỰNG GIAO DIỆN TRỰC QUAN. 60 CHƯƠNG 4: KẾT QUẢ & ĐÁNH GIÁ. PHƯƠNG PHÁP ĐÁNH GIÁ. ĐỊNH HƯỚNG PHÁT TRIỂN TỪ MÔ HÌNH.

71 PHẦN 3: KẾT LUẬN. 72 DANH MỤC TÀI LIỆU THAM KHẢO. 1 DANH MỤC CÁC TỪ VIẾT TẮT Viết tắt Viết đủ OCR Optical Character Recognition CTC Connectionist Temporal Classification CRNN Convolutional Recurrent Neural Network LSTM Long Short-Term Memory CCA Connected Components Analysis CNNs Convolutional Neural Networks RPN Region Proposal Network CRATD Character Region Awareness for Text Detection DETR Detection Transformer GT Ground truth IoU Intersection over Union mAP Mean Average Precision AR Average Recall AP Average Precision NMS Non-Maximum Suppression DANH MỤC BẢNG Bảng 1: So sánh tiền xử lý ảnh giữa Tesseract OCR và EasyOCR. 11 Bảng 2: So sánh trích xuất đặc trưng giữa Tesseract OCR và EasyOCR.

14 Bảng 3: So sánh hiệu quả nhận diện ký tự giữa Tessearact OCR với EasyOCR. 15 Bảng 4: So sánh hiệu quả xử lý văn bản của Tesseract OCR và EasyOCR. 16 Bảng 5: Bảng so sánh kết quả. 17 DANH MỤC HÌNH ẢNH Ảnh 1: Kiến trúc cơ bản của mô hình DETR.

6 Ảnh 2: Kết quả thống kê nhận dạng cấu trúc bảng. 9 Ảnh 3: Faster R-CNN. 9 Ảnh 4: Hình ảnh nhận diện trang mẫu. 10 Ảnh 5: Dataset in Datatorch.

22 Ảnh 6: Hình ảnh dán nhãn dữ liệu sử dụng Datatorch. 23 Ảnh 7: Thống kê Annotations. 24 Ảnh 8: Định dạng file json của dữ liệu đã dán nhãn. 24 Ảnh 9: Cấu trúc file json của dữ liệu đã dán nhãn.

25 Ảnh 10: So sánh ảnh hưởng của learning rate đến khả năng học của mô hình. 27 Ảnh 11: So sánh ảnh hưởng của tốc độ học riêng của backbone CNN đến khả năng học. 27 Ảnh 12: So sánh ảnh hưởng của trọng số đến khả năng học của mô hình. 28 Ảnh 13: Biểu đồ mất mát với bộ siêu tham số được chọn.

29 Ảnh 14: Mô hình VietOcr. 30 Ảnh 15: Nhận diện khu vực có bảng. 51 Ảnh 16: Cắt gọn bảng để tiến hành các bước tiếp theo. 52 Ảnh 17: Kết quả nhận diện hàng và cột có trong hình.

53 Ảnh 18: Kết quả trả về từ mô hình. 56 Ảnh 19: Xây dựng giao diện bằng Streamlit. 57 Ảnh 20: Cho phép người dùng thao tác từng mô hình. 57 Ảnh 21: Kết quả nhận diện tự động.

58 Ảnh 22: Cho phép người dùng chỉnh sửa nội dung file csv. 58 Ảnh 23: Người dùng có thể thao tác Xóa dòng, xóa cột. 59 Ảnh 24: Thao tác thêm dòng, côt. 59 Ảnh 25: Export file csv và cho phép tải về.

60 Ảnh 26: Kết quả đánh giá mô hình table detection. 67 Ảnh 27: Kết quả đánh giá mô hình table structure recognition. 68 Ảnh 28: Kết quả đánh giá mô hình vietocr. 68 TÓM TẮT KHÓA LUẬN Đề tài này trình bày một hệ thống tự động hóa tiên tiến để nhận diện và trích xuất thông tin từ bảng điểm sinh viên thông qua hình ảnh đầu vào.