Khóa Luận Tốt Nghiệp Về Trích Xuất Thông Tin Từ Bìa Sách Tiếng Việt

Khóa luận tốt nghiệp khoa học dữ liệu về trích xuất thông tin trên bìa sách tiếng Việt, ứng dụng công nghệ hiện đại trong nghiên cứu.

• Tác giả: Võ Kiều Hoa
• Người hướng dẫn: TS. Đỗ Trọng Hợp
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Trích Xuất Thông Tin Từ Ảnh Bìa Sách Tiếng Việt
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2022
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. MỞ ĐẦU
• 2. CHƯƠNG 1: BÀI TOÁN TRÍCH XUẤT THÔNG TIN TRÊN BÌA SÁCH TIẾNG VIỆT
• 2.1. Bài toán trích xuất thông tin trên bìa sách tiếng Việt
• 2.2. Phương pháp đề xuất giải quyết bài toán
• 3. CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN
• 3.1. Các công trình nghiên cứu trên ngôn ngữ nước ngoài
• 3.2. Các công trình nghiên cứu trên ngôn ngữ tiếng Việt
• 4. CHƯƠNG 4: XÂY DỰNG BỘ DỮ LIỆU CHO BÀI TOÁN TRÍCH XUẤT THÔNG TIN TRÊN BÌA SÁCH TIẾNG VIỆT
• 4.1. Hướng dẫn gán nhãn dữ liệu
• 4.2. Quá trình gán nhãn dữ liệu
• 5. CÁC PHƯƠNG PHÁP TIẾP CẬN
• 5.1. Tiền xử lý chia dữ liệu tập huấn luyện, tập kiểm thử và tập đánh giá
• 5.2. Tiền xử lý dữ liệu cho mô hình phát hiện văn bản (Text Detection)
• 5.3. Tiền xử lý dữ liệu cho mô hình Text Recognition
• 5.4. Tiền xử lý dữ liệu cho mô hình Object detection
• 5.5. Bài toán phát hiện chữ trên ảnh (Text Detection)
• 5.5.1. Hệ thống nhận dạng chữ viết PaddleOCR
• 5.5.2. Mô hình EAST
• 5.5.3. Mô hình SAST
• 5.5.4. Mô hình CRAFT
• 5.6. Bài toán nhận diện chữ trên ảnh (Text Recognition)
• 5.6.1. Mô hình CRNN trong hệ thống PP-OCR
• 5.6.2. Mô hình SVTR-LCNet trong hệ thống PP-OCR
• 5.6.3. Thư viện VietOCR
• 5.7. Bài toán xử lý tổng hợp thông tin
• 5.7.1. Mô hình Yolov4
• 6. CÀI ĐẶT, THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 6.1. Cài đặt, thực nghiệm
• 6.1.1. Bài toán phát hiện văn bản (Text Detection)
• 6.1.2. Bài toán nhận diện văn bản
• 6.1.3. Phân loại và tổng hợp thông tin
• 6.2. Kết quả thực nghiệm và đánh giá
• 7. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về khóa luận tốt nghiệp khoa học dữ liệu trích xuất thông tin

Khóa luận tốt nghiệp về khoa học dữ liệu trích xuất thông tin từ bìa sách tiếng Việt là một nghiên cứu quan trọng trong lĩnh vực trích xuất thông tin. Mục tiêu chính của khóa luận là xây dựng một hệ thống có khả năng nhận diện và trích xuất thông tin từ bìa sách, bao gồm tên sách, tên tác giả và nhà xuất bản. Nghiên cứu này không chỉ giúp nâng cao khả năng quản lý sách mà còn góp phần vào việc số hóa tài liệu văn hóa Việt Nam.

1.1. Mục tiêu và ý nghĩa của nghiên cứu

Mục tiêu của nghiên cứu là xây dựng bộ dữ liệu cho bài toán trích xuất thông tin từ bìa sách tiếng Việt. Ý nghĩa của nghiên cứu nằm ở việc cải thiện khả năng truy cập thông tin sách và hỗ trợ quản lý thư viện hiệu quả hơn.

1.2. Phạm vi nghiên cứu và đối tượng

Phạm vi nghiên cứu tập trung vào các bìa sách tiếng Việt, với nguồn dữ liệu thu thập từ các nhà sách và thư viện. Đối tượng nghiên cứu bao gồm các thông tin như tên sách, tên tác giả và nhà xuất bản.

II. Thách thức trong việc trích xuất thông tin từ bìa sách tiếng Việt

Việc trích xuất thông tin từ bìa sách tiếng Việt gặp nhiều thách thức do sự đa dạng về kiểu dáng và chất lượng hình ảnh. Các yếu tố như độ phân giải thấp, ánh sáng không đồng đều và phông chữ khác nhau có thể ảnh hưởng đến độ chính xác của quá trình nhận diện. Điều này đòi hỏi các phương pháp xử lý hình ảnh và nhận diện văn bản phải được tối ưu hóa.

2.1. Các vấn đề về chất lượng hình ảnh

Chất lượng hình ảnh là một yếu tố quan trọng ảnh hưởng đến khả năng nhận diện văn bản. Hình ảnh mờ, thiếu sáng hoặc bị méo có thể dẫn đến sai sót trong quá trình trích xuất thông tin.

2.2. Độ phức tạp của ngôn ngữ tiếng Việt

Ngôn ngữ tiếng Việt có nhiều đặc điểm riêng biệt như dấu câu và các ký tự đặc biệt, điều này làm cho việc nhận diện văn bản trở nên phức tạp hơn so với các ngôn ngữ khác.

III. Phương pháp trích xuất thông tin hiệu quả từ bìa sách

Để giải quyết các thách thức trong việc trích xuất thông tin, nghiên cứu áp dụng nhiều phương pháp khác nhau, bao gồm học máy và xử lý ngôn ngữ tự nhiên. Các mô hình như EasyOCR, PaddleOCR và Tesseract được sử dụng để nhận diện văn bản trên bìa sách.

3.1. Xây dựng bộ dữ liệu cho mô hình

Bộ dữ liệu được xây dựng từ khoảng 10.000 ảnh bìa sách tiếng Việt, được gán nhãn rõ ràng để phục vụ cho việc huấn luyện các mô hình nhận diện văn bản.

3.2. Các mô hình học máy được áp dụng

Nghiên cứu sử dụng các mô hình học máy tiên tiến như EAST và CRAFT cho việc phát hiện văn bản, cùng với các mô hình như CRNN và SVTR cho việc nhận diện văn bản.

IV. Kết quả nghiên cứu và ứng dụng thực tiễn

Kết quả nghiên cứu cho thấy các mô hình được áp dụng đạt được độ chính xác cao trong việc trích xuất thông tin từ bìa sách. Hệ thống không chỉ giúp số hóa thông tin sách mà còn hỗ trợ quản lý thư viện hiệu quả hơn. Các ứng dụng thực tiễn của nghiên cứu bao gồm việc phát triển các ứng dụng quản lý sách và thư viện điện tử.

4.1. Đánh giá hiệu suất của mô hình

Các mô hình được đánh giá dựa trên các chỉ số như Precision, Recall và F1-score, với kết quả đạt được trên 75% cho độ chính xác.

4.2. Ứng dụng trong quản lý thư viện

Hệ thống trích xuất thông tin từ bìa sách có thể được ứng dụng trong việc quản lý thư viện, giúp tiết kiệm thời gian và nâng cao hiệu quả công việc.

V. Kết luận và hướng phát triển tương lai

Khóa luận đã đạt được những kết quả khả quan trong việc trích xuất thông tin từ bìa sách tiếng Việt. Tuy nhiên, vẫn còn nhiều hướng phát triển trong tương lai, bao gồm việc cải thiện độ chính xác của các mô hình và mở rộng phạm vi nghiên cứu sang các loại tài liệu khác.

5.1. Hướng phát triển công nghệ OCR

Công nghệ OCR sẽ tiếp tục được cải tiến để đáp ứng nhu cầu ngày càng cao trong việc số hóa tài liệu và quản lý thông tin.

5.2. Nghiên cứu mở rộng sang các ngôn ngữ khác

Nghiên cứu có thể mở rộng sang các ngôn ngữ khác, từ đó tạo ra các bộ dữ liệu phong phú hơn và nâng cao khả năng ứng dụng của hệ thống.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong nhiều thập kỷ qua, văn hóa đọc tại Việt Nam ghi nhận sự phát triển rõ nét về số lượng và quy mô xuất bản. Trước năm 1975, số lượng xuất bản hàng năm của cả hai miền Nam - Bắc đạt chưa đầy 4.000 tên sách. Hiện nay, con số này đạt xấp xỉ 25.000 đến 26.000 đầu sách mỗi năm (trong đó sách giáo khoa và giáo trình chiếm tới 80%), với tốc độ gia tăng bình quân hàng năm khoảng 10%. Cả nước có khoảng gần 400 tên báo, tạp chí và mạng lưới phát hành rộng lớn gồm 64 thư viện cấp tỉnh, 587 thư viện cấp huyện, khoảng 10.000 thư viện và tủ sách cơ sở cấp xã, 10.000 tủ sách pháp luật, 10.000 điểm bưu điện văn hóa, 3 vạn điểm đọc sách nông thôn, cùng hơn 12.000 cửa hàng và siêu thị sách tư nhân.

Thực tế quản lý sách tại các thư viện và nhà sách truyền thống vẫn phụ thuộc nhiều vào việc nhập liệu thủ công, tiêu tốn thời gian và nhân lực. Các thiết bị quét quang học (scanner) thông thường tại văn phòng hiện nay chủ yếu lưu trữ hình ảnh số hóa đơn thuần mà không trích xuất được thông tin ngữ nghĩa. Bên cạnh đó, các bìa sách tiếng Việt thuộc nhóm văn bản phi cấu trúc (unstructured text) với phông chữ nghệ thuật cách điệu, kích cỡ đa dạng, bố cục ngắt dòng tự do và phông nền (background) phức tạp, gây khó khăn cho các giải pháp nhận dạng ký tự quang học (OCR) truyền thống. Nguồn dữ liệu phục vụ nghiên cứu OCR cho bìa sách tiếng Việt hầu như chưa được công bố.

Khóa luận xác định các mục tiêu và nhiệm vụ nghiên cứu cụ thể như sau:

1. Xây dựng bộ dữ liệu ảnh bìa sách tiếng Việt có gán nhãn chi tiết phục vụ bài toán số hóa tủ sách.
2. Nghiên cứu, cài đặt và thử nghiệm các mô hình học sâu cho bài toán phát hiện văn bản (Text Detection) trên ảnh bìa sách tiếng Việt.
3. Nghiên cứu, cài đặt và thử nghiệm các mô hình học sâu cho bài toán nhận diện văn bản (Text Recognition) tiếng Việt trên ảnh bìa sách.
4. Xây dựng mô hình phân loại và thuật toán tổng hợp thông tin trích xuất vào ba nhóm trường dữ liệu: Tên sách (Title), Tên tác giả (Author), Tên nhà xuất bản (Publisher).
5. Xây dựng giải pháp công nghệ tích hợp hướng tới ứng dụng hỗ trợ quản lý sách tự động.

Đối tượng nghiên cứu là các mô hình học sâu phục vụ bài toán phát hiện chữ, nhận dạng chữ tiếng Việt trên ảnh và phân loại thực thể văn bản; dữ liệu ảnh là các bìa sách tiếng Việt chứa tên sách, tên tác giả và tên nhà xuất bản. Phạm vi dữ liệu gồm ảnh chụp trực tiếp bằng điện thoại thông minh tại các nhà sách, thư viện và ảnh thu thập từ nền tảng thương mại điện tử Tiki, mạng xã hội Facebook. Thời gian thực hiện khóa luận diễn ra trong 5 tháng, từ ngày 10/02/2022 đến ngày 10/07/2022.

---

Cơ sở lý thuyết và phương pháp

Khóa luận tiếp cận bài toán OCR trên văn bản phi cấu trúc dựa trên các mô hình thị giác máy tính và học sâu tiên tiến:

• Phát hiện văn bản (Text Detection): Sử dụng các kiến trúc FCN (Fully Convolutional Network) kết hợp thuật toán NMS trong mô hình EAST; mô hình SAST dựa trên mạng gốc ResNet-50 kết hợp FPN và khối Context Attention Block (CAB) nhằm dự đoán các thuộc tính hình học gồm đường tâm văn bản (TCL), độ lệch đường viền (TBO), độ lệch tâm (TCO) và độ lệch đỉnh (TVO); mô hình CRAFT sử dụng backbone VGG16 tính toán điểm vùng ký tự (region score) và điểm liên kết ký tự (affinity score).
• Nhận dạng văn bản (Text Recognition): Sử dụng hệ thống PP-OCR của PaddleOCR với mô hình CRNN kết hợp cơ chế Connectionist Temporal Classification (CTC), mô hình SVTR-LCNet dựa trên Single Visual Model, và thư viện VietOCR với mô hình TransformerOCR kết hợp mạng nơ-ron tích chập (CNN) trích xuất đặc trưng cùng khối giải mã Transformer.
• Tiền xử lý và phân đoạn ảnh: Ứng dụng mô hình Faster R-CNN (R50-FPN) thuộc framework Detectron2 cho bài toán phân vùng đối tượng (Image Segmentation) nhằm bóc tách bìa sách khỏi phông nền ngoại vi.
• Phân loại và tổng hợp thông tin: Sử dụng mạng phát hiện đối tượng YOLOv4 để dự đoán vùng chứa văn bản của các lớp tác giả, tên sách, nhà xuất bản, kết hợp thuật toán hình học tính tỷ lệ giao nhau (IoU) và khoảng cách tâm để gom cụm dòng chữ.

Phương pháp nghiên cứu thực nghiệm được tiến hành định lượng trên tập dữ liệu thực tế. Các độ đo chuẩn mực được sử dụng gồm:

• Độ đo phát hiện văn bản: Chỉ số giao thoa trên diện tích hợp (IoU với ngưỡng chấp nhận $\ge 0.5$), độ chính xác (Precision), độ phủ (Recall) và điểm trung bình điều hòa H-mean.
• Độ đo nhận diện chữ: Tỷ lệ lỗi ký tự (Character Error Rate - CER), tỷ lệ lỗi từ (Word Error Rate - WER), độ chính xác chuỗi đầy đủ (Acc full sequence), độ chính xác cấp từ (Acc per word) và cấp ký tự (Acc per char).
• Độ đo gom nhóm và phân loại: Chỉ số điều chỉnh Rand (Adjusted Rand Index - ARI) và điểm F1-score.

Dữ liệu ảnh bìa sách được thu thập từ hai nguồn: chụp thủ công bằng điện thoại di động (iPhone, Samsung, Oppo ở độ phân giải khoảng 3000x4000 pixels) tại các hiệu sách, thư viện; và thu thập từ các trang web thương mại điện tử, hội đồng đánh giá sách trực tuyến.

---

Thiết kế và triển khai

Hệ thống trích xuất thông tin bìa sách tiếng Việt được thiết kế theo chuỗi xử lý (pipeline) tuần tự gồm ba giai đoạn kỹ thuật chính kết hợp các bước tiền xử lý chuyên biệt:

Ảnh bìa sách đầu vào
Thông tin đầu ra: Tên sách | Tác giả | Nhà xuất bản

1. Khâu tiền xử lý phân vùng ảnh: Nhằm loại bỏ nhiễu từ môi trường chụp thực tế (sàn nhà, kệ sách, người qua lại), mô hình Faster R-CNN (R50-FPN) từ framework Detectron2 được cấu hình để tách biệt đối tượng bìa sách khỏi phông nền. Vùng ảnh bìa sách sau phân đoạn được bảo toàn trọn vẹn bề mặt chứa chữ.
2. Khâu phát hiện văn bản: Ảnh bìa sách sau khi xóa nền được đưa vào mô hình phát hiện văn bản. Các tọa độ nhãn không chỉ giới hạn ở khung chữ nhật mà được biểu diễn dưới dạng đa giác để bao bọc chính xác các dòng chữ uốn cong hoặc đặt nghiêng nghệ thuật.
3. Khâu nhận dạng ký tự: Từng vùng văn bản sau khi được định vị sẽ được trích xuất thành ảnh con. Để tối ưu hóa quá trình nhận dạng của mô hình TransformerOCR, hệ thống tự động vẽ khung chữ nhật bao ngoài đa giác, áp dụng mặt nạ (mask) chuyển toàn bộ vùng nằm ngoài đa giác về màu đen thuần nhằm triệt tiêu họa tiết nền gây nhiễu, sau đó đưa chuỗi điểm ảnh vào bộ giải mã để xuất ra văn bản tiếng Việt có dấu.
4. Khâu phân loại và gom nhóm ngữ nghĩa: Mô hình YOLOv4 nhận ảnh bìa đã điều chỉnh về kích thước chuẩn 608x608 pixels, phân loại các vùng văn bản thành 4 nhãn: Author (lớp 0), Other (lớp 1), Publisher (lớp 2), Title (lớp 3). Do tên sách hoặc tên nhà xuất bản thường bị ngắt thành nhiều dòng riêng biệt trên bìa, hệ thống áp dụng thuật toán đối chiếu mức độ trùng khớp giữa bounding box của YOLO với box văn bản, kết hợp tính toán khoảng cách vector tọa độ tâm để liên kết các dòng văn bản đơn lẻ về đúng cụm thông tin hoàn chỉnh.

---

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương 1 giới thiệu tổng quan về sự phát triển của văn hóa đọc và ngành xuất bản tại Việt Nam, nêu bật các số liệu thống kê về tốc độ tăng trưởng đầu sách xuất bản hàng năm (khoảng 25.000 - 26.000 đầu sách) và hệ thống thư viện, hiệu sách trên toàn quốc. Tác giả phân tích nhu cầu cấp thiết của việc ứng dụng công nghệ OCR trong quá trình chuyển đổi số từ thư viện truyền thống sang thư viện điện tử, chỉ ra hạn chế của các máy quét quang học hiện nay và xác định mục tiêu xây dựng hệ thống nhận dạng tự động ba trường thông tin: tác giả, tên sách, nhà xuất bản.

Chương 2: Bài toán trích xuất thông tin trên bìa sách tiếng Việt

Chương 2 mô tả chi tiết bài toán kỹ thuật với đầu vào là ảnh chụp bìa sách tiếng Việt từ thiết bị di động và đầu ra là các chuỗi thông tin định danh chính xác của cuốn sách. Tác giả phân tích các thách thức cốt lõi: sự phức tạp của văn bản phi cấu trúc (bố cục tự do, phông chữ cách điệu, kích thước bất quy tắc, nền ảnh nhiễu) và sự thiếu hụt các tập dữ liệu chuẩn cho tiếng Việt. Từ đó, chương đề xuất quy trình tổng thể giải quyết bài toán gồm 4 thành phần: xây dựng dữ liệu Vi-BCI, phát hiện văn bản, nhận dạng văn bản và phân loại/tổng hợp thông tin.

Chương 3: Các công trình nghiên cứu liên quan

Chương 3 khảo cứu các công trình nghiên cứu OCR trong và ngoài nước. Về nghiên cứu quốc tế, tác giả phân tích các thử thách tại hội nghị ICDAR, bao gồm bộ dữ liệu COCO-Text (ICDAR 2017) với 63.000 ảnh cảnh tự nhiên phức tạp, bài toán trích xuất hóa đơn SROIE (ICDAR 2019), và tập dữ liệu mẫu đơn FUNSD với các tác vụ gom từ (ARI đạt 0.41%), gán nhãn thực thể (F1 đạt 0.57%) và liên kết thực thể. Về nghiên cứu tiếng Việt, tác giả dẫn chứng cuộc thi RIVF 2021 MC-OCR về trích xuất thông tin hóa đơn (trong đó sự kết hợp giữa YOLOv5 và VietOCR đạt CER 0.22) cùng công trình trích xuất chữ bìa sách trên Tạp chí Khoa học Đại học Đà Lạt sử dụng Tesseract đạt độ chính xác 82%.

Chương 4: Xây dựng bộ dữ liệu cho bài toán trích xuất thông tin trên bìa sách tiếng Việt

Chương 4 trình bày chi tiết quy trình xây dựng tập dữ liệu Vi-BCI. Dữ liệu thô thu thập gồm 38.786 ảnh chụp thực tế bằng điện thoại và hơn 30.000 ảnh từ mạng xã hội/trang thương mại điện tử, sau đó được lọc bỏ ảnh lỗi để chọn ra 21.940 ảnh đạt tiêu chuẩn. Quá trình gán nhãn sử dụng công cụ PaddleOCR (PPOCRLabel) thực hiện theo 4 bước ở cấp độ dòng văn bản với bounding box dạng đa giác. Nhóm nghiên cứu triển khai 5 vòng gán nhãn, mỗi vòng 1.600 ảnh do 7 thành viên thực hiện với cơ chế kiểm tra chéo (double-check), sửa sai và hoàn thiện bộ quy chuẩn. Kết quả tạo ra bộ dữ liệu gồm 7.875 ảnh với hơn 67.000 bounding box, được phân chia ngẫu nhiên thành ba tập theo tỷ lệ 8:1:1.

Chương 5: Các phương pháp tiếp cận

Chương 5 đi sâu vào cơ sở kỹ thuật và quy trình tiền xử lý dữ liệu cho từng bài toán con. Tác giả mô tả giải pháp xóa phông nền bằng Faster R-CNN (R50-FPN) trên Detectron2, kỹ thuật tạo mặt nạ đen ngoại vi đa giác để cắt 67.038 ảnh con cho bài toán nhận dạng, và quy chuẩn hóa nhãn về định dạng YOLO (x, y, w, h). Tiếp đó, chương phân tích chi tiết kiến trúc của các mô hình phát hiện văn bản (EAST, SAST, CRAFT), các mô hình nhận dạng văn bản (CRNN, SVTR-LCNet, TransformerOCR của VietOCR) và mô hình phân loại thực thể YOLOv4.

Chương 6: Cài đặt, thực nghiệm và đánh giá

Chương 6 trình bày các thiết lập môi trường thực nghiệm, siêu tham số huấn luyện mô hình và phân tích định lượng kết quả. Đối với bài toán phát hiện văn bản, SAST chứng minh ưu thế vượt trội khi xử lý văn bản cong và đa hướng. Ở bài toán nhận dạng, TransformerOCR cho độ chính xác cao nhất trên ngữ liệu tiếng Việt. Đối với khâu phân loại và tổng hợp, mô hình YOLOv4 kết hợp ma trận nhầm lẫn và thuật toán gom cụm hình học giúp ghép nối chính xác các mảnh thông tin rời rạc.

Chương 7: Kết luận và hướng phát triển

Chương 7 tổng kết toàn bộ kết quả nghiên cứu, khẳng định việc hoàn thành xây dựng bộ dữ liệu Vi-BCI gồm 7.875 ảnh và thiết lập thành công hệ thống trích xuất thông tin đa tầng. Đồng thời, tác giả chỉ ra các mặt hạn chế còn tồn đọng về độ nhạy với ảnh chụp nghiêng góc lớn và đề xuất các định hướng phát triển tiếp theo như mở rộng quy mô dữ liệu, cải tiến mô hình nhận dạng và đóng gói ứng dụng di động hoàn chỉnh.

---

Kết quả và đóng góp

Khóa luận đã xây dựng thành công bộ dữ liệu ảnh bìa sách tiếng Việt Vi-BCI và thiết lập chuỗi mô hình thực nghiệm với các số liệu định lượng cụ thể:

Phân vùng dữ liệu / Mô hình	Số lượng mẫu / Thiết lập	Độ đo đánh giá	Kết quả thực nghiệm
Bộ dữ liệu ảnh bìa Vi-BCI	7.875 ảnh (Train: 6.302, Test: 786, Val: 787)	Tổng số bounding box	> 67.000 box
Dữ liệu nhận diện ký tự (cắt nhỏ)	67.038 ảnh (Train: 53.712, Test: 6.582, Val: 6.744)	Phân loại ảnh con	Cấp độ dòng văn bản
Mô hình Text Detection (SAST)	Huấn luyện trên tập Vi-BCI	H-mean	~80,00%
Mô hình Text Recognition (TransformerOCR)	Huấn luyện trên tập ảnh cắt	Độ chính xác ký tự / CER / WER	91,42% / 13,78% / 13,78%
Hệ thống tích hợp toàn diện	Pipeline đầy đủ sau xử lý tổng hợp	Độ chính xác cấp từ / WER	84,06% / 22,67%

Các đóng góp chính được tác giả tự xác định bao gồm:

• Đóng góp về dữ liệu: Xây dựng và công bố bộ dữ liệu Vi-BCI gồm 7.875 ảnh bìa sách tiếng Việt chụp từ thực tế với hơn 67.000 nhãn bounding box đa giác, bao hàm đầy đủ nhãn văn bản, nhãn phân loại thực thể (Title, Author, Publisher, Other) và nhãn liên kết thứ tự dòng, tạo tiền đề dữ liệu phục vụ nghiên cứu OCR văn bản phi cấu trúc tiếng Việt.
• Đóng góp về giải pháp kỹ thuật: Đề xuất và thực nghiệm thành công pipeline kết hợp tiền xử lý tách phông nền bằng Faster R-CNN (Detectron2), phát hiện văn bản hình dạng phức tạp bằng SAST, nhận dạng ký tự tiếng Việt bằng TransformerOCR, và tổng hợp thông tin ngữ nghĩa bằng YOLOv4 kết hợp giải thuật khoảng cách tâm.

---

Hạn chế và hướng nghiên cứu tiếp

Khóa luận ghi nhận các hạn chế kỹ thuật dựa trên phạm vi nghiên cứu thực tế:

• Ảnh chụp thực tế bằng thiết bị di động trong điều kiện thiếu sáng, góc chụp quá nghiêng hoặc xuất hiện bóng đổ vẫn gây ra hiện tượng mất nét, ảnh hưởng đến độ chuẩn xác của khâu nhận dạng ký tự.
• Đối với các bìa sách có phong cách mỹ thuật phức tạp (chữ lồng ghép trong tranh vẽ minh họa, ký tự cách điệu cao), mô hình phát hiện đôi khi bỏ sót hoặc cắt rời ký tự.
• Hệ thống gồm nhiều khối mô hình học sâu độc lập ghép nối liên tiếp nên tổng chi phí tính toán và độ trễ xử lý còn tương đối lớn, chưa được tối ưu hóa cho môi trường nhúng hoặc thiết bị di động có cấu hình thấp.

Các hướng phát triển tiếp theo được tác giả đề xuất:

• Mở rộng quy mô bộ dữ liệu Vi-BCI vượt mốc 10.000 ảnh, bổ sung thêm các thể loại sách chuyên biệt (sách thiếu nhi, sách nghệ thuật, ấn phẩm cổ) nhằm nâng cao tính đa dạng của phông chữ.
• Nghiên cứu tinh chỉnh sâu (fine-tuning) các siêu tham số của mô hình nhận dạng nhằm kéo giảm tỷ lệ lỗi CER và WER xuống mức thấp hơn.
• Tối ưu hóa chuỗi xử lý theo hướng mô hình đồng thời (end-to-end) hoặc áp dụng kỹ thuật nén mô hình để xây dựng ứng dụng hoàn chỉnh trên điện thoại di động hỗ trợ số hóa tủ sách tức thời.

---

Giá trị tham khảo

Khóa luận là tài liệu tham khảo thực nghiệm hữu ích cho sinh viên, học viên cao học và các nhóm nghiên cứu thuộc chuyên ngành Khoa học Dữ liệu, Khoa học Máy tính, Kỹ thuật Phần mềm và Trí tuệ Nhân tạo đang thực hiện các đề tài liên quan đến xử lý ảnh tài liệu, OCR tiếng Việt và trích xuất thông tin từ văn bản phi cấu trúc.

Các nội dung có giá trị tham khảo kỹ thuật cao gồm:

• Quy trình tổ chức gán nhãn dữ liệu chuẩn mực 5 vòng với công cụ PaddleOCR và cơ chế kiểm tra chéo được trình bày trong Chương 4.
• Kỹ thuật tiền xử lý loại bỏ phông nền bằng Detectron2 và thuật toán chuyển đổi bounding box đa giác kết hợp tạo mặt nạ nền đen trong Chương 5.
• Phương pháp phối hợp giữa mô hình phân loại đối tượng YOLOv4 với các phép toán hình học (IoU, khoảng cách tâm) để gom cụm các dòng văn bản đơn lẻ thành cụm thực thể hoàn chỉnh trong Chương 6.

---

Câu hỏi thường gặp

1. Bộ dữ liệu Vi-BCI trong khóa luận có quy mô bao nhiêu và được phân chia như thế nào?
Bộ dữ liệu Vi-BCI gồm 7.875 ảnh bìa sách tiếng Việt có gán nhãn với hơn 67.000 bounding box đa giác. Dữ liệu được chia ngẫu nhiên thành ba tập theo tỷ lệ 8:1:1, bao gồm: tập huấn luyện (Train set) có 6.302 ảnh, tập kiểm thử (Test set) có 786 ảnh, và tập đánh giá (Validation set) có 787 ảnh. Đối với bài toán nhận diện chữ cắt nhỏ, tập dữ liệu có quy mô 67.038 ảnh con (Train: 53.712 ảnh, Test: 6.582 ảnh, Validation: 6.744 ảnh).

2. Tại sao tác giả sử dụng framework Detectron2 trong bước tiền xử lý ảnh bìa sách?
Các bức ảnh chụp trong tập dữ liệu có nhiều góc chụp nghiêng và phông nền chứa các vật thể ngoại vi (kệ sách, sàn nhà). Tác giả sử dụng mô hình Faster R-CNN (R50-FPN) của Detectron2 để thực hiện phân vùng ảnh (Image Segmentation) nhằm bóc tách chính xác phần bìa sách và xóa phông nền nhiễu, ngăn chặn tình trạng mô hình phát hiện nhận nhầm các chữ nằm ngoài bìa sách.

3. Vì sao mô hình SAST đạt hiệu năng phát hiện văn bản tốt hơn EAST trên ảnh bìa sách?
EAST sử dụng bounding box hình chữ nhật hoặc tứ giác xoay nên gặp nhiều hạn chế khi xử lý văn bản có hình dạng uốn cong hoặc chuỗi ký tự quá dài trên bìa sách. Trong khi đó, SAST là mô hình tiếp cận theo hướng phân đoạn ngữ nghĩa (segmentation-based), sử dụng cơ chế chú ý ngữ cảnh CAB và dự đoán các bản đồ hình học chi tiết (TCL, TBO, TCO, TVO), cho phép định vị chính xác các dòng chữ có hình dạng bất kỳ và bám sát đường viền ký tự.

4. Mô hình nhận dạng văn bản nào cho kết quả tốt nhất trong các thực nghiệm?
Mô hình TransformerOCR thuộc thư viện VietOCR đạt hiệu năng cao nhất trong số các mô hình được thử nghiệm (vượt qua CRNN và SVTR của PaddleOCR), đạt độ chính xác cấp độ ký tự 91,42%, với tỷ lệ lỗi ký tự (CER) và tỷ lệ lỗi từ (WER) đều đạt 13,78%.

5. Nhóm nghiên cứu đã giải quyết bài toán gom các dòng chữ rời rạc về đúng thực thể như thế nào?
Nhóm tác giả sử dụng mô hình YOLOv4 để dự đoán vùng bao quanh của 4 nhóm thực thể (Author, Other, Publisher, Title). Sau đó, hệ thống tính toán tỷ lệ diện tích giao nhau (IoU) giữa vùng do YOLOv4 dự đoán với các box văn bản do SAST tìm được, đồng thời xét tọa độ tâm của các box để gom các dòng chữ rời rạc thuộc cùng một nhãn lại với nhau theo đúng thứ tự đọc.

---

Kết luận

Khóa luận tốt nghiệp của sinh viên Võ Kiều Hoa và Nguyễn Thị Thắm đã giải quyết trọn vẹn bài toán trích xuất thông tin trên bìa sách tiếng Việt thông qua việc kết hợp các kỹ thuật học sâu trong thị giác máy tính và nhận dạng ký tự quang học. Đề tài đóng góp thiết thực cho cộng đồng nghiên cứu bộ dữ liệu Vi-BCI gồm 7.875 ảnh bìa sách được gán nhãn đa giác chi tiết theo cấp độ dòng cùng nhãn liên kết thực thể ngữ nghĩa. Chuỗi mô hình đề xuất (kết hợp Faster R-CNN, SAST, TransformerOCR và YOLOv4) đạt hiệu năng tổng thể với độ chính xác cấp từ 84,06% và tỷ lệ lỗi từ 22,67%, tạo cơ sở khoa học và công nghệ vững chắc cho việc phát triển các hệ thống số hóa tủ sách tự động tại Việt Nam.

Trích đoạn nội dung tài liệu

Chương 1: Tổng quan Giới thiệu về lĩnh vực nghiên cứu về OCR hiện nay và tinh ứng dung của nó trong cuộc sông hiện tại. Đồng thời, trình bày thực trạng quản lý sách hiện nay tại Việt Nam. * Chương 2: Bài toán trích xuất trên bìa sách tiếng Việt Trình bày đầu vào và đầu ra của bài toán trích xuất thông tin trên bìa sách tiếng Việt. Nêu các thách thức đặt ra của bài toán và hướng giải quyết.

¢ Chương 3: Các công trình nghiên cứu liên quan Chúng tôi trình bày một số công trình nghiên cứu chúng tôi tham khảo có cả ngôn ngữ nước ngoài và ngôn ngữ tiếng Việt. * Chương 4: Xây dựng bộ dữ liệu cho bài toán trích xuất thông tin trên bìa sách tiếng Việt Trình bày chi tiết hình thức bộ dữ liệu xây dựng, cách thu thập va gán nhãn cho bộ dữ liệu ảnh bìa sách. Quy trình gán nhãn dữ liệu và đưa ra một số phân tích về bộ dữ liệu xây dựng. « Chương 5: Các phương pháp tiếp cận Trình bày các phương pháp và mô hình dùng huấn luyện cho phát hiện văn bản trên bìa sách, nhận diện văn bản trên bìa sách, tổng hợp thông tin bìa sách.

s Chương 6: Cai đặt, thực nghiệm và đánh giá Trình bày các thức cài đặt các mô hình thực nghiệm và đánh giá kết quả thực nghiệm. * Chương 7: Kết luận và hướng phát triển 1 Chương 1.1 Giới thiệu đề tài Ở nước ta trong mấy chục năm qua, văn hoá đọc đã có những bước phát triển vượt bậc. Điều đó thể hiện ở những con số sau đây: trước năm 1975, cả hai miền Bắc và Nam xuất bản hàng năm được khoảng chưa đầy 4.000 tên sách, ngày nay hàng năm xuất bản khoảng xấp xỉ 25.000 tên sách, tăng gấp 6 lần, gần đây tốc độ gia tăng hàng năm khoảng 10%. Cả nước hiện nay đang xuất bản khoảng gần 400 tên báo, tạp chí, nhiều báo có số lượng xuất bản mỗi số lên tới 500.

Chính vì thế cần giải pháp để hỗ trợ việc quản lý sách cho những cửa hàng, thư viện và cá nhân là cần thiết, cũng từ đó hướng đến tự động hoá, chuyển đổi từ thư viện truyền thống sang thư viện điện tử/thư viện sé. Hiện nay khi thời đại khoa học công nghệ đang ngày càng phát triển, có thể dễ dàng nhận thấy công nghệ OCR hiện đã được ứng dụng rộng rãi trong đời sống, trong nhiều lĩnh vực khác nhau. Công nghệ OCR thường được dùng phổ biến nhất đó là trong các máy scanner tại các văn phòng. Hiện nay, các máy scan cơ bản chỉ có thể quét được các hình ảnh và trả chúng về những hình ảnh dạng số hoá.

Chính những lý do thực tế này, chúng tôi thực hiện đề tài này để đóng góp một phần công sức cho cộng đồng nghiên cứu về xử lý ảnh cũng như cộng đồng yêu sách ở Việt Nam. Đề tài trích xuất thông tin trên ảnh chụp bìa sách tiếng Việt với đầu vào là hình ảnh bìa sách và dau ra là thông tin tên tác giả, tên sách và tên nhà xuất bản. Trong dé tài này chúng tôi giới thiệu bộ dữ liệu ảnh gồm 7.875 ảnh chụp bìa sách đã gán nhãn. Chúng tôi xây dựng hệ thống trích xuất thông tin trên bìa gồm tên tác giả, tên sách, tên nhà xuất bản bằng cách giải quyết 3 bài toán sau: (1) phát hiện văn bản trên ảnh bìa sách, (2) nhận dạng văn bản trên ảnh bìa sách, (3) tổng hợp, phân loại nội dung văn bản.2 Tinh ứng dụng của đề tài Nghiên cứu của chúng tôi mang đến một số đóng góp cho cộng đồng xử lý ảnh va tính ứng dụng trong việc quản lý thư viện, cửa hàng bán sách, tủ sách cá nhân.

Trong lĩnh vực xử lý ảnh nói chung và mảng OCR nói riêng, bộ dữ liệu chúng tôi xây dựng gồm 7,875 ảnh chụp các bìa sách tiếng Việt phục vụ nghiên cứu và huấn luyện được mô hình phát hiện chữ tiếng Việt trên ảnh và nhận dạng chữ tiếng Việt trên ảnh. Ứng dụng cho những hệ thống có thực hiện nhiệm vụ nhận dạng chữ tiếng Việt thông qua hình ảnh. Ứng dụng chính mà chúng tôi hướng đến khi thực hiện đề tài này là xây dựng một hệ thống số hóa tủ sách hay ứng dụng hỗ trợ trích xuất các thông tin của sách trên bìa sách. Trên bìa sách có những thông tin chính bao gồm tác giả, tên sách, nhà xuất bản, những thông tin này giống như địa chỉ để người đọc tìm kiếm đến một cuốn sách.

Trong các thư viện, nhà sách hay tủ sách cá nhân khi muốn sao lưu và thống kê quản lý số lượng sách trong kho, điều tất nhiên phải ghi lại các thông tin trên bìa sách về tên sách, tên tác giả, nhà xuất bản. Tuy nhiên với số lượng sách khổng lồ trong thư viện hay các nhà sách cần ứng dụng hỗ trợ thực hiện công việc sao lưu này một cách nhanh chóng.Ngoài tiết kiệm được thời gian, các tài liệu, văn bản được số hóa sẽ giúp tiết kiệm không gian lưu trữ và dé dang quản lý. 143 Kếtluận Nhìn chung, bài toán OCR đã và đang được đẩy mạnh nghiên cứu và ứng dụng nhiều trong cuộc sống. Đặc biệt, OCR trong việc giải quyết các bài toán về nhận diện chữ viết trong hình ảnh tao ra nhiều giá trị cho cuộc sống con người trong xu thé số hóa hiện nay.

Áp dụng OCR xây dựng một hệ thống trích xuất thông tin từ sách hỗ trợ cho việc quản lý sách trong thư viện, nhà sách hay tủ sách cá nhân giúp tiết kiệm được thời gian cũng như không gian lưu trữ, giúp người dùng sắp xếp quản lý sách một cách chuyên nghiệp và thuận hơn. Đồng thời, qua quá trình xây dựng nghiên cứu về dé tài đóng góp phần nhỏ vào công cuộc nghiên cứu chuyển đổi công nghệ số, đặc biệt là trong nhận dạng chữ cho thế giới nói chung và Việt Nam nói riêng. BÀI TOÁN TRÍCH XUẤT THONG TIN TRÊN BÌA SÁCH TIÊNG VIỆT Trên bìa sách có những thông tin chính bao gồm tác giả, tên sách, nhà xuất bản được trích xuất ra các trường thông tin qua các bước (1) tìm vị trí các văn bản có trên ảnh bìa sách (text detection), (2) nhận dạng các văn bản dưới dạng ảnh thành nội dung dưới dạng chuỗi (text recognition), (3) phân loại các chuỗi thông tin về đúng các trường tác giả, tên sách, nhà xuất bản.1 Bài toán trích xuât thông tin trên bìa sách tiêng Việt Bài toán trích xuất thông tin trên bìa sách tiếng Việt có đầu vào với đầu ra như sau: * Đầu vào: Ảnh chụp bìa sách tiếng Việt « Đầu ra: Thông tin các trường tác giả, tên sách, nhà xuất bản. Đâu ra - _ Tên sách: Tựa vào long me - Tác giả: ĐẶNG THIÊN SƠN „ - Nhà Xuât bản: NHÀ XUẤT BẢN DÂN TRÍ Hình 2: Ví dụ mô tả đầu vào và đầu ra của bài toán trích xuất thông tin từ bìa sách tiếng Việt.

10 Nhìn vào hình 2, hình bên trái là đầu vào của hệ thống hình ảnh bìa sách tiếng Việt được chụp bằng điện thoại. Bên trái là kết quả của hệ thống gồm chi tiết các thông tin tên sách, tên tác giả, tên nhà xuat ban.2 Thách thức OCR là một bài toán được nghiên cứu và ứng dụng trong thực tế tuy nhiên bài toán chúng tôi đặt ra có một số thách thức. Dữ liệu là điều kiện cần để thực hiện bất kỳ một mô hình học máy, tuy nhiên dữ liệu để giải quyết các bài toán OCR trong tiếng Việt rất ít, đặc biệt qua khảo sát thấy được, bài toán của chúng tôi thực hiện chưa có công bé dữ liệu nào. Từ đó đặt ra thách thức cho chúng tôi, cần xây dựng một bộ dữ liệu ảnh chụp bìa sách tiếng Việt và gán nhãn đề làm đầu vào cho các mô hình máy học.

Trong bài toán phát hiện và nhận dạng chữ viết phổ biến những dạng văn bản có phông chữ cố định và dạng phông chữ phổ biến cụ thể như bài toán trích xuất thông tin trên hóa đơn, tuy nhiên các văn bản xuất hiện trên bìa sách là văn bản phi cấu trúc. Văn bản đa dạng về bố cục, phông chữ và background phức tạp. Thêm vào đó, các công trình nghiên cứu về bài toán nhận dạng văn bản trên hình ảnh có cấu trúc phức tạp rất ít, đặc biệt cho tiếng Việt. Từ những thách thức đặt ra, chúng tôi quyết định thực hiện đề tài này biến những thách thức thành cơ hội được nghiên cứu và thực nghiệm tạo ra bộ dữ liệu, các mô hình có thể một phần đóng góp vào những ứng dụng phục vụ trong cuộc sống, cũng như một phan thúc day quá trình cuộc cách mạng công nghệ của Việt Nam và thé giới.3 Phương pháp đề xuât giải quyét bài toán Dựa vào phân tích, đánh giá các điều kiện cần và đủ để giải quyết bài toán trích xuất thông trên bìa sách mà chúng tôi đặt ra, chúng tôi đề xuất các phương pháp đề từng bước giải quyết các van dé như sau: s Xây dựng bộ dữ liệu anh bìa sách, bộ dữ liệu đủ lớn đạt 7.000 ảnh và gan nhãn.

11 Nhãn dữ liệu là tọa độ bounding box văn bản có trên bìa sách và nội dung văn bản có trong bounding box. ¢ Huấn luyện mô hình cho nhiệm vụ phát hiện văn bản trên ảnh bìa sách (text detection) các mô hình chúng tôi đề xuất sử dung CRAFT , mô hình SAST, EAST của Paddle. ¢ Huấn luyện mô hình cho nhiệm vụ nhận dạng văn bản trên ảnh bìa sách (text recognition) các mô hình chúng tôi dé xuất sử dụng mô hình nhận dạng văn ban SVTR, CRNN của Paddle, mô hình transformerOCR của VietOCR. ¢ Huấn luyện mô hình YOLOv4 phát hiện vùng đối tượng văn bản thuộc nhóm thông tin tên sách(Title), tên tác giả(Author), tên nhà xuất ban(Publisher).

Xử lý tong hợp thông tin. Phát hiện văn bản Thực hiện xử lý tổng hợp mảnh thông tin tên sách, tên tác giả, tên Huấn luyện mô hình CRAFT, SAST, nhà xuất bản. EAST cho nhiệm vụ phát hiện văn bản trên bìa sách. @ ® @ © Xây dựng dữ liệu C Quản Nhận dạng văn Po Guốn: Xây dựng bộ dữ liệu bìa sách bản khoảng 7.

Huấn luyện mô hình SVTR, CRNN, TransformerOCR cho nhiệm vụ nhận diện văn bản trên bìa sách. Hình 3: Sơ đồ chuỗi các phương pháp dé xuất giải quyết bài toán trích xuất thông tin từ bìa sách tiếng Việt. CÁC CÔNG TRÌNH NGHIÊN CỨU LIEN QUAN Dạng ảnh chứa văn bản xử lý trong bài toán OCR được chia 2 dạng: ảnh văn bản có cau trúc và văn bản phi cấu trúc.