Trích Xuất Thông Tin Từ Ảnh Bìa Sách Tiếng Việt

Khóa luận tốt nghiệp nghiên cứu tốt nghiệp khoa học dữ liệu trích xuất các đặc trưng sử dụng mô hình học sâu ứng dụng trong hệ, vận dụng lý thuyết vào thực tế, đề xuất giải pháp

• Tác giả: Nguyễn Thị Thắm
• Người hướng dẫn: TS. Đỗ Trọng Hợp
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Khoa học dữ liệu
• Đề tài: Trích Xuất Thông Tin Từ Ảnh Bìa Sách Tiếng Việt
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2022
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. MỞ ĐẦU
• 2. CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI
• 1.1. Tính ứng dụng của đề tài
• 3. CHƯƠNG 2: BÀI TOÁN TRÍCH XUẤT THÔNG TIN TRÊN BÌA SÁCH TIẾNG VIỆT
• 2.1. Bài toán trích xuất thông tin trên bìa sách tiếng Việt
• 2.2. Chước SO
• 2.3. Phương pháp đề xuất giải quyết bài toán
• 4. CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN
• 4.1. Các công trình nghiên cứu trên ngôn ngữ nước ngoài
• 4.2. Các công trình nghiên cứu trên ngôn ngữ tiếng Việt
• 5. CHƯƠNG 4: XÂY DỰNG BỘ DỮ LIỆU CHO BÀI TOÁN TRÍCH XUẤT THÔNG TIN TRÊN BÌA SÁCH TIẾNG VIỆT
• 5.1. Hướng dẫn gán nhãn dữ liệu
• 5.2. Quá trình gán nhãn dữ liệu
• 5.3. Phân tích bộ dữ liệu
• 6. CÁC PHƯƠNG PHÁP TIẾP CẬN
• 6.1. Tiền xử lý chia dữ liệu tập huấn luyện, tập kiểm thử và tập đánh giá
• 6.2. Tiền xử lý dữ liệu cho mô hình phát hiện văn bản (Text Detection)
• 6.3. Tiền xử lý dữ liệu cho mô hình Text Recognition
• 6.4. Tiền xử lý dữ liệu cho mô hình Object detection
• 6.5. Bài toán phát hiện chữ trên ảnh (Text Detection)
• 6.5.1. Hệ thống nhận dạng chữ viết PaddleOCR
• 6.5.2. Mô hình SAST
• 6.5.3. Mô hình CRAFT
• 6.6. Bài toán nhận diện chữ trên ảnh (Text Recognition)
• 6.6.1. Mô hình CRNN trong hệ thống PP-OCR
• 6.6.2. Mô hình SVTR-LCNet trong hệ thống PP-OCR
• 6.6.3. Thư viện VietOCR
• 6.7. Bài toán xử lý tổng hợp thông tin
• 6.7.1. Mô hình Yolov4
• 7. CÀI ĐẶT, THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 7.1. Cài đặt, thực nghiệm
• 7.1.1. Bài toán phát hiện văn bản (Text Detection)
• 7.1.2. Bài toán nhận diện văn bản
• 7.1.3. Phân loại và tổng hợp thông tin
• 7.2. Kết quả thực nghiệm và đánh giá
• 7.2.1. Độ đo đánh giá
• 7.2.2. Kết quả thực nghiệm, phân tích và đánh giá
• 8. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu về Trích Xuất Thông Tin Từ Ảnh Bìa Sách Tiếng Việt

Trích xuất thông tin từ ảnh bìa sách tiếng Việt là một lĩnh vực nghiên cứu quan trọng trong công nghệ nhận diện văn bản. Với sự phát triển của công nghệ OCR, việc nhận diện và trích xuất thông tin từ bìa sách trở nên khả thi hơn bao giờ hết. Mục tiêu chính của nghiên cứu này là xây dựng một hệ thống có khả năng tự động hóa quá trình trích xuất thông tin như tên sách, tên tác giả và nhà xuất bản từ ảnh bìa sách tiếng Việt.

1.1. Tầm quan trọng của việc trích xuất thông tin

Việc trích xuất thông tin từ bìa sách không chỉ giúp quản lý sách hiệu quả mà còn hỗ trợ trong việc số hóa tài liệu. Điều này đặc biệt quan trọng trong bối cảnh số hóa ngày càng phát triển.

1.2. Các ứng dụng của công nghệ OCR trong trích xuất thông tin

Công nghệ OCR được ứng dụng rộng rãi trong nhiều lĩnh vực, từ quản lý thư viện đến phát triển ứng dụng di động. Việc áp dụng OCR vào trích xuất thông tin từ bìa sách giúp tiết kiệm thời gian và công sức.

II. Thách thức trong Trích Xuất Thông Tin Từ Ảnh Bìa Sách

Mặc dù công nghệ OCR đã phát triển, nhưng vẫn còn nhiều thách thức trong việc trích xuất thông tin từ ảnh bìa sách tiếng Việt. Các vấn đề như chất lượng ảnh, độ phức tạp của văn bản và sự đa dạng trong thiết kế bìa sách gây khó khăn cho quá trình nhận diện.

2.1. Chất lượng ảnh và ảnh hưởng đến độ chính xác

Chất lượng ảnh bìa sách ảnh hưởng trực tiếp đến khả năng nhận diện văn bản. Ảnh mờ, thiếu sáng hoặc bị biến dạng có thể dẫn đến sai sót trong quá trình trích xuất thông tin.

2.2. Độ phức tạp của văn bản trên bìa sách

Văn bản trên bìa sách thường có nhiều kiểu chữ khác nhau, màu sắc và kích thước khác nhau, điều này làm cho việc nhận diện trở nên khó khăn hơn.

III. Phương Pháp Trích Xuất Thông Tin Từ Ảnh Bìa Sách

Để giải quyết các thách thức trong việc trích xuất thông tin, nhiều phương pháp đã được nghiên cứu và áp dụng. Các mô hình học máy và công nghệ OCR hiện đại đã được sử dụng để cải thiện độ chính xác và hiệu suất của hệ thống.

3.1. Sử dụng mô hình OCR hiện đại

Mô hình OCR như Tesseract và EasyOCR đã được áp dụng để nhận diện văn bản trên bìa sách. Những mô hình này hỗ trợ nhiều ngôn ngữ, bao gồm cả tiếng Việt.

3.2. Tiền xử lý ảnh trước khi nhận diện

Tiền xử lý ảnh là bước quan trọng giúp cải thiện chất lượng ảnh đầu vào. Các kỹ thuật như làm sạch, điều chỉnh độ sáng và độ tương phản được áp dụng để tối ưu hóa ảnh trước khi đưa vào mô hình.

IV. Kết Quả Nghiên Cứu và Ứng Dụng Thực Tiễn

Nghiên cứu đã đạt được những kết quả khả quan trong việc trích xuất thông tin từ bìa sách tiếng Việt. Hệ thống đã được thử nghiệm với nhiều mẫu bìa sách và cho thấy độ chính xác cao trong việc nhận diện thông tin.

4.1. Đánh giá hiệu suất của mô hình

Các mô hình được thử nghiệm cho thấy độ chính xác đạt trên 75%, với các chỉ số như Precision và Recall được cải thiện đáng kể.

4.2. Ứng dụng trong quản lý sách

Hệ thống trích xuất thông tin từ bìa sách có thể được ứng dụng trong quản lý thư viện, giúp người dùng dễ dàng tìm kiếm và quản lý thông tin sách.

V. Kết Luận và Hướng Phát Triển Tương Lai

Trích xuất thông tin từ ảnh bìa sách tiếng Việt là một lĩnh vực đầy tiềm năng. Nghiên cứu này không chỉ mở ra hướng đi mới cho việc số hóa tài liệu mà còn góp phần vào việc phát triển công nghệ OCR tại Việt Nam.

5.1. Tương lai của công nghệ OCR tại Việt Nam

Với sự phát triển không ngừng của công nghệ, OCR sẽ ngày càng trở nên phổ biến và được ứng dụng rộng rãi trong nhiều lĩnh vực khác nhau.

5.2. Đề xuất nghiên cứu tiếp theo

Cần tiếp tục nghiên cứu và phát triển các mô hình mới, cải thiện độ chính xác và khả năng nhận diện văn bản trong các điều kiện khác nhau.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Theo số liệu thống kê từ Thư viện Quốc gia Việt Nam được tác giả trích dẫn, hoạt động xuất bản trong nước ghi nhận sự tăng trưởng đáng kể: trước năm 1975, cả hai miền xuất bản chưa đầy 4.000 tên sách mỗi năm; con số này hiện nay đã đạt xấp xỉ 25.000 đến 26.000 đầu sách/năm (trong đó 80% là sách giáo khoa và giáo trình), với tốc độ tăng trưởng bình quân khoảng 10% mỗi năm. Cả nước đồng thời xuất bản gần 400 tên báo và tạp chí. Hệ thống cơ sở dữ liệu đọc phủ rộng với 64 thư viện cấp tỉnh, 587 thư viện cấp huyện, khoảng 10.000 thư viện và tủ sách cơ sở cấp xã, 10.000 tủ sách pháp luật xã, khoảng 10.000 điểm bưu điện văn hóa xã, 3 vạn điểm đọc sách báo tại các vùng nông thôn, cùng hơn 12.000 nhà sách và cửa hàng sách tư nhân.

Trước quy mô ấn phẩm lớn và yêu cầu tự động hóa chuyển đổi từ thư viện truyền thống sang thư viện điện tử/thư viện số, nhu cầu ghi chép và nhập liệu danh mục sách trở nên cấp thiết. Các phương thức quản lý thủ công tiêu tốn thời gian và nhân lực, trong khi các thiết bị số hóa văn phòng thông thường (máy quét phẳng) chỉ ghi nhận tài liệu dưới dạng ảnh quét mà không tự động trích xuất các thuộc tính mục lục.

Vấn đề cốt lõi mà khóa luận đặt ra là giải quyết bài toán nhận dạng ký tự quang học (OCR) trên ảnh bìa sách tiếng Việt. Khác với các tài liệu có cấu trúc hàng lối rõ ràng và phông chữ chuẩn hóa (như hóa đơn điện tử, biểu mẫu hay căn cước công dân), bìa sách thuộc dạng văn bản phi cấu trúc:

• Cách bố trí văn bản nghệ thuật, phân tán và đa hướng.
• Kiểu dáng, kích cỡ chữ và phông chữ không đồng nhất.
• Nền bìa (background) phức tạp, có họa tiết đồ họa xen lẫn.
• Bìa chụp bằng thiết bị di động trong điều kiện thực tế thường có góc nghiêng, khoảng sáng không đều và lẫn tạp cảnh xung quanh.
• Thiếu hụt trầm trọng các bộ dữ liệu chuẩn hóa phục vụ bài toán OCR và trích xuất thực thể từ bìa sách tiếng Việt.

Khóa luận xác định 4 mục tiêu nghiên cứu cụ thể:

1. Xây dựng bộ dữ liệu ảnh bìa sách tiếng Việt với quy mô mục tiêu từ 7.000 ảnh trở lên, được gán nhãn tọa độ vùng văn bản, nội dung văn bản, phân loại thực thể ngữ nghĩa (Tên sách, Tên tác giả, Tên nhà xuất bản) và nhãn đánh số thứ tự liên kết.
2. Xây dựng và thực nghiệm mô hình cho bài toán phát hiện văn bản (Text Detection) trên ảnh bìa sách tiếng Việt.
3. Xây dựng và thực nghiệm mô hình cho bài toán nhận diện văn bản (Text Recognition) tiếng Việt từ các vùng ảnh đã phát hiện.
4. Xây dựng mô hình phân loại và thuật toán tổng hợp thông tin, gộp các phân đoạn văn bản rời rạc về đúng 3 trường dữ liệu mục tiêu: Tên sách (Title), Tên tác giả (Author), Tên nhà xuất bản (Publisher).

Đối tượng nghiên cứu là các mô hình học sâu cho bài toán phát hiện chữ, nhận dạng chữ và phân loại thực thể văn bản tiếng Việt trên ảnh. Phạm vi nghiên cứu giới hạn trên tập dữ liệu ảnh chụp bìa sách tiếng Việt từ các hiệu sách, thư viện và nền tảng trực tuyến, thực hiện trong thời gian từ ngày 10/02/2022 đến ngày 10/07/2022.

---

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết và mô hình tiếp cận

Nghiên cứu phân định văn bản quang học thành hai nhóm: văn bản có cấu trúc (bố cục bảng, dòng thẳng, phông chữ tiêu chuẩn) và văn bản phi cấu trúc (ảnh biển hiệu, ảnh bìa sách với đồ họa phức tạp). Hệ thống xử lý thông tin bìa sách được cấu trúc thành một chuỗi quy trình nối tiếp gồm tiền xử lý phân vùng, phát hiện chữ, nhận diện chữ và phân loại ngữ nghĩa.

Phân hệ xử lý	Mô hình / Công cụ tiếp cận	Kiến trúc cốt lõi và đặc trưng kỹ thuật
Tiền xử lý vùng bìa sách	Detectron2	Mô hình Faster R-CNN (backbone ResNet-50 kết hợp FPN) thực hiện phân vùng ảnh (Image Segmentation) nhằm bóc tách toàn bộ bìa sách, loại bỏ tạp cảnh ngoài lề.
Phát hiện văn bản (Text Detection)	CRAFT, EAST, SAST (thuộc hệ sinh thái PaddleOCR)	- CRAFT: Backbone VGG16, ước lượng điểm vùng ký tự (Region Score) và điểm liên kết ký tự liền kề (Affinity Score). - EAST: Mạng tích chập hoàn toàn (FCN) kết hợp kỹ thuật triệt tiêu phi cực đại (NMS) để dự đoán hộp xoay/tứ giác. - SAST: Mạng ResNet-50 + FPN kết hợp khối Context Attention Block (CAB), đa tác vụ dự đoán đường tâm (TCL), độ lệch tâm (TCO), độ lệch đỉnh (TVO) và độ lệch đường viền (TBO).
Nhận diện văn bản (Text Recognition)	CRNN, SVTR / SVTR-LCNet, TransformerOCR (VietOCR)	- CRNN: Kết hợp mạng CNN trích xuất đặc trưng và RNN giải mã chuỗi ký tự qua hàm mất mát CTC. - SVTR: Kiến trúc Single Visual Model xử lý chuỗi ký tự không dùng RNN. - TransformerOCR: Sử dụng cơ chế Self-Attention trong khối biến đổi để nhận diện chuỗi ký tự tiếng Việt với đầy đủ dấu thanh.
Phân loại và tổng hợp thực thể	YOLOv4 kết hợp thuật toán ghép hộp tọa độ	Huấn luyện mạng YOLOv4 phát hiện và phân loại các khối đối tượng văn bản thành 4 lớp (Author, Title, Publisher, Other), sau đó áp dụng tính toán độ phủ diện tích (IoU) và tọa độ tâm hộp để gom nhóm các dòng rời rạc.

Phương pháp nghiên cứu thực nghiệm

• Xử lý dữ liệu đa giác: Để xử lý các dòng chữ uốn cong hoặc đặt nghiêng nghệ thuật, dữ liệu bounding box được định nghĩa theo dạng đa giác (polygon points) thay vì chỉ dùng hộp chữ nhật thẳng đứng. Khi tạo tập dữ liệu nhận dạng chữ, hệ thống bọc khung chữ nhật ngoài đa giác, áp dụng mặt nạ (mask) và chuyển phần viền bên ngoài về nền đen nhằm triệt tiêu nhiễu đồ họa.
• Tiền xử lý phân đoạn nền: Sử dụng Detectron2 để cô lập ảnh bìa sách khỏi môi trường chụp (nền bàn, giá sách, bàn tay cầm).
• Hệ thống độ đo đánh giá:
  • Độ đo phát hiện chữ: Tỉ lệ diện tích giao trên diện tích hợp (IoU với ngưỡng $\ge 0.5$ xác định True Positive), Precision (độ chuẩn xác), Recall (độ phủ) và H-mean (trung bình điều hòa giữa Precision và Recall).
  • Độ đo nhận diện chữ: Tỷ lệ lỗi ký tự (Character Error Rate - CER), tỷ lệ lỗi từ (Word Error Rate - WER), độ chính xác chuỗi hoàn chỉnh (Accuracy full sequence), độ chính xác cấp độ từ (Acc per word) và ký tự (Acc per char).
  • Độ đo phân loại và gom nhóm ngữ nghĩa: Chỉ số phân nhóm điều chỉnh (Adjusted Rand Index - ARI) và các độ đo phân loại Precision, Recall, F1-score.

Nguồn dữ liệu

Bộ dữ liệu ảnh bìa sách tiếng Việt (được định danh là Vi-BCI) được xây dựng từ hai nguồn:

1. Nguồn chụp thực tế: Thu thập thủ công tại các nhà sách và thư viện bằng các dòng điện thoại thông minh (iPhone, Samsung, Oppo) với độ phân giải đạt khoảng 3.000 $\times$ 4.000 pixels. Mỗi tựa sách được chụp ở khoảng 10 góc độ và phông nền khác nhau để tạo độ biến thiên dữ liệu.
2. Nguồn trực tuyến: Thu thập từ sàn thương mại điện tử Tiki, các trang mạng xã hội và diễn đàn phê bình sách.

Tổng số lượng ảnh thô thu thập được là 68.786 ảnh (gồm 38.786 ảnh chụp thực tế và hơn 30.000 ảnh trực tuyến). Sau quá trình sàng lọc, loại bỏ các ảnh thiếu nét, vỡ hình hoặc thiếu hụt thông tin mục lục, tác giả giữ lại 21.940 ảnh đạt tiêu chuẩn để tiến hành quy trình gán nhãn chuyên sâu.

---

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương 1 thiết lập bức tranh tổng thể về văn hóa đọc và ngành xuất bản tại Việt Nam thông qua các thống kê định lượng về số lượng đầu sách xuất bản hàng năm, hệ thống thư viện công cộng và mạng lưới phát hành tư nhân. Tác giả chỉ ra điểm nghẽn trong khâu quản lý danh mục tại các thư viện truyền thống và cửa hàng sách khi chưa có công cụ số hóa tự động dữ liệu bìa sách tiếng Việt. Chương này đồng thời giới thiệu tổng quan vai trò của công nghệ thị giác máy tính và OCR, xác định phạm vi đóng góp của đề tài trong việc nghiên cứu một hệ thống nhận dạng tài liệu phi cấu trúc phục vụ quản lý tủ sách tự động.

Chương 2: Bài toán trích xuất thông tin trên bìa sách tiếng Việt

Chương 2 mô tả chi tiết bài toán kỹ thuật với đầu vào là ảnh chụp bìa sách tiếng Việt và đầu ra là 3 trường văn bản chuẩn hóa: Tên sách, Tên tác giả và Tên nhà xuất bản. Tác giả phân tích các thách thức kỹ thuật bao gồm:

• Sự khan hiếm dữ liệu huấn luyện mở cho tiếng Việt trong mảng ảnh bìa sách.
• Tính chất phi cấu trúc của văn bản: bố cục tự do, phông chữ cách điệu, kích thước chữ biến thiên lớn giữa tên sách và tên nhà xuất bản.
• Nhiễu từ đồ họa bìa và bối cảnh không gian bên ngoài. Từ đó, tác giả phác thảo quy trình kỹ thuật 3 pha nối tiếp: (1) Phát hiện vùng chứa chữ, (2) Nhận dạng nội dung ký tự, và (3) Tổng hợp, gán nhãn thực thể ngữ nghĩa.

Chương 3: Các công trình nghiên cứu liên quan

Tác giả khảo sát các công trình học thuật tiêu biểu trong và ngoài nước về trích xuất thông tin tài liệu:

• Nghiên cứu quốc tế: Phân tích các bộ dữ liệu chuẩn qua các kỳ hội nghị ICDAR, bao gồm tập dữ liệu cảnh tự nhiên COCO-Text (ICDAR 2017) với 63.000 ảnh gán nhãn cấp độ từ, và bài toán trích xuất thông tin hóa đơn SROIE (ICDAR 2019) tập trung vào nhận dạng văn bản có cấu trúc. Đồng thời tham khảo nghiên cứu trích xuất mẫu đơn FUNSD với 3 tác vụ: text detection (Faster R-CNN đạt Recall 84,8%), text recognition (Google Vision đạt 94%), và form understanding (word grouping đạt ARI 0,41%, entity labeling đạt F1-score 0,57%).
• Nghiên cứu trong nước: Đánh giá công trình trích xuất văn bản bìa sách tiếng Việt trên Tạp chí Khoa học Đại học Đà Lạt (sử dụng tiền xử lý khử nghiễu, Tesseract OCR kết hợp từ điển đạt độ chính xác 52%); phân tích các giải pháp hàng đầu tại cuộc thi RIVF 2021 MC-OCR (nhiệm vụ phân loại chất lượng ảnh dùng EfficientNet đạt RMSE 0,1; nhiệm vụ trích xuất 4 trường thông tin hóa đơn dùng YOLOv5 kết hợp VietOCR đạt CER 0,22). Kết quả khảo cứu khẳng định VietOCR là công cụ tối ưu cho nhận dạng tiếng Việt, đồng thời chứng minh khoảng trống nghiên cứu đối với dạng văn bản bìa sách phi cấu trúc.

Chương 4: Xây dựng bộ dữ liệu cho bài toán trích xuất thông tin trên bìa sách tiếng Việt

Nội dung chương tập trung vào quy trình xây dựng bộ dữ liệu Vi-BCI. Quy trình gán nhãn được chuẩn hóa bằng công cụ PPOCRLabel (thuộc PaddleOCR) qua 5 vòng độc lập, mỗi vòng xử lý 1.600 ảnh do 7 thành viên thực hiện. Quy trình áp dụng cơ chế kiểm tra chéo (double-check): dữ liệu của mỗi thành viên được người khác rà soát lại, các mẫu sai sót được tổng hợp để hiệu chỉnh tài liệu hướng dẫn và đào tạo lại người gán nhãn.

Mỗi mẫu dữ liệu được gán 4 thành phần:

1. Tọa độ bounding box đa giác bao sát từng dòng chữ.
2. Nội dung văn bản chính xác từng ký tự hoa, thường và dấu tiếng Việt.
3. Nhãn phân loại thực thể ngữ nghĩa gồm: Title, Author, Publisher, Other.
4. Chỉ số số học để nối các dòng văn bản rời rạc thuộc cùng một thực thể (ví dụ: tên sách gồm nhiều dòng tiêu đề phụ).

Kết thúc quy trình, bộ dữ liệu hoàn chỉnh đạt 7.875 ảnh với hơn 67.000 hộp văn bản được gán nhãn. Tập dữ liệu được phân chia theo tỷ lệ 8:1:1:

• Tập huấn luyện (Train set): 6.302 ảnh.
• Tập kiểm thử (Test set): 786 ảnh.
• Tập đánh giá (Validation set): 787 ảnh.

Chương 5: Các phương pháp tiếp cận

Chương 5 trình bày cơ sở toán học và kiến trúc mạng nơ-ron của từng khối thuật toán:

• Tiền xử lý dữ liệu: Áp dụng Faster R-CNN (R50-FPN) trong Detectron2 để phân đoạn và xóa phông nền ngoài bìa sách. Trích xuất 67.038 ảnh con chứa các dòng chữ phục vụ riêng cho mô hình nhận diện (tập train: 53.712; test: 6.582; validation: 6.744 ảnh). Chuyển đổi nhãn tọa độ đa giác thành định dạng hộp chữ nhật chuẩn hóa $(x_{center}, y_{center}, w, h)$ phục vụ huấn luyện YOLOv4 trên kích thước ảnh $608 \times 608$.
• Mô hình phát hiện văn bản: Trình bày chi tiết cơ chế hoạt động của EAST (FCN tạo bản đồ điểm và góc quay kết hợp NMS), CRAFT (liên kết điểm vùng ký tự và liên kết khoảng cách ký tự liền kề trên backbone VGG16) và SAST (mô hình dựa trên phân đoạn điểm ảnh, kết hợp FPN và CAB để xử lý văn bản có hình dạng tùy ý và văn bản cong).
• Mô hình nhận diện văn bản: Phân tích kiến trúc CRNN (kết hợp CNN, RNN và CTC), SVTR / SVTR-LCNet (mô hình thị giác đơn thể hóa tốc độ cao trong PP-OCRv3), và mô hình TransformerOCR thuộc thư viện VietOCR sử dụng cơ chế chú ý giải mã chuỗi.
• Mô hình tổng hợp thông tin: Ứng dụng YOLOv4 để dự đoán vùng không gian của 4 lớp thực thể (Author, Other, Publisher, Title), sau đó kết hợp thuật toán tính diện tích giao thoa và khoảng cách tọa độ tâm để liên kết các hộp nhận diện chữ thành thực thể ngữ nghĩa hoàn chỉnh.

Chương 6: Cài đặt, thực nghiệm và đánh giá

Chương này công bố chi tiết các tham số huấn luyện (learning rate, optimizer, batch size, epoch) cho từng mô hình trên hệ thống tính toán. Tác giả tiến hành đo lường độc lập từng phân hệ và đánh giá hiệu năng tích hợp trên toàn bộ quy trình trích xuất.

Chương 7: Kết luận và hướng phát triển

Chương cuối tóm tắt toàn bộ khối lượng công việc đã hoàn thành: xây dựng thành công bộ dữ liệu Vi-BCI 7.875 ảnh, xác lập đường cơ sở (baseline) thực nghiệm cho bài toán phát hiện, nhận dạng và phân loại thông tin bìa sách tiếng Việt. Đồng thời, tác giả đề xuất các hướng mở rộng về mặt kỹ thuật và triển khai ứng dụng thực tế.

---

Kết quả và đóng góp

Kết quả thực nghiệm định lượng

Các thực nghiệm được đo lường chi tiết trên tập kiểm thử độc lập của bộ dữ liệu Vi-BCI:

Bài toán thành phần	Mô hình thực nghiệm	Kết quả hiệu năng chính
Phát hiện văn bản (Text Detection)	- EAST - CRAFT - SAST	Mô hình SAST đạt hiệu năng cao nhất với độ đo H-mean đạt trên 80%, vượt trội so với EAST và CRAFT nhờ khả năng bám sát các đường viền văn bản uốn cong và phông chữ nghệ thuật phức tạp trên bìa sách.
Nhận diện văn bản (Text Recognition)	- CRNN (PaddleOCR) - SVTR-LCNet (PP-OCRv3) - TransformerOCR (VietOCR)	Mô hình TransformerOCR (VietOCR) đạt kết quả tốt nhất: - Độ chính xác cấp độ ký tự (Acc per char): 91,42%. - Tỷ lệ lỗi ký tự (CER): 13,78%. - Tỷ lệ lỗi từ (WER): 13,78%.
Phân loại đối tượng văn bản	YOLOv4	Phân loại chính xác 4 nhóm thực thể (Title, Author, Publisher, Other) trên ảnh kích thước $608 \times 608$, làm tiền đề cho bước gom cụm dữ liệu.
Đánh giá toàn hệ thống (End-to-End Pipeline)	Tích hợp: Detectron2 + SAST + TransformerOCR + YOLOv4 Gom nhóm	- Tỷ lệ lỗi từ toàn hệ thống (WER): 22,67%. - Độ chính xác nhận dạng ở cấp độ từ (Acc per word): 84,06%.

Đóng góp thực tế và học thuật

1. Đóng góp về dữ liệu: Xây dựng thành công bộ dữ liệu ảnh bìa sách tiếng Việt Vi-BCI gồm 7.875 ảnh được chuẩn hóa và gán nhãn chi tiết (>67.000 bounding box đa giác), giải quyết sự thiếu hụt tài nguyên dữ liệu huấn luyện cho bài toán OCR tài liệu phi cấu trúc tại Việt Nam.
2. Đóng góp về giải pháp kỹ thuật:
   • Đề xuất quy trình kết hợp phân đoạn hình ảnh (Detectron2) để triệt tiêu nhiễu bối cảnh phức tạp trước khi đưa vào khối phát hiện chữ.
   • Ứng dụng kỹ thuật bọc hộp đa giác và tạo mặt nạ viền đen, giúp mô hình OCR tập trung hoàn toàn vào nét chữ cách điệu mà không bị ảnh hưởng bởi họa tiết nền bìa.
   • Xây dựng cơ chế trích xuất thực thể hai tầng: dùng YOLOv4 định vị vùng ngữ nghĩa kết hợp thuật toán liên kết hộp văn bản dựa trên khoảng cách tâm và độ phủ diện tích, xử lý triệt để trường hợp tên sách hoặc tên nhà xuất bản bị ngắt dòng trên nhiều vị trí bìa.

---

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được ghi nhận trong nghiên cứu

• Độ phức tạp phông chữ: Các bìa sách sử dụng kiểu chữ thư pháp, chữ viết tay nghệ thuật hoặc chữ có hiệu ứng hòa trộn màu sắc phức tạp với tranh minh họa nền vẫn gây nhầm lẫn cho mô hình phát hiện chữ và làm tăng tỷ lệ lỗi ký tự trong pha nhận dạng.
• Văn bản đa hướng cực đoan: Đối với các văn bản xoay dọc theo gáy sách hoặc uốn lượn theo hình minh họa có độ cong lớn, mô hình SAST dù vượt trội hơn EAST nhưng đôi khi vẫn cắt đứt dòng văn bản thành các phân đoạn vụn.
• Tính phụ thuộc của mô hình phát hiện chưa fine-tune: Mô hình CRAFT nguyên bản khi chưa được huấn luyện lại trên tập dữ liệu đặc thù bìa sách tiếng Việt thường nhận diện nhầm các chi tiết đồ họa nền thành ký tự, buộc hệ thống phải bổ sung khâu tiền xử lý phân đoạn bằng Detectron2 làm tăng chi phí tính toán.

Hướng nghiên cứu mở rộng

• Nghiên cứu huấn luyện tinh chỉnh (fine-tuning) chuyên sâu các mạng phát hiện chữ trên tập dữ liệu đa giác mở rộng để xử lý tốt hơn các cấu trúc văn bản xoay góc tự do.
• Thử nghiệm các kiến trúc trích xuất thực thể hợp nhất không cần tách rời bước phát hiện đối tượng (như các mô hình Document AI tích hợp bố cục - hình ảnh - ngôn ngữ).
• Tăng cường quy mô bộ dữ liệu Vi-BCI lên mức độ đa dạng cao hơn về thể loại sách, năm xuất bản và tình trạng bảo quản của ấn phẩm.
• Đóng gói toàn bộ mô hình thành ứng dụng phần mềm quản lý sách hoàn chỉnh, tích hợp trực tiếp trên thiết bị di động phục vụ bạn đọc cá nhân, thủ thư và đơn vị phát hành sách.

---

Giá trị tham khảo và khả năng ứng dụng

Đối tượng thụ hưởng tài liệu

• Sinh viên và học viên chuyên ngành Khoa học Dữ liệu, Trí tuệ Nhân tạo và Công nghệ Thông tin: Khóa luận cung cấp tài liệu tham khảo chi tiết về quy trình xây dựng bài toán thị giác máy tính thực tế, từ khâu thu thập dữ liệu thô, thiết lập quy trình gán nhãn kiểm tra chéo đến việc lắp ghép chuỗi mô hình học sâu phức hợp.
• Các nhóm nghiên cứu về OCR và Xử lý ngôn ngữ tự nhiên tiếng Việt: Bộ tham số thực nghiệm, các phân tích so sánh giữa các mô hình thị giác (EAST, CRAFT, SAST, CRNN, SVTR, TransformerOCR) trên cùng một tập dữ liệu tiếng Việt mang lại giá trị tham khảo khách quan trong việc lựa chọn kiến trúc nền tảng.
• Kỹ sư phát triển phần mềm số hóa tài liệu: Khóa luận đưa ra giải pháp thực tế để xử lý các tài liệu phi cấu trúc có bối cảnh phức tạp thông qua phân vùng ảnh và chuẩn hóa mặt nạ nhãn.

Các nội dung chuyên môn đáng tham khảo

• Quy trình gán nhãn dữ liệu Vi-BCI (Chương 4): Cung cấp tiêu chuẩn gán nhãn 4 bước chặt chẽ bằng PPOCRLabel, cấu trúc dữ liệu đa giác kết hợp liên kết thứ tự đọc, và phương pháp kiểm tra chéo 5 vòng đảm bảo độ sạch của dữ liệu.
• Kỹ thuật tiền xử lý làm sạch ảnh chữ (Chương 5): Phương pháp tạo mặt nạ nền đen cho các hộp đa giác để cải thiện độ chính xác nhận diện chữ cái tiếng Việt có dấu.
• Thuật toán tổng hợp thông tin (Chương 5 và 6): Cơ chế kết hợp kết quả định vị hộp đối tượng của YOLOv4 với tọa độ tâm hộp phát hiện chữ để tự động phân bổ văn bản vào các trường Tên sách, Tác giả, Nhà xuất bản.

---

Câu hỏi thường gặp

1. Bộ dữ liệu Vi-BCI được xây dựng với quy mô bao nhiêu ảnh và quy trình phân chia tập dữ liệu như thế nào?

Bộ dữ liệu Vi-BCI hoàn chỉnh gồm 7.875 ảnh bìa sách tiếng Việt đã được gán nhãn với hơn 67.000 hộp văn bản dạng đa giác. Tập dữ liệu được phân chia ngẫu nhiên thành 3 tập theo tỷ lệ 8:1:1:

• Tập huấn luyện (Train set): 6.302 ảnh.
• Tập kiểm thử (Test set): 786 ảnh.
• Tập đánh giá (Validation set): 787 ảnh.

Đối với bài toán nhận diện chữ, từ các hộp văn bản trên, nhóm nghiên cứu đã cắt ra 67.038 ảnh con chứa các dòng chữ đơn lẻ (gồm 53.712 ảnh huấn luyện, 6.582 ảnh kiểm thử và 6.744 ảnh đánh giá).

2. Tại sao nhóm tác giả lại sử dụng mô hình Detectron2 trong khâu tiền xử lý dữ liệu phát hiện chữ?

Ảnh bìa sách trong nghiên cứu được chụp bằng điện thoại tại thư viện và nhà sách nên thường lẫn nhiều đối tượng ngoại cảnh (mặt bàn, kệ sách, tay người cầm, bìa sách bên cạnh). Mô hình phát hiện chữ nếu xử lý trực tiếp trên ảnh thô rất dễ phát hiện nhầm các ký tự ngoài lề không thuộc nội dung bìa. Nhóm tác giả sử dụng framework Detectron2 với mô hình Faster R-CNN (backbone ResNet-50 kết hợp FPN) để thực hiện phân vùng ảnh (Image Segmentation), cô lập chính xác khu vực bìa sách và xóa toàn bộ phông nền xung quanh trước khi đưa vào mạng Text Detection.

3. Trong các mô hình phát hiện văn bản (Text Detection), mô hình nào đạt kết quả cao nhất và nguyên nhân do đâu?

Mô hình SAST đạt kết quả cao nhất với độ đo H-mean trên 80%. Nguyên nhân là do SAST tiếp cận bài toán theo hướng phân đoạn cá thể ngữ nghĩa (semantic instance segmentation), kết hợp mạng xương sống ResNet-50, FPN và khối chú ý ngữ cảnh CAB. Mô hình này dự đoán đồng thời đường tâm văn bản (TCL) cùng các vector độ lệch (TCO, TVO, TBO), cho phép bao quát chính xác các dòng chữ uốn cong, chữ đặt xiên hoặc có hình dạng bất kỳ trên bìa sách, khắc phục hoàn toàn nhược điểm giới hạn trong khung chữ nhật hoặc tứ giác của mô hình EAST.

4. Mô hình nhận diện văn bản (Text Recognition) nào hoạt động hiệu quả nhất trên bộ dữ liệu của khóa luận?

Mô hình TransformerOCR thuộc thư viện VietOCR đạt hiệu năng cao nhất trên tập kiểm thử, vượt qua các mô hình CRNN và SVTR-LCNet trong hệ sinh thái PaddleOCR. Cụ thể, TransformerOCR đạt:

• Độ chính xác cấp ký tự (Acc per char): 91,42%.
• Tỷ lệ lỗi ký tự (CER): 13,78%.
• Tỷ lệ lỗi từ (WER): 13,78%. Hiệu năng này đạt được nhờ cơ chế Transformer Attention giúp giải mã chính xác các chuỗi ký tự tiếng Việt có hệ thống nguyên âm và dấu thanh phức tạp.

5. Khóa luận giải quyết việc tổng hợp các dòng chữ rời rạc về đúng trường Tên sách, Tác giả hay Nhà xuất bản bằng phương pháp nào?

Tác giả sử dụng mô hình học sâu YOLOv4 để phát hiện các vùng đối tượng chứa thông tin trên ảnh (đã được điều chỉnh về kích thước $608 \times 608$) và phân loại thành 4 nhóm: Author, Title, Publisher và Other. Sau đó, một thuật toán hậu xử lý hình học được áp dụng: tính toán tỷ lệ giao cắt diện tích (IoU) và tọa độ tâm giữa bounding box của mô hình phát hiện chữ và bounding box dự đoán của YOLOv4. Các hộp chữ nằm trong cùng vùng không gian ngữ nghĩa và có chỉ số liên kết thứ tự sẽ được ghép nối tuần tự thành chuỗi văn bản hoàn chỉnh cho từng trường dữ liệu.

---

Kết luận

Khóa luận tốt nghiệp của sinh viên Võ Kiều Hoa và Nguyễn Thị Thắm đã giải quyết trọn vẹn bài toán trích xuất thông tin từ bìa sách tiếng Việt thông qua chuỗi xử lý học sâu kết hợp giữa phát hiện chữ, nhận diện ký tự và phân loại thực thể ngữ nghĩa. Đóng góp nổi bật của nghiên cứu là xây dựng thành công bộ dữ liệu chuẩn hóa Vi-BCI gồm 7.875 ảnh với hơn 67.000 hộp văn bản đa giác gán nhãn chi tiết. Hệ thống tích hợp tổng thể đạt độ chính xác cấp từ 84,06% và tỷ lệ lỗi từ 22,67%, tạo lập cơ sở khoa học và dữ liệu thực nghiệm quan trọng cho các ứng dụng số hóa thư viện và quản lý ấn phẩm tự động tại Việt Nam.

Trích đoạn nội dung tài liệu

Chương 1: Tổng quan Giới thiệu về lĩnh vực nghiên cứu về OCR hiện nay và tinh ứng dung của nó trong cuộc sông hiện tại. Đồng thời, trình bày thực trạng quản lý sách hiện nay tại Việt Nam. * Chương 2: Bài toán trích xuất trên bìa sách tiếng Việt Trình bày đầu vào và đầu ra của bài toán trích xuất thông tin trên bìa sách tiếng Việt. Nêu các thách thức đặt ra của bài toán và hướng giải quyết.

¢ Chương 3: Các công trình nghiên cứu liên quan Chúng tôi trình bày một số công trình nghiên cứu chúng tôi tham khảo có cả ngôn ngữ nước ngoài và ngôn ngữ tiếng Việt. * Chương 4: Xây dựng bộ dữ liệu cho bài toán trích xuất thông tin trên bìa sách tiếng Việt Trình bày chi tiết hình thức bộ dữ liệu xây dựng, cách thu thập va gán nhãn cho bộ dữ liệu ảnh bìa sách. Quy trình gán nhãn dữ liệu và đưa ra một số phân tích về bộ dữ liệu xây dựng. « Chương 5: Các phương pháp tiếp cận Trình bày các phương pháp và mô hình dùng huấn luyện cho phát hiện văn bản trên bìa sách, nhận diện văn bản trên bìa sách, tổng hợp thông tin bìa sách.

s Chương 6: Cai đặt, thực nghiệm và đánh giá Trình bày các thức cài đặt các mô hình thực nghiệm và đánh giá kết quả thực nghiệm. * Chương 7: Kết luận và hướng phát triển 1 Chương 1.1 Giới thiệu đề tài Ở nước ta trong mấy chục năm qua, văn hoá đọc đã có những bước phát triển vượt bậc. Điều đó thể hiện ở những con số sau đây: trước năm 1975, cả hai miền Bắc và Nam xuất bản hàng năm được khoảng chưa đầy 4.000 tên sách, ngày nay hàng năm xuất bản khoảng xấp xỉ 25.000 tên sách, tăng gấp 6 lần, gần đây tốc độ gia tăng hàng năm khoảng 10%. Cả nước hiện nay đang xuất bản khoảng gần 400 tên báo, tạp chí, nhiều báo có số lượng xuất bản mỗi số lên tới 500.

Chính vì thế cần giải pháp để hỗ trợ việc quản lý sách cho những cửa hàng, thư viện và cá nhân là cần thiết, cũng từ đó hướng đến tự động hoá, chuyển đổi từ thư viện truyền thống sang thư viện điện tử/thư viện sé. Hiện nay khi thời đại khoa học công nghệ đang ngày càng phát triển, có thể dễ dàng nhận thấy công nghệ OCR hiện đã được ứng dụng rộng rãi trong đời sống, trong nhiều lĩnh vực khác nhau. Công nghệ OCR thường được dùng phổ biến nhất đó là trong các máy scanner tại các văn phòng. Hiện nay, các máy scan cơ bản chỉ có thể quét được các hình ảnh và trả chúng về những hình ảnh dạng số hoá.

Chính những lý do thực tế này, chúng tôi thực hiện đề tài này để đóng góp một phần công sức cho cộng đồng nghiên cứu về xử lý ảnh cũng như cộng đồng yêu sách ở Việt Nam. Đề tài trích xuất thông tin trên ảnh chụp bìa sách tiếng Việt với đầu vào là hình ảnh bìa sách và dau ra là thông tin tên tác giả, tên sách và tên nhà xuất bản. Trong dé tài này chúng tôi giới thiệu bộ dữ liệu ảnh gồm 7.875 ảnh chụp bìa sách đã gán nhãn. Chúng tôi xây dựng hệ thống trích xuất thông tin trên bìa gồm tên tác giả, tên sách, tên nhà xuất bản bằng cách giải quyết 3 bài toán sau: (1) phát hiện văn bản trên ảnh bìa sách, (2) nhận dạng văn bản trên ảnh bìa sách, (3) tổng hợp, phân loại nội dung văn bản.2 Tinh ứng dụng của đề tài Nghiên cứu của chúng tôi mang đến một số đóng góp cho cộng đồng xử lý ảnh va tính ứng dụng trong việc quản lý thư viện, cửa hàng bán sách, tủ sách cá nhân.

Trong lĩnh vực xử lý ảnh nói chung và mảng OCR nói riêng, bộ dữ liệu chúng tôi xây dựng gồm 7,875 ảnh chụp các bìa sách tiếng Việt phục vụ nghiên cứu và huấn luyện được mô hình phát hiện chữ tiếng Việt trên ảnh và nhận dạng chữ tiếng Việt trên ảnh. Ứng dụng cho những hệ thống có thực hiện nhiệm vụ nhận dạng chữ tiếng Việt thông qua hình ảnh. Ứng dụng chính mà chúng tôi hướng đến khi thực hiện đề tài này là xây dựng một hệ thống số hóa tủ sách hay ứng dụng hỗ trợ trích xuất các thông tin của sách trên bìa sách. Trên bìa sách có những thông tin chính bao gồm tác giả, tên sách, nhà xuất bản, những thông tin này giống như địa chỉ để người đọc tìm kiếm đến một cuốn sách.

Trong các thư viện, nhà sách hay tủ sách cá nhân khi muốn sao lưu và thống kê quản lý số lượng sách trong kho, điều tất nhiên phải ghi lại các thông tin trên bìa sách về tên sách, tên tác giả, nhà xuất bản. Tuy nhiên với số lượng sách khổng lồ trong thư viện hay các nhà sách cần ứng dụng hỗ trợ thực hiện công việc sao lưu này một cách nhanh chóng.Ngoài tiết kiệm được thời gian, các tài liệu, văn bản được số hóa sẽ giúp tiết kiệm không gian lưu trữ và dé dang quản lý. 143 Kếtluận Nhìn chung, bài toán OCR đã và đang được đẩy mạnh nghiên cứu và ứng dụng nhiều trong cuộc sống. Đặc biệt, OCR trong việc giải quyết các bài toán về nhận diện chữ viết trong hình ảnh tao ra nhiều giá trị cho cuộc sống con người trong xu thé số hóa hiện nay.

Áp dụng OCR xây dựng một hệ thống trích xuất thông tin từ sách hỗ trợ cho việc quản lý sách trong thư viện, nhà sách hay tủ sách cá nhân giúp tiết kiệm được thời gian cũng như không gian lưu trữ, giúp người dùng sắp xếp quản lý sách một cách chuyên nghiệp và thuận hơn. Đồng thời, qua quá trình xây dựng nghiên cứu về dé tài đóng góp phần nhỏ vào công cuộc nghiên cứu chuyển đổi công nghệ số, đặc biệt là trong nhận dạng chữ cho thế giới nói chung và Việt Nam nói riêng. BÀI TOÁN TRÍCH XUẤT THONG TIN TRÊN BÌA SÁCH TIÊNG VIỆT Trên bìa sách có những thông tin chính bao gồm tác giả, tên sách, nhà xuất bản được trích xuất ra các trường thông tin qua các bước (1) tìm vị trí các văn bản có trên ảnh bìa sách (text detection), (2) nhận dạng các văn bản dưới dạng ảnh thành nội dung dưới dạng chuỗi (text recognition), (3) phân loại các chuỗi thông tin về đúng các trường tác giả, tên sách, nhà xuất bản.1 Bài toán trích xuât thông tin trên bìa sách tiêng Việt Bài toán trích xuất thông tin trên bìa sách tiếng Việt có đầu vào với đầu ra như sau: * Đầu vào: Ảnh chụp bìa sách tiếng Việt « Đầu ra: Thông tin các trường tác giả, tên sách, nhà xuất bản. Đâu ra - _ Tên sách: Tựa vào long me - Tác giả: ĐẶNG THIÊN SƠN „ - Nhà Xuât bản: NHÀ XUẤT BẢN DÂN TRÍ Hình 2: Ví dụ mô tả đầu vào và đầu ra của bài toán trích xuất thông tin từ bìa sách tiếng Việt.

10 Nhìn vào hình 2, hình bên trái là đầu vào của hệ thống hình ảnh bìa sách tiếng Việt được chụp bằng điện thoại. Bên trái là kết quả của hệ thống gồm chi tiết các thông tin tên sách, tên tác giả, tên nhà xuat ban.2 Thách thức OCR là một bài toán được nghiên cứu và ứng dụng trong thực tế tuy nhiên bài toán chúng tôi đặt ra có một số thách thức. Dữ liệu là điều kiện cần để thực hiện bất kỳ một mô hình học máy, tuy nhiên dữ liệu để giải quyết các bài toán OCR trong tiếng Việt rất ít, đặc biệt qua khảo sát thấy được, bài toán của chúng tôi thực hiện chưa có công bé dữ liệu nào. Từ đó đặt ra thách thức cho chúng tôi, cần xây dựng một bộ dữ liệu ảnh chụp bìa sách tiếng Việt và gán nhãn đề làm đầu vào cho các mô hình máy học.

Trong bài toán phát hiện và nhận dạng chữ viết phổ biến những dạng văn bản có phông chữ cố định và dạng phông chữ phổ biến cụ thể như bài toán trích xuất thông tin trên hóa đơn, tuy nhiên các văn bản xuất hiện trên bìa sách là văn bản phi cấu trúc. Văn bản đa dạng về bố cục, phông chữ và background phức tạp. Thêm vào đó, các công trình nghiên cứu về bài toán nhận dạng văn bản trên hình ảnh có cấu trúc phức tạp rất ít, đặc biệt cho tiếng Việt. Từ những thách thức đặt ra, chúng tôi quyết định thực hiện đề tài này biến những thách thức thành cơ hội được nghiên cứu và thực nghiệm tạo ra bộ dữ liệu, các mô hình có thể một phần đóng góp vào những ứng dụng phục vụ trong cuộc sống, cũng như một phan thúc day quá trình cuộc cách mạng công nghệ của Việt Nam và thé giới.3 Phương pháp đề xuât giải quyét bài toán Dựa vào phân tích, đánh giá các điều kiện cần và đủ để giải quyết bài toán trích xuất thông trên bìa sách mà chúng tôi đặt ra, chúng tôi đề xuất các phương pháp đề từng bước giải quyết các van dé như sau: s Xây dựng bộ dữ liệu anh bìa sách, bộ dữ liệu đủ lớn đạt 7.000 ảnh và gan nhãn.

11 Nhãn dữ liệu là tọa độ bounding box văn bản có trên bìa sách và nội dung văn bản có trong bounding box. ¢ Huấn luyện mô hình cho nhiệm vụ phát hiện văn bản trên ảnh bìa sách (text detection) các mô hình chúng tôi đề xuất sử dung CRAFT , mô hình SAST, EAST của Paddle. ¢ Huấn luyện mô hình cho nhiệm vụ nhận dạng văn bản trên ảnh bìa sách (text recognition) các mô hình chúng tôi dé xuất sử dụng mô hình nhận dạng văn ban SVTR, CRNN của Paddle, mô hình transformerOCR của VietOCR. ¢ Huấn luyện mô hình YOLOv4 phát hiện vùng đối tượng văn bản thuộc nhóm thông tin tên sách(Title), tên tác giả(Author), tên nhà xuất ban(Publisher).

Xử lý tong hợp thông tin. Phát hiện văn bản Thực hiện xử lý tổng hợp mảnh thông tin tên sách, tên tác giả, tên Huấn luyện mô hình CRAFT, SAST, nhà xuất bản. EAST cho nhiệm vụ phát hiện văn bản trên bìa sách. @ ® @ © Xây dựng dữ liệu C Quản Nhận dạng văn Po Guốn: Xây dựng bộ dữ liệu bìa sách bản khoảng 7.

Huấn luyện mô hình SVTR, CRNN, TransformerOCR cho nhiệm vụ nhận diện văn bản trên bìa sách. Hình 3: Sơ đồ chuỗi các phương pháp dé xuất giải quyết bài toán trích xuất thông tin từ bìa sách tiếng Việt. CÁC CÔNG TRÌNH NGHIÊN CỨU LIEN QUAN Dạng ảnh chứa văn bản xử lý trong bài toán OCR được chia 2 dạng: ảnh văn bản có cau trúc và văn bản phi cấu trúc.