Chương 1: Tổng quan Giới thiệu về lĩnh vực nghiên cứu về OCR hiện nay và tinh ứng dung của nó trong cuộc sông hiện tại. Đồng thời, trình bày thực trạng quản lý sách hiện nay tại Việt Nam. * Chương 2: Bài toán trích xuất trên bìa sách tiếng Việt Trình bày đầu vào và đầu ra của bài toán trích xuất thông tin trên bìa sách tiếng Việt. Nêu các thách thức đặt ra của bài toán và hướng giải quyết.
¢ Chương 3: Các công trình nghiên cứu liên quan Chúng tôi trình bày một số công trình nghiên cứu chúng tôi tham khảo có cả ngôn ngữ nước ngoài và ngôn ngữ tiếng Việt. * Chương 4: Xây dựng bộ dữ liệu cho bài toán trích xuất thông tin trên bìa sách tiếng Việt Trình bày chi tiết hình thức bộ dữ liệu xây dựng, cách thu thập va gán nhãn cho bộ dữ liệu ảnh bìa sách. Quy trình gán nhãn dữ liệu và đưa ra một số phân tích về bộ dữ liệu xây dựng. « Chương 5: Các phương pháp tiếp cận Trình bày các phương pháp và mô hình dùng huấn luyện cho phát hiện văn bản trên bìa sách, nhận diện văn bản trên bìa sách, tổng hợp thông tin bìa sách.
s Chương 6: Cai đặt, thực nghiệm và đánh giá Trình bày các thức cài đặt các mô hình thực nghiệm và đánh giá kết quả thực nghiệm. * Chương 7: Kết luận và hướng phát triển 1 Chương 1.1 Giới thiệu đề tài Ở nước ta trong mấy chục năm qua, văn hoá đọc đã có những bước phát triển vượt bậc. Điều đó thể hiện ở những con số sau đây: trước năm 1975, cả hai miền Bắc và Nam xuất bản hàng năm được khoảng chưa đầy 4.000 tên sách, ngày nay hàng năm xuất bản khoảng xấp xỉ 25.000 tên sách, tăng gấp 6 lần, gần đây tốc độ gia tăng hàng năm khoảng 10%. Cả nước hiện nay đang xuất bản khoảng gần 400 tên báo, tạp chí, nhiều báo có số lượng xuất bản mỗi số lên tới 500.
Chính vì thế cần giải pháp để hỗ trợ việc quản lý sách cho những cửa hàng, thư viện và cá nhân là cần thiết, cũng từ đó hướng đến tự động hoá, chuyển đổi từ thư viện truyền thống sang thư viện điện tử/thư viện sé. Hiện nay khi thời đại khoa học công nghệ đang ngày càng phát triển, có thể dễ dàng nhận thấy công nghệ OCR hiện đã được ứng dụng rộng rãi trong đời sống, trong nhiều lĩnh vực khác nhau. Công nghệ OCR thường được dùng phổ biến nhất đó là trong các máy scanner tại các văn phòng. Hiện nay, các máy scan cơ bản chỉ có thể quét được các hình ảnh và trả chúng về những hình ảnh dạng số hoá.
Chính những lý do thực tế này, chúng tôi thực hiện đề tài này để đóng góp một phần công sức cho cộng đồng nghiên cứu về xử lý ảnh cũng như cộng đồng yêu sách ở Việt Nam. Đề tài trích xuất thông tin trên ảnh chụp bìa sách tiếng Việt với đầu vào là hình ảnh bìa sách và dau ra là thông tin tên tác giả, tên sách và tên nhà xuất bản. Trong dé tài này chúng tôi giới thiệu bộ dữ liệu ảnh gồm 7.875 ảnh chụp bìa sách đã gán nhãn. Chúng tôi xây dựng hệ thống trích xuất thông tin trên bìa gồm tên tác giả, tên sách, tên nhà xuất bản bằng cách giải quyết 3 bài toán sau: (1) phát hiện văn bản trên ảnh bìa sách, (2) nhận dạng văn bản trên ảnh bìa sách, (3) tổng hợp, phân loại nội dung văn bản.2 Tinh ứng dụng của đề tài Nghiên cứu của chúng tôi mang đến một số đóng góp cho cộng đồng xử lý ảnh va tính ứng dụng trong việc quản lý thư viện, cửa hàng bán sách, tủ sách cá nhân.
Trong lĩnh vực xử lý ảnh nói chung và mảng OCR nói riêng, bộ dữ liệu chúng tôi xây dựng gồm 7,875 ảnh chụp các bìa sách tiếng Việt phục vụ nghiên cứu và huấn luyện được mô hình phát hiện chữ tiếng Việt trên ảnh và nhận dạng chữ tiếng Việt trên ảnh. Ứng dụng cho những hệ thống có thực hiện nhiệm vụ nhận dạng chữ tiếng Việt thông qua hình ảnh. Ứng dụng chính mà chúng tôi hướng đến khi thực hiện đề tài này là xây dựng một hệ thống số hóa tủ sách hay ứng dụng hỗ trợ trích xuất các thông tin của sách trên bìa sách. Trên bìa sách có những thông tin chính bao gồm tác giả, tên sách, nhà xuất bản, những thông tin này giống như địa chỉ để người đọc tìm kiếm đến một cuốn sách.
Trong các thư viện, nhà sách hay tủ sách cá nhân khi muốn sao lưu và thống kê quản lý số lượng sách trong kho, điều tất nhiên phải ghi lại các thông tin trên bìa sách về tên sách, tên tác giả, nhà xuất bản. Tuy nhiên với số lượng sách khổng lồ trong thư viện hay các nhà sách cần ứng dụng hỗ trợ thực hiện công việc sao lưu này một cách nhanh chóng.Ngoài tiết kiệm được thời gian, các tài liệu, văn bản được số hóa sẽ giúp tiết kiệm không gian lưu trữ và dé dang quản lý. 143 Kếtluận Nhìn chung, bài toán OCR đã và đang được đẩy mạnh nghiên cứu và ứng dụng nhiều trong cuộc sống. Đặc biệt, OCR trong việc giải quyết các bài toán về nhận diện chữ viết trong hình ảnh tao ra nhiều giá trị cho cuộc sống con người trong xu thé số hóa hiện nay.
Áp dụng OCR xây dựng một hệ thống trích xuất thông tin từ sách hỗ trợ cho việc quản lý sách trong thư viện, nhà sách hay tủ sách cá nhân giúp tiết kiệm được thời gian cũng như không gian lưu trữ, giúp người dùng sắp xếp quản lý sách một cách chuyên nghiệp và thuận hơn. Đồng thời, qua quá trình xây dựng nghiên cứu về dé tài đóng góp phần nhỏ vào công cuộc nghiên cứu chuyển đổi công nghệ số, đặc biệt là trong nhận dạng chữ cho thế giới nói chung và Việt Nam nói riêng. BÀI TOÁN TRÍCH XUẤT THONG TIN TRÊN BÌA SÁCH TIÊNG VIỆT Trên bìa sách có những thông tin chính bao gồm tác giả, tên sách, nhà xuất bản được trích xuất ra các trường thông tin qua các bước (1) tìm vị trí các văn bản có trên ảnh bìa sách (text detection), (2) nhận dạng các văn bản dưới dạng ảnh thành nội dung dưới dạng chuỗi (text recognition), (3) phân loại các chuỗi thông tin về đúng các trường tác giả, tên sách, nhà xuất bản.1 Bài toán trích xuât thông tin trên bìa sách tiêng Việt Bài toán trích xuất thông tin trên bìa sách tiếng Việt có đầu vào với đầu ra như sau: * Đầu vào: Ảnh chụp bìa sách tiếng Việt « Đầu ra: Thông tin các trường tác giả, tên sách, nhà xuất bản. Đâu ra - _ Tên sách: Tựa vào long me - Tác giả: ĐẶNG THIÊN SƠN „ - Nhà Xuât bản: NHÀ XUẤT BẢN DÂN TRÍ Hình 2: Ví dụ mô tả đầu vào và đầu ra của bài toán trích xuất thông tin từ bìa sách tiếng Việt.
10 Nhìn vào hình 2, hình bên trái là đầu vào của hệ thống hình ảnh bìa sách tiếng Việt được chụp bằng điện thoại. Bên trái là kết quả của hệ thống gồm chi tiết các thông tin tên sách, tên tác giả, tên nhà xuat ban.2 Thách thức OCR là một bài toán được nghiên cứu và ứng dụng trong thực tế tuy nhiên bài toán chúng tôi đặt ra có một số thách thức. Dữ liệu là điều kiện cần để thực hiện bất kỳ một mô hình học máy, tuy nhiên dữ liệu để giải quyết các bài toán OCR trong tiếng Việt rất ít, đặc biệt qua khảo sát thấy được, bài toán của chúng tôi thực hiện chưa có công bé dữ liệu nào. Từ đó đặt ra thách thức cho chúng tôi, cần xây dựng một bộ dữ liệu ảnh chụp bìa sách tiếng Việt và gán nhãn đề làm đầu vào cho các mô hình máy học.
Trong bài toán phát hiện và nhận dạng chữ viết phổ biến những dạng văn bản có phông chữ cố định và dạng phông chữ phổ biến cụ thể như bài toán trích xuất thông tin trên hóa đơn, tuy nhiên các văn bản xuất hiện trên bìa sách là văn bản phi cấu trúc. Văn bản đa dạng về bố cục, phông chữ và background phức tạp. Thêm vào đó, các công trình nghiên cứu về bài toán nhận dạng văn bản trên hình ảnh có cấu trúc phức tạp rất ít, đặc biệt cho tiếng Việt. Từ những thách thức đặt ra, chúng tôi quyết định thực hiện đề tài này biến những thách thức thành cơ hội được nghiên cứu và thực nghiệm tạo ra bộ dữ liệu, các mô hình có thể một phần đóng góp vào những ứng dụng phục vụ trong cuộc sống, cũng như một phan thúc day quá trình cuộc cách mạng công nghệ của Việt Nam và thé giới.3 Phương pháp đề xuât giải quyét bài toán Dựa vào phân tích, đánh giá các điều kiện cần và đủ để giải quyết bài toán trích xuất thông trên bìa sách mà chúng tôi đặt ra, chúng tôi đề xuất các phương pháp đề từng bước giải quyết các van dé như sau: s Xây dựng bộ dữ liệu anh bìa sách, bộ dữ liệu đủ lớn đạt 7.000 ảnh và gan nhãn.
11 Nhãn dữ liệu là tọa độ bounding box văn bản có trên bìa sách và nội dung văn bản có trong bounding box. ¢ Huấn luyện mô hình cho nhiệm vụ phát hiện văn bản trên ảnh bìa sách (text detection) các mô hình chúng tôi đề xuất sử dung CRAFT , mô hình SAST, EAST của Paddle. ¢ Huấn luyện mô hình cho nhiệm vụ nhận dạng văn bản trên ảnh bìa sách (text recognition) các mô hình chúng tôi dé xuất sử dụng mô hình nhận dạng văn ban SVTR, CRNN của Paddle, mô hình transformerOCR của VietOCR. ¢ Huấn luyện mô hình YOLOv4 phát hiện vùng đối tượng văn bản thuộc nhóm thông tin tên sách(Title), tên tác giả(Author), tên nhà xuất ban(Publisher).
Xử lý tong hợp thông tin. Phát hiện văn bản Thực hiện xử lý tổng hợp mảnh thông tin tên sách, tên tác giả, tên Huấn luyện mô hình CRAFT, SAST, nhà xuất bản. EAST cho nhiệm vụ phát hiện văn bản trên bìa sách. @ ® @ © Xây dựng dữ liệu C Quản Nhận dạng văn Po Guốn: Xây dựng bộ dữ liệu bìa sách bản khoảng 7.
Huấn luyện mô hình SVTR, CRNN, TransformerOCR cho nhiệm vụ nhận diện văn bản trên bìa sách. Hình 3: Sơ đồ chuỗi các phương pháp dé xuất giải quyết bài toán trích xuất thông tin từ bìa sách tiếng Việt. CÁC CÔNG TRÌNH NGHIÊN CỨU LIEN QUAN Dạng ảnh chứa văn bản xử lý trong bài toán OCR được chia 2 dạng: ảnh văn bản có cau trúc và văn bản phi cấu trúc.