Chương 1: Mở dau. Trình bày lý do chọn đề tài, mục tiêu, đối tượng phạm vi và kết quả nghiên cứu. chương 2: Tổng quan. Trình bày một số công trình nghiên cứu có liên quan đến đề tài, chỉ ra những vấn đề còn tồn đọng và hướng giải quyết.
Chương 3: Mô hình Phát hiện vùng chứa văn bản: Trình bày kỹ thuật áp dụng để phát hiện vùng chứa văn bản trong Manga. Chương 4: Thí nghiệm và kết quả: Trình bày thiết kế thí nghiệm và đánh giá kết quả đạt được trên mô hình phát hiện vùng chứa văn bản chương 5: Nhận diện kí tự: Trinh bay kỹ thuật xử lý anh dé có thé áp dung Tesseract vào nhận diện kí tự trong Manga. chương 6: kết luận và hướng phát triển. Trinh bày những kết qua mà đề tài đạt được, rút ra nhận xét, tự đánh giá và trình bày hướng phát triên của đê tài này.
Tổng Quan Hiện nay đã có nhiều phương pháp phát hiện vùng chứa văn bản từ anh[5], nhưng nghiên cứu về trích xuất văn bản trong truyện tranh thì vẫn chưa được nhiều[2]. Sau đây là tóm tắt và nhận xét một số công trình có liên quan đến bài toán. Tiêp cận dựa trên vùng và kêt cầu của ảnh Tác giả Kohei Arai, Herman Tolle[1] đã dé xuất hai cách tiép can chinh đó là: phát hiện vùng chứa văn ban dựa trên vùng và dựa trên kết cấu của ảnh. Cách tiếp cận này dựa trên những đặc trưng cấp thấp của ảnh và xử lý ảnh cơ bản đây là cách tiếp cận nhằm phát hiện các vùng ảnh khác nhau về các thuộc tính, chang hạn như độ sáng hoặc màu sắc, so với các vùng xung quanh dựa Vào gia thiết các đoạn văn bản trong một trang truyện Manga sẽ nằm trong một bóng thoại hoàn chỉnh với nền trắng và chữ đen.
Chính vì vậy nên vẫn có rất nhiều trường hợp phát hiện sai và sự sai lệch này sẽ dẫn đến nhận dạng kí tự sai. Tiếp cận dựa trên đề xuất vùng, phân lớp và hồi quy H Tác giả Wei-ta Chu, Chih-chi Yu[3] đưa ra phương pháp dựa trên đề xuất vùng (Region proposal Network), phân lớp và hồi quy. Trong bài báo dé xuất hai cách tiếp cận dựa trên mạng học sâu dé phát hiện vùng chứa văn ban trong truyện tranh. e Cách 1: Các đặc trưng được trích xuất từ CNN (Convolutional Neural Network) sau đó được đưa vào mạng phân loại/hồi quy.
e Cách2: dựa trên đề xuất vùng, trích xuất đặc trưng và phân loai/héi quy sau đó kết hợp tất cả lại vào một mạng học sâu. Độ chính xác của phương pháp này chỉ dừng lại ở mức chấp nhận được (độ chính xác 62%). e Số liệu đánh giá tuân theo thiết kế trong cuộc thi của ICDAR 2013, với vùng kết quả phát hiện A và nhãn vùng kí tự B, chúng ta xem A là vùng phát hiện đúng nêu có tỉ lệ 7, = ial ! lớn hơn một ngưỡng x oS ⁄¿ Đ:A , k 24244 ANBl,, A ~ , X z2 1A |JANB|,, ^ ~. t, cho trước và tỉ lỆ 7, = lớn hơn một ngưỡng f„ cho trước.
, |B | 7 Ta có tập kết quả phát hiện A={4., A„} và tập nhãn vùng did; dij van bản B={V,., B,} ta tính độ chính xác Precision = , All oii = | 0 các các trường trường h sn hợp còn lai’ với IIAII biêu thị sô lượng cua lại tap A. Dựa trên tích chap sâu Tác giả David Dubray, Jochen Laubrock [4] đề xuất phương pháp phát hiện vùng chứa văn bản dựa trên mạng tích chập sâu, kết cầu mạng này có được nhờ sự kết hợp mạng VGG-16 và cấu trúc mạng U (U-net)[4]. Phương pháp này đã hoạt động tốt trong việc phát hiện bóng thoại trên bộ dit liệu GNC (đây là một bộ dữ liệu truyện tranh với những tập truyện tranh dài hơn 64 trang, ké về một câu chuyện liên tục) Nhưng hiện tại mới chỉ có kết quả tốt trên bộ dữ liệu ƠNC này và có kết quả không được tốt trên truyện tranh Nhật Bản (Manga) cụ thể là bộ dữ liệu Manga109 (bao gồm 109 tập truyện được vẽ bởi các tác giả chuyên nghiệp tại Nhật Bản). Dựa trên SSD300-fork Đây là một phương pháp phát hiện các đối tượng có sự chồng chéo cao, với những phương pháp phát hiện vật thé dựa trên khung neo, mỗi khung neo có kích cỡ, hình dang và vị trí riêng.
Trong giai đoạn huấn luyện, các phương pháp dựa trên khung neo dự đoán vị trí và danh mục của đối tượng gần nhất cho mỗi khung neo. Dé loại bỏ các kết qua đầu ra cho biết cùng một đối tượng NMS được tiến hành trong giai đoạn huấn luyện, mỗi khung neo được huấn luyện dé trả về vị trí và danh mục gần nhất. Từ đó có một vẫn đề xảy ra là các phương thức hiện tại chúng không thé gan các đối tượng dé có một khung neo đúng cách nếu có một số đối tượng có vi trí, kích thước và hình dạng tương tự nhau, kết quả là một trong những đối tượng đó không được dùng để huấn luyện. Điều này trở nên cực kỳ ảnh hưởng tới mô hình khi các đối tượng có sự chồng chéo nhau.
Và trong dit liệu truyện tranh có rất nhiều trường hop chồng chéo nhau. Trong trường hợp này hệ thống phát hiện sẽ không hoạt động tốt ngay cả khi số lượng nhãn nhỏ. Dé giải quyết van đề này, Tác giả đề xuất mô hình phân nhánh (forked model)[7]. Mô hình này tạo bản sao của tập mỏ neo.
Mỗi tập neo được sao chép chịu trách nhiệm cho một danh mục, các đối tượng được gán trong các khung neo của tập neo tương ứng. Bằng cách sử dụng mô hình phân nhánh được đề xuất tác giả có thé giải quyết van đề phân công và các đối tượng chồng chéo có thê được phát hiện một cách chính xác. Để xây dựng mô hình phân nhánh, tác giả đã chọn SSD300[8] làm mạng cơ sở vì nó lưu trữ hiệu suất tốt dựa trên CNN. SSD300 được làm bởi bộ trích xuất đặc trưng đa quy mô và lớp phát hiện, bộ trích xuất đặc trưng đa quy mô là mạng tích chập nhận đầu vào là một bức ảnh và đầu ra là một tập các ban đồ đặc trưng.
Phương pháp này là SOTA của bài toán phát hiện vùng chứa văn bản trong truyện tranh Nhật Bản. độ chính xác là 84.1% theo như bai báo đã công bó. Các thách thức Những thách thức trong phát hiện vùng chứa văn bản trong Manga là: e Bong bóng thoại trong truyện tranh có nhiều hình dang và được đặt ở những vi trí khác nhau, có vô sô hình dạng va vi trí bóng thoại. e_ Một số Manga được số hóa là qua quá trình quét từ bản vẽ tay nên khó nhận dạng.
e C6 nhiều đoạn hội thoại không nằm trong bong bóng thoại chèn lên nhân vật và ngoại cảnh (ví dụ: suy nghĩ của nhân vật). Những thách thức trong nhận diện kí tự trong Manga. e Nhiều đoạn hội thoại được tác giả viết bằng phông chữ cách điệu hay sử dụng trong Manga đây là phông chữ phức tạp của Nhật Bản và khó có thể nhận diện chính xác được. e Trong một bong bóng thoại tác giả thường chú thích những chữ khó ngay bên cạnh bằng nét chữ nhỏ hơn, nhưng điều này hệ thống nhận diện kí tự hiểu nhằm đây cũng là một kí tự riêng biệt trong vùng văn bản này nên cũng sẽ nhận diện điều này dẫn đến kết quả nhận diện kí tự của vùng văn bản đó bị sai lệch.
Mô hình phát hiện vùng chứa van ban trong Manga, Trong phạm vi đề tài này, chúng tôi thực hiện tìm hiểu mô hình phát hiện vật thé YOLOv3 dé áp dụng vào phát hiện vùng chứa văn bản trong truyện tranh[6]. Song song với đó là cai đặt và áp dụng lên bộ dữ liệu Manga109. Giới thiệu chung Đề giải quyết bài toán phát hiện vùng chứa văn ban cụ thé ở khóa luận này là bài toán phát hiện vùng chứa văn bản, chúng tôi đã tìm hiểu các nội dung về các kỹ thuật liên quan dé có thé áp dụng vào bài toán. Như chúng tôi đã đề cập ở Chương 2, việc phát hiện vùng chứa văn bản không thể chỉ dựa vào các đặc trưng và kết cau của ảnh như vậy sẽ dẫn tới hậu quả là chỉ hiệu quả với những trang truyện có kết cấu phù hợp với giả thiết đề ra.
Nhưng truyện tranh là một thế giới đa dạng và rộng lớn có rất nhiều kết cấu trang truyện khác nhau mà những phương pháp cổ dién đó không thé nào phát hiện chính xác được vì thế ta cần một phương pháp Máy học có thể tự động trích xuất đặc trưng và có thê áp dụng với tat cả thé loại truyện tranh. Với mục tiêu đê ra và sự đặc biệt của những nơi có văn bản trong một trang truyện, chúng tôi xem nhưng phân có văn bản đó như một vật thê có trong ảnh và tiễn hành thực hiện một thuật toán phát hiện vật thê. Trong lĩnh vực phát hiện vật thể trong ảnh hiện nay đã có nhiều mô hình tốt phục vụ cho việc rút đích đặc trưng từ ảnh. Chúng tôi chọn phương pháp YOLOV3.
YOLO — You Only Look Once (Bạn chỉ nhìn một lần) là một thuật toán sử dụng CNN cho nhận dạng đối tượng. Bạn chỉ cần nhìn 1 lần hay YOLO là một trong những thuật toán nhận dạng đối tượng nhanh và chính xác. Đây là một thuật toán không chỉ dự đoán lớp của vật thể mà còn nhận ra vị trí đối tượng, vì vậy không chi là phân loại hình ảnh vào 1 lớp nào đó mà trong bai toán của chúng ta còn đông thời nhận diện nhiêu vật thê trong một ảnh và còn 10 cần nhận diện chính xác vi trí của vật thé trong ảnh. Thuật toán nay áp dụng một NN đơn cho một ảnh đầy đủ, nó có nghĩa là mạng này chia ảnh thành các khu vực và nhận diện các vùng có chứa vật thê đó.
Chi tiết mô hình YOLO sử dụng các lớp tích chập (CNN), khiến nó trở thành một mạng kết nối toàn phan (fully convolutional network FCN). Trong YOLOv3 ta có một kiến trúc sâu hơn về trích xuất đặc trưng gọi là Darknet-53. Giống như tên gọi, nó bao gồm 53 lớp tích chập (CNN), mỗi lớp tích chập với trượt 11 (stride) là 2 được sử dụng để hạ mẫu (downsampling) các biểu đồ đặc trưng. Điều này giúp tránh khỏi mat mát của những đặc trưng cấp thấp thường bị ảnh hưởng bởi gộp lại (pooling).