Chương 1: Giới thiệu tổng quan về bài toán nhận dang văn bản. Chương 2: Trình bày về cơ sở lý thuyết và các nghiên cứu liên quan đến bài toán nhận dạng văn bản. Chương 3: Trình bày về các phương pháp nhận dạng văn bản sử dụng để thực nghiệm. Chương 4: Trình bày cách xây dựng bộ dữ liệu, phân tích dữ liệu, cách thức đánh giá và so sánh kết quả của các mô hình trên bộ dif liệu đã xây dựng.
Chương 5: Trình bày về cách xây dựng ứng dụng minh họa Chương 6: Kết luận về khóa luận tốt nghiệp và hướng phát triển trong tương lai. Chương 2 CƠ SỞ LÝ THUYET VÀ CÁC NGHIÊN CỨU LIÊN QUAN Trước khi đi vào nội dung chính của khóa luận, tôi xin được trình bày các khái niệm, cơ sở lý thuyết của bài toán nhận dạng văn bản và một số hướng tiếp cận phổ biến hiện nay.1 Định nghĩa về văn ban trong anh Trong thực tế, văn bản trong ảnh có thể xuất hiện dưới nhiều hình dạng khác nhau. Ví dụ, dựa vào cách tạo ra có thể chia làm văn bản in và văn bản viết tay [16]. Văn bản in được tạo ra và in bằng máy in dé dàng nhận dang hơn so với văn bản viết tay, do văn bản viết tay thường phức tạp, chồng chéo nhau, kể cả cùng 1 người, nét chữ giữa các lần viết cũng có thể khác nhau.
Ngoài ra, cũng có thể phân loại văn bản thành 2 loại là văn bản đồ hoa (graphic text) và văn bản cảnh (scene text) như trong [17] - xem hình minh hoa 2. Trong đó có thể thấy văn bản cảnh đa dạng và khó hơn rất nhiều so với dang văn bản dé họa. Theo như trong bài báo [16], văn bản đồ họa là văn bản thêm vào ảnh, video sau khi chụp, quay. Văn bản cảnh là văn bản trên đối tượng được chụp trong môi 2.
Cơ sở lý thuyết và các nghiên cứu liên quan | 'A0NguyếnThaMục —— HMmifeMgcĐsren —— TaL0982759903- a) Văn bản cảnh Hình 2.1: Hình minh họa văn bản cảnh (a) và văn bản đô họa (b). Văn ban cảnh là văn bản xuất hiện trong lúc chụp ảnh; còn ngược lại, văn bản đô họa là văn bản được thêm vào bởi con người sau khi chụp (thường dành cho mục đích tiêu đề, phụ dé,. trường tự nhiên của nó. Hơn thé nữa, tùy vào loại ngôn ngữ, ví dụ ngôn ngữ dựa trên tiếng Latin như tiếng Anh, tiếng Việt, ngôn ngữ dựa trên chữ tượng hình như tiếng Trung, tiếng Hàn.
thì số lượng kí tự trong bản chữ cái, thứ tự đọc cũng sẽ khác nhau, và mỗi ngôn ngữ sẽ có thách thức riêng. Trong khóa luận lần này, tôi sẽ tập trung vào văn bản cảnh tiếng Việt và cả tiếng Anh. Đối với văn bản cảnh, vì được chụp trong môi trường tự nhiên nên sẽ bị đa dạng phông chữ, nhiễu do điều kiện chụp như ngược sáng, không đủ sáng, bị mờ, độ phân giải thấp. Đối với tiếng Việt, số lượng kí tự trong bảng chữ cái nhiều hơn tiếng Anh do các dấu thanh (’, ‘, ?, ., ~) trên nguyên âm (a, o, e, u, i) và các biến thể (6, ể, a, 4, ơ, ư).
Tỷ lệ nhầm lẫn giữa các kí tự gốc và các kí tự có nguyên âm hoặc biến thể của nó cao hơn so với tiếng Anh (ví dụ a với â, ă, á - ảnh minh họa 1. Nhận dang van bản nghệ thuật trong ảnh ngoại cảnh Nhận dạng văn bản trong ảnh ngoại cảnh là một trong những bài toán được cộng đồng thé giới quan tâm nghiên cứu vì tinh ứng dụng cao của nó. Cơ sở lý thuyết và các nghiên cứu liên quan này dễ dàng nhận thấy thông qua một vài ứng dụng của nó trong các hệ thống thông minh ví dụ như hỗ trợ định vị, nhận dạng tên đường, hay số hóa văn bản, tài liệu, giấy tờ tùy thân. Vì thế, bài toán nhận dạng văn bản trong ảnh ngoại cảnh là một trong những chủ đề rất thu hút đối với cộng đồng nghiên cứu về thị giác máy tính trên thé giới.
Hơn thé nữa, trong những năm gan đây, bài toán được đặc biệt đầu tư nhờ có sự tổ chức của cuộc thi "ICDAR Robust Reading Competi- tions" với lần lượt là các cuộc thi ICDAR03[18], ICDAR05[ 19], ICDAR11[20], ICDAR13[4], ảnh chụp chữ nghiêng, mờ ICDAR15[21], đa ngôn ngữ ICDAR17- MLT[22] và ảnh "street-view" với chữ cong, mờ ICDAR19-LSVT[23]. Trong quá trình quan sát về dữ liệu liên quan đến bài toán, một vài văn bản xuất hiện trong các tập dữ liệu kể trên được thiết kế với tính thẩm mỹ cao, ví dụ như hiệu ứng bóng chìm, nổi, uốn lượn, đa dạng phông chữ - do có chủ đích của người thiết kế (xem thêm các hình minh họa trong 2. Thông thường, các văn bản với đặc điểm nêu trên thường xuất hiện trên các biển quảng cáo, poster, cc ảnh chụp chúng còn được chung trong điều kiện ngoại cảnh, điều này dẫn tới việc nhận dạng sai của các thuật toán tân tiến hiện nay. Đây sẽ là một bài toán đem lại nhiều thách thức cho cộng đồng nghiên cứu - gọi là thách thức chữ nghệ thuật (hay chữ cách điệu) - artistic text.
Tuy nhiên, một hạn chế lớn của các tập đữ liệu vừa nêu trên đó chính là không phân biệt chữ với những tiêu chí nêu trên với chữ với phông thường gặp trên máy tính. Điều này dẫn tới không có nhiều nghiên cứu cụ thể trên chữ nghệ thuật - tính tới thời điểm hiện tại, chỉ có công trình [1] là tập trung vào thách thức dé cập ở trên. Va cuối cùng, tôi nhận thấy rằng bản thân các tập dữ liệu ICDAR tập trung chủ yếu vào dữ liệu kí tự Latin (tiếng Anh). Trong khi đó, tiếng Việt với sự đa dạng về kí tự (đã dé cập tại mục 2.1) kèm theo sự phổ biến của chữ nghệ thuật trên các bảng quảng cáo tại Việt Nam sẽ tạo nên một thách thức mới cho bài toán artistic text.
Cơ sở lý thuyết và các nghiên cứu liên quan Hình 2.2: Hình minh hoa về chữ nghệ thuật. Có thể thay, chữ cách điệu được thiết kế đa dạng về phông chữ, hiệu ứng chìm, nổi, các kí tự bị gối lên nhau,. Và ngoài ra, chữ với nền phức tạp cũng được tinh là chữ cách điệu. (Nguồn: Bai báo [1]) Theo đó trong khuôn khổ này của khóa luận, tôi sẽ tiến hành xây dựng một bộ dữ liệu về chữ nghệ thuật.
Dữ liệu mà nhóm xây dựng sẽ dựa trên các tập dữ liệu chuẩn như tiếng Anh có các tập ICDAR13[4], Total-Text[2], WordArt[1], CUTE80I3]; đối với tiếng Việt, nhóm sử dụng các tập dữ liệu như BKAL-Text và VinText[14]. Tập dữ liệu chữ nghệ thuật xây dựng sẽ dựa trên tập dữ liệu chuẩn WordArt [1] (trình bày cụ thể ở chương 4). Các nghiên cứu liên quan 2.1 Các bộ dữ liệu thực tế Sau đây tôi sẽ tiền hành trình bày sơ lược nguồn gốc và đặc điểm của một số bộ dữ liệu liên quan 2. Đây cũng sẽ là các bộ dữ liệu mà nhóm khóa luận sử dụng làm nguồn thu thập chính để tạo ra dữ liệu chữ cách điệu.
ICDAR13 là tập dữ liệu từ cuộc thi "ICDAR Robust Reading Competitions", cuộc thi được tổ chức thường niên tập trung vào các bài toán nhận dạng văn bản. Cơ sở lý thuyết và các nghiên cứu liên quan Dữ liệu từ tập ICDAR13 bao gồm 229 ảnh huấn luyện và 233 ảnh kiểm thử, ảnh được gán nhãn theo mức từ, các chữ trong tập dữ liệu này thẳng và hơi cong nhẹ. Total-Text là tập dữ liệu với các văn bản trong đó đa phần là chữ cong. Khác với các tập ICDAR, nhãn của tập Total-Text được gán nhãn theo hình đa giác sử dụng 8, 10, và 12 điểm thay vì 4 điểm như tập ICDAR.
CUTE80 là tập dữ liệu đa phan là chữ cong chụp trên áo của các cầu thủ. Da phần các chữ trong này đều bị nhiễu là chữ nghiêng, cong và bị nhăn do chữ trên áo.3: Hình ảnh một số mẫu dữ liệu trong tập dữ liệu nhận dạng văn bản chuẩn tiếng Anh Đối với ngôn ngữ tiếng Việt, có tập đữ liệu VinText [14]. Với số lượng ảnh là 2000, được thu thập ảnh chứa cảnh đời sống sinh hoạt hằng ngày của con người Việt Nam. Tính đến hiện tại VinText là tập dit liệu chuẩn đầu tiên bằng tiếng Việt.
Cơ sở lý thuyết và các nghiên cứu liên quan 2.2 Các phương pháp liên quan Trong thực tế, bài toán nhận dạng đối mặt với nhiều thách thức khác nhau như đã dé cập tại phần dữ liệu 2.1 - như chữ với nền, phông chữ phức tap,. hay chữ bị quá cong, quá mờ,. Nhu vậy, để dé dàng giải quyết từng thách thức một, bài khảo sát của [16], cũng như nghiên cứu của [24] đã chuẩn hóa cấu trúc một thuật toán STR như sau: * (1) Bước tiền xử lý ảnh Transformation. Mục đích của bước này là góp phần nâng cao hiệu quả của bước tiếp theo.
Có một vài hướng tiếp cận như: sử dụng một mạng nắn thẳng (thường gặp trong trường hợp chữ cong) hoặc loại bỏ đi nhiễu nền; * (2) Bước rút trích đặc trưng Feature extraction. - một mạng học sâu dùng để rút trích đặc trưng thị giác (thông thường đã được huấn luyện trước). Thường dùng nhất là mô hình CNN như VGG[25] hay ResNet[26]; tuy nhiên, trong những năm gần đây mô hình Transformer được ứng dụng cho các tác vụ thị giá máy tính như ViT [11], DeïT [27] đã được sử dụng để rút trích đặc trưng; + (3) Mô hình tuần tự Sequence modeling. Kí tự trong một từ của một ngôn ngữ thường liên hệ mật thiết với nhau.
Cho nên bước này sử dụng mạng hồi quy như RNN/LSTM giúp tạo ra mối liên hệ giữa các đặc trưng thị giác xa/gần (cũng chính là đặc trưng của từng kí tự). Vì thế, giai đoạn này giúp cải thiện độ ổn định cho bước dự đoán kết quả hơn. * và cuối cùng là (4) Giai đoạn dự đoán kết quả Pred., và theo như một vài SOTA hiện nay, bước này thường sử dụng mô hình CTC [28] hoặc cơ chế Attention[29] nổi bật nhất trong cả lĩnh vực Thị giác máy tính lẫn Ngôn ngữ tự nhiên. Cơ sở lý thuyết và các nghiên cứu liên quan Bước tiền sử lý ảnh: Để giải quyết bài toán nhận dạng văn bảng theo hướng cong, đã có các công trình như STAR-Net của Liu và đồng nghiệp [30], RARE [31] ASTER,[32] áp dung STN Spatial Transformer Network{8].
Cụ thể là mod- ule STN được dùng để chuyển đổi ảnh gốc 7 thành ảnh 7”. Cụ thể, bằng cách dự đoán một số điểm neo fiducial points sử dụng 1 mang CNN (Spatial Transform Networks) nắn thẳng văn bản cong thành dạng thẳng.