Chương 1 TỔNG QUAN BÀI TOÁN SINH ẢNH CHU VIET TAY 1.1 Đặt van đề Với sự phát triển của khoa học và công nghệ, đời sống của con người đã được cải thiện. Những công việc trước đây do chính con người làm nay đã được robot thay thế. Ví dụ như một số công việc nhà như rửa chén, lau nhà đều đã được xử lí tự động bằng máy. Về mặt giao thông, việc ùn tắc đường hay gặp những vật thể can trở giao thông là vấn dé bat kỳ ai tham gia giao thông cũng phải đối mặt, hiện nay đã có một số camera với sự hỗ trợ của trí tuệ nhân tạo hỗ trợ con người phát hiện những vật thể cản trở giao thông hoặc chỉ ra những tuyến đường không bị kẹt xe.
Một trong những ứng dụng luận văn hướng tới là việc máy tính có thể bắt chước được chữ viết con người dựa trên các ảnh mẫu chữ viết người đó. Ngoài ra, việc máy tính có thể sinh ra những ảnh chữ viết tay cũng là tiền để giúp phát triển các mô hình nhận dạng chữ viết tay. Bài toán nhận dạng chữ viết là một vấn đề lớn trong lĩnh vực thị giác máy tính đang được các nhà nghiên cứu quan tâm. Đối với bài toán nhận dạng chữ in thì các mô hình hiện nay đều cho những kết quả rất tốt phần lớn là vì dữ liệu chữ in rat đa dạng, hiện nay đã có một 1.
TONG QUAN số công cụ hỗ trợ việc gan nhãn tự động cho chữ in ở mức độ kí tu, từ hoặc cả câu. Nhưng đối với nhận dạng chữ viết tay thì lại là một vấn đề lớn, tuy mô hình nhận dang chữ viết tay đã cho những kết quả kha quan nhưng nó vẫn tổn tại một số nhược điểm. Một trong những nhược điểm chính của mô hình nhận dạng chữ viết tay đó là vấn đề về dữ liệu. Tương tự như chữ in, chữ người viết rất đa dạng, thậm chí đa dạng hơn nhiều so với chữ in.
Mỗi người đều có một phong cách viết riêng hay thậm chí một người còn có nhiều phong cách viết. Vì sự đa dạng của chữ viết tay, bài toán yêu cầu một lượng lớn dữ liệu chữ viết tay. Khác với chữ in, chữ viết tay hiện nay vẫn chưa có công cụ gán nhãn tự động nào, muốn thu thập dữ liệu chữ viết tay thì ta phải thu thập và gán nhãn một cách thủ công, việc thu thập thủ công như vậy rất tốn kém. Với sự phát triển của học sâu, một số mô hình sinh ảnh đã được áp dụng để tạo ra dữ liệu giả nhưng giống dữ liệu thật để phục vụ cho việc huấn luyện mô hình, đặc biệt dữ liệu về ảnh đã cho những kết quả khả quan không những cho ảnh chữ viết tay mà còn một số ảnh khác như ảnh người, động vật,.
Mô hình tạo sinh ảnh chữ viết tay theo phong cách cho trước giúp việc thu thập ảnh chữ viết tay đơn giản hơn. Các phương pháp trước đây vẫn còn gặp một số hạn chế như vẫn chưa bắt chước được phong cách viết hoặc là không thể sinh ảnh với những chữ dài. Với động lực là sự phát triển của transformer trong những năm gần đây, mô hình handwriting transformer đã áp dụng transformer giúp mô hình có thể giải quyết những vấn đề trên, dựa trên những kiến thức đã thu thập thì đây là mô hình sinh ảnh chữ viết tay đầu tiên sử dụng transformer. Kết quả đã cho thấy mô hình handwriting transformer[2] cho hiệu suất cao hơn các phương pháp trước.
TONG QUAN Style examples _HWT (Ours) GANwriting Thụ PROCESS hạs I0, TOd slow @C | No two @9op Con weike Precisely No two Per Gn worile plecise Herc Sirauss and last monly 6C W0 SA Way? jest ike NO tho Same Wey just Uke no two pepe atlacked Brita @c being Bf People (0n Nave +he TAM fingerprints Gr bave the Same (òt Thee MW Loud crier F shame’ fom | Á two rR com GHẾ AEG Ne dro pore Gay ốle precise| all p—% J2 He Congerpahue tide | the tame “22t 2224 Lhe no two same Hay jut Whe no two per§, tự; Yl appecrel by he w rR com have Ue tom 722092 San have Me Same {sgrp veld bee em Oe coc A| HỆ ¿. we ÿ ote Ñ jot Uke no tuo pep’ Mr: /a«keaL wenk 0W with the No two Perle can weibe pre—sel4y Úc fy Pople Gan borile precise conference gk Lanaster House the Íaue wort )“#F dike no two Same Way Just ike no two per despite Hee Crisif which had blown | people tau have the awe farsecprints Can have fhe Same Fiacery B Rea and A Ra so b. AS Vs Rico PAPE Com vula “pracsseRy Ne two peer ca» wre Precis BDIGHGDA yn Moga Ác LAL Ba Kawa word eG & X ume “y jua# Uke no two †enk ee a souk ÑV 9È PASE com rove ha Sawa Ñ« sọc Gy bave the Same uae Hình 1.1: Kết quả so sánh giữa mô hình transformer và GANwriting 1.2 Thách thức Các phương pháp trước đây sinh ảnh chữ viết tay dựa trên việc sử dụng các đặc trưng hữu ích đã được rút trích như là độ nghiêng, độ dày của chữ. Một trong những phương pháp đầu tiên sinh ảnh chữ viết tay dựa trên chuỗi đầu vào thông qua mô hình RNN như là LSTM hoặc GRU.
Tuy nhiên, phương pháp của họ có xu hướng trung bình hóa phong cách viết của mọi người dẫn tới việc không thể sinh ảnh theo phong cách cụ thể của một người. Gần đây, các hướng tiếp cận dựa trên GAN[4] đã được ra đời để sinh ảnh chữ viết tay. ScrabbleGAN[5] có thể sinh ra ảnh chữ viết tay mà con người có thể đọc được nhưng không thể bắt chước cụ thể phong cách của ai. Davis et al.[6] đề xuất giải pháp dựa trên StyleGAN[7], sinh ảnh chữ viết tay dựa trên phong cách ảnh và chuỗi nội dung đầu vào nhưng van đòi hỏi dữ liệu lớn.
Phương pháp GANwriting[1] cũng sinh 1. TONG QUAN anh dựa trên phong cách ảnh va chuỗi nội dung đầu vào nhưng với hướng tiếp cận few-shot. Nhược điểm chung của các hướng tiếp cận trước đây vẫn chưa bắt chước được phong cách một cách chính xác, đây cũng là thách thức chính của bài toán. Ngoài ra, vấn đề về dữ liệu cũng ảnh hưởng tới chất lượng của các mô hình trước đây vì dữ liệu ảnh chữ viết tay rất đa dạng đòi hỏi một lượng lớn dữ liệu.
Madeod " vy L tatent” Roden} "behina” Yelrvd "brilliantly" lún ~‹ H (b) Imagining OOV words | Le 0Qc petenti : the long text is abcdefghijklmnopq brilliantly k dhe Song text AS abcole {g-«)k®¬¬ep (a) Imitating síylesgE { (ce) Hallucinating long texts | Modeod Le Qo "Madeod" “hello” Beatin „: fl y “brilliantly” Hình 1.2: Khả năng bắt chước chữ viết tay của con người Khác với máy tính, con người có thể nhanh chóng học được cách bắt chước chữ viết tay dựa trên một số mẫu. Nói cách khác, sau khi con người học chữ viết tay một cách hạn chế, một người có thể hình dung các từ viết tay này sẽ trông như thé nào khi áp dụng phong cách viết này lên một nội dung bat ky. Hơn nữa, khi cung cấp hình ảnh chữ viết tay mà họ chưa từng nhìn thấy trước đây thì con người vẫn có thể hình dung ra được phong cách viết tương tự với nội dung hoàn toàn khác. Việc con người có thể hình dung được như vậy là vì có thể tìm thấy được mối liên hệ giữa nội dung và phong cách viết từ những mẫu được cung cấp.
TONG QUAN Nếu chúng ta có thể day máy tính bắt chước quá trình nay, chúng có thể có khả năng bắt chước chữ viết tay cũng như con người. Đây cũng là động lực để phát triển bài toán sinh ảnh chữ viết tay cho một số mô hình gần đây. Nhìn chung các phương pháp trước đây có thể bắt chước được phong cách toàn cục, nhưng về cục bộ thì vẫn chưa thể áp dụng được. Với sự phát triển của transformer[8] cho các bài toán về ngôn ngữ, mô hình đã áp dụng phương pháp transformer[8] với tên gọi handwriting transformer[2] đã ra đời để giải quyết về vấn đề bắt chước phong cách ảnh.
Ngoài ra, để đối phó với dữ liệu hạn chế, phương pháp đã sử dụng hướng tiếp cận few-shot tương tự như mô hình GANwriting[1].3 Pham vi và mục tiêu 1.1 Mục tiêu Nhóm tập trung giải quyết bài toán nhận sinh ảnh chữ viết tay theo phong cách như ảnh đầu vào. Để hoàn thành công việc, nhóm đã đề ra mục tiêu cụ thể sau: * Tìm hiểu tổng quan về máy học, một số khái niệm cơ bản trong máy học, học sâu. ¢ Khảo sát một số phương pháp sinh ảnh chữ viết tay tiên tiến nhất hiện này sử dụng phương pháp học sâu. s Phân tích nhược điểm của mô hình handwriting transformer[2] và dé xuất giải pháp khắc phục.
* Cài đặt, hiện thực, đánh giá kết quả của một số phương pháp trên tập dữ liệu tiếng Anh là IAM[3].2 Pham vi Trong khuôn khổ giới hạn của khóa luận, nhóm thực hiện tập trung hoàn thành các công việc sau: « Tìm hiểu và so sánh kiến trúc của hai mô hình GANwriting[1] và hand- writing transformer[2]. « Tập trung sinh ảnh chữ viết tay với ngôn ngữ tiếng Anh. s Thực hiện cài đặt giải pháp khắc phục cho mô hình handwriting transformer[2] « Tập trung thực hiện việc đánh giá các mô hình qua tập dữ liệu tiếng Anh.4 Đóng góp của khóa luận Sau đây là một số đóng góp mà nhóm thực hiện có được sau quá trình thực hiện khóa luận: « Tìm hiểu các hướng tiếp cận đối với bài toán sinh ảnh chữ viết tay theo phong cách cho trước. * Trình bày những kiến thức nền tảng về học sâu và áp dụng vào bài toán sinh ảnh chữ viết tay.
¢ Huấn luyện lại từ đầu hai mô hình GANwriting[1] và handwriting transformer[2]. * Cai đặt lai module transformer[8] trong mô hình handwriting transformer[2] nhắm cải tiên thời gian huân luyện của mô hình.5 Cấu trúc khóa luận Chương 1: Giới thiệu tổng quan đề tài. TONG QUAN Chương 2: Trinh bày các kiến thức cơ bản về Deep Learning như CNN, cơ chế atention, mô hình Transformer[8] và GAN[4]. Chương 3: Trình bày kiến trúc của hai mô hình GANwriting[1] và handwrit- ing transformer[2], phân tích ưu nhược điểm và cải tiền của mô hình handwriting transformer[2].
Chương 4: Trình bay cách đánh giá phương pháp trên bộ dữ liệu và kết qua so sánh giữa các phương pháp. Chương 6: Trình bày kết luận. Chương 2 CÁC KIÊN THỨC LIÊN QUAN CHO BÀI TOÁN SINH ANH CHU VIET TAY 2.1 Tổng quan Phần này sẽ tổng hợp những kiến thức liên quan được áp dụng trong bài toán. Gồm 4 phần chính: residual network[9], GAN[4], cơ chế attention và mô hình transformer[8].
Đầu tiên, residual network[9] sẽ được trình bày tổng quan về mô hình và giải pháp khắc phục vanishing gradient.