Khóa luận tốt nghiệp khoa học máy tính tạo sinh ảnh chữ viết tay theo một phong cách cho trước

Khóa luận trình bày phương pháp tạo sinh ảnh chữ viết tay theo phong cách cho trước, ứng dụng trong khoa học máy tính và thiết kế đồ họa.

• Tác giả: Le Cong Minh
• Người hướng dẫn: TS. Nguyễn Vinh Tiệp
• Trường học: Đại học Quốc gia Thành phố Hồ Chí Minh
• Chuyên ngành: Cử nhân ngành Khoa học Máy tính
• Đề tài: Sinh Anh Chữ Viết Tay: Phát Triển Mô Hình Generative Adversarial Network
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2022
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN BÀI TOÁN SINH ẢNH CHỮ VIẾT TAY
• 1.1. Đặt vấn đề
• 1.2. Thách thức
• 1.3. Phạm vi và mục tiêu
• 1.4. Đóng góp của khóa luận
• 1.5. Cấu trúc khóa luận
• 2. CHƯƠNG 2: CÁC KIẾN THỨC LIÊN QUAN CHO BÀI TOÁN SINH ẢNH CHỮ VIẾT TAY
• 2.1. Tổng quan
• 2.2. Mạng nơron tích chập
• 2.3. Kiến trúc mạng ResNet
• 2.4. Mạng đối nghịch tạo sinh
• 2.4.1. Condition Generative Adversarial Network
• 2.4.2. Cycle Generative Adversarial Network
• 2.5. Cơ chế attention
• 2.6. Mô hình sequence to sequence
• 2.7. Mô hình transformer
• 2.7.1. Tổng quan mô hình
• 2.7.2. Kiến trúc mô hình
• 2.7.3. Chi tiết cách hoạt động
• 3. CHƯƠNG 3: CÁC HƯỚNG TIẾP CẬN CHO BÀI TOÁN SINH ẢNH CHỮ VIẾT TAY
• 3.1. Tổng quan
• 3.2. Các phương pháp trước đây
• 3.3. Thuật toán huấn luyện mô hình
• 3.4. Nhược điểm mô hình handwriting transformer
• 3.5. Mô hình handwriting transformer
• 3.5.1. Tổng quan mô hình
• 3.5.2. Kiến trúc mô hình
• 3.5.3. Cải tiến mô hình handwriting transformer
• 3.5.4. Multihead Attention Transformer
• 3.5.5. Deformable Convolution Network
• 3.5.6. Multi-scale Deformable Attention
• 4. CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 4.1. Tổng quan
• 4.2. Mô hình handwriting transformer
• 4.3. Mô hình handwriting transformer không hàm độ lỗi cycle
• 4.4. Mô hình áp dụng deformable transformer không hàm độ lỗi cycle
• 4.5. So sánh các mô hình
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.1. Kết luận
• 5.2. Hướng phát triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Sinh Anh Chữ Viết Tay Bằng Mô Hình GAN

Sinh anh chữ viết tay là một lĩnh vực đang thu hút sự chú ý trong nghiên cứu học sâu. Mô hình Generative Adversarial Network (GAN) đã được áp dụng để tạo ra các hình ảnh chữ viết tay với phong cách đa dạng. Việc sử dụng GAN giúp giảm thiểu chi phí thu thập dữ liệu và tạo ra các mẫu chữ viết tay tự động. Nghiên cứu này không chỉ giúp cải thiện khả năng nhận dạng chữ viết tay mà còn mở ra nhiều ứng dụng trong các lĩnh vực khác nhau như giáo dục và nghệ thuật.

1.1. Ứng Dụng Của Sinh Anh Chữ Viết Tay Trong Thực Tiễn

Sinh anh chữ viết tay có thể được ứng dụng trong nhiều lĩnh vực như tự động hóa văn bản, tạo nội dung cho trò chơi, và hỗ trợ trong việc học tập. Các mô hình như GANwriting đã cho thấy khả năng tạo ra chữ viết tay giống như thật, giúp tiết kiệm thời gian và chi phí cho các nhà phát triển.

1.2. Lịch Sử Phát Triển Của Mô Hình GAN Trong Sinh Anh Chữ Viết Tay

Mô hình GAN được giới thiệu lần đầu tiên vào năm 2014 và đã nhanh chóng trở thành một công cụ mạnh mẽ trong việc sinh dữ liệu. Trong lĩnh vực chữ viết tay, các nghiên cứu đã chỉ ra rằng GAN có thể tạo ra các mẫu chữ viết tay với độ chính xác cao, mở ra hướng đi mới cho việc phát triển các ứng dụng nhận dạng chữ viết tay.

II. Thách Thức Trong Sinh Anh Chữ Viết Tay Bằng Mô Hình GAN

Mặc dù mô hình GAN đã mang lại nhiều tiến bộ trong việc sinh anh chữ viết tay, nhưng vẫn còn nhiều thách thức cần phải vượt qua. Một trong những vấn đề chính là sự đa dạng của chữ viết tay, yêu cầu một lượng lớn dữ liệu để huấn luyện. Ngoài ra, việc bắt chước phong cách viết tay cụ thể của từng cá nhân cũng là một thách thức lớn.

2.1. Vấn Đề Về Dữ Liệu Trong Huấn Luyện Mô Hình

Dữ liệu chữ viết tay rất đa dạng và khó thu thập. Việc gán nhãn dữ liệu chữ viết tay thường tốn kém và mất thời gian. Điều này dẫn đến việc các mô hình GAN thường gặp khó khăn trong việc học và tổng quát hóa từ dữ liệu huấn luyện.

2.2. Khó Khăn Trong Việc Bắt Chước Phong Cách Viết Tay

Mô hình GAN thường gặp khó khăn trong việc bắt chước phong cách viết tay của từng cá nhân. Các phương pháp hiện tại chưa thể tạo ra chữ viết tay với phong cách cụ thể mà vẫn giữ được tính tự nhiên và độ chính xác cao.

III. Phương Pháp Sinh Anh Chữ Viết Tay Bằng GANwriting

Mô hình GANwriting là một trong những phương pháp tiên tiến nhất hiện nay trong việc sinh anh chữ viết tay. Mô hình này sử dụng kiến trúc GAN để tạo ra chữ viết tay dựa trên phong cách cho trước. Việc áp dụng GANwriting giúp cải thiện đáng kể chất lượng hình ảnh chữ viết tay được sinh ra.

3.1. Cấu Trúc Của Mô Hình GANwriting

Mô hình GANwriting bao gồm hai thành phần chính: mạng sinh và mạng phân biệt. Mạng sinh tạo ra hình ảnh chữ viết tay, trong khi mạng phân biệt đánh giá tính xác thực của hình ảnh đó. Sự cạnh tranh giữa hai mạng này giúp cải thiện chất lượng hình ảnh sinh ra.

3.2. Quy Trình Huấn Luyện Mô Hình GANwriting

Quy trình huấn luyện mô hình GANwriting bao gồm việc sử dụng một tập dữ liệu lớn các hình ảnh chữ viết tay. Mô hình được huấn luyện để tối ưu hóa khả năng sinh ra hình ảnh chữ viết tay giống như thật, đồng thời giảm thiểu lỗi trong quá trình sinh.

IV. Ứng Dụng Của Mô Hình GANwriting Trong Thực Tiễn

Mô hình GANwriting không chỉ có tiềm năng trong nghiên cứu mà còn có nhiều ứng dụng thực tiễn. Các ứng dụng này bao gồm việc tạo ra chữ viết tay cho các tài liệu, hỗ trợ trong việc học tập và giáo dục, cũng như trong các lĩnh vực nghệ thuật và thiết kế.

4.1. Tạo Nội Dung Chữ Viết Tay Tự Động

Mô hình GANwriting có thể được sử dụng để tạo ra nội dung chữ viết tay tự động cho các tài liệu, giúp tiết kiệm thời gian và công sức cho người dùng. Điều này đặc biệt hữu ích trong các lĩnh vực như giáo dục và truyền thông.

4.2. Hỗ Trợ Trong Việc Học Tập

Việc sử dụng mô hình GANwriting trong giáo dục có thể giúp học sinh và sinh viên học cách viết chữ tay một cách tự nhiên hơn. Mô hình có thể tạo ra các ví dụ chữ viết tay cho học sinh thực hành, từ đó nâng cao kỹ năng viết của họ.

V. Kết Luận Và Hướng Phát Triển Tương Lai Của Sinh Anh Chữ Viết Tay

Sinh anh chữ viết tay bằng mô hình GAN là một lĩnh vực đầy tiềm năng với nhiều ứng dụng thực tiễn. Mặc dù còn nhiều thách thức, nhưng với sự phát triển không ngừng của công nghệ học sâu, tương lai của lĩnh vực này hứa hẹn sẽ mang lại nhiều tiến bộ đáng kể.

5.1. Tương Lai Của Mô Hình GAN Trong Sinh Anh Chữ Viết Tay

Với sự phát triển của các mô hình học sâu, mô hình GAN có thể được cải tiến để tạo ra chữ viết tay với độ chính xác cao hơn. Các nghiên cứu trong tương lai có thể tập trung vào việc cải thiện khả năng tổng quát của mô hình và giảm thiểu yêu cầu về dữ liệu.

5.2. Hướng Nghiên Cứu Mới Trong Lĩnh Vực Sinh Anh Chữ Viết Tay

Các hướng nghiên cứu mới có thể bao gồm việc áp dụng các kỹ thuật học sâu tiên tiến hơn như Học Sâu và Mạng Nơ-ron để cải thiện khả năng sinh chữ viết tay. Điều này có thể mở ra nhiều cơ hội mới trong việc phát triển các ứng dụng thực tiễn.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong thị giác máy tính và học sâu, các hệ thống nhận dạng ký tự quang học đóng vai trò quan trọng đối với quá trình số hóa tài liệu. Khác với văn bản in vốn có cấu trúc đồng nhất và được hỗ trợ bởi nhiều công cụ gán nhãn tự động, văn bản chữ viết tay có độ biến thiên rất cao. Mỗi cá nhân sở hữu phong cách viết riêng biệt, thậm chí cùng một cá nhân cũng có thể thay đổi phong cách tùy thuộc vào ngữ cảnh và thời điểm. Rào cản lớn nhất của bài toán nhận dạng và phân tích chữ viết tay là sự thiếu hụt dữ liệu huấn luyện; công tác thu thập mẫu viết tay và gán nhãn thủ công ở cấp độ ký tự, từ hoặc câu đòi hỏi chi phí rất tốn kém và mất nhiều thời gian. Nhằm giải quyết điểm nghẽn này, bài toán tổng hợp và tạo sinh ảnh chữ viết tay nhân tạo được đặt ra như một giải pháp cung cấp dữ liệu huấn luyện thay thế.

Các phương pháp sinh ảnh truyền thống trước đây chủ yếu dựa vào việc trích xuất các đặc trưng hình thái học như độ nghiêng, độ dày của nét chữ hoặc sử dụng mạng hồi quy (RNN, LSTM, GRU) từ chuỗi văn bản đầu vào. Tuy nhiên, các kỹ thuật này có xu hướng trung bình hóa đặc trưng của nhiều người viết, dẫn đến việc không thể tái tạo chính xác kiểu chữ của một cá nhân cụ thể. Những nghiên cứu sau đó dựa trên Mạng đối nghịch tạo sinh (Generative Adversarial Networks - GAN) như ScrabbleGAN có thể sinh chữ đọc được nhưng không bắt chước được phong cách riêng; giải pháp phát triển từ StyleGAN thì lại phụ thuộc vào tập dữ liệu lớn. Đối với mô hình GANwriting, tuy tiếp cận theo hướng học ít mẫu (few-shot learning) nhưng chất lượng chữ sinh ra khi độ dài chuỗi ký tự tăng lên vẫn còn hạn chế. Sự xuất hiện của mô hình Handwriting Transformers (HWT) đã giải quyết một phần việc học đặc trưng cục bộ bằng cơ chế chú ý (attention), nhưng thời gian huấn luyện và độ phức tạp tính toán vẫn là thách thức lớn.

Mục tiêu cụ thể của khóa luận bao gồm:

1. Tìm hiểu tổng quan về máy học, học sâu và các kiến thức nền tảng liên quan đến xử lý ảnh chữ viết tay.
2. Khảo sát các mô hình tiên tiến nhất hiện nay cho bài toán sinh ảnh chữ viết tay theo phong cách cho trước, đặc biệt là các mô hình tiếp cận theo hướng few-shot.
3. Huấn luyện lại từ đầu và đánh giá thực nghiệm hai mô hình cơ sở là GANwriting và Handwriting Transformers trên tập dữ liệu tiếng Anh IAM.
4. Phân tích nhược điểm về thời gian huấn luyện và độ phức tạp của mô hình Handwriting Transformers, từ đó đề xuất giải pháp cải tiến bằng cách điều chỉnh hàm độ lỗi và tích hợp cơ chế Deformable Transformer.
5. Xây dựng ứng dụng web minh họa trực quan quy trình sinh ảnh chữ viết tay từ chuỗi nội dung văn bản và ảnh phong cách mẫu.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Kỹ thuật tạo sinh ảnh chữ viết tay mô phỏng theo phong cách của một người viết cụ thể dựa trên một vài ảnh mẫu (few-shot handwriting image generation).
• Phạm vi dữ liệu và ngôn ngữ: Nghiên cứu tập trung vào hệ chữ cái Latinh với ngôn ngữ tiếng Anh, sử dụng bộ dữ liệu chuẩn học thuật IAM.
• Phạm vi mô hình: Tập trung khảo sát, so sánh và cải tiến kiến trúc của hai mô hình GANwriting và Handwriting Transformers.

Cơ sở lý thuyết và phương pháp

Khóa luận xây dựng cơ sở lý thuyết dựa trên các kiến trúc học sâu kinh điển và hiện đại áp dụng trong xử lý ngôn ngữ tự nhiên và thị giác máy tính:

• Mạng nơ-ron tích chập (Convolutional Neural Networks - CNN): Sử dụng các lớp tích chập (convolution layer) với các bộ lọc kích thước nhỏ (3x3, 5x5) để trích xuất bản đồ đặc trưng (feature map), kết hợp các hàm kích hoạt phi tuyến tính (Sigmoid, ReLU) nhằm khắc phục vấn đề phi tuyến và lớp lấy mẫu gộp (Max Pooling, Average Pooling) để giảm kích thước tính toán, tăng tính bất biến không gian. Kỹ thuật chuẩn hóa đặc trưng (Batch Normalization, Adaptive Instance Normalization) được sử dụng để ổn định quá trình lan truyền ngược.
• Mạng phần dư (Residual Networks - ResNet): Khắc phục hiện tượng suy giảm đạo hàm (vanishing gradient) khi tăng chiều sâu mạng thông qua cơ chế kết nối tắt đồng nhất (shortcut/skip connection), tạo thành các khối residual block giúp bảo toàn thông tin gốc qua nhiều tầng xử lý.
• Mạng đối nghịch tạo sinh (GAN): Kiến trúc gồm mạng tạo sinh (Generator) học cách phân phối dữ liệu giả nhằm đánh lừa mạng phân định, và mạng phân định (Discriminator) học cách phân biệt dữ liệu thật với dữ liệu nhân tạo. Các biến thể bao gồm:
  • Conditional GAN (cGAN): Bổ sung thông tin điều kiện (nhãn hoặc ảnh đầu vào) để định hướng dữ liệu đầu ra theo mong muốn.
  • Pix2Pix: Mô hình cGAN chuyển đổi ảnh sang ảnh có giám sát với các cặp dữ liệu tương ứng, kết hợp hàm mất mát đối nghịch và hàm mất mát khoảng cách L1.
  • CycleGAN: Cơ chế sinh ảnh qua lại giữa hai miền dữ liệu không cần bắt cặp nhờ bổ sung hàm độ lỗi chu trình (cycle consistency loss) dựa trên chuẩn L1.
• Cơ chế Attention và mô hình Sequence-to-Sequence: Khắc phục nhược điểm mất mát thông tin khi nén chuỗi vào một vector ngữ cảnh tĩnh của mô hình RNN/LSTM bằng cách tính toán điểm tương quan (alignment score) giữa trạng thái ẩn của bộ mã hóa (encoder) và bộ giải mã (decoder).
• Mô hình Transformer: Thay thế hoàn toàn cấu trúc mạng hồi quy bằng cơ chế tự chú ý (Self-Attention) và chú ý đa nhánh (Multihead Attention), cho phép xử lý song song trên phần cứng tính toán (GPU). Các vector truy vấn (Query), khóa (Key) và giá trị (Value) được chuẩn hóa theo tích vô hướng để tính toán trọng số tương quan giữa các phần tử trong chuỗi.
• Kỹ thuật Deformable Convolution Network (DCN) và Multi-scale Deformable Attention: Giải pháp điều chỉnh vùng lấy mẫu linh hoạt thay vì cố định trên lưới vuông, giúp tập trung vào các điểm đặc trưng biến dạng cục bộ của nét chữ viết tay và giảm bớt chi phí tính toán bản đồ chú ý.

Phương pháp nghiên cứu thực nghiệm:

• Huấn luyện mô hình từ đầu (train from scratch) trên cùng điều kiện phần cứng với bộ dữ liệu chuẩn.
• Đánh giá chất lượng ảnh sinh ra bằng thước đo định lượng Frechet Inception Distance (FID) để đo lường khoảng cách phân phối giữa tập ảnh nhân tạo và tập ảnh thực tế.
• Đo đạc thời gian thực thi (execution time) nhằm phân tích hiệu năng tính toán giữa các biến thể kiến trúc.

Nguồn dữ liệu:

• Bộ dữ liệu tiếng Anh IAM (IAM Handwriting Database): Tập dữ liệu tiêu chuẩn bao gồm các mẫu biểu mẫu, dòng chữ và từ viết tay tiếng Anh của nhiều người viết khác nhau, được phân chia thành các tập huấn luyện và tập kiểm thử phục vụ bài toán few-shot learning.

Thiết kế và triển khai

Căn cứ trên các hạn chế của Handwriting Transformers (HWT), tác giả thực hiện thiết kế lại luồng xử lý và kiến trúc mô đun tạo sinh với các thành phần kỹ thuật cụ thể:

1. Kiến trúc cải tiến mô hình tạo sinh

• Khối trích xuất phong cách (Style Encoder): Sử dụng kiến trúc CNN kết hợp các khối residual để trích xuất vector đặc trưng phong cách từ một nhóm nhỏ các ảnh mẫu (few-shot samples) của cùng một người viết.
• Khối trích xuất nội dung (Content Encoder): Mã hóa chuỗi ký tự đầu vào thành các biểu diễn vector ngữ nghĩa.
• Khối biến đổi kết hợp phong cách - nội dung (Transformer Decoder):
  • Thay thế các khối Multihead Attention tiêu chuẩn bằng mô đun Multi-scale Deformable Attention. Cơ chế này chỉ tập trung tính toán trọng số chú ý tại một số vị trí lấy mẫu linh hoạt trên bản đồ đặc trưng đa tỷ lệ, giảm tải chi phí bộ nhớ so với việc quét toàn bộ ma trận tích vô hướng.
  • Loại bỏ thành phần hàm độ lỗi chu trình (cycle consistency loss) trong quá trình huấn luyện: Phân tích thực nghiệm cho thấy việc duy trì nhánh tái tạo ngược (nguyên lý của CycleGAN) làm tăng đáng kể thời gian tính toán và tiêu tốn bộ nhớ GPU, trong khi việc tối ưu hóa hàm đối nghịch kết hợp hàm mất mát L1 và hàm nhận dạng ký tự vẫn đảm bảo độ sắc nét của từ viết.
• Khối sinh ảnh (Generator): Tổng hợp các đặc trưng đầu ra của Deformable Transformer để tái tạo hình ảnh từ viết tay tương ứng với độ phân giải mục tiêu.

2. Mô hình phân định và nhận dạng hỗ trợ

• Mạng phân định (Discriminator): Kiểm tra tính chân thực của ảnh chữ viết tay sinh ra so với ảnh thực tế trong bộ dữ liệu IAM.
• Mạng nhận dạng chữ viết tay (Handwriting Recognition Network): Đóng vai trò giám sát ngữ nghĩa, đảm bảo từ sinh ra phải đọc được chính xác nội dung ký tự đã yêu cầu.

3. Triển khai ứng dụng web minh họa

Nhằm thực nghiệm hóa kết quả nghiên cứu, tác giả xây dựng một giao diện ứng dụng web cho phép người dùng:

• Tải lên một số ảnh mẫu chữ viết tay đại diện cho phong cách cần mô phỏng.
• Nhập chuỗi văn bản ký tự tiếng Anh tùy ý (bao gồm từ đơn hoặc các đoạn văn bản dài).
• Lựa chọn mô hình suy diễn (GANwriting, HWT gốc, HWT không cycle loss hoặc Deformable Transformer không cycle loss).
• Kết xuất và hiển thị trực quan ảnh chữ viết tay kết quả ngay trên giao diện web.

Nội dung chính theo từng chương

Chương 1: Tổng quan bài toán sinh ảnh chữ viết tay

Chương này mở đầu bằng việc giới thiệu bối cảnh tự động hóa trong kỷ nguyên trí tuệ nhân tạo và vai trò của bài toán sinh ảnh đối với việc hỗ trợ nhận dạng chữ viết tay. Tác giả phân tích điểm nghẽn về dữ liệu: việc gán nhãn chữ viết tay đòi hỏi thao tác thủ công tốn kém do phong cách viết của mỗi cá nhân quá đa dạng. Tác giả chỉ ra thách thức chính của các nghiên cứu trước đây (như RNN, ScrabbleGAN, GANwriting) là chưa học được phong cách cục bộ và gặp khó khăn khi sinh chuỗi ký tự dài hoặc từ chưa từng thấy (Out-Of-Vocabulary - OOV). Chương 1 thiết lập mục tiêu, phạm vi nghiên cứu xoay quanh tập dữ liệu IAM và mô hình học ít mẫu, đồng thời phác thảo 4 đóng góp chính và bố cục toàn khóa luận.

Chương 2: Các kiến thức liên quan cho bài toán sinh ảnh chữ viết tay

Chương 2 trình bày chi tiết các nền tảng toán học và kiến trúc học sâu được ứng dụng trong nghiên cứu:

• Mạng CNN và mạng ResNet: Mô tả cấu trúc lớp tích chập, các hàm kích hoạt Sigmoid, ReLU, các lớp pooling, kỹ thuật chuẩn hóa, phân tích hiện tượng vanishing gradient và cấu trúc residual block giải quyết vấn đề bão hòa hiệu suất ở mạng nơ-ron sâu.
• Mạng GAN và các biến thể: Phân tích cơ chế hoạt động đối kháng giữa Generator và Discriminator; trình bày cGAN, Pix2Pix và CycleGAN với trọng tâm là hàm độ lỗi chu trình L1 (cycle loss) dùng cho dữ liệu không bắt cặp.
• Cơ chế Attention và mô hình Sequence-to-Sequence: Phân tích hạn chế của kiến trúc nén vector ngữ cảnh cố định và nguyên lý alignment score của Bahdanau.
• Mô hình Transformer: Phân tích chi tiết kiến trúc encoder - decoder trong bài báo gốc "Attention Is All You Need", cách xử lý chuỗi đầu vào (embedding), các bước tính toán Self-Attention (Query, Key, Value, phép chia hệ số căn bậc hai chiều vector nhằm ổn định đạo hàm, hàm softmax) và cơ chế Multihead Attention giúp mô hình nắm bắt thông tin ở nhiều không gian con biểu diễn.

Chương 3: Các hướng tiếp cận cho bài toán sinh ảnh chữ viết tay

Chương 3 đi sâu vào các giải pháp chuyên biệt cho bài toán sinh ảnh chữ viết tay:

• Khảo sát các kỹ thuật trước đây: Phân biệt dạng dữ liệu offline và online; phân tích cơ chế của ScrabbleGAN và StyleGAN.
• Kiến trúc GANwriting: Trình bày chi tiết luồng xử lý few-shot, kiến trúc mạng nhận dạng đi kèm, thuật toán huấn luyện và phân tích nhược điểm khi sinh văn bản có độ dài từ 7 ký tự trở lên.
• Mô hình Handwriting Transformers (HWT): Khảo sát kiến trúc mô hình sinh ảnh chữ viết tay đầu tiên ứng dụng Transformer; chỉ ra ưu điểm vượt trội trong việc học phong cách so với GANwriting.
• Đề xuất cải tiến mô hình HWT: Phân tích nhược điểm về gánh nặng tính toán của self-attention toàn cục và hàm độ lỗi cycle; giới thiệu giải pháp tích hợp mạng Deformable Convolutional Network (DCN) và cơ chế Multi-scale Deformable Attention để tối ưu hóa không gian chú ý dựa trên biến dạng thực tế của nét chữ.

Chương 4: Thực nghiệm và đánh giá

Chương 4 là phần nội dung thực nghiệm so sánh các mô hình trên bộ dữ liệu tiếng Anh IAM:

• Thiết lập thực nghiệm: Chi tiết cách chia tập dữ liệu huấn luyện/kiểm thử trên IAM; giới thiệu thước đo FID dựa trên phân phối chuẩn nhiều chiều 2D Gaussian để so sánh sự tương đồng giữa ảnh sinh ra và ảnh gốc.
• Kết quả huấn luyện các mô hình:
  • Khảo sát mô hình GANwriting với các trường hợp: phong cách có trong tập huấn luyện, phong cách không có trong tập huấn luyện, và sinh các từ dài trên 7 ký tự ("fantastic", "powerful", "arrange", "dictionary", "fabulous",...).
  • Đánh giá mô hình Handwriting Transformers nguyên bản.
  • Đánh giá mô hình Handwriting Transformers khi loại bỏ hàm độ lỗi cycle (chứng minh việc bỏ cycle loss không làm suy giảm chất lượng ảnh đáng kể nhưng rút ngắn thời gian huấn luyện).
  • Đánh giá mô hình cải tiến Deformable Transformer không có hàm độ lỗi cycle.
• So sánh tổng hợp: Phân tích trực quan chất lượng nét chữ qua các câu dài (ví dụ các câu về "Backstreet Boys", "Doctor Stephen Vincent Strange", "Adam Noah Levine", "Tony Stark", "Peter Parker", "League of Legends") và tổng hợp các bảng thông số về độ đo FID cùng thời gian thực thi giữa các mô hình.

Chương 5: Kết luận và hướng phát triển

Chương cuối tóm tắt toàn bộ kết quả đạt được: việc nghiên cứu, cài đặt lại hai mô hình nền tảng GANwriting và HWT, đề xuất cải tiến mô-đun chú ý biến dạng kết hợp tinh giản hàm mất mát, và xây dựng bản demo web. Đồng thời, tác giả nêu các định hướng nghiên cứu tiếp theo để hoàn thiện bài toán sinh ảnh chữ viết tay.

Kết quả và đóng góp

Khóa luận đã hoàn thành các nội dung thực nghiệm và đạt được các kết quả cụ thể:

1. Tổng hợp kết quả định lượng và so sánh hiệu năng

Dựa trên các bảng thống kê thực nghiệm của khóa luận (Bảng 4.6, 4.7, 4.8), kết quả đo lường chất lượng tạo sinh và hiệu suất tính toán giữa các mô hình trên bộ dữ liệu IAM được tổng hợp như sau:

Tiêu chí so sánh	Mô hình GANwriting	Mô hình Handwriting Transformers (gốc)	Handwriting Transformers (không cycle loss)	Deformable Transformers (không cycle loss)
Cơ chế chú ý cốt lõi	Không áp dụng	Self-Attention chuẩn	Self-Attention chuẩn	Multi-scale Deformable Attention
Hàm độ lỗi chu trình (Cycle loss)	Không	Có	Đã loại bỏ	Đã loại bỏ
Chất lượng hình thái nét chữ	Dễ biến dạng ở từ dài (>7 ký tự)	Nét chữ rõ, bám sát phong cách	Tương đương mô hình gốc	Tự nhiên, nét chữ liên tục
Điểm số FID	Cao hơn (kém hơn)	Thấp (chất lượng tốt)	Tương đương mô hình gốc	Đạt mức tối ưu trong thử nghiệm
Thời gian thực thi / Huấn luyện	Tương đối nhanh	Chậm, tốn bộ nhớ GPU	Giảm đáng kể so với bản gốc	Tối ưu hóa thời gian tính toán

2. Đóng góp khoa học và kỹ thuật

• Hệ thống hóa toàn diện cơ sở lý thuyết về ứng dụng mạng đối nghịch tạo sinh (cGAN, Pix2Pix, CycleGAN) và mô hình Transformer (Self-Attention, Multihead Attention) trong xử lý hình ảnh chữ viết tay.
• Thực hiện huấn luyện lại thành công hai mô hình đại diện cho hai hướng tiếp cận tiên tiến: GANwriting (tiếp cận theo GAN thuần túy) và Handwriting Transformers (kết hợp Attention).
• Chứng minh bằng thực nghiệm: Việc loại bỏ hàm độ lỗi cycle trong Handwriting Transformers giúp tiết kiệm đáng kể tài nguyên tính toán và thời gian huấn luyện mà vẫn duy trì được độ đo FID ở mức tương đương.
• Đề xuất áp dụng thành công Multi-scale Deformable Attention vào kiến trúc Transformer giúp mô hình tập trung vào các điểm lấy mẫu đặc trưng quanh nét viết, giảm độ phức tạp tính toán của cơ chế self-attention truyền thống.
• Đóng góp sản phẩm thực nghiệm: Triển khai một ứng dụng web hoàn chỉnh cho phép tạo sinh ảnh chữ viết tay trực quan từ phong cách ảnh đầu vào bất kỳ.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của khóa luận:

• Phạm vi ngôn ngữ: Nghiên cứu mới chỉ tập trung thực nghiệm trên bảng chữ cái tiếng Anh thông qua bộ dữ liệu IAM, chưa mở rộng sang các ngôn ngữ có dấu thanh phức tạp như tiếng Việt.
• Độ phân giải ảnh đầu ra: Quá trình tạo sinh chủ yếu tập trung vào các đoạn văn bản ngắn hoặc dòng chữ đơn lẻ; đối với các trang tài liệu đầy đủ có độ phân giải cao và cấu trúc canh lề phức tạp, mô hình vẫn có thể gặp hiện tượng mất tính nhất quán về khoảng cách giữa các dòng.
• Số lượng mẫu phong cách đầu vào: Tuy tiếp cận theo hướng few-shot, nhưng nếu các ảnh phong cách mẫu cung cấp có chất lượng kém, bị nhòe hoặc quá ít nét đặc trưng đại diện, chất lượng chữ sinh ra vẫn chịu ảnh hưởng tiêu cực.

Hướng nghiên cứu tiếp theo:

• Mở rộng kiến trúc để hỗ trợ việc tạo sinh chữ viết tay tiếng Việt, xử lý các thách thức đặc thù về dấu thanh và các ký tự ghép.
• Tích hợp thêm các bộ lọc hậu xử lý hình ảnh nhằm nâng cao độ sắc nét và độ phân giải của văn bản kết xuất.
• Nghiên cứu cơ chế mô phỏng chữ viết tay ở cấp độ đoạn văn bản hoàn chỉnh (paragraph-level), bao gồm cả việc tự động mô phỏng độ nghiêng của dòng kẻ và khoảng cách ngẫu nhiên giữa các từ để tăng tính tự nhiên.

Giá trị tham khảo

Báo cáo khóa luận là tài liệu tham khảo hữu ích cho:

• Sinh viên và học viên chuyên ngành Khoa học Máy tính, Trí tuệ Nhân tạo, Công nghệ Thông tin đang thực hiện đề tài về Thị giác máy tính, Xử lý ảnh tài liệu (Document Image Processing) hoặc Mạng tạo sinh (Generative AI).
• Các nhà nghiên cứu và kỹ sư cần tài liệu tham khảo chi tiết về cách chuyển dịch kiến trúc Transformer từ xử lý ngôn ngữ tự nhiên sang mô hình tạo sinh trong thị giác máy tính.
• Các nhóm nghiên cứu bài toán Nhận dạng chữ viết tay (Handwriting Recognition): Có thể sử dụng phương pháp sinh ảnh trong khóa luận này như một công cụ tăng cường dữ liệu tự động (data augmentation) cho các mô hình OCR ít mẫu.
• Phần đáng tham khảo nhất trong khóa luận là Chương 2 (phần phân tích toán học và cấu trúc ma trận của Self-Attention, Multihead Attention) và Chương 3 (phần phân tích kiến trúc chi tiết của GANwriting, Handwriting Transformers và giải pháp thay thế bằng Deformable Transformer).

Câu hỏi thường gặp

1. Khóa luận giải quyết bài toán gì và sử dụng hướng tiếp cận nào?
Khóa luận giải quyết bài toán sinh ảnh chữ viết tay theo một phong cách cho trước (Handwriting Image Generation with a Given Style) từ chuỗi văn bản ký tự đầu vào. Hướng tiếp cận được sử dụng là học ít mẫu (few-shot learning), cho phép mô hình học và tái tạo phong cách của một người viết cụ thể chỉ từ một vài ảnh mẫu mà không cần huấn luyện lại toàn bộ mạng.

2. Nhược điểm chính của mô hình GANwriting được chỉ ra trong khóa luận là gì?
Trong các thử nghiệm ở Chương 4, mô hình GANwriting bộc lộ nhược điểm lớn khi sinh ra các từ có độ dài từ 7 ký tự trở lên (như "fantastic", "powerful", "arrange", "dictionary"). Các ký tự ở phần sau của từ thường bị méo mó, mất nét hoặc không giữ được tính nhất quán về phong cách so với các ký tự đầu.

3. Tại sao tác giả lại đề xuất loại bỏ hàm độ lỗi cycle (cycle consistency loss) khỏi Handwriting Transformers?
Mặc dù hàm độ lỗi cycle (kế thừa từ kiến trúc CycleGAN) giúp so sánh độ tương đồng giữa ảnh tái tạo ngược và ảnh gốc qua chuẩn L1, nhưng nó đòi hỏi mô hình phải duy trì thêm luồng xử lý đối nghịch thứ hai. Thực nghiệm của tác giả (Mục 4.3 và 4.5) cho thấy việc loại bỏ hàm này giúp giảm đáng kể thời gian huấn luyện và gánh nặng bộ nhớ GPU trong khi chỉ số FID và chất lượng thị giác của ảnh chữ viết tay sinh ra không bị suy giảm đáng kể.

4. Đóng góp kỹ thuật chính của cơ chế Deformable Transformer trong khóa luận là gì?
Cơ chế chú ý biến dạng đa tỷ lệ (Multi-scale Deformable Attention) thay thế cho Self-Attention toàn cục, cho phép mô hình chỉ tập trung tính toán trọng số chú ý tại một tập hợp nhỏ các điểm lấy mẫu linh hoạt xung quanh nét chữ. Điều này giúp mô hình thích ứng tốt hơn với sự uốn lượn, biến dạng hình học của nét chữ viết tay và tối ưu hóa thời gian xử lý khi làm việc với bản đồ đặc trưng đa tỷ lệ.

5. Khóa luận sử dụng bộ dữ liệu và thang đo nào để đánh giá thực nghiệm?
Khóa luận sử dụng bộ dữ liệu chuẩn tiếng Anh IAM (IAM Handwriting Database) để chia tập huấn luyện và kiểm thử. Thước đo định lượng chính được sử dụng để đánh giá chất lượng ảnh sinh ra là Frechet Inception Distance (FID), kết hợp với việc so sánh thời gian thực thi (execution time) giữa các mô hình.

Kết luận

Khóa luận tốt nghiệp của sinh viên Lê Công Minh đã hoàn thành toàn diện mục tiêu nghiên cứu bài toán sinh ảnh chữ viết tay theo phong cách cho trước theo hướng tiếp cận học ít mẫu. Tác giả đã phân tích sâu sắc các hạn chế của những mô hình tiên tiến như GANwriting và Handwriting Transformers, từ đó đề xuất thành công giải pháp loại bỏ hàm độ lỗi cycle kết hợp tích hợp mô-đun Deformable Transformer nhằm tối ưu hóa thời gian thực thi và chất lượng tạo sinh. Toàn bộ các đề xuất lý thuyết đều được chứng minh qua thực nghiệm định lượng trên bộ dữ liệu IAM và được cụ thể hóa thông qua một ứng dụng web minh họa hoàn chỉnh.

Trích đoạn nội dung tài liệu

Chương 1 TỔNG QUAN BÀI TOÁN SINH ẢNH CHU VIET TAY 1.1 Đặt van đề Với sự phát triển của khoa học và công nghệ, đời sống của con người đã được cải thiện. Những công việc trước đây do chính con người làm nay đã được robot thay thế. Ví dụ như một số công việc nhà như rửa chén, lau nhà đều đã được xử lí tự động bằng máy. Về mặt giao thông, việc ùn tắc đường hay gặp những vật thể can trở giao thông là vấn dé bat kỳ ai tham gia giao thông cũng phải đối mặt, hiện nay đã có một số camera với sự hỗ trợ của trí tuệ nhân tạo hỗ trợ con người phát hiện những vật thể cản trở giao thông hoặc chỉ ra những tuyến đường không bị kẹt xe.

Một trong những ứng dụng luận văn hướng tới là việc máy tính có thể bắt chước được chữ viết con người dựa trên các ảnh mẫu chữ viết người đó. Ngoài ra, việc máy tính có thể sinh ra những ảnh chữ viết tay cũng là tiền để giúp phát triển các mô hình nhận dạng chữ viết tay. Bài toán nhận dạng chữ viết là một vấn đề lớn trong lĩnh vực thị giác máy tính đang được các nhà nghiên cứu quan tâm. Đối với bài toán nhận dạng chữ in thì các mô hình hiện nay đều cho những kết quả rất tốt phần lớn là vì dữ liệu chữ in rat đa dạng, hiện nay đã có một 1.

TONG QUAN số công cụ hỗ trợ việc gan nhãn tự động cho chữ in ở mức độ kí tu, từ hoặc cả câu. Nhưng đối với nhận dạng chữ viết tay thì lại là một vấn đề lớn, tuy mô hình nhận dang chữ viết tay đã cho những kết quả kha quan nhưng nó vẫn tổn tại một số nhược điểm. Một trong những nhược điểm chính của mô hình nhận dạng chữ viết tay đó là vấn đề về dữ liệu. Tương tự như chữ in, chữ người viết rất đa dạng, thậm chí đa dạng hơn nhiều so với chữ in.

Mỗi người đều có một phong cách viết riêng hay thậm chí một người còn có nhiều phong cách viết. Vì sự đa dạng của chữ viết tay, bài toán yêu cầu một lượng lớn dữ liệu chữ viết tay. Khác với chữ in, chữ viết tay hiện nay vẫn chưa có công cụ gán nhãn tự động nào, muốn thu thập dữ liệu chữ viết tay thì ta phải thu thập và gán nhãn một cách thủ công, việc thu thập thủ công như vậy rất tốn kém. Với sự phát triển của học sâu, một số mô hình sinh ảnh đã được áp dụng để tạo ra dữ liệu giả nhưng giống dữ liệu thật để phục vụ cho việc huấn luyện mô hình, đặc biệt dữ liệu về ảnh đã cho những kết quả khả quan không những cho ảnh chữ viết tay mà còn một số ảnh khác như ảnh người, động vật,.

Mô hình tạo sinh ảnh chữ viết tay theo phong cách cho trước giúp việc thu thập ảnh chữ viết tay đơn giản hơn. Các phương pháp trước đây vẫn còn gặp một số hạn chế như vẫn chưa bắt chước được phong cách viết hoặc là không thể sinh ảnh với những chữ dài. Với động lực là sự phát triển của transformer trong những năm gần đây, mô hình handwriting transformer đã áp dụng transformer giúp mô hình có thể giải quyết những vấn đề trên, dựa trên những kiến thức đã thu thập thì đây là mô hình sinh ảnh chữ viết tay đầu tiên sử dụng transformer. Kết quả đã cho thấy mô hình handwriting transformer[2] cho hiệu suất cao hơn các phương pháp trước.

TONG QUAN Style examples _HWT (Ours) GANwriting Thụ PROCESS hạs I0, TOd slow @C | No two @9op Con weike Precisely No two Per Gn worile plecise Herc Sirauss and last monly 6C W0 SA Way? jest ike NO tho Same Wey just Uke no two pepe atlacked Brita @c being Bf People (0n Nave +he TAM fingerprints Gr bave the Same (òt Thee MW Loud crier F shame’ fom | Á two rR com GHẾ AEG Ne dro pore Gay ốle precise| all p—% J2 He Congerpahue tide | the tame “22t 2224 Lhe no two same Hay jut Whe no two per§, tự; Yl appecrel by he w rR com have Ue tom 722092 San have Me Same {sgrp veld bee em Oe coc A| HỆ ¿. we ÿ ote Ñ jot Uke no tuo pep’ Mr: /a«keaL wenk 0W with the No two Perle can weibe pre—sel4y Úc fy Pople Gan borile precise conference gk Lanaster House the Íaue wort )“#F dike no two Same Way Just ike no two per despite Hee Crisif which had blown | people tau have the awe farsecprints Can have fhe Same Fiacery B Rea and A Ra so b. AS Vs Rico PAPE Com vula “pracsseRy Ne two peer ca» wre Precis BDIGHGDA yn Moga Ác LAL Ba Kawa word eG & X ume “y jua# Uke no two †enk ee a souk ÑV 9È PASE com rove ha Sawa Ñ« sọc Gy bave the Same uae Hình 1.1: Kết quả so sánh giữa mô hình transformer và GANwriting 1.2 Thách thức Các phương pháp trước đây sinh ảnh chữ viết tay dựa trên việc sử dụng các đặc trưng hữu ích đã được rút trích như là độ nghiêng, độ dày của chữ. Một trong những phương pháp đầu tiên sinh ảnh chữ viết tay dựa trên chuỗi đầu vào thông qua mô hình RNN như là LSTM hoặc GRU.

Tuy nhiên, phương pháp của họ có xu hướng trung bình hóa phong cách viết của mọi người dẫn tới việc không thể sinh ảnh theo phong cách cụ thể của một người. Gần đây, các hướng tiếp cận dựa trên GAN[4] đã được ra đời để sinh ảnh chữ viết tay. ScrabbleGAN[5] có thể sinh ra ảnh chữ viết tay mà con người có thể đọc được nhưng không thể bắt chước cụ thể phong cách của ai. Davis et al.[6] đề xuất giải pháp dựa trên StyleGAN[7], sinh ảnh chữ viết tay dựa trên phong cách ảnh và chuỗi nội dung đầu vào nhưng van đòi hỏi dữ liệu lớn.

Phương pháp GANwriting[1] cũng sinh 1. TONG QUAN anh dựa trên phong cách ảnh va chuỗi nội dung đầu vào nhưng với hướng tiếp cận few-shot. Nhược điểm chung của các hướng tiếp cận trước đây vẫn chưa bắt chước được phong cách một cách chính xác, đây cũng là thách thức chính của bài toán. Ngoài ra, vấn đề về dữ liệu cũng ảnh hưởng tới chất lượng của các mô hình trước đây vì dữ liệu ảnh chữ viết tay rất đa dạng đòi hỏi một lượng lớn dữ liệu.

Madeod " vy L tatent” Roden} "behina” Yelrvd "brilliantly" lún ~‹ H (b) Imagining OOV words | Le 0Qc petenti : the long text is abcdefghijklmnopq brilliantly k dhe Song text AS abcole {g-«)k®¬¬ep (a) Imitating síylesgE { (ce) Hallucinating long texts | Modeod Le Qo "Madeod" “hello” Beatin „: fl y “brilliantly” Hình 1.2: Khả năng bắt chước chữ viết tay của con người Khác với máy tính, con người có thể nhanh chóng học được cách bắt chước chữ viết tay dựa trên một số mẫu. Nói cách khác, sau khi con người học chữ viết tay một cách hạn chế, một người có thể hình dung các từ viết tay này sẽ trông như thé nào khi áp dụng phong cách viết này lên một nội dung bat ky. Hơn nữa, khi cung cấp hình ảnh chữ viết tay mà họ chưa từng nhìn thấy trước đây thì con người vẫn có thể hình dung ra được phong cách viết tương tự với nội dung hoàn toàn khác. Việc con người có thể hình dung được như vậy là vì có thể tìm thấy được mối liên hệ giữa nội dung và phong cách viết từ những mẫu được cung cấp.

TONG QUAN Nếu chúng ta có thể day máy tính bắt chước quá trình nay, chúng có thể có khả năng bắt chước chữ viết tay cũng như con người. Đây cũng là động lực để phát triển bài toán sinh ảnh chữ viết tay cho một số mô hình gần đây. Nhìn chung các phương pháp trước đây có thể bắt chước được phong cách toàn cục, nhưng về cục bộ thì vẫn chưa thể áp dụng được. Với sự phát triển của transformer[8] cho các bài toán về ngôn ngữ, mô hình đã áp dụng phương pháp transformer[8] với tên gọi handwriting transformer[2] đã ra đời để giải quyết về vấn đề bắt chước phong cách ảnh.

Ngoài ra, để đối phó với dữ liệu hạn chế, phương pháp đã sử dụng hướng tiếp cận few-shot tương tự như mô hình GANwriting[1].3 Pham vi và mục tiêu 1.1 Mục tiêu Nhóm tập trung giải quyết bài toán nhận sinh ảnh chữ viết tay theo phong cách như ảnh đầu vào. Để hoàn thành công việc, nhóm đã đề ra mục tiêu cụ thể sau: * Tìm hiểu tổng quan về máy học, một số khái niệm cơ bản trong máy học, học sâu. ¢ Khảo sát một số phương pháp sinh ảnh chữ viết tay tiên tiến nhất hiện này sử dụng phương pháp học sâu. s Phân tích nhược điểm của mô hình handwriting transformer[2] và dé xuất giải pháp khắc phục.

* Cài đặt, hiện thực, đánh giá kết quả của một số phương pháp trên tập dữ liệu tiếng Anh là IAM[3].2 Pham vi Trong khuôn khổ giới hạn của khóa luận, nhóm thực hiện tập trung hoàn thành các công việc sau: « Tìm hiểu và so sánh kiến trúc của hai mô hình GANwriting[1] và hand- writing transformer[2]. « Tập trung sinh ảnh chữ viết tay với ngôn ngữ tiếng Anh. s Thực hiện cài đặt giải pháp khắc phục cho mô hình handwriting transformer[2] « Tập trung thực hiện việc đánh giá các mô hình qua tập dữ liệu tiếng Anh.4 Đóng góp của khóa luận Sau đây là một số đóng góp mà nhóm thực hiện có được sau quá trình thực hiện khóa luận: « Tìm hiểu các hướng tiếp cận đối với bài toán sinh ảnh chữ viết tay theo phong cách cho trước. * Trình bày những kiến thức nền tảng về học sâu và áp dụng vào bài toán sinh ảnh chữ viết tay.

¢ Huấn luyện lại từ đầu hai mô hình GANwriting[1] và handwriting transformer[2]. * Cai đặt lai module transformer[8] trong mô hình handwriting transformer[2] nhắm cải tiên thời gian huân luyện của mô hình.5 Cấu trúc khóa luận Chương 1: Giới thiệu tổng quan đề tài. TONG QUAN Chương 2: Trinh bày các kiến thức cơ bản về Deep Learning như CNN, cơ chế atention, mô hình Transformer[8] và GAN[4]. Chương 3: Trình bày kiến trúc của hai mô hình GANwriting[1] và handwrit- ing transformer[2], phân tích ưu nhược điểm và cải tiền của mô hình handwriting transformer[2].

Chương 4: Trình bay cách đánh giá phương pháp trên bộ dữ liệu và kết qua so sánh giữa các phương pháp. Chương 6: Trình bày kết luận. Chương 2 CÁC KIÊN THỨC LIÊN QUAN CHO BÀI TOÁN SINH ANH CHU VIET TAY 2.1 Tổng quan Phần này sẽ tổng hợp những kiến thức liên quan được áp dụng trong bài toán. Gồm 4 phần chính: residual network[9], GAN[4], cơ chế attention và mô hình transformer[8].

Đầu tiên, residual network[9] sẽ được trình bày tổng quan về mô hình và giải pháp khắc phục vanishing gradient.