Mở đầu Chương này giới thiệu tong quan vẻ đề tài gồm các nội dung như: lý do chọn dé tai, mục tiêu nghiên cứu, đối tượng và phạm vi nghiên cứu, phương pháp nghiên cứu, ý nghĩa khoa học và thực tiễn cũng như cầu trúc chung của đề tài. Chương 2: Tình hình nghiên cứu Chương này giới thiệu tông quan tình hình nghiên cứu của bai toán hiện tại, trình bay các phương pháp sử dụng học sâu và những công trình tiêu biểu tương ứng với từng phương pháp. 12 Chương 3: Cơ sở lý thuyết Chương này tập trung vao việc trình bảy các khái niệm lý thuyết cơ bản liên quan đến đề tài nghiên cứu. Chương sẽ giải thích các khái niệm cơ bản về học sâu và các mô hình học sâu phê biến được sử dụng trong lĩnh vực nhận điện chữ viết tay.
Chương 4: Phương pháp đề xuất Trong chương này phương pháp cụ thẻ về nhận điện chữ viết tay ngoại tuyến tiếng Việt sẽ được trình bày. Chương sẽ mô tả các kiến trúc học sâu được kết hợp va cách kết hợp vào bài toán. Ngoài ra, chương cũng sẽ mô tả các kỹ thuật đánh giá được sử dụng ở trong bài toán Chương 5: Dữ liệu, thực nghiệm và đánh gia Chương này sẽ trình bay ve dit liệu được dùng dé huấn luyện cũng như đánh giá, cũng như các tiêu chí đánh gia hiệu suất của mô hình trong việc nhận diện chữ viết tay ngoại tuyến. Cuối cùng, chương sẽ trình bày và phân tích kết qua thực nghiệm dé đánh giá hiệu suất của mô hình và đưa ra những kết luận va nhận xét về độ chính xác va tinh ứng dụng của phương pháp đã áp dụng.
Chương 6: Kết luận và hướng phát triển Tông kết lại kết quả đã đạt được và chưa đạt được sau quá trình nghiên cứu, tiến hành thực nghiệm. Từ đó nêu lên những hướng nghiên cứu và phát triển tiếp theo trong tương lai dé nang cao hiệu suất cũng như dé khắc phục các hạn ché hiện tại. 13 CHƯƠNG 2: TÌNH HÌNH NGHIÊN CỨU 2.1 TÔNG QUAN Hiện nay khi nói về tình hình nghiên của của nhận điện chữ viết tay trên thé giới cũng đã tồn tai được một khoản thời gian dai, từ việc nhận diện các chữ sé viết tay, các chữ cái latin cho đến các chữ tượng hình phức tạp cũng dần xuất hiện các bài nghiên cứu, nhưng đối với chữ viết tiếng Việt do hình thái đặc tha của chữ với các thanh dấu đã gây khó dé với các nhà nghiên cứu, đồng thời bộ dữ liệu về chữ viết tay ngoại tuyến tiếng việt cũng chưa được thống nhất chuẩn xác, chi có các bộ dữ liệu do các doanh nghiệp tô chức với số lượng dữ liệu không được lớn, nên cũng đã ảnh hưởng một phan rất lớn trong công cuộc nghiên cứu và khai phá trong lĩnh vực này. Ban dau các bai nghiên cứu từ [1] — [4] với việc yêu cầu các văn bản viết tay cần phải phân đoạn ra trước dẫn dé việc các văn bản không bị ràng buộc về khuôn mẫu cũng như các văn ban chữ viết trong thực tế không thê nhận điện được.
Các nghiên cứu nảy chủ yêu đề cập đến dấu phụ (DM) ~ một nét đặt trưng của chữ viết tiếng việt và dé xuất các thuật toán giải quyết van đề DMở cap độ ký tự, cùng với các thuật toán phân cấp (hierarchical algorithm) đẻ nhận điện các ký tự trong tiếng việt, trong đó bao gồm các chữ cái và thanh dấu được phân riêng biệt [1]. Thông qua các bộ phân loại Multi-Layer Perceptron (MLP) Networks và Support Vector Machines (SVM). Nhung đối với bài toán chữ viết tay ngoại tuyến, thì các dau phụ có thé bị xé dich và không nằm ở một chỗ cỗ định do sự khác nhau đến từ người viết hoặc thậm chí giữa từng thời điểm của cùng một người viết, thì việc nhận điện dấu và phân tách riêng biệt giữ thanh dấu và kí tự càng trở nên khó khăn. Phương pháp sequence to sequence (Seq2Seq) khai thác moi quan hệ giữa các đặc điểm hình ảnh từ đầu vào và các ký tự đầu ra thông qua cơ chế chú ý (attention mechanism) kết hợp nhiều mô hình khác như Mạng thần kinh tái phát (RNN), Long-short term memory (LSTM) hoặc Transformer cũng đã được các nhà nghiên cứu ứng dụng vào trong bài toán.
Đầu vao của bai toán ở đây là một ánh chứa hình ảnh chữ viết tay ngoại tuyến, va đầu ra là nhãn tương ứng với các chữ trong hình ảnh. 14 Image to text cách giản đị đến bất ngờ Hình 2-1: sơ đỗ bài toán 2.2 Những nghiên cứu trước đó Hung Tuan Nguyen cùng với cộng sự đã dựng một một hình Encoder-Decoder kết hợp với cơ chế Attention. Họ thay thế lớp CNN bằng DenseNet, vì họ cho rằng DensenNet có hiệu suất tốt hơn so với CNN trong việc trích xuất đặc trưng của hình ảnh. Mô hình bao gồm hai phần chính: DenseNet đẻ trích xuất đặc trưng từ hình ảnh viết tay và một LSTM tích hợp với một cơ chế chú ý đẻ tạo ra văn bản đầu ra [5].+°”==- IIR | Ct (Ori, yea hó lÌP* | 5 : : Attentionmodel sande DenseNets Feature Extraction LSTM Decoder Hình 2-2: Mô hình hệ thống End to End Recognition Sau đó tới năm 2020 Vinh-Loi Ly cùng với các công sự của ông đã phát triển phương pháp nay bằng việc sử dụng cơ chế Self-attention 15 Hình 2-3: So sánh giữa Attention sử dụng LSTM va Transformer Thấy được ràng các bài nghiên cứu trước đó phần lớn tập trung chủ yếu vào tôi phần Giải mã (Decoder) bằng các mô hình ngôn ngữ lớn, điều nảy khiến cho việc tiêu hao nguồn tài nguyên vẻ dif liệu và thiết bị là rat lớn.
Nên ở bài nghiên cứu này tôi chủ yếu sẽ giải quyết việc xử lý dit liệu huấn luyện cùng với đó là trích xuất đặc trưng của dit liệu hình ảnh được tối wu nhất, đồng thời cũng giảm lượng tài nguyên thiết bị tiêu hao xuống thấp, xây dựng một mô hình nhẹ hơn nhưng không bị anh hưởng quá nhiều vẻ độ chính xác của bài toán. 16 CHƯƠNG 3: CO SO LÝ THUYET 3.1 Covolution Neural Network CNN là một trong những mô hình học sâu tiên tiền giúp xây dựng được những hệ thống thông minh với độ chính xác cao. CNN được sử dụng nhiều trong các bai toán nhận dang các đối tượng trong ảnh. Trong chương nay sẽ trình bảy về ý tưởng, kiến trúc của mô hình CNN cũng như áp dung mô hình này dé giải quyết bài toán nhận dang chữ viết tay.1 Kiến trúc mô hình Convolutional Neural Network Các tầng được liên kết với nhau thông qua phép tích chập.
Tang tiếp theo là kết quả tích chập tir tang trước đó. Nhờ vay, ta có các kết nối cục bộ. nghĩa là mỗi nơron ở tang tiếp theo sinh ra từ bộ lọc áp đặt lên một vùng ảnh cục bộ của các nơron tầng trước đó. Tầng tích chập Hình 3-1 Cấu trúc cơ bản của mô hình CNN Hình 4 mô ta cau trúc cơ bản của mô hình CNN, từ cau trúc trên cho thấy từ hình anh đầu vào qua nhiều tang xử lý khác nhau sẽ cho kết quả xử lý cudi cùng là các bản đồ đặc trưng.
Qua đây, thấy rõ ràng răng việc trích xuất đặc trưng với mô hình CNN là hoàn toàn tự động, việc trích xuất sẽ có nhiều kết quả khác nhau dựa vào việc điều chỉnh các tầng làm việc ở giữa. 17 x ⁄ connecrap *O*TMAX 7 Y CLASSIFICATION Hình 3-2: Kiến trúc tong quát của CNN Trong mô hình CNN (Hình 3-2), tầng pooling/subsampling dùng đẻ chắt lọc lại các thông tin hữu ích hơn (loại bỏ các thông tin nhiều). Tuy nhiên, ta sẽ không đi sâu vào khái niệm của các tang này. Trong quá trình huấn luyện, CNNs sẽ tự động học các thông số cho các filter.
Ví dụ, trong nhiệm vụ phân lớp hình ảnh CNNs sẽ có gắng tìm lượng thông tin tối ưu cho các filter tương ứng theo thứ tự nhất định và tầng cuối cùng được sử dụng dé phân lớp hình ảnh. CNN có tính bất biến va tính kết hợp cục bộ. Với cùng một đối tượng, nếu đối tượng nay được chiếu theo các góc độ khác nhau thì độ chính xác của thuật toán sẽ bị ảnh hưởng đáng kẻ. Tang Pooling sẽ cho chung ta tinh bất biến đối với phép dịch chuyên (translation), phép quay (rotation) và phép co giãn (scaling).
Thông qua Hình 3-2 , có thé hiểu cơ bán về kiến trúc của CNN đơn giản, tiếp theo sẽ làm rõ các tang trong một kiến trúc CNN.2 Lép tích chập Tích chập là một phép toán thực hiện với hai ham số f va g với kí hiệu la * , kết quả cho ra một ham số thứ 3. Nó được ứng dụng trong xác suất, thông kê, thị giác máy tinh, xử lý ảnh, xử lý tín hiệu, kỹ thuật điện, học máy, và các phương trình vi phân. Tích chập của hàm số f và g được viết như sau ƒ * g, là một phép biến đồi tích phân đặc biệt; 18 (fF *a)@) = | ƒ()a =t)ár = i ƒŒ—t)gŒœ)ảr (11) Một cách tông quát, các ham f , g lả ham số phức trong không gian R*, tích chập được định nghĩa là: (f = g)(x) = J Pi (y)g(x — y)dy = J / (x—y)gŒ)dy — (1.2) Đối với tích chập rời rac, với hàm số phức f , g xác định trên tập số nguyên Z, thì tích chập được định nghĩa: [30] (f + g)(n) = 3 ƒ£(m)g(n\ — m)dm mơ (1.3) = 3 ƒ£ín — m)g(m)dm m==œ Trong lĩnh vực xử lý ảnh, tích chập được sử đụng khá rộng rãi và hết sức quan trọng. Ví dụ: đối với phép lọc anh, phép tích chập giữa ma trận lọc va anh, cho ra kết quả ảnh đã được xóa nhiều.
Công thức tích chập giữa hàm ảnh f (x, y) và bộ lọc k(x, y) (kích thước m x n) như sau: m n 2 2 ƒ(x,y) * k(x,y) = k(u, v) f(x — u,y — 9) (1.4) mM u=2 =n v= 2 Trong kiến trúc của CNN, sau tầng dau vao là tang tích chập, tang nảy chính là nơi thé hiện tư tưởng ban đầu của CNN. Thay vì kết nối toan bộ điểm anh, tầng này sẽ sử dụng các bộ lọc có kích thước nhỏ so với ảnh (tường là 3*3 hoặc Š*Š) áp vào một vùng trong ảnh va tiền hành tính tích chập giữa bộ lọc và giá trị điểm ảnh trong vùng cục bộ đó. Thành phần không thê thiếu của phép tích chập trong tầng tích chập đề trích xuất đặc trưng của ảnh đầu vào là bộ lọc. Bộ lọc là một ma trận có kích thước m x như công thức 1.4 nhằm mang lại kết quả tốt nhất trên ma trận dit liệu ảnh đầu vào.