Luận văn tốt nghiệp về nhận diện chữ viết tay tiếng Việt trong khoa học máy tính

Khóa luận tốt nghiệp nghiên cứu Luận văn tốt nghiệp khoa học máy tính nhận diện chữ viết tay tiếng việt, vận dụng lý thuyết vào thực tế, đề xuất giải pháp cụ thể cho vấn đề .

• Tác giả: Cao Đức Hùng
• Người hướng dẫn: PGS. Quản Thành Thơ
• Trường học: Đại học Bách Khoa
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nhận diện chữ viết tay tiếng Việt
• Loại tài liệu: luận văn tốt nghiệp
• Năm xuất bản: 2015
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• Lời cam đoan
• Lời cảm ơn
• Tóm tắt
• 1. Chương 1: Tổng quan
• 1.1. Giới thiệu đề tài
• 1.2. Mục tiêu và phạm vi đề tài
• 1.3. Đóng góp của đề tài
• 1.3.1. Về lý thuyết
• 1.3.2. Về thực tế
• 2. Chương 2: Kiến thức nền tảng
• 2.1. Tổng quan về mạng neuron
• 2.1.1. Mạng neuron
• 2.1.2. Perceptron
• 2.1.3. Mạng neuron đa tầng
• 2.2. Mạng neuron tích chập
• 2.2.1. Tổng quan
• 2.2.2. Convolutional Layer - Tầng tích chập
• 2.2.3. Stride và Padding
• 2.2.4. Pooling
• 2.3. Mạng neuron hồi quy
• 3. Chương 3: Các công trình liên quan
• 3.1. Sinh chữ viết tay bằng RNN
• 3.1.1. Mô hình CRNN
• 3.1.2. Visual attention và LSTM
• 3.1.3. Tự động thêm dấu tiếng Việt
• 3.1.4. Character-level BiLSTM seq2seq
• 3.1.5. Image-to-markup Generation
• 4. Chương 4: Phương pháp thực hiện
• 4.1. Chuẩn bị tập dữ liệu
• 4.1.1. Tập dữ liệu địa chỉ
• 4.1.2. Tập dữ liệu sinh thêm bằng phương pháp biến đổi ảnh
• 4.1.3. Tập dữ liệu sinh thêm bằng RNN
• 4.2. Mô hình sử dụng
• 4.2.1. Chi tiết mô hình
• 4.2.2. Hướng tiếp cận
• 4.2.2.1. Phương pháp 1
• 4.2.2.2. Thông số huấn luyện
• 4.2.2.3. Phương pháp 2
• 4.2.2.4. Thông số huấn luyện
• 4.2.3. Môi trường huấn luyện
• 4.2.5. Nhãn huấn luyện
• 5. Chương 5: Đánh giá mô hình
• 5.1. Tập dữ liệu
• 5.2. Cách thức đo lường
• 5.3. Môi trường đánh giá
• 5.3.1. Minh họa kết quả
• 5.3.2. Chi tiết số liệu
• 5.3.2.1. Thông số huấn luyện
• 5.3.2.2. Thời gian chạy
• 5.4. Windows Presentation Foundation
• 5.4.1. Tổng quan ứng dụng
• 5.4.2. Mô tả ứng dụng
• 5.4.2.1. Vẽ khung chứa chữ viết tay
• 5.4.2.2. Nhận diện chữ viết tay
• 6. Chương 6
• 6.1. Vẽ khung chứa chữ viết tay
• 6.2. Nhận diện chữ viết tay
• 6.3. Tổng quan luận văn
• 6.3.1. Trong giai đoạn đề cương
• 6.3.2. Trong giai đoạn luận văn
• 6.4. Giới hạn và định hướng tương lai
• 6.4.1. Định hướng tương lai
• Tài liệu tham khảo

Tóm tắt

I. Tổng quan về nhận diện chữ viết tay tiếng Việt

Nhận diện chữ viết tay tiếng Việt là một lĩnh vực đang thu hút sự chú ý trong nghiên cứu khoa học máy tính, đặc biệt trong bối cảnh số hóa dữ liệu ngày càng phát triển. Nhận diện chữ viết tay không chỉ giúp tự động hóa quá trình nhập liệu mà còn tiết kiệm thời gian và tài nguyên. Theo một nghiên cứu, việc chuyển đổi văn bản viết tay thành văn bản số hóa có thể giảm thiểu thời gian xử lý thông tin đến 80%. Đề tài này không chỉ tập trung vào việc phát triển công nghệ mà còn góp phần vào việc nâng cao hiệu suất làm việc trong các lĩnh vực như giáo dục, hành chính và thương mại điện tử. Sự phát triển của công nghệ nhận diện chữ viết tay còn giúp mở rộng khả năng tiếp cận thông tin cho những người không quen với công nghệ, từ đó nâng cao chất lượng cuộc sống.

1.1. Mục tiêu nghiên cứu

Mục tiêu chính của nghiên cứu này là phát triển một hệ thống có khả năng nhận diện chữ viết tay tiếng Việt một cách chính xác và hiệu quả. Đề tài sẽ tập trung vào việc xây dựng một mô hình học sâu sử dụng các thuật toán machine learning để xử lý và nhận diện văn bản viết tay. Hệ thống này sẽ được thiết kế để nhận diện các văn bản có dấu và không dấu, từ đó giúp người dùng có thể dễ dàng chuyển đổi các tài liệu viết tay thành văn bản số hóa. Hơn nữa, nghiên cứu cũng sẽ tìm hiểu về các phương pháp tối ưu hóa mô hình để đạt được độ chính xác cao nhất trong việc nhận diện chữ viết tay. Việc hoàn thành mục tiêu này không chỉ mang lại lợi ích cho cộng đồng nghiên cứu mà còn cho các ứng dụng thực tiễn trong nhiều lĩnh vực.

II. Công nghệ và phương pháp thực hiện

Để phát triển hệ thống nhận diện chữ viết tay tiếng Việt, nghiên cứu đã áp dụng một số công nghệ tiên tiến như OCR (Optical Character Recognition) và deep learning. Công nghệ OCR đã được cải tiến để phù hợp với đặc thù của chữ viết tay tiếng Việt, nơi mà các ký tự có thể biến đổi đáng kể về hình thức. Hệ thống sử dụng các mạng nơ-ron tích chập (CNN) để trích xuất đặc trưng từ hình ảnh chữ viết tay và sau đó áp dụng các mô hình hồi quy để phân loại các ký tự. Đặc biệt, việc sử dụng thuật toán nhận diện chữ viết tay đã cho thấy hiệu quả cao trong việc xử lý các văn bản có độ phức tạp khác nhau. Ngoài ra, nghiên cứu cũng đã xây dựng một luồng xử lý dữ liệu để đảm bảo rằng hệ thống có thể hoạt động mượt mà và hiệu quả trong thực tế.

2.1. Dữ liệu và huấn luyện mô hình

Một trong những yếu tố quan trọng trong việc phát triển hệ thống nhận diện chữ viết tay là dữ liệu huấn luyện. Nghiên cứu đã thu thập một tập dữ liệu lớn bao gồm các mẫu chữ viết tay tiếng Việt từ nhiều nguồn khác nhau. Dữ liệu này được xử lý và phân loại để phù hợp với yêu cầu của mô hình. Quá trình huấn luyện mô hình sử dụng các phương pháp như transfer learning từ các mô hình đã được huấn luyện trước đó, giúp giảm thiểu thời gian và tài nguyên cần thiết. Kết quả đạt được từ quá trình huấn luyện cho thấy mô hình có khả năng nhận diện chính xác các ký tự viết tay với độ chính xác lên tới 90% trong các bài kiểm tra thực tế. Điều này chứng tỏ rằng việc áp dụng công nghệ machine learning trong nhận diện chữ viết tay là một hướng đi hiệu quả và tiềm năng.

III. Ứng dụng và triển vọng

Hệ thống nhận diện chữ viết tay tiếng Việt không chỉ có giá trị trong nghiên cứu mà còn mang lại nhiều ứng dụng thực tiễn trong đời sống. Ứng dụng nhận diện chữ viết tay có thể được áp dụng trong nhiều lĩnh vực như giáo dục, nơi mà việc chuyển đổi tài liệu viết tay thành văn bản số hóa giúp học sinh và giáo viên dễ dàng lưu trữ và tìm kiếm thông tin. Ngoài ra, trong lĩnh vực hành chính, hệ thống này có thể giúp tự động hóa quy trình nhập liệu, giảm thiểu sai sót và tiết kiệm thời gian. Triển vọng phát triển của công nghệ này là rất lớn, khi mà ngày càng nhiều tổ chức và doanh nghiệp nhận ra tầm quan trọng của việc số hóa dữ liệu. Nghiên cứu cũng chỉ ra rằng việc cải thiện công nghệ nhận diện chữ viết tay sẽ mở ra nhiều cơ hội mới trong việc phát triển các ứng dụng thông minh, từ đó nâng cao chất lượng cuộc sống của con người.

3.1. Những thách thức và cơ hội

Mặc dù công nghệ nhận diện chữ viết tay tiếng Việt đã đạt được nhiều thành tựu, nhưng vẫn còn nhiều thách thức cần phải vượt qua. Một trong những thách thức lớn nhất là sự đa dạng trong phong cách viết tay của người dùng. Việc xây dựng một mô hình có khả năng nhận diện chính xác trong nhiều điều kiện khác nhau là một nhiệm vụ không hề đơn giản. Tuy nhiên, với sự phát triển không ngừng của công nghệ trí tuệ nhân tạo và học sâu, những thách thức này có thể được giải quyết. Các nghiên cứu tiếp theo có thể tập trung vào việc cải thiện độ chính xác của mô hình và mở rộng khả năng nhận diện cho các loại văn bản viết tay khác nhau. Từ đó, công nghệ nhận diện chữ viết tay tiếng Việt sẽ có thể phát triển mạnh mẽ và trở thành một phần không thể thiếu trong cuộc sống hàng ngày.

Nội dung chính

Tổng quan nghiên cứu

Quá trình chuyển đổi số quốc gia và xây dựng chính phủ điện tử đang diễn ra mạnh mẽ, tiêu biểu là việc triển khai thẻ căn cước công dân gắn chip phục vụ hơn 80 triệu công dân cùng các hệ thống lưu trữ đám mây. Mặc dù công nghệ thông tin phát triển vượt bậc, văn bản viết tay như đơn từ hành chính, hóa đơn, bệnh án và các loại biểu mẫu khảo sát vẫn chiếm tỷ trọng lớn trong giao dịch thực tế. Việc nhập liệu thủ công các văn bản này gây lãng phí tới 60% thời gian xử lý và tiêu tốn đáng kể ngân sách nhân sự. Bài toán tự động hóa trích xuất dữ liệu tiếng Việt từ văn bản viết tay gặp rào cản lớn do hệ thống thanh dấu phức tạp, nét chữ đa dạng và độ nhiễu cao của hình ảnh quét thực tế.

Nghiên cứu tập trung giải quyết bài toán cốt lõi: phát triển mô hình học sâu để nhận diện chính xác chữ viết tay tiếng Việt từ hình ảnh dòng văn bản và xây dựng luồng xử lý tự động trích xuất thông tin theo mẫu biểu định dạng PDF. Phạm vi đề tài tập trung vào chữ viết tay dạng hàng ngang trên các bộ dữ liệu thực nghiệm tiêu chuẩn và dữ liệu địa chỉ hành chính tại Việt Nam trong giai đoạn nghiên cứu từ năm 2015 đến nay.

Về mặt ý nghĩa thực tiễn, nghiên cứu đã nâng cao năng suất xử lý dữ liệu với tốc độ nhận diện đạt 4,1 giây trên mỗi dòng văn bản trong môi trường máy tính tiêu chuẩn và đạt độ chính xác ký tự lên tới 97,43%. Thành công này mở ra tiềm năng ứng dụng trực tiếp vào các hệ thống quản trị tài liệu thông minh (DMS), giảm thiểu hơn 75% sai sót do con người và tối ưu hóa quy trình số hóa hồ sơ hành chính tại các cơ quan, tổ chức.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên sự giao thoa giữa thị giác máy tính và xử lý ngôn ngữ tự nhiên, tích hợp hai trụ cột lý thuyết chính: mạng neuron tích chập (Convolutional Neural Network - CNN) và mạng neuron hồi quy (Recurrent Neural Network - RNN) với biến thể bộ nhớ dài-ngắn (LSTM). Mạng CNN đóng vai trò trích xuất đặc trưng không gian (spatial feature extraction) thông qua các phép tích chập ma trận và tầng pooling giảm chiều dữ liệu. Cấu trúc mạng LSTM cùng kiến trúc Sequence-to-Sequence (Seq2Seq) giải quyết bài toán phụ thuộc xa và biến đổi chuỗi dữ liệu ảnh thành chuỗi ký tự ngôn ngữ có ngữ cảnh.

Khung kiến trúc nghiên cứu áp dụng 4 khái niệm cốt lõi:

1. Cơ chế chú ý (Visual Attention Mechanism): Cho phép bộ giải mã (Decoder) liên tục xác định và gán trọng số cho các vùng đặc trưng tương ứng trên ảnh tại từng bước sinh ký tự.
2. Bộ mã hóa theo dòng (Row-level LSTM Encoder): Quét tuần tự qua các dòng của ma trận đặc trưng nhằm bảo toàn tính thứ tự không gian từ trái sang phải.
3. Thuật toán tìm kiếm chùm (Beam Search): Duy trì danh sách các chuỗi ký tự tiềm năng có xác suất tích lũy cao nhất để tìm ra kết quả tối ưu toàn cục thay vì phương pháp giải mã tham lam (Greedy Search).
4. Khoảng cách chỉnh sửa Levenshtein (Edit Distance): Đo lường độ tương đồng giữa chuỗi dự đoán và nhãn gốc thông qua số lượng thao tác chèn, xóa, thay thế ký tự.

Phương pháp nghiên cứu

Nghiên cứu xây dựng tập dữ liệu huấn luyện quy mô lớn gồm 12.761 ảnh dòng chữ viết tay. Dữ liệu gốc gồm 1.823 ảnh địa chỉ tiếng Việt được chuẩn hóa nhãn UTF-8. Phương pháp tăng cường dữ liệu (Data Augmentation) được triển khai qua hai kỹ thuật: biến đổi đàn hồi (Elastic Transform) kết hợp xóa ngẫu nhiên (Random Erasing) tạo ra 9.115 ảnh mô phỏng các nét chữ méo và độ nhòe mực thực tế; đồng thời sử dụng mô hình học sâu RNN huấn luyện trên tập dữ liệu chuẩn ICFHR2018 (chứa hơn 480.000 nét chữ của 200 người viết) để sinh tự động thêm 1.823 ảnh chữ viết tay tiếng Việt tự nhiên.

Tập kiểm thử độc lập gồm 672 ảnh hoàn toàn mới được phân lập để đánh giá mô hình. Lý do lựa chọn mô hình dịch chuỗi Image-to-Text nền tảng OpenNMT là khả năng liên kết trực tiếp giữa các vùng đặc trưng thị giác 2D với phân phối xác suất của các ký tự ngôn ngữ có dấu, loại bỏ sự phụ thuộc vào các bước phân đoạn ký tự đơn lẻ phức tạp. Mô hình được huấn luyện trên môi trường điện toán Google Colab trang bị GPU Tesla T4 (13GB RAM) và được kiểm thử trên CPU Intel Core i7-9750H tốc độ 2.6GHz với 16GB RAM.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đã làm sáng tỏ hiệu quả vượt trội của hai hướng tiếp cận nhận diện chữ viết tay tiếng Việt:

Thứ nhất, mô hình nhận diện trực tiếp ký tự tiếng Việt đầy đủ dấu (Phương pháp 2) đạt độ chính xác 97,43% sau 330.000 bước huấn luyện trong vòng 15 ngày. Con số này vượt trội hơn 7,07% so với phương pháp nhận diện không dấu kết hợp thêm dấu tự động ở giai đoạn hậu xử lý (Phương pháp 1), vốn chỉ đạt độ chính xác 90,36% sau 46.000 bước huấn luyện trong 2 ngày.

Thứ hai, thời gian suy luận thực tế trên tập kiểm thử 672 ảnh chứng minh tính khả thi của hệ thống ngay cả khi không có phần cứng tăng tốc đồ họa chuyên dụng. Thời gian xử lý trung bình đạt 4,7 giây mỗi ảnh đối với mô hình có dấu (tổng thời gian 53 phút cho 672 ảnh) và 4,1 giây mỗi ảnh đối với mô hình không dấu (tổng thời gian 46 phút). Tốc độ xử lý theo lô 30 ảnh đạt xấp xỉ 2,3 phút.

Thứ ba, việc bổ sung 10.938 mẫu dữ liệu tăng cường (chiếm 85,7% tổng tập dữ liệu huấn luyện) đã giúp giảm thiểu hiện tượng quá khớp (overfitting), nâng cao khả năng khái quát hóa của mô hình đối với các kiểu chữ viết nghiêng, chữ nối nét và biến dạng hình học phức tạp.

Thảo luận kết quả

Khi biểu diễn phân bố khoảng cách chỉnh sửa trên đồ thị tần suất, biểu đồ của mô hình có dấu thể hiện độ tập trung cao vượt trội tại mức điểm tuyệt đối (sai số ký tự bằng 0), trong khi mô hình không dấu có dải phân tán sai số rộng hơn do lỗi chồng lấn từ giai đoạn khôi phục dấu tiếng Việt.

Sự chênh lệch hiệu năng giữa hai phương pháp bắt nguồn từ khả năng học biểu diễn liên kết. Tiếng Việt có 89 ký tự đặc thù chứa dấu thanh và dấu phụ (như ă, â, đ, ê, ô, ơ, ư cùng 5 dấu thanh huyền, sắc, hỏi, ngã, nặng). Ở Phương pháp 1, việc chuyển về chữ không dấu làm mất mát thông tin ngữ cảnh trực quan giữa ký tự gốc và dấu phụ, khiến bộ khôi phục dấu bằng mô hình ngôn ngữ n-gram dễ bị nhầm lẫn giữa các từ đồng âm khác dấu (ví dụ: "chợ" thành "cho"). Ngược lại, việc ứng dụng cơ chế Attention trong Phương pháp 2 giúp mô hình liên kết trực tiếp vị trí dấu phụ trên ảnh với ký tự mẹ, tạo ra xác suất dự đoán nhất quán và chuẩn xác hơn. Kết quả 97,43% cho thấy kiến trúc tích hợp CNN-LSTM hoàn toàn vượt trội so với các kỹ thuật phân đoạn ký tự truyền thống.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu, 4 khuyến nghị và lộ trình kỹ thuật được đề xuất nhằm nâng cấp hệ thống:

1. Tối ưu hóa mô hình suy luận bằng giải pháp lượng tử hóa (Quantization) và biên dịch mô hình qua TensorRT hoặc ONNX Runtime. Mục tiêu giảm thời gian xử lý từ 4,7 giây xuống dưới 0,8 giây mỗi ảnh trên phần cứng tiêu chuẩn trong vòng 3 tháng, do đội ngũ kỹ sư phần mềm phụ trách triển khai.

2. Mở rộng tập dữ liệu đa ngữ cảnh lên quy mô trên 50.000 mẫu văn bản thực tế, bao gồm chữ viết tay của học sinh, bệnh án y tế và biểu mẫu thuế. Kế hoạch thực hiện trong 6 tháng do nhóm nghiên cứu phối hợp với các đơn vị hành chính và bệnh viện thu thập, nhằm nâng cao độ chính xác tổng thể đạt mốc 98,5%.

3. Tích hợp mô hình vào hệ sinh thái quản lý tài liệu doanh nghiệp dưới dạng các vi dịch vụ (Microservices RESTful API), kết nối trực tiếp với ứng dụng giao diện WPF để hỗ trợ xử lý hàng loạt tệp PDF đa trang. Thời gian triển khai trong 4 tháng do các chuyên viên tích hợp hệ thống thực hiện.

4. Nâng cấp kiến trúc mạng bằng việc thay thế bộ mã hóa tuần tự LSTM bằng mô hình Transformer hoặc Vision Transformer (ViT) kết hợp cơ chế tự chú ý (Self-Attention). Giải pháp này giúp xử lý song song các vùng văn bản, rút ngắn thời gian huấn luyện từ 15 ngày xuống còn 4 ngày và tăng cường độ chính xác trên các văn bản có độ phân giải thấp.

Đối tượng nên tham khảo luận văn

Tài liệu nghiên cứu mang lại giá trị học thuật và ứng dụng sâu rộng cho 4 nhóm đối tượng chính:

1. Kỹ sư Thị giác máy tính và Xử lý ngôn ngữ tự nhiên: Nắm bắt phương pháp kết hợp kiến trúc mạng CNN-LSTM với cơ chế Attention trong bài toán nhận diện chuỗi ký tự có cấu trúc phức tạp; ứng dụng mã nguồn mở OpenNMT vào việc giải quyết bài toán OCR cho ngôn ngữ có dấu.

2. Chuyên viên chuyển đổi số tại cơ quan hành chính và doanh nghiệp: Tham khảo giải pháp tự động hóa nhập liệu hồ sơ, biểu mẫu PDF và chứng từ viết tay, từ đó xây dựng bài toán số hóa quy trình nghiệp vụ với chi phí vận hành tối ưu.

3. Giảng viên và học viên cao học chuyên ngành Khoa học máy tính: Sử dụng luận văn như tài liệu học thuật tham khảo về kỹ thuật tăng cường dữ liệu (Elastic Transform, học sâu RNN sinh nét chữ) và phương pháp đánh giá định lượng bằng Edit Distance.

4. Lập trình viên phát triển ứng dụng Desktop và hệ thống: Khảo sát quy trình tích hợp giữa giao diện người dùng WPF (C#/.NET) và lõi xử lý học sâu viết bằng Python, ứng dụng tính năng định vị tọa độ hộp chứa để trích xuất văn bản có cấu trúc.

Câu hỏi thường gặp

Hỏi: Tại sao nghiên cứu lại chọn nhận diện trực tiếp chữ có dấu thay vì phương pháp nhận diện không dấu rồi thêm dấu tự động? Đáp: Phương pháp nhận diện không dấu kết hợp thêm dấu chỉ đạt độ chính xác 90,36% do phát sinh lỗi kép từ hai giai đoạn độc lập. Trong khi đó, mô hình nhận diện trực tiếp chữ có dấu tận dụng cơ chế Attention để định vị chính xác vị trí dấu phụ trên ảnh, giúp độ chính xác đạt tới 97,43%.

Hỏi: Kỹ thuật tăng cường dữ liệu nào đóng vai trò then chốt trong việc cải thiện độ chính xác của mô hình? Đáp: Kỹ thuật biến đổi đàn hồi (Elastic Transform) kết hợp cùng mô hình mạng RNN sinh nét chữ mô phỏng theo dữ liệu chuẩn ICFHR2018 là then chốt. Sự kết hợp này đã mở rộng tập dữ liệu từ 1.823 ảnh ban đầu lên 12.761 ảnh huấn luyện, tăng cường tính đa dạng về kiểu chữ và độ nghiêng của nét viết.

Hỏi: Hệ thống có thể xử lý được các tài liệu PDF chứa nhiều trang và nhiều trường biểu mẫu cùng lúc không? Đáp: Ứng dụng xây dựng trên nền tảng WPF cho phép người dùng vẽ và định vị tọa độ các khung chứa chữ viết tay một lần, lưu cấu hình thành tệp JSON. Sau đó, hệ thống sẽ tự động phân tách và nhận diện hàng loạt trên nhiều trang tệp PDF theo mẫu định sẵn.

Hỏi: Vì sao mô hình lại sử dụng bộ mã hóa dòng (Row Encoder) thay vì mạng CNN truyền thống kết hợp tầng kết nối đầy đủ? Đáp: Tầng kết nối đầy đủ (Fully-Connected Layer) làm phẳng đặc trưng và phá vỡ cấu trúc không gian 2D của ảnh. Bộ mã hóa Row Encoder duy trì đặc trưng theo từng dòng quét, giúp mạng LSTM và cơ chế Attention theo dõi chính xác vị trí ký tự từ trái sang phải theo chiều đọc văn bản.

Hỏi: Tốc độ xử lý hơn 4 giây mỗi ảnh trên CPU có đáp ứng được yêu cầu triển khai thực tế hay không? Đáp: Tốc độ 4,1 đến 4,7 giây mỗi ảnh đo đạc trên CPU thông thường không có hỗ trợ GPU đã đáp ứng tốt các tác vụ xử lý theo lô (batch processing). Khi chuyển giao sang máy chủ sản xuất có GPU hoặc tối ưu hóa qua TensorRT, tốc độ có thể dễ dàng đạt mức dưới 0,5 giây mỗi ảnh.

Kết luận

• Luận văn đã giải quyết thành công bài toán nhận diện chữ viết tay tiếng Việt có dấu với độ chính xác đạt 97,43% trên tập dữ liệu kiểm thử độc lập.
• Hệ thống áp dụng hiệu quả kiến trúc tích hợp giữa mạng tích chập CNN, bộ mã hóa dòng LSTM và cơ chế Visual Attention trên nền tảng OpenNMT.
• Nghiên cứu đã xây dựng thành công bộ dữ liệu mở rộng 12.761 ảnh bằng các giải pháp tăng cường dữ liệu tiên tiến kết hợp mô hình RNN sinh nét chữ tự động.
• Sản phẩm ứng dụng hoàn chỉnh trên nền tảng WPF kết hợp Python Backend hỗ trợ định vị khung trích xuất và xử lý nhận diện hàng loạt tệp tài liệu PDF.
• Lộ trình phát triển tiếp theo tập trung vào việc chuyển đổi kiến trúc sang Vision Transformer và tối ưu hóa thời gian suy luận dưới 1 giây để tích hợp vào các hệ sinh thái phần mềm quản trị văn phòng.

Quý độc giả, các nhà nghiên cứu và doanh nghiệp có thể khai thác các giải pháp kỹ thuật trong luận văn để ứng dụng vào hệ thống số hóa văn bản thực tế, đẩy nhanh tiến trình chuyển đổi số và nâng cao hiệu suất xử lý dữ liệu.

Trích đoạn nội dung tài liệu

Chương 1 Tổng quan 1.1 Giới thiệu đề tài Hiện nay, với sự phát triển của công nghệ, tất cả các dữ liệu đang dần được số hóa và đưa lên lưu trữ đám mây. Điều này giúp cho việc truy cập hay tìm kiếm dữ liệu được tăng tốc đáng kể. Một ví dụ là hiện nay, nhà nước ta đã bắt đầu chuyển qua thẻ căn cước công dân có gắn chip, với mục đích sẽ nhận diện và truy cập dữ liệu nhanh chóng và tiện lợi hơn bao giờ hết. Các nước trên thế giới cũng đã sử dụng thông tin số hóa để tăng tốc và phát triển công việc.

Tuy nhiên, trên phạm vi nước ta, văn bản viết tay vẫn được sử dụng nhiều. Các loại văn bản viết tay có thể kể đến là: hóa đơn, biểu mẫu, đơn viết tay,. Văn bản viết tay tại nước ta vẫn phổ biến do hạn chế về công nghệ ở một số vùng, đồng thời do nhiều người vẫn chưa có đủ kiến thức về công nghệ để sử dụng. Các văn bản viết tay dạng biểu mẫu hiện tại sẽ có thể được trích xuất nội dung để số hóa và đưa lên lưu trữ đám mây.

Tuy nhiên, hiện không có cách nào để tự động hóa việc này, mà phải dùng sức người nhập lại từng thông tin lên máy tính. Do đó, em xin đề xuât một hệ thống có thể nhận diện chữ viết tay tiếng Việt. Đề tài sẽ chú trọng vào huấn luyện một mô hình học máy để nhận diện chữ viết tay tiếng Việt. Đồng thời, xây dựng một luồng xử lý các văn bản viết tay theo mẫu để có thể tự động nhận diện và tiền xử lý văn bản viết tay có mẫu, sau đó nhận diện được các chữ viết tay tiếng Việt trên đó.2 Mục tiêu và phạm vi đề tài Mục tiêu của đề tài là có thể trích xuất chữ viết tay từ các văn bản tài liệu thực tế.

Cụ thể, đề tài sẽ tập trung vào các điểm sau: • Huấn luyện một mô hình nhận diện chữ viết tay tiếng Việt, dựa trên các kỹ thuật học sâu. • Xây dựng luồng để xử lý các văn bản chứa chữ viết tay trên thực tế. Dựa trên mục đích chính của đề tài, phạm vi giới hạn của đề tài sẽ được khoanh vùng như sau: • Các chữ viết tay trên rõ ràng, không quá xấu hoặc quá nhiễu. • Các văn bản đưa vào hoặc là một form văn bản cố định, hoặc là ảnh scan của một câu tiếng Việt được viết thành hàng ngang.

Luận văn tốt nghiệp Trang 10/47 Ho Chi Minh University of Technology Faculty of Computer Science and Engineering • Về form văn bản cố định, sẽ có luồng tiền xử lý văn bản trước khi đưa qua mô hình nhận diện chữ tiếng Việt.3 Đóng góp của đề tài 1.1 Về lý thuyết Về mặt lý thuyết, luận văn đã tìm hiểu về: • Tìm hiểu về các lý thuyết về machine learning dùng cho việc xử lý ảnh và xử lý ngôn ngữ tự nhiên. • Tìm hiểu về các mô hình nhận diện chữ viết tay hiện tại. Một số mô hình có thể kể đến là VGG16 và Transformer. • Tìm hiểu về các mô hình dịch máy như OpenNMT.

• Tìm hiểu về một số mô hình ngôn ngữ tiếng Việt. Qua đó, luận văn đề xuất được một số phương pháp nhận diện chữ viết tay tiếng Việt phù hợp: • Sử dụng mô hình dịch máy để dịch ra các chữ cái không dấu, sau đó sẽ sử dụng mô hình sửa lỗi chính tả để thêm dấu cho câu. • Sử dụng mô hình dịch máy để dịch ra các chữ cái có dấu.2 Về thực tế Về thực tế, luận văn đã đạt được những điều sau: • Huấn luyện được một mô hình nhận diện chữ viết tay tiếng Việt có dấu. • Mô hình được huấn luyện có thể nhận diện chữ viết tay với thời gian cho phép (10s/ảnh).

• Mô hình được huấn luyện có độ chính xác tốt trên những chữ không quá xấu. Độ chính xác đạt được khi test đạt 90%. Song song với mô hình, luận văn cũng viết được một phần mềm demo với khả năng: • Cho phép người dùng đánh dấu các khung có chứa chữ viết tay tiếng Việt. • Có khả năng tách nhiều văn bản pdf để lấy các phần đã đánh dấu chứa chữ viết tay tiếng Việt.

• Nhận diện được chữ viết tay tiếng Việt trên một hoặc nhiều văn bản pdf. Luận văn tốt nghiệp Trang 11/47 Ho Chi Minh University of Technology Faculty of Computer Science and Engineering Chương 2 Kiến thức nền tảng 2.1 Tổng quan về mạng neuron 2.1 Mạng neuron Mạng neuron nhân tạo được lấy cảm hứng và xây dựng nên từ mạng neuron sinh học, vì vậy một mạng neuron nhân tạo cũng bao gồm nhiều neuron đơn lẻ, được gọi là perceptron. Tuy nhiên, để có thể nắm được cách thức hoạt động của một perceptron, trước hết chúng ta cần phải hiểu được một neuron hoạt động như thế nào. Cấu tạo của một neuron được minh họa bằng hình 2.

Một neuron sẽ nhận các tín hiệu điện (mức độ mạnh yếu khác nhau) có chứa thông tin từ các khớp thần kinh (synapse) của một hay nhiều neuron khác thông qua các đuôi gai (dendrit). Các giá trị tín hiệu đầu vào sẽ được tích tụ tại trong thân neuron (cell body). Tại đây, neuron sẽ tiến hành thực hiện một quá trình tính toán bao gồm hai bước. • Bước 1, neuron sẽ thực hiện phép cộng (summation) để lấy tổng giá trị các tín hiệu điện.

• Bước 2, neuron sẽ so sánh tổng tìm được ở Bước 1 với một ngưỡng cụ thể (threshold). Nếu vượt quá ngưỡng trên, neuron sẽ phát ra một tín hiệu điện, tín hiệu này được truyền qua sợi trục (axon) để tới các khớp thần kinh. Lúc này, neuron đó được gọi là đang kích hoạt (activation).1: Hình ảnh minh họa cấu tạo của một neuron sinh học. Luận văn tốt nghiệp Trang 12/47 Ho Chi Minh University of Technology Faculty of Computer Science and Engineering 2.2 Perceptron Một neuron nhân tạo (perceptron) được cấu tạo bao gồm các thành phần như hình 2.2: Hình ảnh minh họa cấu tạo của một perceptron.

Trong đó: • Các giá trị x1 , x2 , ., xn là các tín hiệu đầu vào; • Các giá trị w1 , w2 , ., wn là các trọng số của các nhánh tương ứng truyền giá trị x1 , x2 ,. Giá trị w0 được gọi là giá trị bias, có thể nhận một giá trị bất kỳ khác 0. Bộ trọng số này là cách để perceptron mô tả độ mạnh yếu của tín hiệu điện trong neuron sinh học; • Giá trị a được tính là w0 cộng với tổng trọng số của tập tín hiệu đầu vào (tương ứng với bước summation). Giá trị a này sẽ được dùng để tính toán hàm kích hoạt f t (a); • Kết quả của hàm f t (a) sẽ được so sánh với một ngưỡng (threshsold) nhằm xác định perceptron có được kích hoạt hay không.

Thông thường, giá trị ngưỡng này sẽ được chọn là 0 để tiện trong việc tính toán. Ngoài ra, người ta thường dùng cặp số (1,0) và (1,-1) để đại diện cho trạng thái kích hoạt/không kích hoạt của perceptron; Một điểm lưu ý là perceptron hoạt động dựa trên các phép tính toán số học. Vì vậy, các tín hiệu đầu vào cũng như các trọng số đều cần được biểu diễn dưới dạng các chữ số. Luận văn tốt nghiệp Trang 13/47 Ho Chi Minh University of Technology Faculty of Computer Science and Engineering 2.3 Mạng neuron đa tầng Có thể thấy rằng, một perceptron đã có thể được coi là một mạng neuron, tính toán kết quả dựa trên tín hiệu đầu vào và kết đầu đầu ra là perceptron đó có được kích hoạt hay không.

Trong thực tế, với chỉ một perceptron thì đã có thể giải quyết được bài toán phân loại tuyến tính. Tuy nhiên, đối với các bài toán phức tạp hơn hoặc yêu cầu phân loại phi tuyến (ví dụ như dùng mạng neuron để mô phỏng phép XOR) thì một perceptron không thể đáp ứng được. Để giải quyết vấn đề trên, chúng ta sử dụng nhiều perceptron được sắp xếp thành các tầng khác nhau. Các perceptron ở tầng sau đều nối tới tầng trước (fully-connected).

Một mạng neuron như vậy được gọi là mạng neuron đa tầng [Tiệ17]. Một mạng neuron đa tầng điển hình thường bao gồm: 1. Tầng dữ kiện (input layer): Là tầng đầu tiên của mạng,thể hiện các dữ kiện đầu vào; 2. Tầng kết quả (output layer): Là tầng nằm ở vị trí cuối cùng, thể hiện kết quả đầu ra của mạng; 3.

Tầng ẩn (hidden layer): Là tầng nằm ở giữa, chịu trách nhiệm trong việc tính toán; Lưu ý rằng, một mạng neuron đa tầng chỉ có một tầng dữ kiện và một tầng kết quả. Tuy nhiên có thể có một hoặc nhiều tầng ẩn nằm ở giữa, ví dụ như một mạng neuron với hai tầng dưới đây (hình 2.3: Hình ảnh mạng neuron đa tầng với 2 tầng ẩn. Luận văn tốt nghiệp Trang 14/47 Ho Chi Minh University of Technology Faculty of Computer Science and Engineering 2.2 Mạng neuron tích chập 2.1 Tổng quan Mạng neuron tích chập (Convolutional Neural Network) là một mạng neuron thường xuyên được sử dụng để nhận dạng và phân loại ảnh. Về cơ bản, mạng neuron này cũng giống các mạng neural network khác, nhưng có một vài cải tiến là Convolutional và Pooling 2.2 Convolutional Layer - Tầng tích chập Tầng tích chập là cốt lõi của mạng neuron tích chập.

Tầng này giống với những mạng khác là hidden layer, nhưng khác ở chỗ tầng tích chập là một tập các feature map (ma trận đặc tính) - là một bản scan của input nhưng đã được trích xuất ra các đặc tính cụ thể. Để có thể trích xuất được các đặc tính đấy, tầng tích chập sử dụng kernel (nhân) để quét ma trận input, từ trái qua phải và từ trên xuống dưới. Tại mỗi ô quét được, mạng sẽ nhân tương ứng từng giá trị của input và từng giá trị của kernel và lấy tổng, đưa qua activation function như ReLU, sigmoid,. Kết quả sẽ là một số cụ thể, và tập hợp các số này trên các lần quét sẽ được một feature map.4 minh họa một bước để trích xuất feature map.4: Cách thức lấy feature map bằng kernel Luận văn tốt nghiệp Trang 15/47 Ho Chi Minh University of Technology Faculty of Computer Science and Engineering 2.3 Stride và Padding Hai phương pháp stride và padding này thường được sử dụng để giảm hoặc thay đổi kích cỡ của feature map sau bước convolution.

Stride là khoảng cách giữa hai kernel khi quét. Đối với stride = 1, kernel sẽ quét 2 ô cạnh nhau trên input. Nhưng với stride = 2, kernel sẽ quét ô số 1 và 3, bỏ qua ô số 2, và tương tự nếu stride = 3, kernel sẽ quét ô số 1 và 4, bỏ qua ô 2 và 3. Padding, hay zero-padding, là việc bọc thêm một ô 0 xung quanh input, sau đó mới áp dụng quét.