I. Tổng Quan Về Xử Lý Dữ Liệu Đa Ngành Giới Thiệu Chung
Nhập dữ liệu tự động ngày càng thu hút sự chú ý và đầu tư nghiên cứu do tính ứng dụng rộng rãi và hiệu quả cao. Trong đó, khử nhiễu, khử nghiêng và phân vùng ảnh đóng vai trò quan trọng. Chức năng chính là chính xác hóa ảnh, tách các vùng nhập thông tin, tách chữ viết tay ra khỏi khung điền thông tin để làm đầu vào cho module nhận dạng chữ. Luận văn này trình bày phương pháp sử dụng “cấu trúc các chấm nhỏ” để tạo ra các khung điền thông tin. Phương pháp này có nhiều ưu điểm như không cần thiết kế biểu mẫu có màu sắc mà vẫn tách được ký tự chữ viết tay ra khỏi khung điền, dễ dàng tách phần chữ viết tay ra khỏi khung điền một cách nhanh chóng và dễ dàng bằng các thuật toán xử lý ảnh đơn giản, đặc biệt trong các trường hợp chữ viết tay đè lên khung. Chi phí xử lý biểu mẫu thấp và không cần biết trước vị trí logic của các khung điền chữ và tìm cách xử lý tự động các ký tự trong khung.
1.1. Bài Toán Nhập Dữ Liệu Tự Động Đa Ngành
Trong thực tế, công việc nhập dữ liệu chiếm một chi phí khá lớn do khối lượng dữ liệu phải nhập và công sức bỏ ra để đảm bảo việc nhập có độ chính xác cao. Vì thế từ lâu vấn đề nhập liệu tự động đã được đầu tư nhiều. Nguồn dữ liệu phổ biến nhất là các văn bản trên giấy, do đó giải pháp chủ yếu là phải lấy ảnh và nhận dạng. Nhận dạng là bài toán đã xuất hiện khá lâu và đã đạt được nhiều thành tựu to lớn. Tuy nhiên nhận dạng một văn bản bất kỳ bao gồm cả các văn bản có lẫn chữ viết tay hay hình ảnh luôn là một bài toán khó và hiện nay vẫn chưa thật sự có giải pháp hoàn chỉnh.
1.2. Ứng Dụng Nhận Dạng Văn Bản Đa Ngành Hiện Nay
Trên thế giới, hiện đã có nhiều ứng dụng liên quan đến vấn đề nhận dạng văn bản hay nhập dữ liệu tự động. Có thể kể đến như sản phẩm FineReader, Scan To Office của hãng ABBYY, Smart scan Xpress của Pegasus Image, các ứng dụng chấm thi tự động… Ở Việt Nam cũng đã có các ứng dụng nhận dạng văn bản như VNdocR của Viện Công nghệ Thông tin hay ImageScan của CardPro. Đây là các ứng dụng nhận dạng chữ in. Việc nhận dạng chữ viết tay đang còn là một thách thức. Một số nghiên cứu về nhận dạng chữ viết tay đã được thực hiện tại Viện CNTT và Bộ môn Công nghệ Phần mềm. Tuy nhiên các ứng dụng này hiện vẫn còn rất nhiều hạn chế do khả năng nhận dạng chữ viết tay chưa đạt được độ chính xác cần thiết để có thể áp dụng rộng rãi trên thực tế.
II. Thách Thức Trong Xử Lý Dữ Liệu Biểu Mẫu Đa Ngành
Có hai đối tượng văn bản cần nhận dạng có đặc trưng khác nhau đòi hỏi có các phương pháp xử lý khác nhau. Đó là nhận dạng văn bản phi cấu trúc và nhận dạng văn bản kiểu biểu mẫu với các dữ liệu chữ được sắp xếp trong những vùng xác định. Cùng với sự phát triển của công nghệ xử lý ảnh hiện nay, các thuật toán nhận dạng ngày càng chính xác và đưa ra được các kết quả đáng tin cậy. Ngay cả đối với chữ viết tay cũng có thể đạt được độ chính xác cao với điều kiện là chỉ nhận dạng từng chữ riêng biệt và chữ viết đẹp. Tuy nhiên, các biểu mẫu nhập liệu là kiểu văn bản có cấu trúc và ta có thể đưa ra một số quy tắc ràng buộc để tăng độ chính xác cho việc nhận dạng - chẳng hạn như: các chữ được viết riêng rẽ trên các ô riêng biệt của các vùng nhập liệu.
2.1. Khó Khăn Trong Nhận Dạng Chữ Viết Tay Đa Ngành
Việc nhận dạng chữ viết không cần thiết phải tiến hành trên toàn bộ ảnh của tài liệu mà chỉ giới hạn ở những vùng nhập dữ liệu. Đặc điểm này cũng cho phép ta tiếp cận bài toán một cách có hiệu quả hơn, chẳng hạn có thể sử dụng các thông tin sẵn có từ thiết kế biểu mẫu làm tham số nhận dạng. Một khía cạnh khác của nhận dạng biểu mẫu tài liệu là các dữ liệu nhận dạng được của mỗi vùng của biểu mẫu sẽ phải được tự động gán vào một trường dữ liệu xác định của ứng dụng. Luận văn này chỉ giới hạn tập trung trình bày về quá trình nhận dạng các vùng dữ liệu, trích chọn ra chữ viết tay để đưa vào module nhận dạng chữ tiếng Việt.
2.2. Yêu Cầu Tự Động Hóa Gán Nhãn Dữ Liệu Đa Ngành
Cần có khả năng tự động gán nhãn dữ liệu sau khi nhận dạng vào các trường dữ liệu tương ứng trong ứng dụng. Điều này đòi hỏi sự kết hợp giữa các kỹ thuật nhận dạng và các quy tắc logic được định nghĩa trước cho từng loại biểu mẫu. Việc này giúp giảm thiểu công sức và thời gian cho việc nhập liệu thủ công, đồng thời tăng độ chính xác của dữ liệu.
III. Hướng Dẫn Xử Lý Biểu Mẫu Động Giải Pháp Đột Phá
Luận văn đề xuất sử dụng “biểu mẫu động” và các thuật toán xử lý trên biểu mẫu động, bao gồm xác định các khung điền thông tin, tách chữ viết tay ra khỏi khung điền, mã hóa thông tin vào khung điền, giải mã các thông tin từ khung điền dựa vào cấu trúc các điểm nhỏ. Thêm vào đó, luận văn cũng đề xuất một số thuật toán hỗ trợ để nâng cao tỉ lệ nhận dạng đúng. Các giải pháp thực nghiệm bao gồm các công việc cụ thể như sau: Các thuật toán xử lý biểu mẫu động: Thuật toán xác định các khung điền thông tin. Thuật toán tách chữ viết tay ra khỏi khung điền thông tin và ngược lại.
3.1. Khái Niệm Biểu Mẫu Động Trong Xử Lý Dữ Liệu
Biểu mẫu động là loại biểu mẫu mà cấu trúc của nó có thể thay đổi tùy thuộc vào dữ liệu được nhập vào. Điều này cho phép biểu mẫu thích ứng với nhiều tình huống khác nhau và giảm thiểu số lượng biểu mẫu cần thiết. Việc xử lý biểu mẫu động đòi hỏi các thuật toán linh hoạt và có khả năng nhận diện các thành phần của biểu mẫu một cách tự động.
3.2. Thuật Toán Tách Chữ Viết Tay Khỏi Khung Điền
Thuật toán này sử dụng các kỹ thuật xử lý ảnh như phép toán hình thái, phân tích thành phần liên thông để tách chữ viết tay ra khỏi khung điền. Mục tiêu là loại bỏ khung điền mà vẫn giữ lại thông tin chữ viết tay để đưa vào module nhận dạng chữ. Thuật toán cần phải xử lý được các trường hợp chữ viết tay đè lên khung điền.
3.3. Mã Hóa và Giải Mã Thông Tin Trong Biểu Mẫu Động
Việc mã hóa thông tin vào khung điền và giải mã thông tin từ khung điền dựa vào cấu trúc các điểm nhỏ là một phương pháp độc đáo được đề xuất trong luận văn. Phương pháp này cho phép biểu mẫu động lưu trữ thông tin một cách hiệu quả và dễ dàng truy xuất. Các thuật toán mã hóa và giải mã cần phải đảm bảo tính chính xác và bảo mật của thông tin.
IV. Ứng Dụng Thực Tiễn Xử Lý Dữ Liệu Đa Ngành Thử Nghiệm
Các thuật toán nâng cao độ chính xác: Thuật toán bó biên. Thuật toán chỉnh độ nghiêng dựa vào phép chiếu. Thuật toán chỉnh độ nghiêng dựa vào đường thẳng dày. Thử nghiệm - Thử nghiệm độ chính xác của các thuật toán. - Đánh giá kết quả, hiệu quả của thuật toán và nhận xét. Bài toán con được thực hiện trong khóa luận này là bài toán phân vùng ảnh và tách ra được các chữ viết tay để phục vụ cho module nhận dạng chữ viết tay.
4.1. Thử Nghiệm Độ Chính Xác Của Thuật Toán
Thực hiện thử nghiệm trên nhiều mẫu biểu mẫu động khác nhau để đánh giá độ chính xác của các thuật toán đã đề xuất. Các thử nghiệm cần phải bao gồm các trường hợp khác nhau về độ nghiêng, độ nhiễu, kiểu chữ viết tay để đánh giá khả năng hoạt động của thuật toán trong các điều kiện thực tế.
4.2. Đánh Giá Hiệu Quả và Nhận Xét Kết Quả
Phân tích kết quả thử nghiệm để đánh giá hiệu quả của các thuật toán đã đề xuất. So sánh kết quả với các phương pháp khác để xác định ưu điểm và nhược điểm của phương pháp đề xuất. Đưa ra các nhận xét về khả năng ứng dụng của phương pháp trong thực tế.
V. Tổng Kết và Hướng Phát Triển Xử Lý Dữ Liệu Đa Năng
Nắm bắt được khó khăn cũng như những đặc trưng của bài toán này, chúng tôi đã áp dụng một giải pháp mới, đó là sử dụng biểu mẫu động, có độ chính xác cao trong việc tiền xử lý biểu mẫu, phân vùng và tách ra được các chữ viết tay để nhận dạng. Với nội dung chính là trình bày những lý thuyết cơ bản về tiền xử lý ảnh, phân vùng ảnh khóa luận được tổ chức như sau: Chương 1: Tổng quan Phần đầu của chương giới thiệu về bài toán nhập dữ liệu tự động nói chung: tình hình Việt Nam và thế giới, các thành tựu đã đạt được trong lĩnh vực nhận dạng chữ viết, những khó khăn cũng như các đặc trưng của bài toán nhận dạng biểu mẫu nhập dữ liệu so với các bài toán nhận dạng khác.
5.1. Kết Quả Đạt Được và Hạn Chế Cần Khắc Phục
Tổng kết lại những kết quả đã đạt được trong quá trình nghiên cứu và thử nghiệm. Nêu ra những hạn chế còn tồn tại và cần được khắc phục trong tương lai. Đề xuất các hướng nghiên cứu tiếp theo để nâng cao hiệu quả của phương pháp.
5.2. Hướng Nghiên Cứu Phát Triển Trong Tương Lai
Đề xuất các hướng nghiên cứu tiếp theo để nâng cao hiệu quả của phương pháp xử lý biểu mẫu động. Các hướng nghiên cứu có thể bao gồm: Nghiên cứu các thuật toán nhận dạng chữ viết tay tiên tiến hơn, Nghiên cứu các phương pháp mã hóa và giải mã thông tin hiệu quả hơn, Nghiên cứu các ứng dụng thực tế của phương pháp trong các lĩnh vực khác nhau.
VI. Các Phương Pháp Phân Vùng Ảnh và Khử Nghiêng Tổng Quan
Chương hai trình bày về các phương pháp phân vùng ảnh, khử nghiêng, các khái niệm và tầm quan trọng của khử nghiêng và phân vùng ảnh trong nhận dạng biểu mẫu. Chương này cũng xác định các ưu nhược điểm và phạm vi áp dụng của mỗi phương pháp để từ đó lựa chọn giải pháp thích hợp. Biểu mẫu văn bản (Form document) là một loại văn bản “có mục đích”, được sử dụng rất rộng rãi trong cuộc sống hàng ngày của chúng ta. Ví dụ, hàng triệu các phiên giao dịch tài chính được thực hiện hàng ngày cùng với sự xuất hiện của biểu mẫu văn bản như là các loại séc, giấy tờ thanh toán.Với thể loại văn bản này, chúng ta có thể sử dụng các phương pháp riêng biệt để hiểu về nó.
6.1. Tổng Quan Về Xử Lý Biểu Mẫu Văn Bản
Biểu mẫu văn bản là một loại văn bản có cấu trúc được thiết kế để thu thập thông tin theo một định dạng nhất định. Việc xử lý biểu mẫu văn bản bao gồm các bước như: Nhận dạng biểu mẫu, Phân vùng ảnh, Khử nghiêng, Tách chữ viết tay, Nhận dạng chữ viết tay, Gán nhãn dữ liệu.
6.2. Các Đặc Trưng Của Biểu Mẫu Văn Bản
Biểu mẫu có một số đặc trưng như sau: Nhìn chung, biểu mẫu bao gồm nhiều đoạn thẳng mà có khung hướng theo chiều ngang hoặc theo chiều dọc. Những thông tin cần lấy từ biểu mẫu thường là các thông tin được điền vào. Các vị trí điền thông tin có thể được xác định thông qua các đường thẳng được nhận dạng. Các chữ trong biểu mẫu thường là: tập hợp các chữ in máy, tập hợp các chữ in được viết bằng tay và tập hợp các chữ viết tay. Các kiểu chữ này có thể được nhận dạng thông qua các kỹ thuật nhận dạng chữ viết tay.
