Nghiên cứu giải pháp tách bảng và ảnh trong phân tích trang tài liệu luận văn thạc sĩ

Luận văn thạc sĩ kỹ thuật phân tích vnu uet nghiên cứu giải pháp tách bảng tách ảnh trong phân tích trang tài liệu luận văn ths công, đánh giá thực trạng, chỉ ra hạn chế, đề xuất

• Tác giả: Tô Văn Khánh
• Người hướng dẫn: PGS TS. Ngô Quốc Tạo
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ
• Đề tài: Nghiên Cứu Giải Pháp Tách Bảng Và Ảnh Trong Phân Tích Tài Liệu
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2007
• Địa điểm: Hà Nội

Mục lục chi tiết

• MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN HỆ PHÂN TÍCH TÀI LIỆU ẢNH
• 1.1. Giới thiệu chung một hệ phân tích trang tài liệu
• 1.2. Thu nhận ảnh (Data Capture)
• 1.3. Bước xử lý điểm ảnh (Pixel – level processing)
• 1.4. Phương pháp nhị phân (Binarization)
• 1.5. Làm mảnh và xác định vùng (Thinning and region detection)
• 1.6. Mã hóa CC và véctơ hóa (Chain coding and vectorization)
• 1.7. Bước phân tích các đặc trưng của tài liệu ảnh (Feature – level analysis)
• 1.8. Phân tích các đối tượng văn bản trong tài liệu
• 1.9. Ước lượng độ nghiêng của văn bản
• 1.10. Phân tích sơ đồ trình bày của trang tài liệu (Layout analysis)
• 1.11. Nhận dạng ký tự quang học (OCR)
• 1.12. Phương pháp
• 1.13. Trích chọn đặc trưng
• 1.14. Nhận dạng ký tự dựa trên ngữ cảnh
• 1.15. Phân tích các đối tượng ảnh trong tài liệu
• 1.16. Kết luận chương
• 2. CHƯƠNG 2: THUẬT TOÁN TÁCH VĂN BẢN - ẢNH TỪ TRANG TÀI LIỆU ẢNH
• 2.1. Những đặc trưng chung của một tệp tài liệu ảnh
• 2.2. Thuật toán phân tách văn bản - ảnh
• 2.3. Xoá bỏ các đối tượng tuyến tính (đường thẳng)
• 2.4. Phân tích các thành phần liên thông của nét bút
• 2.5. Kết hợp các nét ký tự tạo thành các chuỗi văn bản
• 2.6. Thực hiện các phép toán hình thái
• 2.7. Phân tích các thành phần liên thông mới (NCCs)
• 2.8. Biểu diễn cấu trúc thông tin của các chuỗi văn bản
• 2.9. Thiết lập các tham số
• 2.10. Kết luận chương
• 3. CHƯƠNG 3: THUẬT TOÁN TÁCH BẢNG T-RECS
• 3.1. Thuật toán phân đoạn khởi tạo
• 3.2. Trường hợp thuật toán nhận dạng sai cột
• 3.3. Cải tiến các bước của thuật toán phân đoạn khởi tạo - T-Recs++
• 3.4. Những ưu điểm của thuật toán. Những mặt hạn chế của thuật toán khởi tạo
• 3.5. Các bước xử lý khối sau khi phân đoạn
• 3.6. Trộn các khối phân đoạn sai
• 3.7. Phân tách các cột bị trộn vào một khối
• 3.8. Nhóm các từ bị phân tách
• 3.9. Phân tích khối
• 3.10. Khối loại 2 nằm cùng với khối loại 1
• 3.11. Xác định cấu trúc các cột, hàng
• 3.12. Kết luận chương
• 4. CHƯƠNG 4: THỰC NGHIỆM
• 4.1. Nhận dạng đối tượng ảnh
• 4.2. Mô tả chương trình
• 4.3. Một số kết quả thử nghiệm
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về nghiên cứu giải pháp tách bảng và ảnh trong phân tích tài liệu

Nghiên cứu giải pháp tách bảng và ảnh trong phân tích tài liệu là một lĩnh vực quan trọng trong công nghệ thông tin. Việc tách biệt các thành phần như bảng và ảnh giúp cải thiện khả năng truy xuất và xử lý thông tin. Các hệ thống phân tích tài liệu hiện đại cần phải có khả năng nhận diện và phân loại các đối tượng khác nhau trong tài liệu ảnh. Điều này không chỉ giúp tiết kiệm thời gian mà còn nâng cao độ chính xác trong việc xử lý dữ liệu.

1.1. Giới thiệu về phân tích tài liệu và tách bảng

Phân tích tài liệu là quá trình trích xuất thông tin từ các tài liệu ảnh. Tách bảng là một phần quan trọng trong quá trình này, giúp nhận diện cấu trúc bảng và các ô dữ liệu. Việc này cho phép người dùng dễ dàng truy cập và chỉnh sửa thông tin trong bảng.

1.2. Vai trò của công nghệ OCR trong tách ảnh

Công nghệ Nhận dạng Ký tự Quang học (OCR) đóng vai trò quan trọng trong việc tách ảnh và văn bản. OCR giúp chuyển đổi các tài liệu ảnh thành định dạng có thể chỉnh sửa, từ đó nâng cao khả năng truy xuất thông tin.

II. Vấn đề và thách thức trong tách bảng và ảnh

Mặc dù có nhiều tiến bộ trong công nghệ, việc tách bảng và ảnh vẫn gặp phải nhiều thách thức. Các tài liệu có cấu trúc phức tạp, độ phân giải thấp hoặc chất lượng hình ảnh kém có thể gây khó khăn trong việc nhận diện chính xác. Ngoài ra, sự đa dạng trong định dạng tài liệu cũng là một vấn đề lớn.

2.1. Các vấn đề thường gặp trong phân tích tài liệu

Các vấn đề như độ nghiêng của tài liệu, độ phân giải thấp và sự không đồng nhất trong định dạng có thể làm giảm hiệu quả của các thuật toán phân tích. Điều này đòi hỏi các giải pháp cải tiến liên tục.

2.2. Thách thức trong việc nhận diện bảng và ảnh

Việc nhận diện bảng và ảnh trong tài liệu phức tạp là một thách thức lớn. Các thuật toán hiện tại vẫn chưa hoàn toàn chính xác trong việc phân tách các đối tượng, đặc biệt là khi chúng nằm gần nhau.

III. Phương pháp tách bảng hiệu quả trong phân tích tài liệu

Để giải quyết các vấn đề trong tách bảng và ảnh, nhiều phương pháp đã được phát triển. Các thuật toán như T-Recs và các cải tiến của nó đã cho thấy hiệu quả trong việc nhận diện cấu trúc bảng. Việc áp dụng các kỹ thuật học máy cũng đang được nghiên cứu để nâng cao độ chính xác.

3.1. Thuật toán T Recs trong tách bảng

Thuật toán T-Recs là một trong những phương pháp nổi bật trong việc tách bảng. Nó sử dụng các kỹ thuật phân đoạn để nhận diện các cột và hàng trong bảng, từ đó cải thiện độ chính xác trong việc trích xuất dữ liệu.

3.2. Cải tiến thuật toán T Recs

Thuật toán T-Recs++ được cải tiến để khắc phục những hạn chế của T-Recs. Nó cho phép nhận diện chính xác hơn các cấu trúc bảng phức tạp và xử lý các trường hợp ngoại lệ hiệu quả hơn.

IV. Ứng dụng thực tiễn của giải pháp tách bảng và ảnh

Giải pháp tách bảng và ảnh có nhiều ứng dụng thực tiễn trong các lĩnh vực như giáo dục, y tế và quản lý tài liệu. Việc áp dụng công nghệ này giúp tiết kiệm thời gian và nâng cao hiệu quả trong việc xử lý thông tin.

4.1. Ứng dụng trong giáo dục

Trong giáo dục, việc tách bảng và ảnh giúp chuyển đổi tài liệu học tập từ dạng giấy sang dạng điện tử, từ đó tạo điều kiện cho việc học tập và nghiên cứu hiệu quả hơn.

4.2. Ứng dụng trong y tế

Trong lĩnh vực y tế, việc tách bảng và ảnh từ hồ sơ bệnh án giúp cải thiện khả năng truy cập thông tin và hỗ trợ quyết định điều trị nhanh chóng và chính xác.

V. Kết luận và tương lai của nghiên cứu tách bảng và ảnh

Nghiên cứu về giải pháp tách bảng và ảnh trong phân tích tài liệu đang tiếp tục phát triển. Các công nghệ mới như học sâu và trí tuệ nhân tạo hứa hẹn sẽ mang lại những bước tiến lớn trong lĩnh vực này. Tương lai của phân tích tài liệu sẽ ngày càng trở nên thông minh và hiệu quả hơn.

5.1. Hướng nghiên cứu trong tương lai

Các nghiên cứu trong tương lai sẽ tập trung vào việc cải thiện độ chính xác của các thuật toán tách bảng và ảnh, đồng thời phát triển các ứng dụng mới trong nhiều lĩnh vực khác nhau.

5.2. Tác động của công nghệ mới

Công nghệ mới như học sâu và trí tuệ nhân tạo sẽ có tác động lớn đến khả năng nhận diện và phân tích tài liệu, mở ra nhiều cơ hội mới cho việc xử lý thông tin.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển mạnh mẽ của công nghệ máy tính và lưu trữ số liệu, việc xử lý và phân tích tài liệu ảnh trở thành một nhu cầu cấp thiết. Theo ước tính, phần lớn các tài liệu giấy truyền thống vẫn chưa được số hóa, dẫn đến chi phí duy trì và khai thác thông tin rất lớn. Luận văn tập trung nghiên cứu giải pháp tách bảng và tách ảnh trong phân tích trang tài liệu ảnh, nhằm chuyển đổi tài liệu giấy thành dạng dữ liệu có cấu trúc, dễ dàng truy xuất và chỉnh sửa trên máy tính. Mục tiêu cụ thể là phát triển thuật toán phân tách chính xác các đối tượng bảng và ảnh trong tài liệu ảnh hỗn hợp, bao gồm văn bản, hình vẽ, sơ đồ và bảng biểu. Phạm vi nghiên cứu tập trung vào tài liệu ảnh kỹ thuật và văn phòng, với các thử nghiệm thực tế tại một số địa phương và tài liệu kỹ thuật số được quét từ giấy. Ý nghĩa của nghiên cứu được thể hiện qua việc nâng cao độ chính xác nhận dạng, giảm thiểu lỗi phân tách, từ đó cải thiện hiệu quả lưu trữ, tìm kiếm và xử lý tài liệu số trong các lĩnh vực như thư viện, chính phủ, y tế và doanh nghiệp.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình sau:

• Phân tích tài liệu ảnh (Document Image Analysis): Bao gồm các bước thu nhận ảnh, xử lý điểm ảnh, trích chọn đặc trưng và nhận dạng đối tượng văn bản, ảnh.
• Nhận dạng ký tự quang học (OCR): Phương pháp nhận dạng ký tự dựa trên trích chọn đặc trưng và phân loại, kết hợp xử lý ngữ cảnh để sửa lỗi.
• Thuật toán phân tách văn bản - ảnh dựa trên thành phần liên thông (Connected Components - CCs): Phân tích các thành phần liên thông để phân biệt văn bản và ảnh dựa trên đặc trưng kích thước, độ đậm nét, tỉ lệ chiều rộng/chiều cao.
• Thuật toán nhận dạng bảng T-Recs và cải tiến T-Recs++: Phương pháp tiếp cận dưới lên (bottom-up) để phân đoạn và nhận dạng cấu trúc bảng trong tài liệu ảnh, không phụ thuộc vào đường kẻ hay khoảng trắng phân cách.

Các khái niệm chính bao gồm: thành phần liên thông (CCs), thành phần tuyến tính (LC), tỉ lệ độ đậm nét (LSD), phép toán hình thái (dilation, erosion, opening, closing), phép chiếu nghiêng (projection profile), và mã hóa chuỗi (Chain Code).

Phương pháp nghiên cứu

Nguồn dữ liệu nghiên cứu là các tài liệu ảnh kỹ thuật và văn phòng được quét với độ phân giải cao (khoảng 2400 x 3600 điểm ảnh cho trang 20x30 cm). Cỡ mẫu thử nghiệm gồm hàng trăm trang tài liệu hỗn hợp văn bản, bảng biểu và ảnh minh họa. Phương pháp chọn mẫu dựa trên tính đại diện của tài liệu kỹ thuật và văn phòng phổ biến.

Phân tích dữ liệu sử dụng các bước:

• Tiền xử lý ảnh: nhị phân hóa, giảm nhiễu bằng phép toán hình thái.
• Phân đoạn thành phần liên thông và phân loại dựa trên đặc trưng kích thước, tỉ lệ, độ đậm.
• Áp dụng thuật toán tách văn bản - ảnh dựa trên quy tắc và phép toán hình thái.
• Nhận dạng cấu trúc bảng bằng thuật toán T-Recs++ với các bước phân đoạn khởi tạo, xử lý khối và phân tích cấu trúc cột, dòng, ô.
• Đánh giá kết quả bằng các chỉ số độ chính xác phân tách, tỷ lệ lỗi nhận dạng, so sánh với các phương pháp trước đây.

Timeline nghiên cứu kéo dài trong khoảng 12 tháng, bao gồm giai đoạn thu thập dữ liệu, phát triển thuật toán, thử nghiệm và đánh giá.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả phân tách văn bản - ảnh: Thuật toán phân tách dựa trên phân tích thành phần liên thông và phép toán hình thái đạt độ chính xác phân tách trên 92% trên bộ dữ liệu thử nghiệm, vượt trội so với các phương pháp truyền thống chỉ đạt khoảng 85-88%. Thuật toán có khả năng xử lý tốt các trường hợp văn bản tiếp xúc với ảnh và nhận dạng ký tự Trung Quốc.

2. Cải tiến thuật toán T-Recs++ trong nhận dạng bảng: Thuật toán cải tiến T-Recs++ khắc phục được các hạn chế của T-Recs gốc, đặc biệt trong việc nhận dạng chính xác các cột bị trộn lẫn và các ô chiếm nhiều dòng. Tỷ lệ nhận dạng cấu trúc bảng chính xác đạt khoảng 90%, tăng 7% so với thuật toán gốc.

3. Tác động của tham số Hav (độ cao trung bình ký tự): Việc thiết lập tham số Hav giúp tự động điều chỉnh các ngưỡng phân tách, làm tăng tính linh hoạt và hiệu quả của thuật toán trên các tài liệu có kích thước ký tự khác nhau. Tham số này ảnh hưởng trực tiếp đến độ chính xác phân tách, với sai số dưới 3% khi Hav thay đổi trong khoảng hợp lý.

4. Khả năng xử lý các trường hợp ngoại lệ: Thuật toán xử lý tốt các trường hợp ký tự nối liền, các đường kẻ nghiêng ±22.5 độ, và các đối tượng ảnh phức tạp như sơ đồ kỹ thuật, hình vẽ máy móc. Tuy nhiên, một số lỗi nhận dạng vẫn xảy ra khi độ đậm nét của ảnh quá cao hoặc văn bản quá mờ.

Thảo luận kết quả

Nguyên nhân chính giúp thuật toán đạt hiệu quả cao là do việc kết hợp phân tích thành phần liên thông với các phép toán hình thái và quy tắc phân loại dựa trên đặc trưng hình học và độ đậm nét. So với các nghiên cứu trước đây, phương pháp này không chỉ dựa vào khoảng trắng hay đường kẻ mà còn khai thác sâu đặc trưng nội tại của từng đối tượng, giúp giảm thiểu sai sót khi văn bản và ảnh tiếp xúc.

Kết quả nhận dạng bảng bằng T-Recs++ cho thấy phương pháp tiếp cận dưới lên (bottom-up) hiệu quả trong việc xây dựng cấu trúc bảng từ các từ và khối văn bản, không phụ thuộc vào sự hiện diện của đường kẻ phân cách. Điều này phù hợp với các tài liệu kỹ thuật có cấu trúc bảng phức tạp hoặc không đồng nhất.

Dữ liệu có thể được trình bày qua biểu đồ so sánh độ chính xác phân tách văn bản - ảnh giữa các phương pháp, bảng thống kê tỷ lệ nhận dạng cấu trúc bảng của T-Recs và T-Recs++, cũng như biểu đồ ảnh hưởng của tham số Hav đến hiệu quả thuật toán.

Đề xuất và khuyến nghị

1. Tối ưu hóa tham số Hav tự động: Phát triển phương pháp tự động tính toán Hav dựa trên phân tích histogram để giảm thiểu sự can thiệp thủ công, nâng cao tính tự động và độ chính xác của thuật toán trong các môi trường tài liệu đa dạng.

2. Cải tiến thuật toán xử lý các trường hợp ngoại lệ: Nghiên cứu thêm các kỹ thuật xử lý ảnh nâng cao để giảm thiểu lỗi nhận dạng khi độ đậm nét của ảnh quá cao hoặc văn bản bị mờ, như áp dụng các bộ lọc thích nghi hoặc học sâu.

3. Tăng tốc độ xử lý thuật toán: Áp dụng các kỹ thuật tối ưu hóa thuật toán và song song hóa trên phần cứng hiện đại để giảm thời gian xử lý, phù hợp với các ứng dụng thực tế có khối lượng tài liệu lớn.

4. Mở rộng ứng dụng cho các loại tài liệu đa ngôn ngữ và đa định dạng: Nghiên cứu mở rộng thuật toán để xử lý các tài liệu chứa ký tự đa ngôn ngữ, ký tự đặc biệt và các định dạng tài liệu phức tạp hơn như bản đồ, sơ đồ 3D.

Các giải pháp trên nên được thực hiện trong vòng 12-18 tháng, phối hợp giữa các nhóm nghiên cứu về xử lý ảnh, nhận dạng mẫu và phát triển phần mềm ứng dụng.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành xử lý ảnh và nhận dạng mẫu: Luận văn cung cấp nền tảng lý thuyết và thuật toán thực tiễn về phân tích tài liệu ảnh, giúp phát triển các nghiên cứu sâu hơn về OCR và nhận dạng cấu trúc tài liệu.

2. Chuyên gia phát triển phần mềm OCR và hệ thống quản lý tài liệu số: Các thuật toán và giải pháp được trình bày có thể ứng dụng trực tiếp trong phát triển các sản phẩm OCR, hệ thống lưu trữ và tìm kiếm tài liệu số.

3. Doanh nghiệp và tổ chức lưu trữ tài liệu kỹ thuật, văn phòng: Giúp nâng cao hiệu quả số hóa, phân loại và trích xuất thông tin từ tài liệu giấy, giảm chi phí và tăng tốc độ xử lý.

4. Cơ quan quản lý thư viện và lưu trữ quốc gia: Hỗ trợ trong việc số hóa kho tài liệu giấy lớn, bảo tồn và khai thác tri thức một cách hiệu quả, đặc biệt với các tài liệu kỹ thuật và văn bản đa dạng.

Câu hỏi thường gặp

1. Thuật toán phân tách văn bản - ảnh có áp dụng được cho tài liệu viết tay không?
   Thuật toán chủ yếu thiết kế cho tài liệu in và tài liệu kỹ thuật số quét, có thể gặp khó khăn với chữ viết tay do đặc trưng không đồng nhất. Tuy nhiên, với một số điều chỉnh và tiền xử lý, có thể cải thiện khả năng nhận dạng.

2. Làm thế nào để thiết lập tham số Hav phù hợp cho tài liệu mới?
   Có thể sử dụng phương pháp phân tích histogram điểm ảnh để ước lượng độ cao trung bình ký tự tự động, hoặc thiết lập thủ công dựa trên kích thước chữ phổ biến trong tài liệu.

3. Thuật toán T-Recs++ có thể nhận dạng bảng không có đường kẻ phân cách không?
   Có, T-Recs++ dựa trên phân cụm các từ trong cùng một khối logic, không phụ thuộc vào đường kẻ hay khoảng trắng, nên có thể nhận dạng cấu trúc bảng ngay cả khi không có đường kẻ rõ ràng.

4. Thuật toán có xử lý được các bảng có ô chiếm nhiều dòng không?
   T-Recs++ cải tiến đã xử lý tốt các trường hợp ô bảng chiếm nhiều dòng, nhờ các bước phân tích cấu trúc cột, dòng và ô chi tiết sau khi phân đoạn khởi tạo.

5. Có thể áp dụng thuật toán này cho tài liệu đa ngôn ngữ không?
   Thuật toán đã thử nghiệm với ký tự La tinh, Trung Quốc và ký tự đặc biệt, có thể mở rộng cho các ngôn ngữ khác với điều chỉnh tham số và bộ dữ liệu huấn luyện phù hợp.

Kết luận

• Luận văn đã phát triển thành công thuật toán phân tách văn bản - ảnh dựa trên phân tích thành phần liên thông và phép toán hình thái, đạt độ chính xác trên 92%.
• Thuật toán nhận dạng bảng T-Recs++ cải tiến giúp nhận dạng cấu trúc bảng phức tạp với độ chính xác khoảng 90%, vượt trội so với phương pháp trước.
• Việc sử dụng tham số Hav làm cơ sở thiết lập ngưỡng giúp thuật toán linh hoạt và thích ứng với nhiều loại tài liệu khác nhau.
• Thuật toán có khả năng xử lý các trường hợp văn bản tiếp xúc ảnh, ký tự Trung Quốc và các đối tượng ảnh phức tạp trong tài liệu kỹ thuật.
• Các bước tiếp theo bao gồm tối ưu hóa tham số tự động, cải tiến xử lý ngoại lệ và mở rộng ứng dụng cho tài liệu đa dạng hơn.

Để khai thác tối đa giá trị nghiên cứu, các nhà phát triển phần mềm và nhà nghiên cứu được khuyến khích áp dụng và tiếp tục cải tiến các thuật toán này trong các hệ thống quản lý tài liệu số hiện đại.

Trích đoạn nội dung tài liệu

Chương 1 trình bày ngắn gọn cấu trúc chung của một hệ phân tích tài liệu ảnh, bao gồm các thành phần chính như: lấy dữ liệu, xử lý điểm ảnh, trích chọn đặc trưng, nhận dạng đối tượng ảnh và nhận dạng văn bản. Chương 2 trình bày một bài toán điển hình trong nhận dạng đó là bài toán phân tách văn bản và ảnh một cách riêng rẽ. Trong chương này một thuật toán phân tách văn bản và ảnh cũng sẽ được trình bày dựa vào việc phân tích các thành phần liên thông (CCs). Chương 3 đưa ra một thuật toán nhận dạng bảng theo phương pháp tiếp cận dưới – lên (bottom – up).

Thuật toán được đề xuất bởi Thomas G .Kieninger (1998) [15] được đặt tên là T-Recs. Tuy nhiên để nhận dạng được chính xác các cấu trúc bảng thì thuật toán còn nhiều hạn chế. Luận văn sẽ chỉ ra trường hợp hạn chế của thuật toán và đề xuất thuật toán cải tiến T-Recs++. Cuối cùng chương 4 trình bày hai chương trình thử nghiệm: Nhận dạng đối tượng ảnh để tách các đối tượng ảnh ra khỏi trang tài liệu ảnh có lẫn văn bản và T-Recs++ dùng để nhận dạng bảng.

Phần kết luận nêu tóm tắt lại các vấn đề được đưa ra trong luận văn và đưa ra những vấn đề còn tồn tại để nâng cao tính hiệu quả của những thuật toán. Các hướng giải quyết và nghiên cứu trong tương lai đối với những phương pháp này cũng sẽ được đưa ra. Thuật toán T-Recs++ trình bày trong chương 3 được công bố trong báo cáo [1]. Ngoài bốn chương chính và phần kết luận, luận văn còn có thêm các danh mục bao gồm: danh mục các từ viết tắt, danh mục bảng biểu, danh mục hình vẽ và tài liệu tham khảo để thuận tiện cho việc đọc và tìm hiểu nội dung của luận văn.

9 LUAN VAN CHAT LUONG download : add [e-mail] CHƢƠNG 1 TỔNG QUAN HỆ PHÂN TÍCH TÀI LIỆU ẢNH 1. Giới thiệu chung một hệ phân tích trang tài liệu Một hệ phân tích tài liệu ảnh nói đến một hệ thống bao gồm những thuật toán và các kỹ thuật mà có thể áp dụng cho các tài liệu ảnh để lấy ra được các thông tin mà máy tính có thể đọc được và hiểu được từ các điểm dữ liệu ảnh [3]. Một sản phẩm phân tích tài liệu ảnh mà nhiều người biết đến đó là phần mềm Nhận dạng ký tự quang học (OCR), phần mềm có khả năng nhận dạng các ký tự từ các loại tài liệu dưới dạng ảnh. OCR giúp người dùng có khả năng soạn thảo và tìm kiếm nội dung của tài liệu.

Chương này sẽ mô tả tóm tắt các thành phần chính có trong một hệ phân tích tài liệu. Mục đích của một hệ phân tích tài liệu là có khả năng nhận dạng ra các đối tượng văn bản, đối tượng ảnh trong tài liệu ảnh và có khả năng trích chọn ra được các thông tin mà người dùng mong muốn. Chúng ta có thể chia một hệ phân tích tài liệu thành hai phần (Hình 1). Phần thứ nhất là xử lý văn bản, liên quan đến việc xử lý các đối tượng văn bản: ký tự, chuỗi ký tự, các từ.

Xử lý văn bản bao gồm các công việc sau: xác định độ nghiêng của tài liệu (độ nghiêng hay độ xiên của tài liệu ảnh do tài liệu được đặt không đúng khi thực hiện quét vào từ máy quét), tìm các cột, các đoạn văn bản, các dòng văn bản, các từ và cuối cùng là nhận dạng văn bản (có thể thêm các thuộc tính như loại phông chữ, kích thước của phông chữ) bởi phương pháp nhận dạng ký tự quang học (OCR). Phần thứ hai là xử lý các đối tượng ảnh là các đối tượng tạo ra từ các đường kẻ trong sơ đồ, các đường kẻ phân tách giữa các đoạn văn bản, các hình vẽ, các lôgô của công ty… Sau khi áp dụng các kỹ thuật phân tích ảnh và văn bản, các đối tượng cần nhận dạng trong tài liệu ảnh được trích ra và được biểu diễn dưới dạng một tài liệu định dạng khác, chẳng hạn như word, html… Chúng ta có thể xem xét 3 ví dụ cụ thể được chỉ ra dưới đây để thấy được sự cần thiết của việc phân tích tài liệu: 1) Phần lớn các tài liệu văn bản trong văn phòng làm việc đều được tạo ra từ máy tính, và thậm chí chúng được tạo ra bởi các máy tính, phần mềm khác nhau, và do đó có thể định dạng của chúng là không tương thích với nhau. Chúng có thể bao gồm các định dạng văn bản, các bảng dữ liệu và cũng có 10 LUAN VAN CHAT LUONG download : add [e-mail] thể là các văn bản viết bằng tay. Chúng có kích thước khác nhau, có thể từ một tấm thẻ doanh nghiệp đến một ảnh vẽ kỹ thuật lớn.

Một hệ phân tích tài liệu sẽ giúp nhận dạng các loại tài liệu, có khả năng trích chọn ra được các phần chức năng và có khả năng chuyển từ một định dạng máy tính này sang một định dạng khác. 2) Một thí dụ khác là các máy phân loại thư tự động dùng để phân loại, sắp xếp thư và nhận dạng địa chỉ thư. Những máy này đã có từ những thập kỷ trước, nhưng ngày nay yêu cầu cao hơn đó là xử lý nhiều thư hơn, nhanh hơn và yêu cầu chính độ xác cao hơn. 3) Hơn thế nữa trong những thư viện cổ điển trước đây (thư viện lưu trữ các loại sách báo dưới dạng giấy tờ, vẫn còn tồn tại nhiều), việc các tài liệu bị mất các thông tin, thiếu thông tin, số lượng bản sao hạn chế hay thậm chí các tài liệu bị thoái hoá theo thời gian là những vấn đề phổ biến.

Vì vậy chúng cần phải được khôi phục và chỉnh sửa bằmg những kỹ thuật phân tích tài liệu. Những ví dụ trên đã tạo ra thách thức và động lực cho sự phát triển những giải pháp trong tương lai của một hệ phân tích tài liệu. Xử lý tài liệu Xử lý văn bản Xử lý đối tượng ảnh Nhận dạng ký tự Phân tích cấu Xử lý Xử lý vùng và quang học - OCR trúc trang dòng biểu tượng Xác định độ nghiêng, Văn bản dòng văn bản, các khối Đường thẳng, Vùng được tô văn bản, các đoạn văn bản đường cong, góc Hình 1. Sơ đồ khối của việc xử lý tài liệu Các hệ phân tích tài liệu sẽ ngày càng phát triển và hiển nhiên là chúng sẽ có trong các hệ xử lý tài liệu.

Chẳng hạn như, hệ thống OCR sẽ được sử dụng rộng rãi để lưu trữ, tìm kiếm và trích dẫn từ các tài liệu lưu trữ trên giấy. Các kỹ thuật phân tích cách bố trí trong một trang tài liệu giúp nhận dạng những biểu mẫu (form) riêng biệt, hay định dạng của một trang tài liệu và cho phép sao lưu tài liệu đó. Các sơ đồ có thể được 11 LUAN VAN CHAT LUONG download : add [e-mail] đưa vào từ các bức ảnh hay vẽ bằng tay và có thể thay đổi, soạn thảo lại chúng. Sử dụng máy tính có thể chuyển các tài liệu viết bằng tay thành các tài liệu điện tử được lưu trữ trong máy tính.

Các tài liệu được lưu trữ trong các thư viện, các tài liệu kỹ thuật trong các công ty sẽ được chuyển đổi sang thành tài liệu điện tử nhằm nâng cao hiệu quả, thuận tiện trong việc lưu trữ và dễ dàng mang đến cơ quan hay mang về nhà. Mặc dù tài liệu sẽ ngày càng được xử lý và lưu trữ nhiều trong máy tính nhưng trên thực tế có rất nhiều các hệ thống khác nhau mà tài liệu giấy là phương tiện làm việc hiệu quả và chắc chắn rằng tài liệu giấy vẫn sẽ là phương tiện làm việc với chúng ta trong một vài thập kỷ nữa. Vấn đề ở đây là làm sao chúng ta tích hợp những tài liệu giấy vào trong máy tính xử lý. Trang tài liệu Lấy dữ liệu 107 điểm ảnh Xử lý điểm ảnh 7500 hình bao ký tự, mỗi ký tự có kích thước 15x20 điểm ảnh 500 đường kẻ và đường cong với độ dài từ 20 đến 2000 điểm ảnh 1000 vùng ảnh được tô với kích thước từ 20x20 đến 200x200 điểm ảnh Phân tích đặc trưng 500x5 đặc trưng của đường 7500x10 đặc thẳng và đường cong trưng của ký tự 10x5 đặc trưng vùng Phân tích và nhận Phân tích và nhận dạng văn bản dạng đối tượng ảnh 1500x10 ký tự, 10 Hai sơ đồ và 1 ảnh lô gô đoạn văn bản, 1 tiêu đề Mô tả tài liệu của công ty,.

chính và 2 tiêu đề phụ Hình 2. Các bước xử lý cho một hệ phân tích tài liệu, đi kèm sơ đồ là một thí dụ với các kết quả thu được từ từng bước. Hình 2 minh hoạ cho các bước xử lý chung của một hệ phân tích tài liệu [3]. Sau khi dữ liệu được tạo ra, tài liệu ảnh phải trải qua các bước xử lý điểm ảnh và phân tích 12 LUAN VAN CHAT LUONG download : add [e-mail] đặc trưng và sau đó tách ra từng phần nhận dạng văn bản và ảnh riêng rẽ.

Các phần sau sẽ mô tả ngắn gọn các bước xử lý trên. Thu nhận ảnh (Data Capture) Dữ liệu trong các tài liệu giấy thường được quét qua máy quét và đưa vào máy tính dưới dạng các tệp dữ liệu ảnh, chúng bao gồm các điểm ảnh (pixels) và mô hình giống như lưới các điểm ảnh. Giá trị điểm ảnh có thể là 0 và 1 trong ảnh nhị phân, 0 đến 255 trong ảnh đa cấp xám và ảnh màu với 3 giá trị R, G, B từ 0 đến 255. Ở độ phân giải thông thường thì có 120 điểm ảnh trong 1 centimet và với 1 trang có kích thước 20 x 30 cm thì tạo ra một ảnh với 2400 x 3600 điểm ảnh.

Do đó có thể thấy rằng một tài liệu ảnh chỉ bao bồm các dữ liệu thô (giá trị các điểm ảnh) và chúng sẽ được sử dụng những kỹ thuật phân tích thích hợp để lấy ra được các thông tin cần thiết. Bƣớc xử lý điểm ảnh (Pixel – level processing) Bước tiếp theo trong một hệ phân tích tài liệu là thực hiện một số thao tác xử lý trên tài liệu ảnh thu được để chuẩn bị cho những bước phân tích sau này. Chẳng hạn như các thao tác: chọn ngưỡng để chuyển ảnh đa cấp xám hay ảnh màu về dạng ảnh nhị phân, giảm nhiễu để loại bỏ những dữ liệu không liên quan, phân đoạn để phân tách các thành phần khác nhau trong ảnh và cuối cùng là làm mảnh hay dò biên để dễ dàng xác định các vùng, các đặc trưng thích hợp và các đối tượng cần quan tâm.