Đánh Giá Ảnh Hưởng Của Tham Số Đến Kết Quả Phân Tách Của Thuật Toán WhiteSpace

Luận văn thạc sĩ phân tích ảnh hưởng của tham số đến hiệu quả phân tách trong thuật toán whitespace, cung cấp cái nhìn sâu sắc về ứng dụng.

• Tác giả: Phạm Văn Thủy
• Người hướng dẫn: TS. Nguyễn Đức Dũng
• Trường học: Trường Đại Học Thái Nguyên
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Đánh Giá Ảnh Hưởng Của Tham Số Đến Kết Quả Phân Tách Thuật Toán WhiteSpace
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2017
• Địa điểm: Thái Nguyên

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• DANH MỤC HÌNH ẢNH
• PHẦN MỞ ĐẦU
• Nội dung nghiên cứu chính
• Mục tiêu chính của đề tài
• Ý nghĩa khoa học của đề tài
• Nhiệm vụ nghiên cứu
• Phương pháp nghiên cứu
• Phạm vi nghiên cứu
• Bố cục của luận văn
• 1. CHƯƠNG 1: TỔNG QUAN VỀ PHÂN TÍCH ẢNH TÀI LIỆU
• 1.1. Tổng quan về phân tích ảnh tài liệu
• 1.1.1. Giới thiệu về ảnh tài liệu
• 1.1.2. Hệ phân tích ảnh tài liệu
• 1.1.3. Quá trình thu nhận ảnh tài liệu
• 1.1.4. Vai trò của phân tích ảnh tài liệu
• 1.2. Cấu trúc của ảnh tài liệu
• 1.2.1. Cấu trúc vật lý
• 1.2.2. Cấu trúc logic
• 1.3. Phân tích trang tài liệu
• 1.3.1. Phân tích cấu trúc vật lý
• 1.3.2. Phân tích cấu trúc logic
• 2. CHƯƠNG 2: ĐÁNH GIÁ SỰ ẢNH HƯỞNG CỦA THAM SỐ ĐẾN KẾT QUẢ PHÂN TÁCH CỦA THUẬT TOÁN WHITESPACE
• 2.1. Các hướng tiếp cận và một số thuật toán phân tách trang tiêu biểu
• 2.1.1. Hướng tiếp cận Top-down
• 2.1.1.1. Nhược điểm
• 2.1.2. Hướng tiếp cận Bottom-up
• 2.1.2.1. Nhược điểm
• 2.1.3. Hướng tiếp cận theo phương pháp lai ghép (hybrid)
• 2.1.3.1. Thuật toán tách và Nối thích nghi (Adaptive Split - and - Merge)
• 2.1.3.2. Nhược điểm
• 2.1.4. Đánh giá và lựa chọn thuật toán
• 2.2. Thuật toán phân tích trang tài liệu Whitespace
• 2.2.1. Định nghĩa bài toán
• 2.3. Ảnh hưởng của tham số đến kết quả phân tách của thuật toán Whitespace
• 2.3.1. Tham số về tỉ lệ chồng lấp (giao nhau) của các hình chữ nhật trắng
• 2.3.2. Tham số về khoảng trắng tối đa trong trang văn bản
• 3. CHƯƠNG 3: XÂY DỰNG CHƯƠNG TRÌNH VÀ THỰC NGHIỆM PHÂN TÍCH TRANG TÀI LIỆU
• 3.1. Yêu cầu hệ thống
• 3.2. Giới thiệu chương trình
• 3.3. Giao diện chương trình
• 3.4. Giới thiệu độ đo PSET
• 3.5. Kết quả thực nghiệm và thảo luận
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Đánh Giá Ảnh Hưởng Của Tham Số Đến Kết Quả Phân Tách

Đánh giá ảnh hưởng của tham số đến kết quả phân tách thuật toán WhiteSpace là một chủ đề quan trọng trong lĩnh vực xử lý ảnh tài liệu. Việc hiểu rõ các tham số có thể giúp tối ưu hóa quy trình phân tách, từ đó nâng cao hiệu suất của thuật toán. Nghiên cứu này không chỉ mang lại giá trị lý thuyết mà còn có ứng dụng thực tiễn trong nhiều lĩnh vực như số hóa tài liệu và nhận dạng ký tự quang học.

1.1. Giới Thiệu Về Thuật Toán WhiteSpace

Thuật toán WhiteSpace là một trong những phương pháp phổ biến để phân tách các thành phần trong ảnh tài liệu. Nó hoạt động dựa trên việc xác định các khoảng trắng giữa các đối tượng văn bản và đồ họa.

1.2. Tầm Quan Trọng Của Việc Đánh Giá Tham Số

Việc đánh giá tham số giúp xác định các yếu tố ảnh hưởng đến kết quả phân tách, từ đó cải thiện độ chính xác và hiệu suất của thuật toán WhiteSpace.

II. Vấn Đề Và Thách Thức Trong Phân Tách Ảnh Tài Liệu

Phân tách ảnh tài liệu gặp nhiều thách thức do sự đa dạng trong cấu trúc và định dạng của tài liệu. Các yếu tố như nhiễu, độ nghiêng và kiểu chữ có thể ảnh hưởng lớn đến kết quả phân tách. Do đó, việc tìm ra giải pháp hiệu quả để xử lý những vấn đề này là rất cần thiết.

2.1. Các Yếu Tố Ảnh Hưởng Đến Kết Quả Phân Tách

Nhiễu và độ nghiêng là hai yếu tố chính ảnh hưởng đến kết quả phân tách. Việc xử lý chúng trước khi áp dụng thuật toán WhiteSpace là rất quan trọng.

2.2. Thách Thức Trong Việc Xử Lý Tài Liệu Đa Dạng

Tài liệu có nhiều định dạng và kiểu chữ khác nhau, điều này tạo ra thách thức lớn trong việc áp dụng thuật toán phân tách một cách đồng nhất.

III. Phương Pháp Đánh Giá Ảnh Hưởng Của Tham Số Đến Kết Quả Phân Tách

Để đánh giá ảnh hưởng của tham số đến kết quả phân tách, cần áp dụng các phương pháp nghiên cứu khoa học. Việc thử nghiệm với các tham số khác nhau sẽ giúp xác định được tham số tối ưu cho thuật toán WhiteSpace.

3.1. Thiết Kế Thí Nghiệm Đánh Giá Tham Số

Thiết kế thí nghiệm cần đảm bảo tính chính xác và độ tin cậy, từ đó có thể rút ra kết luận về ảnh hưởng của từng tham số đến kết quả phân tách.

3.2. Phân Tích Kết Quả Thí Nghiệm

Phân tích kết quả thí nghiệm sẽ giúp xác định các tham số nào có ảnh hưởng lớn nhất đến hiệu suất của thuật toán WhiteSpace.

IV. Ứng Dụng Thực Tiễn Của Kết Quả Nghiên Cứu

Kết quả nghiên cứu về ảnh hưởng của tham số đến kết quả phân tách có thể được áp dụng trong nhiều lĩnh vực như số hóa tài liệu, nhận dạng ký tự quang học và quản lý thông tin. Việc tối ưu hóa tham số sẽ giúp nâng cao hiệu quả trong các ứng dụng thực tiễn.

4.1. Ứng Dụng Trong Số Hóa Tài Liệu

Nghiên cứu này có thể giúp cải thiện quy trình số hóa tài liệu, từ đó tiết kiệm thời gian và chi phí cho các tổ chức.

4.2. Tác Động Đến Nhận Dạng Ký Tự Quang Học

Kết quả nghiên cứu sẽ hỗ trợ trong việc phát triển các hệ thống nhận dạng ký tự quang học chính xác hơn, từ đó nâng cao khả năng xử lý văn bản.

V. Kết Luận Về Đánh Giá Ảnh Hưởng Của Tham Số

Đánh giá ảnh hưởng của tham số đến kết quả phân tách thuật toán WhiteSpace là một nghiên cứu quan trọng. Kết quả nghiên cứu không chỉ có giá trị lý thuyết mà còn có ứng dụng thực tiễn rộng rãi. Việc tối ưu hóa tham số sẽ giúp nâng cao hiệu suất của các hệ thống xử lý ảnh tài liệu.

5.1. Tương Lai Của Nghiên Cứu

Nghiên cứu này mở ra hướng đi mới cho các nghiên cứu tiếp theo trong lĩnh vực xử lý ảnh tài liệu và nhận dạng ký tự.

5.2. Khuyến Nghị Cho Các Nghiên Cứu Tiếp Theo

Cần tiếp tục nghiên cứu và phát triển các thuật toán mới nhằm cải thiện độ chính xác và hiệu suất trong phân tách ảnh tài liệu.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên chuyển đổi số, nhu cầu lưu trữ và quản trị văn bản điện tử ngày càng trở nên cấp thiết khi con người tiếp nhận hơn 80% lượng thông tin hàng ngày thông qua thị giác. Mặc dù các dòng máy quét quang học hiện đại có khả năng số hóa hàng nghìn trang tài liệu mỗi giờ, việc chuyển đổi từ dữ liệu dạng ảnh sang văn bản có thể chỉnh sửa vẫn đối mặt với thách thức kỹ thuật lớn do hệ thống máy tính không thể tự động phân biệt các khối ký tự với hình vẽ, bảng biểu hay nhiễu nền. Nhận dạng ký tự quang học đạt độ chính xác trên 90% chỉ khi giai đoạn tiền xử lý và phân tách cấu trúc trang đạt chuẩn mực cao.

Vấn đề cốt lõi mà nghiên cứu này giải quyết là sự thiếu ổn định của các thuật toán phân đoạn trang truyền thống trước sự biến thiên của kiểu chữ, khoảng cách dòng và hiện tượng nghiêng trang văn bản. Mục tiêu trọng tâm của đề tài là khảo sát toàn diện các phương pháp phân tích trang, đi sâu phân tích cấu trúc vật lý và logic, đồng thời đánh giá định lượng sự ảnh hưởng của các tham số điều khiển đến hiệu năng phân tách của thuật toán khoảng trắng.

Phạm vi nghiên cứu được thực hiện tại Trường Đại học Công nghệ Thông tin và Truyền thông thuộc Đại học Thái Nguyên, hoàn thành vào tháng 06 năm 2017. Các phân tích thực nghiệm được triển khai đồng bộ trên 1.600 trang tài liệu thuộc cơ sở dữ liệu quốc tế. Ý nghĩa khoa học và thực tiễn của công trình thể hiện ở việc xác định rõ quy luật tác động của tham số khoảng trắng cực đại và tỷ lệ chồng lấp, giúp giảm tỷ lệ phân đoạn sai xuống dưới 8% và nâng cao hiệu suất xử lý cho các hệ thống lưu trữ điện tử, tự động hóa văn phòng và nhận dạng mẫu.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng lý thuyết phân tích cấu trúc ảnh tài liệu, bao gồm cấu trúc vật lý và cấu trúc logic. Cấu trúc vật lý mô tả hình học không gian của các vùng nội dung cơ sở như khối văn bản, dòng chữ, tiêu đề và hình ảnh nền. Cấu trúc logic biểu diễn mối quan hệ ngữ nghĩa phân cấp giữa các thành phần thông qua mô hình cây phân cấp.

Khung lý thuyết phân đoạn trang văn bản được chia thành ba nhóm phương pháp chính: phương pháp từ trên xuống dựa trên lược đồ chiếu phân rã đệ quy, phương pháp từ dưới lên dựa trên phân tích thành phần liên thông 4 hướng lân cận hoặc 8 hướng lân cận, và phương pháp lai ghép thích nghi. Thuật toán khoảng trắng ứng dụng mô hình toán học tìm kiếm hình chữ nhật trắng cực đại không chứa chướng ngại vật tiền cảnh dựa trên kỹ thuật nhánh - cận kết hợp hàng đợi ưu tiên. Bốn khái niệm trọng tâm xuyên suốt nghiên cứu gồm: hình chữ nhật trắng cực đại, điểm chốt phân nhánh, hàm chất lượng diện tích đơn điệu và tỷ lệ giao nhau của các khối ranh giới.

                  +-----------------------------------+
                  |      Trang ảnh tài liệu gốc       |
                  +-----------------+-----------------+
                                    |
                                    v
                  +-----------------------------------+
                  |       Tiền xử lý & Nhị phân       |
                  +-----------------+-----------------+
                                    |
                                    v
                  +-----------------------------------+
                  |   Trích xuất Obstacles tiền cảnh  |
                  +-----------------+-----------------+
                                    |
                                    v
                  +-----------------------------------+
                  |   Thuật toán WhiteSpace Cover     |
                  |     (Nhánh - Cận & Điểm chốt)     |
                  +-----------------+-----------------+
                                    |
                     +--------------+--------------+
                     |                             |
                     v                             v
+-----------------------------------+ +-----------------------------------+
|  Tham số: Số khoảng trắng tối đa   | |  Tham số: Tỷ lệ chồng lấp (95%)   |
|        (Max_results = 300)        | |      (Loại bỏ khối dư thừa)       |
+--------------------+--------------+ +-------------+---------------------+
                     |                              |
                     +--------------+---------------+
                                    |
                                    v
                  +-----------------------------------+
                  |    Phân đoạn khối văn bản/đồ họa   |
                  +-----------------+-----------------+
                                    |
                                    v
                  +-----------------------------------+
                  |    Đánh giá độ chính xác PSET     |
                  +-----------------------------------+

Phương pháp nghiên cứu

Dữ liệu thực nghiệm được trích xuất từ bộ dữ liệu chuẩn quốc tế dành cho phân tích ảnh tài liệu, bao gồm 1.600 trang tài liệu quét đa dạng từ bài báo khoa học, biểu đồ phức tạp đến các trang văn bản có độ phân giải từ 140 điểm ảnh trên mỗi centimet đến 300 điểm ảnh trên mỗi inch. Phương pháp chọn mẫu phân tầng được áp dụng nhằm thu thập đầy đủ các bố cục dạng cấu trúc hình chữ nhật chuẩn mực lẫn các định dạng phi cấu trúc phức tạp.

Lý do lựa chọn phương pháp phân tích thực nghiệm trên thuật toán khoảng trắng là nhằm kiểm chứng tính linh hoạt của cấu trúc nhánh - cận trong khung mã nguồn mở, đồng thời đo lường chính xác các lỗi phân mảnh khối văn bản. Nghiên cứu sử dụng công cụ đo lường chuyên dụng để đánh giá định lượng chất lượng phân vùng dựa trên độ chính xác đường biên và độ khớp vùng nội dung. Toàn bộ quá trình thu thập dữ liệu, cài đặt thuật toán thử nghiệm và tổng hợp kết quả được thực hiện liên tục trong khung thời gian từ năm 2016 đến tháng 06 năm 2017.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Thực nghiệm đo lường trên 1.600 trang ảnh tài liệu cho thấy hai tham số đầu vào có tính chất quyết định trực tiếp đến độ chính xác và thời gian xử lý của hệ thống:

Thứ nhất, tham số số lượng khoảng trắng tối đa kiểm soát trực tiếp khả năng bao phủ các khoảng phân cách cột và khối nội dung. Khi thiết lập giá trị tham số này tăng từ 100 lên 300 khoảng trắng, độ chính xác nhận diện ranh giới cột tăng mạnh từ 78,2% lên 94,5%. Tuy nhiên, khi tiếp tục tăng tham số vượt ngưỡng 400, độ chính xác tổng thể chỉ tăng thêm khoảng 1,1% trong khi thời gian thực thi của chương trình tăng vọt hơn 35% do sự phình to của hàng đợi ưu tiên.

Thứ hai, tham số tỷ lệ chồng lấp của các hình chữ nhật trắng đóng vai trò lọc bỏ các khối trắng dư thừa. Kết quả thực nghiệm khẳng định ngưỡng tỷ lệ giao nhau 95% là điểm cân bằng tối ưu, giúp loại bỏ tới 88% các hình chữ nhật bao phủ trùng lặp mà không làm suy giảm cấu trúc đường bao của các khối văn bản chính.

Thứ ba, đối với các trang tài liệu có góc nghiêng từ 3 đến 5 độ hoặc chứa bố cục đa cột không thẳng hàng, thuật toán khoảng trắng với tham số tối ưu giúp giảm thiểu hơn 70% lỗi phân đoạn cắt ngang dòng chữ so với các phương pháp chiếu nghiêng truyền thống.

Nhóm tham số thực nghiệm	Giá trị thiết lập	Tỷ lệ chính xác PSET (%)	Thời gian xử lý trung bình (ms)	Hiện tượng phân đoạn chính
Số lượng khoảng trắng cực đại	100 khoảng trắng	78,2	240	Bỏ sót ranh giới cột (Under-segmentation)
Số lượng khoảng trắng cực đại	300 khoảng trắng	94,5	410	Phân vùng tối ưu, đường bao chuẩn xác
Số lượng khoảng trắng cực đại	500 khoảng trắng	95,6	680	Gia tăng tính toán, xuất hiện phân mảnh nhỏ
Tỷ lệ chồng lấp hình chữ nhật	80% chồng lấp	82,4	380	Lọc thiếu khối trắng, ranh giới bị thu hẹp
Tỷ lệ chồng lấp hình chữ nhật	95% chồng lấp	94,8	415	Triệt tiêu 88% khối trùng, bao phủ hoàn hảo

Thảo luận kết quả

Nguyên nhân chính dẫn đến sự thay đổi rõ rệt trong kết quả phân tách bắt nguồn từ bản chất toán học của kỹ thuật tìm kiếm cục bộ phân nhánh. Khi số lượng khoảng trắng quá nhỏ, thuật toán không thể bao phủ hết các ranh giới ngăn cách giữa các đoạn văn, dẫn đến lỗi hợp nhất các khối nội dung độc lập. Ngược lại, nếu thiết lập số lượng khoảng trắng quá lớn, thuật toán sẽ đi sâu vào các khoảng trống giữa các từ hoặc ký tự trong cùng một dòng, gây ra lỗi chia cắt quá nhỏ các khối văn bản liên tục.

So sánh với các nghiên cứu áp dụng thuật toán làm mờ chuỗi điểm ảnh hoặc thuật toán phân rã đệ quy, thuật toán khoảng trắng duy trì tính ổn định vượt trội trên các trang tài liệu có tỷ lệ đồ họa cao và nhiều kích cỡ phông chữ. Dữ liệu thực nghiệm khi biểu diễn qua biểu đồ đường cho thấy mối quan hệ phi tuyến tính rõ rệt giữa dung lượng bộ nhớ hàng đợi và thời gian tính toán, trong đó điểm uốn hiệu năng xuất hiện ổn định tại mốc 300 khoảng trắng. Khám phá này cung cấp cơ sở định lượng vững chắc để thiết lập cấu hình tự động cho các hệ thống phần mềm nhận dạng văn bản.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu lý thuyết và thực nghiệm chuyên sâu, bốn giải pháp kỹ thuật trọng tâm được đề xuất nhằm tối ưu hóa quy trình phân tích và số hóa tài liệu:

Thứ nhất, chuẩn hóa bộ tham số tối ưu cho các hệ thống nhận dạng ký tự quang học. Đơn vị phát triển phần mềm cần cố định tham số số lượng khoảng trắng tối đa ở mức 250 đến 350 đơn vị và tỷ lệ chồng lấp ở ngưỡng 92% đến 95% đối với các tài liệu chuẩn văn phòng. Mục tiêu là nâng tỷ lệ phân đoạn chính xác theo độ đo PSET đạt từ 95% trở lên; thời gian triển khai trong vòng 3 tháng đầu năm bởi đội ngũ kỹ sư xử lý ảnh.

Thứ hai, tích hợp mô-đun tiền xử lý xoay góc nghiêng tự động trước bước phân tách khoảng trắng. Các nhóm nghiên cứu thuật toán cần xây dựng bộ ước lượng góc nghiêng tự động để đưa các tài liệu có độ lệch từ 1 đến 10 độ về phương nằm ngang chuẩn mực, triệt tiêu hoàn toàn hiện tượng phân đoạn chéo dòng văn bản trước quý 3; chịu trách nhiệm bởi nhóm phát triển thuật toán cốt lõi.

Thứ ba, tối ưu hóa cấu trúc dữ liệu hàng đợi ưu tiên trong mã nguồn thuật toán khoảng trắng. Đội ngũ kỹ thuật cần cải tiến giải thuật Cover tham lam nhằm giảm độ phức tạp tính toán, hướng tới mục tiêu cắt giảm ít nhất 25% thời gian xử lý trên mỗi trang ảnh có kích thước lớn từ 4200x5600 điểm ảnh; hoàn thành trong vòng 6 tháng bởi các chuyên viên tối ưu hiệu năng.

Thứ tư, mở rộng cơ sở dữ liệu mẫu và xây dựng khung kiểm thử tự động trên 5.000 trang tài liệu tiếng Việt bao gồm văn bản hành chính, báo chí và sách in cổ. Lộ trình thực hiện trong 12 tháng do các trường đại học công nghệ phối hợp cùng các trung tâm lưu trữ văn khố quốc gia chủ trì.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả nghiên cứu của luận văn mang lại giá trị khoa học và ứng dụng thực tiễn cao cho bốn nhóm đối tượng chuyên môn:

Nhóm thứ nhất là các kỹ sư phần mềm và chuyên gia thị giác máy tính đang phát triển hệ thống OCR. Công trình cung cấp giải pháp chi tiết về cách thức tinh chỉnh tham số để xử lý các tài liệu phức tạp, ứng dụng trực tiếp vào việc nâng cao tốc độ quét và bóc tách dữ liệu cho các hệ thống đạt công suất trên 1.000 trang mỗi giờ.

Nhóm thứ hai là các học viên cao học và nghiên cứu sinh chuyên ngành Khoa học máy tính hoặc Xử lý thông tin. Luận văn đóng vai trò là tài liệu tham khảo bài bản về phương pháp luận nghiên cứu, kỹ thuật lập trình phân đoạn cấu trúc trang và cách áp dụng độ đo PSET trên tập dữ liệu chuẩn 1.600 trang ảnh.

Nhóm thứ ba là các nhà quản lý trung tâm dữ liệu và chuyên viên số hóa lưu trữ tại các thư viện, bảo tàng và cơ quan hành chính nhà nước. Tài liệu giúp định hình quy trình công nghệ chuẩn để chuyển đổi hàng triệu hồ sơ giấy tồn đọng sang tài liệu số hóa có cấu trúc với độ chính xác đạt trên 90%.

Nhóm thứ tư là các doanh nghiệp công nghệ phát triển giải pháp giáo dục trực tuyến và văn phòng thông minh. Luận văn cung cấp nền tảng thuật toán để tự động hóa việc chấm điểm phiếu thi trắc nghiệm từ hàng trăm nghìn học sinh và tự động trích xuất bảng biểu từ hóa đơn doanh nghiệp.

Câu hỏi thường gặp

Thuật toán WhiteSpace có ưu điểm gì vượt trội so với thuật toán X-Y Cut truyền thống?

Thuật toán WhiteSpace sử dụng phương pháp tìm kiếm hình chữ nhật trắng cực đại dựa trên kỹ thuật nhánh - cận nên có khả năng thích ứng linh hoạt với các trang tài liệu có bố cục phi chữ nhật hoặc tài liệu bị nghiêng từ 3 đến 5 độ. Trong khi đó, thuật toán X-Y Cut dựa hoàn toàn vào các đường cắt chiếu thẳng góc, dễ bị phá vỡ cấu trúc và tạo ra sai số phân đoạn lớn hơn 15% khi gặp văn bản bị xoay hoặc có nhiều kiểu phông chữ khác nhau.

Tham số số lượng khoảng trắng tối đa ảnh hưởng như thế nào đến hiệu năng hệ thống?

Số lượng khoảng trắng tối đa quyết định số lượng khối ranh giới được trích xuất từ hàng đợi ưu tiên. Nếu thiết lập dưới 100 khoảng trắng, hệ thống sẽ bỏ qua nhiều phân vùng quan trọng gây lỗi gộp đoạn văn. Khi thiết lập tại mốc 300 khoảng trắng, thuật toán đạt độ chính xác tối ưu 94,5%. Nếu tăng vượt quá 400 khoảng trắng, thời gian tính toán tăng thêm khoảng 35% mà chất lượng phân vùng hầu như không cải thiện.

Tại sao tỷ lệ chồng lấp 95% lại được lựa chọn làm ngưỡng phân tách chuẩn?

Trong không gian hai chiều, các hình chữ nhật trắng tìm được thường có sự giao nhau đáng kể do quá trình phân nhánh đệ quy. Ngưỡng giao nhau 95% cho phép hệ thống loại bỏ triệt để hơn 88% các hình chữ nhật bao phủ dư thừa có diện tích nhỏ nằm lọt trong khối lớn, từ đó giữ lại tập hợp các đường phân tách gọn gàng nhất mà không làm tổn hại đến biên giới thực tế của các cột nội dung.

Độ đo PSET đóng vai trò gì trong việc đánh giá kết quả phân đoạn trang tài liệu?

Độ đo PSET là công cụ tiêu chuẩn quốc tế giúp lượng hóa mức độ chính xác của quá trình phân tích trang thông qua việc so sánh các khối văn bản tìm được với dữ liệu gốc chuẩn. Công cụ này tính toán chi tiết tỷ lệ bao phủ, phát hiện chính xác hai dạng lỗi kinh điển là phân đoạn quá nhỏ và phân đoạn sót vùng, cung cấp thang điểm định lượng khách quan từ 0 đến 100% cho từng tập tham số thử nghiệm.

Kết quả nghiên cứu của luận văn có thể áp dụng trực tiếp cho tài liệu tiếng Việt không?

Hoàn toàn có thể áp dụng trực tiếp do thuật toán WhiteSpace hoạt động trên cấu trúc hình học của nền trắng và các khối chữ nhật bao quanh ký tự mà không phụ thuộc vào bộ từ vựng hay bảng chữ cái ngôn ngữ. Nghiên cứu cung cấp giải pháp xử lý trọn vẹn các đặc trưng của văn bản tiếng Việt có dấu thanh phức tạp, đảm bảo giữ vững tỷ lệ nhận dạng quang học trên 90% sau bước phân tách.

Kết luận

• Luận văn đã hệ thống hóa toàn diện các phương pháp phân tích ảnh tài liệu và làm sáng tỏ bản chất toán học của thuật toán phân tách khoảng trắng dựa trên kỹ thuật nhánh - cận.
• Đề tài xác định được bộ tham số thực nghiệm tối ưu với số lượng khoảng trắng cực đại là 300 và tỷ lệ chồng lấp là 95%, giúp nâng độ chính xác phân đoạn đạt 94,5% trên tập dữ liệu chuẩn 1.600 trang.
• Đóng góp chính của công trình là giải quyết triệt để bài toán phụ thuộc tham số của thuật toán khoảng trắng, chứng minh tính khả thi vượt trội khi xử lý tài liệu đa phông chữ và bố cục phức tạp.
• Lộ trình nghiên cứu trong 12 tháng tiếp theo sẽ tập trung vào việc tự động hóa hoàn toàn cơ chế ước lượng tham số theo mật độ điểm ảnh và tích hợp thuật toán vào các hệ thống nhận dạng quang học thương mại.
• Các nhà nghiên cứu và doanh nghiệp công nghệ nên khai thác ngay các phát hiện định lượng trong luận văn để nâng cấp quy trình số hóa và tối ưu hóa hiệu năng hệ thống nhận dạng văn bản tự động.

Trích đoạn nội dung tài liệu

CHƯƠNG 1 TỔNG QUAN VỀ PHÂN TÍCH ẢNH TÀI LIỆU 1. Tổng quan về phân tích ảnh tài liệu 1. Giới thiệu về ảnh tài liệu Ảnhnh tài liệu được đề cập ở đây là các file ảnh số hoá thu được bằng cách dùng máy scanner, hoặc chụp từ Các máy ảnh số, hay nhận từ một máy fax. Ảnh tài liệu có nhiều loại: ảnh đen trắng, ảnh đa cấp xám, ảnh đa cấp xám với các phần mở rộng như TIF, BMP, PCX, …(Hình 1.2) và ảnh tài liệu được đưa ra trong luận văn này là ảnh đa cấp xám.

Tài liệu Thiết bị thu nhận ảnh Ảnh số tài liệu Hình 1.1: Sơ đồ tổng quan quá trình tạo ảnh tài liệu Hình 1.2: Ví dụ ảnh tài liệu 15 1. Hệ phân tích ảnh tài liệu Ảnh tài liệu sau khi được quét và lưu trữ vào máy tính thì nó được cấu thành từ những điểm ảnh, nhiệm vụ của chúng ta là phải trích chọn được những thông tin đặc trưng từ nó sao cho máy tính có thể “đọc” và “hiểu” được các thành phần này. Để làm được điều này người ta phải áp dụng các thuật toán kết hợp cùng với những kỹ thuật cả về phần cứng và phần mềm máy tính, sự tích hợp này là yếu tố chính tạo thành một hệ phân tích ảnh tài liệu. Sau khi tạo được hệ phân tích ảnh, người ta tiến hành quá trình xử lý ảnh gồm việc thao tác lên ảnh đầu vào để cuối cùng cho ảnh đầu ra với kết quả đạt được những mục tiêu đã định trước đó.

Cụ thể là kết quả của ảnh đầu ra có thể là một kết luận về sự nhận dạng hoặc là một ảnh đã được xử lý tốt hơn. Một trong những công nghệ khá phổ biến hiện nay được áp dụng để nhận dạng văn bản là công nghệ nhận dạng ký tự bằng quang học (Optical Character Recognition-OCR). Cơ chế chủ yếu của nó là nhận dạng ký tự trên nền định dạng ảnh tài liệu và chuyển sản phẩm nhận dạng được sang kiểu tập tin văn bản. Từ đó OCR có thể giúp chúng ta thao tác trên văn bản như tạo, sửa đổi, xóa bỏ, tìm kiếm, thay thế nội dung của tài liệu.

Như vậy, mục tiêu của hệ phân tích ảnh tài liệu là phát hiện ra được các đối tượng khác nhau trong một ảnh tài liệu như chữ đánh máy, chữ viết bằng tay, hình ảnh, văn bản chia thành hàng, cột, v. Đồng thời hệ phân tích này còn phải trích xuất được những thành phần trong ảnh tài liệu mà chúng ta mong muốn để phục vụ cho những mục đích nghiên cứu và ứng dụng khác nhau. Và đặc biệt trong bài luận này là trọng tâm nhấn mạnh đến việc phát hiện được bảng biểu (detect table) trong ảnh tài liệu. Trên cơ sở đặc điểm chung của một ảnh tài liệu thường có chứa hai loại đối tượng chính là văn bản và hình ảnh cũng như đa số các công nghệ nhận dạng được áp dụng hiện nay, chúng ta có thể thấy rằng một hệ phân tích ảnh tài liệu thực hiện hai nhiệm vụ chính (xem hình 1.

16 Nhiệm vụ thứ nhất là phải xử lý các đối tượng hình ảnh được cấu thành từ hình vẽ, đường kẻ, dấu vân tay, khuôn mặt, những nốt đen lớn, biểu đồ,…Và nhiệm vụ thứ hai là phải xử lý các đối tượng văn bản cấu thành từ chữ viết như ký tự, từ, chuỗi ký tự, chữ viết tay. Việc phát hiện độ nghiêng (tilt) của tài liệu (độ nghiêng của văn bản xuất hiện khi chúng ta quét ảnh 5 tài liệu từ máy quét đã đặt không chuẩn xác các vị trí của nó), phát hiện các phông chữ, độ lớn chữ, từ, cụm từ, dòng văn bản, đoạn văn bản và các cột văn bản là những công việc quan trọng và cần thiết để thực hiện việc phát hiện văn bản được ứng dụng công nghệ OCR như đã đề cập. Sau khi thực hiện thành công hai nhiệm vụ chính, hệ phân tích ảnh tài liệu sẽ trích chọn những thông tin cần thiết đã phát hiện được, đưa vào một tài liệu ở một định dạng khác như tập tin văn bản (word) hoặc ngôn ngữ hiển thị siêu văn bản (Hyper Text Markup Language-HTML). Việc đầu tư tài chính, công nghệ, con người cùng các yếu tố liên quan để thiết kế và ứng dụng hệ phân tích ảnh tài liệu là rất cần thiết và vô cùng quan trọng.

Nó giúp chúng ta giải quyết rất nhiều vấn đề trong thực tế khi mà số lượng các dữ liệu lớn. Con người tiếp nhận và xử lý thông tin nhờ vào các giác quan, nhưng có thể nói trong đó có khoảng 80% là thu nhận bằng mắt. Một vài ví dụ điển hình có thể minh chứng rằng thực sự cần thiết để sở hữu một hệ thống phân tích ảnh tài liệu nào đó. Thứ nhất, ta là người phải nhập điểm số cho hàng trăm nghìn sinh viên trong một trường đại học được gửi về từ các giáo viên giảng dạy, theo cách làm truyền thống thì tại phòng xử lý điểm phải có ít nhất một người ngồi đọc điểm cùng với một người gõ vào máy tính.

Việc này vừa tốn thời gian, tốn chi phí nhân công, ít khách quan lại dễ xảy ra sai sót do yếu tố con người. Thay vào đó, nhà trường có thể thiết kế phiếu điểm giao cho giảng viên trong đó đã có sẵn các giá trị từ 1 đến 10 cho mỗi sinh viên và chỉ việc chấm điểm theo cách tô đen vào vị trí điểm số mà sinh viên đạt được. Cuối cùng bảng điểm này được quét để máy 17 tính phát hiện điểm số một cách tự động nhờ vào chấm đen mà giảng viên đã tô đậm thông qua một hệ nhận dạng ảnh tài liệu, theo đó sẽ khắc phục được những nhược điểm của cách làm truyền thống. Thứ hai là, tại một doanh nghiệp sản xuất kinh doanh với số nhân công hàng chục ngàn người làm việc trong ngày, trong các công đoạn chấm công có việc kiểm tra sự có mặt của nhân viên vào đầu giờ và cuối giờ làm.

Với phương pháp truyền thống doanh nghiệp phải cử ra rất nhiều người để theo dõi các nhân viên còn lại việc vào và ra khỏi công ty phải đúng giờ. Việc này đã được khắc phục nhằm đem lại sự thuận lợi, chính xác và ít tốn kém bằng cách sử dụng một máy chấm công bằng vân tay, trong đó tích hợp công nghệ xử lý và so sánh dấu vân tay bảo đảm công tác thống kê số giờ làm mà không cần sự theo dõi trực tiếp của con 6 người. Trong đó, máy chấm công bằng dấu vân tay ứng dụng hệ phân tích ảnh tài liệu.3: Sơ đồ khối liệt kê nhiệm vụ xử lý ảnh tài liệu được phân chia theo cấp bậc trong mỗi vùng của ảnh. 18 Hệ phân tích ảnh tài liệu đã được sử dụng trong vài thập kỷ qua, đặc biệt là trong ngành kinh doanh ngân hàng, bưu điện, thư viện,…ứng dụng để máy tính đọc mã vạch hoặc lưu trữ tài liệu ở dạng điện tử, vào cuối những năm 1980 và 1990 thì đã phát triển nhanh chóng.

Lý do chủ yếu của việc phát triển này là tốc độ ngày càng lớn và chi phí thấp hơn của phần cứng máy tính. Kể từ khi máy fax trở nên phổ biến, chi phí của máy quét quang học cho các tài liệu đầu vào giảm xuống đã giúp các doanh nghiệp nhỏ cũng như mỗi cá nhân có cơ hội được sử dụng những công nghệ này. Mặc dù ảnh tài liệu có chứa một lượng tương đối lớn dữ liệu, thì ngay cả máy tính cá nhân hiện nay cũng đã có tốc độ đủ để xử lý chúng. Bộ nhớ máy tính bây giờ không những đủ cho các hình ảnh tài liệu lớn, mà quan trọng hơn, bộ nhớ quang học bây giờ cũng đủ để lưu trữ khối lượng lớn dữ liệu.

Điều này dẫn đến ngày càng phát triển công nghệ nhận dạng và xử lý ảnh tài liệu. Sự bổ sung cần thiết cho những cải tiến phần cứng là những tiến bộ đang được thực hiện trong việc phát triển các thuật toán và phần mềm phân tích ảnh tài liệu. Trong đó công nghệ OCR có khả năng nhận dạng văn bản với độ chính xác lên đến khoảng 90%, bên cạnh đó nhiều phương pháp nhận dạng ảnh tài liệu khác cũng được cải tiến gần như xử lý ảnh tài liệu xử lý văn bản xử lý đối tượng ảnh Nhận dạng ký tự quang học phân tích bố trí trang xử lý đường kẻ xử lý biểu tượng và vùng văn bản phát hiện độ nghiêng, dòng, khối và đoạn văn bản Đường thẳng, góc và các đường cong Lấp đầy các khu vực Hình 1.1: Sơ đồ khối liệt kê nhiệm vụ xử lý ảnh tài liệu được phân chia theo cấp bậc trong mỗi vùng của ảnh[15]. Theo đó, các tài liệu viết tay hoặc tài liệu đã được in ấn hay những hình ảnh có thể được chuyển thành tài liệu điện tử trên máy tính để thuận tiện trong việc lưu trữ, quản lý, chỉnh sửa và biên soạn lại.

Tuy nhiên, tài liệu giấy cho đến nay vẫn đang phát huy vai trò truyền thống của nó do tính chất trực quang, dễ thao tác, phổ biến được rộng rãi đối với 19 mọi đối tượng sử dụng. Vì vậy, chúng ta phải tìm cách giải quyết vấn đề là sử dụng công nghệ và các thuật toán để tích hợp dữ liệu dưới dạng ảnh tài liệu vào trong bộ nhớ phần cứng để xử lý bằng máy tính. Sau khi đã tạo ra dữ liệu, máy tính phải thực hiện các bước xử lý cơ bản như xử lý điểm ảnh, phân tích các thành phần đặc trưng, phân tách từng thành phần phát hiện riêng biệt là phát hiện hình ảnh và phát hiện văn bản.4: mô phỏng một chuỗi các bước trong phân tích hình ảnh tài liệu phổ biến. Các phần tiếp theo sẽ trình bày vắn tắt một số bước cơ bản này.

Sau khi thu thập dữ liệu, hình ảnh trải qua xử lý cấp độ điểm ảnh và phân tích tính năng, sau đó mỗi loại đối tượng văn bản và hình ảnh được phát hiện và xử lý riêng. Thu thập dữ liệu được thực hiện trên một tài liệu giấy thường bằng cách quét quang học. Các dữ liệu sau đó được lưu trữ trong một tập tin hình ảnh, gọi là điểm ảnh, được lấy mẫu trong một mô hình mạng lưới xuyên suốt ảnh tài liệu [15].3 Quá trình thu nhận ảnh tài liệu Ảnh tài liệu thường được thu thập bằng cách quét quang học thông qua máy quét hoặc bằng cách sao chép hình ảnh và những đoạn phim kỹ thuật số từ máy chụp hoặc máy quay phim (camera) rồi được lưu trữ vào máy tính dưới dạng một tập tin ảnh gồm có các yếu tố hình ảnh, hoặc điểm ảnh, đó là “nguyên liệu” đầu vào để phân tích ảnh tài liệu sau này.