Luận văn ThS Lê Xuân Long: Trích chọn đặc trưng tìm kiếm từ trong ảnh tài liệu

Khám phá luận văn thạc sĩ về trích chọn đặc trưng ứng dụng cho tìm kiếm từ trong ảnh tài liệu. Giải pháp Công nghệ thông tin hiệu quả.

Chuyên ngành

Khoa học máy tính

Người đăng

Ẩn danh

Thể loại

Luận văn thạc sĩ

2017

82
0
0

Phí lưu trữ

30 Point

Mục lục chi tiết

LỜI CẢM ƠN

LỜI CAM ĐOAN

MỤC LỤC

DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT

DANH MỤC HÌNH VẼ

MỞ ĐẦU

1.1. Lý do chọn đề tài

1.2. Đối tượng và phạm vi nghiên cứu

1.3. Hướng nghiên cứu của đề tài

1.4. Ý nghĩa khoa học và thực tiễn của đề tài

1.5. Phương pháp nghiên cứu

1. CHƯƠNG 1: TỔNG QUAN VỀ TRA CỨU ẢNH TÀI LIỆU

1.1. Tổng quan về tra cứu ảnh tài liệu

1.2. Truy vấn người sử dụng

1.3. Trích chọn đặc trưng ảnh

1.4. Đánh chỉ số nhiều chiều

1.5. Một số khái niệm cơ bản trong xử lý ảnh

1.6. Những thách thức trong thiết kế và thực thi hệ thống tìm kiếm ảnh tài liệu

1.7. Hệ thống đề xuất

2. CHƯƠNG 2: MỘT SỐ VẤN ĐỀ VỀ TÌM KIẾM TỪ TRONG ẢNH TÀI LIỆU VÀ PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TRƯNG

2.1. Tiền xử lý ảnh

2.2. Các phương pháp trích chọn đặc trưng cơ bản cho ảnh tài liệu

2.3. Trích chọn đặc trưng ứng dụng cho tìm kiếm từ trong ảnh tài liệu

2.4. Đối sánh những đặc trưng trong hệ thống đề xuất

2.5. Thực hiện công việc đối sánh trong hệ thống đề xuất

3. CHƯƠNG 3: CHƯƠNG TRÌNH THỬ NGHIỆM TÌM KIẾM TỪ TRONG ẢNH TÀI LIỆU TRÊN CƠ SỞ LÝ THUYẾT ĐÃ XÂY DỰNG

3.1. Môi trường cài đặt

3.2. Hệ thống mô tả chương trình thử nghiệm

3.3. Một số kết quả

DANH MỤC TÀI LIỆU THAM KHẢO

KẾT LUẬN

Tóm tắt

I. Khám Phá Bí Quyết Tìm Kiếm Từ Trong Ảnh Tài Liệu Hiệu Quả

Trong kỷ nguyên bùng nổ thông tin, việc quản lý và truy xuất dữ liệu từ các nguồn đa dạng trở thành thách thức lớn. Đặc biệt, với sự phổ biến của máy ảnh số và máy quét, lượng ảnh tài liệu chứa thông tin văn bản tăng lên đáng kể. Tuy nhiên, việc tìm kiếm từ trong ảnh tài liệu theo cách truyền thống thường khó khăn, đòi hỏi nhiều thời gian và công sức. Các hệ thống tìm kiếm nội dung trong ảnh đã ra đời nhằm giải quyết vấn đề này, cho phép người dùng truy vấn thông tin trực tiếp từ các hình ảnh.

Mục tiêu chính của các hệ thống này là xác định và trích xuất văn bản từ ảnh, sau đó đánh chỉ số để tạo điều kiện cho việc tìm kiếm dễ dàng. Thay vì chỉ dựa vào siêu dữ liệu hay mô tả thủ công, công nghệ hiện đại cho phép phân tích tài liệu số hóa dựa trên nội dung trực quan. Điều này mở ra khả năng xử lý lượng lớn dữ liệu phi cấu trúc được lưu trữ dưới dạng hình ảnh, biến chúng thành nguồn thông tin có thể tìm kiếm được. Nhận dạng ký tự quang học (OCR) đóng vai trò trung tâm trong quá trình này, chuyển đổi hình ảnh chứa văn bản thành định dạng văn bản có thể chỉnh sửa và tìm kiếm. Tuy nhiên, để đạt được độ chính xác OCR cao và hiệu suất trích xuất văn bản tối ưu, việc trích chọn đặc trưng hiệu quả là yếu tố then chốt. Luận văn này đi sâu vào nghiên cứu các phương pháp trích chọn đặc trưng ứng dụng cho tìm kiếm từ trong ảnh tài liệu, đặc biệt tập trung vào việc cải thiện khả năng truy vấn thông tin từ ảnh tài liệu hoặc ảnh in.

1.1. Tầm Quan Trọng Của Việc Trích Xuất Văn Bản Từ Ảnh Tài Liệu

Sự gia tăng nhanh chóng về lượng tài liệu scan và ảnh kỹ thuật số đặt ra yêu cầu cấp thiết về khả năng trích xuất văn bản từ ảnh một cách tự động. Các tài liệu phức tạp, chứa nhiều loại nhiễu, văn bản viết tay, chữ ký, logo, và các loại font khác nhau, đòi hỏi những phương pháp xử lý tinh vi. Khả năng trích xuất thông tin tự động từ những nguồn này không chỉ giúp tiết kiệm thời gian mà còn nâng cao hiệu quả quản lý dữ liệu phi cấu trúc. Việc hiểu rõ nội dung của ảnh tài liệu như tài liệu ngân hàng, thư doanh nghiệp, hay các bài báo kỹ thuật, đã trở thành một lĩnh vực nghiên cứu hấp dẫn. Một khi nội dung được phân tách và đánh chỉ số, chúng trở nên sẵn sàng cho các hệ thống tìm kiếm nội dung trong ảnh. Điều này tối ưu hóa quy trình làm việc và mở rộng khả năng tiếp cận thông tin trong các kho lưu trữ khổng lồ.

1.2. Tổng Quan Về Các Hệ Thống Nhận Dạng Ký Tự Quang Học OCR

Nhận dạng ký tự quang học (OCR) là công nghệ cốt lõi cho phép trích xuất văn bản từ ảnh. Về cơ bản, hệ thống OCR chuyển đổi hình ảnh của văn bản in hoặc văn bản viết tay thành dữ liệu văn bản có thể chỉnh sửa và tìm kiếm. Quá trình này bao gồm nhiều giai đoạn, từ tiền xử lý ảnh đến trích chọn đặc trưng và nhận dạng ký tự. Các hệ thống OCR hiện đại thường tích hợp các kỹ thuật Thị giác máy tính (Computer Vision)Học sâu (Deep Learning) để đạt được độ chính xác OCR cao, ngay cả với tài liệu scan có chất lượng thấp. Một hệ thống tìm kiếm từ trong ảnh tài liệu dựa trên OCR cho phép người dùng truy vấn các từ khóa, câu hoặc cụm từ, và hệ thống sẽ hiển thị các ảnh tài liệu liên quan. Hiệu suất của OCR phụ thuộc đáng kể vào chất lượng của đặc trưng ảnh cho nhận dạng được trích xuất.

II. Những Thách Thức Khi Tìm Kiếm Từ Trong Ảnh Tài Liệu Kém Chất Lượng

Thiết kế và triển khai một hệ thống tìm kiếm từ trong ảnh tài liệu hiệu quả đối mặt với nhiều rào cản đáng kể. Một trong những vấn đề chính là sự đa dạng và chất lượng kém của tài liệu scan. Nhiều ảnh tài liệu bị nhiễu, mờ, xoay, hoặc biến dạng, gây khó khăn cho việc trích xuất văn bản từ ảnh. Các tài liệu phức tạp có thể chứa vết mực lớn, đốm nhiễu, chữ in bị đậm hoặc mất nét, ảnh hưởng nghiêm trọng đến độ chính xác OCR. Luận văn này chỉ ra rằng, nguyên nhân dẫn đến chất lượng ảnh tài liệu bị giảm thường là do chất lượng kém của giấy và mực in. Việc điều chỉnh hiệu quả đối với những ảnh tài liệu có chất lượng kém đòi hỏi một lược đồ biểu diễn phù hợp và các thuật toán đối sánh tiên tiến (Lê Xuân Long, 2017, tr. 19).

Bên cạnh đó, tốc độ tính toán cũng là một thách thức lớn. Hệ thống cần xử lý lượng lớn dữ liệu ảnh, bao gồm các bước như tiền xử lý, trích chọn đặc trưng, đối sánh và lấy tài liệu. Mỗi bước có thể tiêu tốn nhiều tài nguyên và thời gian, đòi hỏi tối ưu hóa các thao tác trong suốt quá trình truy vấn. Cuối cùng, sự đa dạng về ngôn ngữ và font chữ cũng tạo ra những trở ngại. Các ngôn ngữ khác nhau có cách thức biểu diễn và quy luật viết riêng biệt, cùng với nhiều font chữ và phong cách viết tay khác nhau. Việc tìm ra những đặc trưng ảnh cho nhận dạng bất biến để đối sánh giữa các từ hoặc ký tự là rất quan trọng. Nhận dạng chữ tiếng Việt, ví dụ, thường phức tạp hơn các ngôn ngữ châu Âu do sự hiện diện của dấu và cấu trúc từ phức tạp. Do đó, để đạt được hiệu suất trích xuất văn bản cao, các giải pháp cần phải tính đến những yếu tố này.

2.1. Đối Mặt Với Các Loại Nhiễu Và Chất Lượng Ảnh Tài Liệu Thấp

Chất lượng ảnh tài liệu là yếu tố quyết định độ chính xác OCRhiệu suất trích xuất văn bản. Các ảnh đầu vào thường chứa nhiều loại nhiễu như nhiễu cộng, nhiễu nhân, nhiễu đốm, nhiễu vệt, và đứt nét [2]. Những yếu tố này làm giảm khả năng nhận diện ký tự và trích xuất văn bản từ ảnh. Ví dụ, vết mực lớn dính lên chữ cái hoặc mực in tạo thành các đốm nhiễu làm mất nét, dính chữ, khiến việc tìm kiếm từ trong ảnh tài liệu trở nên khó khăn. Để khắc phục, các phương pháp tiền xử lý ảnh như lọc nhiễu, làm trơn biên chữ, và làm đầy chữ là cần thiết. Khử nhiễu đốm có thể dùng lọc trung bình hoặc lọc trung vị, trong khi nhiễu vệt lớn hơn cần phương pháp khử các vùng liên thông nhỏ (Lê Xuân Long, 2017, tr. 23).

2.2. Khó Khăn Trong Xử Lý Đa Ngôn Ngữ Và Font Chữ Đa Dạng

Mỗi ngôn ngữ có cách thức biểu diễn và quy luật viết riêng. Điều này đặc biệt đúng với các ngôn ngữ châu Á như tiếng Việt, vốn có nhiều dấu và cấu trúc phức tạp hơn so với các ngôn ngữ châu Âu. Bên cạnh đó, sự đa dạng về font chữ và phong cách văn bản viết tay cũng tạo ra rào cản lớn cho việc trích xuất văn bản từ ảnh. Để hệ thống tìm kiếm từ trong ảnh tài liệu hoạt động hiệu quả, cần tìm ra những đặc trưng ảnh cho nhận dạng mang tính bất biến, không bị ảnh hưởng bởi sự thay đổi về font, kích thước, hay kiểu viết. Việc này đòi hỏi các thuật toán trích chọn đặc trưng phải đủ mạnh mẽ để khái quát hóa và nhận diện các ký tự hoặc từ dù chúng xuất hiện dưới nhiều hình thức khác nhau, đảm bảo độ chính xác OCR và khả năng nhận dạng chữ tiếng Việt hiệu quả.

III. Hướng Dẫn Tiền Xử Lý Ảnh Tài Liệu Để Tăng Cường Hiệu Quả Tìm Kiếm

Tiền xử lý ảnh là một bước không thể thiếu nhằm nâng cao chất lượng ảnh đầu vào trước khi tiến hành tìm kiếm từ trong ảnh tài liệu. Mục đích chính là loại bỏ các yếu tố gây nhiễu, chuẩn hóa hình ảnh và khắc phục những biến dạng do quá trình thu nhận ảnh gây ra. Quá trình này bao gồm khôi phục ảnh và tăng cường ảnh [2]. Khôi phục ảnh tập trung vào việc loại bỏ hoặc giảm thiểu ảnh hưởng từ môi trường bên ngoài như nhiễu, biến dạng. Tăng cường ảnh làm nổi bật các đặc trưng ảnh cho nhận dạng, tạo tiền đề cho các bước xử lý sau trở nên hiệu quả hơn. Các thao tác tiền xử lý góp phần làm tăng độ chính xác OCRhiệu suất trích xuất văn bản của hệ thống, mặc dù có thể làm chậm tốc độ nhận dạng.

Các chức năng chính của khối tiền xử lý bao gồm lọc nhiễu, chuẩn hóa kích thước, làm trơn biên chữ, làm đầy chữ, làm mảnh chữ và điều chỉnh độ nghiêng của văn bản. Việc lựa chọn và áp dụng các chức năng này phụ thuộc vào chất lượng cụ thể của ảnh tài liệu đầu vào. Mỗi thao tác đều hướng tới mục tiêu chung là đưa ảnh về dạng chuẩn nhất, dễ dàng nhất cho các thuật toán trích chọn đặc trưng phía sau. Chẳng hạn, việc chuyển đổi ảnh màu sang ảnh xám và sau đó sang ảnh nhị phân giúp giảm thiểu các đặc trưng không cần thiết và tập trung vào thông tin văn bản. Quá trình nhị phân hóa ảnh, đặc biệt với ngưỡng động như phương pháp Otsu, giúp phân tách rõ ràng các điểm ảnh của từ (foreground pixel) và điểm ảnh nền (background pixel) [3]. Đây là nền tảng vững chắc để các hệ thống Thị giác máy tính (Computer Vision) có thể trích xuất văn bản từ ảnh với độ chính xác OCR cao.

3.1. Các Phương Pháp Loại Bỏ Nhiễu Và Chuẩn Hóa Ảnh Tài Liệu

Để tìm kiếm từ trong ảnh tài liệu đạt độ chính xác OCR cao, việc loại bỏ nhiễu là bước thiết yếu. Ảnh tài liệu đầu vào thường chứa nhiễu đốm và nhiễu vệt [2]. Nhiễu đốm kích thước nhỏ có thể được xử lý bằng lọc trung bình hoặc lọc trung vị. Với nhiễu vệt lớn, phương pháp khử các vùng liên thông nhỏ tỏ ra hiệu quả hơn (Lê Xuân Long, 2017, tr. 23). Sau khi khử nhiễu, chuẩn hóa kích thước ảnh là cần thiết để đảm bảo tính đồng nhất. Thuật toán chuẩn hóa dựa trên việc xác định trọng tâm ảnh và khoảng cách lớn nhất từ tâm đến các cạnh của hình chữ nhật bao quanh. Thông qua tỷ lệ co, giãn, kích thước ảnh được điều chỉnh mà không bị biến dạng hoặc lệch (Lê Xuân Long, 2017, tr. 24). Điều này giúp các thuật toán trích chọn đặc trưng hoạt động ổn định hơn.

3.2. Điều Chỉnh Độ Nghiêng Và Cải Thiện Chất Lượng Biên Chữ

Các ảnh tài liệu bị nghiêng do quá trình quét không cẩn thận hoặc lỗi in ấn gây khó khăn lớn cho việc trích xuất văn bản từ ảnhtìm kiếm từ trong ảnh tài liệu. Việc điều chỉnh độ nghiêng của văn bản là một bước tiền xử lý quan trọng. Nhiều kỹ thuật được sử dụng, phổ biến nhất dựa trên biểu đồ chiếu (projection profile) hoặc các phép biến đổi Hough và Fourier [2]. Bên cạnh đó, chất lượng đường biên chữ cũng ảnh hưởng đến độ chính xác OCR. Khi đường biên bị răng cưa do quét kém chất lượng, các thuật toán làm trơn biên chữ sẽ được áp dụng. Nếu ký tự bị đứt nét ngẫu nhiên, chức năng làm đầy chữ sẽ khắc phục, tránh việc nhầm lẫn hai phần liên thông của ký tự thành hai ký tự riêng biệt. Cuối cùng, làm mảnh chữ giúp phát hiện khung xương của ký tự, dù quá trình này rất nhạy cảm với việc khử nhiễu (Lê Xuân Long, 2017, tr. 25).

IV. Bí Quyết Trích Chọn Đặc Trưng Hiệu Quả Cho Tìm Kiếm Từ Trong Ảnh

Trích chọn đặc trưng là bài toán cốt lõi trong tìm kiếm từ trong ảnh tài liệu, nhằm thu thập thông tin hữu ích từ hình ảnh và biểu diễn chúng dưới dạng tối ưu. Mục đích là giảm yêu cầu về bộ nhớ và tăng tốc độ, hiệu suất trích xuất văn bản. Các đặc trưng ảnh cho nhận dạng được trích xuất sau đó lưu trữ trong cơ sở dữ liệu để đối sánh. Số lượng thông tin hữu ích mà máy tính có thể lấy ra từ ảnh quyết định trí thông minh và hiệu quả của hệ thống (Lê Xuân Long, 2017, tr. 25). Có hàng trăm phương pháp trích chọn đặc trưng, nhưng chúng được gom thành ba nhóm chính: biến đổi toàn cục và khai triển chuỗi, đặc trưng thống kê, và đặc trưng hình học/hình thái.

Trong nhóm biến đổi toàn cục, các phương pháp như biến đổi Fourier và Wavelet cho phép nhận dạng ký tự với sự thay đổi về tư thế hoặc ở các mức độ chi tiết khác nhau [2]. Phương pháp mô men giúp thay thế ảnh gốc bằng một tập đặc trưng bất biến với tỷ lệ, tịnh tiến, hoặc quay. Khai triển Karhunent-Loeve rút gọn số chiều của tập đặc trưng để tăng tốc độ tính toán cho các máy phân lớp (Lê Xuân Long, 2017, tr. 26). Đối với đặc trưng thống kê, phân vùng (zoning), giao điểm và khoảng cách, phép chiếu, và đặc trưng hướng là những kỹ thuật phổ biến. Chúng bảo toàn các kiểu biến đổi đa dạng về hình dáng chữ và thu nhỏ số chiều tập đặc trưng. Đặc trưng hình học và hình thái, như tỷ số chiều rộng/chiều cao, độ cong, hay các cấu trúc hình thái, cung cấp tri thức về cấu trúc đối tượng ảnh. Hiện nay, các công nghệ AI cho văn bản như Học sâu (Deep Learning) cho nhận dạng văn bảnMạng nơ-ron tích chập (CNN) cho văn bản đang cách mạng hóa lĩnh vực này, cho phép trích chọn đặc trưng hiệu quả hơn bao giờ hết, đặc biệt đối với văn bản viết taytài liệu scan phức tạp.

4.1. Phân Tích Các Đặc Trưng Thống Kê Và Hình Học Của Văn Bản

Trong việc tìm kiếm từ trong ảnh tài liệu, các đặc trưng thống kê và hình học đóng vai trò quan trọng. Đặc trưng thống kê bảo toàn các kiểu biến đổi đa dạng về hình dáng chữ. Ví dụ, phân vùng (zoning) chia khung chứa ký tự thành các vùng và phân tích mật độ điểm ảnh. Các phép chiếu giúp tạo ra dãy tín hiệu một chiều từ ảnh hai chiều bằng cách chiếu các giá trị mức xám lên các dòng theo các hướng khác nhau [2]. Đặc trưng hướng xác định các nét chữ và hướng của chúng, quan trọng để so sánh sự khác nhau giữa các ký tự. Đối với đặc trưng hình học, các tính chất cục bộ và toàn cục của ký tự được biểu diễn bằng các đại lượng như tỷ số chiều rộng và chiều cao của hộp chứa ký tự, hoặc độ cong. Việc đo lường và xấp xỉ các tính chất này giúp tạo ra tập đặc trưng vừa đủ và thuận tiện cho việc đối sánh từtrích xuất văn bản từ ảnh hiệu quả.

4.2. Ứng Dụng Học Sâu Và Các Phép Biến Đổi Toàn Cục Trong Trích Chọn Đặc Trưng

Học sâu (Deep Learning) cho nhận dạng văn bản đã mang lại những bước tiến vượt bậc trong trích chọn đặc trưng hiệu quả. Các mô hình Mạng nơ-ron tích chập (CNN) cho văn bản có khả năng tự động học các đặc trưng phức tạp từ dữ liệu ảnh thô, vượt trội so với các phương pháp thủ công truyền thống. CNN đặc biệt hiệu quả trong việc xử lý các biến thể về font chữ, kích thước, và chất lượng ảnh tài liệu. Bên cạnh đó, các phép biến đổi toàn cục như biến đổi Fourier hay Wavelet vẫn giữ giá trị. Biến đổi Fourier nổi bật với khả năng nhận dạng các ký tự thay đổi về tư thế, trong khi biến đổi Wavelet mô tả đặc trưng ảnh ở các mức độ khác nhau [2]. Sự kết hợp giữa Học sâu và các phép biến đổi này giúp tạo ra bộ đặc trưng ảnh cho nhận dạng mạnh mẽ hơn, tăng cường độ chính xác OCRhiệu suất trích xuất văn bản trong các hệ thống tìm kiếm từ trong ảnh tài liệu.

V. Hệ Thống Đề Xuất Ứng Dụng Thực Tiễn Tìm Kiếm Từ Trong Ảnh Tài Liệu

Luận văn đã đề xuất một hệ thống tìm kiếm từ trong ảnh tài liệu với khả năng đánh dấu hoặc làm nổi bật từ cần tìm, xuất phát từ kiến trúc chung của các hệ thống tìm kiếm ảnh. Hệ thống này không sử dụng trực tiếp phương pháp nhận dạng ký tự quang học (OCR) truyền thống mà thay vào đó, thực hiện đối sánh từ trực tiếp trong ảnh tài liệu bằng cách sử dụng ảnh của một từ làm câu truy vấn (Lê Xuân Long, 2017, tr. 19-20). Cấu trúc chung của hệ thống bao gồm hai thủ tục chính. Thủ tục B tập trung vào việc phân tích tất cả ảnh tài liệu để tìm số lượng từ tối đa bên trong chúng. Sau đó, các đặc trưng ảnh cho nhận dạng được trích chọn hiệu quả dựa trên hình dạng của từ, bỏ qua những khác biệt chi tiết do nhiễu hoặc phông chữ. Những đặc trưng này sau đó được lưu vào cơ sở dữ liệu.

Trong thủ tục A, người dùng nhập một từ truy vấn. Hệ thống sẽ tạo ra một bức ảnh tương ứng với từ đó, sau đó xử lý ảnh này để trích chọn đặc trưng hiệu quả. Những đặc trưng này được sử dụng để tìm các từ tương tự thông qua thủ tục đối sánh từ. Cuối cùng, các ảnh tài liệu chứa những từ tương tự sẽ được hiển thị cho người dùng. Cách tiếp cận này giúp cải thiện hiệu suất trích xuất văn bảnđộ chính xác OCR trong việc tìm kiếm từ trong ảnh tài liệu, đặc biệt khi đối mặt với tài liệu scan hoặc văn bản viết tay chất lượng thấp. Kết quả thử nghiệm chỉ ra rằng hệ thống đề xuất đưa ra kết quả tìm kiếm có độ chính xác cao thông qua các độ đo về tỉ lệ độ chính xác (precision) và độ thu hồi (recall) (Lê Xuân Long, 2017, tr. 20). Việc ứng dụng công nghệ AI cho văn bảnThị giác máy tính (Computer Vision) trong mô hình này mở ra tiềm năng lớn cho trích xuất thông tin tự động từ các tài liệu số hóa quy mô lớn.

5.1. Quy Trình Trích Xuất Văn Bản Và Đối Sánh Từ Hiệu Quả

Hệ thống đề xuất tập trung vào quy trình trích xuất văn bản từ ảnhđối sánh từ một cách hiệu quả. Đầu tiên, ảnh tài liệu được tiền xử lý để loại bỏ nhiễu và chuẩn hóa. Sau đó, quá trình phân tích ảnh tìm kiếm các thành phần liên thông (CCL - Connected Components Labeling) để phân đoạn các từ. Tiếp theo, các thuật toán trích chọn đặc trưng được áp dụng để lấy ra các đặc trưng hình học, hình thái, và thống kê của từng từ. Những đặc trưng này tạo thành vector đặc trưng, được lưu trữ trong cơ sở dữ liệu. Khi người dùng nhập truy vấn, từ khóa được chuyển đổi thành ảnh và cũng trải qua quá trình trích chọn đặc trưng tương tự. Cuối cùng, thuật toán đối sánh sẽ so sánh vector đặc trưng của từ truy vấn với các vector trong cơ sở dữ liệu để tìm kiếm từ trong ảnh tài liệu một cách nhanh chóng và chính xác. Quy trình này tối ưu hóa hiệu suất trích xuất văn bản mà không cần qua toàn bộ quy trình OCR phức tạp.

5.2. Đánh Giá Độ Chính Xác OCR Và Khả Năng Thu Hồi Của Hệ Thống

Việc đánh giá độ chính xác OCR và khả năng thu hồi (recall) là yếu tố then chốt để xác định hiệu quả của hệ thống tìm kiếm từ trong ảnh tài liệu. Trong các thử nghiệm, luận văn đã sử dụng ba mươi từ ngẫu nhiên để đánh giá. Kết quả cho thấy độ chính xác đạt 87.8% và khả năng thu hồi đạt 99.69% (Lê Xuân Long, 2017, tr. ix và tr. 69). Độ chính xác (precision) phản ánh tỷ lệ các kết quả tìm thấy là chính xác, trong khi khả năng thu hồi (recall) đo lường tỷ lệ các từ liên quan được tìm thấy so với tổng số từ liên quan có trong cơ sở dữ liệu. Những con số này minh chứng cho hiệu suất trích xuất văn bản ấn tượng của hệ thống, đặc biệt trong bối cảnh các ảnh tài liệu có thể chứa nhiều biến thể và nhiễu. Việc đạt được độ chính xác OCR cao trong điều kiện thực tế là một thành tựu quan trọng, mở ra tiềm năng ứng dụng rộng rãi cho công nghệ AI cho văn bản trong phân tích tài liệu số hóa.

VI. Tương Lai Của Trích Chọn Đặc Trưng Trong Tìm Kiếm Từ Ảnh Tài Liệu

Lĩnh vực tìm kiếm từ trong ảnh tài liệutrích chọn đặc trưng hiệu quả đang liên tục phát triển, hứa hẹn nhiều cải tiến trong tương lai. Với sự tiến bộ không ngừng của Thị giác máy tính (Computer Vision)Học sâu (Deep Learning) cho nhận dạng văn bản, khả năng trích xuất văn bản từ ảnh sẽ ngày càng tinh vi và chính xác hơn. Các mô hình Mạng nơ-ron tích chập (CNN) cho văn bản tiên tiến hơn có thể tự động học các đặc trưng biểu cảm, giảm thiểu sự phụ thuộc vào các kỹ thuật trích chọn đặc trưng thủ công. Việc tích hợp các kỹ thuật nhận dạng chữ tiếng Việt chuyên sâu cũng là một hướng đi quan trọng để mở rộng phạm vi ứng dụng của các hệ thống này. Hiện tại, một số hạn chế vẫn tồn tại, chẳng hạn như khả năng xử lý văn bản viết tay với độ chính xác OCR tương đương với văn bản in, hoặc khả năng đối phó với tài liệu scan có chất lượng cực thấp và biến dạng nghiêm trọng.

Trong tương lai, nghiên cứu sẽ tập trung vào việc phát triển các thuật toán trích chọn đặc trưng đa chiều, kết hợp thông tin hình ảnh với thông tin ngữ cảnh và ngữ nghĩa để nâng cao hiệu suất trích xuất văn bản. Việc sử dụng các mô hình ngôn ngữ lớn (LLMs) kết hợp với Thị giác máy tính có thể tạo ra các hệ thống phân tích tài liệu số hóa thông minh hơn, không chỉ tìm kiếm từ trong ảnh tài liệu mà còn hiểu được ý nghĩa của các đoạn văn bản. Các giải pháp dựa trên công nghệ AI cho văn bản sẽ tiếp tục tối ưu hóa tốc độ xử lý và giảm thiểu tài nguyên tính toán, cho phép triển khai trên quy mô lớn. Cuối cùng, việc tạo ra các hệ thống có khả năng học thích nghi (adaptive learning) với các loại tài liệu và ngôn ngữ mới sẽ là mục tiêu hàng đầu, giúp vượt qua những thách thức hiện tại và mở rộng tiềm năng của việc tìm kiếm nội dung trong ảnh vào nhiều lĩnh vực khác nhau.

6.1. Tóm Lược Về Những Tiến Bộ Và Thách Thức Còn Tồn Đọng

Lĩnh vực tìm kiếm từ trong ảnh tài liệu đã chứng kiến nhiều tiến bộ vượt bậc nhờ vào trích chọn đặc trưng hiệu quảcông nghệ AI cho văn bản. Khả năng trích xuất văn bản từ ảnh đã được cải thiện đáng kể, đặc biệt với tài liệu scan có chất lượng tương đối. Tuy nhiên, vẫn còn những thách thức đáng kể. Độ chính xác OCR cho văn bản viết tay vẫn còn hạn chế. Các ảnh tài liệu với nhiễu phức tạp, biến dạng, hoặc sự kết hợp nhiều font chữ và ngôn ngữ đặt ra yêu cầu cao hơn cho các thuật toán trích chọn đặc trưng. Việc tối ưu hóa hiệu suất trích xuất văn bản trên các tập dữ liệu lớn và đa dạng vẫn là một mục tiêu nghiên cứu quan trọng. Vấn đề về tốc độ tính toán và khả năng mở rộng của hệ thống cũng cần được giải quyết để áp dụng rộng rãi trong thực tế.

6.2. Hướng Phát Triển Mới Cho Công Nghệ Nhận Dạng Văn Bản Từ Ảnh

Tương lai của nhận dạng văn bản từ ảnh sẽ hướng tới các giải pháp tích hợp sâu hơn Học sâu (Deep Learning) cho nhận dạng văn bảnThị giác máy tính (Computer Vision). Việc phát triển các mô hình Mạng nơ-ron tích chập (CNN) cho văn bản có khả năng học đa nhiệm, xử lý đồng thời nhiều loại nhiễu và biến thể, sẽ là trọng tâm. Một hướng nghiên cứu mới là kết hợp trích chọn đặc trưng hình ảnh với thông tin ngữ cảnh và ngữ nghĩa từ các mô hình ngôn ngữ tự nhiên để cải thiện độ chính xác OCRhiệu suất trích xuất văn bản. Các hệ thống có khả năng tự động thích nghi với các ngôn ngữ mới, bao gồm nhận dạng chữ tiếng Việt với dấu và ngữ pháp phức tạp, sẽ mở rộng đáng kể phạm vi ứng dụng. Ngoài ra, việc nghiên cứu các giải pháp tối ưu hóa phần cứng và phần mềm để tăng tốc độ xử lý cho tìm kiếm từ trong ảnh tài liệu trên các thiết bị di động hoặc môi trường đám mây cũng là một hướng đi triển vọng.

02/10/2025

Trích đoạn nội dung tài liệu

CHƯƠNG 1: TỔNG QUAN VỀ TRA CỨU ẢNH TÀI LIỆU 1. Tổng quan về tra cứu ảnh tài liệu Trong những năm gần đây, sự gia tăng nhanh chóng về mặt số lượng các tài liệu đa phương tiện đặc biệt là dữ liệu ảnh. Những dữ liệu dạng này tăng nhanh do việc tạo ra chúng dễ dàng nhờ sử dụng máy quét (Scanner) và máy ảnh kỹ thuật số (Digital camera). Do đó, các văn bản có thể được chụp hoặc quét và được lưu dưới dạng ảnh tài liệu (Document image).

Nhưng những thông tin này không được đánh chỉ số cho nên việc tìm kiếm thông tin trở nên khó khăn. Việc tìm kiếm thông tin trong ảnh tài liệu là một lĩnh vực nghiên cứu hấp dẫn với sự phát triển ngày càng tăng nhanh. Những tài liệu dạng này đóng một vai trò quan trọng trong cuộc sống hằng ngày của chúng ta. Những tài liệu phức tạp hơn đưa ra những thử thách lớn hơn cho lĩnh vực nhận dạng và tìm kiếm ảnh tài liệu.

Sự hiện diện của các loại nhiễu, chữ viết tay, chữ ký, logo, chữ in trong cùng một tài liệu với các loại font khác nhau cũng như việc quy định viết chữ theo dòng đã gây nhiều hạn chế đến các thuật toán mà đơn thuần làm việc trên những bức ảnh tài liệu đơn giản. Công việc chính của quá trình xử lý ảnh tài liệu phức tạp là tách biệt những nội dung khác nhau có trong ảnh tài liệu. Một khi những nội dung đã được phân tách, thì chúng có thể được đánh chỉ số để sẵn dùng bởi hệ thống tìm kiếm ảnh. Sự hiểu biết nội dung của ảnh tài liệu như là tài liệu về kiểm tra tài khoản ngân hàng, thư trong doanh nghiệp, các mẫu điền thông tin, và các bài báo kĩ thuật đã dần trở thành những lĩnh vực nghiên cứu hấp dẫn.

Trong chương này sẽ đưa ra kiến thức chung nhất về hệ thống tra cứu ảnh tài liệu và một số vấn đề liên quan đến xử lý ảnh. Các thách thức đặt ra với hệ thống tìm kiếm ảnh nói chung và hệ thống các đề xuất. download by : skknchat@gmail.1 Lược đồ mô tả hệ thống tra cứu ảnh dựa vào nội dung Chúng ta thấy rằng trên hệ thống tra cứu ảnh dựa vào nội dung, có các nguồn thông tin trực quan ở các khuôn dạng khác nhau và có các truy vấn người sử dụng. Chúng được liên kết thông qua một chuỗi các tác vụ như được minh họa trong hình trên.

Sau đây chúng ta sẽ đưa ra cái nhìn khái quát về một số tác vụ chính của một hệ thống tra cứu ảnh bao gồm các nội dung sau: Phân tích nội dung của các nguồn thông tin và biểu diễn các nội dung được phân tích theo cách thích hợp cho so sánh các truy vấn sử dụng. Bước này thường cần nhiều thời gian nhất vì nó phải xử lý lần lượt các ảnh đưa vào cơ sở dữ liệu và được thực hiện một lần. Phân tích các truy vấn người sử dụng và biểu diễn ở dạng thích hợp cho so sánh với cơ sở dữ liệu nguồn, chỉ áp dụng với ảnh truy vấn. So sánh các truy vấn tìm kiếm thông tin trong cơ sở dữ liệu nguồn, tra cứu thông tin liên quan theo cách hiệu quả nhất.

Được thực hiện trực tiếp và yêu cầu rất nhanh, các kỹ thuật đánh chỉ số hiện đại có thể được sử dụng để tổ chức lại không gian đặc trưng để tốc độ đối sánh được nhanh hơn. Điều chỉnh cần thiết ở hệ thống dựa vào phản hồi từ người sử dụng hoặc các ảnh được tra cứu. download by : skknchat@gmail. Truy vấn người sử dụng Có nhiều cách gửi một truy vấn trực quan.

Một phương pháp truy vấn tốt là phương pháp tự nhiên đối với người sử dụng cũng như thu được đủ thông tin từ người sử dụng để trích rút các kết quả có ý nghĩa. Các phương pháp truy vấn dưới đây được sử dụng phổ biến trong nghiên cứu tra cứu ảnh dựa vào nội dung. Truy vấn bởi ảnh mẫu (QBE - Query By Example): trong loại truy vấn này, người sử dụng hệ thống chỉ rõ một ảnh truy vấn cần tìm , dựa trên ảnh đó hệ thống sẽ tìm kiếm trong cơ sở dự liệu ảnh các ảnh tương tự nhất. Ưu điểm của hệ thống này là một cách tự nhiên cho những người sử dụng chung và tra cứu trong cơ sở dữ liệu.

Truy vấn bởi đặc trưng (QBF – Query By Feature): trong hệ thống QBF tiêu biểu, những người sử dụng các truy vấn bằng việc chỉ rõ các đặc trưng họ quan tâm cho tìm kiếm. Truy vấn này được chỉ rõ bằng việc sử dụng các công cụ giao diện đồ họa chuyên dụng. Những người sử dụng hệ thống tra cứu ảnh chuyên nghiệp thì có thể thấy loại truy vấn này là bình thường còn người sử dụng chung thì không thể. Các truy vấn dựa vào thuộc tính ( Attribute – Based queries): Các truy vấn dựa vào thuộc tính sử dụng các chú thích văn bản, trích rút trước bởi nỗ lực con người, như một khóa tra cứu chính.

Phương pháp này nhanh và dễ thực hiện, nhưng chủ quan và nhập nhằng cao xuất hiện như đã đề cập. Trích chọn đặc trưng ảnh Trích chọn đặc trưng liên quan đến việc trích chọn những thông tin hữu ích từ ảnh. Vì vậy nó giảm yêu cầu về bộ nhớ cấn thiết và do đó làm hệ thống trở nên nhanh hơn và tìm kiếm ảnh hiệu quả hơn. Mỗi khi một hoặc nhiều đặc trưng được trích chọn, chúng là được lưu trữ trong cơ sở dữ liệu để sử dụng cho công việc sau này.

Số lượng thông tin hữu ích mà một máy tính lấy ra từ ảnh là yếu tố rất quan trọng quyết định tính thông minh, cũng như hiệu quả của hệ thống tìm kiếm ảnh. Một ưu điểm lớn nhất của việc trích chọn đặc trưng đó là nó bỏ đi những thông tin không cần thiết và chỉ giữ lại những thông tin cần thiết để có thể biểu diễn nội dung cho ảnh. download by : skknchat@gmail.com 7 a)Trích chọn đặc trưng theo mầu sắc tổng thể và cục bộ Tra cứu ảnh dựa trên màu sắc hầu hết là biến đổi dựa trên ý tưởng giống nhau của các biểu đồ màu. Mỗi ảnh khi đưa vào tập hợp ảnh đều được phân tích, tính toán một biểu đồ màu.

Sau đó, biểu đồ màu của mỗi ảnh sẽ được lưu trữ trong cơ sở dữ liệu. Khi tìm kiếm, người sử dụng có thể xác định tỷ lệ của mỗi màu mong muốn (ví dụ 75% Blue, 25% Red) hoặc đưa ra một ảnh mẫu với biểu đồ màu đã được tính toán. Quá trình tra cứu sẽ đối sánh biểu đồ màu này với biểu đồ màu trong cơ sở dữ liệu để tìm ra kết quả tương tự nhất. Kỹ thuật đối sánh được sử dụng phổ biến nhất là biểu đồ màu giao nhau được phát triển đầu tiên bởi Swain.

Những kỹ thuật cải tiến từ kỹ thuật này ngày nay được sử dụng rộng rãi trong các hệ thống ra cứu ảnh hiện thời. Kết quả của các hệ thống này đã tạo những ấn tượng khá sâu sắc. b)Trích chọn đặc trưng theo kết cấu Kết cấu (texture) là một tính chất quan trọng khác của ảnh. Kết cấu là một thành phần có ảnh hưởng rất quan trọng đối với sự nhận thức trực quan của con người.

Tất cả mọi người đều có thể nhận ra kết cấu nhưng lại rất khó có thể định nghĩa chính xác nó là gì. Không giống như màu sắc, kết cấu “xảy ra” trên một vùng chứ không phải tại một điểm ảnh và thường được định nghĩa bằng các mức xám. Rất nhiều cách thể hiện kết cấu đã được nghiên cứu trong lĩnh vực nhận dạng và thị giác máy tính. Xét một cách cơ bản, các phương pháp biểu diễn kết cấu có thể được chia thành hai loại: Phương pháp cấu trúc và phương pháp thống kê.

* Các phương pháp cấu trúc bao gồm: các toán tử hình thái và đồ thị liền kề, mô tả kết cấu bằng cách định nghĩa các nguyên thuỷ cấu trúc và luật sắp đặt của chúng. Các phương pháp này tỏ ra có hiệu quả khi áp dụng trong trường hợp kết cấu thông thường. * Các phương pháp thống kê bao gồm: Phương pháp phổ năng lượng Fourier, ma trận đồng khả năng, Tamura, Phân tích Wold, trường ngẫu nhiên Markov, mô hình fractal, các bộ lọc đa phân giải như biến đổi Gabor và biến đổi dạng sóng. thể hiện kết cấu bằng sự phân bố thống kê của độ sáng của các điểm ảnh.

download by : skknchat@gmail.com 8 c)Trích chọn đặc trưng theo hình dạng Các đặc điểm phát hiện biên của các vùng ảnh và các đối tượng ảnh được sử dụng trong rất nhiều hệ thống tra cứu ảnh. So với các đặc điểm về màu sắc và các đặc điểm về kết cấu thì các đặc điểm về hình dạng thường chỉ được sử dụng sau khi ảnh đã phân thành các vùng hoặc các đối tượng ảnh. Nhưng do việc phân vùng và tách đối tượng ảnh khó thu được kết quả tốt nên việc sử dụng các đặc điểm hình dạng để tra cứu ảnh thường bị bó hẹp trong một số ứng dụng mà ở đó các vùng ảnh hoặc đối tượng ảnh đã được tách biệt rõ ràng. Các phương pháp trích chọn đặc điểm hình dạng thường được chia thành hai loại là trích chọn dựa theo đường biên (xấp xỉ đa giác, mô hình phần tử hữu hạn, mô tả hình dạng theo Fourier) và trích chọn dựa theo vùng ảnh (mô hình thống kê).

Một phương pháp trích chọn đặc điểm hình dạng tốt phải đảm bảo yêu cầu là phải không phụ thuộc vào vị trí, góc quay hay sự co giãn của đối tượng ảnh. Trước khi áp dụng các phương pháp trích chọn đặc điểm hình dạng, các đối tượng ảnh cần phải được tách ra khỏi ảnh. Giả sử là trong mỗi ảnh chỉ có một đối tượng ảnh duy nhất, nhiệm vụ của hệ thống trước hết là phải tách được đối tượng ảnh ra khỏi nền ảnh. Cách biểu diễn hình dạng của đối tượng ảnh có thể chia thành hai kiểu: Theo đường bao quanh (biên) và theo vùng Cách biểu diễn theo đường viền bao quanh chỉ sử dụng đường biên bên ngoài của hình dạng, điều này có thể thực hiện được bằng cách mô tả vùng đang quan tâm bằng cách đặc tính bên ngoài của nó tức là các điểm ảnh dọc theo đường viền bao quanh đối tượng ảnh.

Cách biểu diễn theo vùng sử dụng cả vùng ảnh bằng cách mô tả vùng đang quan tâm bằng các đặc tính bên trong tức là các điểm ảnh ở bên trong vùng đó. Đánh chỉ số nhiều chiều Để thực hiện việc tra cứu dựa vào nội dung đối với các cơ sở dữ liệu ảnh lớn, các kỹ thuật đánh chỉ số nhiều chiều cần được sử dụng.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ