Luận văn thạc sĩ về công nghệ số hóa và chỉ số trong hệ quản trị nội dung

Chuyên đề công nghệ số hóa và chỉ số trong hệ quản trị nội dung, tiếp cận liên ngành, kết quả nghiên cứu có giá trị ứng dụng cao trong công nghệ

• Tác giả: Nguyễn Thị Hòa
• Người hướng dẫn: TS. Trần Minh
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Nghiên Cứu Công Nghệ Số Hóa Và Tạo Lập Chỉ Số Trong Hệ Quản Trị Nội Dung
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2013
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: PHÂN TÍCH QUÁ TRÌNH SỐ HÓA
• 1.1. Công nghệ số hóa
• 1.1.1. Khái niệm
• 1.1.2. Tại sao phải số hóa dữ liệu
• 1.1.3. Ưu điểm và Hạn chế
• 1.1.4. Quá trình số hóa
• 1.1.5. Công nghệ mã nguồn mở trong sao chụp tài liệu
• 1.1.5.1. Giới thiệu TWAIN và thư viện Dynamic .Net TWAIN
• 1.1.5.2. Giới thiệu thư viện SANE
• 2. CHƯƠNG 2: LẬP METADATA VÀ CHỈ MỤC NGƯỢC ĐỂ LƯU TRỮ VÀ TÌM KIẾM
• 3. CHƯƠNG 3: ỨNG DỤNG THỬ NGHIỆM
• TÀI LIỆU THAM KHẢO
• PHỤ LỤC: Các xử lý trong chương trình Scan văn bản

Tóm tắt

I. Phân tích quá trình số hóa

Công nghệ số hóa là quá trình chuyển đổi dữ liệu từ dạng truyền thống sang dạng số, cho phép máy tính nhận diện và xử lý. Việc số hóa không chỉ giúp bảo quản thông tin mà còn tạo điều kiện thuận lợi cho việc truy xuất và chia sẻ dữ liệu. Theo nghiên cứu, việc số hóa giúp giảm thiểu không gian lưu trữ và chi phí quản lý tài liệu. Tuy nhiên, việc triển khai công nghệ số hóa cũng gặp phải một số thách thức như yêu cầu đầu tư ban đầu về công nghệ và đào tạo nhân lực. Đặc biệt, việc bảo mật dữ liệu số hóa là một vấn đề cần được chú trọng. Như vậy, công nghệ số hóa không chỉ là một xu hướng mà còn là một yêu cầu thiết yếu trong quản lý thông tin hiện đại.

1.1. Khái niệm và tầm quan trọng của số hóa

Số hóa dữ liệu là quá trình chuyển đổi các dạng dữ liệu truyền thống như văn bản, hình ảnh sang định dạng số. Điều này không chỉ giúp bảo quản thông tin mà còn tạo điều kiện thuận lợi cho việc truy xuất và chia sẻ dữ liệu. Việc số hóa giúp giảm thiểu không gian lưu trữ và chi phí quản lý tài liệu. Theo một nghiên cứu, việc số hóa giúp nâng cao hiệu suất làm việc trong các cơ quan hành chính. Tuy nhiên, việc triển khai công nghệ số hóa cũng gặp phải một số thách thức như yêu cầu đầu tư ban đầu về công nghệ và đào tạo nhân lực. Đặc biệt, việc bảo mật dữ liệu số hóa là một vấn đề cần được chú trọng.

1.2. Ưu điểm và hạn chế của số hóa

Việc số hóa mang lại nhiều lợi ích như dễ dàng trong việc lưu trữ, truy xuất và chia sẻ thông tin. Tuy nhiên, cũng tồn tại một số hạn chế như chi phí đầu tư ban đầu cao và yêu cầu đào tạo nhân lực. Dữ liệu số hóa dễ bị sao chép và sửa đổi trái phép, điều này đòi hỏi các cơ quan phải có biện pháp bảo mật hiệu quả. Hơn nữa, việc triển khai công nghệ số hóa có thể gặp khó khăn do cần phải thực hiện training đồng bộ và có hệ thống cho toàn bộ nhân viên. Do đó, việc cân nhắc giữa lợi ích và thách thức là rất quan trọng trong quá trình áp dụng công nghệ số hóa.

II. Lập metadata và chỉ mục ngược để lưu trữ và tìm kiếm

Lập metadata là một phần quan trọng trong quá trình số hóa. Metadata giúp xác định và mô tả nội dung của tài liệu, từ đó hỗ trợ việc tìm kiếm và truy xuất thông tin. Việc lập chỉ mục ngược cho phép người dùng tìm kiếm tài liệu một cách nhanh chóng và hiệu quả. Theo nghiên cứu, việc sử dụng chuẩn metadata như Dublin Core giúp nâng cao khả năng tìm kiếm và quản lý tài liệu. Tuy nhiên, việc lập metadata cũng cần phải tuân thủ các quy định và tiêu chuẩn nhất định để đảm bảo tính chính xác và hiệu quả trong việc lưu trữ và tìm kiếm.

2.1. Khái niệm về metadata

Metadata là thông tin mô tả về dữ liệu, giúp người dùng hiểu rõ hơn về nội dung và ngữ cảnh của tài liệu. Việc lập metadata không chỉ giúp tổ chức thông tin mà còn tạo điều kiện thuận lợi cho việc tìm kiếm và truy xuất. Theo nghiên cứu, việc sử dụng chuẩn metadata như Dublin Core giúp nâng cao khả năng tìm kiếm và quản lý tài liệu. Điều này đặc biệt quan trọng trong bối cảnh hiện nay khi mà khối lượng thông tin ngày càng lớn và phức tạp.

2.2. Phương pháp lập chỉ mục ngược

Lập chỉ mục ngược là một phương pháp hiệu quả trong việc tìm kiếm tài liệu. Phương pháp này cho phép người dùng tìm kiếm thông tin dựa trên các từ khóa và chỉ mục đã được lập trước đó. Việc sử dụng công nghệ như Greenstone trong lập chỉ mục ngược giúp tối ưu hóa quá trình tìm kiếm và truy xuất thông tin. Theo nghiên cứu, việc áp dụng phương pháp này không chỉ giúp tiết kiệm thời gian mà còn nâng cao hiệu suất làm việc trong các cơ quan hành chính.

III. Ứng dụng thử nghiệm

Ứng dụng thử nghiệm là bước quan trọng để kiểm tra tính khả thi của các giải pháp số hóa và lập chỉ mục. Việc áp dụng công nghệ như Greenstone trong việc lưu trữ và tạo lập chỉ mục văn bản đã được số hóa tại trường Đại học Hải Dương cho thấy hiệu quả rõ rệt. Các ứng dụng này không chỉ giúp nâng cao hiệu suất làm việc mà còn đảm bảo tính chính xác và an toàn trong việc quản lý thông tin. Theo nghiên cứu, việc triển khai các ứng dụng thử nghiệm giúp các cơ quan hành chính có cái nhìn rõ hơn về lợi ích của công nghệ số hóa.

3.1. Bài toán ứng dụng

Bài toán ứng dụng trong việc số hóa và lập chỉ mục là một thách thức lớn đối với các cơ quan hành chính. Việc áp dụng công nghệ như Greenstone giúp giải quyết vấn đề này một cách hiệu quả. Các ứng dụng thử nghiệm cho thấy khả năng lưu trữ và tìm kiếm thông tin nhanh chóng và chính xác. Điều này không chỉ giúp tiết kiệm thời gian mà còn nâng cao hiệu suất làm việc trong các cơ quan hành chính.

3.2. Kết quả ứng dụng

Kết quả ứng dụng cho thấy việc số hóa và lập chỉ mục mang lại nhiều lợi ích cho các cơ quan hành chính. Việc sử dụng công nghệ như Greenstone giúp tối ưu hóa quá trình lưu trữ và tìm kiếm thông tin. Theo nghiên cứu, các ứng dụng thử nghiệm đã chứng minh được tính khả thi và hiệu quả trong việc quản lý thông tin. Điều này mở ra hướng đi mới cho việc áp dụng công nghệ số hóa trong các cơ quan hành chính.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh công tác quản lý nhà nước tại các cơ quan, tổ chức ngày càng phát sinh một lượng lớn văn bản giấy tờ cần xử lý, chuyển giao và lưu trữ, việc ứng dụng công nghệ số hóa trở thành nhu cầu cấp thiết. Theo khảo sát tại các đơn vị cấp huyện tỉnh Hải Dương, mặc dù phần mềm quản lý văn bản đã được triển khai rộng rãi và phát huy hiệu quả, nhưng vẫn tồn tại nhiều bất cập trong việc trao đổi văn bản điện tử giữa các cơ quan. Những khó khăn này không chỉ do trình độ người dùng, tài chính hay thói quen sử dụng mà còn xuất phát từ việc hệ thống tin học chưa thực sự phù hợp với yêu cầu nghiệp vụ hành chính và chưa tuân thủ đầy đủ các quy định pháp luật.

Luận văn tập trung nghiên cứu công nghệ số hóa văn bản và tạo lập chỉ mục trong hệ quản trị nội dung tại trường Đại học Hải Dương, nhằm xây dựng mô hình quản lý, lưu trữ và trao đổi văn bản điện tử hiệu quả, tuân thủ quy phạm pháp luật hành chính. Phạm vi nghiên cứu bao gồm công nghệ số hóa TWAIN, SANE và ứng dụng Greenstone trong việc lưu trữ, tạo lập chỉ mục văn bản số hóa. Mục tiêu cụ thể là phát triển giải pháp số hóa tài liệu, tạo lập metadata xác thực và metadata tìm kiếm theo chuẩn Dublin Core, đồng thời áp dụng phương pháp lập chỉ mục ngược để nâng cao hiệu quả truy xuất thông tin.

Nghiên cứu có ý nghĩa quan trọng trong việc nâng cao hiệu quả quản lý văn bản điện tử, giảm thiểu chi phí lưu trữ, tăng cường khả năng tìm kiếm và trao đổi thông tin giữa các cơ quan hành chính, góp phần thúc đẩy chuyển đổi số trong lĩnh vực quản lý hành chính công.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai khung lý thuyết chính: công nghệ số hóa tài liệu và chuẩn metadata Dublin Core trong quản lý thông tin.

1. Công nghệ số hóa tài liệu: Số hóa là quá trình chuyển đổi dữ liệu truyền thống (văn bản giấy, hình ảnh) sang dạng dữ liệu số mà máy tính có thể nhận biết và xử lý. Công nghệ số hóa sử dụng các giao diện lập trình ứng dụng (API) như TWAIN và SANE để thu nhận hình ảnh từ thiết bị scan. TWAIN là chuẩn giao tiếp giữa phần mềm và thiết bị thu nhận hình ảnh, trong khi SANE là thư viện mã nguồn mở hỗ trợ đa dạng thiết bị quét trên nền tảng UNIX/Linux. Hai công nghệ này giúp chuẩn hóa quá trình thu thập dữ liệu số, giảm thiểu chi phí và tăng tính linh hoạt trong quản lý tài liệu số.

2. Chuẩn metadata Dublin Core: Đây là bộ tiêu chuẩn quốc tế gồm 15 thành tố mô tả dữ liệu nhằm hỗ trợ quản lý, tìm kiếm và trao đổi thông tin hiệu quả. Các thành tố như Tiêu đề, Người tạo, Thời gian, Cơ quan ban hành, Mô tả, Định danh, Ngôn ngữ, Nguồn, Chủ đề, Quyền truy cập... được sử dụng để tạo lập metadata tìm kiếm cho tài liệu số hóa, giúp nâng cao khả năng truy xuất và liên tác giữa các hệ thống quản lý tài liệu.

Ngoài ra, luận văn còn áp dụng mô hình lập chỉ mục ngược (inverted index) theo phương pháp của công cụ tìm kiếm Lucene để xây dựng hệ thống chỉ mục hiệu quả, hỗ trợ truy vấn nhanh chóng và chính xác.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp kết hợp giữa phân tích lý thuyết, thiết kế mô hình và ứng dụng thử nghiệm thực tế tại trường Đại học Hải Dương.

• Nguồn dữ liệu: Bao gồm tài liệu pháp luật về quản lý văn bản hành chính, các chuẩn kỹ thuật về số hóa và metadata, dữ liệu thực tế từ hệ thống quản lý văn bản tại trường Đại học Hải Dương.

• Phương pháp phân tích: Phân tích kỹ thuật số hóa qua TWAIN và SANE, xây dựng metadata theo chuẩn Dublin Core, thiết kế và triển khai hệ thống lập chỉ mục ngược sử dụng Greenstone Librarian Interface (GLI).

• Cỡ mẫu và chọn mẫu: Nghiên cứu tập trung vào bộ sưu tập văn bản số hóa tại trường Đại học Hải Dương, với hàng trăm tài liệu được scan và lập chỉ mục để đánh giá hiệu quả.

• Timeline nghiên cứu: Quá trình nghiên cứu và thử nghiệm kéo dài trong năm 2013, bao gồm các giai đoạn phân tích công nghệ, thiết kế mô hình, triển khai ứng dụng và đánh giá kết quả.

Phương pháp nghiên cứu đảm bảo tính thực tiễn, khả thi và phù hợp với yêu cầu quản lý văn bản điện tử trong các cơ quan hành chính hiện nay.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả của công nghệ số hóa TWAIN và SANE: Việc ứng dụng TWAIN và SANE trong quá trình scan văn bản giúp chuẩn hóa dữ liệu số hóa, giảm thiểu lỗi và tăng tốc độ xử lý. SANE cho phép quản lý đa thiết bị quét với số lượng chương trình giảm từ 12 xuống còn 7, tiết kiệm đáng kể thời gian phát triển phần mềm. Độ phân giải quét được thiết lập linh hoạt từ 1-bit BW đến 24-bit RGB, đáp ứng đa dạng yêu cầu lưu trữ.

2. Tạo lập metadata xác thực và tìm kiếm theo chuẩn Dublin Core: Metadata tạo lập bao gồm các thông tin xác thực như cán bộ thực hiện sao y, thời điểm sao y và bản sao điện tử nội dung, đảm bảo tính pháp lý cho văn bản điện tử hành chính. Metadata tìm kiếm theo chuẩn Dublin Core với 15 thành tố giúp nâng cao khả năng truy xuất và quản lý tài liệu. Ví dụ, trường Tiêu đề, Người tạo, Thời gian được sử dụng bắt buộc, trong khi các trường như Ngôn ngữ, Nguồn, Chủ đề được khuyến nghị sử dụng.

3. Phương pháp lập chỉ mục ngược nâng cao hiệu quả tìm kiếm: Áp dụng mô hình lập chỉ mục ngược theo nguyên tắc của Lucene, hệ thống có thể trả lời nhanh câu hỏi "Những tài liệu nào chứa từ X" bằng cách lưu danh sách các tài liệu chứa từ khóa. Quá trình xây dựng chỉ mục bao gồm phân tích token, sắp xếp từ chỉ mục, tạo dictionary và postings list. Ví dụ, truy vấn "Brutus AND Caesar" trả về chính xác các tài liệu chứa cả hai từ khóa, giúp tăng độ chính xác và tốc độ tìm kiếm.

4. Ứng dụng Greenstone trong quản lý và lưu trữ văn bản số hóa: Greenstone được sử dụng để xây dựng bộ sưu tập tài liệu số hóa, hỗ trợ biên mục theo chuẩn Dublin Core, tạo lập chỉ mục và giao diện tìm kiếm thân thiện. Ứng dụng thử nghiệm tại trường Đại học Hải Dương cho thấy khả năng lưu trữ và truy xuất văn bản hiệu quả, đáp ứng yêu cầu nghiệp vụ hành chính.

Thảo luận kết quả

Các kết quả trên cho thấy công nghệ số hóa và tạo lập chỉ mục là giải pháp khả thi để nâng cao hiệu quả quản lý văn bản điện tử trong các cơ quan hành chính. Việc sử dụng TWAIN và SANE giúp chuẩn hóa dữ liệu đầu vào, giảm thiểu sai sót và tăng tính linh hoạt trong xử lý. Metadata xác thực và tìm kiếm theo chuẩn Dublin Core không chỉ đảm bảo tính pháp lý mà còn hỗ trợ truy xuất thông tin nhanh chóng, chính xác.

So với các nghiên cứu trước đây chỉ tập trung vào yếu tố con người và phần mềm, luận văn đã bổ sung phân tích sâu về khía cạnh kỹ thuật số hóa và quản lý metadata, góp phần giải quyết các bất cập trong trao đổi văn bản điện tử hiện nay. Việc áp dụng phương pháp lập chỉ mục ngược theo Lucene cũng nâng cao đáng kể hiệu quả tìm kiếm so với các hệ thống lưu trữ truyền thống.

Dữ liệu có thể được trình bày qua các biểu đồ thể hiện tốc độ truy xuất tài liệu theo số lượng tài liệu trong kho lưu trữ, bảng so sánh các chỉ số hiệu quả trước và sau khi áp dụng giải pháp số hóa và lập chỉ mục, giúp minh họa rõ ràng tác động tích cực của nghiên cứu.

Đề xuất và khuyến nghị

1. Triển khai đồng bộ công nghệ số hóa TWAIN và SANE tại các cơ quan hành chính: Đẩy mạnh đầu tư trang thiết bị và phần mềm hỗ trợ số hóa tài liệu, đảm bảo chuẩn hóa dữ liệu đầu vào, nâng cao chất lượng văn bản điện tử. Thời gian thực hiện trong 12 tháng, chủ thể là các cơ quan quản lý nhà nước và đơn vị CNTT.

2. Xây dựng và áp dụng chuẩn metadata xác thực và tìm kiếm theo Dublin Core: Thiết lập quy trình tạo lập metadata đồng bộ, đảm bảo tính pháp lý và khả năng truy xuất thông tin hiệu quả. Đào tạo cán bộ kỹ thuật và nghiệp vụ trong 6 tháng, chủ thể là các đơn vị lưu trữ và quản lý văn bản.

3. Phát triển hệ thống lập chỉ mục ngược và công cụ tìm kiếm thông minh: Áp dụng phương pháp lập chỉ mục ngược để nâng cao tốc độ và độ chính xác tìm kiếm văn bản điện tử. Thời gian triển khai 9 tháng, chủ thể là các đơn vị phát triển phần mềm và quản lý dữ liệu.

4. Tăng cường đào tạo và nâng cao nhận thức người dùng: Tổ chức các khóa đào tạo về sử dụng hệ thống số hóa, quản lý metadata và tìm kiếm tài liệu cho cán bộ hành chính. Thời gian liên tục, chủ thể là các cơ quan đào tạo và đơn vị quản lý nhân sự.

Các giải pháp trên cần được phối hợp thực hiện đồng bộ để phát huy tối đa hiệu quả, góp phần hiện đại hóa công tác quản lý văn bản hành chính, thúc đẩy chuyển đổi số trong lĩnh vực công.

Đối tượng nên tham khảo luận văn

1. Cán bộ quản lý văn bản hành chính: Nắm bắt công nghệ số hóa và quản lý metadata để nâng cao hiệu quả lưu trữ, truy xuất và trao đổi văn bản điện tử trong cơ quan.

2. Chuyên viên công nghệ thông tin trong các cơ quan nhà nước: Áp dụng các chuẩn kỹ thuật TWAIN, SANE và Dublin Core trong phát triển hệ thống quản lý văn bản, đảm bảo tính pháp lý và hiệu quả kỹ thuật.

3. Nhà nghiên cứu và sinh viên ngành Công nghệ thông tin, Công nghệ phần mềm: Tham khảo mô hình số hóa tài liệu, lập chỉ mục ngược và ứng dụng Greenstone trong quản lý nội dung số, phục vụ nghiên cứu và phát triển phần mềm.

4. Đơn vị phát triển phần mềm quản lý văn bản: Tích hợp các công nghệ số hóa và chuẩn metadata vào sản phẩm, nâng cao tính cạnh tranh và đáp ứng yêu cầu thực tế của khách hàng.

Mỗi nhóm đối tượng có thể ứng dụng kết quả nghiên cứu để cải tiến quy trình làm việc, phát triển sản phẩm hoặc nâng cao kiến thức chuyên môn trong lĩnh vực quản lý tài liệu số.

Câu hỏi thường gặp

1. Công nghệ TWAIN và SANE khác nhau như thế nào?
   TWAIN là chuẩn giao tiếp giữa phần mềm và thiết bị thu nhận hình ảnh, phổ biến trên nhiều nền tảng, còn SANE là thư viện mã nguồn mở chủ yếu cho hệ điều hành UNIX/Linux, hỗ trợ đa dạng thiết bị quét. SANE giúp giảm số lượng chương trình cần viết, tiết kiệm thời gian phát triển.

2. Tại sao cần tạo lập metadata xác thực cho văn bản số hóa?
   Metadata xác thực bổ sung các yếu tố hành chính như người sao y, thời điểm sao y, đảm bảo tính pháp lý cho văn bản điện tử hành chính, giúp văn bản số hóa được công nhận và sử dụng hợp pháp trong quản lý nhà nước.

3. Chuẩn Dublin Core có ưu điểm gì trong quản lý tài liệu số?
   Dublin Core dễ tạo lập, ngữ nghĩa rõ ràng, hỗ trợ đa ngôn ngữ và mở rộng linh hoạt, giúp nâng cao khả năng tìm kiếm, truy xuất và liên tác giữa các hệ thống quản lý tài liệu trên phạm vi rộng.

4. Lập chỉ mục ngược giúp cải thiện hiệu quả tìm kiếm như thế nào?
   Chỉ mục ngược lưu trữ danh sách tài liệu chứa từng từ khóa, cho phép truy vấn nhanh và chính xác, giảm thời gian tìm kiếm so với phương pháp duyệt toàn bộ tài liệu, đặc biệt hiệu quả với kho dữ liệu lớn.

5. Greenstone hỗ trợ gì trong quản lý văn bản số hóa?
   Greenstone cung cấp công cụ xây dựng bộ sưu tập tài liệu số, hỗ trợ biên mục theo chuẩn Dublin Core, tạo lập chỉ mục và giao diện tìm kiếm thân thiện, giúp quản lý và khai thác tài liệu số hiệu quả trong các tổ chức.

Kết luận

• Công nghệ số hóa TWAIN và SANE là nền tảng kỹ thuật quan trọng giúp chuẩn hóa và nâng cao hiệu quả thu nhận dữ liệu văn bản số.
• Việc tạo lập metadata xác thực và tìm kiếm theo chuẩn Dublin Core đảm bảo tính pháp lý và khả năng truy xuất thông tin của văn bản điện tử hành chính.
• Phương pháp lập chỉ mục ngược theo mô hình Lucene nâng cao đáng kể tốc độ và độ chính xác tìm kiếm tài liệu số hóa.
• Ứng dụng Greenstone trong quản lý tài liệu số hóa tại trường Đại học Hải Dương minh họa tính khả thi và hiệu quả của giải pháp.
• Đề xuất triển khai đồng bộ các giải pháp kỹ thuật và đào tạo người dùng nhằm thúc đẩy chuyển đổi số trong quản lý văn bản hành chính.

Tiếp theo, cần mở rộng thử nghiệm tại các cơ quan hành chính khác, hoàn thiện quy trình tạo lập metadata và phát triển hệ thống tìm kiếm thông minh. Mời các đơn vị quản lý, nhà phát triển phần mềm và cán bộ hành chính cùng nghiên cứu, áp dụng để nâng cao hiệu quả quản lý văn bản điện tử.

Trích đoạn nội dung tài liệu

chương 1 và chương 2. PHÂN TÍCH QUÁ TRÌNH SỐ HÓA 1. Công nghệ số hóa 1. Khái niệm Thông thường, các dữ liệu dạng chữ, hình ảnh, âm thanh… [11] sử dụng trên máy tính và được máy tính nhận biết đúng định dạng, được gọi chung là dữ liệu số.

Quá trình chuyển các dạng dữ liệu truyền thống như các bản viết tay, bản in trên giấy, hình ảnh… sang chuẩn dữ liệu trên máy tính và được máy tính nhận biết được gọi là số hoá dữ liệu. Như vậy, số hoá dữ liệu [11] là hình thức chuyển đổi các dữ liệu truyền thống bên ngoài thành dạng dữ liệu số mà máy tính có thể hiểu được. Tại sao phải số hóa dữ liệu Hãy tưởng tường rằng phải mất bao nhiêu giấy tờ và không gian để lưu trữ kho kiến thức khổng lồ của nhân loại ngày một nhiều, hơn nữa việc bảo quản và phạm vi sử dụng bị hạn chế. Do vậy bắt buộc chúng ta phải nghĩ đến giải pháp số hóa dữ liệu.

Việc số hóa dữ liệu sẽ giúp việc lưu trữ, truy xuất, chia sẻ, tìm kiếm thông tin một cách nhanh chóng và dễ dàng nhất [11]. Ưu điểm và Hạn chế a. Ƣu điểm [11]: Giúp việc lưu trữ, truy xuất, chia sẻ, tìm kiếm thông tin một cách dễ dàng. Ưu điểm này bao gồm tổng hoà các thuận tiện trong công tác quản lý, bảo quản, bảo vệ, khai thác và sử dụng tài liệu lưu trữ với một ngân hàng dữ liệu số; Linh hoạt trong việc chuyển đổi sang các loại dữ liệu số khác nhau.

Sự chuyển đổi phổ biến nhất là chuyển đổi định dạng các file tài liệu. Ví dụ, ta đang có một file word, có thể chuyển sang định dạng PDF nhờ một chương trình ứng dụng để chuyển đổi nó. Ứng dụng đó có thể là một chương trình độc lập, hoặc là một kỹ thuật nhúng tích hợp vào chương trình word, hoặc là một ứng dụng on line. Dữ liệu sau khi chuyển đổi sẽ được sử dụng linh hoạt hơn; Giảm chi phí tối đa cho việc quản lý tài liệu lưu trữ.

Chúng ta hiểu tiết kiệm không gian bảo quản tài liệu lưu trữ một cách tương đối, vì theo quy định của Luật lưu trữ, tài liệu lưu trữ đã được số hóa, vẫn phải bảo quản an toàn tài liệu bản gốc; Có khả năng chỉnh sửa và tái sử dụng dữ liệu. Ở thuận lợi này ta cần hiểu “khả năng chỉnh sửa” theo đúng nguyên tắc quản lý tài liệu lưu trữ là không được chỉnh sửa nội dung tài liệu, mà chỉ chỉnh sửa chất lượng mang tin, như tài liệu bị mờ, bị hư hỏng nặng cần chỉnh sửa. Hạn chế [11]: Khi bắt đầu xây dựng một đề án số hóa tài liệu lưu trữ, cần phải đầu tư ban đầu z 12 về công nghệ, cơ sở hạ tầng công nghệ thông tin và các thiết bị khác, ví dụ, cần phải đầu tư mua sắm, hoặc thuê từng phần các thiết bị phần cứng như máy tính, máy in, máy quét ảnh và các chương trình phần mềm để quản lý và tra tìm tài liệu. Khi đã có đầy đủ các thiết bị phần cứng, phần mềm, việc thực hiện số hóa tài liệu có thể thuê các cơ quan chuyên môn thực hiện.

Ngoài ra, điều rất quan trọng là phải đầu tư cho yêu cầu đào tạo con người theo các mức độ khác nhau như đào tạo công chức làm quản lý, công chức, viên chức tác nghiệp và những cán bộ kỹ thuật, cán bộ chuyên tin. Dữ liệu số hóa dễ bị sao chép và sửa đổi trái phép. Điều này có thể khắc phục giản đơn đối với những người chuyên làm công tác quản trị mạng, nhưng không giản đơn đối với toàn bộ công chức, viên chức của cả một cơ quan, tổ chức có sử dụng cơ sở dữ liệu số hóa. Việc triển khai sử dụng gặp nhiều khó khăn do phải thực hiện training đồng bộ và có hệ thống.

Ngoài ra việc bảo mật dữ liệu cũng là một thách thức lớn. Quá trình số hóa Mô hình tổng quan của hệ thống số hóa tài liệu được mô tả ở hình 1.1: Mô hình tổng quan hệ thống số hóa tài liệu Hình 1.1 thể hiện quá trình số hóa [11]: văn bản giấy được quét qua máy scan, kết quả là văn bản đó sẽ được lưu trữ dưới dạng một file ảnh. Tuy nhiên đó là một thao tác bước đầu, để phục vụ trong quá trình lưu trữ, tìm kiếm và trao đổi văn bản đó thì ngoài file ảnh ta còn phải thiết lập một số thuộc tính đi kèm file ảnh để thể hiện rõ nội z 13 dung văn bản như thế nào. Việc scan văn bản sẽ được nghiên cứu thông qua TWAIN, SANE - công nghệ mã nguồn mở trong sao chụp tài liệu.

Vấn đề này sẽ được đề cập trong phần 1. Các thuộc tính đi kèm file ảnh quét văn bản được xây dựng theo quy chuẩn Việt Nam về dữ liệu đặc tả cũng được dựa trên chuẩn Dublin Core (Công văn 839 ngày 29/9/2011 – Bộ thông tin và truyền thông) [1]. Vấn đề này sẽ được trình bày rõ trong chương này. Giải pháp số hóa tài liệu tổng thể là sự kết hợp thông minh giữa hệ thống máy quét, hệ thống lập chỉ mục, tách bộ (điển hình là phần mềm Kodak Capture Pro) và hệ thống quản lý khai thác tài liệu (mà hiện nay thông dụng là giải pháp quản lý tài liệu Docuflo).

Công nghệ mã nguồn mở trong sao chụp tài liệu 1. Giới thiệu TWAIN và thư viện Dynamic. TWAIN  Tổng quan về TWAIN TWAIN [7, 12] định nghĩa một phần mềm giao thức chuẩn và giao diện lập trình ứng dụng (API) để giao tiếp giữa các ứng dụng phần mềm và các thiết bị thu nhận hình ảnh (nguồn dữ liệu). Bốn yếu tố quan trọng trong TWAIN: Hình 1.2: Các yếu tố của TWAIN Hình 1.2 mô tả các yếu tố của TWAIN bao gồm: Phần mềm ứng dụng: Một ứng dụng sử dụng giao thức TWAIN để thu được hình ảnh, fax,….

Chương trình quản lý nguồn: Phần mềm này quản lý sự tương tác giữa các ứng dụng và nguồn. Mã này được cung cấp bởi tổ chức TWAIN. Nguồn dữ liệu: TWAIN điều khiển phần cứng phù hợp. Phần mềm này thường được cài đặt khi trình điều khiển phần cứng được cài đặt.

Các phần cứng: Máy Scan, Camera,. z 14  Giao diện ngƣời dùng TWAIN Khi một ứng dụng sử dụng TWAIN thu được dữ liệu, quá trình thu nhận dữ liệu có thể được hiển thị cho người dùng của ứng dụng trong ba lĩnh vực sau [7, 12]: Hình 1.4: Quá trình thu thập dữ liệu Hình 1.4 thể hiện giao diện người dùng TWAIN, tương ứng với các yếu tố của TWAIN là các thành phần hiển thị cho người dùng, các thành phần đó bao gồm: Các ứng dụng: Người sử dụng cần chọn thiết bị mà từ đó họ muốn thu thập các dữ liệu. TWAIN khuyến cáo mạnh mẽ các nhà phát triển ứng dụng thêm hai lựa chọn để trình đơn File của họ. Lựa chọn các chức năng tương ứng để thực hiện chương trình.

Quản lý nguồn: Khi người dùng chọn tùy chọn Select Source, yêu cầu ứng dụng quản lý Source hiển thị hộp thoại Select Source của nó. Danh sách này liệt kê tất cả các thiết bị có sẵn và cho phép người sử dụng chọn một thiết bị. Nguồn: Mọi TWAIN tuân thủ Source cung cấp một giao diện người dùng cụ thể cho thiết bị cụ thể của nó. Khi người sử dụng ứng dụng chọn tùy chọn Thu thập, giao diện người dùng TWAIN của Source có thể được hiển thị.

Thư viện Dynamic .Net TWAIN  Dynamic .Net TWAIN là gì? Dynamic .Net TWAIN [8] là một thành phần .Net cho phép bạn thu nhận hình ảnh từ bất kỳ thiết bị TWAIN tương thích. Với thiết kế giao diện cẩn thận, và xây dựng trong chế độ tự động.Net TWAIN rất dễ sử dụng, bạn có thể thực hiện TWAIN trong một vài dòng mã. Đồng thời Dynamic .Net TWAIN rất mạnh, nó tương thích với TWAIN V2.1, và cung cấp ba chế độ truyền tải hình ảnh và nhiều tính năng z 15 khác.  Trạng thái TWAIN trong Dynamic .Net TWAIN Dynamic .Net TWAIN [8] làm giảm độ phức tạp của các trạng thái TWAIN chuẩn.

Trạng thái 2 được di chuyển. Gọi OpenSourceManager() chuyển tới trạng thái 3. Gọi OpenSource() chuyển tới trạng thái 4. Gọi EnableSource() hoặc AcquireImage() chuyển tới trạng thái 5.

Trạng thái 6 và trạng thái 7 là ẩn, chỉ sự kiện OnPreAllTransfers, OnPreTransfer, OnPostTransfer, OnPostAllTransfers, OnTransferError hoặc OnTransferCancelled bị loại bỏ.Net TWAIN được xây dựng trên chế độ Wizard. Với chế độ này, việc chuyển trạng thái được quản lý một cách thông minh. Bạn có thể bỏ qua sự tồn tại của các trạng thái. Ví dụ, nếu bạn gọi EnableSource() trực tiếp mà không gọi OpenSource(), Dynamic .Net TWAIN sẽ gọi tất cả hàm cần thiết để chuyển trạng thái TWAIN tới trạng thái 5.

Bạn cũng có thể thoát khỏi ứng dụng TWAIN không gọi CloseSource() hoặc CloseSourceManager().  Các phƣơng thức và thuộc tính của Dynamic .Net TWAIN trong ứng dụng quét tài liệu. Thuộc tính [8]: SourceCount: Trả lại tổng số nguồn được cài đặt trong hệ thống. Đây là một thuộc tính chỉ đọc, thời gian thực.

HowManyImagesInBuffer: Trả lại tổng số hình ảnh là trong bộ đệm. Đây là một thuộc tính chỉ đọc, thời gian thực. IfAppendImage: Trả về hoặc thiết lập tùy chọn chèn hoặc thêm hình ảnh quét mới. IfSaveAnnotations: Trả về hoặc thiết lập hoặc lưu trữ các chú thích tạo ra.

Thuộc tính chỉ áp dụng cho các tập tin PDF. IfShowUI: Trả về hoặc thiết lập hoặc Source hiển thị giao diện người dùng. IfDisableSourceAfterAcquire: Trả về hoặc thiết lập hoặc đóng Data Source User Interface sau khi nhận tất cả các hình ảnh. Giá trị mặc định của thuộc tính này là False.

PixelType: Trả về hoặc thiết lập các kiểu pixcel của hình ảnh thu nhận. Đây là một thuộc tính thời gian thực. BitDepth: Trả về hoặc thiết lập độ sâu bit cho giá trị hiện tại của thuộc tính PixelType. Đây là thuộc tính thời gian thực.

Resolution: Trả về hoặc thiết lập độ phân giải hiện tại cho hình ảnh thu nhận. z 16 Đây là thuộc tính thời gian thực. IfFeederEnabled: Trả về hoặc thiết lập hoặc ADF (Automatic Document Feeder) hiển thị. Đây là thuộc tính thời gian thực IfAutoFeed: Trả về hoặc thiết lập hoặc Source hiển thị tài liệu xử lý tự động.

Đây là thuộc tính thời gian thực. IfDuplexEnabled: Trả về hoặc thiết lập hoặc Source cung cấp quét 2 mặt. Nếu đúng, máy scan sẽ quét cả 2 mặt của trang giấy, nếu không, máy scan sẽ chỉ quét một mặt. Đây là thuộc tính thời gian thực.

Duplex: Trả về hoặc nguồn cung cấp 2 mặt. Nếu vậy, nó tiếp tục trả về mức của Source cung cấp 2 mặt (một hoặc hai đường qua 2 mặt). Đây là thuộc tính chỉ đọc, thời gian thực. CurrentImageIndexInBuffer: Trả về hoặc thiết lập chỉ số hiện tại của hình ảnh trong bộ đệm.