Khôi phục depthmap từ bản in 2d mộc bản luận văn thạc sĩ khoa học máy tính

Khôi phục depthmap từ bản in 2D mộc bản luận văn thạc sĩ khoa học máy tính, khám phá công nghệ và ứng dụng trong nghiên cứu hình ảnh.

• Tác giả: Trương Ngọc Kiên
• Người hướng dẫn: PGS.TS Lê Thanh Hà
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Khoa học máy tính
• Đề tài: Khôi phục depthmap từ bản in 2D mộc bản
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2022
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• 1. MỞ ĐẦU
• 2. CHƯƠNG 1: KIẾN THỨC NỀN TẢNG
• 1.1. Tổng quan mộc bản triều Nguyễn
• 1.1.1. Giới thiệu mộc bản triều Nguyễn
• 1.1.2. Hiện trạng của mộc bản triều Nguyễn
• 1.1.3. Khôi phục mộc bản từ bản in
• 1.2. Công nghệ số hóa 3D mộc bản
• 1.3. Tổng quan depthmap
• 1.4. Mô hình sinh depthmap từ ảnh 2D
• 1.4.1. Mô hình pix2pix
• 1.4.2. Mô hình CLUT
• 1.5. Độ đo Fréchet Inception Distance
• 1.6. Tổng kết chương
• 3. CHƯƠNG 2: KHÔI PHỤC DEPTHMAP TỪ BẢN IN 2D MỘC BẢN
• 2.1. Quy trình chuẩn bị tập dữ liệu huấn luyện
• 2.1.1. Xử lý dữ liệu thủ công
• 2.1.2. Xử lý dữ liệu bán tự động
• 2.1.3. Sinh ảnh depthmap từ mô hình 3D
• 2.1.4. Sinh thêm dữ liệu huấn luyện
• 2.2. Sinh depthmap từ bản in 2D mộc bản
• 2.3. Tổng kết chương
• 4. CHƯƠNG 3: THỬ NGHIỆM VÀ ĐÁNH GIÁ
• 3.1. Bộ dữ liệu
• 3.2. Thử nghiệm CUT, Fast-Cut và pix2pix
• 3.3. Thử nghiệm pix2pix cho toàn bộ tập dữ liệu
• 3.4. Tổng kết chương
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về khôi phục depthmap từ bản in 2D mộc bản

Khôi phục depthmap từ bản in 2D mộc bản là một lĩnh vực nghiên cứu quan trọng trong khoa học máy tính. Mộc bản triều Nguyễn, được UNESCO công nhận là di sản tư liệu thế giới, đang đối mặt với nhiều thách thức trong việc bảo tồn. Việc khôi phục này không chỉ giúp bảo tồn văn hóa mà còn tạo ra các mô hình 3D từ các bản in 2D đã lưu trữ.

1.1. Giới thiệu về mộc bản triều Nguyễn

Mộc bản triều Nguyễn là những tấm gỗ khắc chữ Hán hoặc chữ Nôm, được sử dụng để in sách trong thời kỳ phong kiến. Chúng đóng vai trò quan trọng trong việc lưu giữ lịch sử và văn hóa Việt Nam.

1.2. Tình trạng hiện tại của mộc bản

Hiện nay, nhiều tấm mộc bản đã bị hư hại hoặc thất lạc. Việc bảo tồn và khôi phục chúng là cần thiết để giữ gìn di sản văn hóa quý giá này.

II. Vấn đề và thách thức trong khôi phục depthmap

Khôi phục depthmap từ bản in 2D mộc bản gặp nhiều thách thức. Các tấm mộc bản không còn nguyên vẹn, và việc chuyển đổi từ 2D sang 3D là một bài toán phức tạp. Cần có các phương pháp hiệu quả để giải quyết vấn đề này.

2.1. Những khó khăn trong việc khôi phục

Việc khôi phục depthmap từ bản in 2D gặp khó khăn do chất lượng hình ảnh không đồng đều và sự thiếu hụt thông tin từ các tấm mộc bản bị hư hại.

2.2. Giải pháp cho các thách thức

Cần áp dụng các công nghệ hiện đại như học máy và xử lý hình ảnh để cải thiện độ chính xác trong việc khôi phục depthmap từ bản in 2D.

III. Phương pháp khôi phục depthmap hiệu quả

Nghiên cứu này đề xuất các phương pháp khôi phục depthmap từ bản in 2D mộc bản. Các phương pháp này bao gồm việc sử dụng mô hình học máy và quy trình xử lý dữ liệu để tạo ra các mô hình 3D chính xác.

3.1. Quy trình chuẩn bị dữ liệu

Quy trình chuẩn bị dữ liệu bao gồm việc thu thập và xử lý các bản in 2D để tạo ra tập dữ liệu huấn luyện cho mô hình khôi phục depthmap.

3.2. Mô hình học máy áp dụng

Mô hình học máy như pix2pix và CLUT được áp dụng để sinh ra depthmap từ các bản in 2D, giúp cải thiện độ chính xác và hiệu quả của quá trình khôi phục.

IV. Ứng dụng thực tiễn của khôi phục depthmap

Khôi phục depthmap từ bản in 2D mộc bản không chỉ có giá trị trong việc bảo tồn văn hóa mà còn có ứng dụng trong nhiều lĩnh vực khác nhau như giáo dục, nghiên cứu và trưng bày nghệ thuật.

4.1. Giá trị trong bảo tồn văn hóa

Việc khôi phục depthmap giúp bảo tồn các giá trị văn hóa và lịch sử, tạo điều kiện cho thế hệ sau hiểu rõ hơn về di sản văn hóa của dân tộc.

4.2. Ứng dụng trong giáo dục và nghiên cứu

Các mô hình 3D được khôi phục có thể được sử dụng trong giáo dục và nghiên cứu, giúp sinh viên và nhà nghiên cứu tiếp cận với di sản văn hóa một cách trực quan hơn.

V. Kết luận và tương lai của khôi phục depthmap

Khôi phục depthmap từ bản in 2D mộc bản là một lĩnh vực đầy tiềm năng. Nghiên cứu này mở ra hướng đi mới cho việc bảo tồn di sản văn hóa và ứng dụng công nghệ trong lĩnh vực này.

5.1. Tóm tắt kết quả nghiên cứu

Nghiên cứu đã chỉ ra rằng việc khôi phục depthmap từ bản in 2D có thể thực hiện được thông qua các phương pháp học máy và quy trình xử lý dữ liệu hiệu quả.

5.2. Định hướng tương lai

Trong tương lai, cần tiếp tục nghiên cứu và phát triển các công nghệ mới để cải thiện độ chính xác và hiệu quả trong việc khôi phục depthmap từ bản in 2D mộc bản.

Nội dung chính

Tổng quan nghiên cứu

Mộc bản triều Nguyễn, được UNESCO công nhận là di sản tư liệu thế giới từ năm 2009, hiện còn lưu trữ khoảng 34.619 tấm trong tổng số hơn 50.000 tấm ban đầu. Tuy nhiên, nhiều tấm mộc bản đã bị hư hại hoặc thất lạc, gây khó khăn cho việc bảo tồn và nghiên cứu. Việc khôi phục các tấm mộc bản không nguyên vẹn hoặc mất mát trở thành một thách thức lớn trong lĩnh vực bảo tồn di sản văn hóa. Nghiên cứu này tập trung vào việc khôi phục ảnh độ sâu (depthmap) từ bản in 2D của mộc bản, nhằm tạo ra biểu diễn trung gian giúp tái tạo mô hình 3D của các tấm mộc bản bị thất lạc hoặc hư hỏng.

Mục tiêu cụ thể của luận văn là xây dựng quy trình xử lý dữ liệu, đề xuất mô hình học máy phù hợp và đánh giá kết quả khôi phục depthmap từ bản in 2D mộc bản. Phạm vi nghiên cứu giới hạn trong việc khôi phục depthmap ở mức ký tự chữ Hán-Nôm, dựa trên dữ liệu số hóa 3D và ảnh scan bản in 2D của mộc bản lưu trữ tại Trung tâm Lưu trữ quốc gia IV. Nghiên cứu có ý nghĩa quan trọng trong việc bảo tồn, phục hồi và số hóa di sản mộc bản, đồng thời mở ra hướng tiếp cận mới ứng dụng trí tuệ nhân tạo trong lĩnh vực bảo tồn văn hóa.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình sau:

• Depthmap: Là ảnh 2D chứa thông tin chiều sâu của đối tượng từ một điểm nhìn, giúp biểu diễn đặc trưng 3D một cách gián tiếp. Depthmap được sử dụng làm đối tượng trung gian để khôi phục mô hình 3D từ ảnh 2D bản in mộc bản.

• Mạng đối lập tạo sinh có điều kiện (Conditional GAN - cGAN): Mô hình pix2pix được lựa chọn để thực hiện dịch ảnh 2D sang depthmap. Pix2pix sử dụng kiến trúc U-Net với các kết nối bỏ qua (skip connections) giúp giữ lại thông tin chi tiết trong quá trình chuyển đổi ảnh.

• Học mâu thuẫn (Contrastive Learning): Mô hình CLUT (Contrastive Learning for Unpaired Image-to-Image Translation) được áp dụng để xử lý dữ liệu không ghép cặp, tối đa hóa thông tin lẫn nhau giữa ảnh đầu vào và ảnh đầu ra, nâng cao chất lượng ảnh depthmap sinh ra.

• Độ đo Fréchet Inception Distance (FID): Được sử dụng để đánh giá chất lượng ảnh depthmap sinh ra, đo khoảng cách giữa phân phối đặc trưng của ảnh gốc và ảnh sinh ra, với giá trị FID càng thấp chứng tỏ ảnh sinh ra càng giống ảnh thật.

Các khái niệm chính bao gồm: depthmap, mạng GAN có điều kiện, học mâu thuẫn, mô hình pix2pix, mô hình CLUT, và độ đo FID.

Phương pháp nghiên cứu

Nguồn dữ liệu chính gồm:

• Mô hình 3D số hóa từ tấm mộc bản gốc, lưu dưới định dạng STL.
• Ảnh scan bản in 2D chất lượng cao của mộc bản.

Phương pháp nghiên cứu bao gồm:

• Xử lý dữ liệu: Trích xuất ký tự chữ từ mô hình 3D và ảnh 2D bản in, thực hiện ghép cặp dữ liệu một-một giữa ký tự depthmap và ký tự bản in. Hai phương pháp trích xuất được áp dụng là thủ công và bán tự động sử dụng công cụ xử lý ảnh OpenCV.

• Tăng cường dữ liệu (Data augmentation): Sinh thêm dữ liệu huấn luyện bằng cách áp dụng nhiều mức threshold (35%-55%) và xoay ảnh (0°, 90°, 180°, 270°), tạo ra tổng cộng 20 ảnh từ mỗi ảnh gốc nhằm đa dạng hóa tập huấn luyện.

• Huấn luyện mô hình học máy: Sử dụng mô hình pix2pix và thử nghiệm các mô hình CUT, Fast-CUT để tìm ra mô hình phù hợp nhất cho bài toán khôi phục depthmap.

• Đánh giá mô hình: Sử dụng độ đo FID để đánh giá chất lượng ảnh depthmap sinh ra, so sánh kết quả giữa các mô hình.

Quy trình nghiên cứu được thực hiện trong khoảng thời gian từ 2020 đến 2022 tại Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội, với cỡ mẫu dữ liệu huấn luyện gồm hàng nghìn ký tự trích xuất từ mộc bản.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Xây dựng thành công bộ dữ liệu huấn luyện: Tác giả đã thiết lập quy trình trích xuất và ghép cặp ký tự depthmap và bản in 2D, tạo ra bộ dữ liệu huấn luyện với hàng nghìn cặp ảnh ký tự. Việc áp dụng tăng cường dữ liệu đã giúp mở rộng tập huấn luyện lên khoảng 20 lần so với dữ liệu gốc.

2. Hiệu quả mô hình pix2pix vượt trội: Qua thử nghiệm trên tập dữ liệu con, pix2pix đạt giá trị FID thấp hơn 15% so với các mô hình CUT và Fast-CUT, cho thấy khả năng sinh ảnh depthmap chính xác và chi tiết hơn.

3. Khả năng khôi phục depthmap từ bản in 2D: Mô hình học máy đã khôi phục thành công ảnh depthmap thể hiện rõ chiều sâu và hình dạng ký tự, với độ chính xác đạt khoảng 85% so với ảnh depthmap gốc. Kết quả này được minh họa qua các biểu đồ so sánh FID và các ảnh depthmap mẫu.

4. Giới hạn và thách thức: Một số ký tự phức tạp hoặc bị chồng lấn trong bản in 2D gây khó khăn cho việc trích xuất và khôi phục chính xác. Công cụ trích xuất ký tự bán tự động còn gặp hạn chế trong việc phân biệt vùng chữ và nền mực.

Thảo luận kết quả

Nguyên nhân thành công của mô hình pix2pix là do kiến trúc U-Net với các kết nối bỏ qua giúp giữ lại thông tin chi tiết của ký tự trong quá trình chuyển đổi ảnh. So với các mô hình không ghép cặp như CUT và Fast-CUT, pix2pix tận dụng được dữ liệu ghép cặp chính xác, từ đó nâng cao chất lượng ảnh depthmap sinh ra.

Kết quả phù hợp với các nghiên cứu trước đây về ứng dụng pix2pix trong dịch ảnh sang ảnh có ghép cặp, đồng thời mở rộng ứng dụng vào lĩnh vực bảo tồn di sản văn hóa. Việc sử dụng độ đo FID làm tiêu chí đánh giá giúp định lượng chất lượng ảnh sinh ra một cách khách quan, giảm thiểu sự phụ thuộc vào cảm quan con người.

Tuy nhiên, việc trích xuất ký tự chính xác vẫn là thách thức lớn, đặc biệt với các ký tự bị hư hại hoặc chồng lấn. Việc cải tiến công cụ trích xuất ký tự, kết hợp thêm dữ liệu chữ Hán-Nôm và áp dụng các kỹ thuật nhận dạng ký tự quang học (OCR) có thể nâng cao hiệu quả trong tương lai.

Đề xuất và khuyến nghị

1. Phát triển công cụ trích xuất ký tự tự động: Áp dụng các kỹ thuật học sâu nhận dạng ký tự Hán-Nôm để tự động phân tách và nhận diện ký tự trong bản in 2D, giảm thiểu sai sót và tăng tốc độ xử lý. Mục tiêu nâng cao độ chính xác trích xuất ký tự lên trên 90% trong vòng 12 tháng, do nhóm nghiên cứu CNTT thực hiện.

2. Mở rộng tập dữ liệu huấn luyện: Thu thập thêm dữ liệu ký tự từ các tấm mộc bản khác nhau, đa dạng hóa các kiểu chữ và tình trạng hư hại để tăng khả năng tổng quát của mô hình. Kế hoạch thực hiện trong 18 tháng, phối hợp với Trung tâm Lưu trữ quốc gia IV.

3. Nâng cao mô hình học máy: Thử nghiệm các kiến trúc GAN mới như StyleGAN hoặc mô hình Transformer để cải thiện chất lượng ảnh depthmap, đồng thời kết hợp học mâu thuẫn để tận dụng dữ liệu không ghép cặp. Mục tiêu giảm giá trị FID thêm 10% trong 24 tháng tới.

4. Ứng dụng kết quả vào bảo tồn di sản: Phối hợp với các cơ quan bảo tồn để áp dụng mô hình khôi phục depthmap trong việc phục hồi các tấm mộc bản bị hư hại, hỗ trợ số hóa và trưng bày di sản. Thời gian triển khai thử nghiệm trong 6 tháng, mở rộng sau khi đánh giá hiệu quả.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu bảo tồn di sản văn hóa: Luận văn cung cấp phương pháp số hóa và khôi phục mộc bản bằng công nghệ học máy, hỗ trợ bảo tồn các tài liệu quý hiếm.

2. Chuyên gia khoa học máy tính và trí tuệ nhân tạo: Tài liệu trình bày chi tiết ứng dụng mạng GAN và học mâu thuẫn trong xử lý ảnh, là nguồn tham khảo cho các nghiên cứu về dịch ảnh sang ảnh.

3. Cơ quan lưu trữ và thư viện số: Giúp xây dựng quy trình số hóa và phục hồi tài liệu lịch sử, nâng cao chất lượng lưu trữ và truy cập dữ liệu.

4. Sinh viên và học viên cao học ngành Khoa học máy tính, Công nghệ thông tin: Cung cấp kiến thức nền tảng và phương pháp thực nghiệm về xử lý ảnh, học sâu và ứng dụng trong lĩnh vực văn hóa.

Câu hỏi thường gặp

1. Depthmap là gì và tại sao lại dùng để khôi phục mô hình 3D?
Depthmap là ảnh 2D chứa thông tin chiều sâu của đối tượng từ một điểm nhìn, giúp biểu diễn đặc trưng 3D một cách gián tiếp. Sử dụng depthmap làm đối tượng trung gian giúp giảm độ phức tạp so với khôi phục trực tiếp mô hình 3D từ ảnh 2D, đồng thời giữ lại các đặc trưng không gian quan trọng.

2. Tại sao chọn mô hình pix2pix thay vì các mô hình GAN khác?
Pix2pix là mô hình GAN có điều kiện, phù hợp với bài toán dịch ảnh ghép cặp, tận dụng được dữ liệu đầu vào và đầu ra tương ứng. Kiến trúc U-Net với các kết nối bỏ qua giúp giữ lại chi tiết ảnh, nâng cao chất lượng ảnh depthmap sinh ra so với các mô hình không ghép cặp như CUT hay Fast-CUT.

3. Công cụ trích xuất ký tự bán tự động hoạt động như thế nào?
Công cụ sử dụng kỹ thuật xử lý ảnh để xác định lưới cắt các vùng chứa ký tự dựa trên đường mức một và các đường dọc ngang, sau đó cắt ảnh thành các khối nhỏ tương ứng với từng ký tự. Công cụ giúp giảm thời gian và công sức so với trích xuất thủ công, tuy nhiên vẫn cần cải tiến để xử lý các trường hợp phức tạp.

4. Độ đo Fréchet Inception Distance (FID) có ý nghĩa gì trong đánh giá mô hình?
FID đo khoảng cách giữa phân phối đặc trưng của ảnh gốc và ảnh sinh ra bởi mô hình GAN. Giá trị FID thấp cho thấy ảnh sinh ra có chất lượng cao, gần giống ảnh thật. Đây là tiêu chí khách quan để so sánh hiệu quả các mô hình học máy trong bài toán dịch ảnh sang ảnh.

5. Nghiên cứu này có thể áp dụng cho các loại tài liệu số hóa khác không?
Phương pháp và mô hình được đề xuất có thể mở rộng áp dụng cho các tài liệu số hóa khác có cấu trúc tương tự, như bản đồ, tranh cổ, hoặc các tài liệu in ấn có đặc trưng 3D tiềm ẩn trong ảnh 2D. Tuy nhiên cần điều chỉnh và huấn luyện lại mô hình phù hợp với từng loại dữ liệu cụ thể.

Kết luận

• Đã xây dựng thành công quy trình chuẩn bị dữ liệu và huấn luyện mô hình học máy để khôi phục depthmap từ bản in 2D mộc bản.
• Mô hình pix2pix được đề xuất và thử nghiệm cho kết quả tốt nhất với giá trị FID thấp hơn 15% so với các mô hình khác.
• Công cụ trích xuất ký tự bán tự động giúp giảm thiểu thời gian và công sức chuẩn bị dữ liệu, mặc dù còn một số hạn chế cần cải tiến.
• Nghiên cứu góp phần quan trọng vào việc bảo tồn và phục hồi di sản mộc bản triều Nguyễn, mở ra hướng ứng dụng trí tuệ nhân tạo trong lĩnh vực văn hóa.
• Định hướng phát triển tiếp theo bao gồm nâng cao công cụ trích xuất ký tự, mở rộng tập dữ liệu và áp dụng các mô hình học sâu tiên tiến hơn.

Để tiếp tục phát triển nghiên cứu, các nhà khoa học và chuyên gia bảo tồn được khuyến khích áp dụng và cải tiến phương pháp này, đồng thời phối hợp triển khai thực tế nhằm bảo vệ và phát huy giá trị di sản văn hóa quý báu của Việt Nam.

Trích đoạn nội dung tài liệu

Chương 1 trình bày các kiến thức nền tảng về mộc bản, công nghệ số hóa 3D mộc bản, tổng quan về depthmap và về các mô hình học máy, độ đo Fréchet Inception Distance là những kiến thức được tác giả sử dụng để giải quyết bài toán khôi phục depthmap từ bản in 2D mộc bản.1 Tổng quan mộc bản triều Nguyễn 1.1 Giới thiệu mộc bản triều Nguyễn Mộc bản triều Nguyễn là những tấm gỗ khắc chữ Hán hoặc chữ Nôm ngược dùng để in ra các sách, sử dụng phổ biến ở Việt Nam trong thời kỳ phong kiến và được lưu giữ đến ngày nay. Do nhu cầu phổ biến rộng rãi các chuẩn mực xã hội, các điều luật, ghi lại các sự kiện lịch sử và lưu truyền công danh, sự nghiệp của các vua chúa triều đình nhà Nguyễn đã cho biên soạn, khắc in nhiều bộ sách sử và các tác phẩm văn chương. Để in được các cuốn sách đó đã sản sinh ra một tài liệu đặc biệt, đó là mộc bản triều Nguyễn.1 Mộc bản triều Nguyễn bên trái là tấm mộc bản được làm bằng gỗ, bên phải là nội dụng bản in được in từ tấm mộc bản.1 Mộc bản triều Nguyễn.2 Hiện trạng của mộc bản triều Nguyễn Hiện tại, việc bảo tồn di sản mộc bản triều Nguyễn đang gặp phải nhiều vấn đề và đối mặt với nhiều thách thức. Trong đó có hai vấn đề lớn và nổi bật là mộc bản bị thất lạc trong quá trình bảo quản, vận chuyển hoặc do chiến tranh; và theo thời 5 gian, vật liệu gỗ tạo nên các mộc bản dần bị biến dạng, hư hỏng do các nguyên nhân như thời tiết, nấm mốc, mối, mọt, cháy nổ.

Thực tế thống kê cho thấy, di sản mộc bản Triều Nguyễn để lại hơn 50.000 tấm nhưng hiện nay chỉ còn 34.619 tấm đang được lưu trữ và bảo tồn tại Trung tâm Lưu trữ quốc gia IV, trong đó nhiều tấm là chỉ là một phần còn lại của mộc bản và đối mặt với hiện trạng vật lý yếu, khó bảo tồn.2 Những tấm mộc bản bị hư hại, chúng ta có thể thấy có những tấm mộc bản đã bị mất hơn một nửa tấm hoặc chỉ còn lại một phần ba hay thậm chí còn lại một góc so với nguyên bản của tấm mộc bản.2 Những tấm mộc bản bị hư hại. Từ những vấn đề nêu trên, chúng ta cần có một phương án, cách thức lưu trữ bền vững và phục hồi lại những tấm mộc bản đã bị thất lạc, hư hỏng hoặc không toàn vẹn.3 Khôi phục mộc bản từ bản in Vấn đề bảo tồn và lưu trữ mộc bản một cách có hiệu quả đã được nghiên cứu và công bố trong một vài tạp chí [3,5]. Năm 2019, nhóm nghiên cứu của PGS. Lê Thanh Hà tại phòng thí nghiệm Tương tác Người máy, Trường Đại học Công nghệ, đã chủ trì và thực hiện thành công đề tài “Nghiên cứu, lựa chọn công nghệ 6 số hóa và in 3D tài liệu mộc bản Triều Nguyễn – Di sản tư liệu thế giới”.

Nhóm nghiên cứu đã khảo sát hơn sáu trăm tấm mộc bản, số hóa 3D thử nghiệm mười mộc bản và in 3D thử nghiệm năm mộc bản và kết quả được đánh giá cao [10]. Đầu vào của quy trình này là các tấm mộc bản vật lý đang được lưu trữ tại Trung tâm Lưu trữ quốc gia IV, đầu ra là mô hình 3D của các tấm mộc bản kể trên.3 Mộc bản gốc, số hóa 3D và in từ bản số. Như đã đề cập ở Mục 1. số lượng mộc bản thực tế hơn 50.000 tấm nhưng hiện tại còn lưu trữ tại Trung tâm Lưu trữ quốc gia IV chỉ còn 34.619 hơn thế nữa có rất nhiều tấm không nguyên vẹn.

Tuy nhiên, các bản in từ những tấm mộc bản bị thất lạc hư hỏng kể trên chúng ta vẫn đang lưu trữ lại. Qua đó, vấn đề của bài toán là tìm được phương thức có thể khôi phục lại các mộc bản bị thất lạc hoặc không nguyên vẹn từ những bản in còn lưu trữ lại. Hay nói cách khác, chúng ta đi tìm phương pháp khôi phục lại mô hình 3D của mộc bản (những tấm đã được số hóa thành mô hình 3D) từ ảnh 2D bản in tương ứng của mộc bản. Có hai hướng tiếp cận chính để giải quyết bài toán khôi phục mô hình 3D từ bản in 2D mộc bản.

Cách thứ nhất là trực tiếp khôi phục các điểm dữ liệu trong miền dữ liệu 3D của mộc bản (point clouds), đầu vào của phương pháp này là bức ảnh 2D bản in của mộc bản và đầu ra là mô hình 3D mộc bản với các điểm point clouds cấu thành lên tấm mộc bản 3D, tuy nhiên cho tới nay kết quả của các nghiên cứu về việc khôi phục trực tiếp từ 2D sang 3D còn chưa được khả quan. Cách thứ hai là thực hiện khôi phục lại đối tượng trung gian đơn giản có thể hiện hơn và có khả năng tái tạo lại mô hình 3D của mộc bản. Ảnh độ sâu depthmap là một dạng trung gian như vậy, nó là một ảnh 2D nhưng thể hiện chiều sâu của ảnh và có khả năng thể hiện được các đặc trung 3D theo một góc nhìn cụ thể. Phương pháp tiếp 7 cận gián tiếp được tác giả áp dụng trong luận văn này.

Giới hạn nghiên cứu của luận văn là khôi phục depthmap từ bản in 2D mộc bản.4 Tổng quát xử lý khôi phục mộc bản Hình 1.4 Tổng quát xử lý khôi phục mộc bản khi khôi phục lại một tấm mộc bản đã bị thất lạc hoặc không toàn vẹn (đã mất). Trong đó phương pháp tiếp cận mà tác giả sử dụng là khôi phục lại ở mức ký tự của tấm mộc bản đã mất, do vậy trong luận này sẽ giới hạn khôi phục lại tấm mộc bản ở mức ký tự depthmap.2 Công nghệ số hóa 3D mộc bản Việc số hóa 3D mộc bản là công việc cần thiết và tiên quyết trong quá trình khôi phục Deptmap cho mộc bản. Nó vừa trợ giúp cho việc bảo tồn, trưng bày, triển lãm tốt hơn khi không ảnh hưởng đến các tấm mộc bản gốc mà còn là đầu vào cho quá trình khôi phục depthmap của mộc bản. Hiện nay có nhiều công nghệ có thể được sử dụng để số hóa 3D các đối tượng thể khối bao gồm mộc bản.

Những công nghệ số hóa phổ biến bao gồm: công nghệ quét 3D có tiếp xúc (contact – based); công nghệ quét 3D sử dụng ảnh chụp từ các góc của vật (photogrammetry); công nghệ quét 3D sử dụng ánh sáng la-de (laser); công nghệ quét 3D sử dụng ánh sáng có cấu trúc (structed light); công nghệ quét sử dụng xung laser (LASER pulse-based). Các đặc trưng được mô tả trong Bảng 1.1 Đặc trưng của các kỹ thuật số hóa 3D Vật Vật trung STT Kĩ thuật số hoá 3D Vật to Ghi chú nhỏ bình Công nghệ sử dụng sẽ chạm liên tục vào Kỹ thuật số hoá 3D 1 X X vật quét, không phù contact-based hợp sử dụng trên mộc bản. Công nghệ cần có Kỹ thuật số hoá 3D 2 X X thiết bị máy tính hiệu photogrammetry năng cực mạnh. Kỹ thuật số hoá 3D Quét được các bề 3 LASER triangula- X X mặt khó như bóng, tion tối màu, … Đa dụng, có nhiều Kỹ thuật số hoá 3D ống kính để quét các 4 sử dụng ánh sáng X X chi tiết nhỏ tới lớn có cấu trúc trong cùng vật quét.

Kỹ thuật số hoá 3D Độ chi tiết không 5 LASER pulse- X cao, phù hợp để quét based các vật thể lớn. Kỹ thuật quét 3D dựa trên tiếp xúc sử dụng một vật mềm nhỏ hoặc một đầu dò để áp vào bề mặt vật cần quét, kỹ thuật sử dụng phần mềm hỗ trợ để tính toán vị trí vật trong môi trường 3D. Kỹ thuật quét 3D sử dụng ảnh chụp sẽ dùng các ảnh chụp từ các góc của vật, áp dụng các thuật toán tính toán hình học phức tạp và thị giác máy để xác định các điểm của vật tương đương trên ảnh, các thông số đo của vật trong ảnh để tính toán và xây dựng mô hình 3D số của vật. Kỹ thuật quét 3D sử dụng xung laser là các kỹ thuật quét tầm xa, phù hợp cho những vật to như toà nhà, máy bay, … Các cảm biến và phần mềm hỗ trợ có thể dựa vào thời gian phản xạ của tia laser hoặc dựa vào góc thay đổi của tia laser để tính toán và 9 số hoá vật được quét.

Kỹ thuật quét 3D sử dụng ánh sáng có cấu trúc chiếu mô hình ánh sáng gồm các hình thanh và khối sáng lên vật được quét. Kỹ thuật bao gồm một hoặc nhiều cảm biến “nhìn” vào góc, cạnh của thanh/khối sáng để xác định hình dạng 3D của vật. Kỹ thuật quét 3D LASER triangulation cũng tương tự như kỹ thuật sử dụng ánh sáng có cấu trúc đó là dựa vào góc thay đổi của tia sáng để tính toán hình dạng bề mặt của vật thể. Qua thảo luận và khảo sát hiện trạng của mộc bản về kích thước và khối lượng; màu sắc; nội dung tấm và tình trạng mộc bản nhằm lựa chọn công nghệ quét cũng như thực hiện qui trình quét hợp lý.

Nhận thấy hai dòng thiết bị quét 3D GOM ATOS và PRINCE có kỹ thuật quét ánh sáng sử dụng cấu trúc và công nghệ quét la-de tương ứng là phù hợp với việc quét mộc bản, vì yêu cầu kỹ thuật quét các tấm mộc bản đỏi hỏi độ chính xác cao đồng thời cần hạn chế tiếp xúc với mộc bản để tránh tác động không mong muốn vào mộc bản. Với những ưu điểm trên, Phòng thí nghiệm Tương tác Người - Máy, Khoa CNTT, Trường ĐHCN, ĐHQG HN đã sử dụng 2 máy quét cụ thể GOM ATOS III Triple Scan và PRINCE335 với thông số kỹ thuật tương được mô tả trong (Bảng 1.3) để thực hiện quét thử nghiệm.2 Thông số kỹ thuật thiết bị GOM ATOS III Triple Scan Chỉ số Giá trị Số lượng điểm ảnh 2 x 8.000 pixel Diện tích vùng đo 38 x 29 - 2000 x 1500 mm Độ phân giải (Tùy theo cửa sổ đo 0.61 mm và khoảng cách tới vật đo) Khoảng cách đo 490 – 2.000 mm Bộ điều khiển sensor Tích hợp Độ dài cáp nối Lên tới 30m Cảm biến định vị Cảm biến công nghiệp tự động 10 Chỉ số Giá trị Định vị thành phần quét Dùng bàn xoay tự động hoặc thủ công Máy tính xử lý ảnh Di động hoặc PC cao cấp Hệ điều hành Windows 7 Thu thập dữ liệu, xử lý và kiểm tra hoàn Phần mềm chỉnh Bảng 1.3 Thông số kỹ thuật thiết bị PRINCE335 Chỉ số Giá trị Model Standard mode R Hyperfine mode B Cân nặng 0.95 Kg Kích thước 315x165x105 mm 3 cặp tia laser đỏ chéo Nguồn laser 5 tia laser xanh song song nhau Tốc độ quét 265.