Đ¾I HàC QUàC GIA HÀ NàI TR¯äNG Đ¾I HàC CÔNG NGHà TR¯¡NG NGàC KIÊN KHÔI PHĀC DEPTHMAP TĂ BÀN IN 2D MàC BÀN LUÂN VN TH¾C S) KHOA HàC MÁY TÍNH Hà Nái - 2022 Đ¾I HàC QUàC GIA HÀ NàI TR¯äNG Đ¾I HàC CÔNG NGHà TR¯¡NG NGàC KIÊN KHÔI PHĀC DEPTHMAP TĂ BÀN IN 2D MàC BÀN Ngành: Khoa hác máy tính Chuyên ngành: Khoa hác máy tính Mã sá: LUÂN VN TH¾C S) KHOA HàC MÁY TÍNH NG¯äI H¯âNG DÀN KHOA HàC: PGS.TS Lê Thanh Hà Hà Nái - 2022 i LäI CÀM ¡N Em xin chân thành cÁm ¢n các thÁy cô giáo trong tr°áng Đ¿i hác Công nghá - Đ¿i hác Quác gia Hà Nái đã tÁn tình giúp đỡ và truyÃn đ¿t kiÁn thāc cho em trong suát 2 năm hác qua để em có đÿ kiÁn thāc hoàn thành khóa luÁn này. Đặc biát, em xin gąi lái cÁm ¢n sâu sắc tßi thÁy Lê Thanh Hà – ng°ái đã nhiát tình đáng viên, giúp đỡ em trong quá trình đßnh hình, nghiên cāu và hoàn thành luÁn văn này. Xin gąi lái cÁm ¢n thiÁt tha nh¿t tßi những ng°ái thân trong gia đình đã t¿o điÃu kián và đáng viên cho con/em r¿t nhiÃu trong quá trình hoàn thành khóa luÁn này. Mặc dù đã r¿t cá gắng hoàn thành luÁn văn này vßi t¿t cÁ nß lực cÿa bÁn thân, xong luÁn văn s¿ khó tránh khßi những thiÁu sót, kính mong quý thÁy cô tÁn tình chỉ bÁo cho em những sai lÁm cÁn khắc phāc cÿa mình.
Mát lÁn nữa em xin gąi tßi t¿t cÁ mái ng°ái lái cÁm ¢n chân thành nh¿t. Hà Nội, tháng 06 năm 2022 Học viên Trương Ngọc Kiên ii LäI CAM ĐOAN Tôi xin cam đoan luÁn văn th¿c sĩ khoa hác máy tính: <Khôi phục depthmap từ bản in 2D mộc bản= là kÁt quÁ cÿa quá trình hác tÁp, nghiên cāu khoa hác đác lÁp, nghiêm túc. Các sá liáu trong luÁn văn là trung thực, có nguồn gác rõ ràng, đ°ÿc trích d¿n và có tính kÁ thăa, phát triển tă các sách, tài liáu, t¿p chí, các công trình nghiên cāu đã đ°ÿc công bá, và các website, & Các ph°¢ng pháp nêu trong luÁn văn đ°ÿc rút ra tă những c¢ sã lý luÁn và quá trình nghiên cāu tìm hiểu cÿa tác giÁ. Hà Nái, tháng 06 năm 2022 Hác viên Tr°¢ng Ngác Kiên iii Māc lāc LàI CÀM ¡N.
i LàI CAM ĐOAN. iii Danh māc các ký hiáu và chữ viÁt tắt. vii Danh māc các bÁng. ix Mâ ĐÀU.
KIÀN THĀC NÂN TÀNG .1 Tổng quan mác bÁn triÃu Nguyßn .1 Gißi thiáu mác bÁn triÃu Nguyßn .2 Hián tr¿ng cÿa mác bÁn triÃu Nguyßn .3 Khôi phāc mác bÁn tă bÁn in .3 Tổng quan depthmap .4 Mô hình sinh depthmap tă Ánh 2D .1 Mô hình pix2pix .2 Mô hình CLUT .5 Đá đo Fréchet Inception Distance .6 Tổng kÁt ch°¢ng. KHÔI PHĀC DEPTHMAP TĂ BÀN IN 2D MàC BÀN .1 Quy trình chuẩn bß tÁp dữ liáu hu¿n luyán .1 Xą lý dữ liáu thÿ công .2 Xą lý dữ liáu bán tự đáng.3 Sinh Ánh depthmap tă mô hình 3D .4 Sinh thêm dữ liáu hu¿n luyán .2 Sinh depthmap tă bÁn in 2D mác bÁn.3 Tổng kÁt ch°¢ng. 39 iv CH¯¡NG 3. THĄ NGHIàM VÀ ĐÁNH GIÁ .1 Thą nghiám CUT, Fast-Cut và pix2pix .2 Thą nghiám pix2pix cho toàn bá tÁp dữ liáu .4 Tổng kÁt ch°¢ng.
47 TÀI LIàU THAM KHÀO. 48 v Danh māc các ký hiáu và chữ viÁt tắt STT Tă viÁt tắt TiÁng Anh TiÁng Viát Conditional Generative Ad- M¿ng đái lÁp t¿o sinh có 1 cGAN versarial Network điÃu kián Hác mâu thu¿n đái vßi Contrastive Learning for công viác dßch hình Ánh 2 CLUT Unpaired Image-to-Image sang hình Ánh không Translation ghép cặp Convolutional Neural Net- 3 CNN M¿ng n¢-ron tích chÁp work Đá đo khoÁng cách đá t°¢ng đồng cÿa Ánh vßi 4 FID Fréchet Inception Distance Ánh dựa trên mô hình In- ception V3 Generative Adversarial Net- 5 GAN M¿ng đái lÁp t¿o sinh work Least Squares Generative Mát lo¿i hàm m¿t mát 6 LSGAN Adversarial Networks trong mô hình GAN M¿ng n¢-ron truyÃn 7 MLP Multi-layer perceptron thẳng nhiÃu lßp Multivariate normal distri- Phân phái chuẩn nhiÃu 8 MND bution chiÃu Normalization Root Mean Chuẩn hóa sai sá toàn 9 nrmse Square Error ph°¢ng trung bình Image-to-Image Translation Trình dßch tă Ánh sang 10 pix2pix with Conditional Adversar- Ánh vßi m¿ng đái lÁp t¿o ial Networks sinh có điÃu kián vi STT Tă viÁt tắt TiÁng Anh TiÁng Viát Sai sá toàn ph°¢ng trung 11 rmse Root Mean Square Error bình A Simple Framework for Mát mô hình hác mâu 12 SimCLR Contrastive Learning of thu¿n Visual Lo¿i táp đ°ÿc są dāng để 13 stl Standard Triangle Language mô hình sá hóa 3D dữ liáu và mác bÁn vii Danh māc các hình v¿ Hình 1.4 Tổng quát xą lý khôi phāc mác bÁn .6 Ành ghép cặp.7 Ành ghép cặp và không ghép cặp.8 Mô hình pix2pix.9 Encoder-decoder và U-Net.11 Ành ngày – đêm.12 Ành phác thÁo - tô màu.14 Māc đích hác mâu thu¿n.15 Mô hình SimCLR.16 Tổng quan mô hình CLUT.17 Hàm m¿t mát mâu thu¿n patchwise.18 Phân phái chuẩn cho dữ liáu 2-chiÃu.19 Phân phái 2-chiÃu cÿa các điểm dữ liáu 3-chiÃu.1 Toàn trình khôi phāc Deptmap tă bÁn in 2D mác bÁn.2 Quy trình xą lý dữ liáu hu¿n luyán mác bÁn.3 Dữ liáu ký tự trong mác bÁn ghép cặp.4 Depthmap và bÁn in.5 Là khung cÿa sách.6 Xoay và crop Ánh.8 Ma trÁn cắt, đ°áng màu trắng thể hián các đ°áng cắt.9 KÁt quÁ công cā trích xu¿t ký tự chữ bÁn in 2D.10 Chữ 3D và depthmap.11 Quy trình khôi phāc deptmap tă bÁn in. 39 ix Danh māc các bÁng BÁng 1.1 Đặc tr°ng cÿa các kỹ thuÁt sá hóa 3D .2 Thông sá kỹ thuÁt thiÁt bß GOM ATOS III Triple Scan .3 Thông sá kỹ thuÁt thiÁt bß PRINCE335 .4 Chi tiÁt kích th°ßc ma trÁn m¿ng Inception-V3.1 Tham sá ch¿y thą nghiám các mô hình GAN .2 KÁt quÁ thą nghiám giữa các mô hình GAN .3 Bá tham sá mô hình pix2pix .4 KÁt quÁ đÁu ra cÿa mô hình pix2pix .5 Chi tiÁt cÿa các thông sá đánh giá .6 Tháng kê kÁt quÁ t¿t cÁ các m¿u kiểm thą. 45 1 MỞ ĐÀU Mác bÁn TriÃu Nguyßn đ°ÿc Unesco công nhÁn là di sÁn t° liáu thÁ gißi tă năm 2009.
Viác bÁo tồn và phát huy giá trß di sÁn t° liáu đóng vai trò quan tráng để gìn giữ t° liáu quá khā nhằm kÁt nái tßi hián t¿i và t°¢ng lai. Ngày nay chúng ta đã thu thÁp, bÁo tồn và l°u trữ đ°ÿc khoÁng gÁn 35. Tuy nhiên tổng sá l°ÿng thực tÁ các t¿m mác bÁn triÃu Nguyßn theo °ßc l°ÿng vào khoÁng trên 50. Thêm vào đó, có mát sá l°ÿng lßn những t¿m mác bÁn tuy v¿n đ°ÿc l°u trữ, bÁo tồn nh°ng không còn toàn vẹn, thÁm chí có những t¿m mác bÁn chỉ còn l¿i mát nąa hoặc mát phÁn ba cÿa nguyên bÁn.
Những th° tßch liên quan và những t¿m mác bÁn bß m¿t hoặc không toàn vẹn (là bÁn in đ°ÿc in ra tă t¿m mác bÁn) hián v¿n đang đ°ÿc bÁo tồn. Cùng vßi sự phát triển và công nghá hiển thß, sá hóa 3D và máy quét phân giÁi cao chúng ta đã thành công l°u trữ và hiển thß các t¿m mác bÁn và th° tßch cÿa chúng trong môi tr°áng máy vi tính. Tă những tiÃn đà trên, nghiên cāu này tÁp trung vào viác khôi phāc l¿i sá hóa cÿa những t¿m mác bÁn bß th¿t l¿c hay không toàn vẹn kể trên. Māc tiêu tổng quan mà nghiên cāu h°ßng tßi là khôi phāc l¿i biểu dißn (mô hình) 3D cÿa các t¿m mác bÁn bß th¿t l¿c hoặc không toàn vẹn dựa trên những th° tßch (bÁn in) đã đ°ÿc sá hóa 2D còn l°u trữ l¿i cÿa các t¿m mác bÁn trên.
Có hai h°ßng tiÁp cÁn cho bài toán khôi phāc biểu dißn 3D cÿa mát đái t°ÿng nói chung và cÿa t¿m mác bÁn nói riêng là cách trực tiÁp hoặc cách gián tiÁp. Cách trực tiÁp chúng ta s¿ khôi phāc l¿i mô hình 3D tă các điểm trong không gian dữ liáu 3D (point clouds); và cách gián tiÁp là khôi phāc l¿i đái t°ÿng trung gian mà có thể phāc dựng l¿i biểu dißn 3D tă chúng. Cách trực tiÁp khôi phāc mát biểu dißn 3D tă mát góc nhìn (single view) 2D là khó và các nghiên cāu hián nay cũng cho th¿y sự h¿n chÁ cÿa ph°¢ng pháp này. Do vÁy, nghiên cāu này lựa chán cách tiÁp cÁn gián tiÁp và gißi h¿n l¿i ph¿m vi cÿa bài toán tă viác khôi phāc l¿i bÁn 3D cÿa t¿m mác bÁn sang khôi phāc l¿i Ánh đá sâu (depthmap) cÿa t¿m mác bÁn.
Māc đích nghiên cāu Nghiên cāu này xây dựng ph°¢ng pháp xą lý dữ liáu, đà xu¿t mô hình, quy trình thực hián khôi phāc l¿i mô hình depthmap tă bÁn in 2D mác bÁn. Sau khi khôi 2 phāc l¿i depthmap tă bÁn in 2D, tiÁp tāc nghiên cāu cách đánh giá kÁt quÁ cÿa mô hình đào t¿o và kÁt luÁn kÁt quÁ cÿa nghiên cāu. Ph°¢ng pháp nghiên cāu Ph°¢ng pháp nghiên cāu khi thực hián luÁn văn là quan sát t¿m mác bÁn, bÁn sá hóa 3D và bÁn in 2D cÿa chúng để hình dung ra các đái t°ÿng, đÁu vào đÁu ra cÿa bài toán. KÁ tiÁp, tác giÁ phân tích các đái t°ÿng kể trên tă nhiÃu m¿u đúc rút ra các đặc điểm, đặc tính và phân bá cÿa vÁt thể mà tă đó thu đ°ÿc các thông tin để khÁo sát và tham khÁo các lý thuyÁt liên quan, cùng vßi các công cā hián có trong lĩnh vực để có thể ánh x¿ vào bài toán cÿa luÁn văn.
Sau khi khÁo sát, tham khÁo tác giÁ tổng hÿp l¿i kiÁn thāc và đà xu¿t các quy trình trong xą lý dữ liáu và quy trình khôi phāc l¿i depthmap cho mác bÁn và thą nghiám chúng. Cuái cùng, luÁn văn thực hián đánh giá và đ°a ra nhÁn xét cho kÁt quÁ cÿa bài toán. Đóng góp mãi cÿa luÃn vn LuÁn văn này đã thiÁt lÁp đ°ÿc quy trình xây dựng tÁp dữ liáu hu¿n luyán là tÁp các ký tự đ°ÿc trích xu¿t tă t¿m mác bÁn 3D và bÁn in t°¢ng āng cÿa chúng. Thą nghiám các mô hình hác máy khác nhau và đà xu¿t mô hình hác máy tát nh¿t áp dāng trong bài toán khôi phāc depthmap tă bÁn in 2D mác bÁn.
Đánh giá đ°ÿc kÁt quÁ cÿa sau khi thực hián khôi phāc depthmap tă bÁn in 2D mác bÁn. KÁt quÁ đ¿t đ°ÿc Sau khi tÁp trung nghiên cāu đà tài, tôi đã giÁi quyÁt đ°ÿc các v¿n đà mà trong phÁn māc tiêu đã đà ra. LuÁn văn đã trình bày mát cách rõ ràng, chi tiÁt tă b°ßc chuẩn bß dữ liáu cho đÁn các mô hình hác máy và khôi phāc l¿i mô hình depthmap tă bÁn in 2D mác bÁn.