chương 1 trình bay tổng quan về dé tài, bao gồm: động lực nghiên cứu (1.1), mục tiêu đề tài (1.2), đối tượng và phạm vi nghiên cứu (1.4) và cuối cùng là bố cục của khóa luận (1. Động lực nghiên cứu Xử lý ảnh hay rộng hơn là thị giác máy tính là một trong những lĩnh vực khoa học máy tính có rất nhiều ứng dụng hữu ích hiện nay. Đặc biệt vào khoảng thời gian từ 2010 đến nay, những mô hình học sâu có cơ hội phát triển và được liên tục cải tiễn. Số lượng ngành nghề trong đời sống và nhu cầu cần áp dụng những mô hình này ngày càng gia tăng.
Y tế là một trong những ngành cần đến sự trợ giúp của máy tính nhiều nhất, do số lượng dân số gia tăng và tình hình bệnh tật rất phức tạp, trong khi số lượng bác sĩ, y tá không tăng theo nên không thé đáp ứng nhu cầu xã hội. Khi xử lý ảnh được ứng dụng, chúng đã giải phóng sức lao động cho bác sĩ trong nhiều công việc như kê khai đơn thuốc, chân đoán bệnh,. Nha khoa là lĩnh vực có bệnh nhân thường xuyên dồi dào, vì mỗi người trong đời đều phải gặp nha sĩ nhiều lần để nhồ răng, tram răng hay niéng răng. Đặc biệt, do nhu cầu thầm mỹ, số lượng người đang niềng răng là rất lớn, nhưng hạn chế của niềng răng là thời gian đeo mắc cài khá lâu, ít nhất là vài tháng đến vài năm.
Điều đó khiến nhu cầu giao tiếp, thể hiện bản thân,. của người đeo mắc cài bị hạn chế. Trong khi nhiều ứng dụng xử lý ảnh hiện tại trong nha khoa chỉ quan tâm đến van dé chan đoán và chữa tri các bệnh ly răng như sâu răng, nhé răng,. bao gồm chan đoán, tái tao hàm với hệ thống CAD/CAM,.
mà không dé ý đến van dé thầm mỹ của người bệnh. Từ thực tế như vậy, tôi đã chon “Phục hôi ảnh răng từ ảnh niêng rang có mắc cài sử dung GAN” làm chủ đê nghiên cứu. Mục tiêu dé tài Mục tiêu dé tài là tạo mô hình xử lý ảnh có đâu ra và dau vào như sau. Đâu vào: ảnh niêng răng có mắc cài, mặc cài có thê có màu sắc, hình dạng và chủng loại Hình 1.
Ảnh răng có mắc cài. Nguồn: google images Dau ra: ảnh răng không còn mac cài, những vùng mặc cai bi xóa được khôi phục sao cho ảnh chân thật nhất. Pipeline: phân tích, đánh giá độ khả thi bang ba mô hình, mô hình CycleGAN, mô hình Pix2Pix và mô hình Inpainting. -— Mô hình CycleGAN 1 —_————" Hình 1.
Quá trình xử lý của mô hình CycleGAN Hình 1. Quá trình xử lý cua mô hình Pix2Pix Mê hình GraphCut —————. Quá trình xử lý của mô hình Inpainting Tuy việc xóa mac cài hoàn hảo 1a rat khó nhưng trong giới hạn đê tài khoá luận này, tôi mong răng ứng dụng có thê giải quyết được những van đê đang hiện hữu trong thực tê ở mọi nơi, mọi đôi tượng. Từ đó, đáp ứng nhu câu thâm mỹ cho người đang niêng răng.
Đối tượng và phạm vi nghiên cứu Những ứng dung làm đẹp như B612, Facebook Filter,. đều ứng dụng các phương pháp chỉnh sửa ảnh tự động, đã xuất hiện trên thị trường rất lâu và cũng có mức độ ảnh hưởng trong đời sống của mỗi người. Tuy nhiên tất cả những ứng dụng, hay nói chính xác hơn là những phương pháp chỉnh sửa ảnh trên tuy giúp người dùng đạt được mục đích, nhưng đều khiến ảnh không còn được chân thật như ban đầu do tính chọn lọc (xác định vùng cần sửa đổi và nội dung cần sửa đổi đã chuẩn bị sẵn) và thay thé. Do đó chúng chỉ đáp ứng được nhu cầu trong trường hợp giải trí mà chưa thể sử dụng trong trường hợp mang tính chat phi giải trí như hội họp, công việc,.
Ví dụ khác về những tình huống không thể sử dung filter, nhưng người dùng vẫn muốn nụ cười cia mình hoàn hảo. Nguồn: Facebook Giải pháp hiện tại đề giải quyết nhu cầu là sử dụng những phần mềm chỉnh sửa ảnh như Photoshop dé chỉnh sửa trực tiếp, tuy nhiên điều này khá bat tiện với đa số người dùng và cũng không khả thi khi xử lý định dạng video hay trực tuyến. Do vậy, phương pháp cua tôi đê xuât phải có khả năng loại bỏ hoàn toàn mac cài và tái tạo lại nơi vừa xóa với chất lượng tương đương những thợ chỉnh sửa ảnh chuyên nghiệp. Trong những năm gần đây, đã có nhiều nghiên cứu liên quan đến tác vụ xóa vật thể không mong muốn ra khỏi ảnh và khôi phục lại vùng đã bị xóa như [1], [2] và [3].
Tuy nhiên, những phương pháp này còn đang gặp những hạn chế như phải trích xuất đặc trưng thủ công. Một trong số đó là PatchMatch (2009) đã có ý tưởng sáng tạo về việc tìm kiếm những vùng ảnh có sẵn trong ảnh dé điền vào chỗ trống, mô hình này khá tốt với những ảnh đơn giản tuy nhiên vẫn không xử lý được những ảnh có kết cầu màu sắc phức tạp như mắc cài. Một số phương pháp sử dung GAN như [4] và [14],. đã đạt được nhiều kết quả tốt trên các bộ dit liệu phố biến như phong cảnh, xe cộ, nhà cửa và có khả năng có kết quả tương tự trên bộ dit liệu mắc cài.
Do đó, trong khóa luận này, tôi sẽ đánh giá việc sử dụng mô hình GAN trong bài toán braces2teeth kết hợp với một số braces2teeth Nguoi ding tự đánh dấu Hình 1. So sánh kết quả của mô hình được trình bày trong khóa luận (trên) và dịch vụ xóa mắc cài có sẵn (dưới). Đóng góp khóa luận Khóa luận đã đạt được nội dung sau: — Đây là nghiên cứu đầu tiên trình bày phương pháp giải quyết bài toán braces2teeth. — Thu thập bộ dữ liệu braces2teeth bao gồm 1704 ảnh về răng và 2165 hình ảnh về mắc cài.
Ngoài ra còn có hai bộ dữ liệu khác là braces2teeth Augmented và teeth2. — _ Xây dựng mô hình chuyền đổi từ ảnh có mắc cài sang ảnh răng bằng mô hình Pix2Pix (cho tập dir liệu cặp) và CycleGAN (cho tập dữ liệu không theo cặp). — Dé xuất mô hình cho phép chỉnh sửa ảnh nhanh chóng bằng Inpainting. — Xây dựng ứng dung web sử dụng các mô hình trên.
— Tạo ra một mô hình mở dé cộng đồng có thé sử dụng kết quả nghiên cứu và phát triển ứng dụng khác theo nhu cầu. — Công bố khoa học: 1. Kỷ yếu Hội nghị AI gặp gỡ lãnh dao Thành phố Hồ Chí Minh, Việt Nam, 6/11/2020 (Phụ lục 1). Tái tạo ảnh răng từ ảnh niềng răng có mắc cài sử dung GAN, Hội nghị khoa học Trẻ & nghiên cứu sinh UIT, Việt Nam, 18/11/2020 (Phụ lục 1).
Kỷ yếu chung kết Eureka lĩnh vực Công nghệ thông tin 2020, Việt Nam, 27/11/2020 (Phụ lục 2). Reconstructed teeth images from braces using GAN, Biomedical Engineering: Applications, Basis and Communications (BME) [Q4], Singapore, 2021 (Phu luc 3). Bố cục khóa luận Khóa luận bao gồm 7 chương: — Chương 1: Tổng quan — Chương 2: Cơ sở lý thuyết — Chương 3: Bài toán braces2teeth — Chương 4: Thực nghiệm — Chương 5: Đánh giá — Chương 6: Ứng dụng minh họa — Chương 7: Kết luận. CƠ SỞ LÝ THUYET Tôi xác định cơ sở lý thuyết theo ba khía cạnh.
Đầu tiên là một số phương pháp giải quyết bài toán Img2lmg (image to image) cơ bản (2. Thứ hai là các nghiên cứu đã được cải tiễn từ những mô hình cơ ban dé sinh ra ảnh có chất lượng cao trong một số ngữ cảnh phổ biến về mặt người, phong cảnh,. Cuối cùng là các công trình được nghiên cứu để giải quyết bài toán Img2Img theo cách gián tiếp bằng cách loại bỏ đối tượng không mong muốn và khôi phục lại ảnh (2. Bai toán Img2Img 2.GAN min max V(D, G) = Eyx-p„„„„log(D(2)) + Ez.p„log(1 — D(G(z))) G D dataset Paata Extract x NN Generator G (pz) NN 1 b3 | Training | ! Hình 2.
Sơ đô tổng quát của mô hình GAN. Nguồn: [7] GAN [7] là một mô hình cô dién được giới thiệu bởi lan J. Goodfellow vào năm 2014 đã đạt được rất nhiều thành công lớn trong deep learning nói riêng và AI nói chung. Một số ứng dụng nổi bật của GAN như deep fake, image editing, generate realistic photographs, super resolution, text to image,.
10 GAN là học một ánh xạ từ vectơ noIse ngẫu nhiên z đến ảnh y, kí hiệu G:z > y [7]. Ngược lai, conditional GAN (cGAN) [16] học một ánh xa từ anh x va vecto noise ngẫu nhiên z tới y, G: {x,z} > y. Generator G được huấn luyện dé tạo ra đầu ra không thé phân biệt được với dữ liệu thực bởi Discriminator D, là một mang classification được huấn luyện dé phát hiện dữ liệu giả do G sinh ra. Cả 2 mạng đều được huấn luyện song song hoặc tuần tự cho đến khi đạt trạng thái cân bằng Nash (Nash equilibrium).
Giả sử p là phân phối xác suất tap ảnh that và q là phân phối xác suất tập ảnh giả. Dé đánh giá mô hình tốt hay không (mức độ chân thật của ảnh sinh ra), tôi sử dụng một sỐ metric là phan ky Kullback - Leibler (KL divergence): P(x) Dxu(PIIQ) = 3.1) hoặc phan ky Jensen - Shannon (JS divergence): 1 P+Q 1 P+Q Dys(PIIQ) = 25 Dx.2) với mục tiêu là Dg, (P||Q) hoặc Djs(P||Q) xấp xi 0. Tuy nhiên, khi kỳ vọng (mean) của q tăng (một nửa mô hình GAN đang hội tụ) thì giá tri phân kỳ tăng, đạo hàm giảm. G cập nhật rất ít hoặc hầu như không cập nhật từ gradient descent, hiện tượng nay được gọi generator diminished.
Một van dé khác, loss function nguyên thủy (trong khóa luận đầu tiên về GAN) làm mat cân băng quá trình training (D thường ổn định hơn với G ở giai đoạn đầu). Khi q quá xa SO VỚI Ø: Vy log(1 —D (sœ°)) + 0 (log1 = 0).3) 11 Khiến G sẽ khó hội tụ, đây cũng là một trong những nguyên nhân làm giảm chất lượng ảnh. Nói chung, GAN vẫn là một mô hình cơ bản nên trong giai đoạn từ năm 2014 đến nay, đã có nhiều nghiên cứu cải thiện chất lượng ảnh sinh ra lên rất nhiều.DCGAN Với nhiệm vụ liên quan tới xử lý ảnh, mô hình CNN được kết hợp với GAN để chất lượng ảnh được sinh ra tốt hơn. Mô hình này được gọi là DCGAN [13].
Một số đặc điểm DCGAN khác với CNN truyền thống như sử dụng stride - 2 conv layer thay cho max pooling layer, sử dụng global average pooling thay cho fully connected layer. WGAN Van dé trong quá trình training GAN là generator diminishes và mô hình collapse (ngược lại với generator diminishes) khiến mô hình khó hội tụ.