Bối cảnh và vấn đề nghiên cứu

Xử lý ảnh và thị giác máy tính là các lĩnh vực khoa học máy tính có tốc độ phát triển nhanh chóng, đặc biệt từ năm 2010 đến nay nhờ sự cải tiến liên tục của các mô hình học sâu (Deep Learning). Nhu cầu tích hợp trí tuệ nhân tạo vào đời sống ngày càng tăng, trong đó y tế là một trong những ngành có nhu cầu ứng dụng cao nhất nhằm giảm tải áp lực cho đội ngũ y bác sĩ trong các công tác chẩn đoán bệnh lý, kê đơn thuốc và quản lý dữ liệu lâm sàng.

Trong phân ngành nha khoa, số lượng người có nhu cầu điều trị và chỉnh nha chiếm tỷ lệ lớn. Kỹ thuật niềng răng bằng mắc cài là phương pháp chỉnh nha phổ biến nhưng đòi hỏi thời gian can thiệp kéo dài từ vài tháng đến vài năm. Việc mang mắc cài cố định trong thời gian dài gây ra những trở ngại tâm lý nhất định cho người điều trị trong giao tiếp xã hội, hội họp, công việc và nhu cầu thể hiện bản thân. Phần lớn các ứng dụng xử lý ảnh nha khoa thời điểm đó tập trung vào việc hỗ trợ chẩn đoán và điều trị bệnh lý (như sâu răng, nhổ răng, chẩn đoán cấu trúc và phục hình hàm thông qua hệ thống CAD/CAM) mà chưa chú trọng giải quyết vấn đề thẩm mỹ diện mạo cho người đang niềng răng.

Bên cạnh đó, các ứng dụng làm đẹp tự động trên thị trường (như B612 hay các bộ lọc Facebook) chủ yếu áp dụng cơ chế xác định vùng chọn và chèn đè nội dung tạo sẵn mang tính giải trí, làm giảm độ chân thực của ảnh và không phù hợp trong môi trường giao tiếp nghiêm túc. Việc can thiệp thủ công bằng các phần mềm đồ họa như Photoshop đòi hỏi kỹ năng chuyên môn, tốn nhiều thời gian và không khả thi khi áp dụng trên định dạng video. Từ thực tiễn đó, đề tài "Phục hồi ảnh răng từ ảnh niềng răng có mắc cài sử dụng GAN" được thực hiện nhằm xây dựng giải pháp tự động loại bỏ mắc cài và tái tạo bề mặt răng tự nhiên.

Mục tiêu và nhiệm vụ nghiên cứu:

  1. Xây dựng mô hình xử lý ảnh với dữ liệu đầu vào là ảnh chụp niềng răng có mắc cài (với độ đa dạng về hình dạng, màu sắc và chủng loại mắc cài).
  2. Tạo dữ liệu đầu ra là ảnh răng đã loại bỏ hoàn toàn mắc cài, khôi phục các vùng bị che khuất với mức độ chân thực tương đương ảnh thực tế.
  3. Thiết lập và đánh giá độ khả thi của ba quy trình xử lý (pipeline) dựa trên ba kiến trúc: mô hình CycleGAN, mô hình Pix2Pix và mô hình Inpainting (kết hợp GraphCut và Contextual Attention).

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Các cấu trúc mắc cài chỉnh nha trên bề mặt răng (bao gồm mắc cài kim loại, mắc cài sứ, mắc cài đa sắc) và cấu trúc giải phẫu bề mặt răng trong ảnh chụp chân dung vùng miệng.
  • Phạm vi dữ liệu: Ảnh kỹ thuật số thu thập từ nguồn dữ liệu mở trên Internet (Google Images, mạng xã hội), bao gồm cả ảnh chụp tĩnh và luồng khung hình từ video/webcam.

Cơ sở lý thuyết và phương pháp

Khóa luận xây dựng trên nền tảng lý thuyết mạng đối nghịch tạo sinh (Generative Adversarial Networks - GAN) cùng các kỹ thuật xử lý ảnh số truyền thống và học sâu:

  • Khung lý thuyết mạng tạo sinh:

    • GAN nguyên bản (Goodfellow, 2014) và cGAN (Conditional GAN): Cơ chế huấn luyện đối kháng giữa mạng sinh (Generator $G$) và mạng phân biệt (Discriminator $D$) dựa trên trạng thái cân bằng Nash, sử dụng các độ đo phân kỳ Kullback - Leibler (KL) và Jensen - Shannon (JS). Văn bản chỉ rõ các hiện tượng làm giảm chất lượng hội tụ như suy giảm gradient ở mạng sinh (generator diminished) và sụp đổ mô hình (model collapse).
    • DCGAN, WGAN và WGAN-GP: Khóa luận phân tích việc tích hợp mạng tích chập sâu (DCGAN), ứng dụng hàm mất mát dựa trên khoảng cách Wasserstein (Earth Mover's Distance) thông qua đối ngẫu Kantorovich - Rubinstein trong WGAN, và kỹ thuật phạt đạo hàm (Gradient Penalty - GP) trong WGAN-GP nhằm loại bỏ sự phụ thuộc vào việc cắt tỉa trọng số (weight clipping) thủ công.
    • Mô hình chuyển đổi ảnh sang ảnh (Image-to-Image Translation - Img2Img): Phân loại các mô hình đơn phân phối (uni-modal) gồm mô hình học có giám sát với dữ liệu cặp (Pix2Pix) và học không giám sát không cần dữ liệu cặp (CycleGAN dựa trên hàm mất mát chu trình - cycle consistency loss $L_{cyc}$).

  • Phương pháp phân đoạn và phục hồi ảnh (Inpainting):

    • Mô hình GraphCut (Boykov - Kolmogorov): Ứng dụng lý thuyết đồ thị vào bài toán phân đoạn ảnh nhị phân giữa tiền cảnh (mắc cài) và hậu cảnh (răng). Tác giả chuyển đổi ảnh từ không gian màu RGB sang XYZ, sau đó sang CIELab nhằm tính toán khoảng cách màu theo công thức CIEDE2000.
    • Thuật toán siêu điểm ảnh SLIC (Simple Linear Iterative Clustering): Nhóm các điểm ảnh lân cận có tính chất màu sắc tương đồng thành các khối siêu điểm ảnh (Superpixel - SP) dựa trên khoảng cách kết hợp màu sắc và tọa độ không gian 5 chiều $[L, a, b, x, y]$, giúp tối ưu hóa số lượng đỉnh và cạnh trên đồ thị trước khi áp dụng thuật toán tìm luồng cực đại/lát cắt cực tiểu (Min-Cut/Max-Flow).
    • Generative Image Inpainting with Contextual Attention: Kiến trúc hai giai đoạn gồm mạng thô (Coarse network) với các lớp tích chập giãn nở (Dilated Convolution) kết hợp hàm mất mát không gian (Spatial discounted reconstruction loss), và mạng tinh chỉnh (Refinement network) tích hợp lớp Contextual Attention Layer nhằm trích xuất các mảnh (patch) kích thước $3 \times 3$ từ vùng hậu cảnh để tái tạo kết cấu chi tiết cho vùng răng bị xóa.

  • Nguồn dữ liệu thực nghiệm:

    • Tác giả tự xây dựng bộ dữ liệu braces2teeth gồm 1.704 ảnh răng không mắc cài và 2.165 ảnh răng có gắn mắc cài.
    • Bộ dữ liệu mở rộng braces2teethAugmented thu được qua các phép biến đổi màu sắc trên không gian HSV.
    • Bộ dữ liệu teeth2 phục vụ thử nghiệm bổ trợ cho mô hình tạo sinh.

Thiết kế và triển khai

Hệ thống được thiết kế hoàn chỉnh từ khâu nghiên cứu giải thuật đến đóng gói thành ứng dụng web phục vụ tương tác người dùng:

  • Kiến trúc hệ thống và luồng dữ liệu:

    • Tầng giao diện người dùng (Frontend): Cho phép tiếp nhận dữ liệu đầu vào qua ba hình thức: tải tệp ảnh từ thư mục cục bộ, chụp ảnh trực tiếp qua webcam/camera, và tải tệp video.
    • Tầng tiền xử lý và trích xuất: Sử dụng thư viện Dlib và OpenCV để định vị các điểm mốc khuôn mặt (facial landmarks). Hệ thống trích xuất chính xác tọa độ vùng miệng thông qua các điểm mốc từ chỉ số 61 đến 68.
    • Tầng suy luận (Inference Engine): Tích hợp các trọng số mô hình đã được huấn luyện (CycleGAN, Pix2Pix, GraphCut kết hợp mạng Inpainting). Đối với chế độ tương tác, hệ thống nhận các điểm đánh dấu (stroke) của người dùng để xác định nhãn sink/source cho thuật toán GraphCut.

  • Đặc tả ca sử dụng (Use Case):

    • Ca sử dụng "Xử lý ảnh": Tiếp nhận ảnh đầu vào $\rightarrow$ trích xuất vùng miệng $\rightarrow$ áp dụng cân bằng histogram/so màu nha khoa $\rightarrow$ thực thi xóa mắc cài bằng mô hình được chỉ định $\rightarrow$ ghép vùng răng đã phục hồi trở lại ảnh chân dung gốc.
    • Ca sử dụng "Xử lý video": Tách luồng video thành chuỗi khung hình tuần tự $\rightarrow$ theo dõi vùng miệng qua các frame $\rightarrow$ áp dụng xử lý suy luận $\rightarrow$ đồng bộ lại luồng video đầu ra.

  • Môi trường thực thi và kiểm thử:

    • Quá trình huấn luyện các mạng đối nghịch tạo sinh được triển khai trên nền tảng điện toán đám mây Google Colab với sự hỗ trợ của GPU.
    • Ứng dụng web được xây dựng với đầy đủ sơ đồ luồng màn hình, sơ đồ tuần tự (Sequence Diagram), sơ đồ trạng thái (State Diagram) và sơ đồ thành phần phần mềm.

Nội dung chính theo từng chương

Chương 1. Tổng quan

Chương 1 trình bày động lực nghiên cứu bắt nguồn từ nhu cầu giao tiếp thẩm mỹ của bệnh nhân chỉnh nha. Tác giả xác định rõ mục tiêu chuyển đổi ảnh răng niềng thành ảnh răng phục hồi tự nhiên, định nghĩa phạm vi đề tài, tổng hợp các đóng góp khoa học và công bố bài báo, đồng thời khái quát cấu trúc 7 chương của khóa luận.

Chương 2. Cơ sở lý thuyết

Chương này hệ thống hóa toàn bộ nền tảng toán học và kỹ thuật của bài toán chuyển đổi ảnh (Img2Img). Tác giả phân tích chi tiết nguyên lý hoạt động của GAN, WGAN, WGAN-GP; so sánh cơ chế học giữa CycleGAN và Pix2Pix; đồng thời phân tích sâu quy trình xóa vật thể và phục hồi ảnh gồm thuật toán GraphCut trên không gian màu CIELab/XYZ, kỹ thuật siêu điểm ảnh SLIC và mạng Contextual Attention hai giai đoạn.

Chương 3. Bài toán braces2teeth

Nội dung chương 3 tập trung giải quyết các bài toán ngoại lệ khi ứng dụng mô hình vào dữ liệu thực tế:

  • Phân tích hiện tượng lỗi xóa không hết trên các loại mắc cài khó: mắc cài sứ (trùng màu men răng) và mắc cài đa sắc.
  • Đề xuất phương pháp tăng cường dữ liệu bằng cách điều chỉnh kênh bão hòa (S) và giá trị độ sáng (V) trong không gian màu HSV.
  • Xây dựng quy trình tự động cắt vùng miệng bằng Dlib kết hợp OpenCV với các điểm mốc từ 61 đến 68.
  • Áp dụng kỹ thuật cân bằng histogram bằng phương pháp nội suy tuyến tính giữa ảnh nguồn và ảnh mẫu chuẩn.
  • Đề xuất quy trình xác định màu răng dựa trên thang màu nha khoa quốc tế VITA 3D-Master (từ cấp độ 0M1 đến 5M3) để tô màu vùng chọn (selection zone), tạo cặp dữ liệu giả lập cho hai phương pháp xóa mắc cài A và B phục vụ huấn luyện Pix2Pix.

Chương 4. Cài đặt thực nghiệm

Chương 4 mô tả cấu trúc ba bộ dữ liệu (braces2teeth, braces2teethAugmented, teeth2) và chi tiết thiết lập tham số huấn luyện trên Google Colab. Tác giả theo dõi, phân tích biểu đồ biến thiên hàm mất mát (loss) qua các chu kỳ huấn luyện của cả hai mô hình CycleGAN và Pix2Pix, đồng thời ghi nhận các mẫu ảnh sinh ra trong từng giai đoạn thực nghiệm.

Chương 5. Đánh giá

Chương 5 tiến hành so sánh định tính và định lượng chất lượng ảnh tạo ra giữa mô hình đề xuất và các phương pháp cơ sở. Tác giả thiết lập biểu mẫu đánh giá người dùng thông qua chỉ số kiểm định AMT (Amazon Mechanical Turk) trên cùng một tập dữ liệu thử nghiệm, đưa ra các nhận xét đối sánh trực quan về độ sắc nét của men răng và mức độ tự nhiên tại các vùng biên mô nướu.

Chương 6. Ứng dụng minh họa

Chương 6 chuyển giao kết quả mô hình sang dạng sản phẩm phần mềm hoàn chỉnh. Nội dung bao gồm việc mô tả chi tiết các tác vụ nghiệp vụ, xây dựng danh sách ca sử dụng, sơ đồ tuần tự, sơ đồ trạng thái cho hai luồng "Xử lý ảnh" và "Xử lý video", thiết kế giao diện đồ họa cho ba phân hệ (tải ảnh, chụp ảnh qua camera và xử lý video), cùng các tài liệu kiểm thử chức năng.

Chương 7. Kết luận

Chương cuối tóm tắt toàn bộ khối lượng công việc đã hoàn thành, chỉ rõ các mục tiêu đã đạt được so với đề cương ban đầu, phân tích các hạn chế kỹ thuật chưa thể khắc phục và định hình các hướng mở rộng cho đề tài trong tương lai.

Kết quả và đóng góp

Khóa luận đã khảo sát và xây dựng ba quy trình kỹ thuật độc lập để giải quyết bài toán phục hồi ảnh răng có mắc cài, với các đặc tính kỹ thuật được tổng hợp như sau:

Mô hình áp dụng Cơ chế dữ liệu Thành phần thuật toán chính Đặc điểm kết quả thực nghiệm
CycleGAN Không cần cặp ảnh (Unpaired data) 2 Generator ($G, F$), 2 Discriminator ($D_X, D_Y$), Cycle consistency loss Tự động hóa hoàn toàn; xử lý tốt mắc cài thông thường nhưng dễ để lại vệt mờ ở mắc cài sứ hoặc mắc cài đa sắc.
Pix2Pix Dữ liệu theo cặp (Paired data) 1 Generator ($G_{Y'Y}$), 1 Discriminator ($D_Y$), cGAN loss kết hợp L1 Cho chi tiết răng sắc nét và bề mặt tự nhiên hơn CycleGAN; phụ thuộc vào dữ liệu cặp giả lập từ kỹ thuật so màu VITA 3D-Master.
Inpainting Tương tác bán tự động (Semi-automated) Boykov-Kolmogorov GraphCut, siêu điểm ảnh SLIC, Contextual Attention Network Cho phép người dùng kiểm soát vùng xóa chính xác; khôi phục tốt kết cấu vùng thiếu nhờ cơ chế đối sánh patch $3 \times 3$.

Các đóng góp cụ thể của công trình:

  1. Là một trong những nghiên cứu học sâu đầu tiên chuyên biệt hóa bài toán xóa mắc cài chỉnh nha (braces2teeth) trong lĩnh vực xử lý ảnh nha khoa.
  2. Xây dựng và công bố bộ dữ liệu chuyên ngành braces2teeth gồm 1.704 ảnh răng và 2.165 ảnh mắc cài, cùng phiên bản mở rộng braces2teethAugmented.
  3. Đề xuất quy trình tiền xử lý kết hợp giữa thị giác máy tính cổ điển và học sâu: dùng Dlib facial landmarks (điểm 61-68), cân bằng histogram nội suy tuyến tính, và thuật toán so khớp màu dựa trên bảng chuẩn nha khoa VITA 3D-Master.
  4. Xây dựng thành công ứng dụng web demo hỗ trợ xử lý ảnh tĩnh, ảnh chụp trực tiếp từ webcam và video.
  5. Đạt được 04 công bố khoa học trong quá trình thực hiện:
    • Bài báo tại Kỷ yếu Hội nghị AI gặp gỡ lãnh đạo Thành phố Hồ Chí Minh (06/11/2020).
    • Báo cáo tại Hội nghị Khoa học Trẻ & Nghiên cứu sinh UIT (18/11/2020).
    • Đạt giải tại Vòng chung kết Giải thưởng Sinh viên Nghiên cứu Khoa học Euréka lĩnh vực CNTT (27/11/2020).
    • Công bố quốc tế: "Reconstructed teeth images from braces using GAN", đăng trên tạp chí quốc tế Biomedical Engineering: Applications, Basis and Communications (BME) (chỉ mục Scopus/ISI Q4, Singapore, 2021).

Hạn chế và hướng nghiên cứu tiếp

  • Hạn chế kỹ thuật trong văn bản:

    • Mô hình CycleGAN vẫn gặp hiện tượng mất chi tiết hoặc xóa không triệt để đối với các trường hợp mắc cài có độ phân giải quá thấp, mắc cài chất liệu sứ trùng màu men răng, hoặc dây cung và chun buộc có màu sắc trùng màu nướu (lợi).
    • Mô hình Pix2Pix đòi hỏi dữ liệu cặp nghiêm ngặt; việc sử dụng ảnh giả lập qua phương pháp tô màu răng nhân tạo chưa phản ánh được 100% hình thái giải phẫu của răng thật sau khi tháo niềng.
    • Phương pháp Inpainting tuy cho chất lượng phục hồi cao nhưng vẫn đòi hỏi người dùng phải thao tác đánh dấu thủ công vị trí tiền cảnh/hậu cảnh thông qua các nét vẽ tương tác.
    • Tốc độ xử lý luồng video trực tuyến còn chịu độ trễ nhất định do độ phức tạp tính toán của các mạng nơ-ron tích chập.

  • Hướng nghiên cứu tiếp theo:

    • Nghiên cứu cơ chế tự động phân đoạn mắc cài (automatic brace segmentation) để loại bỏ hoàn toàn bước đánh dấu tương tác trong mô hình Inpainting.
    • Tối ưu hóa kiến trúc mạng để giảm thiểu tham số, nâng cao tốc độ suy luận hướng tới khả năng xử lý thời gian thực trên video độ nét cao.
    • Mở rộng tập dữ liệu với nhiều chủng loại mắc cài đặc thù và các góc chụp lâm sàng phức tạp hơn.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo chuyên môn phù hợp cho sinh viên, học viên cao học và kỹ sư thuộc các chuyên ngành Kỹ thuật Phần mềm, Khoa học Máy tính, Trí tuệ Nhân tạo và Kỹ thuật Y sinh (Biomedical Engineering).

Tài liệu có giá trị ứng dụng cao ở các nội dung:

  • Quy trình giải quyết bài toán thiếu hụt dữ liệu cặp (unpaired data problem) trong thị giác máy tính y tế thông qua sự kết hợp giữa CycleGAN và kỹ thuật sinh dữ liệu nhân tạo bằng thang màu chuẩn VITA 3D-Master.
  • Kỹ thuật kết hợp giữa các thuật toán phân đoạn đồ thị truyền thống (SLIC Superpixel, GraphCut, khoảng cách màu CIEDE2000) và mạng nơ-ron tạo sinh hai giai đoạn (Contextual Attention Inpainting).
  • Tài liệu mẫu mực về quy trình kỹ thuật hoàn chỉnh: từ nghiên cứu lý thuyết, xử lý toán học, thực nghiệm mô hình AI trên Google Colab cho đến phân tích, thiết kế hệ thống phần mềm (UML, Use case, Sequence/State diagrams) và triển khai ứng dụng web thực tế.

Câu hỏi thường gặp

1. Khóa luận tiếp cận bài toán loại bỏ mắc cài niềng răng bằng những mô hình tạo sinh cụ thể nào?
Tác giả đã thử nghiệm và đánh giá ba mô hình chính tương ứng với ba tình huống dữ liệu: mô hình CycleGAN (dành cho dữ liệu không theo cặp gồm tập ảnh có mắc cài và tập ảnh không mắc cài riêng biệt), mô hình Pix2Pix (dành cho tập dữ liệu có cặp ảnh tương ứng), và mô hình Inpainting (kết hợp thuật toán phân đoạn GraphCut với mạng nơ-ron tạo sinh Contextual Attention hai giai đoạn).

2. Tác giả đã xử lý hiện tượng CycleGAN không thể xóa được mắc cài sứ và mắc cài đa sắc bằng cách nào?
Do mắc cài sứ có màu trắng trùng màu men răng và mắc cài đa sắc có màu trùng với màu mô nướu (lợi), tác giả đã áp dụng phương pháp tăng cường ảnh bằng cách thay đổi ngẫu nhiên các kênh bão hòa (S) và độ sáng (V) trong không gian màu HSV. Kỹ thuật này giúp phân tách độ tương phản màu sắc giữa răng và mắc cài, hỗ trợ mô hình nhận diện và xóa bỏ chính xác hơn.

3. Thang màu nha khoa VITA 3D-Master được ứng dụng như thế nào trong quy trình nghiên cứu?
Thang màu VITA 3D-Master (với các dải màu chuẩn từ 0M1 đến 5M3) được tác giả sử dụng trong bước tiền xử lý nhằm xác định tông màu tự nhiên của răng người dùng. Sau khi định vị vùng miệng và loại bỏ mắc cài, hệ thống dùng màu răng tương ứng từ dải màu này để tô lấp vùng chọn (selection zone), từ đó tạo ra ảnh đầu vào có màu nền chuẩn xác cho mô hình Pix2Pix phục hồi chi tiết.

4. Tại sao tác giả sử dụng kỹ thuật siêu điểm ảnh (SLIC) trước khi áp dụng thuật toán GraphCut?
Nếu áp dụng GraphCut trực tiếp trên từng điểm ảnh của bức ảnh kích thước $256 \times 256$, đồ thị sẽ có tới 65.536 đỉnh và hơn 80.000 cạnh, khiến chi phí tính toán tăng theo cấp số nhân. Thuật toán SLIC nhóm các điểm ảnh lân cận có màu sắc tương tự thành các siêu điểm ảnh (Superpixel), giúp giảm đáng kể số lượng đỉnh và cạnh trên đồ thị mà vẫn đảm bảo độ chính xác của đường cắt phân đoạn biên mắc cài.

5. Khóa luận này đã đạt được những công bố khoa học chính thức nào?
Công trình đã có 04 công bố khoa học bao gồm: 01 bài báo trong Kỷ yếu Hội nghị AI gặp gỡ lãnh đạo TP.HCM (06/11/2020), 01 bài báo tại Hội nghị Khoa học Trẻ & Nghiên cứu sinh UIT (18/11/2020), 01 đề tài vào Chung kết Giải thưởng Euréka lĩnh vực CNTT (27/11/2020), và 01 bài báo khoa học quốc tế xuất bản trên tạp chí Biomedical Engineering: Applications, Basis and Communications (BME) (thuộc danh mục Scopus Q4) vào năm 2021.

Kết luận

Khóa luận tốt nghiệp của sinh viên Vũ Tuấn Hải đã giải quyết trọn vẹn bài toán phục hồi ảnh răng từ ảnh niềng răng có mắc cài (braces2teeth) thông qua việc tích hợp các mô hình học sâu hiện đại như CycleGAN, Pix2Pix và mạng Contextual Attention. Đề tài không chỉ đóng góp một bộ dữ liệu mới và quy trình tiền xử lý màu nha khoa chuẩn hóa mà còn chuyển giao thành công thuật toán thành một ứng dụng web hoàn chỉnh có khả năng tương tác trực quan. Đây là công trình kỹ thuật phần mềm có giá trị khoa học và ứng dụng thực tiễn cao, được khẳng định chất lượng qua các giải thưởng học thuật và công bố trên tạp chí khoa học quốc tế.