Bối cảnh và vấn đề nghiên cứu

Chuyển đổi phong cách ảnh (Neural Style Transfer - NST) là một hướng nghiên cứu thuộc lĩnh vực Thị giác máy tính và Trí tuệ nhân tạo, cho phép tạo ra hình ảnh mới bằng cách kết hợp nội dung của một bức ảnh thực tế (content image) với hoa văn, nét vẽ, màu sắc từ một tác phẩm nghệ thuật (style image). Trong thực tiễn nghiên cứu và ứng dụng, việc áp dụng phong cách hội họa trực tiếp lên toàn bộ bức ảnh thường gặp phải hai thách thức kỹ thuật lớn:

  1. Sự thiếu tương quan ngữ nghĩa giữa ảnh nội dung và ảnh phong cách: Việc lựa chọn ngẫu nhiên một phong cách không tương đồng về chủ đề (ví dụ: gán phong cách tranh chân dung vào ảnh phong cảnh thảo nguyên) dễ tạo ra các họa tiết ngoại lai không mong muốn, làm biến dạng hoặc phá vỡ cấu trúc nội dung gốc. Kết quả thực nghiệm cho thấy việc chuyển đổi chỉ đạt hiệu quả thị giác tối ưu khi ảnh nội dung và ảnh phong cách có sự tương đồng nhất định về mặt chủ đề.
  2. Hiện tượng áp dụng phong cách sai lệch phạm vi ngữ nghĩa: Các thuật toán NST truyền thống thường chuyển đổi trên toàn bộ bức ảnh hoặc gặp khó khăn trong việc khoanh vùng, dẫn đến hiện tượng lem màu sắc và hoa văn giữa tiền cảnh và hậu cảnh (ví dụ: hoa văn vốn thuộc về tán cây bị phân tán rải rác sang toàn bộ vùng trời hoặc bãi cỏ phía sau).

Xuất phát từ các vấn đề trên, khóa luận tốt nghiệp ngành Khoa học Máy tính của sinh viên Đặng Quốc Quy và Trần Vũ Hoàng Tú (Trường Đại học Công nghệ Thông tin, Đại học Quốc gia TP. Hồ Chí Minh, thực hiện dưới sự hướng dẫn của TS. Nguyễn Vinh Tiệp) hướng đến đề xuất mô hình chuyển đổi phong cách ảnh bằng cách bóc tách và khai thác riêng biệt thông tin của đối tượng chính (chủ thể - foreground) và đối tượng phụ (nền - background).

Nhiệm vụ nghiên cứu cụ thể của đề tài được phân tách thành ba bài toán thành phần:

  1. Tách chủ thể và nền: Nhận diện và trích xuất mặt nạ phân đoạn vùng nổi bật nhằm ngăn ngừa sự pha trộn hoa văn không mong muốn giữa chủ thể và nền trong quá trình chuyển đổi.
  2. Truy vấn ảnh phong cách theo nội dung: Khai thác đặc trưng học sâu của ảnh đầu vào để tự động tìm kiếm, sắp xếp và gợi ý các tác phẩm nghệ thuật phù hợp nhất cho từng phần chủ thể và nền riêng biệt.
  3. Chuyển đổi phong cách theo từng phân vùng: Ứng dụng mô hình chuyển đổi phong cách có tốc độ xử lý nhanh, bảo toàn tốt cấu trúc nội dung, sau đó hợp nhất các thành phần và tối ưu hóa biên ảnh.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Các thuật toán phát hiện vùng nổi bật (Saliency Detection), trích xuất đặc trưng và truy vấn ảnh dựa trên nội dung (CBIR), cùng các mô hình chuyển đổi phong cách ảnh đa phương thức (Multimodal Style Transfer). Dữ liệu đầu vào là ảnh chụp đời thường 2D và tập dữ liệu hình ảnh hội họa nghệ thuật.
  • Phạm vi nghiên cứu: Đề tài giới hạn trên ảnh tĩnh hai chiều (2D). Ảnh nội dung và ảnh phong cách được lựa chọn cần có bố cục chủ thể và nền tương đối rõ ràng. Tập dữ liệu tranh nghệ thuật phục vụ thử nghiệm được xây dựng từ các tác phẩm của các họa sĩ Việt Nam. Thời gian thực hiện khóa luận từ ngày 07/09/2020 đến ngày 21/01/2021.

Cơ sở lý thuyết và phương pháp

Khóa luận kết hợp nhiều nền tảng lý thuyết và mô hình mạng nơ-ron tích chập (CNN) chuyên biệt để xây dựng đường ống xử lý hoàn chỉnh:

  • Mạng VGG19 trích xuất đặc trưng cấp cao: Kiến trúc VGG19 (Simonyan & Zisserman, 2014) sử dụng các bộ lọc tích chập nhỏ kích thước $3 \times 3$ xếp chồng liên tiếp. Khóa luận sử dụng mô hình VGG19 đã được tiền huấn luyện trên tập dữ liệu ImageNet. Bản đồ đặc trưng (feature map) ở tầng Max Pooling cuối cùng được làm phẳng thông qua tầng Average Pooling có kích thước bộ lọc và bước nhảy tương ứng, tạo thành một vector đặc trưng duy nhất kích thước $1 \times 512$ đại diện cho ảnh.
  • Mạng $U^2$-Net phát hiện vùng nổi bật: Kiến trúc $U^2$-Net (Qin et al., 2020) được xây dựng dựa trên cấu trúc lồng hai tầng hình chữ U (Nested U-structure). Cốt lõi của mạng là khối ReSidual U-block (RSU), cho phép trích xuất đặc trưng đa tỷ lệ (multi-scale) mà không làm suy giảm độ phân giải của bản đồ đặc trưng nhờ cấu trúc mã hóa - giải mã cục bộ kết hợp với kết nối phần dư. Mô hình bao gồm 6 tầng mã hóa ($En_1$ đến $En_6$) và 5 tầng giải mã ($De_5$ đến $De_1$). Ở các tầng $En_5, En_6$ và $De_5$, các phép toán pooling/upsampling được thay thế bằng tích chập giãn nở (dilated convolution) nhằm giữ nguyên ngữ nghĩa. Đầu ra của 6 tầng được kết hợp thông qua phép nối (concatenation) và tầng tích chập $1 \times 1$ kèm hàm sigmoid để tạo ra bản đồ nổi bật nhị phân (saliency mask).
  • Phương pháp truy vấn ảnh dựa trên nội dung (CBIR): Khóa luận tiếp cận theo hướng trích xuất đặc trưng sâu (thay vì các đặc trưng cục bộ truyền thống như SIFT 128 chiều hay SURF 64 chiều). Độ tương đồng giữa vector đặc trưng $1 \times 512$ của ảnh truy vấn và các ảnh trong kho dữ liệu được tính toán dựa trên khoảng cách Manhattan ($L_1$), giúp tối ưu hóa thời gian tính toán so với các mô hình có số chiều lớn như ResNet50 ($1 \times 2048$).
  • Mô hình Multimodal Style Transfer dựa trên Graph Cuts (MST): Kỹ thuật MST (Zhang et al., ICCV 2019) thuộc nhóm mô hình phong cách tùy ý (Arbitrary-Style-Per-Model - ASPM). Thay vì sử dụng ma trận Gram (mô hình tham số dễ làm mất chi tiết cục bộ) hay trường ngẫu nhiên Markov (MRF - mô hình phi tham số dễ gây hiệu ứng rửa trôi hoa văn), MST phân cụm các đặc trưng phong cách thành $K$ cụm bằng thuật toán K-means. Việc so khớp giữa điểm ảnh nội dung và tâm cụm phong cách được mô hình hóa bằng bài toán cắt đồ thị (Graph Cut) thông qua hàm năng lượng: $$E(f) = E_{data} + E_{smooth}(f)$$ Trong đó, $E_{data}$ đo lường độ đối lập dựa trên khoảng cách Cosine, còn $E_{smooth}$ phạt sự khác biệt nhãn giữa các cặp điểm ảnh lân cận nhằm đảm bảo tính đồng nhất ngữ nghĩa. Việc tối ưu hóa được giải quyết bằng thuật toán luồng cực đại/lát cắt cực tiểu (min-cut/max-flow). Quá trình gán phong cách sau đó áp dụng phép biến đổi làm trắng và tô màu (Whitening and Coloring Transforms - WCT).
  • Nguồn dữ liệu thực nghiệm:
    • Bộ dữ liệu COCO (80.000 ảnh) làm ảnh nội dung và WikiArt (80.000 ảnh) làm ảnh phong cách, kích thước chuẩn hóa $256 \times 256$, được sử dụng trong quá trình huấn luyện bộ giải mã của mạng MST bằng thuật toán tối ưu Adam (learning rate = $10^{-4}$, trọng số hàm mất mát $\alpha = 10^{-2}$).
    • Bộ dữ liệu ảnh nghệ thuật tranh vẽ Việt Nam do nhóm tác giả tự thu thập và phân loại theo các chủ đề trực quan để phục vụ khâu đề xuất phong cách.

Thiết kế và triển khai

Hệ thống được thiết kế theo mô hình Client - Server tách biệt nhằm giải quyết bài toán cân bằng tải tính toán và trải nghiệm người dùng trên thiết bị di động:

[Người dùng di động]
  • Thành phần Server: Được xây dựng bằng ngôn ngữ Python, triển khai các bộ định tuyến REST API (sử dụng framework dịch vụ web) tiếp nhận dữ liệu ảnh từ Client. Server đảm nhận toàn bộ các tác vụ tính toán nặng: chạy mô hình $U^2$-Net để phân đoạn ảnh, tính toán trích xuất vector đặc trưng VGG19, truy vấn chỉ mục khoảng cách trên tập tranh nghệ thuật, và kích hoạt tiến trình chạy mạng MST kết hợp biến đổi WCT trên GPU.
  • Thành phần Client: Ứng dụng được lập trình cho hệ điều hành di động Android (được đóng gói và phát hành thử nghiệm trên Google Play Store qua mã QR). Giao diện cho phép người dùng chụp ảnh trực tiếp từ máy ảnh (On camera) hoặc chọn từ bộ sưu tập (On gallery). Sau khi ảnh được tải lên, ứng dụng hiển thị danh sách các thẻ ảnh nghệ thuật được đề xuất riêng cho chủ thể và nền; giao diện bắt buộc người dùng chọn đủ 1 ảnh cho chủ thể và 1 ảnh cho nền trước khi gửi yêu cầu chuyển đổi. Sau khi nhận kết quả, người dùng có thể chạm giữ để so sánh ảnh gốc hoặc bấm nút lưu (Save)/chia sẻ (Share).
  • Hậu xử lý hình ảnh: Để loại bỏ viền răng cưa và vùng đệm bất thường tại ranh giới tiếp giáp giữa chủ thể và nền sau khi chuyển đổi, Server áp dụng kỹ thuật lọc song phương (Bilateral Filter) lên vùng biên mặt nạ nhằm làm mịn và tạo sự hòa hợp quang học tự nhiên.
  • Kiểm thử hiệu năng thời gian: Nhóm tác giả thực hiện đo đạc thời gian xử lý trung bình trên 10 bức ảnh thử nghiệm có kích thước chuẩn $512 \times 512$ pixels (không bao gồm thời gian truyền nhận qua mạng Internet) như sau:
Thao tác xử lý kỹ thuật Thời gian trung bình (giây)
Xác định và phân tách vùng nổi bật ($U^2$-Net) 1,24
Trích xuất đặc trưng và truy vấn ảnh phù hợp (VGG19) 0,86
Chuyển đổi phong cách phần chủ thể (MST + WCT) 1,42
Chuyển đổi phong cách phần nền (MST + WCT) 1,41
Ghép ảnh và lọc mịn biên (Bilateral Filter) 0,15
Tổng thời gian xử lý cục bộ trên Server 5,08

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương mở đầu khái quát lịch sử hình thành của bài toán chuyển đổi phong cách ảnh từ giữa thập niên 1990 đến giai đoạn bùng nổ của Neural Style Transfer dựa trên mạng tích chập sâu. Tác giả phân tích chi tiết hai điểm nghẽn chính của các phương pháp hiện hành: việc lựa chọn phong cách tùy tiện không tương đồng ngữ nghĩa làm giảm chất lượng thẩm mỹ và sự phân tán hoa văn không kiểm soát giữa các vùng ảnh. Trên cơ sở đó, chương xác định mục tiêu nghiên cứu là xây dựng mô hình chuyển đổi phong cách phân tách theo chủ thể - nền kèm cơ chế gợi ý tác phẩm nghệ thuật phù hợp, đồng thời vạch rõ phạm vi đề tài, các đóng góp chính và bố cục toàn văn khóa luận.

Chương 2: Các công trình liên quan

Chương 2 tổng thuật toàn diện cơ sở lý thuyết của các mô hình thành phần:

  • Phân tích kiến trúc mạng VGG, giải thích cơ chế thay thế các bộ lọc lớn ($7 \times 7, 11 \times 11$) bằng chuỗi các bộ lọc $3 \times 3$ liên tiếp để giảm số lượng tham số tính toán từ 49 xuống 27 trong khi vẫn bảo toàn trường tiếp nhận đặc trưng (receptive field).
  • Trình bày chi tiết kiến trúc mạng $U^2$-Net cùng cấu trúc khối RSU, phân tích cách thức bố trí các tầng tích chập giãn nở ở các khối sâu ($En_5, En_6, De_5$) để tránh mất mát đặc trưng ngữ nghĩa.
  • Đánh giá các phương pháp biểu diễn ảnh trong bài toán truy vấn ảnh CBIR: so sánh đặc trưng cục bộ cấp thấp (SIFT, SURF kết hợp Bag of Visual Words) với đặc trưng học sâu đa cấp từ CNN, đồng thời so sánh các độ đo khoảng cách (Minkowski, Manhattan, Euclidean).
  • Phân loại các hướng tiếp cận bài toán NST: tối ưu hóa ảnh trực tiếp bằng gradient descent (tốc độ chậm) so với tối ưu hóa mô hình mạng (PSPM, MSPM, ASPM); so sánh mô hình tổng hợp phong cách tham số (Gram matrix) và phi tham số (MRFs).
  • Trình bày thuật toán Multimodal Style Transfer (MST) dựa trên Graph Cut, mô tả chi tiết hàm mất mát nội dung $l_c$ (tại tầng Conv_4_1) và hàm mất mát phong cách $l_s$ (tại các tầng Conv_1_1 đến Conv_4_1) cùng phương pháp WCT.

Chương 3: Mô hình đề xuất

Chương này đi sâu vào chi tiết kỹ thuật của quy trình 3 mô đun do nhóm tác giả xây dựng:

  1. Mô đun tách chủ thể và nền: Nhận ảnh nội dung $I$, đưa qua $U^2$-Net để sinh mặt nạ nhị phân, bóc tách thành ảnh chủ thể $F$ (vùng nền tô đen) và ảnh nền $B$ (vùng chủ thể tô đen).
  2. Mô đun truy vấn ảnh nghệ thuật: Trích xuất vector đặc trưng $1 \times 512$ thông qua VGG19 kết hợp Average Pooling. Tác giả lập luận chi tiết việc lựa chọn VGG19 thay vì VGG16 (do VGG19 sâu hơn, nắm bắt đặc trưng phong phú hơn dù sai số Top-5 chênh lệch không đáng kể) và ResNet50 (mặc dù ResNet50 phân lớp nhanh hơn nhưng sinh vector $1 \times 2048$, làm tăng chi phí tính toán khoảng cách vector so với vector $1 \times 512$ của VGG19). Khoảng cách Manhattan được ứng dụng để xếp hạng danh sách tranh nghệ thuật gần nhất cho từng phần $F$ và $B$.
  3. Mô đun chuyển đổi phong cách: Ứng dụng MST để phân cụm đặc trưng phong cách thành $K$ cụm, thiết lập đồ thị liên kết giữa đặc trưng nội dung và tâm cụm phong cách, tối ưu hóa nhãn bằng bài toán luồng cực đại/lát cắt cực tiểu, sau đó biến đổi đặc trưng bằng WCT với hệ số dung hòa $\alpha_p$. Quá trình được thực hiện độc lập trên cặp chủ thể và cặp nền, sau đó ghép lại bằng mặt nạ nhị phân và lọc mịn bằng Bilateral Filter.

Chương 4: Thực nghiệm và đánh giá

Chương 4 mô tả quy trình xây dựng tập dữ liệu tranh nghệ thuật Việt Nam, phân loại số lượng ảnh theo các chủ đề trực quan cụ thể phục vụ thử nghiệm. Tác giả trình bày kiến trúc phân tầng Client - Server, bảng định tuyến các API trên Server, thiết kế luồng màn hình ứng dụng Android và kết quả đo đạc độ trễ các thao tác (Bảng 4.4). Để đánh giá chất lượng hệ thống, khóa luận tổ chức khảo sát ý kiến người dùng thực tế trên 4 tiêu chí định lượng:

  • Thời gian chờ để nhận danh sách ảnh phong cách đề xuất.
  • Thời gian chờ để nhận bức ảnh kết quả hoàn chỉnh sau khi chuyển đổi.
  • Mức độ phù hợp về mặt chủ đề và thị giác giữa tập ảnh nghệ thuật được đề xuất với từng phần của ảnh đầu vào.
  • Tính thẩm mỹ tổng thể của bức ảnh kết quả.

Chương 5: Kết luận

Chương cuối cùng tổng kết các hạng mục đã hoàn thành của khóa luận, chỉ rõ các ưu điểm đạt được về mặt tốc độ, tính trực quan và khả năng kiểm soát phong cách theo ngữ nghĩa; đồng thời thẳng thắn chỉ ra các giới hạn kỹ thuật còn tồn tại và đề xuất các hướng mở rộng nghiên cứu trong tương lai.

Kết quả và đóng góp

Khóa luận đã hoàn thành các mục tiêu nghiên cứu và kỹ thuật đề ra với các kết quả cụ thể:

  • Kết quả thực nghiệm mô hình:
    • Thiết lập thành công quy trình kết hợp $U^2$-Net, VGG19, MST và Bilateral Filter giúp giải quyết triệt để hiện tượng lem hoa văn giữa tiền cảnh và hậu cảnh.
    • Tối ưu hóa thời gian thực thi: Tổng thời gian xử lý toàn bộ quy trình trên Server đạt mức trung bình 5,08 giây cho một ảnh kích thước $512 \times 512$ pixels (trong đó khâu phân tách vùng nổi bật mất 1,24s, truy vấn ảnh mất 0,86s, chuyển đổi phong cách hai thành phần mất 2,83s và lọc mịn mất 0,15s).
    • Kết quả khảo sát người dùng cho thấy đa số đánh giá tích cực về độ phù hợp của các bức tranh được hệ thống gợi ý cho từng phần chủ thể/nền cũng như tính thẩm mỹ của ảnh tạo ra.
  • Sản phẩm ứng dụng:
    • Xây dựng hoàn chỉnh hệ thống Client - Server, trong đó ứng dụng di động được hoàn thiện giao diện, hỗ trợ chụp ảnh, chọn ảnh, hiển thị trực quan các gợi ý phong cách, cho phép lưu và chia sẻ ảnh, đồng thời đã phát hành thử nghiệm trên Google Play Store.
    • Thu thập, số hóa và xây dựng thành công tập dữ liệu ảnh nghệ thuật của các họa sĩ nổi tiếng tại Việt Nam, phục vụ trực tiếp cho bài toán truy vấn và chuyển đổi phong cách.
  • Đóng góp so với các nghiên cứu trước:
    • Khắc phục nhược điểm của các mô hình NST toàn cục truyền thống (Gatys et al.) vốn không phân biệt ngữ nghĩa giữa chủ thể và nền, loại bỏ hiện tượng các chi tiết họa tiết ngoại lai phá vỡ cấu trúc của đối tượng chính.
    • Cải tiến tính thực tiễn so với mô hình MST gốc (Zhang et al., 2019) bằng cách tích hợp mô đun gợi ý phong cách tự động dựa trên độ tương đồng nội dung, giúp người dùng không cần phải tự tìm kiếm tranh nghệ thuật tương thích một cách thủ công.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận đã chỉ ra các hạn chế kỹ thuật dựa trên quá trình thử nghiệm thực tế:

  • Hạn chế:

    • Chất lượng phân tách chủ thể phụ thuộc hoàn toàn vào độ chính xác của mạng $U^2$-Net; trong các bức ảnh đời thường có bố cục phức tạp, độ tương phản kém hoặc có quá nhiều đối tượng đan xen, mặt nạ nhị phân sinh ra có thể bị khuyết hoặc nhầm lẫn, dẫn đến đường biên chuyển đổi phong cách chưa hoàn hảo.
    • Quy mô tập dữ liệu tranh nghệ thuật Việt Nam tự thu thập còn giới hạn về số lượng tác phẩm và phong cách hội họa so với các tập dữ liệu quốc tế như WikiArt.
    • Tổng thời gian đáp ứng của toàn hệ thống còn chịu ảnh hưởng bởi độ trễ đường truyền mạng Internet khi trao đổi dữ liệu ảnh độ phân giải cao giữa thiết bị di động và Server.

  • Hướng nghiên cứu tiếp:

    • Mở rộng phạm vi bài toán sang xử lý chuyển đổi phong cách trên định dạng video thời gian thực.
    • Cải tiến thuật toán phân đoạn ảnh để hỗ trợ nhận diện và phân tách nhiều đối tượng ngữ nghĩa phức tạp hơn (Multi-instance Style Transfer).
    • Tối ưu hóa dung lượng và cấu trúc các mô hình mạng nơ-ron nhằm thử nghiệm chạy trực tiếp trên thiết bị di động (on-device inference), giảm thiểu sự phụ thuộc vào hạ tầng Server.
    • Tiếp tục sưu tầm và mở rộng kho dữ liệu tranh nghệ thuật Việt Nam đa dạng hơn về chất liệu (sơn mài, lụa, khắc gỗ, màu nước).

Giá trị tham khảo

Báo cáo khóa luận là tài liệu tham khảo hữu ích cho:

  • Sinh viên, học viên cao học và nghiên cứu viên thuộc các ngành Khoa học Máy tính, Công nghệ Thông tin, Trí tuệ Nhân tạo đang thực hiện các đề tài liên quan đến Thị giác máy tính (Computer Vision), xử lý ảnh số và Neural Style Transfer.
  • Lập trình viên phát triển ứng dụng di động tích hợp trí tuệ nhân tạo, có thể tham khảo trực tiếp mô hình kiến trúc phân tầng Client - Server, kỹ thuật thiết kế REST API xử lý đồ họa nặng, cùng phương pháp đóng gói mô hình học sâu vào sản phẩm thương mại.
  • Các nội dung có giá trị tham chiếu cao trong văn bản bao gồm: phân tích chuyên sâu về kiến trúc khối RSU trong mạng $U^2$-Net (Mục 2.2), cơ chế toán học tối ưu hóa hàm năng lượng Graph Cut trong bài toán chuyển đổi phong cách đa phương thức (Mục 3.3.1), và các số liệu so sánh độ trễ thực tế giữa các mô hình CNN (Bảng 3.1 và Bảng 4.4).

Câu hỏi thường gặp

1. Tại sao khóa luận lại lựa chọn mạng VGG19 thay vì ResNet50 cho mô đun truy vấn ảnh nghệ thuật?
Dựa trên kết quả thực nghiệm và đối sánh kỹ thuật (Mục 3.2), mặc dù ResNet50 có tốc độ phân lớp nhanh hơn và độ lỗi thấp hơn trên bài toán phân loại tổng quát, nhưng tầng đặc trưng cuối của ResNet50 trích xuất ra vector có kích thước lên tới $1 \times 2048$. Trong khi đó, VGG19 kết hợp với tầng Average Pooling sinh ra vector đặc trưng kích thước $1 \times 512$. Việc sử dụng vector kích thước nhỏ hơn gấp 4 lần của VGG19 giúp quá trình tính toán khoảng cách Manhattan trên toàn bộ tập dữ liệu diễn ra nhanh hơn đáng kể, đồng thời VGG19 có cấu trúc 16 lớp tích chập sâu giúp trích xuất các đặc trưng hình ảnh đa dạng, đáp ứng tốt yêu cầu truy vấn tương đồng.

2. Khối ReSidual U-block (RSU) trong mạng $U^2$-Net có điểm gì khác biệt so với khối Residual Block thông thường?
Điểm khác biệt cốt lõi là RSU thay thế phép tích chập thông thường bằng một cấu trúc mã hóa - giải mã nhiều tầng (tương tự như một mạng UNet thu nhỏ) nằm ngay bên trong khối, đồng thời thay thế đặc trưng gốc bằng đặc trưng cục bộ thông qua một lớp tích chập ban đầu. Thiết kế này cho phép khối RSU trích xuất và kết hợp đặc trưng ở nhiều tỷ lệ (multi-scale) và nhiều mức độ ngữ cảnh trực tiếp tại mỗi khối mà không làm giảm kích thước bản đồ đặc trưng, hỗ trợ phân đoạn vùng nổi bật chính xác hơn.

3. Thuật toán Graph Cut đóng vai trò gì trong phương pháp Multimodal Style Transfer (MST)?
Trong mô hình MST, các đặc trưng phong cách được gom thành $K$ cụm thông qua K-means. Thuật toán Graph Cut được sử dụng để giải quyết bài toán tối ưu hóa hàm năng lượng $E(f) = E_{data} + E_{smooth}(f)$, nhằm gán mỗi điểm ảnh nội dung vào tâm cụm phong cách phù hợp nhất. Quá trình này được quy về bài toán luồng cực đại/lát cắt cực tiểu (min-cut/max-flow), giúp đảm bảo các điểm ảnh trong cùng một khu vực ngữ nghĩa sẽ được gán cùng một phong cách, ngăn chặn hiện tượng rửa trôi hoa văn trên các vùng ảnh đồng nhất.

4. Kỹ thuật nào được nhóm tác giả sử dụng để xử lý đường biên sau khi ghép ảnh chủ thể và ảnh nền đã chuyển đổi phong cách?
Sau khi chuyển đổi phong cách riêng rẽ cho phần chủ thể và phần nền bằng mô hình MST, hai thành phần ảnh được hợp nhất lại dựa trên ảnh mặt nạ nhị phân gốc. Nhằm triệt tiêu hiện tượng răng cưa hoặc viền đen nhân tạo xuất hiện tại ranh giới tiếp giáp giữa chủ thể và nền, tác giả áp dụng bộ lọc song phương (Bilateral Filter) làm mịn biên cục bộ, giúp hòa trộn tự nhiên màu sắc và ánh sáng giữa hai phân vùng.

Kết luận

Khóa luận tốt nghiệp của sinh viên Đặng Quốc Quy và Trần Vũ Hoàng Tú đã giải quyết thành công bài toán chuyển đổi phong cách ảnh theo từng phân vùng ngữ nghĩa bằng cách tích hợp mạng $U^2$-Net để tách chủ thể - nền, mạng VGG19 để tự động gợi ý tranh nghệ thuật tương đồng, và thuật toán MST dựa trên Graph Cut để áp dụng phong cách độc lập. Hệ thống không chỉ dừng lại ở mô hình lý thuyết mà đã được hiện thực hóa thành giải pháp Client - Server hoàn chỉnh với ứng dụng di động Android có thời gian xử lý thực nghiệm đạt 5,08 giây trên ảnh $512 \times 512$ pixels. Đây là một công trình nghiên cứu ứng dụng có cấu trúc chặt chẽ, số liệu thực nghiệm minh bạch và mang giá trị tham khảo kỹ thuật cao cho các nghiên cứu tiếp theo trong lĩnh vực thị giác máy tính và xử lý ảnh nghệ thuật.