Giới thiệu dự án

Sự giao thoa giữa Thị giác máy tính (Computer Vision - CV) và Xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP) là một trong những lĩnh vực nghiên cứu trọng điểm của Trí tuệ nhân tạo (AI). Theo các báo cáo công nghệ đa phương tiện giai đoạn 2020–2024, các mô hình học sâu sinh ngôn ngữ đa phương thức (Multimodal Generation) đạt tốc độ tăng trưởng ứng dụng hơn 35% mỗi năm. Trong khi bài toán tự động sinh chú thích ảnh (Image Captioning) tập trung vào việc mô tả sự vật, hiện tượng một cách tường minh và thực tế, bài toán Sáng tác thơ từ nội dung hình ảnh (Image-to-Poem Generation) nâng tầm xử lý lên mức độ trừu tượng cao hơn: kết hợp giữa nhận diện ngữ cảnh thị giác, liên tưởng nghệ thuật, cảm xúc và các quy chuẩn niêm luật thi ca khắt khe.

Vấn đề nghiên cứu và các điểm nghẽn kỹ thuật (Problem Statement)

Sáng tác thơ tự động từ hình ảnh đòi hỏi hệ thống phải chuyển đổi biểu diễn thị giác phi cấu trúc sang chuỗi văn bản nghệ thuật giàu nhạc tính. Tại Việt Nam, nghiên cứu về bài toán này đối mặt với các thách thức kỹ thuật cốt lõi:

  • Thiếu hụt tài nguyên dữ liệu song ngữ ảnh - thơ (Data Scarcity): Chưa từng có bộ dữ liệu chuẩn hóa ghép cặp hình ảnh và thơ tiếng Việt (Image-Poem Paired Dataset) được công bố công khai.
  • Tính đa nghĩa và đặc thù hình thái học tiếng Việt: Khác với tiếng Anh (ngôn ngữ biến tố - inflectional), tiếng Việt là ngôn ngữ đơn lập, không biến hình nhưng có hiện tượng nhập nhằng ranh giới từ do khoảng trắng (space) phân tách âm tiết thay vì phân tách từ ghép (ví dụ: "hàng rào" gồm 2 âm tiết nhưng tạo thành 1 đơn vị từ vựng). Tiếng Việt cũng sở hữu hệ thống từ đồng nghĩa, từ láy, ẩn dụ phong phú ("mặt trời" được ví như "hòn lửa").
  • Độ phức tạp trong ràng buộc luật thơ: Thơ ca Việt Nam (đặc biệt là thơ lục bát, thơ thất ngôn) yêu cầu nghiêm ngặt về thanh điệu (bằng - trắc), vần điệu (vần chân, vần lưng) và nhịp điệu.
  • Giới hạn của mô hình tuần tự truyền thống: Mạng nơ-ron hồi quy thông thường (Vanilla RNN/LSTM) khi tối ưu theo hàm lỗi Cross-Entropy dễ mắc hiện tượng Exposure Bias và sinh ra câu từ lặp lại, thiếu tính thẩm mỹ nghệ thuật.

Mục tiêu dự án

  1. Thu thập và tiền xử lý dữ liệu quy mô lớn: Xây dựng bộ dữ liệu thơ tiếng Việt (UIT-Poem-Dataset) và bộ dữ liệu gán nhãn cặp hình ảnh - thơ (UIT-I2P-Dataset).
  2. Xây dựng không gian nhúng đa phương thức (Visual-Poetic Embedding Space): Ánh xạ đặc trưng ảnh từ Deep CNN và biểu diễn ngữ nghĩa thơ từ PhoBERT/Skip-Thought về cùng một không gian véc-tơ đa chiều để đồng bộ ngữ nghĩa.
  3. Phát triển kiến trúc sinh thơ CNN-LSTM kết hợp GAN: Ứng dụng mạng sinh đối kháng (Generative Adversarial Network) kết hợp học tăng cường (Policy Gradient / REINFORCE) để tối ưu hóa quá trình sinh thơ tiếng Việt tự nhiên và bám sát nội dung ảnh.
  4. Triển khai ứng dụng thử nghiệm: Đóng gói mô hình thành dịch vụ web hoàn chỉnh phục vụ người dùng tương tác thực tế.

Phương pháp tiếp cận và kết quả kỳ vọng

Dự án áp dụng mô hình Encoder-Decoder tích hợp cơ chế huấn luyện đối kháng (Adversarial Training). Bộ trích xuất thị giác sử dụng mạng nơ-ron tích chập sâu (ResNet-50) để rút trích véc-tơ đặc trưng $2048$ chiều. Bộ sinh văn bản (Generator) sử dụng mạng Long Short-Term Memory (LSTM) đa tầng kết hợp tầng nhúng từ PhoBERT đã qua phân đoạn từ vựng bằng RDRsegmenter. Bộ phân biệt (Discriminator) gồm hai nhánh: Multi-Modal Discriminator (đánh giá tương quan ngữ nghĩa ảnh - thơ) và Poem-Style Discriminator (đánh giá cấu trúc, vần điệu thi ca).

Chỉ số kỳ vọng đo lường được:

  • Xây dựng thành công tập dữ liệu $\ge 2.500$ cặp ảnh - thơ chuẩn hóa.
  • Đạt điểm số đánh giá chuyên gia (Human Judgment) $\ge 3.8/5.0$ trên các tiêu chí: Độ liên quan hình ảnh, Tính thi vị, Cấu trúc vần điệu và Độ trôi chảy ngữ pháp.
  • Điểm đánh giá song ngữ BLEU-1 $\ge 0.28$, BLEU-2 $\ge 0.12$.

Phạm vi và giới hạn

  • Phạm vi dữ liệu: Tập trung vào các hình ảnh phong cảnh, thiên nhiên, đời sống sinh hoạt kết hợp với các thể thơ tự do và thơ lục bát tiếng Việt.
  • Giới hạn: Chưa hỗ trợ toàn diện các thể thơ cổ điển đòi hỏi nghiêm ngặt tuyệt đối về luật Bằng - Trắc (như Thất ngôn bát cú Đường luật) và các ảnh chân dung vi mô phức tạp.

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Tiêu chí Dịch vụ Thơ Máy (Tinh Vân) Mô hình từ khóa (Cheng et al., 2018 / Liu et al., 2020) Mô hình nhúng đa phương thức CNN-LSTM-GAN (Đề xuất)
Đầu vào Văn bản xuôi / Thể loại / Tác giả Ảnh đầu vào $\rightarrow$ Trích xuất từ khóa (Clarifai / AlexNet) Ảnh chụp tự nhiên (Full Visual Feature Vector)
Ngôn ngữ hỗ trợ Tiếng Việt Tiếng Trung Tiếng Việt
Độ phụ thuộc ngữ cảnh Thấp (hoán vị hoặc gieo từ định sẵn) Trung bình (phụ thuộc vào chất lượng tập từ khóa) Cao (học biểu diễn ngữ nghĩa không gian chung)
Cơ chế huấn luyện Rule-based & N-gram templates Sequence-to-Sequence (LSTM / GRU + Attention) CNN Feature Extraction + LSTM Generator + Dual GAN Discriminator
Chất lượng thơ sinh ra Đúng luật nhưng nội dung ngẫu nhiên Nội dung bám từ khóa, câu thiếu liên kết sâu Giàu liên tưởng, đúng chủ đề, ngữ điệu tự nhiên

Yêu cầu hệ thống theo mô hình MoSCoW

  • Must-have (Bắt buộc): Pipeline tiền xử lý văn bản tiếng Việt (RDRsegmenter); module trích xuất đặc trưng ảnh ResNet-50; bộ sinh LSTM tích hợp không gian nhúng chung; hệ thống phân loại đánh giá GAN.
  • Should-have (Cần có): Cơ chế sinh đa dạng bài thơ cho cùng một hình ảnh dựa trên biến ngẫu nhiên tiềm ẩn ($z \sim \mathcal{N}(0, I)$); giao diện web demo trực quan.
  • Could-have (Có thể có): Cơ chế tùy chọn phong cách thơ (lục bát, lãng mạn, hoài niệm).
  • Won't-have (Chưa thực hiện): Tự động sửa lỗi luật bằng trắc thời gian thực qua giao diện người dùng.

Thiết kế hệ thống

+-----------------------------------------------------------------------------------+
|                              KIẾN TRÚC TỔNG THỂ HỆ THỐNG                          |
+-----------------------------------------------------------------------------------+
                                                                                     
 [ Ảnh đầu vào ] ---> [ ResNet-50 Backbone ] ---> [ Visual Feature Vector v (2048d) ]
                                                               |                     
                                                               v                     
                                                [ Visual-Poetic Embedding Space ]    
                                                               |                     
                                                               v                     
 [ Nhiễu ngẫu nhiên z ] -----------------------> [ LSTM Generator (Agent) ]          
                                                               |                     
                                                               v                     
                                                   [ Bài thơ sinh ra (Y_gen) ]       
                                                               |                     
                                        +----------------------+--------------------+
                                        |                                           |
                                        v                                           v
                        [ Multi-Modal Discriminator ]              [ Poem-Style Discriminator ]
                                (Image vs Poem)                           (Poetic Quality)
                                        |                                           |
                                        +----------------------+--------------------+
                                                               |
                                                               v
                                                [ Reward Signal R (RL / Policy Gradient) ]
                                                               |
                                        (Cập nhật tham số Generator theta)

Ngăn xếp công nghệ (Technology Stack)

  • Ngôn ngữ lập trình: Python 3.8.10
  • Deep Learning Framework: PyTorch 1.7.1 + CUDA 11.0, Torchvision 0.8.2
  • Pretrained Models: ResNet-50 (ImageNet weights), PhoBERT-base (transformers v4.5.1), Skip-Thought Vietnamese
  • Xử lý ngôn ngữ tự nhiên: VnCoreNLP 1.1.1 (RDRsegmenter submodule)
  • Backend API: FastAPI 0.68.0, Uvicorn 0.15.0
  • Môi trường huấn luyện: Ubuntu 20.04 LTS, GPU NVIDIA GeForce RTX 2080 Ti 11GB VRAM, 32GB RAM DDR4

Phương pháp luận (Methodology)

Quy trình phát triển chia làm 4 giai đoạn chính (Milestones):

  1. Giai đoạn 1 (Tuần 1 - 4): Xây dựng crawler dữ liệu thơ thi viện, thiết kế công cụ gán nhãn bán tự động, làm sạch và xây dựng bộ dữ liệu UIT-I2P-Dataset ($2.622$ cặp).
  2. Giai đoạn 2 (Tuần 5 - 8): Tiền huấn luyện mô hình trích xuất đặc trưng ảnh và mạng nhúng không gian đa phương thức (Visual-Poetic Embedding) sử dụng hàm khoảng cách Triplet Ranking Loss.
  3. Giai đoạn 3 (Tuần 9 - 14): Xây dựng mạng sinh đối kháng LSTM-GAN, triển khai thuật toán Policy Gradient (REINFORCE) cập nhật trọng số cho chuỗi văn bản rời rạc.
  4. Giai đoạn 4 (Tuần 15 - 18): Thực nghiệm, đánh giá định lượng (BLEU, Loss), đánh giá chuyên gia (Human Judgment), tối ưu hóa pipeline và đóng gói ứng dụng.

Implementation và kết quả

Quá trình phát triển và thuật toán cốt lõi

1. Tiền xử lý văn bản tiếng Việt

Sử dụng RDRsegmenter để ghép các từ phức:

import py_vncorenlp

# Khởi tạo pipeline tách từ tiếng Việt
rdrsegmenter = py_vncorenlp.VnCoreNLP(annotators=["wseg"], save_dir="/opt/vncorenlp")

def preprocess_vietnamese_poem(raw_text: str) -> str:
    # Chuẩn hóa khoảng trắng và dấu câu
    text = raw_text.strip().lower()
    # Tách từ tiếng Việt: 'cánh đồng bát ngát' -> 'cánh_đồng bát_ngát'
    segmented_text = rdrsegmenter.word_segment(text)
    return " ".join(segmented_text)

2. Không gian nhúng đa phương thức (Visual-Poetic Embedding)

Mục tiêu là đưa véc-tơ ảnh $v$ và véc-tơ bài thơ $t$ vào không gian chung $d = 512$ chiều sao cho cặp ảnh - thơ tương ứng có độ tương đồng cosin cao hơn các cặp không khớp:

$$\mathcal{L}_{\text{triplet}}(v, t^+, t^-) = \max(0, \alpha - \cos(f_v(v), f_t(t^+)) + \cos(f_v(v), f_t(t^-)))$$

import torch
import torch.nn as nn
import torch.nn.functional as F

class VisualPoeticEmbedding(nn.Module):
    def __init__(self, visual_dim=2048, text_dim=768, embed_dim=512):
        super(VisualPoeticEmbedding, self).__init__()
        self.img_proj = nn.Sequential(
            nn.Linear(visual_dim, 1024),
            nn.BatchNorm1d(1024),
            nn.ReLU(),
            nn.Dropout(0.3),
            nn.Linear(1024, embed_dim)
        )
        self.txt_proj = nn.Sequential(
            nn.Linear(text_dim, 1024),
            nn.BatchNorm1d(1024),
            nn.ReLU(),
            nn.Dropout(0.3),
            nn.Linear(1024, embed_dim)
        )

    def forward(self, img_feat, txt_feat):
        v_emb = F.normalize(self.img_proj(img_feat), p=2, dim=-1)
        t_emb = F.normalize(self.txt_proj(txt_feat), p=2, dim=-1)
        return v_emb, t_emb

3. Bộ sinh LSTM kết hợp Policy Gradient trong SeqGAN

Do việc chọn từ trong tập từ vựng là phép lấy mẫu rời rạc (Discrete Sampling) không khả vi (non-differentiable), thuật toán Policy Gradient với hàm phần thưởng $R$ từ hai Discriminator được áp dụng:

class PoemGeneratorLSTM(nn.Module):
    def __init__(self, vocab_size, embed_dim=512, hidden_dim=512, num_layers=2):
        super(PoemGeneratorLSTM, self).__init__()
        self.hidden_dim = hidden_dim
        self.embedding = nn.Embedding(vocab_size, embed_dim)
        self.lstm = nn.LSTM(embed_dim + embed_dim, hidden_dim, num_layers, batch_first=True)
        self.fc_out = nn.Linear(hidden_dim, vocab_size)

    def forward(self, visual_context, target_seq):
        # visual_context: [batch_size, embed_dim]
        # target_seq: [batch_size, seq_len]
        word_embeds = self.embedding(target_seq)
        v_expanded = visual_context.unsqueeze(1).repeat(1, word_embeds.size(1), 1)
        lstm_in = torch.cat([word_embeds, v_expanded], dim=-1)
        lstm_out, _ = self.lstm(lstm_in)
        logits = self.fc_out(lstm_out)
        return logits

Thử nghiệm và đánh giá

Dữ liệu thực nghiệm

  • UIT-Poem-Dataset: $12.450$ bài thơ tiếng Việt nhiều thể loại.
  • UIT-I2P-Dataset: $2.622$ cặp ảnh và bài thơ tương ứng, phân chia $80%$ Train ($2.097$ cặp), $10%$ Validation ($262$ cặp), $10%$ Test ($263$ cặp).

Kết quả định lượng (Quantitative Benchmarks)

Phương pháp / Mô hình BLEU-1 BLEU-2 BLEU-3 Perplexity (PPL)
Show and Tell (CNN + Vanilla LSTM) 0.214 0.082 0.031 48.6
Show, Attend and Tell (CNN + Attention LSTM) 0.248 0.105 0.046 41.2
Đề xuất: ResNet50 + Embedding + LSTM-GAN 0.294 0.138 0.062 32.5

Đánh giá bởi con người (Human Judgment Evaluation)

Khảo sát mù (Blind test) trên $50$ ảnh mẫu với 5 giám khảo có chuyên môn văn học, thang điểm từ 1.0 (Kém) đến 5.0 (Xuất sắc):

Tiêu chí đánh giá Điểm trung bình Độ lệch chuẩn ($\sigma$)
Độ tương quan ngữ cảnh ảnh (Relevance) 4.12 / 5.0 $\pm 0.42$
Tính thi vị & Nghệ thuật (Poetic Quality) 3.85 / 5.0 $\pm 0.51$
Cấu trúc & Vần điệu (Rhyme & Rhythm) 3.78 / 5.0 $\pm 0.48$
Độ trôi chảy ngôn ngữ (Fluency) 4.26 / 5.0 $\pm 0.35$

Đổi mới và đóng góp

  1. Bộ dữ liệu chuẩn hóa đầu tiên cho tiếng Việt (UIT-I2P-Dataset): Đóng góp bộ dữ liệu $2.622$ cặp ảnh - thơ gán nhãn tỉ mỉ, làm tiền đề mở đường cho cộng đồng nghiên cứu AI Đa phương thức tại Việt Nam.
  2. Không gian biểu diễn liên kết Visual-Poetic chuyên sâu: Thiết kế mạng ánh xạ ngữ nghĩa giữa ảnh tự nhiên và thơ ca tiếng Việt, giảm thiểu khoảng cách biểu diễn (Semantic Gap) giữa thị giác và biểu cảm văn học.
  3. Cơ chế đối kháng kép (Dual Discriminator Architecture):
    • Multi-modal Discriminator: Đảm bảo bài thơ sinh ra không đi chệch khỏi chủ thể bức ảnh.
    • Poem-style Discriminator: Phân biệt thơ do máy sinh với thơ của thi sĩ, ép mạng Generator học các quy luật ngắt nhịp và gieo vần tiếng Việt tự nhiên.
  4. Cải thiện độ chính xác và tính thẩm mỹ: Tăng $37.3%$ chỉ số BLEU-1 và giảm $33.1%$ chỉ số Perplexity so với baseline Show-and-Tell truyền thống.

Ứng dụng thực tế và triển khai

Kịch bản ứng dụng (Use Cases)

  • Mạng xã hội và Trải nghiệm người dùng: Tự động tạo caption nghệ thuật, thơ lục bát đính kèm ảnh check-in danh lam thắng cảnh, gia tăng tương tác người dùng.
  • Giáo dục và Văn hóa nghệ thuật: Công cụ gợi ý sáng tác văn học, khơi dậy niềm đam mê thi ca dân tộc cho học sinh tiểu học và trung học cơ sở thông qua hình ảnh trực quan.
  • Quảng bá du lịch thông minh: Tự động sản xuất nội dung giới thiệu thắng cảnh Việt Nam dưới hình thức thơ ca giàu cảm xúc trên các nền tảng số.
+-----------------------------------------------------------------------------------+
|                           QUY TRÌNH DEPLOY HỆ THỐNG                               |
+-----------------------------------------------------------------------------------+

 [ Client (Web/Mobile App) ] 
            |
            v  (POST /api/v1/generate-poem + Image File)
 [ NGINX Reverse Proxy ] 
            |
            v  (Internal Port 8000)
 [ FastAPI Container (Uvicorn ASGI) ]
            |
            +---> [ ResNet-50 Feature Worker (CUDA Stream 1) ]
            |                  |
            |                  v  (Embedding Tensor 512d)
            +---> [ LSTM-GAN Generator Worker (CUDA Stream 2) ]
                               |
                               v  (Sampling & Post-processing)
            [ Response JSON: { "poem": "...", "inference_time_ms": 320 } ]

Phân tích hiệu quả kinh tế và mở rộng (Scalability & ROI)

  • Tốc độ xử lý: Độ trễ trung bình $320\text{ms} / \text{bài thơ}$ trên 1 GPU RTX 2080 Ti (throughput đạt $\sim 180 \text{ requests/phút}$).
  • Khả năng mở rộng: Kiến trúc stateless của API cho phép scale-out theo mô hình Kubernetes Pods tự động dựa trên tải lượng CPU/GPU.
  • Hiệu quả chi phí: Triển khai trên hạ tầng Cloud (AWS EC2 g4dn.xlarge với 1 GPU NVIDIA T4) ước tính chi phí $\sim $380/\text{tháng}$, đáp ứng phục vụ hơn $1.5$ triệu lượt tạo thơ/tháng.

Hạn chế và hướng phát triển

Hạn chế kỹ thuật hiện tại

  • Kích thước tập dữ liệu $2.622$ cặp ảnh - thơ còn khiêm tốn so với các bộ dữ liệu tiếng Anh ($>80.000$ mẫu), dẫn đến hiện tượng đôi khi lặp từ trong các khung cảnh phức tạp.
  • Chưa có module hard-constraint (ràng buộc cứng) kiểm tra dấu thanh Bằng - Trắc của luật thơ truyền thống.

Hướng nâng cấp tương lai

  • Ứng dụng mô hình Vision-Language nền tảng (Foundation Models): Tích hợp kiến trúc Transformer hiện đại như CLIP / ViT kết hợp GPT / LLaMA tinh chỉnh cho tiếng Việt (Vietnamese LLM Fine-tuning).
  • Mở rộng dữ liệu bán giám sát (Semi-supervised / Self-supervised Learning): Sử dụng các mô hình Image Captioning tạo chú thích thô, sau đó dùng mô hình dịch phong cách (Style Transfer) chuyển đổi tự động sang thơ để mở rộng dataset lên $>50.000$ mẫu.

Đối tượng hưởng lợi

  • Sinh viên & Học viên cao học: Tiếp cận mã nguồn mẫu chuẩn mực, hiểu sâu kỹ thuật kết hợp Vision-Language, GAN và Reinforcement Learning.
  • Kỹ sư AI & NLP Developers: Tham khảo kiến trúc giải quyết bài toán sinh chuỗi rời rạc với Policy Gradient trên dữ liệu tiếng Việt.
  • Doanh nghiệp EdTech & Truyền thông số: Ứng dụng trực tiếp pipeline tạo nội dung sáng tạo tự động (Generative AI) vào sản phẩm thương mại.
  • Nhà nghiên cứu ngôn ngữ học máy tính: Khai thác bộ dữ liệu UIT-I2P-Dataset để phát triển các thước đo đánh giá chất lượng văn học tự động.

Câu hỏi thường gặp

1. Cấu hình phần cứng tối thiểu để triển khai mô hình (System Requirements)?

  • Môi trường suy diễn (Inference): CPU 4 Cores, 8GB RAM, GPU NVIDIA với tối thiểu 4GB VRAM (hỗ trợ CUDA compute capability $\ge 6.0$). Có thể chạy trên CPU với thời gian phản hồi $\sim 1.2\text{s} - 1.8\text{s}$.
  • Môi trường huấn luyện (Training): GPU $\ge 11\text{GB}$ VRAM (RTX 2080 Ti, RTX 3090 hoặc Tesla T4/V100) để đảm bảo batch size $\ge 64$.

2. Mô hình giải quyết bài toán sinh văn bản rời rạc trong GAN như thế nào?

Do hàm lấy mẫu $\text{argmax}$ hoặc categorical sampling không có đạo hàm, mô hình áp dụng kỹ thuật Policy Gradient (REINFORCE algorithm). Mạng Generator được xem như một Agent, các từ sinh ra là Action, và điểm đánh giá từ Discriminator đóng vai trò là Reward để cập nhật trọng số $\theta$ qua công thức:

$$\nabla_\theta J(\theta) = \mathbb{E} \left[ \sum_{t=1}^T \nabla_\theta \log G_\theta(y_t | Y_{1:t-1}, v) \cdot Q_{D}^{G_\theta}(Y_{1:t-1}, y_t, v) \right]$$

3. Có thể tích hợp mô hình vào hệ sinh thái ứng dụng có sẵn không?

Hệ thống được đóng gói dạng Docker container độc lập, cung cấp chuẩn giao tiếp RESTful API / gRPC. Phía client (iOS, Android, React/Vue Web) chỉ cần gửi file ảnh qua giao thức HTTP POST đa phần (multipart/form-data) và nhận kết quả chuỗi bài thơ định dạng JSON.

4. Chi phí vận hành và bảo trì hệ thống ước tính là bao nhiêu?

Chi phí hosting trên server GPU chuyên dụng (như Vultr / Lambda Labs / AWS Spot Instance) dao động từ $$0.20 - $0.50/\text{giờ}$. Với hệ thống cache thông minh (Redis) lưu trữ kết quả của các ảnh trùng lặp hoặc tương đồng cao, chi phí tính toán GPU có thể giảm tới $40%$.

5. Làm sao để đánh giá khách quan bài thơ sinh ra khi không có độ đo duy nhất?

Nghiên cứu kết hợp hai phương pháp:

  1. Định lượng tự động: BLEU (đo lường độ trùng lặp n-gram với bài thơ ground-truth) và Perplexity (độ trôi chảy ngôn ngữ).
  2. Định tính chuyên gia (Human Evaluation): Hội đồng giám khảo chấm điểm theo thang rubric chuẩn hóa gồm 4 tiêu chí cốt lõi đã nêu trong phần thực nghiệm.

Kết luận

Đồ án "Mô hình sáng tác thơ dựa trên nội dung hình ảnh sử dụng mạng tạo sinh đối kháng" đã nghiên cứu toàn diện và giải quyết hiệu quả bài toán giao thoa đa phương thức đầy thách thức giữa Thị giác máy tính và Xử lý ngôn ngữ tự nhiên cho tiếng Việt. Với việc đề xuất bộ dữ liệu tiên phong UIT-I2P-Dataset, kết hợp trích xuất đặc trưng ResNet-50, không gian nhúng thị giác - thi ca và mạng sinh đối kháng LSTM-GAN, công trình đã chứng minh máy tính hoàn toàn có khả năng cảm thụ ngữ cảnh hình ảnh để tạo nên những vần thơ tiếng Việt giàu cảm xúc, đúng nhịp điệu và bám sát thực tế. Đây là bước đệm quan trọng thúc đẩy các nghiên cứu Generative AI nghệ thuật bản địa hóa trong tương lai.