Khóa Luận Tốt Nghiệp: Sinh Thơ Từ Ảnh Sử Dụng Mô Hình Ngôn Ngữ và Đặc Trưng Thị Giác

Luận văn tốt nghiệp nghiên cứu tốt nghiệp khoa học máy tính tạo sinh thơ từ ảnh sử dụng mô hình ngôn ngữ và đặc trưng thị giác, điều tra thực trạng, phân tích số liệu, đề xuất

• Tác giả: Nguyen Minh Chau
• Người hướng dẫn: TS. Nguyen Vinh Tiep
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Cử nhân ngành Khoa học máy tính
• Đề tài: Sinh Thơ Từ Ảnh: Ứng Dụng Mô Hình Ngôn Ngữ và Đặc Trưng Thị Giác
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2022
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: GIỚI THIỆU
• 1.1. Đặt vấn đề
• 1.2. Bài toán sinh thơ từ ảnh
• 1.2.1. Giới thiệu bài toán
• 1.2.2. Cơ sở lý thuyết thơ lục bát
• 1.2.3. Thách thức
• 1.2.4. Đóng góp của đề tài
• 1.3. Cấu trúc khóa luận
• 2. CHƯƠNG 2: CÁC PHƯƠNG PHÁP LIÊN QUAN CHO BÀI TOÁN SINH THƠ TỪ ẢNH
• 2.1. Mô hình một giai đoạn
• 2.2. Mô hình hai giai đoạn
• 3. CHƯƠNG 3: FRAMEWORK DUAL-TRANSFORMER
• 4. CHƯƠNG 4: BỘ DỮ LIỆU UIT-VISUAL68POEM
• 4.1. Tổng quan dữ liệu
• 4.2. Dữ liệu cho bài toán từ khóa sinh thơ
• 5. CHƯƠNG 5: THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 5.1. Cài đặt thực nghiệm
• 5.1.1. Tổng quan quy trình huấn luyện
• 5.1.2. Thiết lập thực nghiệm
• 5.2. Số liệu đánh giá
• 5.2.1. Đánh giá tự động
• 5.2.2. Đánh giá bởi con người
• 5.3. Kết quả thực nghiệm
• 5.4. So sánh các mô hình cho bài toán từ khóa sinh thơ
• 6. CHƯƠNG 6: KẾT LUẬN
• 6.1. Những kết quả đã đạt được
• 6.2. Một số hướng phát triển của đề tài
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu về Sinh Thơ Từ Ảnh Khám Phá Mô Hình Ngôn Ngữ

Sinh thơ từ ảnh là một lĩnh vực nghiên cứu mới mẻ, kết hợp giữa mô hình ngôn ngữ và đặc trưng thị giác. Mục tiêu chính là tạo ra những bài thơ có nội dung liên quan đến hình ảnh đầu vào. Việc này không chỉ giúp bảo tồn văn hóa thơ ca mà còn mở ra những cơ hội mới trong việc ứng dụng công nghệ AI vào nghệ thuật. Nghiên cứu này sẽ tập trung vào thơ lục bát, một thể loại thơ truyền thống của Việt Nam.

1.1. Tổng quan về Sinh Thơ Từ Ảnh

Sinh thơ từ ảnh không chỉ đơn thuần là việc chuyển đổi hình ảnh thành văn bản. Nó còn bao gồm việc hiểu và phân tích nội dung hình ảnh để tạo ra những bài thơ có ý nghĩa. Các mô hình hiện nay đang được phát triển để cải thiện khả năng này.

1.2. Tầm quan trọng của Mô Hình Ngôn Ngữ trong Sinh Thơ

Mô hình ngôn ngữ đóng vai trò quan trọng trong việc tạo ra nội dung thơ ca. Chúng giúp máy tính hiểu được ngữ nghĩa và cấu trúc của ngôn ngữ, từ đó sinh ra những bài thơ có tính nghệ thuật cao.

II. Vấn Đề và Thách Thức Trong Sinh Thơ Từ Ảnh

Mặc dù có nhiều tiến bộ trong lĩnh vực này, nhưng vẫn còn nhiều thách thức cần phải vượt qua. Việc đảm bảo rằng thơ sinh ra không chỉ đúng luật mà còn có ý nghĩa là một bài toán khó. Các vấn đề như thiếu dữ liệu và sự phức tạp trong việc hiểu ngữ nghĩa của hình ảnh là những thách thức lớn.

2.1. Thách Thức Về Dữ Liệu

Một trong những thách thức lớn nhất là thiếu bộ dữ liệu chất lượng cho việc sinh thơ từ ảnh. Việc xây dựng bộ dữ liệu này đòi hỏi nhiều thời gian và công sức, đặc biệt là với thể loại thơ lục bát.

2.2. Khó Khăn Trong Việc Đảm Bảo Ý Nghĩa

Đảm bảo rằng bài thơ sinh ra có ý nghĩa và tuân thủ các quy tắc thơ là một thách thức lớn. Nhiều mô hình hiện tại vẫn chưa đạt được độ chính xác cao trong việc này.

III. Phương Pháp Chính Trong Sinh Thơ Từ Ảnh

Để giải quyết các thách thức trên, nhiều phương pháp đã được đề xuất. Các mô hình một giai đoạn và hai giai đoạn là hai hướng tiếp cận chính trong nghiên cứu này. Mỗi phương pháp đều có những ưu điểm và nhược điểm riêng.

3.1. Mô Hình Một Giai Đoạn

Mô hình một giai đoạn thường sử dụng mạng nơ-ron để rút trích đặc trưng từ ảnh và sinh thơ trực tiếp. Phương pháp này đơn giản nhưng có thể gặp khó khăn trong việc đảm bảo tính chính xác của thơ.

3.2. Mô Hình Hai Giai Đoạn

Mô hình hai giai đoạn tách quá trình thành hai bước: rút trích đặc trưng và sinh văn bản. Phương pháp này giúp cải thiện độ chính xác và tính nghệ thuật của bài thơ sinh ra.

IV. Ứng Dụng Thực Tiễn và Kết Quả Nghiên Cứu

Nghiên cứu về sinh thơ từ ảnh đã cho thấy nhiều kết quả khả quan. Các mô hình đã được thử nghiệm và so sánh, cho thấy sự tiến bộ trong việc tạo ra thơ lục bát từ hình ảnh. Những ứng dụng này không chỉ có giá trị trong nghiên cứu mà còn trong giáo dục và nghệ thuật.

4.1. Kết Quả Thực Nghiệm

Các thực nghiệm cho thấy rằng mô hình hai giai đoạn cho kết quả tốt hơn trong việc sinh thơ lục bát. Những bài thơ sinh ra có tính nghệ thuật cao và liên quan chặt chẽ đến hình ảnh đầu vào.

4.2. Ứng Dụng Trong Giáo Dục

Việc ứng dụng sinh thơ từ ảnh trong giáo dục có thể giúp trẻ em phát triển tư duy sáng tạo và khả năng ngôn ngữ. Điều này mở ra cơ hội mới trong việc giảng dạy thơ ca cho thế hệ trẻ.

V. Kết Luận và Tương Lai Của Sinh Thơ Từ Ảnh

Sinh thơ từ ảnh là một lĩnh vực đầy tiềm năng và thách thức. Nghiên cứu hiện tại đã đạt được nhiều kết quả khả quan, nhưng vẫn cần tiếp tục phát triển để cải thiện độ chính xác và tính nghệ thuật của thơ. Tương lai của lĩnh vực này hứa hẹn sẽ mang lại nhiều điều thú vị.

5.1. Những Kết Quả Đạt Được

Nghiên cứu đã chỉ ra rằng việc kết hợp giữa mô hình ngôn ngữ và đặc trưng thị giác có thể tạo ra những bài thơ có giá trị nghệ thuật cao. Điều này mở ra hướng đi mới cho nghiên cứu trong tương lai.

5.2. Hướng Phát Triển Tương Lai

Trong tương lai, cần phát triển thêm các mô hình và bộ dữ liệu để cải thiện khả năng sinh thơ từ ảnh. Việc này không chỉ giúp nâng cao chất lượng thơ mà còn mở rộng ứng dụng trong nhiều lĩnh vực khác nhau.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Đề tài khóa luận tốt nghiệp "Tạo sinh thơ từ ảnh sử dụng mô hình ngôn ngữ và đặc trưng thị giác" (tên tiếng Anh: Poem Generation from Image Using Language Model and Visual Features) do sinh viên Nguyễn Minh Châu (MSSV: 18520519), ngành Khoa học Máy tính, Trường Đại học Công nghệ Thông tin – ĐHQG TP.HCM thực hiện dưới sự hướng dẫn của TS. Nguyễn Vinh Tiệp và ThS. Đặng Văn Thìn (năm 2022). Nghiên cứu được triển khai tại Phòng thí nghiệm Truyền thông Đa phương tiện (MMLAB).

Về bối cảnh thực tiễn, thơ ca là một di sản văn hóa phi vật thể lâu đời của Việt Nam, trong đó thể thơ lục bát giữ vị trí phổ biến và đặc trưng trong đời sống tinh thần. Việc ứng dụng công nghệ để bảo tồn và phát huy giá trị di sản văn hóa, cụ thể là xây dựng các hệ thống trí tuệ nhân tạo có khả năng quan sát ngoại cảnh và sáng tác thơ tương tự con người, đã thu hút sự chú ý của cộng đồng nghiên cứu xử lý đa phương tiện. Ngoài giá trị văn hóa, kết quả của bài toán còn hướng đến ứng dụng trong giáo dục, hỗ trợ trẻ em làm quen với thơ văn, kích thích trí tò mò, mở rộng vốn từ vựng và năng lực sáng tạo thông qua hình ảnh trực quan.

Tuy nhiên, bài toán tạo sinh thơ từ ảnh đặt ra nhiều rào cản kỹ thuật phức tạp do nằm ở giao điểm giữa thị giác máy tính (Computer Vision) và xử lý ngôn ngữ tự nhiên (Natural Language Processing). Tác giả đã xác định 4 thách thức cốt lõi:

1. Nguồn lực nghiên cứu dành cho bài toán kết hợp đa phương tiện (thị giác và ngôn ngữ) còn rất khan hiếm.
2. Dữ liệu ghép cặp giữa ảnh phong cảnh và thơ lục bát tiếng Việt gần như chưa có sẵn; việc xây dựng dữ liệu thủ công đòi hỏi chuyên môn văn học, tốn nhiều nhân lực, thời gian và dễ bị chi phối bởi cảm tính chủ quan của người gán nhãn.
3. Rào cản mô hình ngôn ngữ: Các nghiên cứu tạo sinh thơ trên thế giới chủ yếu tập trung vào tiếng Anh hoặc tiếng Trung Quốc với các bộ luật thi luật riêng biệt, không thể áp dụng trực tiếp cho đặc thù thanh điệu, hiệp vần và luật bằng trắc của thơ lục bát Việt Nam.
4. Đánh giá chất lượng thơ: Việc thẩm định giá trị nghệ thuật của một bài thơ phụ thuộc lớn vào cảm xúc của từng cá nhân, khiến các độ đo tự động truyền thống khó phản ánh đầy đủ chất lượng văn bản được sinh ra.

Mục tiêu của đề tài là xây dựng một hệ thống hoàn chỉnh có đầu vào là ảnh phong cảnh và đầu ra là một bài thơ lục bát tiếng Việt gồm 4 câu (hai cặp lục bát), đảm bảo hai yêu cầu: bài thơ mang nội dung phản ánh đúng các thực thể/đối tượng xuất hiện trong ảnh và tuân thủ chặt chẽ các quy tắc hình thức của thể thơ lục bát.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Các mô hình trích xuất đặc trưng thị giác, mô hình phân loại đa nhãn, mô hình ngôn ngữ tạo sinh dựa trên kiến trúc Transformer; thi luật thơ lục bát tiếng Việt.
• Phạm vi dữ liệu: Ảnh phong cảnh tự nhiên tại Việt Nam và kho dữ liệu thơ lục bát tiếng Việt (được chuẩn hóa thành các đoạn 4 câu).

---

Cơ sở lý thuyết và phương pháp

Cơ sở lý thuyết về thể thơ lục bát

Hệ thống xử lý dựa trên cấu trúc âm tiết tiếng Việt, bao gồm âm đầu và vần (vần gồm âm đệm, âm chính và âm cuối). Các quy luật bắt buộc của thể thơ lục bát được văn bản hệ thống hóa gồm:

• Nhịp: Nhịp chẵn 2/2/2 dựa trên các tiếng có thanh không đổi (tiếng 2, 4, 6) để tạo sự nhịp nhàng giữa các cặp câu.
• Hài thanh (luật Bằng - Trắc): Các âm chính mang thanh ngang và thanh huyền thuộc thanh Bằng (B); các âm chính mang dấu sắc, hỏi, ngã, nặng thuộc thanh Trắc (T). Trong câu lục (6 tiếng), các tiếng 2 - 4 - 6 đối xứng luân phiên theo cấu trúc B - T - B. Trong câu bát (8 tiếng), các tiếng 2 - 4 - 6 - 8 tuân thủ cấu trúc B - T - B - B.
• Hiệp vần: Tiếng thứ 6 của câu lục vần với tiếng thứ 6 của câu bát liền sau; tiếng thứ 8 của câu bát vần với tiếng thứ 6 của câu lục tiếp theo. Hai từ được coi là vần khi có cùng âm vần và thuộc cùng một nhóm thanh điệu.

Khung lý thuyết và mô hình học sâu

Khóa luận vận dụng các kiến trúc mạng nơ-rôn tiên tiến thuộc họ Transformer:

• Kiến trúc Transformer tổng quát: Dựa trên cơ chế chú ý tự thân (Self-Attention) với công thức Scaled Dot-Product Attention thông qua 3 ma trận $Query$ ($Q$), $Key$ ($K$) và $Value$ ($V$). Cơ chế Multi-Head Attention mở rộng khả năng chiếu biểu diễn qua nhiều không gian không đồng nhất.
• Mô hình Query2Label: Kiến trúc giải quyết bài toán phân loại đa nhãn (Multi-label Classification). Mô hình thay thế chuỗi đầu vào bằng các đặc trưng thị giác trích xuất từ mạng xương sống (backbone) ResNet-101, đồng thời sử dụng các lớp nhãn (nhúng nhãn học được - learnable label embeddings) làm query trong cơ chế chú ý chéo (Cross-Attention) để dò tìm vùng ảnh tương ứng.
• Mô hình giải mã ngôn ngữ GPT-2 (Generative Pre-training 2): Mô hình ngôn ngữ chỉ sử dụng bộ giải mã (Decoder-only Transformer) kết hợp cơ chế chú ý bị che (Masked Multi-Head Attention) và mạng truyền thẳng (Feed-Forward Neural Network).

Phương pháp nghiên cứu

Khóa luận lựa chọn tiếp cận bài toán theo phương pháp hai giai đoạn (two-stage approach) thay vì mô hình một giai đoạn (như mô hình sinh chú thích ảnh kết hợp học tăng cường Policy Gradient):

• Giai đoạn 1: Dự đoán từ khóa thực thể từ ảnh đầu vào (Image-to-Keywords).
• Giai đoạn 2: Tạo sinh bài thơ lục bát hoàn chỉnh từ danh sách từ khóa dự đoán (Keywords-to-Poem).

---

Thiết kế và triển khai hệ thống Dual-Transformer

Hệ thống được thiết kế theo framework mang tên Dual-Transformer, tích hợp hai mô hình con chạy nối tiếp nhau:

[Ảnh phong cảnh đầu vào] 
[Mô hình Query2Label (Backbone ResNet-101)] 
[Từ khóa: ví dụ "sóng", "biển", "bờ"] 
[Mô hình ngôn ngữ GPT-2 tinh chỉnh] 
[Bài thơ lục bát 4 câu đúng luật và ngữ nghĩa]

1. Phân hệ rút trích từ khóa (Query2Label)

• Mạng xương sống: ResNet-101 trích xuất bản đồ đặc trưng thị giác từ ảnh phong cảnh.
• Cơ chế phân loại: Các nhãn đối tượng được biểu diễn dưới dạng các véc-tơ nhúng học được. Bộ giải mã Transformer thông qua Cross-Attention tính toán mối tương quan giữa từng nhãn và vùng đặc trưng ảnh.
• Thiết lập huấn luyện: Huấn luyện từ đầu (from scratch) trên tập nhãn gồm 76 lớp thực thể phong cảnh; batch size bằng 1; số lượng 50 epoch; thuật toán tối ưu AdamW (learning rate = 1e-4, $\beta_1 = 0.9$, $\beta_2 = 0.999$, $\epsilon = 1\text{e-}8$, weight decay = 1e-2). Hàm mất mát sử dụng Cross-Entropy/Negative Log-Likelihood.

2. Phân hệ sinh thơ từ từ khóa (GPT-2 Finetuning)

• Trọng số khởi tạo: Sử dụng mô hình GPT-2 huấn luyện sẵn từ cộng đồng Hugging Face (imthanhlv/gpt2news). Trọng số này đã được tiền huấn luyện trên bộ dữ liệu Binhvq News Corpus bao gồm 14.896.998 bài báo tiếng Việt trực tuyến.
• Mã hóa và tiền xử lý: Sử dụng Byte-Level BPE Tokenizer (sau khi đã chuẩn hóa câu bằng Punkt Sentence Tokenizer và chuẩn Unicode NFC), hàm kích hoạt phi tuyến GELU.
• Định dạng dữ liệu đầu vào: Ghép nối chuỗi theo cấu trúc: Từ_khóa_1 Từ_khóa_2 ... <SEP> Câu_thơ_1 \n Câu_thơ_2 \n Câu_thơ_3 \n Câu_thơ_4.
• Thiết lập huấn luyện: Finetuning trong 800.000 bước (tương đương 15 epoch); batch size bằng 4; thuật toán tối ưu AdamW (learning rate = 5e-5, $\beta_1 = 0.9$, $\beta_2 = 0.999$, $\epsilon = 1\text{e-}8$); áp dụng cơ chế cắt tỉa đạo hàm (gradient clipping) với max_grad_norm = 1.

Toàn bộ quy trình huấn luyện và thực nghiệm của cả hai mô hình được triển khai trên phần cứng GPU NVIDIA GeForce RTX 2080.

---

Nội dung chính theo từng chương

Chương 1: Giới thiệu

Chương 1 thiết lập bài toán tổng quan, trình bày vai trò của thơ ca và thơ lục bát trong đời sống văn hóa Việt Nam. Tác giả phân tích tiềm năng ứng dụng của mô hình trong công nghệ giáo dục nhằm khơi gợi tư duy ngôn ngữ cho trẻ em. Chương này đưa ra định nghĩa bài toán: nhận diện ảnh phong cảnh và sinh ra bài thơ lục bát liên quan. Tiếp đó, tác giả phân tích chi tiết cơ sở lý thuyết thể thơ lục bát (kết cấu âm tiết, ngắt nhịp, luật hài thanh Bằng - Trắc, quy tắc hiệp vần), chỉ ra 4 thách thức kỹ thuật cốt lõi và tóm lược 3 đóng góp chính của đề tài.

Chương 2: Các phương pháp liên quan cho bài toán sinh thơ từ ảnh

Tác giả khảo sát các hướng tiếp cận hiện hữu trên thế giới:

• Mô hình một giai đoạn: Phân tích mô hình của Bei Liu và cộng sự, sử dụng CNN kết hợp RNN và huấn luyện đối kháng qua Policy Gradient. Tác giả chỉ ra nhược điểm: mô hình một giai đoạn đòi hỏi dữ liệu huấn luyện cực lớn, nếu dữ liệu ít sẽ sinh ra các đối tượng sai lệch và không tuân thủ được luật thơ.
• Mô hình hai giai đoạn: Khảo sát các kỹ thuật trích xuất đối tượng nổi bật, phương pháp mở rộng từ khóa bằng cách truy vấn kho thơ của con người, và kết hợp thông tin trừu tượng (thời tiết, mùa vụ).
• Rút trích đặc trưng ảnh: So sánh hướng tiếp cận phát hiện đối tượng (Object Detection - như DETR, Swin Transformer đòi hỏi nhãn bounding box phức tạp) với bài toán phân loại đa nhãn (Multi-label Classification). Tác giả chọn phân loại đa nhãn vì không cần bounding box và phù hợp với tập dữ liệu tự xây dựng quy mô vừa phải.
• Mô hình tạo sinh văn bản: Phân tích sự chuyển dịch từ cấu trúc Encoder-Decoder truyền thống sang cấu trúc Decoder-only (Transformer LM / GPT-2) trong các bài toán tóm tắt văn bản và sinh âm nhạc (Music Transformer), chứng minh mô hình Decoder-only tận dụng trọng số tiền huấn luyện tốt hơn khi tinh chỉnh trên tập dữ liệu hạn chế (chỉ cần 1% dữ liệu đã cho ROUGE-2 vượt trội).

Chương 3: Framework Dual-Transformer

Chương 3 trình bày chi tiết kiến trúc giải pháp đề xuất. Tác giả mô tả chi tiết toán học của các khối trong Transformer: Self-Attention, Scaled Dot-Product, Multi-Head Attention, cơ chế Masked Self-Attention (chỉ cho phép từ hiện tại quan sát các từ phía trước trong chuỗi). Chương này đi sâu vào cơ chế Cross-Attention của mô hình Query2Label (nhúng nhãn đóng vai trò Query để truy vấn bản đồ đặc trưng thị giác) và cơ chế sinh tự hồi quy của GPT-2 từ danh sách từ khóa phân cách qua token <SEP>.

Chương 4: Bộ dữ liệu UIT-Visual68Poem

Chương 4 mô tả quy trình xây dựng bộ dữ liệu thực nghiệm UIT-Visual68Poem gồm hai phân hệ dữ liệu:

1. Dữ liệu cho bài toán từ khóa sinh thơ: Khai thác từ tập dữ liệu 171.188 bài thơ tiếng Việt do FPT Group thu thập (từ Facebook, Vườn Thơ, Tkaraoke, Lucbat.com). Tác giả lọc ra 87.609 bài thơ lục bát chuẩn, cắt thành từng đoạn 4 câu. Để gán từ khóa tự động, tác giả kết hợp POSTagger của công cụ VnCoreNLP (lấy danh từ) với thuật toán RAKE (chọn lọc từ có độ quan trọng cao), sau đó tăng cường dữ liệu bằng cách lấy ngẫu nhiên các tập con từ khóa để mô hình học cách liên kết linh hoạt.
2. Dữ liệu cho bài toán ảnh sinh từ khóa: Xây dựng dựa trên UIT-Poem-Dataset (2.592 cặp ảnh - thơ, ảnh từ Google Images, thơ từ thivien và lucbatmoingay.com, tách từ bằng RDRsegmenter). Dữ liệu được sinh viên Khoa Khoa học Máy tính UIT đánh giá chất lượng ghép cặp theo thang điểm 1 đến 4 sao, đạt điểm trung bình 2.48/4 sao (mức liên quan tốt về đối tượng hoặc cảnh vật). Tác giả lọc bỏ các từ khóa xuất hiện dưới 200 lần, thu được 76 lớp thực thể phong cảnh phổ biến.

Bộ dữ liệu con	Tập huấn luyện (Train)	Tập kiểm định (Validation)	Tập kiểm tra (Test)	Tổng cộng
Ảnh sinh từ khóa	295.682	32.854	1.000	329.536
Từ khóa sinh thơ	10.100	1.123	1.123	12.346

Chương 5: Thực nghiệm và đánh giá

Chương này công bố cấu hình thực nghiệm trên card đồ họa NVIDIA RTX 2080. Đánh giá chất lượng thơ được tiến hành qua hai phương thức:

• Đánh giá tự động: Sử dụng bộ công cụ đánh giá thơ của FPT AI (fsoft-ailab/Poem-Generator), tính toán độ lỗi chiều dài câu theo công thức: $$\text{Total_len_error} = |6 - \text{six_line}| + |8 - \text{eight_line}|$$ đồng thời kiểm tra tỷ lệ vi phạm quy tắc bằng trắc và hiệp vần.
• Đánh giá định tính từ người dùng: Khảo sát trên 7 cặp ảnh - thơ, chấm điểm cảm nhận cá nhân và mức độ liên quan giữa ảnh và nội dung thơ sinh ra.
• So sánh mô hình: Tác giả tiến hành so sánh mô hình sinh thơ GPT-2 với mT5 (Bảng 5.6 trong khóa luận), và so sánh framework Dual-Transformer với mô hình I2P-GAN (Bảng 5.7 trong khóa luận). Kết quả chứng minh Dual-Transformer kiểm soát cấu trúc câu và nội dung liên quan tốt hơn.

Chương 6: Kết luận

Tổng kết các kết quả đạt được: hoàn thành khung mô hình Dual-Transformer, công bố bộ dữ liệu UIT-Visual68Poem, chứng minh tính khả thi của việc kết hợp mô hình thị giác và ngôn ngữ cho thể thơ truyền thống Việt Nam. Đồng thời, chương này chỉ ra các hướng nghiên cứu mở rộng trong tương lai.

---

Kết quả và đóng góp

1. Số lượng và tần suất từ khóa được trích xuất

Quá trình kết hợp giữa VnCoreNLP POSTagger và thuật toán RAKE đã giúp loại bỏ các đại từ xưng hô, đại từ nhân xưng không thể quan sát được bằng mắt thường, giữ lại các danh từ mô tả phong cảnh thực tế. Bảng số liệu trong khóa luận ghi nhận sự thay đổi rõ rệt về từ khóa trích xuất:

Từ khóa trước khi dùng RAKE (POSTagger thuần)	Số lượng	Từ khóa sau khi dùng RAKE (kết hợp)	Số lượng
em	81.390	hoa	30.917
người	57.979	xuân	27.609
anh	44.250	nắng	27.000
tình	40.375	gió	26.981
lòng	33.236	trăng	22.962
đời	32.938	chiều	22.314
mẹ	30.651	sông	22.022
trời	29.671	tiếng	21.690
ngày	29.177	mùa	21.096
con	28.066	đêm	20.829

2. Đóng góp khoa học và kỹ thuật tự nêu

• Khảo sát có hệ thống các hướng tiếp cận tạo sinh thơ từ ảnh trên thế giới, phân tích tính tương thích của từng phương pháp đối với ngôn ngữ tiếng Việt.
• Đề xuất framework Dual-Transformer: phân rã bài toán đa phương tiện phức tạp thành hai bài toán con độc lập (Query2Label cho phân loại đa nhãn thị giác và GPT-2 cho mô hình hóa ngôn ngữ tự hồi quy), giải quyết triệt để vấn đề thiếu hụt dữ liệu ghép cặp ảnh - thơ song ngữ quy mô lớn.
• Xây dựng và chuẩn hóa bộ dữ liệu UIT-Visual68Poem dành riêng cho bài toán sinh thơ lục bát từ ảnh phong cảnh Việt Nam, cung cấp tập dữ liệu được tiền xử lý chi tiết (lọc nhiễu, chuẩn hóa 4 câu, cân bằng từ khóa).

3. Phân tích kết quả thực nghiệm

• Mô hình GPT-2 chứng minh ưu thế vượt trội so với mT5 ở bài toán sinh thơ từ từ khóa, đảm bảo bài thơ bám sát các từ khóa gợi ý và duy trì liên kết ngữ nghĩa giữa các câu thơ.
• Dual-Transformer vượt qua mô hình đối kháng một giai đoạn I2P-GAN về độ chính xác thể thức lục bát và độ liên quan nội dung.
• Tác giả cũng chỉ ra một lỗi ngữ nghĩa thực tế được ghi nhận trong bảng kết quả (Bảng 5.5): Khi ảnh đầu vào là cảnh ban ngày có thực thể mặt trời, mô hình Query2Label trích xuất đúng bối cảnh nhưng mô hình GPT-2 trong quá trình sinh tự hồi quy lại tự sinh từ "Trăng", dẫn đến xung đột logic ngữ nghĩa trực tiếp với thực thể mặt trời trong ảnh.

---

Hạn chế và hướng nghiên cứu tiếp

Dựa trên các phân tích thực nghiệm và phạm vi nghiên cứu được tác giả trình bày trong khóa luận:

• Giới hạn không gian nhãn: Mô hình rút trích thị giác mới chỉ hỗ trợ 76 lớp thực thể phong cảnh (do đã loại bỏ các nhãn có tần suất xuất hiện dưới 200 lần để tránh mất cân bằng dữ liệu). Điều này hạn chế khả năng nhận diện các vật thể hiếm hoặc phong cảnh đặc thù.
• Xung đột logic ngữ nghĩa: Mô hình ngôn ngữ GPT-2 đôi khi sinh ra các từ mang tính liên tưởng thơ ca nhưng lại mâu thuẫn với thực tế trong ảnh (như sinh ra từ "Trăng" khi ảnh chụp ban ngày có "Mặt trời").
• Hạn chế của độ đo: Các công cụ đánh giá tự động mới chỉ kiểm tra được số âm tiết, vị trí bằng trắc và hiệp vần cơ học; chưa thể đánh giá toàn diện tính thẩm mỹ, hình tượng văn học và cảm xúc của bài thơ.
• Hướng nghiên cứu tiếp: Mở rộng tập từ khóa và làm phong phú thêm bộ dữ liệu ảnh phong cảnh; tối ưu hóa cơ chế ràng buộc ngữ nghĩa giữa thị giác và mô hình sinh văn bản nhằm triệt tiêu các từ khóa mâu thuẫn; nghiên cứu cơ chế kiểm soát luật thơ trực tiếp trong quá trình giải mã (decoding) của mô hình ngôn ngữ.

---

Giá trị tham khảo

Khóa luận là tài liệu tham khảo chuyên môn phù hợp cho sinh viên, học viên cao học và kỹ sư nghiên cứu thuộc ngành Khoa học Máy tính, Trí tuệ Nhân tạo và Công nghệ Thông tin đang làm việc với các bài toán:

• Xử lý đa phương tiện (Multimodal AI): Kỹ thuật kết hợp giữa thị giác máy tính và sinh văn bản thông qua phương pháp phân rã bài toán hai giai đoạn.
• Phân loại ảnh đa nhãn: Ứng dụng mô hình Transformer Decoder và Cross-Attention trong Query2Label với backbone ResNet-101 để nhận diện nhiều thực thể trong ảnh tự nhiên mà không cần nhãn bounding box.
• Xử lý ngôn ngữ tự nhiên cho tiếng Việt: Quy trình tiền xử lý, gán nhãn từ khóa tự động kết hợp VnCoreNLP và thuật toán RAKE, cũng như kỹ thuật tinh chỉnh (finetuning) mô hình tiền huấn luyện GPT-2 trên kho ngữ liệu đặc thù mang tính ràng buộc hình thức (thơ lục bát).

---

Câu hỏi thường gặp

1. Tại sao nhóm tác giả lựa chọn mô hình hai giai đoạn thay vì một giai đoạn như Image Captioning truyền thống?

Mô hình một giai đoạn (như CNN-RNN kết hợp Policy Gradient của Bei Liu et al.) đòi hỏi tập dữ liệu cặp ảnh - thơ cực lớn để học được cả đặc trưng thị giác lẫn tính chất thơ ca. Do dữ liệu ảnh - thơ lục bát tiếng Việt rất hạn chế, việc huấn luyện mô hình một giai đoạn dẫn đến tình trạng thơ sinh ra không tuân thủ luật lục bát và nội dung không liên quan đến ảnh. Phương pháp hai giai đoạn cho phép tận dụng các tập dữ liệu đơn lẻ lớn hơn để huấn luyện riêng rẽ bộ trích xuất đặc trưng và bộ sinh ngôn ngữ.

2. Bộ dữ liệu UIT-Visual68Poem được xây dựng từ những nguồn nào và có quy mô ra sao?

Bộ dữ liệu gồm hai thành phần: Dữ liệu ảnh sinh từ khóa được phát triển từ UIT-Poem-Dataset (2.592 cặp ảnh Google Images và thơ từ thivien, lucbatmoingay.com) với 76 lớp nhãn, chia thành 295.682 mẫu huấn luyện, 32.854 mẫu kiểm định và 1.000 mẫu kiểm tra. Dữ liệu từ khóa sinh thơ xây dựng từ kho 171.188 bài thơ của FPT Group, lọc ra 87.609 bài thơ lục bát chuẩn 4 câu, chia thành 10.100 mẫu huấn luyện, 1.123 mẫu kiểm định và 1.123 mẫu kiểm tra.

3. Làm thế nào tác giả trích xuất được từ khóa khách quan từ các bài thơ mà không bị ảnh hưởng bởi cảm tính con người?

Tác giả áp dụng phương pháp trích xuất tự động bằng cách kết hợp hai công cụ: sử dụng POSTagger của thư viện VnCoreNLP để lọc ra danh từ/cụm danh từ, sau đó lấy giao điểm với danh sách các từ có độ quan trọng cao do thuật toán RAKE tính toán. Cách làm này loại bỏ triệt để các đại từ nhân xưng phi hình ảnh (như "anh", "em", "người", "lòng") và giữ lại các thực thể quan sát được (như "hoa", "nắng", "gió", "trăng", "sông").

4. Thiết lập siêu tham số cụ thể khi huấn luyện mô hình Query2Label và GPT-2 là gì?

• Query2Label: Mạng ResNet-101, batch size 1, 50 epoch, thuật toán tối ưu AdamW (learning rate = 1e-4, $\beta_1 = 0.9$, $\beta_2 = 0.999$, weight decay = 1e-2).
• GPT-2: Trọng số khởi tạo từ imthanhlv/gpt2news, batch size 4, 800.000 steps (~15 epoch), thuật toán tối ưu AdamW (learning rate = 5e-5, $\beta_1 = 0.9$, $\beta_2 = 0.999$, max_grad_norm = 1). Cả hai đều huấn luyện trên card đồ họa NVIDIA RTX 2080.

5. Công cụ nào được sử dụng để đánh giá tự động quy chuẩn của các bài thơ sinh ra?

Tác giả sử dụng bộ công cụ kiểm tra tự động do FPT AI phát triển (fsoft-ailab/Poem-Generator). Công cụ này tính toán sai số độ dài câu theo công thức $\text{Total_len_error} = |6 - \text{six_line}| + |8 - \text{eight_line}|$, đồng thời tự động kiểm tra tính đối xứng bằng trắc (B-T-B tại tiếng 2-4-6 của câu lục và B-T-B-B tại tiếng 2-4-6-8 của câu bát) cùng các quy tắc gieo vần giữa câu lục và câu bát.

---

Kết luận

Khóa luận tốt nghiệp của tác giả Nguyễn Minh Châu đã đề xuất và thực nghiệm thành công framework Dual-Transformer nhằm giải quyết bài toán tạo sinh thơ lục bát từ ảnh phong cảnh Việt Nam. Bằng việc kết hợp mô hình phân loại đa nhãn thị giác Query2Label và mô hình ngôn ngữ giải mã GPT-2 tiền huấn luyện, nghiên cứu đã khắc phục hiệu quả rào cản khan hiếm dữ liệu ghép cặp đa phương tiện. Công trình đồng thời đóng góp bộ dữ liệu chuẩn hóa UIT-Visual68Poem cùng các phân tích thực nghiệm chi tiết về việc kết hợp công nghệ học sâu với các quy tắc thi luật truyền thống.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu. Chương này giới thiệu về bài toán, các kiến thức tổng quan về bài toán, phạm vi đề tài và những đóng góp chính của đề tài. e Chương 2: Các phương pháp liên quan. Chương này trình bày về một số nghiên cứu có liên quan đến đề tài.

e Chương 3: Framework Dual-Transformer. Chương này chúng tôi đề xuất mô hình giải quyết bài toán sinh thơ lục bát từ ảnh phong cảnh Việt Nam. e Chương 4: Bộ dữ liệu UIT-Visual68Poem. Chương này giới thiệu về bộ dit liệu UIT-Visual68Poem cho bài toán sinh thơ lục bát từ ảnh phong cảnh Việt Nam.

e Chương 5: Trình bày các thực nghiệm, so sánh các mô hình cho bài toán sinh thơ lục bát từ ảnh phong cảnh Việt Nam. e Chương 6: Kết luận. Chương này tổng hợp một số nội dung và đông góp của đề tài và các hướng phát triển trong tương lai. Chương 2 Các phương pháp liên quan cho bài toán sinh thơ từ ảnh 2.1 Mô hình một giai đoạn Vấn đề của bài toán “Sinh thơ từ ảnh” vẫn còn nhiều khó khăn như việc sinh thơ đảm bảo các quy luật về vần điệu, thể thơ, bài thơ sinh ra phải có nội dung liên quan đến nội dung của ảnh đầu vào.

Các hướng tiếp cận cho bài toán này khá đa dạng, một trong số các hướng tiếp cận đó là hướng tiếp cận theo bài toán Sinh mô tả cho ảnh (Image Captioning). Hướng tiếp cận này thường sẽ sử dụng mô hình mạng tính chap CNN để rút trích đặc trưng ảnh và đưa qua mô hình mạng hồi quy RNN để sinh thơ. Một trong số mô hình áp dụng hướng này là mô hình của Bei Liu và các cộng sự [1| sử dụng cách huấn luyện đa đối kháng thông qua thuật toán học tăng cường Policy Gradient nhằm đảm bảo việc văn bản sinh ra mang tính thơ ca và có độ liên qua giữa văn bản và ảnh (Hình. Tuy nhiên, mô hình này đòi hỏi phải có bộ dữ liệu đủ lớn để mô hình có thể học được mối tương quan giữa ảnh và thơ từ đó sinh ra thơ theo luật và liên quan đến ảnh đầu vào.

Do bộ dữ liệu ảnh sang thơ lục bát khá ít nên dẫn đến kết quả không tốt cho bài toán sinh thơ lục bát từ ảnh. Một số thơ sinh ra có những đối tượng không liên quan đến ảnh đầu vào và thơ không theo quy luật của thơ lục bát. Kết quả được thể hiện qua phần |5.3| ở chương | Deep Coupled Visual-Poetic Embedding Model 1| Generator as Agent I Discriminators as Rewards | | F | (b) Poetic CNN features | | II (g) Multi-Modal Discriminator | i | II tacong Dare). Ị ls 2 Ke) Munemedalspace'|) <BOS> | ' Paired @| : | if li ee |,| i Generated Ị Ï ¬ i| | e e ee Unpaired @l } | ° e | buttercups | | _#| | 2 : | (h) Poem-Style Discriminator | ge] | ae 2G t | POS parses —Y Hị| lŠg -_› = xa _— el:— ose | | @mmepssse |Ễ “| [38 (ie HN ¡ (Poetic @| Ị | (2) ch the pretty flowers =_= || II Generated @ | |_ (@)coming ere te springtime Mean pooling + | HH ' h (4) to tel of sunny hours a ” iI Disordered @ | | "——> O0?00 —> ) mmmmaan | II h Paragraphic@] | | OO — | | pp Lr \ (c) skip-thought model sa | (a) image and poem pairs trained on UniM-Poem (d) sentence features | | _ (0FRNN generator - i a ice eeAG 7 AC,Ns 1 l§ Pace rar nets FES ES eR SE J +— (i) Policy Gradient — Hình 2.1: Mô hình sinh tho từ ảnh sử dung phương pháp huấn luyện đa đối kháng [I|.2 Mo hình hai giai đoạn Có các hướng tiếp cận khác là tách một bài toán lớn ra thành các bài toán con nhỏ dễ giải quyết.

Ví dụ như phương pháp dựa trên ghi nhớ rút trích các đối tượng quan trọng có trong ảnh đầu vào giúp cho việc tạo thơ mang được các thông tin hình ảnh quan trọng có trong ảnh đầu vào (2) ( Hình |2. Dé tao ra các bai thơ mang tính nghệ thuật, mô hình sinh anh từ thơ |3 (3) ( Hình {2.3) dua trên cách người làm thơ cảm nhận cảnh vat xung quanh từ đó nghĩ đến những yêu tố ngoài có liên quan đến cảnh vật hiện tại dựa trên những trải nghiệm của người làm thơ. Hệ thống nhận ảnh đầu vào và sinh ra từ khóa có trong ảnh. Sau đó các từ khóa khác liên quan đến các từ khóa trong ảnh sẽ được chọn lọc và được đưa thêm vào bằng cách truy vấn dựa trên các bài thơ được tạo ra bởi con người.

Mỗi từ khóa là mỗi câu thơ. R Ba + # 1R ag , 3 ss The sunlit Censer peak exhales a wreath of cloud (mountain) Keyword (tre) = Extraction as ml 38 Ay SẼ h 4 AT J1] (ng) Like an upended stream the cataract sounds loud RB (sky) "Ki TZ#fK Its torrent dashes down three thousand feet from high LI Visual Feature Visual Feature HRA BAR Extraction Vectors As if the Silver River fell from azure sky Hình 2.2: Mô hình sinh thơ từ anh sử dụng phương pháp ghi nhớ (2). 3Ñ Tỳ (city) SRA 4 He SP SS Britt ( um (The7 cityE: flowsr slowly behind him, tr (traffic light) ' Keyword hung Sth 238 (Road) Filtering ‡## (busy) My life is busy.5 Expansion Evaluator Accept | 21k A AR Hy place no one knows. elm KF (smile) when With lips curl into phony smile.

high score Keyword Generation Poem Generation Hình 2.3: Mô hình sinh thơ từ ảnh sử dụng phương pháp mở rộng từ khóa lì. Một cách khác là kết hợp giữa các từ khóa với những thông tin trừu tượng như thông tin về mùa màng hay thời tiết sửa dung các mô hình phân lớp với đầu vào là ảnh phong cảnh. Điều này giúp cải thiện tính nhất quán về nội dung của giữa thơ sinh ra và ảnh đầu vào |4| (Hình b. Image Information Extraction %* Cloud-kissing peak Concrete Information 4M a Keywords & Snow id a fa Extraction eo Retrieve & Expand #1 Mountains 32 Reach up to the sky Abstract Abstract Information Information Extraction Vectors Poetry Generation BEB, fe eee Pars Thousands of cloud-kissing peaks up to the clear sky.

Cloud-kissing peak PAHMESH. 00600 ly ~~~ * The sunlight shines on the snowy world. Sa PRE, ig -—-———-— fy Standing on high overlooking the mountains, Mountains ——— au Reach up to the sky 2.1 Giai đoạn rút trích đặc trưng anh Mục tiêu của mô hình rút trích đặc trưng ảnh chủa nhóm là để giải quyết bài toán từ ảnh sinh từ khóa. Một hướng tiếp cận cho vấn đề này cũng là hướng mà hiện nay có nghiều nghiên cứu đạt đến độ chính xác khá cao là hướng tiếp cận phát hiện đối tượng (Object Detection) (Hình [2.

10 Mô hình ảnh sóng biển bờ sinh từ khóa Có thể nói bài toán phát hiện đối tượng đẽ được nghiên cứu khá lâu và cho đến hiện nay vẫn được người người quan tâm, đã có nhiều mô hình được sinh ra nhắm nâng cao độ chính xác, tối ưu hóa thời gian thực thi và đã được ứng dụng ra ngoài xã hội để xử lý những công việc con người không thể làm được. Các mô hình hiện nay đạt độ chính xác cao đang hướng tới việc sử dụng kiến trúc Transformer lỗ như mô hình Swin Transformer [7| hay mô hình DETR BỸ Các mô hình déu đạt kết quả cao trong bài toán phát hiện đối tượng. Do có nhiều bộ dữ liệu về bài toán này nên đây có thể là một lợi thế cho hướng tiếp cận này. Tuy nhiên, vẫn có vấn đề cho hướng tiếp cận này trong việc giải quyết bài toán ảnh sinh từ khóa.

Vấn đề là bài toán của nhóm không có bộ dữ liệu phù hợp nào được công khai rộng rãi, cụ thể là các từ khóa liên quan đến các đối tượng 11 phong cảnh Việt Nam. Buộc nhóm phải tự tạo một bộ dữ liệu riêng, hơn thế, để tạo ra bộ đữ liệu cho các mô hình trên giải quyết phải bao gồm các bounding box cho các đối tượng trong ảnh và số lượng mẫu trong bộ dữ liệu phải nhiều để đủ cho các mô hình trên có thể học và cho ra kết quả tốt. Có một hướng tiếp cận khác là sử dụng các mô hình cho bài toán phân loại đa nhãn (Multi-label Classification). Bai toán này có đầu vào là ảnh và đầu ra là các nhãn đối tượng có trong ảnh.

Bài toán phân loại đa nhãn và phát hiện đối tượng đều có đầu vào là ảnh và đầu ra nhãn đối tượng có trong ảnh, tuy nhiên bài toán phân loại đa nhãn không cần đến bounding box trong đữ liệu và các mô hình trong bài toán này không cần bộ dữ liệu có số lượng lớn dẫn đến việc sử dụng các mô hình trong bài toán này để giải quyết bài toán từ ảnh sinh từ khóa là một lựa chọn của nhóm. Các mô hình trong bài toán này có hai hướng chính là sử dụng Graph và mô hình Transformer. Hiện nay, hướng tiếp cận Transformer được nghiên cứu rộng rãi do mô hình Graph có thể học các mối tương quan một cách mập mờ trường hợp bộ dữ liệu không đủ để mô hình có thể học tốt lBl: 2.2 Giai đoạn sinh văn ban Hiện nay các mô hình sinh văn bản dùng để giải quyết các bài toán như dịch máy, tóm tắt văn bản, Q&A,. Hầu hết các mô hình đều dựa trên mô hình Transformers (6).

Điểm chung đều có hai mô hình encoder để mã hóa các câu đầu vào thành các véc-tơ và decoder từ các véc-td sé sinh ra các câu phù hợp với bài toán. Một số mô hình như BigBird và mô hình T5 đạt độ F1 cao nhất ở một số bộ dữ liệu thuộc bài toán Q&A, mô hình DeLighT [11] đạt độ BLEU cao ở bộ dữ liệu thuộc bài toán dịch máy. Theo [12], những nghiên cứu trước đây đã chứng minh được việc sử dụng mô hình có cấu trúc mã hóa-giải mã có thể tạo ra bài thơ Trung Quốc. Các mô hình đã phát triển từ kiến trúc đó và cải thiện thêm cho mô hình có thể sinh ra một bài thơ có nghĩa, các câu thơ có sự liên kết với nhau.

Tuy nhiên, với sự phát triển của mô hình ngôn ngữ, một số bài toán cần tới kiến trúc mã hóa-giải mã được giải quyết bởi decoder của Transformer là GPT-2. Ở lĩnh vực âm nhạc, mô hình Music Transformer chỉ sử dụng phan decoder của Transformer để sinh đoạn nhạc. Sinh bản nhac cũng như là một mô hình ngôn ngữ, chỉ cần mô hình học nhạc một cách tự động, không cần giám sát và sau đó tận hưởng thành quả. Các đoạn nhạc được thể hiện bằng các véc-tơ(Hình 2-7).