Mô Hình Sáng Tác Thơ Dựa Trên Nội Dung Hình Ảnh Sử Dụng Mạng Tạo Sinh

Luận văn tốt nghiệp nghiên cứu tốt nghiệp khoa học máy tính mô hình sáng tác thơ từ nội dung ảnh sử dụng mạng tạo sinh, điều tra thực trạng, phân tích số liệu, đề xuất biện pháp

• Tác giả: Đặng Hoàng Sang
• Người hướng dẫn: TS. Nguyễn Vinh Tiệp
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Khoa học máy tính
• Đề tài: Mô Hình Sáng Tác Thơ Từ Nội Dung Ảnh Sử Dụng Mạng Tạo Sinh
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2021
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Đặt vấn đề
• 1.2. Bài toán phát sinh thơ từ hình ảnh
• 1.3. Giới thiệu bài toán
• 1.4. Tính ứng dụng và nghiên cứu
• 1.5. Một số thách thức của bài toán
• 1.6. Tình hình nghiên cứu
• 1.7. Phạm vi nghiên cứu
• 1.8. Đóng góp chi tiết
• 2. CHƯƠNG 2: KIẾN THỨC NỀN TẢNG
• 2.1. Tổng quan về mạng nơ-ron nhân tạo
• 2.2. Mạng lan truyền đa tầng thuận
• 2.3. Giới thiệu mạng nơ-ron tích chập
• 2.4. Lớp kết nối đầy đủ
• 2.5. Mạng nơ-ron tích chập ResNet
• 2.6. Mạng nơ-ron hồi quy
• 2.7. Giới thiệu mạng nơ-ron hồi quy
• 2.8. Bài toán truy vấn thông tin
• 2.9. Các phương pháp biểu diễn truyền thống
• 3. CHƯƠNG 3: BÀI TOÁN PHÁT SINH THƠ TỪ ẢNH KẾT HỢP CÁC PHƯƠNG PHÁP HỌC SÂU
• 3.1. Mô hình truy vấn thơ dựa vào từ khóa trích xuất được từ ảnh
• 3.2. Mô hình truy vấn thơ dựa vào véc-tơ trực quan của hình ảnh
• 3.3. Mô hình sáng tác thơ dựa vào hình ảnh sử dụng mạng tạo sinh đối kháng
• 4. CHƯƠNG 4: XÂY DỰNG BỘ DỮ LIỆU
• 4.1. Thu thập dữ liệu thơ
• 4.2. Xây dựng bộ dữ liệu bao gồm các cặp hình ảnh và thơ (UIT-I2P-Dataset)
• 4.3. Ghép cặp hình ảnh và thơ
• 4.4. Xử lý ảnh trùng
• 4.5. Tổng kết bộ dữ liệu thu được
• 5. CHƯƠNG 5: THỰC NGHIỆM, ĐÁNH GIÁ KẾT QUẢ
• 5.1. Môi trường hệ thống
• 5.2. Các công cụ, thư viện hỗ trợ
• 5.3. Cấu hình máy thực nghiệm
• 5.4. Đánh giá bởi con người (Human Judgment)
• 5.5. Các thông số khi huấn luyện mô hình
• 5.6. Quá trình huấn luyện mô hình
• 5.7. Huấn luyện mô hình biểu diễn hình ảnh và thơ
• 5.8. Huấn luyện mô hình sinh thơ LSTM-GAN
• 5.9. Kết quả thu được, nhận xét và đánh giá
• 6. CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 6.1. Kết luận
• 6.2. Hướng phát triển
• TÀI LIỆU THAM KHẢO
• DANH SÁCH HÌNH VẼ
• DANH SÁCH BẢNG
• DANH SÁCH TỪ VIẾT TẮT
• TÓM TẮT KHÓA LUẬN

Tóm tắt

I. Tổng quan về mô hình sáng tác thơ từ nội dung ảnh

Mô hình sáng tác thơ từ nội dung ảnh sử dụng mạng tạo sinh đang trở thành một xu hướng nghiên cứu thú vị trong lĩnh vực trí tuệ nhân tạo. Bài toán này không chỉ kết hợp giữa thị giác máy tính và xử lý ngôn ngữ tự nhiên mà còn mở ra nhiều cơ hội cho việc sáng tạo nghệ thuật. Việc phát sinh thơ từ hình ảnh không chỉ là một thách thức mà còn là một cách để thể hiện cảm xúc và ý tưởng thông qua ngôn ngữ. Mô hình này có thể tạo ra những bài thơ mang đậm bản sắc văn hóa Việt Nam, đặc biệt là thể thơ lục bát.

1.1. Khái niệm về mô hình sáng tác thơ tự động

Mô hình sáng tác thơ tự động là hệ thống có khả năng tạo ra thơ ca dựa trên nội dung hình ảnh đầu vào. Hệ thống này sử dụng các thuật toán học sâu để phân tích và hiểu nội dung của hình ảnh, từ đó sinh ra các câu thơ có liên quan.

1.2. Tính ứng dụng của mô hình trong văn học

Mô hình này không chỉ có giá trị trong nghiên cứu mà còn có thể ứng dụng trong giáo dục, nghệ thuật và giải trí. Việc tạo ra thơ từ hình ảnh có thể giúp nâng cao khả năng sáng tạo và cảm nhận nghệ thuật của người dùng.

II. Thách thức trong việc phát sinh thơ từ hình ảnh

Bài toán phát sinh thơ từ hình ảnh đối mặt với nhiều thách thức lớn. Đầu tiên, việc khai thác nội dung từ hình ảnh đòi hỏi các mô hình học sâu phải có khả năng nhận diện và phân tích các đối tượng trong ảnh. Thứ hai, việc tạo ra thơ ca không chỉ đơn thuần là ghép nối từ ngữ mà còn phải tuân thủ các quy tắc về ngữ pháp và vần điệu. Những thách thức này cần được giải quyết để mô hình hoạt động hiệu quả.

2.1. Khó khăn trong việc nhận diện đối tượng

Việc nhận diện đối tượng trong hình ảnh là một trong những thách thức lớn nhất. Các mô hình cần phải được huấn luyện với một lượng lớn dữ liệu để có thể phân tích chính xác các yếu tố trong ảnh.

2.2. Đảm bảo tính nghệ thuật trong thơ

Tạo ra thơ không chỉ là việc sắp xếp từ ngữ mà còn phải đảm bảo tính nghệ thuật và cảm xúc. Điều này đòi hỏi mô hình phải có khả năng hiểu sâu sắc về ngữ nghĩa và cảm xúc của từ.

III. Phương pháp xây dựng mô hình sáng tác thơ

Để xây dựng mô hình sáng tác thơ từ nội dung ảnh, cần áp dụng các phương pháp học sâu như CNN, RNN và GAN. CNN giúp rút trích đặc trưng từ hình ảnh, trong khi RNN và GAN hỗ trợ trong việc sinh ra các câu thơ. Sự kết hợp này tạo ra một mô hình mạnh mẽ có khả năng tạo ra thơ ca từ hình ảnh đầu vào.

3.1. Sử dụng mạng nơ ron tích chập CNN

Mạng CNN được sử dụng để phân tích và rút trích đặc trưng từ hình ảnh. Điều này giúp mô hình hiểu rõ hơn về nội dung và ngữ cảnh của hình ảnh.

3.2. Ứng dụng mạng hồi quy RNN trong sáng tác thơ

Mạng RNN giúp sinh ra các câu thơ dựa trên các đặc trưng đã được rút trích từ hình ảnh. Mô hình này có khả năng duy trì thông tin qua các bước thời gian, giúp tạo ra các câu thơ liên kết chặt chẽ.

3.3. Tối ưu hóa với mạng tạo sinh đối kháng GAN

Mạng GAN được sử dụng để cải thiện chất lượng của thơ được sinh ra. Bằng cách tạo ra các đối thủ cạnh tranh, mô hình có thể học hỏi và cải thiện liên tục.

IV. Kết quả nghiên cứu và ứng dụng thực tiễn

Kết quả nghiên cứu cho thấy mô hình có khả năng tạo ra thơ từ hình ảnh với nội dung liên quan. Các bài thơ được sinh ra không chỉ đáp ứng các quy tắc về ngữ pháp mà còn mang tính nghệ thuật cao. Mô hình này có thể được ứng dụng trong nhiều lĩnh vực như giáo dục, nghệ thuật và giải trí.

4.1. Đánh giá chất lượng thơ sinh ra

Chất lượng của thơ được sinh ra được đánh giá dựa trên các tiêu chí như ngữ nghĩa, cảm xúc và tính nghệ thuật. Các bài thơ này đã nhận được phản hồi tích cực từ người dùng.

4.2. Ứng dụng trong giáo dục và nghệ thuật

Mô hình có thể được sử dụng trong các lớp học để giúp học sinh hiểu rõ hơn về thơ ca và phát triển khả năng sáng tạo. Ngoài ra, nó cũng có thể được áp dụng trong các dự án nghệ thuật.

V. Kết luận và hướng phát triển tương lai

Mô hình sáng tác thơ từ nội dung ảnh sử dụng mạng tạo sinh đã mở ra nhiều cơ hội mới trong nghiên cứu và ứng dụng. Tuy nhiên, vẫn còn nhiều thách thức cần được giải quyết. Hướng phát triển tương lai có thể bao gồm việc mở rộng bộ dữ liệu và cải thiện các thuật toán để nâng cao chất lượng thơ.

5.1. Hướng phát triển bộ dữ liệu

Việc xây dựng một bộ dữ liệu phong phú và đa dạng sẽ giúp mô hình hoạt động hiệu quả hơn. Cần thu thập thêm nhiều cặp hình ảnh và thơ để cải thiện khả năng sinh thơ.

5.2. Cải tiến thuật toán và mô hình

Cần nghiên cứu và phát triển các thuật toán mới để nâng cao khả năng nhận diện và sinh thơ. Việc cải tiến mô hình sẽ giúp tạo ra những bài thơ chất lượng hơn.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Khóa luận tốt nghiệp "Mô hình sáng tác thơ dựa trên nội dung hình ảnh sử dụng mạng tạo sinh đối kháng" được thực hiện bởi sinh viên Đặng Hoàng Sang và Phạm Chí Thành, dưới sự hướng dẫn của TS. Nguyễn Vinh Tiệp tại Khoa Khoa học Máy tính, Trường Đại học Công nghệ Thông tin – Đại học Quốc gia Thành phố Hồ Chí Minh (hoàn thành tháng 01 năm 2021). Đề tài thuộc lĩnh vực Trí tuệ nhân tạo, nằm tại giao điểm giữa hai chuyên ngành Thị giác máy tính (Computer Vision) và Xử lý ngôn ngữ tự nhiên (Natural Language Processing).

Lý do chọn đề tài xuất phát từ sự phát triển của các mô hình học sâu, đặc biệt là bài toán tự động sinh chú thích cho ảnh (Image Captioning). Nếu như chú thích ảnh chỉ dừng lại ở việc tạo ra các câu văn xuôi mô tả sự vật khách quan, thì sáng tác thơ từ hình ảnh đòi hỏi máy tính phải đạt tới mức độ liên tưởng, quan sát và sử dụng ngôn ngữ giàu hình ảnh, cảm xúc. Tại thời điểm nghiên cứu, các công trình phát sinh thơ từ ảnh trên thế giới chủ yếu tập trung vào tiếng Trung Quốc và tiếng Anh. Trong khi đó, tiếng Việt có hơn 90 triệu người sử dụng với kho tàng văn học phong phú (tiêu biểu là thể thơ lục bát mang bản sắc văn hóa dân tộc), nhưng chưa có công trình nào công bố mô hình cũng như bộ dữ liệu cặp hình ảnh – thơ phục vụ bài toán này.

Mục tiêu và nhiệm vụ nghiên cứu được văn bản xác định cụ thể như sau:

1. Tìm hiểu các phương pháp khác nhau cho bài toán phát sinh thơ từ hình ảnh, trọng tâm là các mô hình học sâu kết hợp kiến trúc mạng tạo sinh đối kháng (GAN).
2. Tìm hiểu và đề xuất phương pháp phù hợp cho bài toán phát sinh thơ từ hình ảnh cho ngôn ngữ tiếng Việt.
3. Xây dựng bộ dữ liệu cặp hình ảnh và thơ (Image-Poem) đầu tiên cho tiếng Việt, đồng thời đề xuất giải pháp mở rộng dữ liệu bằng máy tính.
4. Xem xét, đánh giá vai trò của mạng học đối kháng trong việc cải thiện hiệu quả huấn luyện mô hình sinh chuỗi văn bản.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Quy trình và mô hình phát sinh bài thơ tiếng Việt tương ứng với nội dung hình ảnh đầu vào; dữ liệu đầu vào là ảnh chụp đời thực, đầu ra là bài thơ có nội dung phản ánh cảnh vật hoặc đối tượng trong ảnh.
• Phạm vi nghiên cứu: Tập trung vào ảnh chụp phong cảnh đời thực; thể loại thơ gắn liền với ngữ liệu tiếng Việt thu thập được; thời gian triển khai từ ngày 05/09/2020 đến ngày 10/01/2021.

Nhiệm vụ của các thành viên trong nhóm nghiên cứu:

• Sinh viên Đặng Hoàng Sang: Tìm hiểu bài toán nhận diện đối tượng và tạo sinh câu tiếng Việt; thu thập dữ liệu; đánh giá, cải thiện mô hình; liên kết các phân đoạn để hoàn thiện hệ thống.
• Sinh viên Phạm Chí Thành: Nghiên cứu thuật toán truy vấn văn bản; thu thập dữ liệu; đánh giá, cải thiện mô hình; đóng gói hệ thống và biên soạn báo cáo khóa luận.

Cơ sở lý thuyết và phương pháp

Khóa luận dựa trên hệ thống cơ sở lý thuyết về mạng nơ-rôn nhân tạo và các kỹ thuật xử lý dữ liệu đa phương thức:

• Khung lý thuyết mạng nơ-rôn: Mạng lan truyền đa tầng thuận (Feedforward Neural Networks), mạng nơ-rôn tích chập (CNN) với cơ chế nhân tích chập, hàm kích hoạt phi tuyến (ReLU, Sigmoid, Tanh), kỹ thuật chiết xuất đặc trưng (Max pooling, Average pooling), chuẩn hóa dữ liệu (Batch Normalization) và cấu trúc phần dư Residual Block trong kiến trúc ResNet (tiêu biểu là ResNet50 với 26 triệu tham số).
• Khung lý thuyết mạng nơ-rôn hồi quy: Mạng nơ-rôn hồi quy (RNN) xử lý dữ liệu tuần tự và cơ chế giải quyết suy giảm đạo hàm (Vanishing Gradient) của mạng chuỗi nhớ ngắn dài (LSTM) thông qua các cổng: cổng quên (forget gate), cổng cập nhật ngữ cảnh (input/update gate) và cổng ra (output gate).
• Kiến trúc mạng tạo sinh đối kháng (GAN): Mô hình gồm hai thành phần cạnh tranh là bộ sinh (Generator) và bộ phân biệt (Discriminator), cùng các biến thể Conditional GAN (cGAN) và SeqGAN dùng cho dữ liệu chuỗi.
• Kỹ thuật ngôn ngữ và nhúng văn bản: Mô hình PhoBERT đại diện cho biểu diễn ngữ cảnh tiếng Việt cấp độ câu; công cụ phân đoạn từ RDRsegmenter (Dat Quoc Nguyen et al.) giải quyết sự nhập nhằng âm tiết/từ trong văn bản tiếng Việt; mô hình Skip-thought dùng để mã hóa câu thơ thành véc-tơ ngữ nghĩa.

Phương pháp nghiên cứu thực nghiệm được triển khai theo quy trình:

1. Phương pháp thu thập và gán nhãn dữ liệu: Thiết kế hệ thống web thu thập thơ ca tiếng Việt và thực hiện gán nhãn thủ công các cặp hình ảnh – bài thơ tương ứng theo ngữ cảnh phong cảnh đời thực.
2. Phương pháp trích xuất đặc trưng đa phương thức (Visual-Poetic Embedding): Sử dụng mạng CNN trích xuất véc-tơ đặc trưng hình ảnh; dùng mô hình ngôn ngữ mã hóa bài thơ thành véc-tơ; chiếu cả hai nguồn đặc trưng vào cùng một không gian nhúng chung để đo lường độ tương đồng ngữ nghĩa.
3. Phương pháp sinh ngôn ngữ đối kháng (Adversarial Training): Thiết lập mạng LSTM đóng vai trò Generator và xây dựng mạng Discriminator để cung cấp tín hiệu phản hồi, giúp tối ưu hóa câu thơ sinh ra vừa khớp với đặc trưng ảnh vừa giữ đúng phong cách thơ.
4. Phương pháp đánh giá: Kết hợp độ đo tự động trong xử lý ngôn ngữ tự nhiên (BLEU) với phương pháp khảo sát đánh giá bởi con người (Human Judgment) về mức độ gắn kết ngữ nghĩa giữa ảnh và thơ.

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương 1 trình bày bối cảnh ra đời của bài toán sinh thơ từ hình ảnh, xuất phát từ sự giao thoa giữa bài toán hiểu hình ảnh (Image Understanding) và sinh ngôn ngữ tự nhiên (Natural Language Generation). Tác giả so sánh bài toán này với bài toán tự động chú thích hình ảnh (Image Captioning), chỉ ra rằng làm thơ đòi hỏi tính nghệ thuật và trừu tượng cao hơn. Chương này phân tích các nghiên cứu tiêu biểu trên thế giới: mô hình sinh thơ tiếng Trung dựa trên từ khóa mở rộng của Wen-Feng Cheng et al. (2018), mô hình trích xuất thông tin ảnh qua Clarifai API và GoogleNet kết hợp GRU có Attention của Yusen Liu et al. (2020), và mô hình nhúng đa phương thức kết hợp GAN cho tiếng Anh của Bei Liu et al. (2018). Tại Việt Nam, tác giả điểm qua "Dịch vụ Thơ Máy" của Công ty Cổ phần Công nghệ Tinh Vân với hai tính năng chính là máy tự sáng tác thơ theo thể loại/phong cách và sáng tác thơ dựa trên đoạn văn xuôi. Từ việc phân tích các đặc trưng riêng của tiếng Việt (không biến đổi hình thái từ như tiếng Anh nhưng gặp trở ngại về phân định ranh giới từ giữa các khoảng trắng), tác giả xác định mục tiêu và lộ trình nghiên cứu của đề tài.

Chương 2: Kiến thức nền tảng

Chương 2 hệ thống hóa cơ sở toán học và cấu trúc của các mô hình học sâu. Mạng lan truyền thuận đa tầng được định nghĩa dưới dạng hàm hợp nhiều lớp nhằm xấp xỉ hàm mục tiêu thông qua học có giám sát. Trong phần mạng tích chập (CNN), tác giả trình bày chi tiết công thức toán học của phép nhân tích chập giữa tensor hình ảnh và bộ lọc (kernel), công thức xác định kích thước bản đồ đặc trưng đầu ra phụ thuộc vào kích thước đệm (padding) và bước nhảy (stride), vai trò của các hàm kích hoạt phi tuyến ReLU, các phép toán chiết xuất Max pooling, và giải pháp Residual Block của ResNet giúp truyền thẳng thông tin qua các kết nối tắt (skip connections) nhằm khắc phục hiện tượng triệt tiêu đạo hàm trên mạng sâu. Đối với xử lý chuỗi, chương phân tích cấu trúc toán học của mạng hồi quy RNN, hiện tượng mất ngữ cảnh dài hạn khi xử lý câu nhiều hơn 20 từ, và cơ chế điều tiết thông tin bên trong một tế bào LSTM thông qua trạng thái tế bào (cell state) cùng ba cổng chức năng. Cuối chương giới thiệu nguyên lý huấn luyện min-max của mạng GAN và các kỹ thuật biểu diễn từ truyền thống như Bag-of-Words (BoW) và ma trận đồng xuất hiện.

Chương 3: Bài toán phát sinh thơ từ ảnh kết hợp các phương pháp học sâu

Chương 3 xây dựng các mô hình giải quyết bài toán phát sinh thơ từ ảnh. Tác giả khảo sát ba hướng tiếp cận kỹ thuật:

1. Mô hình truy vấn thơ dựa vào từ khóa trích xuất từ ảnh: Sử dụng mạng nơ-rôn nhận diện đối tượng trong ảnh, rút trích tập từ khóa liên quan, sau đó dùng thuật toán truy vấn thông tin để tìm kiếm bài thơ phù hợp nhất trong cơ sở dữ liệu có sẵn.
2. Mô hình truy vấn thơ dựa vào véc-tơ trực quan của hình ảnh: Trích xuất đặc trưng toàn cục của ảnh thành véc-tơ trực quan, biểu diễn các bài thơ trong kho dữ liệu thành các véc-tơ ngữ nghĩa, sau đó tính khoảng cách không gian (độ tương đồng) giữa véc-tơ ảnh và véc-tơ thơ để thực hiện truy vấn.
3. Mô hình sáng tác thơ sử dụng mạng tạo sinh đối kháng (CNN-LSTM-GAN): Đây là mô hình trọng tâm của khóa luận. Mạng CNN đảm nhiệm vai trò rút trích đặc trưng thị giác từ ảnh đầu vào. Bộ sinh (Generator) sử dụng mạng LSTM nhận véc-tơ ảnh làm ngữ cảnh khởi tạo để sinh tuần tự các câu thơ. Bộ phân biệt (Discriminator) nhận đầu vào là các bài thơ do bộ sinh tạo ra cùng các bài thơ thực tế từ tập dữ liệu ghép cặp để phân định tính chân thực, từ đó cung cấp giá trị hàm mất mát đối kháng giúp bộ sinh điều chỉnh trọng số, hướng đến việc tạo ra bài thơ vừa có cấu trúc chặt chẽ vừa bám sát nội dung ảnh.

Chương 4: Xây dựng bộ dữ liệu

Chương 4 mô tả chi tiết quá trình xây dựng ngữ liệu thực nghiệm, giải quyết khó khăn lớn nhất của đề tài là sự thiếu vắng dữ liệu cặp ảnh - thơ tiếng Việt. Nhóm tác giả thực hiện thu thập dữ liệu thơ ca từ các nguồn trực tuyến và xây dựng hệ thống web hỗ trợ việc ghép cặp ảnh - thơ. Quá trình xử lý dữ liệu gồm hai bước chính: loại bỏ ảnh trùng lặp để tránh thiên vị khi huấn luyện và tiến hành ghép nối các bức ảnh phong cảnh đời thực với bài thơ có ngữ nghĩa tương đồng về sự vật hoặc khung cảnh. Kết quả xây dựng được hai bộ dữ liệu:

• UIT-Poem-Dataset: Tập hợp các bài thơ tiếng Việt đa dạng thể loại.
• UIT-I2P-Dataset (UIT Image-to-Poem Dataset): Gồm 2.622 cặp hình ảnh và bài thơ tương ứng, đóng vai trò là tập nhãn chuẩn (ground truth) phục vụ huấn luyện và kiểm thử. Dữ liệu văn bản được tiền xử lý phân tách từ bằng công cụ RDRsegmenter.

Chương 5: Thực nghiệm, đánh giá kết quả

Chương 5 trình bày thiết lập môi trường thực nghiệm, cấu hình phần cứng, các thư viện hỗ trợ và quy trình huấn luyện hai giai đoạn: huấn luyện mô hình nhúng biểu diễn không gian chung giữa hình ảnh và thơ, sau đó huấn luyện mô hình sinh thơ LSTM-GAN. Do tính chất trừu tượng của thơ ca, tác giả sử dụng phương pháp khảo sát ý kiến con người (Human Judgment) làm tiêu chuẩn đánh giá chính bên cạnh theo dõi hàm mất mát (loss). Các kết quả thực nghiệm chỉ ra rằng mô hình có khả năng tạo ra các câu thơ tiếng Việt có nghĩa và phản ánh được các đối tượng, màu sắc hoặc bối cảnh chủ đạo xuất hiện trong ảnh đầu vào.

Chương 6: Kết luận và hướng phát triển

Chương 6 tổng kết các kết quả đạt được về mặt mô hình và dữ liệu, đồng thời chỉ rõ những điểm còn tồn tại về quy mô ngữ liệu và cấu trúc vần điệu của thơ sinh ra, từ đó vạch ra các hướng cải tiến kỹ thuật cho các giai đoạn tiếp theo.

Kết quả và đóng góp

Khóa luận ghi nhận các kết quả cụ thể thông qua số liệu và sản phẩm thực nghiệm:

• Xây dựng thành công bộ dữ liệu cặp ảnh - thơ tiếng Việt đầu tiên mang tên UIT-I2P-Dataset với quy mô 2.622 cặp ảnh và bài thơ phục vụ cho bài toán Image-to-Poem, cùng bộ dữ liệu thơ UIT-Poem-Dataset.
• Hiện thực hóa thành công chuỗi mô hình kết hợp CNN (ResNet) để trích xuất đặc trưng thị giác, LSTM để sinh chuỗi văn bản tiếng Việt và cơ chế học đối kháng GAN để nâng cao chất lượng tạo sinh.
• Ứng dụng quy trình tiền xử lý tách từ tiếng Việt chuyên biệt (RDRsegmenter) kết hợp mô hình ngôn ngữ PhoBERT, khắc phục hiện tượng nhập nhằng ranh giới từ trong câu thơ tiếng Việt.

Bảng so sánh đặc điểm các nghiên cứu sinh thơ từ ảnh được tác giả tổng hợp và phân tích:

Nghiên cứu	Ngôn ngữ	Phương pháp trích xuất ảnh	Kiến trúc sinh thơ	Quy mô bộ dữ liệu
Wen-Feng Cheng et al. (2018)	Tiếng Trung	AlexNet (huấn luyện trên ImageNet)	LSTM kết hợp bộ đánh giá tự động	Thơ Trung Quốc hiện đại
Yusen Liu et al. (2020)	Tiếng Trung	Clarifai API + 3 mạng GoogLeNet	GRU kết hợp cơ chế Attention	Dữ liệu gán nhãn thời tiết, mùa, thời gian
Bei Liu et al. (2018)	Tiếng Anh	3 mạng CNNs (Visual-Poetic Embedding)	RNN (GRU cells) kết hợp mạng GAN	93.256 bài thơ; 8.292 cặp ảnh - thơ
Khóa luận này (2021)	Tiếng Việt	CNN (ResNet) + Nhúng không gian ảnh-thơ	LSTM kết hợp mạng đối kháng GAN	2.622 cặp ảnh - thơ (UIT-I2P-Dataset)

Đóng góp khoa học của đề tài:

• Đặt nền móng thực nghiệm cho bài toán phát sinh thơ từ hình ảnh đối với ngôn ngữ tiếng Việt.
• Cung cấp tập dữ liệu mẫu UIT-I2P-Dataset làm tài nguyên tham khảo mở cho cộng đồng nghiên cứu xử lý ngôn ngữ tự nhiên và thị giác máy tính trong nước.
• Đề xuất giải pháp kết hợp giữa mô hình nhúng đa phương thức và kiến trúc mạng đối kháng để kiểm soát chất lượng tạo sinh văn bản nghệ thuật từ tín hiệu thị giác.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của đề tài được tác giả ghi nhận trong văn bản:

• Kích thước bộ dữ liệu UIT-I2P-Dataset còn khiêm tốn (2.622 cặp) do quá trình thu thập và ghép cặp thủ công tốn nhiều nhân lực và thời gian, làm hạn chế tính đa dạng của ngữ cảnh thơ.
• Việc ghép cặp giữa ảnh và bài thơ mang tính tương đối; bài thơ nhãn chưa thể bao hàm toàn bộ mọi thực thể trong ảnh mà chỉ đại diện cho một vài đối tượng hoặc cảnh vật nổi bật, phụ thuộc vào cảm nhận chủ quan của người gán nhãn.
• Mô hình chịu ảnh hưởng bởi các thách thức thị giác kinh điển (ảnh mờ, góc chụp, che khuất vật thể) và sự phức tạp của tiếng Việt (từ đồng nghĩa, từ láy, phép ẩn dụ, nhân hóa).
• Phương pháp đánh giá kết quả chủ yếu phụ thuộc vào đánh giá chủ quan của con người (Human Judgment), chưa thiết lập được độ đo tự động hóa tuyệt đối cho chất lượng thơ ca.

Hướng nghiên cứu tiếp:

• Mở rộng quy mô và nâng cao độ đa dạng của bộ dữ liệu UIT-I2P-Dataset thông qua các giải pháp tự động hóa tăng cường dữ liệu bằng máy tính.
• Nâng cấp mô hình sinh thơ để kiểm soát chặt chẽ hơn các quy tắc thi luật tiếng Việt như luật gieo vần, ngắt nhịp và thanh bằng - trắc, đặc biệt cho thể thơ lục bát.
• Thử nghiệm các kiến trúc mạng sinh ngôn ngữ tiên tiến hơn và hoàn thiện ứng dụng minh họa phục vụ người dùng cuối.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo cho sinh viên, học viên cao học và nhóm nghiên cứu thuộc các chuyên ngành Khoa học Máy tính, Trí tuệ Nhân tạo và Hệ thống Thông tin:

• Phần đáng tham khảo về dữ liệu: Cung cấp phương pháp luận và quy trình thiết kế bộ dữ liệu đa phương thức kết hợp ảnh - văn bản tiếng Việt từ nguồn mở, cách thức tiền xử lý dữ liệu bằng bộ công cụ RDRsegmenter.
• Phần đáng tham khảo về mô hình: Cách tiếp cận đưa véc-tơ đặc trưng hình ảnh và véc-tơ văn bản vào chung một không gian biểu diễn (Visual-Poetic Embedding), cùng kỹ thuật ứng dụng mạng GAN để cải thiện bài toán sinh văn bản tuần tự bằng mạng hồi quy LSTM.

Câu hỏi thường gặp

1. Bộ dữ liệu UIT-I2P-Dataset do nhóm tác giả xây dựng có cấu trúc và quy mô như thế nào?
Bộ dữ liệu gồm 2.622 cặp hình ảnh và bài thơ tiếng Việt. Hình ảnh tập trung vào chủ đề phong cảnh đời thực, còn bài thơ đóng vai trò là nhãn ngữ nghĩa (ground truth) mô tả đối tượng hoặc không gian xuất hiện trong bức ảnh đó.

2. Tại sao khóa luận phải tích hợp công cụ RDRsegmenter vào bước tiền xử lý văn bản?
Trong tiếng Việt, khoảng trắng được dùng để phân tách các âm tiết chứ không phải phân tách từ như tiếng Anh. Nếu không tách từ, các từ ghép (như "hàng rào", "cánh đồng") sẽ bị mô hình hiểu nhầm thành các từ đơn lẻ độc lập. Công cụ RDRsegmenter giúp ghép nối các âm tiết của cùng một từ, làm giảm tính nhập nhằng từ vựng trước khi đưa vào mô hình học sâu.

3. Khóa luận kế thừa hướng tiếp cận chính từ công trình nghiên cứu nào trên thế giới?
Mô hình nghiên cứu chính của khóa luận kế thừa hướng tiếp cận thứ hai từ công trình của Bei Liu và các cộng sự (công bố tại ACM Multimedia 2018). Hướng tiếp cận này không sinh thơ qua từ khóa trung gian mà trích xuất véc-tơ đặc trưng trực quan của ảnh, biểu diễn cùng véc-tơ thơ trên một không gian chung và dùng mạng tạo sinh đối kháng (GAN) để huấn luyện bộ sinh ngôn ngữ.

4. Hai hướng tiếp cận chính của bài toán sinh thơ từ ảnh được phân tích trong khóa luận là gì?
Hướng thứ nhất là tạo bài thơ mới dựa trên các từ khóa trích xuất được từ ảnh (thường áp dụng cho thơ tiếng Trung, tiêu biểu là nghiên cứu của Wen-Feng Cheng et al. và Yusen Liu et al.). Hướng thứ hai là tạo bài thơ dựa trên véc-tơ đặc trưng trực quan trích xuất từ ảnh thông qua không gian biểu diễn đa phương thức (nghiên cứu của Bei Liu et al.). Khóa luận chọn hướng tiếp cận thứ hai làm trọng tâm thực nghiệm.

5. Cơ chế hoạt động của mô hình LSTM-GAN trong khóa luận được thiết lập như thế nào?
Mạng LSTM đóng vai trò là bộ sinh (Generator), nhận véc-tơ đặc trưng trực quan từ ảnh để tạo ra chuỗi từ ngữ của bài thơ. Song song đó, mạng phân biệt (Discriminator) làm nhiệm vụ kiểm tra, phân định giữa bài thơ thực tế trong tập dữ liệu và bài thơ do LSTM tạo ra, cung cấp tín hiệu phản hồi ngược giúp bộ sinh liên tục tối ưu hóa trọng số để tạo ra các bài thơ tự nhiên và phù hợp với ảnh.

Kết luận

Khóa luận của Đặng Hoàng Sang và Phạm Chí Thành đã hoàn thành việc nghiên cứu, cài đặt và thử nghiệm mô hình sáng tác thơ tiếng Việt từ ảnh phong cảnh bằng việc kết hợp kiến trúc CNN, LSTM và mạng tạo sinh đối kháng GAN. Đóng góp nổi bật của công trình là việc tiên phong xây dựng bộ dữ liệu thực nghiệm UIT-I2P-Dataset gồm 2.622 cặp ảnh – thơ tiếng Việt và áp dụng kỹ thuật tách từ chuyên biệt cho ngữ liệu thơ. Kết quả nghiên cứu khẳng định tính khả thi của mô hình học sâu đa phương thức trong việc tạo ra các câu thơ tiếng Việt có liên hệ ngữ nghĩa với dữ liệu thị giác đầu vào.

Trích đoạn nội dung tài liệu

Chương 1. TỔNG QUAN 9 kể trên đều có thể gây khó khăn cho mô hình trong việc xác định tên gọi của đối tượng và có thể làm giảm hiệu năng cho hệ thống phát sinh thơ bằng ngôn ngữ tiếng Việt. © Chưa có các nghiên cứu được công bó: Hiện nay, theo tìm hiểu của nhóm tác giả thực hiện khóa luận này, chưa có một công trình nghiên cứu nào cho bài toán phát sinh thơ từ hình ảnh được công bồ, cũng như chưa có những dé xuất về phương pháp cho bài toán này. Đây là một khó khăn cho nhóm trong việc tìm hiểu, tham khảo các phương pháp, ý tưởng có thể áp dụng để giải quyết bài toán để đưa ra so sánh đánh giá.3 Tinh hình nghiên cứu Bài toán phát sinh thơ từ ảnh là bài toán được tạo thành từ nhiều bài toán khác nhau.

Nên trước khi giải quyết bài toán phát sinh thơ từ ảnh ta cần giải quyết một số bài toán tạo thành, trọng tâm như: bài toán phân tích ngữ nghĩa từ hình ảnh (Image Understanding), bài toán sinh ngữ (Language Generation), ta cũng tìm hiểu thêm về bài toán có liên quan như bài toán chú thích hình ảnh (Image Captioning).1 Tình hình nghiên cứu của các bài toán tạo thành Bài toán phân tích ngữ nghĩa hình ảnh (Image Understanding): Là một trong những bài toán quan trọng nhất của Thị giác máy tính. Mục tiêu của bài toán là từ những hình anh, máy tính có thể rút trích được những thông tin từ ảnh, các thông tin này có thể là: thông tin về các đối tượng các thành phần trong ảnh, mối liên hệ giữa các đối tượng,. Việc máy tính có thể rút trích những thông tin trên từ hình ảnh là tiền dé rất lớn để giúp máy tính có thể học được những gi có trong hình ảnh. Là một bài toán xuất hiện khá sớm trong Thị giác máy tính, đến này có rất nhiều Chương 1.

TỔNG QUAN 10 nghiên cứu về bài toán này và con người vẫn đang không ngừng nghiên cứu và cải tiến. Từ những ngày đầu, người ta rút trích thông tin ảnh bằng các thuật toán máy hoc đơn giản dựa trên những đặc trưng của hình ảnh như hoa văn[2] , biểu đồ màu sắc (41, hinh dang (5). Các cách rút trích thông tin trên đến nay vẫn hiệu quả trên một số bộ dữ liệu. Năm 2012, mang CNN xây dựng trên GPU của tác giả Alex Krizhevsky và các cộng sự đã thắng giải trong cuộc thi "ImageNet Large Scale Visual Recognition Challenge 2012" [6].

Su thành công của Alex và mang CNN của minh da mở ra một kỷ nguyên mới trong việc ứng dung các mạng học sâu vào lĩnh vực Thị giác máy tính. Đây chính là tiền dé cũng như động lực cho các kiến trúc mang học sâu mới ra đời như Google Net (Inception V1) [7], VGG [8], Resnet [9],. cũng như các phiên bản cải tiến của chúng. Việc áp dụng các kiến trúc mang học sâu giúp máy tính có thể rút trích thông tin từ ảnh một cách hiệu quả hơn, cải thiện độ chính xác của nhiều bài toán của Thị giác máy tính như: Bài toán phát hiện, phân loại đối tượng, bài toán phân đoạn hình ảnh, bài toán khoang vùng đối tượng, bài toán sinh ảnh,.

Bài toán sinh ngữ: Là một trong những bài toán quan trọng trong ngày đầu của Trí tuệ nhân tạo và không ngừng được nghiên cứu với mục tiêu máy tính có khả năng ngôn ngữ, sinh ngôn ngữ để có thể giao tiếp với con người bằng ngôn ngữ tự nhiên. Khởi đầu bài toán bằng những nghiên cứu về khả năng ngôn ngữ của máy tính dựa trên các tri thức có sẵn, các hệ thống máy tính sẽ lưu trữ tri thức và sử dụng các hệ luật đã được xây dựng để có thể sinh ngữ, giao tiếp với con người thông qua ngôn ngữ tự nhiên [10]. Năm 2003, Yoshua Bengio và các cộng sự đã giới thiệu mô hình sinh ngữ dựa trên xác suất (11), ý tưởng cũng như những lý thuyết trong bài báo này đã là tiền dé cho những mô hình tốt hơn ra đời. Những năm gan đây, đánh dấu một bước tiến của mô hình sinh ngữ với việc sử dụng mang nở rôn nhân tao.

Mô hình sinh ngữ với mạng nơ rôn đã trở thành một công cụ phổ biến được nhiều người sử dụng bởi sự hiệu quả của nó, có thể ghi nhớ được thông tin trong dài hạn Chương 1. Bài toán tự động chú thích hình ảnh: Đây là một trong những bài toán tiêu biểu nhất cho sự kết hợp giữa hai chuyên ngành thị giác máy tính và xử lý ngôn ngữ tự nhiên. Với đầu vào là một hình ảnh, hệ thống sẽ sinh ra một câu chú thích có liên quan đến hình ảnh. Năm 2004, Jia-Yu Pan và các cộng sự đã đặt vấn đề về bài toán tự động chú thích cho hình ảnh thông qua việc xem xét các sự tương quan giữa hình ảnh và câu mô tả [15].

Năm 2011, Girish Kulkarni và cộng sự đã đề xuất phương pháp chú thích cho ảnh bằng cách phân tích đối tượng trong ảnh để tìm những nhãn phù hợp sau đó điền vào một ban mẫu có san [1ö]. Năm 2015, các nghiên cứu về việc sử dụng mạng RNN để sinh câu chú thích được công bố, phương pháp này thể hiện sự hiệu quả của nó trong việc sinh ra một câu chú thích mới cho ảnh 9l. Cùng năm 2015, Ryan Kiros và các cộng sự đã công bố nghiên cứu của mình về phương pháp đưa véc-tơ biểu diễn hình ảnh (rút trích bằng mạng CNN) và véc-tơ biểu diễn câu chú thích vào cùng một không gian để xem xét mối tương quan giữa chúng, phương pháp này vừa có thể sử dung cho các bài toán truy van đồng thời vẫn có thể áp dụng cho bài toán chú thích ảnh [20]. Sau khi Oriol Vinyals và các cộng sự của mình công bồ công trình nghiên cứu của mình tại hội nghị CVPR 2015, mô hình "Show and Tell" của nhóm tác giả được cho là hiệu quả cho bài toán chú thích hình ảnh, đồng thời đoạt giải nhất cuộc thi COCO Caption Challenge 2015 [21].

Mô hình "Show and Tell" là sự kết hop giữa phương pháp rút trích đặc trưng hình ảnh bằng mạng CNN và phát sinh câu chú thích bằng mạng LSTM, mô hình nay đã tạo tiền dé cho nhiều phiên bản cải tiến phát triển sau này. Năm 2016, Kelvin Xu và các cộng sự đã công bố mô hình "Show, Attend and Tell" và trở thành xu hướng thịnh hành nhất cho bài toán chú thích hình ảnh [22]. Bằng các giới thiệu cơ chế Attention, thay vì sử dụng thông tin toàn cục về hình ảnh một cách không chọn lọc như ở mô hình "Show and Tell", mô hình "Show, Attend and Tell" sinh ra phân Chương 1. TỔNG QUAN 12 phối cho mỗi vùng trong bức ảnh trước khi sinh ra một từ mới, sau đó tiến hành cộng dồn có trọng số (weighted sum) phân phối này với thông tin ở từng vùng ảnh tương ứng để tạo thành véc-tơ ngữ cảnh.

Véc-tơ này sẽ mang thông tin quan trọng từ hình ảnh sau đó được sử dụng vào đầu vào của mô hình sinh ngữ. Từ các kết quả dat được của 2 mô hình "Show and Tell" và "Show, Attend and Tell" nêu ở trên đã tao động lực cho các nghiên cứu cải tiến sau này [25]. Hién nay phuong phap sử dung CNN dé rút trích đặc trưng anh và sử dung các mô hình ngôn ngữ để sinh ngữ còn được gọi là kiến trúc Encoder-Decoder. Các bài toán phát sinh thơ từ hình ảnh sau này cũng phát triển dựa trên những ý tưởng này.

Mạng tạo sinh đối kháng (GAN): Là một kiến trúc mạng do lan Goodfellow và cộng sự thiết kế vào năm 2014 [26]. Kiến trúc của mang GAN gồm 2 mạng nơ-rôn khác, trong đó 1 mạng nơ-rôn đóng vai trò sinh dữ liệu (Generator) mạng còn lại có vai trò kiểm tra dữ liệu được sinh ra (Discriminator), thông qua việc huấn luyện 2 mạng nơ-rôn này sẽ giúp mạng nơ-rôn sinh dữ liệu có khả năng tạo ra những dw liệu mới giống với thực tế nhất. Mang GAN thường được sử dụng để sinh hình ảnh kiến trúc hay được sử dụng nhất có thể kể đến như Conditional Generative Adversarial Nets (CDGAN) do Mehdi Mirza và cộng sự thiết kế năm 2014 [27]. Tinh dén hién tại có rat nhiều phiên ban mang GAN khác nhau được công bố, tuy nhiên các mang này vẫn có kiến trúc chính gồm 2 mạng nơ-rôn như kiến trúc gốc.

Ngoài ứng dụng để sinh ảnh, kiến trúc mạng GAN vẫn có thể được sử dụng trong các bài toán sinh ngôn ngữ, tiêu biểu có thể kể đến SegGAN do Lantao Yu và cộng sự công bố năm 2016 [28].2 Bài toán tự động phát sinh thơ ở Việt Nam Bài toán tự động phát sinh thơ là một đề tài thú vị, tuy nhiên tính đến thời điểm hiện tại và theo tìm hiểu của nhóm thực hiện khóa luận, vẫn chưa có nhiều bài báo hay các nghiêm cứu được công bồ liên quan đến dé tài này nên vẫn chưa tạo được Chương 1. TỔNG QUAN 13 quá nhiều sự chú ý và thu hút nhiều sự quan tâm. Trong các nghiên cứu đáng chú ý là công trình của nhóm nghiên cứu đến từ Công ty Cổ phần Công nghệ Tỉnh Vân Hà Nội, nhóm nghiên cứu đã phát triển một ứng dụng web với tên gọi Dịch vụ Thơ Máy. Dịch vụ Thơ Máy có nhiều tính năng khác nhau cho việc sáng tác bài thơ mới, trong đó có 2 tính năng nổi bật nhất: Máy sáng tác thơ và Sáng tác thơ dựa trên đoạn văn.

se Máy sáng tác thơ: Tính năng này cho phép người dùng chọn một thể loại thơ: Lục bát, tám chữ, sáu chữ, haiku,. Và một phong cách thơ: Xuân Diệu, Hồ Xuân Hương, Hàn Mạc Tử, Ca dao tục ngữ,. Sau đó máy sẽ tự động sáng tác một khổ thơ gồm 4 câu dựa trên lựa chọn của người dùng. © Sáng tác thơ dựa trên đoạn văn: Đối với tính năng này, người dùng đầu tiên sẽ chọn một thể loại thơ, sau đó nhập vào một đoạn văn xuôi, mỗi một câu sẽ được sắp xếp lại và tạo thành một câu thơ.

Dịch vụ Thơ Máy khi mới ra mắt đã gây được sự chú ý và thích thú của nhiều người về tính mới lạ cũng như thú vị của nó. Các bài thơ được sáng tác ra thường đảm bảo chặt chẽ về cấu trúc, niêm luật của thể loại thơ mà người dùng chọn và có ý nghĩa.