Mô Hình Sáng Tác Thơ Dựa Trên Nội Dung Hình Ảnh Sử Dụng Mạng Tạo Sinh

Luận văn tốt nghiệp nghiên cứu tốt nghiệp khoa học máy tính mô hình sáng tác thơ từ nội dung ảnh sử dụng mạng tạo sinh, điều tra thực trạng, phân tích số liệu, đề xuất biện pháp

• Tác giả: Đặng Hoàng Sang
• Người hướng dẫn: TS. Nguyễn Vinh Tiệp
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Khoa học máy tính
• Đề tài: Mô Hình Sáng Tác Thơ Từ Nội Dung Ảnh Sử Dụng Mạng Tạo Sinh
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2021
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Đặt vấn đề
• 1.2. Bài toán phát sinh thơ từ hình ảnh
• 1.3. Giới thiệu bài toán
• 1.4. Tính ứng dụng và nghiên cứu
• 1.5. Một số thách thức của bài toán
• 1.6. Tình hình nghiên cứu
• 1.7. Phạm vi nghiên cứu
• 1.8. Đóng góp chi tiết
• 2. CHƯƠNG 2: KIẾN THỨC NỀN TẢNG
• 2.1. Tổng quan về mạng nơ-ron nhân tạo
• 2.2. Mạng lan truyền đa tầng thuận
• 2.3. Giới thiệu mạng nơ-ron tích chập
• 2.4. Lớp kết nối đầy đủ
• 2.5. Mạng nơ-ron tích chập ResNet
• 2.6. Mạng nơ-ron hồi quy
• 2.7. Giới thiệu mạng nơ-ron hồi quy
• 2.8. Bài toán truy vấn thông tin
• 2.9. Các phương pháp biểu diễn truyền thống
• 3. CHƯƠNG 3: BÀI TOÁN PHÁT SINH THƠ TỪ ẢNH KẾT HỢP CÁC PHƯƠNG PHÁP HỌC SÂU
• 3.1. Mô hình truy vấn thơ dựa vào từ khóa trích xuất được từ ảnh
• 3.2. Mô hình truy vấn thơ dựa vào véc-tơ trực quan của hình ảnh
• 3.3. Mô hình sáng tác thơ dựa vào hình ảnh sử dụng mạng tạo sinh đối kháng
• 4. CHƯƠNG 4: XÂY DỰNG BỘ DỮ LIỆU
• 4.1. Thu thập dữ liệu thơ
• 4.2. Xây dựng bộ dữ liệu bao gồm các cặp hình ảnh và thơ (UIT-I2P-Dataset)
• 4.3. Ghép cặp hình ảnh và thơ
• 4.4. Xử lý ảnh trùng
• 4.5. Tổng kết bộ dữ liệu thu được
• 5. CHƯƠNG 5: THỰC NGHIỆM, ĐÁNH GIÁ KẾT QUẢ
• 5.1. Môi trường hệ thống
• 5.2. Các công cụ, thư viện hỗ trợ
• 5.3. Cấu hình máy thực nghiệm
• 5.4. Đánh giá bởi con người (Human Judgment)
• 5.5. Các thông số khi huấn luyện mô hình
• 5.6. Quá trình huấn luyện mô hình
• 5.7. Huấn luyện mô hình biểu diễn hình ảnh và thơ
• 5.8. Huấn luyện mô hình sinh thơ LSTM-GAN
• 5.9. Kết quả thu được, nhận xét và đánh giá
• 6. CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 6.1. Kết luận
• 6.2. Hướng phát triển
• TÀI LIỆU THAM KHẢO
• DANH SÁCH HÌNH VẼ
• DANH SÁCH BẢNG
• DANH SÁCH TỪ VIẾT TẮT
• TÓM TẮT KHÓA LUẬN

Tóm tắt

I. Tổng quan về mô hình sáng tác thơ từ nội dung ảnh

Mô hình sáng tác thơ từ nội dung ảnh sử dụng mạng tạo sinh đang trở thành một xu hướng nghiên cứu thú vị trong lĩnh vực trí tuệ nhân tạo. Bài toán này không chỉ kết hợp giữa thị giác máy tính và xử lý ngôn ngữ tự nhiên mà còn mở ra nhiều cơ hội cho việc sáng tạo nghệ thuật. Việc phát sinh thơ từ hình ảnh không chỉ là một thách thức mà còn là một cách để thể hiện cảm xúc và ý tưởng thông qua ngôn ngữ. Mô hình này có thể tạo ra những bài thơ mang đậm bản sắc văn hóa Việt Nam, đặc biệt là thể thơ lục bát.

1.1. Khái niệm về mô hình sáng tác thơ tự động

Mô hình sáng tác thơ tự động là hệ thống có khả năng tạo ra thơ ca dựa trên nội dung hình ảnh đầu vào. Hệ thống này sử dụng các thuật toán học sâu để phân tích và hiểu nội dung của hình ảnh, từ đó sinh ra các câu thơ có liên quan.

1.2. Tính ứng dụng của mô hình trong văn học

Mô hình này không chỉ có giá trị trong nghiên cứu mà còn có thể ứng dụng trong giáo dục, nghệ thuật và giải trí. Việc tạo ra thơ từ hình ảnh có thể giúp nâng cao khả năng sáng tạo và cảm nhận nghệ thuật của người dùng.

II. Thách thức trong việc phát sinh thơ từ hình ảnh

Bài toán phát sinh thơ từ hình ảnh đối mặt với nhiều thách thức lớn. Đầu tiên, việc khai thác nội dung từ hình ảnh đòi hỏi các mô hình học sâu phải có khả năng nhận diện và phân tích các đối tượng trong ảnh. Thứ hai, việc tạo ra thơ ca không chỉ đơn thuần là ghép nối từ ngữ mà còn phải tuân thủ các quy tắc về ngữ pháp và vần điệu. Những thách thức này cần được giải quyết để mô hình hoạt động hiệu quả.

2.1. Khó khăn trong việc nhận diện đối tượng

Việc nhận diện đối tượng trong hình ảnh là một trong những thách thức lớn nhất. Các mô hình cần phải được huấn luyện với một lượng lớn dữ liệu để có thể phân tích chính xác các yếu tố trong ảnh.

2.2. Đảm bảo tính nghệ thuật trong thơ

Tạo ra thơ không chỉ là việc sắp xếp từ ngữ mà còn phải đảm bảo tính nghệ thuật và cảm xúc. Điều này đòi hỏi mô hình phải có khả năng hiểu sâu sắc về ngữ nghĩa và cảm xúc của từ.

III. Phương pháp xây dựng mô hình sáng tác thơ

Để xây dựng mô hình sáng tác thơ từ nội dung ảnh, cần áp dụng các phương pháp học sâu như CNN, RNN và GAN. CNN giúp rút trích đặc trưng từ hình ảnh, trong khi RNN và GAN hỗ trợ trong việc sinh ra các câu thơ. Sự kết hợp này tạo ra một mô hình mạnh mẽ có khả năng tạo ra thơ ca từ hình ảnh đầu vào.

3.1. Sử dụng mạng nơ ron tích chập CNN

Mạng CNN được sử dụng để phân tích và rút trích đặc trưng từ hình ảnh. Điều này giúp mô hình hiểu rõ hơn về nội dung và ngữ cảnh của hình ảnh.

3.2. Ứng dụng mạng hồi quy RNN trong sáng tác thơ

Mạng RNN giúp sinh ra các câu thơ dựa trên các đặc trưng đã được rút trích từ hình ảnh. Mô hình này có khả năng duy trì thông tin qua các bước thời gian, giúp tạo ra các câu thơ liên kết chặt chẽ.

3.3. Tối ưu hóa với mạng tạo sinh đối kháng GAN

Mạng GAN được sử dụng để cải thiện chất lượng của thơ được sinh ra. Bằng cách tạo ra các đối thủ cạnh tranh, mô hình có thể học hỏi và cải thiện liên tục.

IV. Kết quả nghiên cứu và ứng dụng thực tiễn

Kết quả nghiên cứu cho thấy mô hình có khả năng tạo ra thơ từ hình ảnh với nội dung liên quan. Các bài thơ được sinh ra không chỉ đáp ứng các quy tắc về ngữ pháp mà còn mang tính nghệ thuật cao. Mô hình này có thể được ứng dụng trong nhiều lĩnh vực như giáo dục, nghệ thuật và giải trí.

4.1. Đánh giá chất lượng thơ sinh ra

Chất lượng của thơ được sinh ra được đánh giá dựa trên các tiêu chí như ngữ nghĩa, cảm xúc và tính nghệ thuật. Các bài thơ này đã nhận được phản hồi tích cực từ người dùng.

4.2. Ứng dụng trong giáo dục và nghệ thuật

Mô hình có thể được sử dụng trong các lớp học để giúp học sinh hiểu rõ hơn về thơ ca và phát triển khả năng sáng tạo. Ngoài ra, nó cũng có thể được áp dụng trong các dự án nghệ thuật.

V. Kết luận và hướng phát triển tương lai

Mô hình sáng tác thơ từ nội dung ảnh sử dụng mạng tạo sinh đã mở ra nhiều cơ hội mới trong nghiên cứu và ứng dụng. Tuy nhiên, vẫn còn nhiều thách thức cần được giải quyết. Hướng phát triển tương lai có thể bao gồm việc mở rộng bộ dữ liệu và cải thiện các thuật toán để nâng cao chất lượng thơ.

5.1. Hướng phát triển bộ dữ liệu

Việc xây dựng một bộ dữ liệu phong phú và đa dạng sẽ giúp mô hình hoạt động hiệu quả hơn. Cần thu thập thêm nhiều cặp hình ảnh và thơ để cải thiện khả năng sinh thơ.

5.2. Cải tiến thuật toán và mô hình

Cần nghiên cứu và phát triển các thuật toán mới để nâng cao khả năng nhận diện và sinh thơ. Việc cải tiến mô hình sẽ giúp tạo ra những bài thơ chất lượng hơn.

Trích đoạn nội dung tài liệu

Chương 1. TỔNG QUAN 9 kể trên đều có thể gây khó khăn cho mô hình trong việc xác định tên gọi của đối tượng và có thể làm giảm hiệu năng cho hệ thống phát sinh thơ bằng ngôn ngữ tiếng Việt. © Chưa có các nghiên cứu được công bó: Hiện nay, theo tìm hiểu của nhóm tác giả thực hiện khóa luận này, chưa có một công trình nghiên cứu nào cho bài toán phát sinh thơ từ hình ảnh được công bồ, cũng như chưa có những dé xuất về phương pháp cho bài toán này. Đây là một khó khăn cho nhóm trong việc tìm hiểu, tham khảo các phương pháp, ý tưởng có thể áp dụng để giải quyết bài toán để đưa ra so sánh đánh giá.3 Tinh hình nghiên cứu Bài toán phát sinh thơ từ ảnh là bài toán được tạo thành từ nhiều bài toán khác nhau.

Nên trước khi giải quyết bài toán phát sinh thơ từ ảnh ta cần giải quyết một số bài toán tạo thành, trọng tâm như: bài toán phân tích ngữ nghĩa từ hình ảnh (Image Understanding), bài toán sinh ngữ (Language Generation), ta cũng tìm hiểu thêm về bài toán có liên quan như bài toán chú thích hình ảnh (Image Captioning).1 Tình hình nghiên cứu của các bài toán tạo thành Bài toán phân tích ngữ nghĩa hình ảnh (Image Understanding): Là một trong những bài toán quan trọng nhất của Thị giác máy tính. Mục tiêu của bài toán là từ những hình anh, máy tính có thể rút trích được những thông tin từ ảnh, các thông tin này có thể là: thông tin về các đối tượng các thành phần trong ảnh, mối liên hệ giữa các đối tượng,. Việc máy tính có thể rút trích những thông tin trên từ hình ảnh là tiền dé rất lớn để giúp máy tính có thể học được những gi có trong hình ảnh. Là một bài toán xuất hiện khá sớm trong Thị giác máy tính, đến này có rất nhiều Chương 1.

TỔNG QUAN 10 nghiên cứu về bài toán này và con người vẫn đang không ngừng nghiên cứu và cải tiến. Từ những ngày đầu, người ta rút trích thông tin ảnh bằng các thuật toán máy hoc đơn giản dựa trên những đặc trưng của hình ảnh như hoa văn[2] , biểu đồ màu sắc (41, hinh dang (5). Các cách rút trích thông tin trên đến nay vẫn hiệu quả trên một số bộ dữ liệu. Năm 2012, mang CNN xây dựng trên GPU của tác giả Alex Krizhevsky và các cộng sự đã thắng giải trong cuộc thi "ImageNet Large Scale Visual Recognition Challenge 2012" [6].

Su thành công của Alex và mang CNN của minh da mở ra một kỷ nguyên mới trong việc ứng dung các mạng học sâu vào lĩnh vực Thị giác máy tính. Đây chính là tiền dé cũng như động lực cho các kiến trúc mang học sâu mới ra đời như Google Net (Inception V1) [7], VGG [8], Resnet [9],. cũng như các phiên bản cải tiến của chúng. Việc áp dụng các kiến trúc mang học sâu giúp máy tính có thể rút trích thông tin từ ảnh một cách hiệu quả hơn, cải thiện độ chính xác của nhiều bài toán của Thị giác máy tính như: Bài toán phát hiện, phân loại đối tượng, bài toán phân đoạn hình ảnh, bài toán khoang vùng đối tượng, bài toán sinh ảnh,.

Bài toán sinh ngữ: Là một trong những bài toán quan trọng trong ngày đầu của Trí tuệ nhân tạo và không ngừng được nghiên cứu với mục tiêu máy tính có khả năng ngôn ngữ, sinh ngôn ngữ để có thể giao tiếp với con người bằng ngôn ngữ tự nhiên. Khởi đầu bài toán bằng những nghiên cứu về khả năng ngôn ngữ của máy tính dựa trên các tri thức có sẵn, các hệ thống máy tính sẽ lưu trữ tri thức và sử dụng các hệ luật đã được xây dựng để có thể sinh ngữ, giao tiếp với con người thông qua ngôn ngữ tự nhiên [10]. Năm 2003, Yoshua Bengio và các cộng sự đã giới thiệu mô hình sinh ngữ dựa trên xác suất (11), ý tưởng cũng như những lý thuyết trong bài báo này đã là tiền dé cho những mô hình tốt hơn ra đời. Những năm gan đây, đánh dấu một bước tiến của mô hình sinh ngữ với việc sử dụng mang nở rôn nhân tao.

Mô hình sinh ngữ với mạng nơ rôn đã trở thành một công cụ phổ biến được nhiều người sử dụng bởi sự hiệu quả của nó, có thể ghi nhớ được thông tin trong dài hạn Chương 1. Bài toán tự động chú thích hình ảnh: Đây là một trong những bài toán tiêu biểu nhất cho sự kết hợp giữa hai chuyên ngành thị giác máy tính và xử lý ngôn ngữ tự nhiên. Với đầu vào là một hình ảnh, hệ thống sẽ sinh ra một câu chú thích có liên quan đến hình ảnh. Năm 2004, Jia-Yu Pan và các cộng sự đã đặt vấn đề về bài toán tự động chú thích cho hình ảnh thông qua việc xem xét các sự tương quan giữa hình ảnh và câu mô tả [15].

Năm 2011, Girish Kulkarni và cộng sự đã đề xuất phương pháp chú thích cho ảnh bằng cách phân tích đối tượng trong ảnh để tìm những nhãn phù hợp sau đó điền vào một ban mẫu có san [1ö]. Năm 2015, các nghiên cứu về việc sử dụng mạng RNN để sinh câu chú thích được công bố, phương pháp này thể hiện sự hiệu quả của nó trong việc sinh ra một câu chú thích mới cho ảnh 9l. Cùng năm 2015, Ryan Kiros và các cộng sự đã công bố nghiên cứu của mình về phương pháp đưa véc-tơ biểu diễn hình ảnh (rút trích bằng mạng CNN) và véc-tơ biểu diễn câu chú thích vào cùng một không gian để xem xét mối tương quan giữa chúng, phương pháp này vừa có thể sử dung cho các bài toán truy van đồng thời vẫn có thể áp dụng cho bài toán chú thích ảnh [20]. Sau khi Oriol Vinyals và các cộng sự của mình công bồ công trình nghiên cứu của mình tại hội nghị CVPR 2015, mô hình "Show and Tell" của nhóm tác giả được cho là hiệu quả cho bài toán chú thích hình ảnh, đồng thời đoạt giải nhất cuộc thi COCO Caption Challenge 2015 [21].

Mô hình "Show and Tell" là sự kết hop giữa phương pháp rút trích đặc trưng hình ảnh bằng mạng CNN và phát sinh câu chú thích bằng mạng LSTM, mô hình nay đã tạo tiền dé cho nhiều phiên bản cải tiến phát triển sau này. Năm 2016, Kelvin Xu và các cộng sự đã công bố mô hình "Show, Attend and Tell" và trở thành xu hướng thịnh hành nhất cho bài toán chú thích hình ảnh [22]. Bằng các giới thiệu cơ chế Attention, thay vì sử dụng thông tin toàn cục về hình ảnh một cách không chọn lọc như ở mô hình "Show and Tell", mô hình "Show, Attend and Tell" sinh ra phân Chương 1. TỔNG QUAN 12 phối cho mỗi vùng trong bức ảnh trước khi sinh ra một từ mới, sau đó tiến hành cộng dồn có trọng số (weighted sum) phân phối này với thông tin ở từng vùng ảnh tương ứng để tạo thành véc-tơ ngữ cảnh.

Véc-tơ này sẽ mang thông tin quan trọng từ hình ảnh sau đó được sử dụng vào đầu vào của mô hình sinh ngữ. Từ các kết quả dat được của 2 mô hình "Show and Tell" và "Show, Attend and Tell" nêu ở trên đã tao động lực cho các nghiên cứu cải tiến sau này [25]. Hién nay phuong phap sử dung CNN dé rút trích đặc trưng anh và sử dung các mô hình ngôn ngữ để sinh ngữ còn được gọi là kiến trúc Encoder-Decoder. Các bài toán phát sinh thơ từ hình ảnh sau này cũng phát triển dựa trên những ý tưởng này.

Mạng tạo sinh đối kháng (GAN): Là một kiến trúc mạng do lan Goodfellow và cộng sự thiết kế vào năm 2014 [26]. Kiến trúc của mang GAN gồm 2 mạng nơ-rôn khác, trong đó 1 mạng nơ-rôn đóng vai trò sinh dữ liệu (Generator) mạng còn lại có vai trò kiểm tra dữ liệu được sinh ra (Discriminator), thông qua việc huấn luyện 2 mạng nơ-rôn này sẽ giúp mạng nơ-rôn sinh dữ liệu có khả năng tạo ra những dw liệu mới giống với thực tế nhất. Mang GAN thường được sử dụng để sinh hình ảnh kiến trúc hay được sử dụng nhất có thể kể đến như Conditional Generative Adversarial Nets (CDGAN) do Mehdi Mirza và cộng sự thiết kế năm 2014 [27]. Tinh dén hién tại có rat nhiều phiên ban mang GAN khác nhau được công bố, tuy nhiên các mang này vẫn có kiến trúc chính gồm 2 mạng nơ-rôn như kiến trúc gốc.

Ngoài ứng dụng để sinh ảnh, kiến trúc mạng GAN vẫn có thể được sử dụng trong các bài toán sinh ngôn ngữ, tiêu biểu có thể kể đến SegGAN do Lantao Yu và cộng sự công bố năm 2016 [28].2 Bài toán tự động phát sinh thơ ở Việt Nam Bài toán tự động phát sinh thơ là một đề tài thú vị, tuy nhiên tính đến thời điểm hiện tại và theo tìm hiểu của nhóm thực hiện khóa luận, vẫn chưa có nhiều bài báo hay các nghiêm cứu được công bồ liên quan đến dé tài này nên vẫn chưa tạo được Chương 1. TỔNG QUAN 13 quá nhiều sự chú ý và thu hút nhiều sự quan tâm. Trong các nghiên cứu đáng chú ý là công trình của nhóm nghiên cứu đến từ Công ty Cổ phần Công nghệ Tỉnh Vân Hà Nội, nhóm nghiên cứu đã phát triển một ứng dụng web với tên gọi Dịch vụ Thơ Máy. Dịch vụ Thơ Máy có nhiều tính năng khác nhau cho việc sáng tác bài thơ mới, trong đó có 2 tính năng nổi bật nhất: Máy sáng tác thơ và Sáng tác thơ dựa trên đoạn văn.

se Máy sáng tác thơ: Tính năng này cho phép người dùng chọn một thể loại thơ: Lục bát, tám chữ, sáu chữ, haiku,. Và một phong cách thơ: Xuân Diệu, Hồ Xuân Hương, Hàn Mạc Tử, Ca dao tục ngữ,. Sau đó máy sẽ tự động sáng tác một khổ thơ gồm 4 câu dựa trên lựa chọn của người dùng. © Sáng tác thơ dựa trên đoạn văn: Đối với tính năng này, người dùng đầu tiên sẽ chọn một thể loại thơ, sau đó nhập vào một đoạn văn xuôi, mỗi một câu sẽ được sắp xếp lại và tạo thành một câu thơ.

Dịch vụ Thơ Máy khi mới ra mắt đã gây được sự chú ý và thích thú của nhiều người về tính mới lạ cũng như thú vị của nó. Các bài thơ được sáng tác ra thường đảm bảo chặt chẽ về cấu trúc, niêm luật của thể loại thơ mà người dùng chọn và có ý nghĩa.