Chương 1: Giới thiệu. Chương này giới thiệu về bài toán, các kiến thức tổng quan về bài toán, phạm vi đề tài và những đóng góp chính của đề tài. e Chương 2: Các phương pháp liên quan. Chương này trình bày về một số nghiên cứu có liên quan đến đề tài.
e Chương 3: Framework Dual-Transformer. Chương này chúng tôi đề xuất mô hình giải quyết bài toán sinh thơ lục bát từ ảnh phong cảnh Việt Nam. e Chương 4: Bộ dữ liệu UIT-Visual68Poem. Chương này giới thiệu về bộ dit liệu UIT-Visual68Poem cho bài toán sinh thơ lục bát từ ảnh phong cảnh Việt Nam.
e Chương 5: Trình bày các thực nghiệm, so sánh các mô hình cho bài toán sinh thơ lục bát từ ảnh phong cảnh Việt Nam. e Chương 6: Kết luận. Chương này tổng hợp một số nội dung và đông góp của đề tài và các hướng phát triển trong tương lai. Chương 2 Các phương pháp liên quan cho bài toán sinh thơ từ ảnh 2.1 Mô hình một giai đoạn Vấn đề của bài toán “Sinh thơ từ ảnh” vẫn còn nhiều khó khăn như việc sinh thơ đảm bảo các quy luật về vần điệu, thể thơ, bài thơ sinh ra phải có nội dung liên quan đến nội dung của ảnh đầu vào.
Các hướng tiếp cận cho bài toán này khá đa dạng, một trong số các hướng tiếp cận đó là hướng tiếp cận theo bài toán Sinh mô tả cho ảnh (Image Captioning). Hướng tiếp cận này thường sẽ sử dụng mô hình mạng tính chap CNN để rút trích đặc trưng ảnh và đưa qua mô hình mạng hồi quy RNN để sinh thơ. Một trong số mô hình áp dụng hướng này là mô hình của Bei Liu và các cộng sự [1| sử dụng cách huấn luyện đa đối kháng thông qua thuật toán học tăng cường Policy Gradient nhằm đảm bảo việc văn bản sinh ra mang tính thơ ca và có độ liên qua giữa văn bản và ảnh (Hình. Tuy nhiên, mô hình này đòi hỏi phải có bộ dữ liệu đủ lớn để mô hình có thể học được mối tương quan giữa ảnh và thơ từ đó sinh ra thơ theo luật và liên quan đến ảnh đầu vào.
Do bộ dữ liệu ảnh sang thơ lục bát khá ít nên dẫn đến kết quả không tốt cho bài toán sinh thơ lục bát từ ảnh. Một số thơ sinh ra có những đối tượng không liên quan đến ảnh đầu vào và thơ không theo quy luật của thơ lục bát. Kết quả được thể hiện qua phần |5.3| ở chương | Deep Coupled Visual-Poetic Embedding Model 1| Generator as Agent I Discriminators as Rewards | | F | (b) Poetic CNN features | | II (g) Multi-Modal Discriminator | i | II tacong Dare). Ị ls 2 Ke) Munemedalspace'|) <BOS> | ' Paired @| : | if li ee |,| i Generated Ị Ï ¬ i| | e e ee Unpaired @l } | ° e | buttercups | | _#| | 2 : | (h) Poem-Style Discriminator | ge] | ae 2G t | POS parses —Y Hị| lŠg -_› = xa _— el:— ose | | @mmepssse |Ễ “| [38 (ie HN ¡ (Poetic @| Ị | (2) ch the pretty flowers =_= || II Generated @ | |_ (@)coming ere te springtime Mean pooling + | HH ' h (4) to tel of sunny hours a ” iI Disordered @ | | "——> O0?00 —> ) mmmmaan | II h Paragraphic@] | | OO — | | pp Lr \ (c) skip-thought model sa | (a) image and poem pairs trained on UniM-Poem (d) sentence features | | _ (0FRNN generator - i a ice eeAG 7 AC,Ns 1 l§ Pace rar nets FES ES eR SE J +— (i) Policy Gradient — Hình 2.1: Mô hình sinh tho từ ảnh sử dung phương pháp huấn luyện đa đối kháng [I|.2 Mo hình hai giai đoạn Có các hướng tiếp cận khác là tách một bài toán lớn ra thành các bài toán con nhỏ dễ giải quyết.
Ví dụ như phương pháp dựa trên ghi nhớ rút trích các đối tượng quan trọng có trong ảnh đầu vào giúp cho việc tạo thơ mang được các thông tin hình ảnh quan trọng có trong ảnh đầu vào (2) ( Hình |2. Dé tao ra các bai thơ mang tính nghệ thuật, mô hình sinh anh từ thơ |3 (3) ( Hình {2.3) dua trên cách người làm thơ cảm nhận cảnh vat xung quanh từ đó nghĩ đến những yêu tố ngoài có liên quan đến cảnh vật hiện tại dựa trên những trải nghiệm của người làm thơ. Hệ thống nhận ảnh đầu vào và sinh ra từ khóa có trong ảnh. Sau đó các từ khóa khác liên quan đến các từ khóa trong ảnh sẽ được chọn lọc và được đưa thêm vào bằng cách truy vấn dựa trên các bài thơ được tạo ra bởi con người.
Mỗi từ khóa là mỗi câu thơ. R Ba + # 1R ag , 3 ss The sunlit Censer peak exhales a wreath of cloud (mountain) Keyword (tre) = Extraction as ml 38 Ay SẼ h 4 AT J1] (ng) Like an upended stream the cataract sounds loud RB (sky) "Ki TZ#fK Its torrent dashes down three thousand feet from high LI Visual Feature Visual Feature HRA BAR Extraction Vectors As if the Silver River fell from azure sky Hình 2.2: Mô hình sinh thơ từ anh sử dụng phương pháp ghi nhớ (2). 3Ñ Tỳ (city) SRA 4 He SP SS Britt ( um (The7 cityE: flowsr slowly behind him, tr (traffic light) ' Keyword hung Sth 238 (Road) Filtering ‡## (busy) My life is busy.5 Expansion Evaluator Accept | 21k A AR Hy place no one knows. elm KF (smile) when With lips curl into phony smile.
high score Keyword Generation Poem Generation Hình 2.3: Mô hình sinh thơ từ ảnh sử dụng phương pháp mở rộng từ khóa lì. Một cách khác là kết hợp giữa các từ khóa với những thông tin trừu tượng như thông tin về mùa màng hay thời tiết sửa dung các mô hình phân lớp với đầu vào là ảnh phong cảnh. Điều này giúp cải thiện tính nhất quán về nội dung của giữa thơ sinh ra và ảnh đầu vào |4| (Hình b. Image Information Extraction %* Cloud-kissing peak Concrete Information 4M a Keywords & Snow id a fa Extraction eo Retrieve & Expand #1 Mountains 32 Reach up to the sky Abstract Abstract Information Information Extraction Vectors Poetry Generation BEB, fe eee Pars Thousands of cloud-kissing peaks up to the clear sky.
Cloud-kissing peak PAHMESH. 00600 ly ~~~ * The sunlight shines on the snowy world. Sa PRE, ig -—-———-— fy Standing on high overlooking the mountains, Mountains ——— au Reach up to the sky 2.1 Giai đoạn rút trích đặc trưng anh Mục tiêu của mô hình rút trích đặc trưng ảnh chủa nhóm là để giải quyết bài toán từ ảnh sinh từ khóa. Một hướng tiếp cận cho vấn đề này cũng là hướng mà hiện nay có nghiều nghiên cứu đạt đến độ chính xác khá cao là hướng tiếp cận phát hiện đối tượng (Object Detection) (Hình [2.
10 Mô hình ảnh sóng biển bờ sinh từ khóa Có thể nói bài toán phát hiện đối tượng đẽ được nghiên cứu khá lâu và cho đến hiện nay vẫn được người người quan tâm, đã có nhiều mô hình được sinh ra nhắm nâng cao độ chính xác, tối ưu hóa thời gian thực thi và đã được ứng dụng ra ngoài xã hội để xử lý những công việc con người không thể làm được. Các mô hình hiện nay đạt độ chính xác cao đang hướng tới việc sử dụng kiến trúc Transformer lỗ như mô hình Swin Transformer [7| hay mô hình DETR BỸ Các mô hình déu đạt kết quả cao trong bài toán phát hiện đối tượng. Do có nhiều bộ dữ liệu về bài toán này nên đây có thể là một lợi thế cho hướng tiếp cận này. Tuy nhiên, vẫn có vấn đề cho hướng tiếp cận này trong việc giải quyết bài toán ảnh sinh từ khóa.
Vấn đề là bài toán của nhóm không có bộ dữ liệu phù hợp nào được công khai rộng rãi, cụ thể là các từ khóa liên quan đến các đối tượng 11 phong cảnh Việt Nam. Buộc nhóm phải tự tạo một bộ dữ liệu riêng, hơn thế, để tạo ra bộ đữ liệu cho các mô hình trên giải quyết phải bao gồm các bounding box cho các đối tượng trong ảnh và số lượng mẫu trong bộ dữ liệu phải nhiều để đủ cho các mô hình trên có thể học và cho ra kết quả tốt. Có một hướng tiếp cận khác là sử dụng các mô hình cho bài toán phân loại đa nhãn (Multi-label Classification). Bai toán này có đầu vào là ảnh và đầu ra là các nhãn đối tượng có trong ảnh.
Bài toán phân loại đa nhãn và phát hiện đối tượng đều có đầu vào là ảnh và đầu ra nhãn đối tượng có trong ảnh, tuy nhiên bài toán phân loại đa nhãn không cần đến bounding box trong đữ liệu và các mô hình trong bài toán này không cần bộ dữ liệu có số lượng lớn dẫn đến việc sử dụng các mô hình trong bài toán này để giải quyết bài toán từ ảnh sinh từ khóa là một lựa chọn của nhóm. Các mô hình trong bài toán này có hai hướng chính là sử dụng Graph và mô hình Transformer. Hiện nay, hướng tiếp cận Transformer được nghiên cứu rộng rãi do mô hình Graph có thể học các mối tương quan một cách mập mờ trường hợp bộ dữ liệu không đủ để mô hình có thể học tốt lBl: 2.2 Giai đoạn sinh văn ban Hiện nay các mô hình sinh văn bản dùng để giải quyết các bài toán như dịch máy, tóm tắt văn bản, Q&A,. Hầu hết các mô hình đều dựa trên mô hình Transformers (6).
Điểm chung đều có hai mô hình encoder để mã hóa các câu đầu vào thành các véc-tơ và decoder từ các véc-td sé sinh ra các câu phù hợp với bài toán. Một số mô hình như BigBird và mô hình T5 đạt độ F1 cao nhất ở một số bộ dữ liệu thuộc bài toán Q&A, mô hình DeLighT [11] đạt độ BLEU cao ở bộ dữ liệu thuộc bài toán dịch máy. Theo [12], những nghiên cứu trước đây đã chứng minh được việc sử dụng mô hình có cấu trúc mã hóa-giải mã có thể tạo ra bài thơ Trung Quốc. Các mô hình đã phát triển từ kiến trúc đó và cải thiện thêm cho mô hình có thể sinh ra một bài thơ có nghĩa, các câu thơ có sự liên kết với nhau.
Tuy nhiên, với sự phát triển của mô hình ngôn ngữ, một số bài toán cần tới kiến trúc mã hóa-giải mã được giải quyết bởi decoder của Transformer là GPT-2. Ở lĩnh vực âm nhạc, mô hình Music Transformer chỉ sử dụng phan decoder của Transformer để sinh đoạn nhạc. Sinh bản nhac cũng như là một mô hình ngôn ngữ, chỉ cần mô hình học nhạc một cách tự động, không cần giám sát và sau đó tận hưởng thành quả. Các đoạn nhạc được thể hiện bằng các véc-tơ(Hình 2-7).