Khóa Luận Tốt Nghiệp: Bài Toán Phát Sinh Mô Tả Ảnh Trong Bộ Dữ Liệu Tiếng Việt

Khóa luận tốt nghiệp về image captioning trong bộ dữ liệu tiếng Việt, khám phá ứng dụng và tiềm năng trong lĩnh vực khoa học máy tính.

• Tác giả: Trần Trung Anh
• Người hướng dẫn: TS. Mai Tiến Dũng
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Cử nhân ngành Khoa học máy tính
• Đề tài: Bài Toán Phát Sinh Mô Tả Ảnh Trong Dữ Liệu Tiếng Việt
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2021
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Giới thiệu bài toán
• 1.2. Tính ứng dụng
• 1.3. Những thách thức
• 1.3.1. Tính tổng quát hóa
• 1.3.2. Câu mô tả thiếu sự gần gũi và tự nhiên với con người
• 1.3.3. Thách thức trong phát sinh câu mô tả khác tiếng Anh
• 1.3.4. Thách thức trong xây dựng bộ dữ liệu tiếng Việt
• 1.4. Mục tiêu của khóa luận
• 1.5. Cấu trúc của khóa luận
• 1.6. Đóng góp chính của khóa luận
• 2. CÁC NGHIÊN CỨU LIÊN QUAN
• 2.1. Một số phương pháp phát sinh mô tả cho ảnh
• 2.1.1. Mô hình CNN-RNN
• 2.2. Một số bộ dữ liệu liên quan
• 2.2.1. Bộ dữ liệu tiếng Anh
• 2.2.2. Bộ dữ liệu tiếng Việt
• 2.2.3. Một số bộ dữ liệu khác
• 3. HƯỚNG TIẾP CẬN TRONG KHÓA LUẬN
• 3.1. Quá trình xây dựng dữ liệu
• 3.1.1. Định dạng bộ dữ liệu
• 3.1.2. Kiểm tra và phân tích bộ dữ liệu
• 3.2. Phương pháp
• 3.2.1. Mô hình Show, Attend and Tell
• 3.2.2. Mô hình ClipCap
• 4. THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 4.1. Chuẩn bị bộ dữ liệu
• 4.2. Thông số đánh giá. Phương pháp thực nghiệm
• 4.3. Kết quả thực nghiệm
• 4.4. Hướng phát triển
• Bibliography

Tóm tắt

I. Tổng quan về bài toán phát sinh mô tả ảnh trong dữ liệu tiếng Việt

Bài toán phát sinh mô tả cho ảnh, hay còn gọi là Image Captioning, là một lĩnh vực nghiên cứu quan trọng trong trí tuệ nhân tạo. Mục tiêu chính của bài toán này là tạo ra các câu mô tả bằng ngôn ngữ tự nhiên cho các hình ảnh. Trong bối cảnh tiếng Việt, việc phát sinh mô tả cho ảnh gặp nhiều thách thức do sự khác biệt về ngữ nghĩa và cú pháp so với tiếng Anh. Nghiên cứu này sẽ tập trung vào việc xây dựng bộ dữ liệu tiếng Việt và áp dụng các phương pháp hiện có để phát sinh mô tả cho ảnh.

1.1. Định nghĩa và ứng dụng của bài toán phát sinh mô tả ảnh

Bài toán phát sinh mô tả ảnh liên quan đến việc tạo ra câu mô tả cho hình ảnh. Ứng dụng của nó rất đa dạng, từ hỗ trợ người khiếm thị đến cải thiện hệ thống tìm kiếm hình ảnh. Việc phát sinh mô tả chính xác giúp nâng cao trải nghiệm người dùng trong nhiều lĩnh vực.

1.2. Tình hình nghiên cứu hiện tại về phát sinh mô tả ảnh

Nhiều nghiên cứu đã được thực hiện trên các bộ dữ liệu tiếng Anh, nhưng việc áp dụng cho tiếng Việt vẫn còn hạn chế. Các nhà nghiên cứu đang nỗ lực xây dựng bộ dữ liệu và cải thiện các phương pháp để đạt được kết quả tốt hơn trong ngôn ngữ này.

II. Thách thức trong phát sinh mô tả ảnh bằng tiếng Việt

Việc phát sinh mô tả cho ảnh trong tiếng Việt đối mặt với nhiều thách thức. Đầu tiên, sự khác biệt về ngữ nghĩa và cú pháp giữa tiếng Việt và tiếng Anh gây khó khăn cho việc áp dụng các mô hình đã được huấn luyện trên dữ liệu tiếng Anh. Thứ hai, việc xây dựng bộ dữ liệu chất lượng cao cho tiếng Việt vẫn còn hạn chế, ảnh hưởng đến khả năng tổng quát của các mô hình.

2.1. Khó khăn trong việc xây dựng bộ dữ liệu tiếng Việt

Bộ dữ liệu tiếng Việt cho bài toán phát sinh mô tả ảnh còn thiếu và chưa được chuẩn hóa. Việc thu thập và gán nhãn dữ liệu là một thách thức lớn, đòi hỏi nguồn lực và thời gian đáng kể.

2.2. Vấn đề về khả năng tổng quát của mô hình

Nhiều mô hình phát sinh mô tả ảnh hiện tại có xu hướng quá khớp với dữ liệu huấn luyện, dẫn đến khả năng tổng quát kém khi gặp các hình ảnh mới hoặc ngữ cảnh khác nhau.

III. Phương pháp giải quyết bài toán phát sinh mô tả ảnh

Để giải quyết bài toán phát sinh mô tả ảnh trong tiếng Việt, nhiều phương pháp đã được nghiên cứu và áp dụng. Các mô hình học sâu như CNN-RNN và Transformer đã cho thấy hiệu quả trong việc tạo ra các câu mô tả chính xác. Việc cải thiện các mô hình này thông qua việc tối ưu hóa dữ liệu và thuật toán là rất cần thiết.

3.1. Mô hình CNN RNN trong phát sinh mô tả ảnh

Mô hình CNN-RNN kết hợp giữa mạng nơ-ron tích chập và mạng nơ-ron hồi tiếp, cho phép xử lý hình ảnh và tạo ra câu mô tả một cách hiệu quả. Mô hình này đã được áp dụng thành công trong nhiều nghiên cứu trước đây.

3.2. Ứng dụng mô hình Transformer trong phát sinh mô tả

Mô hình Transformer, với khả năng xử lý ngữ cảnh tốt hơn, đang trở thành xu hướng mới trong phát sinh mô tả ảnh. Việc áp dụng mô hình này có thể cải thiện đáng kể chất lượng câu mô tả được tạo ra.

IV. Kết quả nghiên cứu và ứng dụng thực tiễn

Nghiên cứu đã tiến hành thực nghiệm các phương pháp phát sinh mô tả ảnh trên bộ dữ liệu tiếng Việt. Kết quả cho thấy một số mô hình có khả năng tạo ra câu mô tả chính xác và tự nhiên hơn. Các ứng dụng thực tiễn của bài toán này bao gồm hỗ trợ người khiếm thị và cải thiện trải nghiệm người dùng trong thương mại điện tử.

4.1. Kết quả thực nghiệm trên bộ dữ liệu tiếng Việt

Các mô hình đã được thử nghiệm trên bộ dữ liệu tiếng Việt cho thấy sự cải thiện về độ chính xác trong việc phát sinh mô tả. Kết quả này mở ra hướng đi mới cho nghiên cứu trong lĩnh vực này.

4.2. Ứng dụng trong thương mại điện tử và hỗ trợ người khiếm thị

Bài toán phát sinh mô tả ảnh có thể được ứng dụng trong thương mại điện tử để cải thiện trải nghiệm người dùng. Đồng thời, nó cũng hỗ trợ người khiếm thị trong việc nhận diện và hiểu biết về môi trường xung quanh.

V. Kết luận và hướng phát triển tương lai

Bài toán phát sinh mô tả ảnh trong dữ liệu tiếng Việt đang trên đà phát triển. Mặc dù còn nhiều thách thức, nhưng với sự tiến bộ của công nghệ học sâu và trí tuệ nhân tạo, hy vọng rằng các giải pháp sẽ ngày càng hiệu quả hơn. Hướng phát triển tương lai cần tập trung vào việc xây dựng bộ dữ liệu chất lượng và cải thiện các mô hình hiện có.

5.1. Tầm quan trọng của việc xây dựng bộ dữ liệu chất lượng

Bộ dữ liệu chất lượng cao là yếu tố quyết định đến thành công của các mô hình phát sinh mô tả. Cần có sự đầu tư và nghiên cứu để xây dựng bộ dữ liệu này một cách bài bản.

5.2. Hướng nghiên cứu tiếp theo trong lĩnh vực phát sinh mô tả ảnh

Nghiên cứu cần tiếp tục mở rộng sang các ngôn ngữ khác và cải thiện khả năng tổng quát của các mô hình. Việc áp dụng các công nghệ mới như học sâu và mạng nơ-ron sẽ là chìa khóa cho sự phát triển trong tương lai.

Trích đoạn nội dung tài liệu

Chương 1. TỔNG QUAN thực nghiệm đã được đưa ra và đạt được những thành quả đáng kể, nhưng hầu hết được thực hiện trên bộ dữ liệu có những câu mô tả bằng tiếng Anh do thiếu những bộ đữ liệu chất lượng trong ngôn ngữ khác. Tuy nhiên trên thế giới tồn tại hàng ngàn ngôn ngữ, một công nghệ Phát sinh mô tả cho ảnh không nên bị giới hạn trong một ngôn ngữ cụ thể. Nhận thấy điều này, nhiều nhà nghiên cứu trên thé giới đã tiền hành thực hiện xây dựng những bộ dữ liệu về câu mô tả ảnh trong những ngôn ngữ khác như tiếng Nhật, tiếng Việt, tiếng Đức, tiếng Trung,.

Nhìn chung, quá trình xây dựng những bộ dữ liệu này được xây dựng theo phương pháp: nhà nghiên cứu thu thập hình ảnh và sử dụng nguồn nhân lực từ đám đông để biên soạn những câu mô tả tương ứng. Một số bộ dữ liệu liên quan sẽ được chúng tôi giới thiệu trong chương) E] 1.4 Thách thức trong xây dựng bộ dữ liệu tiếng Việt Tương tự những ngôn ngữ khác ngoài tiếng Anh, một số lượng khá hạn chế bộ di liệu câu mô tả tiếng Việt đã được xây dựng. Một cách đơn giản, bộ dữ liệu câu mô tả trong tiếng Việt có thể được xây dựng bằng hai cách: ¢ Sử dụng công cu dịch tự động: Phương pháp này sử dụng những bộ dữ liệu câu mô tả trong ngôn ngữ khác ngoài tiếng Việt, thường là tiếng Anh làm nên tảng, sau đó sử dụng các công cụ dịch máy tự động (ví dụ như Google Translate) để trực tiếp dịch các câu mô tả đó sang tiếng Việt. Cách tiếp cận này có thể tạo ra những bộ dir liệu có kích thước lớn mà không cần tiêu tốn quá nhiều thời gian và công sức.

Tuy nhiên, nhược điểm của phương pháp này là ngay cả khi sử dụng những phương pháp dịch máy tiên tiến, những câu mô tả được dịch sẽ không mang văn phong tiếng Việt và có thể tồn tại những lỗi ngữ pháp. Ví dụ trong hình [4| câu mô tả gốc trong tiếng Anh có ý nghĩa chính xác trong tiếng Việt phải là “một người phụ nữ mặc áo khoác den dựa vio xe tải bên cạnh một ngôi nhà”, tuy nhiên Google Translate lại cho câu mô tả khác ở phan “xe tải của một ngôi nhà” khiến cho câu mô tả không rõ nghĩa. Vì vậy, cách này thường không được sử dụng để xây dựng bộ dw liệu. TỔNG QUAN Tiếng Anh a woman in black jacket leaning on truck by a house Google Translate một người phụ nữ mặc áo khoác đen dựa vào xe tai của một ngôi nhà HÌNH 1.4: Ví dụ về câu mô tả được dịch bằng Google Translate ¢ Gan nhãn câu mô ta thủ công: Trong phương pháp này, những câu mô tả được biên soạn thủ công bằng con người.

Nhà nghiên cứu thu thập dữ liệu hình ảnh và thành lập một nhóm người tham gia gán nhãn mô tả. Những người trong nhóm này thường là người thành thạo tiếng Việt bản địa. Nhóm gán nhãn có nhiệm vụ quan sát một hình ảnh và viết những câu mô tả ảnh đó trong tiếng Việt. Quá trình xây dung di liệu theo cách này sẽ cần nhiều thời gian và chỉ phí hơn.

Đổi lại, những câu mô tả được đảm bảo về mặt nội dung, ngữ pháp và thân thiện hơn với người bản xứ. Với việc những mô hình Học sâu đều yêu cầu bộ dir liệu chất lượng để có thể đạt được hiệu quả cao, phương pháp này thường được ưu tiên trong việc xây dựng các bộ dữ liệu. Thực tế, phương pháp này đã được áp dụng trong quá trình xây dựng hai bộ dữ liệu về câu mô tả tiếng Việt là VieCap4H[17] va UIT-ViIC[16]. Chi tiết về hai bộ dir liệu nay cũng sé được chúng tôi dé cập trong chương sau.4 Mục tiêu của khóa luận Mục tiêu chính của khóa luận này là: ¢ Nghiên cứu tổng quan bài toán Phát sinh mô tả cho ảnh.

¢ Tim hiểu các những nghiên cứu, phương pháp liên quan. s Xây dựng bộ dir liệu câu mô tả tiếng Việt cho ảnh. s Thực nghiệm và so sánh các phương pháp đã tìm hiểu trên bộ dữ liệu Tiếng Việt.5 Cấu trúc của khoá luận Nội dung Khóa luận tốt nghiệp được tổ chức như sau: ° Chuong|i} Giới thiệu tổng quan về khóa luận. s Chương 2} Trinh bày các nghiên cứu liên quan đến bài toán nay.

s Chương, El Trình bày chỉ tiết hướng tiếp cận của khoá luận. ° Chương [4] Trình bày môi trường thực nghiệm, tập dữ liệu, phương pháp đánh giá và kết quả thực nghiệm. Chương] Kết luận và hướng phát triển của khóa luận.6 Đóng góp chính của khoá luận Một cách tổng quan, những đóng góp chính của chúng tôi trong khoá luận này bao gồm: © Một bộ dữ liệu về Phát sinh câu mô tả tiếng Việt cho ảnh với những hình ảnh tập trung vào lĩnh vực giao thông. s Kết quả đánh giá một số phương pháp Phát sinh mô tả sử dụng kỹ thuật Học sâu trên bộ dữ liệu tiếng Việt.

12 Chương 2 CÁC NGHIÊN CỨU LIÊN QUAN Tóm tắt Trong chương này, chúng tôi sẽ trình bày tổng quan về một số phương pháp đã được nghiên cứu và hiện có để giải quyết bài toán Phát sinh mô tả cho ảnh, đồng thời giới thiệu sự hình thành của một số bộ dữ liệu liên quan và các bộ dữ liệu này đã được cộng đồng áp dụng rộng rãi.1 Một số phương pháp phát sinh mô tả cho ảnh Phát sinh mô tả cho ảnh là một trong những bài toán quan trọng và cốt yếu nhất trong lĩnh vực Học sâu. Bài toán này thuộc nhóm các thuật toán máy học Sequence-to-Sequence vì dữ liệu hình ảnh và ngôn ngữ đều được xử lý ở đạng chuỗi các pixel và chuỗi các từ. Nhiều phương pháp tiếp cận bài toán Phát sinh mô tả cho ảnh bằng các kỹ thuật Học sâu đã được nghiên cứu và thực nghiệm trong những năm vừa qua[31]. Theo đó, chúng tôi tìm hiểu và trình bày khái quát một số phương pháp nổi bật như sau: 2.1 Mô hình CNN-RNN Một trong những nghiên cứu nổi bật về Phát sinh mô tả cho ảnh được thực hiện bởi Karpathy et al.(2015){11] với hướng tiếp cận bài toán được lấy ý tưởng từ cách con người nhìn nhận một khung cảnh.

Chẳng hạn khi chứng kiến một khung cảnh như hình E-] đầu tiên con người sẽ nhận diện những vật thể hiện hữu (con mèo, chiếc bàn,. Sau đó, chúng ta nghĩ ra câu từ để miêu tả những vật thể này. CÁC NGHIÊN CUU LIEN QUAN Dataset of images and sentence descriptions Inferred correspondences " ing image training image “A Tabby cat is leaning : “Tabby cat is leaning’) (on a wooden table, with |—> “Taser mouse > one paw on a laser paw" ‘mouse and the other on “black laptop” black laptop” ‘wooden table” HINH 2.1: Tổng quan hướng tiếp cận của Karpathy et al. Bộ dữ liệu gồm hình ảnh câu mô tả tương ứng (trái).

Mô hình suy diễn mối liên hệ giữa mô tả và một phan hình ảnh (giữa). Mô hình phát sinh ra câu mô tả mới (phải). Nguồn: Các tác giả lấy ý tưởng từ việc này, nhận định một chuỗi từ liên tiếp trong câu mô tả liên hệ tới một phần cụ thể của ảnh. Nhóm tác giả sử dụng những mối liên hệ này để xây dựng hệ thống phát sinh mô tả.

Mô hình này sử dung hai phương, thức để tìm mối liên hệ giữa một phần câu văn bản và một phần ảnh. Nhóm nghiên cứu giới thiệu kiến trúc mạng CNN-RNN trong hình |2.2| Một lớp mạng Regional CNN để xác định vùng ảnh có vật thể và CNN được huấn luyện sẵn trên ImageNet(4] để nhận dạng vật thể đó. Sau đó, những đặc trưng hình ảnh này sẽ được sử dụng để huấn luyện một kiến trúc mạng giải mã, ví dụ như RNN, Bidirectional RNN để biểu diễn mối liên hệ giữa những chuỗi từ liên tiếp trong câu mô tả tương ứng với những từ ngữ có trong bộ từ điển. Để tính toán sự tương quan giữa mỗi cặp vùng ảnh và từ ngữ, bài báo đã thiết lập công thức tính, kết quả càng lớn càng thể hiện sự liên kết giữa hình ảnh và từ ngữ đó với nhau: = T Sa = Lies: MAXIE, 0; St Cu thể, mô hình này có đầu vào là ma tran pixel của ảnh và chuỗi các vector từ trong câu mô ta (x,xz,.,x„) và tính chuỗi các lớp mang ẩn (hidden state) (hy, hạ, ., hy) để tinh toán chuỗi đầu ra (y1, 2,.

Lop mang ẩn tiếp theo được tính toán từ vector đặc trưng hình ảnh, lớp mang ẩn trước và đầu vào hiện tai x. Đầu ra y; của mô hình được tính bởi công thức: by = Wai [CNNg, (1)] hị = f (Waxxt + Wanhe—-1 + by + 1Œ = 1) © by) ị = softmax (Wonh; + bo) 14 Chương 2. CÁC NGHIÊN CUU LIEN QUAN Recurrent Neural Network HÌNH 2.2: Kiến trúc mại CNN-RNN cơ bản.2 Reflective Decoding Network Reflective Decoding Network (RDN) 14] được giới thiệu vào năm 2019, các tac giả đã dé cập van dé nhiều phương pháp phát sinh mô tả cho ảnh chỉ đang tập trung khai thác đặc trưng ảnh trong khi các tính chất của ngôn ngữ chưa được nhận nhiều sự quan tâm. Nhóm tác giả chỉ ra mối tương quan của các từ trong bộ từ điển và cầu trúc cú pháp của câu mô tả cũng có sự ảnh hưởng lớn tới chất lượng của câu mô tả.

Bài báo trình bày về quá trình phát triển của kiến trúc mạng học sâu Reflective Decoding Network với khả năng phân tích sự liên quan của những từ ngữ và vị trí tương đối của chúng trong câu mô tả. Đầu vào là một hình ảnh. Cấu trúc của mang này được mô tả trong, hình|2.3|bao gồm hai phần: s Lớp Encoder: Lớp Encoder này sử dụng kiến trúc mang Faster RCNN để trích xuất đặc trưng của những vùng ảnh mang nhiều thông tin. Tan dụng chức năng nhận diên vật thể của Faster RCNN để phân cấp các vùng của các vật thể trong hình ảnh.

Tập hợp của các thông tin hình ảnh được trích xuất Rị của một hình anh I được biểu diễn là Ry = {r;}Ƒ_;,r; € RP, với 15 Chương 2. CÁC NGHIÊN CUU LIEN QUAN k biểu thị số lượng các vùng trong hình ảnh đã được trích xuất, D biểu thị kích thước của các đặc trưng ở mỗi vùng trong hình ảnh và 7; là đối tượng tích chập trung bình trong vùng được trích xuất. Sau đó, các thông tin được trích xuất từ lớp Encoder được chuyển đến lớp Decoder. Reflective Position Module Reflective Attention Module zRl =| | R = Ib sai “J paltectine anton weights 7 Attrer ° 1000 ịỊWM; tư.

rw Input Image Time stept Time step T Last word HINH 2.3: Kiến trúc mang Reflective Decoding Network.