ĐẠI HỌC QUOC GIA TP. HO CHÍ MINH TRUONG DAI HOC CONG NGHE THONG TIN KHOA KHOA HỌC - KỸ THUAT THONG TIN DO GIA BAO KHOA LUAN TOT NGHIEP SINH CHU THÍCH TIENG VIET TU DONG CHO HÌNH ANH TRONG LĨNH VUC CHAM SOC SỨC KHỎE TREN BO DU LIEU VIECAP4H Image Captioning for Healthcare domain in Vietnamese VieCap4H dataset CU NHAN NGANH CONG NGHE THONG TIN TP. HO CHi MINH, 2022 ĐẠI HỌC QUOC GIA TP. HO CHÍ MINH TRUONG DAI HOC CONG NGHE THONG TIN KHOA KHOA HỌC - KY THUAT THONG TIN DO GIA BẢO - 18520482 KHÓA LUẬN TÓT NGHIỆP SINH CHU THÍCH TIENG VIET TỰ DONG CHO HÌNH ANH TRONG LĨNH VUC CHAM SOC SỨC KHỎE TREN BO DU LIEU VIECAP4H Image Captioning for Healthcare domain in Vietnamese VieCap4H dataset CỬ NHÂN NGANH CONG NGHỆ THONG TIN GIANG VIEN HUONG DAN THS.
VO DUY NGUYEN TS. NGUYEN TAN TRAN MINH KHANG TP. HO CHÍ MINH, 2022 THONG TIN HOI DONG CHAM KHÓA LUẬN TOT NGHIỆP Hội đồng cham khóa luận tốt nghiệp, thành lập theo Quyết định số ce beee eee eeeeeeeeeen ees ngày. của Hiệu trưởng Trường Dai hoc Công nghệ Thông tin.
LOI CAM ON Để hoàn thành khóa luận tốt nghiệp này, tôi đặc biệt gửi lời cảm on sâu sắc và chân thành đến hai Thầy Th§. Võ Duy Nguyên và Thầy TS. Nguyễn Tấn Trần Minh Khang - hai người Thay đã tận tình hướng dẫn tôi trước, trong và sau khoảng thời gian thực hiện đề tài. Nhờ có những định hướng rõ ràng và sự giúp đỡ xuyên suốt trong quá trình thực hiện đề tài từ hai Thầy đã giúp tôi hình thành nhiều ý tưởng đề thực hiện khóa luận tốt nghiệp một cách tốt đẹp.
Tôi chân thành gửi lời cảm ơn đến toàn thể quý Thầy/Cô trong và ngoài trường Đại học Công nghệ Thông tin — Dai học Quốc gia Thành phó Hồ Chí Minh đã giảng dạy tận tình và giúp đỡ tôi trong suốt 04 năm học tập dưới mái trường này. Tôi cũng xin cảm ơn nhóm UIT — Together Research Group, đặc biệt là em Bùi Cao Doanh — sinh viên khóa K14 khoa Khoa học Máy tính đã giúp đỡ và hỗ trợ tôi rất nhiệt tình trong thời gian thực hiện khóa luận tốt nghiệp. Bên cạnh sự chủ động tìm hiểu rất nhiều kiến thức mới, tôi còn nhận được sự dạy bảo cùng những lời góp ý chuyên môn một cách chân tình đến từ Thầy TS. Trần Anh Tuấn — giảng viên khoa Toán — Tin trường Dai học Khoa học Tự nhiên (ĐHQG — HCM).
Nhờ đó, tôi đã tích lũy được nhiều kinh nghiệm cho bản thân và lấy đó làm hành trang phục vụ cho công việc sau này. Dù đã nỗ lực có gắng hoàn thiện khóa luận tốt nghiệp này, song chắc chắn sẽ không tránh khỏi những thiếu sót. Tôi kính mong nhận được sự chỉ bảo và góp ý tận tình từ quý Thầy/Cô dé đề tài được hoàn thiện hơn. Cuối cùng tôi muốn nói lời cảm ơn đến tất cả mọi người đã giúp đỡ tôi hoàn thiện mình như ngày hôm nay.Hồ Chí Minh, tháng 06 năm 2022 Sinh viên thực hiện Dé Gia Bảo MỤC LỤC Churong no.
Động lực nghiên CU. Bài toán Image Captioning. Phát biểu bài toán. Ứng dụng của bài toán Image Captioning.
Hỗ trợ thị giác cho người khiếm thị. Tự động chú thích hình anh trong Mạng Xã hội. _ Thách thức bài toán. Mục tiêu và phạm vi nghiên CỨu.
Đóng góp của nghiên cứỨu. Bố cục của báo cáo khóa luận tốt nghiệp .--eseeeeseees Chương 2.--22+22EE+++22EEEE+EEEEEEtrEEEEErrrtrrkrcree 9 2. Artificial Neural Network (ANN). Convolutional Neural Network (CNN).
Một số lớp thường xuất hiện trong mang CNN. Lớp Input và Output. Lớp Fully — Connected. Một số mang CNN nổi tiếng.
Các mô hình dịch chuỗi. Recurrent Neural Network (RNN). Long Short — Term Memory (LS'TM). Bidirectional Recurrent Neural Network (BRNN).ccsccceececesseseseseecseseseseeescseseeeeneseseseeeeseseseseseeecssssseaees 27 Chương 3.
HƯỚNG TIẾP CAN BÀI TOÁN IMAGE CAPTIONING. Các hướng tiếp cận bài toán dựa trên mô hình LSTM. CNN + LSTM + Cơ chế Attention. Các hướng tiếp cận hiện đại dựa trên kiến trúc Transformer.
| Meshed— Memory Transformer ( M? Transformer). PHƯƠNG PHAP DE XUẤTT. Tổng quan phương pháp dé xuất. Adaptive Attention Module .sssssssessssssessssssesessssssssssuesssssessnsassesssssssssseeesees 4D) Chương 5.
QUY TRÌNH THUC NGHIỆM. Bộ dữ liệu. Độ đo đánh giá tự Ong. Cài đặt chỉ tiẾt.
Phân tích kết quả và đánh giá. Trực quan hóa kết quả. KÉT LUẬN VÀ HƯỚNG PHÁT TRIEN 62 6. Hướng phát triên.-------c-ccvecrrrrerrrrrrtrrrtrrrrrtrrririrrririrrrirrrirrrrrer 62 DANH MỤC HÌNH Hình 1.1: Mô hình bài toán Image Captioning cho tiếng Việt.2: Thiết bi Horus đến từ công ty khởi nghiệp Thụy Si Eyra có nhiệm vụ mô tả hình ảnh phía trước và chuyền sang giọng nói thông qua tai nghe cho người khiếm thị.3: Ung dung Image Captioning trên Facebook.1: Sự tương quan giữa mang neural Sinh học va mang neural Nhân tao.2: Cấu trúc của một mạng FeedForward Neural Network đơn giản.3: Phép tích chập giữa ma trận bức ảnh đầu vào va kernel.4: Ví dụ về Max Pooling và Average Pooling với window size = 2 cùng bước nhảy stride = 2.-----cccvvvvirttiriiirirririiiiiiiiiirriiiiiriirirrrrirriieirrrerorrrir LO Hình 2.5: Lớp Fully — Connected.-------e-c--e-ececveeseseeerrerrererrrrrrrrsre LA Hình 2.6: Quá trình phát triển của các mạng CNN.7: Kiến trúc mạng LeNet — 5.-esceseeeeeeerreereereereeeseeeeree LD Hình 2.8: Kiến trúc mạng AlexNet.-s-esrreereeeeeeerrerrereereerseeeeee LO Hình 2.9: Kiến trúc mang Inception — VI.10: Khối Inception module Hình 2.11: Kiến trúc mạng VGG — 16.«-seeeeeeersereereereerseeseeeee LO Hình 2.12: Kiến trúc mạng ResNet.13: Khối residual block.14: Kiến trúc mạng ResNet (trái) và kiến trúc mạng ResNeXt (phải).15: Cấu trúc của một mạng Recurrent Neural Network đơn giản.16: Mô hình kiến trúc LSTM.17: So sánh sự khác nhau giữa RNN (trái) và BRNN (phải).18: Ví dụ về mạng BRNNở bài toán NER.
Đường mũi tên màu cam nằm ngang chính là hướng forward, đường mũi tên màu xanh nằm ngang chính là hướng 0960000.19: Mô hình kiến trúc Transformer «esteem29 Hình 2.20: Scaled Dot — Product Atf€TIfIOH.21: Multi - Head Affenfion.1: Mô hình Neural Image Caption (NIC). ----ccc-crsexeeexeeerserreee 35 Hình 3.2: Ví dụ về kỹ thuật Beam Search với beam size k = 3. Beam Search hỗ trợ mô hình tìm k hướng đi tối ưu nhất dé tìm ra câu chú thích tốt nhất.3: Mô hình bài báo “Show, Attend and 'TelÏ””.4: Ví dụ về “soft” attention (phía trên) và “hard” attention (phía đưới).5: Tổng quan kiến trúc M? Transformer cho bài toán Image Captioning .6: Tổng quan kiến trúc RSTNet cho bài toán Image Captioning.7: Mat thông tin không gian khi flatten đặc trưng bức ảnh.8: Ví dụ minh họa về visual word (màu đỏ) và non — visual word (màu xanh) Xin EEEEDTE.9: Adaptive Attention module .1: Tổng quan phương pháp dé xuắt.2: Chỉ tiết TG2F Module .3: Chi tiết Adaptive Attention module.1: Ví dụ về một bức anh trong bộ dữ liệu VieCap4H .2: Chỉ số Brevity Penalty (BP).3: Trực quan hóa kết quả trên tập public — test và private — test của phương pháp (M2, RSTNet) w/PhoBERT + TG2F với bộ trích xuất đặc trưng ảnh X — DANH MỤC BANG Bảng 3.1: Kết qua mô hình NIC trên bộ dữ liệu MS COCO.2: Kết quả mô hình “Show, Attend and Tell ” trên bộ dữ liệu MS COCO.3: Kết quả mô hình M? Transformer trên bộ dữ liệu MS COCO. Trong đó, B-N, M, R, C, S là viết tắt của các độ đo BLEU-N, METEOR, ROUGE - L, CIDEr i9 .4: Kết quả mô hình RSTNet trên bộ dữ liệu MS COCO.
Trong đó, B@N, M,R,C, S là viết tắt của các độ đo BLEU@N, METEOR, ROUGE - L, CIDEr va z9 51.1: Kết quả so sánh giữa phương pháp cơ sở các phương pháp đề xuất trong ha TAN 0.2: Kết quả trên tap public — test và private — test giữa các đội thi. 59 DANH MỤC TU VIET TAT STT Tên viết tắt Tên đầy đủ 1 ANN Artificial Neural Network 2 BLEU BiLingual Evaluation Understudy 3 BRNN Bidirectional Recurrent Neural Netwok 4 CNN Convolutional Neural Network 5 LSTM Long — Short Term Memory 6 M2? Transformer Meshed — Memory Transformer 7 NIC Neural Image Caption 8 RNN Recurrent Neural Network 9 RSTNet Relationship — Sensitive Transformer 10 VLSP Vietnamese Language and Speech Processing TOM TAT KHÓA LUẬN Image Captioning — bài toán kết hợp giữa hai chuyên ngành Thị giác Máy tính (Computer Vision) và Xử lý Ngôn ngữ Tự nhiên (Natural Language Processing) — nhằm phát triển một mô hình có thé quan sat, hiểu được đặc trưng của thị giác và giao tiếp với chúng ta bằng ngôn ngữ tự nhiên. Tuy nhiên, phần lớn các công trình nghiên cứu bài toán này đều là tiếng Anh. Sẽ là một thiếu sót cực kỳ lớn khi chúng ta chỉ giới hạn khả năng của mô hình giao tiếp bằng một ngôn ngữ duy nhất.
Trong khóa luận tốt nghiệp lần này, tôi sẽ nghiên cứu bài toán Image Captioning này sinh ra câu chú thích (caption) bằng tiếng Việt — ngôn ngữ có hơn 100 triệu người sử dụng. Trước hết, về vấn đề bộ dữ liệu, chúng ta đã có bộ dữ liệu VieCap4H từ Ban Té chức cuộc thi VLSP 2021 cung cấp. Tiếp theo, tôi sẽ nghiên cứu tính khả thi và đánh giá mô hình khi áp dụng phương pháp mới được đề xuất dé giải quyết bài toán Image Captioning trên bộ dữ liệu tiếng Việt theo hướng tiếp cận CNN + Transformer. Khóa luận tốt nghiệp này tập trung vào việc cải thiện độ chính xác trên bài toán này dựa trên phương pháp co sở RSTNet.
Cụ thé, tác giả khóa luận đề xuất một module cải tiến từ bộ Grid Feature Extractor của mô hình RSTNet có tên là TG2F giúp tăng cường kha năng biểu diễn anh và làm giàu thông tin đặc trưng bức ảnh đầu vào. Cùng với đó là đề xuất thay đôi mô hình Transformer gốc bằng mô hình M? Transformer giúp mô hình khai thác tốt đặc trưng ảnh từ low — level đến high — level. Kết quả thu được rất cạnh tranh so với các đội thi trong cuộc thi VLSP 2021. Động lực nghiên cứu “People can summarize a complex scene in a few words without thinking twice, It’s much more difficult for computer.
” | Với những tiến bộ trong lĩnh vực Machine Learning, đặc biệt là sự phát triển bùng nỗ của các Thuật toán Deep Learning đã mở ra nhiều hướng nghiên cứu mới cho cả hai lĩnh vực Computer Vision (Thị giác Máy tính), Xử lý Ngôn ngữ Tự nhiên (Natural Language Processing) và thậm chí là kết hợp cả hai chuyên ngành này, Image Captioning là một trong số những bài toán đó. Image Captioning — một bài toán đầy thách thức và hap dẫn trong lĩnh vực Trí tuệ Nhân tao [1] — giúp máy tính có thê quan sat và “giao tiêp” với chúng ta thông qua câu mô tả. Con người chỉ cần nhìn vào và diễn giải nội dung bức ảnh một cách nhanh chóng nhưng đối với máy tính, bức ảnh chỉ đơn giản là ma trận các pixels. Mô hình hệ thống Image Captioning sẽ kết hợp các thông tin đặc trưng của ảnh và thông tin đặc trưng ngôn ngữ để sinh ra được câu chú thích mô tả đầy đủ các khía cạnh trên bức anh băng ngôn ngữ tự nhiên cua con người.