Bối cảnh và vấn đề nghiên cứu

Khóa luận tốt nghiệp "Sinh chú thích tiếng Việt tự động cho hình ảnh trong lĩnh vực chăm sóc sức khỏe trên bộ dữ liệu VieCap4H" được thực hiện bởi sinh viên Đỗ Gia Bảo (ngành Công nghệ Thông tin, Trường Đại học Công nghệ Thông tin – Đại học Quốc gia Thành phố Hồ Chí Minh, năm 2022) dưới sự hướng dẫn của ThS. Võ Duy Nguyên và TS. Nguyễn Tấn Trần Minh Khang.

Đề tài xuất phát từ sự phát triển của học sâu (Deep Learning), thúc đẩy giao điểm nghiên cứu giữa hai lĩnh vực Thị giác Máy tính (Computer Vision) và Xử lý Ngôn ngữ Tự nhiên (Natural Language Processing). Bài toán sinh chú thích ảnh (Image Captioning) hướng đến mục tiêu xây dựng hệ thống có khả năng tiếp nhận hình ảnh đầu vào và tự động tạo ra câu mô tả hoàn chỉnh bằng ngôn ngữ tự nhiên. Phần lớn các công trình nghiên cứu trước đây chủ yếu tập trung vào tiếng Anh, dẫn đến sự hạn chế đối với các ngôn ngữ khác, trong đó có tiếng Việt – ngôn ngữ có hơn 100 triệu người sử dụng.

Xét về mặt ngôn ngữ học, tiếng Việt có đặc tính khác biệt so với tiếng Anh: không biến đổi hình thái từ theo ngữ cảnh thì (tense) hoặc số ít/số nhiều (ví dụ: động từ "do" biến thể thành "does", "did", "done", "doing" hay danh từ "apple/apples"). Thay vào đó, tiếng Việt duy trì dạng từ nguyên bản và bổ trợ ý nghĩa thời gian bằng các trợ từ ("đã", "đang", "sẽ") hoặc biểu diễn danh từ số nhiều thông qua các lượng từ như "những". Do đó, việc sinh chú thích tiếng Việt đòi hỏi hệ thống phải nắm vững quy tắc kết hợp từ ngữ để tạo ra câu văn mạch lạc, chuẩn ngữ pháp.

Tác giả chỉ ra các thách thức cụ thể của bài toán:

  • Đặc tính ảnh y tế: Hình ảnh trong lĩnh vực chăm sóc sức khỏe thường gặp các vấn đề kỹ thuật quang học như mờ, biến dạng, che khuất, biến đổi góc nhìn và điều kiện ánh sáng phức tạp.
  • Khó khăn trong xây dựng dữ liệu: Quy trình thu thập và gán nhãn chú thích đòi hỏi nhiều thời gian, nhân lực chuyên môn; đồng thời mang tính chủ quan do mỗi người gán nhãn có cách diễn đạt và cảm nhận khác nhau về cùng một bức ảnh.
  • Thiếu hụt tài nguyên dữ liệu tiếng Việt: Trước khi có hai bộ dữ liệu UIT-ViIC và VieCap4H, các nghiên cứu sinh chú thích tiếng Việt buộc phải huấn luyện trên dữ liệu dịch tự động từ tiếng Anh, dẫn đến hiện tượng câu văn thiếu trôi chảy và sai cấu trúc ngữ pháp.
  • Khác biệt ngôn ngữ: Cấu trúc câu, trật tự từ và đại từ xưng hô trong tiếng Việt có độ đa dạng cao, đòi hỏi mô hình phải có khả năng hiểu ngữ cảnh sâu.

Bài toán có các ứng dụng thực tiễn được văn bản viện dẫn:

  • Hỗ trợ thị giác cho người khiếm thị thông qua thiết bị đeo tích hợp camera chụp ảnh, xử lý sinh mô tả và chuyển thành giọng nói qua tai nghe (tiêu biểu như thiết bị Horus của công ty khởi nghiệp Eyra tại Thụy Sĩ).
  • Tự động mô tả nội dung hình ảnh trên các nền tảng mạng xã hội nhằm hỗ trợ người khiếm thị (hệ thống do Facebook công bố vào tháng 04/2016).
  • Hỗ trợ truy vấn ảnh bằng nội dung và tự động tạo phụ đề cho video, phim ảnh.

Mục tiêu và nhiệm vụ nghiên cứu của khóa luận được xác định gồm 4 nội dung:

  1. Khảo sát và nghiên cứu các phương pháp giải quyết bài toán Image Captioning, bao gồm kỹ thuật biểu diễn ảnh và các mô hình dịch chuỗi học sâu hiện đại.
  2. Hệ thống hóa kiến thức nền tảng về các kiến trúc mạng nơ-ron tích chập (CNN) và mạng nơ-ron hồi quy (RNN).
  3. Tìm hiểu chi tiết các mô hình dịch chuỗi phục vụ bài toán mô tả ảnh, trọng tâm là mạng bộ nhớ dài-ngắn (LSTM) và kiến trúc Transformer.
  4. Đề xuất cách tiếp cận mới trong kiến trúc dự đoán câu mô tả đầu ra bằng tiếng Việt cho hình ảnh y tế.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Hình ảnh thuộc lĩnh vực chăm sóc sức khỏe (Healthcare) và câu chú thích tương ứng bằng tiếng Việt.
  • Đầu vào (Input): Bức ảnh thuộc lĩnh vực y tế - chăm sóc sức khỏe.
  • Đầu ra (Output): Câu mô tả (caption) nội dung bức ảnh bằng tiếng Việt.
  • Phạm vi dữ liệu: Bộ dữ liệu VieCap4H do Ban tổ chức cuộc thi Xử lý Ngôn ngữ và Tiếng nói Tiếng Việt (VLSP 2021) cung cấp.

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập nền tảng lý thuyết dựa trên các mô hình mạng nơ-ron nhân tạo (ANN), mạng nơ-ron tích chập (CNN), các mô hình dịch chuỗi tuần tự và cơ chế chú ý (Attention):

  1. Mạng nơ-ron tích chập (CNN): Được sử dụng làm khối trích xuất đặc trưng hình ảnh (Encoder). Các thành phần cốt lõi gồm:
  • Lớp Convolutional: Thực hiện phép nhân tích chập giữa ma trận ảnh đầu vào và các bộ lọc (kernel/filter) để tạo ra các bản đồ đặc trưng (Feature Maps).
  • Lớp Pooling: Giảm chiều không gian ma trận để khắc phục hiện tượng ma trận thưa, giảm tải tính toán và hạn chế quá khớp (Overfitting). Hai kỹ thuật phổ biến là Max Pooling (lấy giá trị cực đại) và Average Pooling (lấy giá trị trung bình); trong đó Max Pooling với cửa sổ kích thước 2 và bước nhảy (stride) bằng 2 có khả năng loại bỏ tới 75% số lượng trọng số.
  • Lớp Fully-Connected: Làm phẳng (flatten) ma trận đặc trưng thành vector một chiều và kết hợp các đặc trưng để phân loại hoặc làm vector đại diện cho hình ảnh.

Văn bản hệ thống hóa thông số kỹ thuật của các mạng CNN kinh điển:

Kiến trúc mạng Năm công bố Số lượng lớp Kích thước Kernel Số lượng tham số Kết quả kiểm thử trên ImageNet (Top-5 Error) Điểm đặc trưng
LeNet-5 1998 5 (2 Conv, 3 FC) 5x5 ~60.000 Không chạy ImageNet Kiến trúc CNN nền tảng, dùng lớp Subsampling (Average Pooling)
AlexNet 2012 8 (5 Conv, 3 FC) 11x11, 5x5, 3x3 ~60 triệu 15,30% Huấn luyện trên 2 GPU, áp dụng hàm kích hoạt ReLU và Dropout 50%
GoogLeNet (Inception-V1) 2014 22 1x1, 3x3, 5x5 song song ~5 triệu 6,67% Sử dụng 9 khối Inception module, tích hợp tích chập 1x1 giảm tham số
VGG-16 2014 16 3x3 cố định ~138 triệu 7,30% Tăng độ sâu mạng, sử dụng kernel nhỏ 3x3 xuyên suốt
ResNet-152 2015 152 Đa dạng Lớn 3,57% Khối Residual block với đường kết nối tắt (skip connection) $F(x) + x$
ResNeXt 2017 Đa tầng Đa dạng Tối ưu 3,7% (Single), 3,03% (Ensemble) Thiết kế dạng split-transform-merge với độ đo phân nhánh Cardinality = 32
  1. Mô hình dịch chuỗi tuần tự:
  • Recurrent Neural Network (RNN): Cấu trúc có vòng lặp trạng thái ẩn ($h_t$) để xử lý dữ liệu tuần tự theo thời gian, song gặp hạn chế phụ thuộc xa (Long-Term Dependency) và hiện tượng suy giảm/bùng nổ đạo hàm (vanishing/exploding gradient).
  • Long Short-Term Memory (LSTM): Giải quyết suy giảm đạo hàm thông qua ô nhớ ($C_t$) và 3 cổng điều khiển dòng thông tin: cổng quên ($f_t$), cổng vào ($i_t$) và cổng ra ($o_t$).
  • Bidirectional Recurrent Neural Network (BRNN): Sử dụng hai mạng RNN độc lập gồm nhánh thuận (forward) học từ trái sang phải và nhánh nghịch (backward) học từ phải sang trái, giúp nắm bắt ngữ cảnh toàn diện ở cả hai phía.
  • Transformer: Kiến trúc loại bỏ hoàn toàn đệ quy tuần tự, tận dụng khả năng tính toán song song trên GPU. Mô hình gồm 6 lớp Encoder và 6 lớp Decoder. Encoder gồm hai lớp con: Multi-Head Attention và Position-wise Feed Forward Network (chiều $d_{ff} = 2048$), kết hợp kết nối tắt (residual connection) và chuẩn hóa Add & Norm. Decoder bổ sung lớp Masked Multi-Head Attention để che các từ tương lai. Cơ chế mã hóa vị trí (Positional Encoding) sử dụng hàm hình sin và cosin để bảo toàn thứ tự từ: $$PE_{(pos, 2i)} = \sin\left(\frac{pos}{10000^{2i/d_{model}}}\right)$$ $$PE_{(pos, 2i+1)} = \cos\left(\frac{pos}{10000^{2i/d_{model}}}\right)$$ Cơ chế Scaled Dot-Product Attention tính toán mối quan hệ giữa các vector truy vấn ($Q$), khóa ($K$) và giá trị ($V$): $$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$ Cơ chế Multi-Head Attention thực hiện phép ghép (Concat) đầu ra của $h = 8$ đầu chú ý độc lập.

Phương pháp nghiên cứu thực nghiệm:

  • Mô hình đối chứng cơ sở: Neural Image Caption (NIC / Show and Tell, 2015) dùng CNN GoogLeNet trích xuất đặc trưng ảnh thành vector 2048 chiều, chiếu qua lớp Linear Image Embedding xuống 512 chiều để đưa vào LSTM; biểu diễn từ qua Word Embedding 512 chiều; áp dụng thuật toán tìm kiếm chùm (Beam Search với độ rộng chùm $k = 3$). Mô hình Show, Attend and Tell (2015) tích hợp cơ chế chú ý xác định (Soft Attention) và chú ý ngẫu nhiên (Hard Attention).
  • Phương pháp đề xuất: Kế thừa mô hình Relationship-Sensitive Transformer (RSTNet), thay thế bộ trích xuất đặc trưng dạng lưới bằng module cải tiến TG2F; thay thế Transformer tiêu chuẩn bằng Meshed-Memory Transformer ($M^2$ Transformer); ứng dụng module chú ý thích ứng (Adaptive Attention Module) và nhúng mô hình ngôn ngữ PhoBERT cho biểu diễn câu tiếng Việt.
  • Nguồn dữ liệu thực nghiệm: Bộ dữ liệu VieCap4H (VLSP 2021).

Nội dung chính theo từng chương

Chương 1: Mở đầu

Chương 1 giới thiệu tổng quan đề tài, tập trung phân tích động lực nghiên cứu khi phần lớn các mô hình Image Captioning hiện hữu chỉ hỗ trợ tiếng Anh. Tác giả nêu rõ bài toán sinh chú thích ảnh cho miền y tế bằng tiếng Việt, phân tích các ứng dụng hỗ trợ người khiếm thị (thiết bị Horus, tính năng mô tả ảnh của Facebook) và hỗ trợ truy vấn đa phương tiện. Chương này xác định các thách thức cốt lõi về chất lượng ảnh chụp y tế, chi phí chuẩn hóa dữ liệu chú thích, sự khan hiếm tập dữ liệu tiếng Việt và tính chất ngữ pháp của tiếng Việt (sử dụng trợ từ thay vì biến đổi hình thái từ). Cuối chương, tác giả xác định 4 mục tiêu nghiên cứu, đóng góp đề xuất của khóa luận và phác thảo bố cục tổng thể gồm 6 chương.

Chương 2: Cơ sở lý thuyết

Chương 2 trình bày chi tiết nền tảng toán học và cấu trúc của các mô hình học sâu. Mở đầu bằng nguyên lý hoạt động của mạng nơ-ron nhân tạo (ANN) phỏng sinh học và mạng nơ-ron tích chập (CNN). Tác giả mổ xẻ chức năng của lớp Convolutional, lớp Pooling (chỉ ra cơ chế giảm 75% trọng số qua Max Pooling) và lớp Fully-Connected. Tiếp đó, chương khảo sát tiến trình phát triển của các kiến trúc CNN tiêu biểu: LeNet-5 (1998, 60.000 tham số), AlexNet (2012, 60 triệu tham số, lỗi top-5 15,3%), GoogLeNet Inception-V1 (2014, 5 triệu tham số nhờ tích chập 1x1, lỗi top-5 6,67%), VGG Net (2014, kernel 3x3 cố định, lỗi 7,3%), ResNet (2015, kỹ thuật Residual block giải quyết suy thoái gradient, lỗi 3,57%) và ResNeXt (2017, tham số Cardinality = 32).

Ở phần mô hình dịch chuỗi, tác giả diễn giải cơ chế của RNN và công thức cập nhật trạng thái ẩn; phân tích kiến trúc LSTM với các công thức cổng quên ($f_t$), cổng vào ($i_t$), cổng ra ($o_t$) và trạng thái ô nhớ ($C_t$); trình bày mạng BRNN với hướng duyệt thuận - nghịch qua ví dụ thực thể tên riêng (NER). Phần cuối tập trung vào Transformer (Vaswani et al., 2017), phân tích chi tiết bộ Encoder - Decoder 6 lớp, cơ chế mã hóa vị trí Positional Encoding (hàm Sin/Cosine), cơ chế Scaled Dot-Product Attention, Multi-Head Attention ($h = 8$) và mạng Position-wise Feed Forward ($d_{ff} = 2048$).

Chương 3: Hướng tiếp cận bài toán Image Captioning

Chương 3 khảo sát có hệ thống hai hướng tiếp cận chính trong bài toán sinh chú thích ảnh:

  • Hướng tiếp cận dựa trên LSTM: Phân tích mô hình Neural Image Caption (NIC / Show and Tell, 2015), giải thích quy trình kết hợp CNN và LSTM, kỹ thuật Beam Search ($k = 3$) và công thức cực đại hóa xác suất chuỗi từ. Tiếp đó, phân tích mô hình "Show, Attend and Tell" (2015) với việc đưa vào cơ chế Attention, phân biệt giữa Soft Attention (tính trọng số đóng góp liên tục của toàn bộ điểm ảnh) và Hard Attention (chọn lọc vùng ảnh cục bộ có liên quan trực tiếp đến từ đang dự đoán).
  • Hướng tiếp cận dựa trên Transformer: Phân tích mô hình Meshed-Memory Transformer ($M^2$ Transformer) giúp kết nối đa tầng giữa các lớp mã hóa và giải mã; khảo sát mô hình Relationship-Sensitive Transformer (RSTNet) khai thác mối quan hệ không gian và hình học giữa các vùng đặc trưng ảnh; phân tích vấn đề mất mát thông tin không gian khi làm phẳng (flatten) đặc trưng và sự phân chia giữa từ thị giác (visual word) và từ phi thị giác (non-visual word) để dẫn nhập vào Adaptive Attention Module.

Văn bản ghi nhận số liệu đánh giá mô hình NIC trên tập dữ liệu chuẩn MS COCO:

Mô hình BLEU-4 METEOR CIDEr
NIC (Show and Tell) 27,7 23,7 85,5

Chương 4: Phương pháp đề xuất

Chương 4 mô tả chi tiết phương pháp cải tiến do tác giả xây dựng dựa trên kiến trúc cơ sở RSTNet:

  • Đề xuất module TG2F: Được cải tiến từ bộ trích xuất đặc trưng dạng lưới (Grid Feature Extractor) của RSTNet, nhằm khắc phục nhược điểm mất mát thông tin cấu trúc không gian khi dàn phẳng các bản đồ đặc trưng, từ đó làm giàu thông tin biểu diễn của hình ảnh đầu vào.
  • Tích hợp kiến trúc Meshed-Memory Transformer ($M^2$ Transformer): Thay thế cấu trúc Transformer gốc nhằm khai thác hiệu quả các đặc trưng thị giác từ mức thấp (low-level) đến mức cao (high-level) thông qua các kết nối lưới đa tầng.
  • Tích hợp Adaptive Attention Module: Hỗ trợ mô hình phân biệt linh hoạt giữa các từ mang nội dung thị giác cụ thể (visual words) và các từ chức năng/ngữ pháp (non-visual words) khi sinh câu chú thích.
  • Kết hợp mô hình ngôn ngữ tiếng Việt: Sử dụng PhoBERT cùng các bộ trích xuất đặc trưng ảnh chuyên dụng nhằm nâng cao khả năng biểu đạt câu văn tiếng Việt.

Chương 5: Quy trình thực nghiệm

Chương 5 trình bày toàn bộ quá trình thử nghiệm thực tế:

  • Bộ dữ liệu: Sử dụng VieCap4H do Ban tổ chức cuộc thi VLSP 2021 cung cấp, tập trung vào lĩnh vực y tế - chăm sóc sức khỏe.
  • Độ đo đánh giá tự động: Sử dụng các thước đo chuẩn trong bài toán Image Captioning gồm BLEU-N (B-1, B-2, B-3, B-4), METEOR (M), ROUGE-L (R), CIDEr (C), SPICE (S) và chỉ số phạt độ dài Brevity Penalty (BP).
  • Thiết lập cài đặt: Tiến hành cấu hình mô hình đề xuất kết hợp ($M^2$ Transformer, RSTNet) cùng mô hình ngôn ngữ PhoBERT và module TG2F, kết hợp bộ trích xuất đặc trưng ảnh X-.
  • Phân tích và trực quan hóa: Đánh giá so sánh hiệu năng giữa phương pháp cơ sở và các cấu hình đề xuất; kiểm thử trên cả hai tập dữ liệu công khai (public-test) và tập ẩn (private-test); phân tích sự biến thiên của các chỉ số và trực quan hóa các vùng chú ý trên ảnh thực tế tương ứng với câu chú thích tiếng Việt sinh ra.

Chương 6: Kết luận và hướng phát triển

Chương 6 tổng kết các kết quả đạt được của khóa luận: chứng minh tính khả thi của việc kết hợp mô hình CNN trích xuất đặc trưng cải tiến (TG2F) với mạng Transformer đa tầng ($M^2$ Transformer) và mô hình ngôn ngữ PhoBERT trong việc sinh chú thích ảnh y tế bằng tiếng Việt. Đồng thời, tác giả vạch ra các hướng nghiên cứu tiếp theo để hoàn thiện mô hình.

Kết quả và đóng góp

Khóa luận ghi nhận các kết quả thực nghiệm và đóng góp cụ thể:

  • Đóng góp về mặt kiến trúc: Xây dựng thành công module TG2F cải tiến từ bộ Grid Feature Extractor của RSTNet, giúp tăng cường khả năng biểu diễn và giảm thiểu mất mát thông tin không gian của ảnh. Đồng thời, kết hợp thành công kiến trúc $M^2$ Transformer giúp mô hình nắm bắt đầy đủ các mức đặc trưng ảnh từ low-level đến high-level.
  • Đóng góp về mặt ứng dụng ngôn ngữ: Tích hợp hiệu quả mô hình PhoBERT vào kiến trúc sinh chú thích, xử lý được đặc thù ngữ pháp của tiếng Việt (không biến đổi hình thái từ, sử dụng trợ từ bổ trợ thì và số lượng) trên miền dữ liệu y tế VieCap4H.
  • Đóng góp thực nghiệm: Đưa ra bảng đánh giá chi tiết trên các độ đo học thuật tiêu chuẩn (BLEU-1 đến BLEU-4, METEOR, ROUGE-L, CIDEr, SPICE) và chỉ số Brevity Penalty (BP). Kết quả thực nghiệm của phương pháp đề xuất ($M^2$, RSTNet w/ PhoBERT + TG2F) trên cả hai tập public-test và private-test đạt mức độ chính xác cạnh tranh trực tiếp với các đội thi tham gia cuộc thi VLSP 2021.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của nghiên cứu:

  • Chất lượng dữ liệu thị giác y tế trong thực tế tồn tại nhiều yếu tố gây nhiễu kỹ thuật quang học (ảnh mờ, che khuất, tương phản kém, góc chụp hẹp) gây khó khăn cho việc trích xuất đặc trưng.
  • Quá trình gán nhãn câu chú thích chịu ảnh hưởng bởi tính chủ quan và phong cách hành văn của từng cá nhân tham gia gán nhãn.
  • Nghiên cứu tập trung trong phạm vi ngữ cảnh chăm sóc sức khỏe của tập dữ liệu VieCap4H (VLSP 2021), chưa mở rộng sang các miền hình ảnh y khoa chuyên sâu đa dạng khác.

Hướng nghiên cứu tiếp theo được tác giả xác định trong Chương 6:

  • Tiếp tục nghiên cứu và thử nghiệm các kiến trúc trích xuất đặc trưng thị giác mới nhằm nâng cao độ chính xác biểu diễn ảnh.
  • Tối ưu hóa cấu trúc mô hình để cải thiện khả năng sinh câu chú thích tiếng Việt tự nhiên hơn, mượt mà hơn và tăng cường độ chính xác về mặt ngữ nghĩa y khoa.

Giá trị tham khảo

Tài liệu khóa luận có giá trị tham khảo thiết thực cho các đối tượng:

  • Sinh viên, học viên cao học và nhóm nghiên cứu thuộc ngành Công nghệ Thông tin, Khoa học Máy tính, Trí tuệ Nhân tạo đang thực hiện các đề tài giao thoa giữa Thị giác Máy tính và Xử lý Ngôn ngữ Tự nhiên (Vision-Language).
  • Các nhà nghiên cứu quan tâm đến bài toán Image Captioning cho ngôn ngữ tiếng Việt và lĩnh vực hình ảnh y tế.

Các phần nội dung đáng tham khảo nhất:

  • Phần tổng hợp lý thuyết toàn diện tại Chương 2 về các kiến trúc mạng CNN (từ LeNet-5, AlexNet đến GoogLeNet, ResNet, ResNeXt) và mô hình Transformer (cơ chế Multi-Head Attention, Positional Encoding, toán tử chú ý).
  • Thiết kế cải tiến module TG2F và phương thức tích hợp $M^2$ Transformer kết hợp PhoBERT tại Chương 4.
  • Quy trình đánh giá thực nghiệm đa độ đo (BLEU, METEOR, ROUGE-L, CIDEr, SPICE) và cách thức xử lý dữ liệu cuộc thi VLSP 2021 tại Chương 5.

Câu hỏi thường gặp

1. Mục tiêu chính của khóa luận tốt nghiệp này là gì?
Khóa luận tập trung nghiên cứu và cải tiến mô hình sinh chú thích tự động bằng tiếng Việt cho hình ảnh thuộc lĩnh vực chăm sóc sức khỏe trên bộ dữ liệu VieCap4H (VLSP 2021) theo hướng tiếp cận kết hợp mạng CNN và Transformer.

2. Tác giả đã đề xuất những cải tiến kiến trúc cụ thể nào so với mô hình cơ sở RSTNet?
Tác giả đề xuất hai cải tiến chính: (1) Xây dựng module TG2F cải tiến từ bộ Grid Feature Extractor của RSTNet để làm giàu thông tin đặc trưng không gian của ảnh; (2) Thay thế Transformer tiêu chuẩn bằng kiến trúc Meshed-Memory Transformer ($M^2$ Transformer) để kết hợp các tầng đặc trưng từ mức thấp đến mức cao.

3. Tiếng Việt có đặc điểm ngữ pháp nào khác biệt với tiếng Anh được tác giả nhấn mạnh trong bài toán Image Captioning?
Tiếng Việt không biến đổi hình thái từ theo thì và ngôi như tiếng Anh (ví dụ: "do/did/done" hoặc "apple/apples"), mà sử dụng các trợ từ thời gian ("đã", "đang", "sẽ") đặt trước động từ và các từ chỉ số lượng ("những") đặt trước danh từ. Mô hình sinh chú thích tiếng Việt cần nắm vững các trợ từ này để tạo câu đúng ngữ pháp.

4. Kỹ thuật Beam Search trong mô hình Neural Image Caption (NIC) được dùng để làm gì?
Trong mô hình NIC, Beam Search (với độ rộng chùm $k = 3$) được sử dụng trong giai đoạn giải mã thay thế cho Greedy Search. Kỹ thuật này duy trì $k$ nhánh dự đoán có tổng xác suất cao nhất tại mỗi bước, giúp tránh việc bỏ lỡ câu chú thích tối ưu toàn cục do các từ xác suất thấp ở bước trước tạo ra.

5. Các độ đo tự động nào được sử dụng để đánh giá chất lượng câu chú thích trong khóa luận?
Hệ thống độ đo bao gồm: BLEU (từ BLEU-1 đến BLEU-4), METEOR, ROUGE-L, CIDEr, SPICE cùng với chỉ số phạt độ ngắn của câu Brevity Penalty (BP).

Kết luận

Khóa luận tốt nghiệp của tác giả Đỗ Gia Bảo đã giải quyết bài toán sinh chú thích ảnh tự động bằng tiếng Việt trong lĩnh vực chăm sóc sức khỏe thông qua việc xây dựng module TG2F và tích hợp kiến trúc $M^2$ Transformer trên nền tảng mô hình RSTNet. Nghiên cứu khai thác thành công bộ dữ liệu VieCap4H từ cuộc thi VLSP 2021 kết hợp cùng mô hình ngôn ngữ PhoBERT, khắc phục các rào cản về mất mát đặc trưng không gian và đặc thù ngữ pháp tiếng Việt. Các kết quả thực nghiệm đạt được trên các thang đo chuẩn học thuật cho thấy tính cạnh tranh của giải pháp đề xuất, đóng góp tư liệu nghiên cứu hữu ích cho các bài toán xử lý đa phương thức thị giác - ngôn ngữ tiếng Việt.