Bối cảnh và vấn đề nghiên cứu

Trầm cảm (Depression / Major Depressive Disorder - MDD) là một dạng rối loạn cảm xúc phổ biến và nghiêm trọng, tác động tiêu cực đến sức khỏe thể chất, tâm lý và chất lượng cuộc sống. Theo số liệu của Tổ chức Y tế Thế giới (WHO) được công bố năm 2023, toàn cầu có khoảng 280 triệu người đang sống chung với bệnh trầm cảm, chiếm khoảng 3,8% dân số thế giới (bao gồm 5,0% người trưởng thành với tỷ lệ 4% ở nam, 6% ở nữ và 5,7% ở người trên 60 tuổi). Thống kê của Viện Đo lường và Đánh giá Sức khỏe (IHME) qua nền tảng GHDx cho thấy trầm cảm là một trong những rối loạn tâm thần gia tăng nhanh nhất giai đoạn 1990–2019. Mỗi năm có gần 800.000 ca tự tử được báo cáo (trung bình cứ 40 giây có một ca), trong đó khoảng 50% trường hợp có liên quan đến các triệu chứng trầm cảm hoặc rối loạn tâm trạng. Tại Việt Nam, nghiên cứu năm 2022 tại các cơ sở chăm sóc sức khỏe ban đầu ở TP. Hồ Chí Minh ghi nhận tỷ lệ mắc rối loạn trầm cảm là 15,8%.

Các phương pháp chẩn đoán lâm sàng truyền thống chủ yếu dựa trên phỏng vấn trực tiếp hoặc các thang đo tâm lý tự báo cáo. Phương pháp này tồn tại hạn chế do phụ thuộc vào tính chủ quan của người bệnh, việc che giấu triệu chứng, cũng như sự thiếu hụt trong việc tổng hợp có hệ thống các chỉ báo hành vi phi ngôn ngữ (như nét mặt, ánh mắt, tư thế, ngữ điệu giọng nói). Bên cạnh đó, việc ứng dụng học máy và học sâu vào bài toán này gặp phải các thách thức lớn:

  • Tính phức tạp và kín đáo của các biểu hiện trầm cảm so với các trạng thái cảm xúc cơ bản.
  • Sự mất cân bằng nghiêm trọng của dữ liệu thực tế (số lượng mẫu trầm cảm luôn ít hơn mẫu không trầm cảm).
  • Vấn đề bảo mật và quyền riêng tư đối với dữ liệu y tế cá nhân.

Khóa luận xác định mục tiêu và phạm vi nghiên cứu cụ thể:

  1. Mục tiêu nghiên cứu: Xây dựng mô hình học sâu hỗ trợ phát hiện dấu hiệu trầm cảm từ dữ liệu đa phương tiện (hình ảnh, âm thanh, văn bản). Mô hình đóng vai trò công cụ hỗ trợ sàng lọc cho chuyên gia y tế, không thay thế chẩn đoán chuyên môn.
  2. Nhiệm vụ nghiên cứu:
    • Khảo sát các công trình nghiên cứu tiền nhiệm và cơ sở lý thuyết tâm lý học liên quan đến trầm cảm.
    • Phân tích và tiền xử lý bộ dữ liệu đa phương thức chuẩn DAIC-WOZ.
    • Thiết kế kiến trúc trích xuất đặc trưng cho từng nhánh đơn phương thức (Visual, Audio, Text) và nhánh kết hợp đa phương thức.
    • Huấn luyện, đánh giá thực nghiệm và so sánh hiệu năng trên các tập dữ liệu mất cân bằng và đã cân bằng.
  3. Đối tượng và phạm vi nghiên cứu:
    • Đối tượng: Dấu hiệu hành vi của các cá nhân mắc hoặc không mắc trầm cảm thể hiện qua biểu cảm khuôn mặt, tín hiệu giọng nói và văn bản hội thoại.
    • Phạm vi: Thực nghiệm trên bộ cơ sở dữ liệu phỏng vấn lâm sàng DAIC-WOZ với 189 cuộc phỏng vấn ảo.

Cơ sở lý thuyết và phương pháp

Khung lý thuyết và công cụ đánh giá tâm lý học

Nghiên cứu tổng hợp lịch sử bệnh học tâm thần từ quan niệm cổ đại (thuyết thể dịch của Hippocrates, tác phẩm The Anatomy of Melancholy năm 1621 của Robert Burton, phân loại tâm thần học của Emil Kraepelin năm 1895) đến các lý thuyết nhận thức hiện đại:

  • Thuyết nhận thức của Aaron Beck: Nhấn mạnh các sai lệch trong xử lý thông tin và suy nghĩ tiêu cực về bản thân.
  • Thuyết bất lực tập nhiễm của Martin Seligman: Giải thích trạng thái tuyệt vọng khi cá nhân cảm thấy mất khả năng kiểm soát hoàn cảnh.
  • Cẩm nang chẩn đoán DSM: Tiêu chuẩn chẩn đoán từ DSM-III (1980) đến DSM-V (1994).
  • Hệ thống mã hóa hành động khuôn mặt (FACS): Xác định các đơn vị hành động cơ mặt (Action Units - AU), đặc biệt là AU12 (cơ gò má lớn - giảm tần suất cười) và AU14 (cơ khóe miệng - biểu hiện khinh miệt/tiêu cực).

Khóa luận khảo sát chi tiết ba thang đo tâm lý chuẩn:

  • Thang đánh giá trầm cảm Beck (BDI-II): Gồm 21 câu hỏi tự điền, đánh giá cảm xúc trong 2 tuần gần nhất (thang điểm 0–63 phân thành: 0–13 tối thiểu, 14–19 nhẹ, 20–28 vừa, 29–63 nặng).
  • Thang đánh giá PHQ (PHQ-8 và PHQ-9): Phát triển từ PRIME-MD, đánh giá triệu chứng trong 2 tuần (PHQ-8 loại bỏ câu hỏi về ý định tự tử; thang điểm 0–24 phân thành: 0–4 tối thiểu, 5–9 nhẹ, 10–14 vừa, 15–19 vừa-nặng, 20–24 nặng).
  • Thang đánh giá trầm cảm Hamilton (HAMD/HRSD): Bản 17 câu hỏi (HAMD-17) được chuyên gia đánh giá qua quan sát lâm sàng (điểm <7 bình thường, 8–13 nhẹ, 14–18 vừa, 19–22 nặng, >22 rất nặng).

Các kiến trúc học sâu sử dụng

  • Hàm kích hoạt: Rectified Linear Unit (ReLU), Scaled Exponential Linear Unit (SELU) áp dụng trong Self-Normalizing Neural Networks (SNN) để chống triệt tiêu/bùng nổ gradient, và hàm Sigmoid ở lớp đầu ra để ước lượng xác suất nhị phân.
  • Mạng nơ-ron tích chập (CNN): Conv2D và Conv1D kết hợp các lớp Batch Normalization, MaxPooling và Dropout nhằm trích xuất đặc trưng không gian và giảm chiều dữ liệu.
  • Mạng nơ-ron hồi quy và biến thể: Long Short-Term Memory (LSTM), Bidirectional LSTM (BiLSTM), Gated Recurrent Unit (GRU), Bidirectional GRU (BiGRU) nhằm nắm bắt sự phụ thuộc thời gian hai chiều trong chuỗi dữ liệu.
  • Mạng chú ý phân cấp (Hierarchical Attention Networks - HAN): Cấu trúc gồm 4 tầng (Word Sequence Encoder, Word-level Attention, Sentence Encoder, Sentence-level Attention) dùng BiGRU kết hợp cơ chế Attention để định lượng mức độ quan trọng của từng từ trong câu và từng câu trong toàn bộ văn bản.

Nguồn dữ liệu và phương pháp nghiên cứu thực nghiệm

  • Nguồn dữ liệu: Bộ dữ liệu DAIC-WOZ (Distress Analysis Interview Corpus - Wizard-of-Oz) do Viện Công nghệ Sáng tạo thuộc Đại học California (UCLA) phát triển. Dữ liệu gồm 189 cuộc phỏng vấn tương tác giữa người tham gia và nhân vật ảo "Ellie", thời lượng từ 7 đến 33 phút (trung bình 16 phút).
Phân chia tập dữ liệu Trầm cảm (mẫu) Không trầm cảm (mẫu) Tổng số clip
Tập huấn luyện (Training set) 30 77 107
Tập kiểm định (Validation set) 13 22 35
Tập kiểm tra (Test set) 14 33 47
Tổng cộng DAIC 57 132 189

Thiết kế và triển khai mô hình học sâu

Quy trình tiền xử lý và xây dựng mô hình được thiết kế theo cấu trúc module hóa cho từng phương thức dữ liệu trước khi thực hiện hợp nhất:

1. Tiền xử lý dữ liệu đa phương thức

  • Dữ liệu hình ảnh (Visual): Trích xuất từ OpenFace/FACET ở tần số lấy mẫu 30 Hz (30 khung hình/giây). Nghiên cứu tập trung vào đặc trưng hướng nhìn (Gaze - 6 giá trị vector 3 chiều cho 2 mắt) và đặc trưng tư thế đầu (Head Pose - 6 giá trị gồm 3 tọa độ vị trí và 3 góc Euler $R_x, R_y, R_z$).
  • Dữ liệu âm thanh (Audio): Tín hiệu âm thanh thô 16 kHz được xử lý loại bỏ khoảng lặng, khử nhiễu và trích xuất thành biểu đồ Mel-Spectrogram kích thước $1800 \times 80$.
  • Dữ liệu văn bản (Text): Lọc bỏ lời thoại của nhân vật ảo Ellie từ tệp bản ghi transcript, chỉ giữ lại lời nói của người tham gia. Chuyển đổi từ ngữ thành vector nhúng sử dụng mô hình GloVe tiền huấn luyện (file biểu diễn 6 tỷ từ, số chiều embedding là 100).
  • Phân đoạn chuỗi và xử lý mất cân bằng: Áp dụng kỹ thuật cửa sổ trượt (sliding window) để cắt dữ liệu thành các chuỗi cố định và padding giá trị 0 ở cuối để đồng nhất kích thước. Khắc phục tình trạng mất cân bằng lớp bằng kỹ thuật Undersampling trên tập Train và Valid, giữ nguyên phân phối tập Test.
Tập dữ liệu chuỗi Trầm cảm (Chưa cân bằng) Không trầm cảm (Chưa cân bằng) Trầm cảm (Đã cân bằng) Không trầm cảm (Đã cân bằng)
Train set 264 chuỗi (475.200 frames) 670 chuỗi (1.206.000 frames) 264 chuỗi (475.200 frames) 300 chuỗi (540.000 frames)
Valid set 141 chuỗi (253.800 frames) 211 chuỗi (379.800 frames) 141 chuỗi (253.800 frames) 150 chuỗi (270.000 frames)
Test set 165 chuỗi (297.000 frames) 331 chuỗi (597.700 frames) 165 chuỗi (297.000 frames) 331 chuỗi (597.700 frames)

2. Kiến trúc các nhánh mạng nơ-ron

  • Nhánh Visual: Đầu vào vector hướng nhìn và tư thế đầu $\rightarrow$ Lớp Conv2D trích xuất đặc trưng không gian $\rightarrow$ Batch Normalization $\rightarrow$ MaxPooling $\rightarrow$ Dropout $\rightarrow$ Chuyển đổi chiều dữ liệu $\rightarrow$ Các lớp BiLSTM xen kẽ Dropout (tỷ lệ 0.3) $\rightarrow$ Fully Connected $\rightarrow$ Vector đặc trưng $F_v \rightarrow$ Hàm Sigmoid.
  • Nhánh Audio: Đầu vào Mel-Spectrogram $(1800 \times 80) \rightarrow$ Lớp Conv1D (kernel size = 6, stride = 1) $\rightarrow$ Batch Normalization $\rightarrow$ MaxPooling $\rightarrow$ Dropout $\rightarrow$ 2 lớp BiGRU xen kẽ Dropout (tỷ lệ 0.3) $\rightarrow$ Fully Connected $\rightarrow$ Vector đặc trưng $F_a \rightarrow$ Hàm Sigmoid.
  • Nhánh Text: Đầu vào vector GloVe 100 chiều $\rightarrow$ BiGRU cấp từ kết hợp Attention cơ chế Softmax $\rightarrow$ Vector câu $\rightarrow$ BiGRU cấp câu kết hợp Attention cơ chế Softmax $\rightarrow$ Fully Connected $\rightarrow$ Vector đặc trưng $F_t \rightarrow$ Hàm Sigmoid.
  • Mô hình kết hợp đa phương thức (Multimodal Fusion): Kết hợp các vector đặc trưng $(F_v, F_a, F_t)$ bằng kỹ thuật nối chuỗi (Concatenate) $\rightarrow$ Lớp Fully Connected cuối cùng $\rightarrow$ Hàm kích hoạt Sigmoid đưa ra nhãn dự đoán nhị phân (Trầm cảm / Không trầm cảm).

3. Môi trường triển khai và huấn luyện

  • Phần cứng: CPU Intel Xeon @ 2.7 GHz, GPU NVIDIA Tesla T4 15 GB, Ổ cứng 80 GB.
  • Môi trường phần mềm: Ngôn ngữ lập trình Python; các thư viện: TensorFlow, Keras, Librosa, Pandas, NumPy, Scikit-learn, NLTK, Gensim, SentenceTransformer, Matplotlib, Seaborn.
  • Thang đo đánh giá: Độ chính xác (Accuracy), Độ chuẩn xác (Precision), Độ thu hồi (Recall) và Điểm F1 (F1-score).

Nội dung chính theo từng chương

Lời mở đầu

Trình bày tổng quan về tính cấp thiết của đề tài, thực trạng bệnh lý trầm cảm gia tăng trong xã hội hiện đại, xác định rõ mục tiêu xây dựng mô hình học sâu hỗ trợ phát hiện dấu hiệu trầm cảm từ dữ liệu đa phương thức, nêu phạm vi nghiên cứu trên tập dữ liệu DAIC và cấu trúc 6 chương của khóa luận.

Chương 1. Tổng quan tình hình nghiên cứu

Phân tích dịch tễ học và các số liệu thống kê về rối loạn tâm thần toàn cầu (971 triệu người mắc năm 2019 theo GHDx, tỷ lệ triệu chứng trầm cảm ở thanh thiếu niên tăng từ 24% lên 37% giai đoạn 2001–2020). Khảo sát 10 bộ dữ liệu nghiên cứu trầm cảm quốc tế (như DAIC, AVEC 2013/2014/2016, Crisis Text Line, DementiaBank, RSDD). Tổng kết các hướng tiếp cận học sâu trên thị giác máy tính (CNN 2D/3D, DBN, TDCN), giọng nói (MFCC, Mel-Spectrogram kết hợp CNN/LSTM/GRU) và văn bản (phân tích ngữ nghĩa trên mạng xã hội và transcript). Nêu rõ 3 thách thức cốt lõi: tính phức tạp của dấu hiệu phi ngôn ngữ, bảo mật dữ liệu y tế và hiện tượng mất cân bằng mẫu.

Chương 2. Cơ sở lý thuyết

Trình bày lịch sử phát triển nhận thức bệnh học từ thời kỳ cổ đại đến các tiêu chuẩn chẩn đoán y khoa hiện đại (DSM-V). Phân tích chi tiết ba công cụ đánh giá truyền thống: BDI-II, PHQ-8/PHQ-9 và HAMD-17 cùng hệ thống mã hóa đơn vị hành động cơ mặt FACS. Trình bày cơ sở toán học và kiến trúc của mạng nơ-ron nhân tạo (ANN), cơ chế lan truyền thuận/ngược, các hàm kích hoạt (ReLU, SELU, Sigmoid), cấu trúc mạng tích chập CNN (Conv, Pooling, FC), mạng hồi quy RNN và các biến thể nâng cao (LSTM, BiLSTM, GRU, BiGRU) cùng kiến trúc mạng chú ý phân cấp HAN.

Chương 3. Cơ sở dữ liệu trầm cảm

Phân tích cấu trúc bộ dữ liệu DAIC-WOZ và phương pháp phỏng vấn Wizard-of-Oz với nhân vật ảo Ellie. Mô tả chi tiết các tệp đặc trưng có sẵn: 68 điểm landmark 2D/3D, 17 Action Units, tọa độ Gaze, góc quay Pose, HOG, các chỉ số âm thanh COVAREP (NAQ, QOQ, H1H2, PSP, MDQ, peakSlope, Rd, MCEP, HMPDM, HMPDD), các tần số Formant (F1, F2, F3) và tệp văn bản transcript. Chi tiết hóa quy trình tiền xử lý ngữ liệu, trích xuất đặc trưng hướng nhìn/tư thế đầu, xử lý âm thanh Mel-Spectrogram, cắt chuỗi thời gian bằng cửa sổ trượt, gán nhãn chuỗi và cân bằng dữ liệu bằng Undersampling.

Chương 4. Xây dựng mô hình phát hiện dấu hiệu trầm cảm

Mô tả chi tiết sơ đồ khối và tham số thiết kế của 4 mô hình:

  1. Mô hình đặc trưng khuôn mặt kết hợp Conv2D và BiLSTM.
  2. Mô hình đặc trưng âm thanh kết hợp Conv1D và BiGRU trên Mel-Spectrogram.
  3. Mô hình đặc trưng văn bản ứng dụng kiến trúc HAN (BiGRU 2 cấp độ từ và câu tích hợp Attention).
  4. Mô hình đa phương thức tích hợp các vector đầu ra $F_v, F_a, F_t$ qua lớp Concatenate và Fully Connected.

Chương 5. Thực nghiệm và đánh giá

Mô tả chi tiết cấu hình thực nghiệm phần cứng/phần mềm. Phân tích kết quả thực nghiệm trên tập dữ liệu mất cân bằng so với tập dữ liệu sau khi áp dụng Undersampling. So sánh hiệu năng giữa các nhánh đơn phương thức và các cấu hình kết hợp đa phương thức. Thảo luận nguyên nhân dẫn đến sự chênh lệch hiệu năng và so sánh đối chiếu kết quả với các công trình nghiên cứu quốc tế công bố trước đó.

Chương 6. Kết luận và hướng phát triển

Tổng kết toàn bộ các kết quả nghiên cứu đã đạt được trong việc trích xuất và kết hợp đặc trưng đa phương thức. Nêu rõ các hạn chế còn tồn đọng và định hướng mở rộng tập dữ liệu, hoàn thiện cơ chế kết hợp đặc trưng và khả năng ứng dụng thực tiễn trong y tế số.


Kết quả và đóng góp

1. Kết quả thực nghiệm chi tiết

Thực nghiệm cho thấy kỹ thuật Undersampling giúp cải thiện rõ rệt chỉ số F1-score trên cả tập Validation và Test ở tất cả các cấu hình mô hình so với khi huấn luyện trên dữ liệu mất cân bằng.

Phương thức Đặc trưng F1-score (Dữ liệu mất cân bằng) F1-score (Sau Undersampling)
Đơn phương thức (Unimodal) Gaze (Hướng nhìn) 0,3876 0,4953
Pose (Tư thế đầu) 0,4319 0,4991
Visual kết hợp (Gaze + Pose) 0,3529 0,5263
Audio (Âm thanh) Không nêu 0,5581
Text (Văn bản) Không nêu 0,6378
Đa phương thức (Multimodal) Audio + Visual (AV) Không nêu 0,5300
Audio + Text (AT) Không nêu 0,6582
Visual + Audio + Text (AVT) Không nêu 0,5600

2. So sánh với các công trình nghiên cứu tiền nhiệm

Phương thức Nghiên cứu Đặc trưng sử dụng F1-score công bố F1-score của khóa luận
Đơn phương thức Ma et al. [40] Audio (A) 0,52 0,56
Valstar et al. [47] Visual (V) 0,50 0,52
Williamson et al. [41] Text (T) 0,76 0,64
Cascade Random Forest [88] Text (T) 0,55 0,64
Đa phương thức Valstar et al. [47] Audio + Visual (AV) 0,50 0,53
Ping Cheng et al. [2] Audio + Visual (AV) 0,59 0,53
Ying Shen et al. [50] Audio + Text (AT) 0,71 0,66
Ping Cheng et al. [2] Visual + Audio + Text (AVT) 0,70 0,56

3. Đóng góp khoa học và giải pháp đề xuất

  • Xây dựng hoàn chỉnh pipeline xử lý dữ liệu chuỗi thời gian đa phương thức: Đề xuất quy trình tiền xử lý đồng bộ từ video, tín hiệu âm thanh và văn bản hội thoại của bộ dữ liệu DAIC-WOZ, áp dụng cơ chế cửa sổ trượt và chuẩn hóa kích thước chuỗi.
  • Chứng minh tính ưu việt của mô hình kết hợp Audio - Text: Kết quả thực nghiệm chứng minh sự kết hợp giữa âm thanh và văn bản (AT) đạt hiệu năng cao nhất (F1 = 0,6582 / xấp xỉ 0,66), vượt trội hơn việc chỉ sử dụng từng nhánh đơn lẻ và cao hơn mô hình kết hợp cả 3 phương thức (AVT đạt F1 = 0,56).
  • Đề xuất giải pháp kỹ thuật: Ứng dụng thành công kỹ thuật Undersampling giúp giảm thiểu tác động tiêu cực của hiện tượng mất cân bằng dữ liệu đối với khả năng tổng quát hóa của mạng học sâu.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận chỉ rõ các hạn chế thực tế trong quá trình thực hiện:

  1. Hạn chế về quy mô dữ liệu: Bộ dữ liệu DAIC-WOZ chỉ có 189 đối tượng phỏng vấn, kích thước mẫu còn hạn chế để huấn luyện tối ưu các mạng học sâu nhiều tham số.
  2. Nhầm lẫn trong đặc trưng âm thanh: Tín hiệu âm thanh của nhóm nam giới mắc trầm cảm dễ bị nhầm lẫn với giọng nữ giới bình thường do sự tương đồng về biên độ và tần số giọng nói khi thiếu thông tin chuẩn hóa sinh học.
  3. Cơ chế hợp nhất đa phương thức còn đơn giản: Việc ghép nối vector (Concatenation) trực tiếp giữa các nhánh $F_v, F_a, F_t$ chưa phản ánh được mức độ tương quan phi tuyến và đóng góp trọng số khác nhau giữa các phương thức, dẫn đến việc mô hình 3 nhánh (AVT) đạt F1 thấp hơn mô hình 2 nhánh (AT).

Hướng nghiên cứu tiếp theo:

  • Thu thập và mở rộng tập dữ liệu từ nhiều nguồn khác nhau, kết hợp các kỹ thuật tăng cường dữ liệu (data augmentation).
  • Nghiên cứu cơ chế Attention đa phương thức (Cross-modal Attention / Sub-attentional Fusion) và gán trọng số thích ứng cho từng nhánh dữ liệu thay cho phép nối chuỗi đơn thuần.
  • Hướng tới triển khai mô hình thành ứng dụng di động hoặc tích hợp vào hệ thống thông tin y tế nhằm hỗ trợ sàng lọc tâm lý từ xa trong cộng đồng.

Giá trị tham khảo

Tài liệu là nguồn tham khảo hữu ích cho:

  • Sinh viên và học viên ngành Khoa học Máy tính, Công nghệ Thông tin, Trí tuệ Nhân tạo: Cung cấp tài liệu tham khảo chi tiết về quy trình xử lý dữ liệu đa phương thức (Multimodal Data Processing) kết hợp xử lý chuỗi thời gian, tín hiệu âm thanh Librosa, văn bản NLP và thị giác máy tính.
  • Nhà nghiên cứu về Y tế số và Tin sinh học (Digital Health / Affective Computing): Cung cấp góc nhìn thực nghiệm về việc ứng dụng mạng nơ-ron nhân tạo (CNN, BiLSTM, BiGRU, HAN) trong bài toán nhận diện rối loạn tâm thần từ biểu hiện hành vi.
  • Các phần đáng tham khảo trực tiếp:
    • Chương 3: Quy trình xử lý các đặc trưng tọa độ khuôn mặt, góc quay đầu Euler, trích xuất Mel-Spectrogram và giải pháp cân bằng dữ liệu Undersampling.
    • Chương 4: Kiến trúc chi tiết của mạng HAN cho văn bản và các khối tích chập kết hợp mạng hồi quy hai chiều cho tín hiệu hình ảnh/âm thanh.
    • Chương 5: Bảng số liệu đối chiếu chi tiết giữa dữ liệu Imbalanced và Balanced trên các phép đo học máy.

Câu hỏi thường gặp

1. Bộ dữ liệu DAIC-WOZ sử dụng trong khóa luận có cấu trúc và số lượng mẫu như thế nào?
Bộ dữ liệu gồm 189 cuộc phỏng vấn với thời lượng từ 7 đến 33 phút (trung bình 16 phút), ghi lại tương tác giữa người tham gia và nhân vật phỏng vấn ảo Ellie. Dữ liệu được chia sẵn thành 3 tập: Tập huấn luyện (107 clip: 30 trầm cảm, 77 không trầm cảm), Tập kiểm định (35 clip: 13 trầm cảm, 22 không trầm cảm) và Tập kiểm tra (47 clip: 14 trầm cảm, 33 không trầm cảm).

2. Nhánh trích xuất đặc trưng văn bản sử dụng mô hình gì và hoạt động ra sao?
Nhánh văn bản sử dụng mạng Chú ý Phân cấp (HAN - Hierarchical Attention Networks) kết hợp bộ nhúng từ GloVe (100 chiều). Mô hình sử dụng 2 tầng BiGRU: tầng 1 mã hóa cấp độ từ kết hợp cơ chế Attention để tạo vector biểu diễn câu, tầng 2 mã hóa cấp độ câu kết hợp Attention để tổng hợp thông tin ngữ nghĩa toàn bài, trước khi đưa qua lớp Fully Connected và hàm Sigmoid.

3. Kỹ thuật nào đã được tác giả sử dụng để giải quyết vấn đề mất cân bằng dữ liệu?
Tác giả áp dụng kỹ thuật Undersampling trên tập Train và tập Valid bằng cách loại bỏ bớt các chuỗi thuộc lớp đa số ("Không trầm cảm") để số lượng mẫu xấp xỉ lớp thiểu số ("Trầm cảm"). Sau khi xử lý, tập Train giảm từ 670 chuỗi xuống 300 chuỗi không trầm cảm (so với 264 chuỗi trầm cảm), tập Valid giảm từ 211 chuỗi xuống 150 chuỗi không trầm cảm (so với 141 chuỗi trầm cảm), trong khi tập Test giữ nguyên.

4. Kết quả thực nghiệm cho thấy phương thức đơn lẻ nào và cấu hình kết hợp nào đạt hiệu năng cao nhất?
Ở nhánh đơn phương thức, đặc trưng văn bản (Text) đạt kết quả cao nhất với F1-score là 0,6378 (sau khi cân bằng dữ liệu). Ở các cấu hình kết hợp đa phương thức, sự kết hợp giữa Âm thanh và Văn bản (Audio + Text) đạt hiệu năng cao nhất với F1-score là 0,6582 (xấp xỉ 0,66), cao hơn cấu hình kết hợp cả ba nhánh Visual + Audio + Text (F1-score = 0,56).

5. Vì sao mô hình kết hợp cả ba nhánh (Visual + Audio + Text) lại có điểm F1 thấp hơn mô hình kết hợp hai nhánh (Audio + Text)?
Tác giả giải thích nguyên nhân chủ yếu do phương pháp hợp nhất hiện tại sử dụng kỹ thuật nối chuỗi (Concatenate) đơn giản giữa các DataFrame đặc trưng. Cách tiếp cận này chưa tối ưu hóa được việc chọn lọc đặc trưng quan trọng hoặc gán trọng số phù hợp cho từng nhánh, dẫn đến việc đặc trưng Visual (vốn có điểm F1 đơn nhánh thấp: Gaze F1 = 0,4953, Pose F1 = 0,4991) làm giảm độ chính xác chung của mô hình hợp nhất ba phương thức.


Kết luận

Khóa luận tốt nghiệp đã nghiên cứu và triển khai thành công mô hình học sâu đa phương thức hỗ trợ phát hiện dấu hiệu trầm cảm dựa trên biểu cảm khuôn mặt, giọng nói và văn bản từ bộ dữ liệu chuẩn DAIC-WOZ. Kết quả thực nghiệm khẳng định kỹ thuật Undersampling giúp cải thiện rõ rệt hiệu năng phân loại và mô hình kết hợp Âm thanh - Văn bản (Audio-Text) đạt điểm F1 tối ưu 0,6582. Công trình cung cấp cơ sở thực nghiệm có giá trị cho việc phát triển các công cụ sàng lọc sức khỏe tâm thần tự động, đồng thời chỉ ra hướng hoàn thiện thông qua các cơ chế chú ý đa phương thức và mở rộng quy mô dữ liệu trong tương lai.