Nhận Dạng Kỳ Thị Giới Tính Trên Mạng Xã Hội

Luận văn tốt nghiệp nghiên cứu tốt nghiệp khoa học máy tính nhận dạng kỳ thị giới tính trên mạng xã hội, điều tra thực trạng, phân tích số liệu, đề xuất biện pháp cải tiến thực tế.

• Tác giả: Lê Minh Quân
• Người hướng dẫn: ThS. Đặng Văn Thìn
• Trường học: Đại học Công nghệ Thông tin
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nhận Dạng Kỳ Thị Giới Tính Trên Mạng Xã Hội
• Loại tài liệu: khóa luận
• Năm xuất bản: 2024
• Địa điểm: Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: GIỚI THIỆU
• 1.1. Lý do thực hiện khóa luận
• 1.2. Mục tiêu của khóa luận
• 1.3. Phạm vi và đối tượng nghiên cứu
• 1.4. Bố cục của khóa luận
• 2. CHƯƠNG 2: TỔNG QUAN
• 2.1. Phát biểu bài toán nghiên cứu
• 2.2. Phân loại theo thứ bậc (Hierarchy system)
• 2.3. Sự bất đồng khi gán nhãn dữ liệu
• 2.4. Thống kê về người gán nhãn
• 2.5. Thống kê về Tweet và Nhãn dữ liệu
• 2.6. Nghiên cứu liên quan
• 2.6.1. Nghiên cứu trên thế giới
• 2.6.2. Nghiên cứu trong nước
• 2.7. Mô hình Naive Bayes, SVM và MLP
• 2.8. Kiến trúc Transformer
• 2.9. Mô hình mã hóa-giải mã
• 3. CHƯƠNG 3: PHƯƠNG PHÁP
• 3.1. Phương pháp xử lý đầu ra
• 3.2. Các hướng tiếp cận trên mô hình phân loại
• 3.2.1. Hướng tiếp cận đa mô hình
• 3.2.2. Hướng tiếp cận đơn mô hình
• 3.2.3. Hướng áp dụng mô hình
• 3.2.3.1. Encoder only XLM-RoBERTa
• 4. CHƯƠNG 4: THỬ NGHIỆM
• 4.1. Độ chuẩn xác, độ phủ và chỉ số F1
• 4.2. Chỉ số ICM và ICM-soft
• 4.3. Mô hình máy học và học sâu
• 4.4. Mô hình ngôn ngữ lớn
• 4.4.1. Đánh giá trên các mô hình máy học và học sâu
• 4.4.2. Đánh giá trên hai kiến trúc đề xuất
• 4.4.3. Đánh giá trên các mô hình ngôn ngữ lớn
• 5. CHƯƠNG 5: ỨNG DỤNG MINH HỌA
• 5.1. Giao diện nhập dữ liệu
• 5.2. Giao diện xử lý dữ liệu và dự đoán
• 5.3. Giao diện xử lý kết quả dự đoán
• 6. CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 6.1. Kết luận
• 6.2. Hướng phát triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu về Nhận Dạng Kỳ Thị Giới Tính Trên Mạng Xã Hội

Kỳ thị giới tính là một vấn đề nghiêm trọng trong xã hội hiện đại, đặc biệt trên các nền tảng mạng xã hội. Việc nhận diện và phân loại các hành vi kỳ thị giới tính không chỉ giúp nâng cao nhận thức mà còn hỗ trợ trong việc bảo vệ quyền lợi của các nạn nhân. Khóa luận này sẽ trình bày về các phương pháp nhận diện kỳ thị giới tính trên mạng xã hội, từ đó đưa ra giải pháp hiệu quả hơn.

1.1. Lý do thực hiện nghiên cứu về kỳ thị giới tính

Kỳ thị giới tính đã tồn tại từ lâu và gây ra nhiều hệ lụy nghiêm trọng. Việc nghiên cứu giúp hiểu rõ hơn về tác động của nó đến xã hội và tìm ra các giải pháp hiệu quả.

1.2. Mục tiêu của khóa luận về nhận diện kỳ thị giới tính

Mục tiêu chính là phát triển một hệ thống nhận diện văn bản kỳ thị giới tính, phân loại các kiểu kỳ thị và ý định của người viết, nhằm nâng cao độ chính xác trong việc phát hiện.

II. Tổng quan về vấn đề kỳ thị giới tính trên mạng xã hội

Mạng xã hội là nơi diễn ra nhiều hành vi kỳ thị giới tính, từ những bình luận tiêu cực đến các bài đăng mang tính chất hài hước nhưng lại chứa đựng thông điệp kỳ thị. Việc nhận diện chính xác các hành vi này là một thách thức lớn.

2.1. Tình hình kỳ thị giới tính trên các nền tảng mạng xã hội

Kỳ thị giới tính xuất hiện phổ biến trên các nền tảng như Twitter và Facebook, ảnh hưởng đến tâm lý và hành vi của người dùng, đặc biệt là giới trẻ.

2.2. Các hình thức kỳ thị giới tính thường gặp

Kỳ thị giới tính có thể được phân loại thành hai nhóm chính: phân biệt giới thù địch và phân biệt giới thiện cảm, mỗi loại đều có những đặc điểm và tác động riêng.

III. Phương pháp nhận diện kỳ thị giới tính trên mạng xã hội

Để nhận diện kỳ thị giới tính, nhiều phương pháp đã được áp dụng, từ các mô hình học máy truyền thống đến các mô hình ngôn ngữ lớn. Mỗi phương pháp đều có ưu và nhược điểm riêng.

3.1. Các mô hình học máy truyền thống

Mô hình như SVM và Naive Bayes đã được sử dụng để phân loại văn bản, tuy nhiên, chúng gặp khó khăn trong việc xử lý ngữ nghĩa phức tạp.

3.2. Mô hình ngôn ngữ lớn LLMs trong nhận diện kỳ thị

Các mô hình như Llama-2 và mT5 cho thấy khả năng vượt trội trong việc hiểu và phân loại văn bản kỳ thị giới tính nhờ vào khả năng tạo sinh văn bản.

IV. Ứng dụng thực tiễn của nhận diện kỳ thị giới tính

Việc áp dụng các phương pháp nhận diện kỳ thị giới tính không chỉ giúp nâng cao nhận thức mà còn hỗ trợ trong việc bảo vệ quyền lợi của nạn nhân. Các ứng dụng này có thể được triển khai trên nhiều nền tảng khác nhau.

4.1. Hệ thống nhận diện kỳ thị giới tính trên mạng xã hội

Hệ thống này có thể giúp người dùng báo cáo và nhận diện các hành vi kỳ thị, từ đó nâng cao ý thức cộng đồng.

4.2. Kết quả nghiên cứu và ứng dụng thực tiễn

Nghiên cứu đã chỉ ra rằng việc áp dụng các mô hình LLMs mang lại kết quả cao trong việc nhận diện kỳ thị giới tính, với độ chính xác và độ phủ tốt.

V. Kết luận và hướng phát triển trong nhận diện kỳ thị giới tính

Nhận diện kỳ thị giới tính trên mạng xã hội là một vấn đề quan trọng và cần thiết. Các nghiên cứu và ứng dụng trong lĩnh vực này sẽ tiếp tục phát triển để đáp ứng nhu cầu bảo vệ quyền lợi của nạn nhân.

5.1. Tương lai của nghiên cứu về kỳ thị giới tính

Nghiên cứu sẽ tiếp tục mở rộng để cải thiện độ chính xác và khả năng nhận diện, đồng thời phát triển các ứng dụng hỗ trợ người dùng.

5.2. Những thách thức trong việc nhận diện kỳ thị giới tính

Mặc dù đã có nhiều tiến bộ, nhưng việc nhận diện kỳ thị giới tính vẫn gặp nhiều thách thức, đặc biệt là trong việc phân loại các hành vi phức tạp.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Kỳ thị giới tính là một vấn nạn xã hội dai dẳng, được định nghĩa là hành vi đối xử bất công hoặc thái độ không công nhận, hạ thấp vai trò và vị thế của một giới, mà nạn nhân phần lớn là phụ nữ. Hiện tượng này dẫn đến nhiều hệ lụy nghiêm trọng như bạo lực gia đình, quấy rối và bạo lực tình dục, tác động tiêu cực đến thể chất lẫn tinh thần của nữ giới. Với sự bùng nổ của các phương tiện truyền thông mạng xã hội như Twitter và Facebook, các nội dung kỳ thị giới tính lan truyền với tốc độ nhanh chóng và phạm vi rộng lớn, tiêu biểu như chiến dịch quấy rối trực tuyến "Gamergate" vào năm 2014 nhắm vào phụ nữ làm việc trong ngành công nghiệp trò chơi điện tử.

Việc kiểm duyệt và ngăn chặn nội dung kỳ thị giới tính trên không gian mạng gặp nhiều thách thức do khối lượng dữ liệu khổng lồ và tính chất tinh vi của ngôn ngữ. Khác với các phát ngôn thù địch trực diện (hostile sexism), nhiều bài đăng mang tính kỳ thị thiện cảm (benevolent sexism) hoặc ẩn dưới dạng hài hước, châm biếm nhưng thực chất lại củng cố định kiến và áp đặt vị thế yếu kém cho phụ nữ. Đồng thời, mạng xã hội cũng xuất hiện các bài đăng miêu tả, thuật lại hoặc lên án hành vi kỳ thị nhằm nâng cao nhận thức cộng đồng. Sự đan xen này khiến các hệ thống phân loại tự động dễ nhầm lẫn nếu không phân tích sâu ngữ nghĩa và ý đồ của người viết.

Bên cạnh đó, đối với các dữ liệu mang tính chủ quan và cảm xúc, việc áp đặt một nhãn duy nhất thông qua biểu quyết đa số (majority voting) là không phản ánh đầy đủ thực tế. Sự khác biệt về giới tính, độ tuổi, học vấn, chủng tộc và nền tảng văn hóa khiến mỗi cá nhân có góc nhìn riêng khi đánh giá một phát ngôn. Do đó, khóa luận tốt nghiệp ngành Khoa học Máy tính của tác giả Lê Minh Quân, dưới sự hướng dẫn của ThS. Đặng Văn Thìn (năm 2024), tập trung vào đề tài "Nhận dạng kỳ thị giới tính trên mạng xã hội" (Sexism Identification in Social Networks) nhằm mô hình hóa quá trình gán nhãn đa góc nhìn và giải quyết vấn đề bất đồng dữ liệu.

Mục tiêu và nhiệm vụ nghiên cứu của khóa luận được xác định cụ thể qua ba bài toán phân loại phân cấp:

1. Bài toán 1 (Phân loại nhị phân): Xác định một bài đăng (tweet) có chứa nội dung kỳ thị giới tính hay không, phân loại thành hai nhãn YES hoặc NO.
2. Bài toán 2 (Phân loại nhiều lớp): Nhận diện ý định của người viết đối với các tweet đã xác định là YES ở bài toán 1, phân loại thành DIRECT (tư tưởng thuần kỳ thị), REPORTED (thuật lại sự việc kỳ thị ngoài đời hoặc trực tuyến), hoặc JUDGEMENTAL (lên án, chỉ trích hành vi kỳ thị). Nếu bài toán 1 dự đoán NO, nhãn bài toán 2 là NO.
3. Bài toán 3 (Phân loại đa nhãn): Nhận diện cụ thể các hình thức kỳ thị xuất hiện trong văn bản đối với các tweet YES, thuộc 5 nhóm: IDEOLOGICAL-INEQUALITY (bất bình đẳng tư tưởng), STEREOTYPING-DOMINANCE (định kiến và áp đặt vị thế), OBJECTIFICATION (vật hóa phụ nữ), SEXUAL-VIOLENCE (bạo lực tình dục), và MISOGYNY-NON-SEXUAL-VIOLENCE (thù ghét phụ nữ không mang tính bạo lực tình dục). Nếu bài toán 1 dự đoán NO, nhãn bài toán 3 là NO.

Đối tượng và phạm vi nghiên cứu:

• Đối tượng nghiên cứu: Bộ dữ liệu văn bản tweet song ngữ từ cuộc thi EXIST 2024 kèm thông tin nhân khẩu học của người gán nhãn, cùng các thuật toán học máy, mạng nơ-ron học sâu và các mô hình ngôn ngữ lớn (LLMs).
• Phạm vi nghiên cứu: Các bài đăng trên nền tảng mạng xã hội Twitter thuộc tập dữ liệu EXIST 2024 viết bằng tiếng Anh và tiếng Tây Ban Nha; áp dụng mô hình phân loại với sự bất đồng (Learning with Disagreement - LeWiDi).

Cơ sở lý thuyết và phương pháp

Khóa luận dựa trên khung lý thuyết học với sự bất đồng (Learning with Disagreement Paradigm - LeWiDi) và cấu trúc phân loại theo thứ bậc (Hierarchy system). Thay vì triệt tiêu sự bất đồng giữa các người gán nhãn bằng cách lấy nhãn đa số, phương thức LeWiDi giữ nguyên toàn bộ 6 nhãn gán độc lập từ 6 cá nhân cho mỗi mẫu văn bản, đồng thời tích hợp các thuộc tính nhân khẩu học của người gán nhãn vào quá trình huấn luyện và suy luận nhằm mô phỏng đa góc nhìn.

Phương pháp nghiên cứu thực nghiệm được triển khai thông qua việc so sánh đối sánh nhiều họ mô hình xử lý ngôn ngữ tự nhiên:

• Mô hình máy học truyền thống: Multinomial Naive Bayes (dựa trên định lý xác suất Bayes với giả định độc lập đặc trưng); Support Vector Machine (Linear SVM tối ưu hóa siêu phẳng margin lớn nhất kết hợp biến bù sai số slack variables và kỹ thuật kernel trick); Mạng nơ-ron nhiều lớp (Multilayer Perceptron - MLP với hàm kích hoạt phi tuyến và tối ưu hóa lan truyền ngược).
• Mô hình học sâu (Deep Learning): Mạng tích chập văn bản (TextCNN) áp dụng bộ lọc đa kích thước và max-over-time pooling; Mạng bộ nhớ ngắn hạn dài hai chiều (Bi-directional LSTM) sử dụng cơ chế cổng quên (forget gate), cổng vào (input gate) và trạng thái ô nhớ (cell state) để nắm bắt phụ thuộc ngữ cảnh dài.
• Mô hình ngôn ngữ lớn (LLMs) dựa trên kiến trúc Transformer:
  • Encoder-only: XLM-RoBERTa (phiên bản base và large), tiền huấn luyện đa ngôn ngữ bằng cơ chế Masked Language Modeling và self-attention hai chiều.
  • Encoder-Decoder: Multilingual T5 (mT5 với các phiên bản small, base, large), cấu trúc sequence-to-sequence tối ưu hóa trên tác vụ biến đổi văn bản thành văn bản (text-to-text).
  • Decoder-only: Llama-2 chat 7B, mô hình tự hồi quy (auto-regressive) tích hợp các cải tiến như chuẩn hóa RMSNorm, hàm kích hoạt SwiGLU, Grouped-Query Attention và mã hóa vị trí xoay (RoPE).

Nguồn dữ liệu nghiên cứu là tập dữ liệu "EXIST 2024 Tweets Dataset" cung cấp dưới định dạng JSON, bao gồm văn bản tweet, mã định danh và thông tin nhân khẩu học chi tiết của 6 người gán nhãn cho mỗi mẫu:

Đặc trưng tập dữ liệu	Chi tiết thông tin thu thập
Ngôn ngữ văn bản	Tiếng Anh (en) và Tiếng Tây Ban Nha (es)
Số lượng người gán nhãn/mẫu	Cố định 6 người cho mỗi tweet
Giới tính người gán nhãn	Nữ (F) và Nam (M)
Nhóm tuổi người gán nhãn	18–22, 23–45, và 46+
Nhóm sắc tộc	Da trắng/Châu Âu, La tinh/Tây Ban Nha, Da đen/Mỹ gốc Phi, Đa chủng tộc, Châu Á, Châu Á Ấn Độ, Trung Đông
Trình độ học vấn	Dưới trung học, Tốt nghiệp trung học, Cử nhân, Thạc sĩ, Tiến sĩ
Quốc gia cư trú	Phân bố tại hơn 45 quốc gia (Tây Ban Nha, Mỹ, Mexico, Ý, Chile...)

Thống kê phân bổ tập dữ liệu qua các giai đoạn được trình bày trong bảng sau:

Tập dữ liệu	Số người gán nhãn	Số quốc gia	Số tweet Tiếng Anh	Số tweet Tiếng TBN	Tổng số tweet
Tập huấn luyện (Train)	725	45	3.260	3.660	6.920
Tập phát triển (Dev)	113	23	489	549	1.038
Tập kiểm thử (Test)	227	28	978	1.098	2.076

Về phân bố nhãn mục tiêu trên tập huấn luyện: Bài toán 1 có 3.367 nhãn NO và 2.697 nhãn YES. Bài toán 2 có 1.294 nhãn DIRECT, 459 nhãn REPORTED, và 376 nhãn JUDGEMENTAL. Bài toán 3 có 1.423 nhãn STEREOTYPING-DOMINANCE, 1.113 nhãn IDEOLOGICAL-INEQUALITY, 1.103 nhãn OBJECTIFICATION, 856 nhãn MISOGYNY-NON-SEXUAL-VIOLENCE, và 675 nhãn SEXUAL-VIOLENCE.

Nội dung chính theo từng chương

Chương 1: Giới thiệu

Chương 1 thiết lập nền tảng của khóa luận thông qua việc phân tích thực trạng lan truyền phát ngôn kỳ thị giới tính trên mạng xã hội, các dạng thức biểu hiện từ trực diện đến tinh vi (kỳ thị thiện cảm, nội dung hài hước châm biếm). Tác giả làm rõ tính cấp thiết của việc xây dựng hệ thống phân loại đa tầng có khả năng nắm bắt ngữ nghĩa sâu và mô hình hóa sự bất đồng ý kiến của người gán nhãn. Chương này xác định rõ mục tiêu giải quyết ba bài toán con theo thứ bậc, giới hạn phạm vi nghiên cứu trên tập dữ liệu EXIST 2024 và công bố danh mục hai bài báo khoa học được chấp nhận tại các hội thảo quốc tế (CLEF 2024 và IberLEF/HOMO-MEX 2024).

Chương 2: Tổng quan

Chương 2 trình bày chi tiết phát biểu bài toán nhận diện kỳ thị giới tính theo cấu trúc thứ bậc ba cấp và hệ tiên đề phân loại với sự bất đồng LeWiDi. Tác giả thực hiện khảo sát thống kê toàn diện bộ dữ liệu EXIST 2024 về độ dài từ ngữ, phân phối nhân khẩu học của người tham gia gán nhãn và phân bổ xác suất các lớp nhãn. Đồng thời, chương này tổng quan các nghiên cứu liên quan trên thế giới (HatEval 2019, EDOS 2023, DETESTS-Dis 2024, EXIST 2023) và tại Việt Nam (các tập dữ liệu ViCTSD, ViHSD cùng các mô hình PhoBERT, T5). Cuối chương là hệ thống lý thuyết toán học và kiến trúc kỹ thuật của Naive Bayes, SVM, MLP, TextCNN, Bi-LSTM và các nhánh mô hình Transformer (Encoder-only, Decoder-only, Encoder-Decoder).

Chương 3: Phương pháp

Chương 3 trình bày giải pháp kỹ thuật trọng tâm của khóa luận với kiến trúc phân loại tích hợp thông tin nhân khẩu học người gán nhãn. Mẫu dữ liệu đầu vào $i$ được phân tách thành 6 cặp độc lập ${T_i, A_{i,n}}$ tương ứng với tweet $T_i$ và thông tin của người gán nhãn thứ $n$ ($A_{i,n}$). Tác giả phân tích hai hướng tiếp cận:

• Hướng tiếp cận đa mô hình: Sử dụng 6 mô hình độc lập cùng cấu hình, mỗi mô hình được huấn luyện riêng biệt trên dữ liệu tương ứng của một vị trí người gán nhãn nhằm mô phỏng 6 cá nhân khác nhau.
• Hướng tiếp cận đơn mô hình: Sử dụng 1 mô hình duy nhất được huấn luyện trên toàn bộ tập dữ liệu đã phân rã thành các cặp ${T_i, A_{i,n}}$, giúp tối ưu hóa tài nguyên tính toán và tận dụng dữ liệu huấn luyện lớn hơn.

Kỹ thuật áp dụng cho từng mô hình được thiết kế chuyên biệt:

• Với XLM-RoBERTa: Tiền xử lý thay thế URL bằng token URL, chuẩn hóa mention thành USER, tách từ trong hashtag, và nối thông tin nhân khẩu học với tweet qua token [SEP].
• Với mT5: Thiết kế tiền tố chỉ thị tác vụ (như Classify:, Multiclass Classify:) kết hợp với trường thông tin Context: hoặc Annotator's Information:.
• Với Llama-2: Áp dụng kỹ thuật Prompt Engineering với định dạng thẻ [INST] và [/INST], đóng vai giả định nhân khẩu học ("Imagine you are a person with the following characteristics..."), kèm định nghĩa phân loại chi tiết và quy tắc xuất nhãn. Mô hình được tinh chỉnh tham số hiệu quả bằng kỹ thuật LoRA (Low-rank Adaptation), tối ưu hóa hai ma trận phân rã hạng thấp trong khi đóng băng trọng số gốc.

Phương pháp xử lý đầu ra hỗ trợ cả hai dạng: Nhãn cứng (Hard label) thông qua biểu quyết có ngưỡng (Bài toán 1 cần $>3$ phiếu; Bài toán 2 cần $>2$ phiếu; Bài toán 3 cần $>1$ phiếu) và Nhãn mềm (Soft label) thể hiện phân phối xác suất dự đoán.

Chương 4: Thử nghiệm

Chương 4 mô tả thiết lập thực nghiệm và đánh giá định lượng các mô hình trên tập phát triển (Dev) và tập kiểm thử (Test). Các độ đo đánh giá bao gồm Precision, Recall, Macro F1-score, Cross Entropy, cùng hai chỉ số đánh giá chính thức của EXIST 2024: Information Contrast Measure (ICM) dựa trên thông tin tương hỗ từng điểm (PMI) cho nhãn cứng có cấu trúc thứ bậc và ICM-soft cho phân phối xác suất nhãn mềm.

$$\text{ICM}(A, B) = \alpha \text{IC}(A) + \alpha \text{IC}(B) - \beta \text{IC}(A \cup B)$$

Chương này phân tích chi tiết hiệu năng từ các mô hình học máy cơ sở đến các LLMs, chỉ ra sự vượt trội của kiến trúc decoder-only sinh văn bản khi kết hợp lời nhắc chi tiết và thông tin nhân khẩu học.

Chương 5: Ứng dụng minh họa

Chương 5 trình bày việc thiết kế và xây dựng phần mềm minh họa trực quan nhằm mô phỏng toàn bộ quy trình tiếp nhận dữ liệu, tiền xử lý, đưa qua mô hình phân loại và hiển thị kết quả phân tích đa tầng.

Chương 6: Kết luận và Hướng phát triển

Chương 6 tổng kết các kết quả đạt được, khẳng định tính hiệu quả của phương pháp tiếp cận sinh văn bản và kỹ thuật LeWiDi, đồng thời chỉ ra các hạn chế và đề xuất các định hướng mở rộng nghiên cứu.

Thiết kế và triển khai ứng dụng minh họa

Khóa luận xây dựng một ứng dụng minh họa giao diện người dùng đơn giản, gọn nhẹ nhằm trực quan hóa quy trình hoạt động của hệ thống phân loại kỳ thị giới tính. Ứng dụng bao gồm ba phân hệ giao diện chính:

1. Giao diện nhập dữ liệu: Cho phép người dùng nhập văn bản tweet cần kiểm tra cùng với các thông tin nhân khẩu học tùy chọn của người đánh giá (giới tính, độ tuổi, nhóm sắc tộc, trình độ học vấn, quốc gia cư trú).
2. Giao diện xử lý dữ liệu và dự đoán: Tích hợp thanh bên (sidebar) điều khiển, thực hiện tiền xử lý văn bản (chuẩn hóa URL, xử lý hashtag, chuẩn hóa mention), đóng gói chuỗi đầu vào theo khuôn dạng lời nhắc (prompt) hoặc token phân tách, sau đó chuyển đến mô hình ngôn ngữ để thực thi suy luận.
3. Giao diện xử lý kết quả dự đoán: Hiển thị kết quả phân loại theo cấu trúc thứ bậc 3 bài toán con dưới dạng nhãn cứng (Hard label) kèm theo đồ thị phân phối xác suất của các nhãn mềm (Soft label), giúp người dùng quan sát trực quan độ tin cậy và sự đa dạng góc nhìn trong kết quả phân loại.

Kết quả và đóng góp

Nghiên cứu mang lại các kết quả thực nghiệm nổi bật trên tập dữ liệu chuẩn EXIST 2024:

• Mô hình ngôn ngữ lớn Llama-2 (kết hợp LoRA và Prompt Engineering giả định nhân khẩu học) đạt kết quả vượt trội so với các mô hình truyền thống và học sâu cơ sở.
• Tại cuộc thi quốc tế EXIST 2024 thuộc hội nghị CLEF 2024, kiến trúc đề xuất sử dụng mô hình Llama-2 đã đạt thứ hạng cao trên bảng xếp hạng chính thức ở hạng mục đánh giá nhãn cứng (Hard label):
  • Bài toán 1: Đạt hạng 2 (2nd rank).
  • Bài toán 2: Đạt hạng 1 (1st rank).
  • Bài toán 3: Đạt hạng 1 (1st rank).
  • Chỉ số Macro F1-score: Đạt $0.6004$ trên mỗi bài toán.

Các đóng góp chính của khóa luận gồm:

• Về mặt học thuật: Cung cấp khảo sát hệ thống từ các mô hình truyền thống (Naive Bayes, SVM, MLP), học sâu (CNN, LSTM) đến các LLMs đa ngôn ngữ (XLM-RoBERTa, mT5, Llama-2) trên bài toán phát hiện phát ngôn kỳ thị giới tính có cấu trúc thứ bậc.
• Về mặt kiến trúc: Đề xuất giải pháp phân tách và tích hợp thông tin nhân khẩu học người gán nhãn vào mô hình ngôn ngữ lớn, hiện thực hóa thành công phương thức học với sự bất đồng (LeWiDi).
• Về mặt phương pháp: Ứng dụng thành công khả năng tạo sinh văn bản (generation-based classification) của mô hình giải mã kết hợp kỹ thuật tinh chỉnh LoRA và thiết kế lời nhắc có cấu trúc vào bài toán phân loại phức tạp.
• Công bố khoa học: Hai công trình nghiên cứu xuất phát từ nội dung khóa luận đã được công bố tại các diễn đàn khoa học quốc tế uy tín: CLEF 2024 và IberLEF 2024 (HOMO-MEX).
• Sản phẩm ứng dụng: Xây dựng phần mềm minh họa giao diện hoàn chỉnh phục vụ kiểm thử và trình diễn quy trình phân loại.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận chỉ ra một số hạn chế gắn liền với phạm vi và điều kiện thực nghiệm:

• Nghiên cứu giới hạn thực nghiệm trên tập dữ liệu mạng xã hội Twitter thuộc cuộc thi EXIST 2024 với hai ngôn ngữ là tiếng Anh và tiếng Tây Ban Nha, chưa mở rộng sang các nền tảng mạng xã hội khác và các ngôn ngữ khác như tiếng Việt.
• Do giới hạn về tài nguyên tính toán và thời gian thực hiện của sinh viên, khóa luận chỉ thử nghiệm trên phiên bản Llama-2 Chat 7B với kỹ thuật LoRA, chưa đánh giá trên các phiên bản mô hình có số lượng tham số lớn hơn (13B, 70B) hoặc các kiến trúc tạo sinh thế hệ mới hơn.
• Cấu trúc phân loại thứ bậc phụ thuộc chặt chẽ vào kết quả đầu ra của Bài toán 1 (nếu Bài toán 1 dự đoán sai thành NO, toàn bộ kết quả phân loại ý định và dạng kỳ thị ở Bài toán 2 và 3 sẽ bị triệt tiêu theo).

Hướng phát triển tiếp theo được tác giả định hướng gồm:

• Mở rộng thử nghiệm kiến trúc đề xuất trên các bộ dữ liệu phát ngôn thù địch tiếng Việt (như ViHSD, ViCTSD).
• Nghiên cứu các phương pháp kết hợp mô hình (ensemble) và kỹ thuật kiểm tra độ tự tin (confidence checker) để tối ưu hóa thời gian suy luận và tài nguyên tính toán.
• Đánh giá khả năng khái quát hóa của phương pháp học với sự bất đồng trên các tác vụ phân tích cảm xúc và phát hiện thông tin sai lệch trên mạng xã hội.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo hữu ích cho sinh viên, học viên cao học và các nhà nghiên cứu thuộc các chuyên ngành Khoa học Máy tính, Trí tuệ Nhân tạo, và Xử lý Ngôn ngữ Tự nhiên (NLP).

Các nội dung có giá trị ứng dụng và tham khảo cao bao gồm:

• Thiết kế thực nghiệm và mã nguồn triển khai tinh chỉnh LLMs bằng LoRA và thư viện HuggingFace Trainer.
• Phương pháp luận và kỹ thuật thiết kế lời nhắc (Prompt Engineering) tích hợp bối cảnh nhân khẩu học phục vụ mô hình hóa sự bất đồng gán nhãn (LeWiDi).
• Quy trình chuẩn hóa và xử lý dữ liệu mạng xã hội đa ngôn ngữ (URL, mention, hashtag) cùng phương pháp đánh giá hệ thống phân loại thứ bậc bằng các chỉ số thông tin tương phản (ICM/ICM-soft).

Câu hỏi thường gặp

1. Bộ dữ liệu EXIST 2024 sử dụng trong khóa luận có những đặc điểm nhân khẩu học nào của người gán nhãn?
Mỗi tweet trong bộ dữ liệu được gán nhãn cố định bởi 6 cá nhân khác nhau. Dữ liệu lưu trữ 5 thuộc tính nhân khẩu học cho từng người gán nhãn: Giới tính (gender: F, M), Nhóm tuổi (age: 18-22, 23-45, 46+), Nhóm sắc tộc (ethnicity: 7 nhóm chính như Da trắng, La tinh, Da đen, Châu Á...), Trình độ học vấn (study_level: 5 cấp bậc từ dưới trung học đến tiến sĩ), và Quốc gia cư trú (country).

2. Sự khác biệt giữa hai hướng tiếp cận đơn mô hình và đa mô hình trong kiến trúc đề xuất là gì?
Hướng tiếp cận đa mô hình sử dụng 6 mô hình độc lập cùng cấu hình, mỗi mô hình được huấn luyện riêng biệt trên dữ liệu của một vị trí người gán nhãn để mô phỏng 6 cá nhân riêng rẽ. Hướng tiếp cận đơn mô hình chỉ sử dụng duy nhất một mô hình được huấn luyện trên toàn bộ các cặp {Tweet, Thông tin người gán nhãn}, giúp tối ưu hóa chi phí tính toán và tận dụng dung lượng dữ liệu lớn hơn.

3. Khóa luận áp dụng kỹ thuật gì để tinh chỉnh mô hình Llama-2 chat 7B phục vụ phân loại?
Tác giả áp dụng kỹ thuật Prompt Engineering để thiết kế lời nhắc đóng vai nhân khẩu học kết hợp mô tả chi tiết định nghĩa các nhãn, phân tách bằng thẻ [INST] và [/INST]. Để tinh chỉnh mô hình với chi phí tính toán thấp, tác giả sử dụng kỹ thuật LoRA (Low-rank Adaptation) thuộc nhóm PEFT, tối ưu hóa các ma trận cập nhật hạng thấp trong khi đóng băng toàn bộ trọng số gốc của mô hình.

4. Cấu trúc phân loại theo thứ bậc (Hierarchy system) giữa ba bài toán con hoạt động như thế nào?
Đầu ra của Bài toán 2 (ý định người viết) và Bài toán 3 (các kiểu kỳ thị) phụ thuộc hoàn toàn vào kết quả của Bài toán 1. Nếu Bài toán 1 phân loại tweet là NO (không kỳ thị), kết quả của Bài toán 2 và 3 mặc định được gán nhãn NO mà không cần thực thi phân loại. Nếu Bài toán 1 phân loại là YES, mô hình mới tiến hành phân loại chi tiết các lớp ý định (DIRECT, REPORTED, JUDGEMENTAL) và các dạng kỳ thị tương ứng.

5. Kết quả đạt được của mô hình đề xuất tại cuộc thi quốc tế EXIST 2024 là gì?
Trên bảng xếp hạng chính thức đánh giá nhãn cứng (Hard label) của cuộc thi EXIST 2024 thuộc hội nghị CLEF 2024, kiến trúc đề xuất kết hợp mô hình Llama-2 đạt hạng 2 tại Bài toán 1, hạng 1 tại Bài toán 2, và hạng 1 tại Bài toán 3, với chỉ số Macro F1-score đạt $0.6004$ trên mỗi bài toán.

Kết luận

Khóa luận tốt nghiệp của tác giả Lê Minh Quân đã giải quyết toàn diện bài toán nhận diện văn bản kỳ thị giới tính trên mạng xã hội thông qua cấu trúc phân loại thứ bậc ba cấp và mô hình hóa sự bất đồng ý kiến (LeWiDi). Bằng việc tích hợp thông tin nhân khẩu học người gán nhãn kết hợp kỹ thuật tạo lời nhắc và tinh chỉnh LoRA trên mô hình ngôn ngữ lớn Llama-2, nghiên cứu đã đạt thành tích xuất sắc tại cuộc thi quốc tế EXIST 2024 (đạt hạng 1 tại hai bài toán con và hạng 2 tại bài toán nhị phân). Công trình không chỉ đóng góp hai bài báo khoa học quốc tế mà còn cung cấp cơ sở thực nghiệm giá trị cho việc ứng dụng LLMs tạo sinh vào các bài toán phân loại ngôn ngữ phức tạp.

Trích đoạn nội dung tài liệu

Chương 1 trình bày về lý do thực hiện, mục tiêu khóa luận và phạm vi và đối tượng nghiên cứu; Chương 2 phân tích bài toán nghiên cứu và bộ dữ liệu nghiên cứu. Chương 2 cũng trình bày về tình hình nghiên cứu trong và ngoài nước cũng như các cơ sở lý thuyết về các mô hình phân loại ngôn ngữ; Chương 3 trình bày kiến trúc được dé xuất và phương pháp áp dụng các LLMs lên kiến trúc; Chương 4 trình bay các phương pháp thử nghiệm. Kết quả thử nghiệm cũng như phân tích kết quả cũng được trình bày cụ thể trong chương này; Chương 5 trình bày ứng dụng minh họa; Chương6 kết luận và thảo luận về hướng phát triển của nghiên cứu. Chương 2 Tổng quan 2.1 Phát biểu bài toán nghiên cứu Bài toán nhận diện văn bản kỳ thị giới tính trong mạng xã hội thuộc lĩnh vực xử lý ngôn ngữ tự nhiên, nằm trong nhóm các bài toán nhận diện phát ngôn thù hận (hate speech detection).

Mục đích của bài toán nghiên cứu là phân loại các bai đăng (Tweet) kỳ thị giới tính trên mạng xã hội Twitter cũng như phân tích các yếu tổ của bài đăng đó. Đây là một bài toán khó vì các bài đăng kỳ thị có thể mang từ ngữ tích cực, hoặc mang yếu t6 hài hước, ngay cả con người cũng có thể bị nhầm lẫn. Theo plaza [16] (EXIST 2023) bài toán nhận diện văn bản kỳ thị giới tính trong mạng xã hội được chia thành ba bài toán con gồm: Phân loại văn bản mang nội dung kỳ thị giới tính, phân loại ý định của người viết văn bản kỳ thị, và phân loại các kiểu kỳ thị trong văn bản. Vì tính chất dễ gây nhầm lẫn của Tweet kỳ thị giới tính và sự khác biệt về góc nhìn và văn hóa của người gán nhãn, dữ liệu chỉ có một nhãn chắc chắn duy nhất là không hợp lý và không công bằng.2, với mỗi mẫu dữ liệu được gan đến 6 nhãn bởi 6 người gan nhãn khác nhau và thông tin người gán nhãn cũng được bao gồm trong dif liệu.

Qua đó đầu vào của bài toán bao gồm Tweet và thông tin người gán nhãn; đầu ra của bài toán là tập hợp 6 nhãn dự đoán. Chi tiết từng bài toán nghiên cứu trong khóa luận được trình bày như sau: ¢ Phân loại van bản mang nội dung kỳ thị giới tính: Mục tiêu của bài toán này là phân loại một Tweet có mang nội dung phân biệt giới tính hay không. Nội dung kỳ Chương 2. Tổng quan 9 thị giới tính không chỉ mang nghĩa tiêu cực mà còn có thể là kiểu miêu tả về tình huống kỳ thị ngoài đời thật hoặc chỉ trích hành vi kỳ thị giới tính.

Các nhãn có thể có là (YES, NO) * Phân loại ý định của người đăng: Nếu một văn ban có mang nội dung kỳ thị giới tính, việc tiếp theo cần làm là nhận biết ý định của người viết văn bản đó là gì. Nếu Tweet đã được phân loại trước đó là "NO", nhãn của bài toán này cũng là "NO". Các nhãn có thể có là (NO, DIRECT, REPORT, JUDGEMENTAL) * Phân loại các kiểu kỳ thị giới tính có trong van bản: Một tweet có thể chứa nhiều kiểu kỳ thị khác nhau. Cũng như bài toán trên, nhãn của bài toán này là "NO" nếu Tweet đã được phân loại trước đó là "NO".

Tweet có thể được gán nhãn "NO" hoặc một hoặc nhiều nhãn trong (IDEOLOGICAL-INEQUALITY, STEREOTYPING-DOMINANCE, OBJECTIFICATION, SEXUAL-VIOLENCE, MISOGYNY-NON-SEXUAL-VIOLENCE.2 Bộ du liệu EXIST 2024 Bộ dữ liệu nhận dạng kỳ thị giới tinh trên mang xã hội EXIST được cung cấp trong cuộc thi EXIST 2024.