Chương 1 trình bày về lý do thực hiện, mục tiêu khóa luận và phạm vi và đối tượng nghiên cứu; Chương 2 phân tích bài toán nghiên cứu và bộ dữ liệu nghiên cứu. Chương 2 cũng trình bày về tình hình nghiên cứu trong và ngoài nước cũng như các cơ sở lý thuyết về các mô hình phân loại ngôn ngữ; Chương 3 trình bày kiến trúc được dé xuất và phương pháp áp dụng các LLMs lên kiến trúc; Chương 4 trình bay các phương pháp thử nghiệm. Kết quả thử nghiệm cũng như phân tích kết quả cũng được trình bày cụ thể trong chương này; Chương 5 trình bày ứng dụng minh họa; Chương6 kết luận và thảo luận về hướng phát triển của nghiên cứu. Chương 2 Tổng quan 2.1 Phát biểu bài toán nghiên cứu Bài toán nhận diện văn bản kỳ thị giới tính trong mạng xã hội thuộc lĩnh vực xử lý ngôn ngữ tự nhiên, nằm trong nhóm các bài toán nhận diện phát ngôn thù hận (hate speech detection).
Mục đích của bài toán nghiên cứu là phân loại các bai đăng (Tweet) kỳ thị giới tính trên mạng xã hội Twitter cũng như phân tích các yếu tổ của bài đăng đó. Đây là một bài toán khó vì các bài đăng kỳ thị có thể mang từ ngữ tích cực, hoặc mang yếu t6 hài hước, ngay cả con người cũng có thể bị nhầm lẫn. Theo plaza [16] (EXIST 2023) bài toán nhận diện văn bản kỳ thị giới tính trong mạng xã hội được chia thành ba bài toán con gồm: Phân loại văn bản mang nội dung kỳ thị giới tính, phân loại ý định của người viết văn bản kỳ thị, và phân loại các kiểu kỳ thị trong văn bản. Vì tính chất dễ gây nhầm lẫn của Tweet kỳ thị giới tính và sự khác biệt về góc nhìn và văn hóa của người gán nhãn, dữ liệu chỉ có một nhãn chắc chắn duy nhất là không hợp lý và không công bằng.2, với mỗi mẫu dữ liệu được gan đến 6 nhãn bởi 6 người gan nhãn khác nhau và thông tin người gán nhãn cũng được bao gồm trong dif liệu.
Qua đó đầu vào của bài toán bao gồm Tweet và thông tin người gán nhãn; đầu ra của bài toán là tập hợp 6 nhãn dự đoán. Chi tiết từng bài toán nghiên cứu trong khóa luận được trình bày như sau: ¢ Phân loại van bản mang nội dung kỳ thị giới tính: Mục tiêu của bài toán này là phân loại một Tweet có mang nội dung phân biệt giới tính hay không. Nội dung kỳ Chương 2. Tổng quan 9 thị giới tính không chỉ mang nghĩa tiêu cực mà còn có thể là kiểu miêu tả về tình huống kỳ thị ngoài đời thật hoặc chỉ trích hành vi kỳ thị giới tính.
Các nhãn có thể có là (YES, NO) * Phân loại ý định của người đăng: Nếu một văn ban có mang nội dung kỳ thị giới tính, việc tiếp theo cần làm là nhận biết ý định của người viết văn bản đó là gì. Nếu Tweet đã được phân loại trước đó là "NO", nhãn của bài toán này cũng là "NO". Các nhãn có thể có là (NO, DIRECT, REPORT, JUDGEMENTAL) * Phân loại các kiểu kỳ thị giới tính có trong van bản: Một tweet có thể chứa nhiều kiểu kỳ thị khác nhau. Cũng như bài toán trên, nhãn của bài toán này là "NO" nếu Tweet đã được phân loại trước đó là "NO".
Tweet có thể được gán nhãn "NO" hoặc một hoặc nhiều nhãn trong (IDEOLOGICAL-INEQUALITY, STEREOTYPING-DOMINANCE, OBJECTIFICATION, SEXUAL-VIOLENCE, MISOGYNY-NON-SEXUAL-VIOLENCE.2 Bộ du liệu EXIST 2024 Bộ dữ liệu nhận dạng kỳ thị giới tinh trên mang xã hội EXIST được cung cấp trong cuộc thi EXIST 2024. Bộ dữ liệu nhắm đến mục tiêu phân loại nội dung kỳ thị giới tính theo ba cấp: nhận diện văn bản mang nội dung kỳ thị giới tính, phân loại ý đồ của người đăng, và phân loại kiểu kỳ thị có trong văn bản. Bộ dữ liệu được trình bày dưới dạng JSON như hình 2. Mỗi mẫu dif liệu gồm các thuộc tính sau: 1.
"id_EXIST": Chỉ số riêng cho từng mẫu dữ liệu. "lang": Ngôn ngữ của văn ban tweet (en hoặc es). "tweet": Bài đăng văn ban thu thập từ mạng xã hội Twitter được gọi là tweet. Tweet có các thành phần đặc biệt bao gồm emoji, nhãn hashtag, nhãn dé cập người dùng, và đường dẫn URL.
"number_annotators": Số lượng người gán nhãn cho tweet. Trong tập dữ liệu này, giá trị luôn luôn là 6. "annotators": Tập hợp mã số định danh của từng người gan nhãn. ''gender_annotators": Giới tính của từng người gán nhãn (F và M tương ứng với nữ và nam ).
"age_annotators": Nhóm tuổi của từng người gan nhãn, bao gồm: 18-22, 23-45 và 46+. "ethnicity_annotators": Nhóm sắc tộc của từng người gán nhãn, bao gồm: Black or African America (Người Da đen hoặc Mỹ gốc Phi), Hispano or Latino (Người La tinh hoặc Tay Ban Nha) , White or Caucasian (Người Da trắng hoặc Châu Âu), Multiracial (Người Da chung tộc), Asian (Người Châu Á), Asian Indian (Người Châu Á Ấn Độ) và Middle Eastern (Người Trung Đông). "study_level_annotators": Học vấn của từng người gán nhãn, bao gồm: Less than high school diploma (Dưới cấp trung học), High school degree or equivalent (Tốt nghiệp trung học hoặc tương đương), Bachelor’s degree (Tốt nghiệp cử nhân), Mas- ter’s degree (Tốt nghiệp Thạc sĩ) và Doctorate (Tốt nghiệp tiến si). "country_annotators": Quốc gia nơi từng người gán nhãn sinh sống 11.
"Jabels_task1": Tập hợp nhãn (tương đương với mỗi người gán nhãn) của bài toán con 1. Chỉ ra tweet có nội dung kỳ thị hay không. "Jabels_task2": Tập hợp nhãn (tương đương với mỗi người gán nhãn) của bài toán con 2. Chỉ ra ý đồ của người viết nội dung kỳ thị.
"Jabels_task3"': Tập hợp nhãn (tương đương với mỗi người gán nhãn) của bài toán con 3. Chỉ ra nhiều kiểu kỳ thị khác nhau trong tweet. "split": Mã chia dữ liệu thành tập huấn luyện, phát triển, và kiểm thử, theo ngôn ngữ. Tổng quan 11 ”190901” “id_EXIST": "190061" “lang”: “es” "tweet": "@TheChiflis Ignora al otro, es un capullo.£l problema con este youtuber denuncia el acoso.
cuando no afecta a la gente de izquierdas. Por ejemplo, en su video sobre el gamergate presenta como \"normal\" el acoso que reciben Fisher, Anita o Zöey cuando hubo hasta amenazas de bomba.” “number_annotators”: 6 "annotators": [“Annotator_1", "Annotator_2", "Annotator_3", "Annotator 4", "Annotator_5", "Annotator 6" "gender_annotators”: ["F", "F", "F", "M", "M", "M" “age_annotators” "18-22", "23-45", "46+", "46+", "23-45", "18-22" “ethnicities_annotators": í"Mhite or Caucasian", “Hispano or Latino”, "white or Caucasian”, “White or Caucasian”, “White or Caucasian”, “Hispano or Latino” “study_1eve1s_annotators": ["Bachelor’s degree", “Bachelor’s degree”, "High school degree or equivalent”, “Master’s degree”, "Master”s degree", “High school degree or equivalent” "countries_annotators”: ["Italy", "Mexico", "United States", "Spain", “Spain”, “Chile” “labels_taski": ["YES", "YES", "NO", "YES", "YES", "YES" “labels_task2": ["REPORTED", "JUDGEMENTAL", “-", “REPORTED”, “JUDGEMENTAL”, “REPORTED” “labels_task3" “OBJECTIFICATIONTM “OBJECTIFICATIONTM, “SEXUAL -VIOLENCE” "STEREOTYPING -DOMINANCETM “SEXUAL-VTOLENCE” “1DEOLOGICAL -TNEQUALTTY", “MTSOGYNY-NON-SEXUAL -VTIOLENCE” "split": “TRAIN_ES" HÌNH 2.1: Một mẩu dữ liệu được thể hiện dưới dạng json.1 Phân loại theo thứ bac (Hierarchy system) Các nhãn của từng bài toán có sự ảnh hưởng tới nhau theo hệ thống thứ bậc, minh họa trong Hình 2. Trong đó, bài toán 2 và 3 chỉ được gán nhãn nếu nhãn của bài toán 1 tương ứng là "YES" (tweet mang nội dung kỳ thị). Nếu nhãn của bài toán 1 là "NO", nhãn của bài toán 2 va 3 tương ứng là ký tự "-" hoặc "NO".
Nhãn "NO" được xem là nhãn bổ sung của bài toán 2 và 3 và được đánh giá như nhãn thông thường qua chỉ số F1 hoặc được phân tích kỹ hơn qua độ do ICM cho nhãn có thứ bậc. Sexist Not sexist Judgemental Reported Direct Sexual- Ideological- Stereotyping- Misogyny-non- Objectification violence inequality dominance sexual-violence HÌNH 2.2: Cấu trúc phân loại theo thứ bậc.2 Sự bat đồng khi gan nhãn dữ liệu Có thé thấy trong chi tiết trình bày của dữ liệu, nhãn của một mẫu dữ liệu không chỉ là một nhãn duy nhất mà là một tập hợp nhãn được gán bởi 6 cá nhân khác nhau. Đối với Chương 2. Tổng quan 12 Người gán nhãn Quốcgia Tweet văn bản Tập huân luyện 725 45 6920 Tập phát triển 113 23 1038 Tập kiểm thử 227 28 2076 BẢNG 2.1: Thống kê số lượng Tweet văn bản, cá nhân tham gia gán nhãn và quốc gia của họ phân loại văn bản thù hận nói chung và phân loại văn bản kỳ thị giới tính nói riêng, tình trạng bất đồng quan điểm xảy ra rất thường xuyên do khác biệt về góc nhìn, giới tính, tuổi hoặc văn hóa của từng người gán nhãn.
Thông thường, một nhãn đích sẽ được chọn ra từ tập hợp này bằng phương pháp bỏ phiếu. Tuy nhiên, theo [10], việc xem một biểu thức ngôn ngữ tự nhiên (natural language expressions) chỉ có một cách diễn đạt duy nhất là không thực tế và thiếu sự công bằng. Phương thức LeWiDi đề xuất rằng các nhãn được gan bởi nhiều cá nhân phải được giữ nguyên, không áp dụng bỏ phiếu và thêm vào thông tin của những người gán nhãn vào dữ liệu. Phương thức LeWiDi đặt ra bài toán xây dựng một hệ thống có thể học nhiều góc nhìn khác nhau để cho ra kết quả dự đoán công bằng hơn.3 Thong kê dữ liệu 2.1 Thong kê về người gan nhãn Bảng 2.1 cho thấy số lượng người tham gia gán nhãn trên ba tập dữ liệu.
Tập huấn luyện có 725 người tham gia gán nhãn đến từ 45 quốc gia khác nhau. Tập phát triển có 113 cá nhân tham gia gán nhãn đến từ 23 quốc gia, và trên tập phát triển có 227 người gán nhãn từ 28 quốc gia. Sự đa dạng về quốc tịch cung cấp cho dữ liệu cái nhìn tổng quát hơn về quan niệm đối với kỳ thị giới tính, sự khác biệt về văn hóa của từng vùng miền khác nhau.3 trình bày sự phân bố các nhóm sắc tộc của đội gán nhãn. Trong đó, "White or Caucasian" chiếm số lượng cao nhất với hơn 50%, theo sau là "Hispano or Latino".
Tuy nhiên với sự hiện diện của nhiều tộc người khác nhau cũng cho thấy sự đa dạng về chủng tộc giữa những người gán nhãn. Tổng quan 13 Hình 2.4 thống kê các cấp độ học vấn của người gán nhãn. Sự phân bố giữa các tập dữ liệu khá tương đồng nhau. Ở cả ba tập dữ liệu, chiếm số lượng cao nhất là "Bachelor’s degree", theo sau là "High school degree or equivalent" và "Master ”s degree".
Train Dev Test White or Caucasian Hispano or Latino Black or African American Multiracial Asian Middle Eastern other HÌNH 2.3: Phân phối nhóm sắc tộc của những người gán nhãn. Train Dev Test Bachelor’s degree High school degree or equivalent Master's degree Doctorate Less than high school diploma other HÌNH 2.4: Phân phối trình độ hoc van của những người gan nhãn.2 Thông kê về Tweet và Nhãn dữ liệu Bảng 2.2 trình bày thống kê thông tin văn bản của dữ liệu Tweets văn bản có trong bộ dif liệu.