Chương 1 — Tổng quan dé tài: Giới thiệu tổng quan về dé tài nghiên cứu, mục đích nghiên cứu, phạm vi nghiên cứu và phương pháp nghiên cứu. Chương 2 - Tổng quan lý thuyết: Giới thiệu tổng quan về các kiến thức nền tảng sử dụng trong đê tài và các nghiên cứu liên quan. Chương3 - Phát triển mô hình HSD: Trình bày các mô hình cho HSD và các kết quả thực nghiệm. Chương 4 - Phân tích ảnh hưởng của tiền xử lý trong HSD: Trình bày các bộ phận tiền xử lý sử dụng trong HSD và kết quả thực nghiệm.
Chương 5 - Xây dựng mô hình real-time HSD: Trinh bay mô hình đã tiến hành và các kết quả thực nghiệm. Chương6 - Tổng kết: Kết luận và hướng phát triển. KIÊN THỨC TONG QUÁT 2. Bài toán phát hiện bình luận xúc phạm Bài toán phát hiện bình luận xúc phạm được mô tả như sau: Đầu vào: Bình luận tiếng Việt trên mạng xã hội.
Đầu ra: Một trong ba nhãn CLEAN, OFFENSIVE, HATE được dự đoán bởi mô hình đã được huấn luyện.1: Bài toán phát hiện bình luận xúc phạm Bình luận sau khi được đưa vào sẽ được xử lý bằng các bộ phận tiền xử lý, sau đó bình luận sẽ được đưa vào mô hình dé dự đoán và thu được kết qua là nhãn của bình luận. Mô hình phân loại văn bản 2. Mô hình transfer learning PhoBERT là mô hình được tiền huấn luyện với quy mô lớn dành cho tiếng Việt. Nó được xuất bản bởi Nguyen và các cộng sự vào năm 2020 [5].
Phuong pháp tiếp cận huấn luyện trước của mô hình PhoBERT dựa trên RoBERTa, mô hình được tối ưu hóa từ huấn luyện trước của mô hình BERT để có hiệu suất tốt hơn, được Facebook giới thiệu năm 2019. Do đó, PhoBERT chỉ sử dụng Masked Language Model dé huấn luyện, không sử dung Next Sentence Prediction. PhoBERT có hai phiên ban đó là PhoBERT_base với 12 khối transformer blocks và PhoBERT_large với 24 khối transformer blocks. PhoBERT được huấn luyện trên bộ dữ liệu kích cỡ khoảng 20GB bao gồm khoảng 1GB Vietnamese Wikipedia corpus và 19GB còn lại tự Vietnamese news corpus.
Nó sử dụng RDRSegmenter của VNCoreNLP để tách từ cho đữ liệu huấn luyện trước khi đưa vào BPE encoder. Mô hình học máy truyền thống Các mô hình học máy truyền thông thường được sử dụng trong các tác vụ phân loại văn bản cũng được quan tâm. Trước khi huấn luyện, TF-IDF được áp dụng để trích xuất các đặc trưng. Trích xuất đặc trưng TF-IDF (Term Frequency - Inverse Document Frequency) là một thống kế số nhằm phản ánh tam quan trọng của một từ đối với một tai liệu trong một kho ngữ liệu.
Nó thường được dùng như một yếu tố trọng số trong truy xuất thông tin, khai phá văn bản. Giá trị tf-idf tăng ty lệ thuận với số lần một từ xuất hiện trong văn bản và được bù đắp băng số lượng tài liệu xuất hiện trong kho ngữ liệu mà chứa từ đó, điều này giúp đánh giá sự thật rằng một vài từ xuất hiện thường xuyên hơn. Tần suất xuất hiện của từ (Term frequency) là số lần từ xuất hiện trong văn bản. Tần suất văn bản nghịch đảo (Inverse Document Frequency) giúp đánh giá tam quan trọng của một từ trong văn bản.
Có những từ có số lần xuất hiện nhiều trong văn bản như "là", "đó", "này" nhưng độ quan trọng lại không cao. Những từ mà có giá trị Tf-IDF cao là những từ xuất hiện nhiều trong văn bản này và xuất hiện ít trong các văn bản khác. Việc này giúp lọc ra những từ phổ biến và giữ lại những từ có gia tri cao. Máy véc-tơ hỗ tro (Support Vector Machine) Support Vector Machine (SVM) là một tap các phương pháp hoc có giám sat được sử dụng cho phat hiện các đường outlier, phan loại va hdi quy.
SVM xây dựng một siêu phăng trong không gian đa chiều dé tách các lớp khác nhau. Nó tạo ra siêu phẳng theo một cách lặp đi lặp lại, để có thé tối thiểu lỗi. Ý tưởng chính của SVM là tìm một siêu phăng biên tối đa mà chia đữ liệu thành các lớp một cách tốt nhất. ® @ e ® © om Decision surface mee Uae° an oo "Son ® kernel ° e@ e LH.
kề ——: © ©Om18mm" Po “Gà lệ e @ e° © e 2 ° ._— fee ” eo © Hình 2.2: Kernel trick làm tăng số chiều dữ liệu, biến bài toán thành có thé tách được. Một nhân biến đổi một không gian dữ liệu đầu vào thành dạng được yêu cầu. SVM sử dụng một kỹ thuật được gọi là kernal trick. Nhân nhận một không gian đầu vào và chuyên nó thành một không gian có số chiều lớn hơn.
Nói cách khác, nó chuyên bài toán không thể tách được thành bài toán tách được bằng cách cộng thêm số chiều cho nó. Mánh khóe nhân giúp xây dựng một classifier chính xác hơn. Có 3 nhân chính được dùng: Nhân tuyến tính (linear kernel) được dùng như một tích vô hướng thông thường cho hai quan sát cho trước bất kỳ. Tích giữa hai vector là tổng của tích các cặp giá trị đầu vào.
Nhân đa thức (Polynomial kernel) Một nhân đa thức là một dạng tổng quát hơn của nhân tuyến tính. Nhân đa thức có thể phân biệt không gian đầu vào cong hoặc phi tuyến. Nhân hàm cơ sở xuyên tâm (Radial Basis Function kernel) là một ham số phố biến được sử dụng trong phân lớp SVM. RBF có thé ánh xạ không gian đầu vào thành một không gian vô hạn chiều.
Thư viện Scikit-learn cung cấp sự thực thi SVM với cả ba nhân trên cho ngôn ngữ Python và được sử dụng trong khóa luận. Hồi quy logistic (Logistic Regression) Logistic Regression (LR) là một mô hình thống kê sử dung hàm logistic dé mô hình một biến phụ thuộc nhị phân, nó có thể mở rộng ra thành nhiều biến thé khác. Hồi quy logistic được sử dụng cho các bài toán phân loại. Trong logistic regression, các xác suất mô tả các đầu ra khả thi của một phép thử đơn lẻ được mô hình sử dụng ham logistic: Trong đó, Xo là giá tri x của điểm giữa cua ham sigmoid, L là giá trị lớn nhất của đường đồ thị, k là độ đốc của đường đồ thị.
Hồi quy logistic được xem như một bài toán tối ưu. Với bài toán phân loại nhiều lớp, nó sẽ tối thiêu hàm chi phí của mình. Logistic regression có thê được phân thành: - Binomial: biến phụ thuộc chỉ có 2 loại khả năng - Multinomial: Biến phụ thuộc có 3 hoặc nhiều hơn các loại khả năng nhưng không có thứ tự. - Ordinal: Biến phụ thuộc có 3 hoặc nhiều hơn các loại khả năng nhưng có thứ tự Trong khóa luận này, mô hình Logistic regression Multinomial được sử dụng cho bài toán HSD với ba loại nhãn.
Phân loại Ridge (Classifier Ridge) Ridge regression giải quyết bài toán Binh phương tối thiểu thường (Ordinary Least Squares) bằng cách áp đặt một hình phạt với kích thước của các hệ số. Hệ số ridge tối thiểu một tổng các bình phương bị phạt: min„||Xø — y|l§ + al|ellÊ Trong đó, tham số œ >= 0 kiểm soát sự co rút của đồ thị: giá trị cảng lớn, lượng co rút càng lớn. Classifier Ridge (RC) trước tiên chuyên đổi các giá trị mục tiêu thành {-1, 1} và sau đó xử lý van đề như một nhiệm vụ hôi quy (hồi quy nhiều đầu ra trong trường hợp đa phân loại), tối ưu hóa mục tiêu tương tự như Ridge Regression. Với phân lớp nhiều lớp, bài toán được xem như một hồi quy nhiều đầu ra, lớp dự đoán tương ứng với đầu ra với giá trị cao nhât.
Mô hình học sâu Trước khi được huấn luyện bởi các mô hình học sâu, đữ liệu đi qua lớp Word embedding nhăm biéu diễn các từ một cách ý nghĩa về mặt ngữ nghĩa, ngữ cảnh 2. Nhung từ (Word embedding) Word embedding là một cách biéu diễn cho văn bản trong đó các từ có cùng nghĩa được biểu diễn tương tự nhau. Mỗi từ sẽ được biéu diễn bằng một vector giá trị thực có số chiều (độ dài) là tham số được chỉ rõ. Các vector này mã hóa ý nghĩa của từ sao cho các từ gần nhau hơn trong không gian vector được dự kiến có ý nghĩa tương tự nhau.
Cách tiếp cận này dé biéu diễn các từ và tài liệu có thể được coi là một trong những bước đột phá quan trọng của học sâu đối với các vấn đề xử ly ngôn ngữ tự nhiên đầy thách thức. Những ưu điểm vượt trội của Word embedding so với các cách biểu diễn từ khác như one-hot encoding hay biểu diễn mỗi từ bang một số riêng như khả năng tính toán, lưu trữ, ý nghĩa ngữ nghĩa, độ khái quát. FastText và PhoW2V là hai bộ nhúng từ được lựa chọn để sử dụng cho bước nhúng từ. FasText là một phương pháp word embedding, là một 10 mở rộng của mô hình word2vec, được phát triển bởi Grave và các cộng sự [1].
Thay vì học các véc-tơ cho các từ trực tiếp, fastText biéu diễn mỗi từ như một n-gram các thuộc tính. Ví dụ, từ apple với n=3, fastText biểu diễn từ này là <ap, app, ppl, ple, le>, trong đó dau đóng mở ngoặc được xem như ký tự bắt đầu và kết thúc của từ. Cách biểu diễn này lấy được ý nghĩa của các từ ngắn hơn và cho phép embedding hiểu các tiền t6 và hậu tố. Một khi từ được biểu diễn sử dung n-gram, một mô hình skip-gram được huấn luyện để học các embedding.
FastText hoạt động hiệu quả với các từ hiếm gặp, nên nếu một từ không được thấy trong lúc huấn luyện, nó có thê chia từ thành n-gram và có embedding. PhoW2V cung cấp bộ các embedding Word2Vec cấp độ từ và vần đã được huấn luyện sẵn cho tiếng Việt, được phát triển bởi Nguyen và các cộng sự [4]. Nó được huấn luyện trên một bộ dữ liệu văn bản tiếng Việt kích thước 20GB. Word2vec là một mô hình đơn giản giúp tạo ra các biểu diễn Embedding của từ trong một không gian có số chiều thấp hơn nhiều lần so với số từ trong từ điển.
Theo Word2vec, hai từ xuất hiện trong những văn cảnh giống nhau thì có ý nghĩa gần với nhau. Ngoài ra, có thé đoán được một từ nếu biết các từ xung quanh nó trong câu. Ví dụ, với câu "Hà Nội là. của Việt Nam" thì từ trong dấu ba chấm được mô hình word2vec xây dựng sao cho xác suất dé từ trong dau ba cham là cao nhất, từ đó là "thủ đô".
Embedding được huấn luyện sẵn PhoW2V cấp độ từ có kích thước 300 được sử dụng cho bước word embedding của bài toán phát hiện bình luận xúc phạm này. Công tai Unit (Gated Recurrent Units) Gated Recurrent Units (GRU) có mục dich giải quyết van dé gradient biến mat xuất hiện trong mang thần kinh hồi quy (Recurent Neural Networks).