Khóa luận tốt nghiệp công nghệ thông tin nghiên cứu giải thuật long short term memory và thư viện fasttext xử lý ngôn ngữ tự nhiên trong tiếng anh để ngăn chặn những bình luận độc hại trên mạng xã hội facebook dành cho trẻ em

Khóa luận nghiên cứu ứng dụng giải thuật LSTM và thư viện FastText trong xử lý ngôn ngữ tự nhiên nhằm ngăn chặn bình luận độc hại trên Facebook cho trẻ em.

• Tác giả: Nguyễn Kỳ Anh
• Người hướng dẫn: ThS. Phan Đình Long
• Trường học: Trường Đại Học Nông Lâm TP HCM
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Nghiên Cứu Giải Thuật LSTM và FastText Ngăn Chặn Bình Luận Độc Hại Trên Facebook Dành Cho Trẻ Em
• Loại tài liệu: Luận Văn Cử Nhân
• Năm xuất bản: 2023
• Địa điểm: TP.Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: MỞ ĐẦU
• 1.1. Lý do chọn đề tài
• 1.2. Mục đích nghiên cứu
• 1.3. Đối tượng nghiên cứu
• 1.4. Phạm vi nghiên cứu
• 1.5. Phương pháp nghiên cứu
• 2. CHƯƠNG 2: NỘI DUNG NGHIÊN CỨU
• 2.1. Tổng quan về xử lý ngôn ngữ tự nhiên - NLP
• 2.1.1. Giới thiệu xử lý ngôn ngữ tự nhiên
• 2.1.2. Ứng dụng của xử lý ngôn ngữ tự nhiên
• 2.1.3. Phân loại trong xử lý ngôn ngữ tự nhiên
• 2.2. Giới thiệu vector hóa văn bản (word embedding)
• 2.2.1. Khái niệm vector hóa văn bản
• 2.2.2. Phương pháp dựa trên số lượng
• 2.2.2.1. Giới thiệu Bag of Words (BoW)
• 2.2.2.2. Giới thiệu Term frequency—inverse document frequency (TF-IDF)
• 2.3. Tổng quan về Word2Vec
• 2.3.1. Giới thiệu mô hình học máy mạng nơ ron
• 2.4. Tổng quan về Recurrent Neural Network (RNN)
• 2.4.1. Kiểu kiến trúc
• 2.4.2. Các hàm Activation
• 2.4.3. Cách hoạt động
• 2.4.4. Các layer phổ biến trong xây dựng mô hình RNN
• 2.5. Tổng quan về Long Short Term Memory (LSTM)
• 2.5.1. Giới thiệu LSTM
• 2.5.2. Sự khác biệt giữa LSTM và RNN
• 2.6. Tổng quan về Django REST framework
• 2.7. Giới thiệu Chrome extension
• 2.7.1. Cấu trúc trong Chrome extension
• 2.7.2. Thành phần của Chrome extension
• 3. CHƯƠNG 3: BÀI TOÁN ĐÁNH GIÁ VĂN BẢN
• 3.1. Phát biểu bài toán
• 3.2. Đề xuất phương pháp giải quyết
• 4. CHƯƠNG 4: TRIỂN KHAI MÔ HÌNH
• 4.1. Xây dựng mô hình
• 4.1.1. Tiền xử lý văn bản
• 4.2. Áp dụng FastText vào bài toán
• 4.3. Áp dụng LSTM vào bài toán
• 4.4. Xây dựng Web API
• 4.5. Xây dựng Chrome extension
• 5. CHƯƠNG 5: KẾT QUẢ HẠT HỌC
• 5.1. Đối với mô hình máy học
• 5.2. Đối với Web API
• 5.3. Đối với Chrome extension
• 6. CHƯƠNG 6: KẾT LUẬN VÀ KIẾN NGHỊ
• Phụ lục 1: Hướng dẫn sử dụng

Tóm tắt

I. Tổng Quan Về Nghiên Cứu Giải Thuật LSTM và FastText

Nghiên cứu về giải thuật LSTM và FastText đang trở thành xu hướng trong việc ngăn chặn bình luận độc hại trên mạng xã hội, đặc biệt là Facebook cho trẻ em. Những công nghệ này không chỉ giúp phân tích ngữ nghĩa mà còn hỗ trợ trong việc phát hiện và xử lý các bình luận tiêu cực. Việc áp dụng học máy vào lĩnh vực này mở ra nhiều cơ hội mới cho việc bảo vệ trẻ em khỏi những tác động tiêu cực từ môi trường mạng.

1.1. Giới Thiệu Về Giải Thuật LSTM

Giải thuật Long Short Term Memory (LSTM) là một loại mạng nơ-ron hồi tiếp, được thiết kế để xử lý và dự đoán chuỗi dữ liệu. LSTM có khả năng ghi nhớ thông tin trong thời gian dài, giúp cải thiện độ chính xác trong việc phân loại các bình luận trên mạng xã hội.

1.2. Khái Niệm Về FastText

Thư viện FastText là một công cụ mạnh mẽ trong việc vector hóa ngôn ngữ tự nhiên. FastText không chỉ giúp tạo ra các vector từ mà còn hỗ trợ trong việc phân loại văn bản, giúp mô hình dễ dàng nhận diện các bình luận độc hại.

II. Vấn Đề Bình Luận Độc Hại Trên Facebook Dành Cho Trẻ Em

Mạng xã hội Facebook là nơi trẻ em có thể giao lưu và học hỏi, nhưng cũng tiềm ẩn nhiều rủi ro từ bình luận độc hại. Những bình luận này có thể gây tổn thương tâm lý cho trẻ em, dẫn đến những hệ lụy nghiêm trọng. Việc phát hiện và ngăn chặn những bình luận này là một thách thức lớn đối với các nhà phát triển công nghệ.

2.1. Tác Động Của Bình Luận Độc Hại

Các bình luận độc hại có thể ảnh hưởng tiêu cực đến tâm lý của trẻ em, dẫn đến sự tự ti, lo âu và trầm cảm. Việc bảo vệ trẻ em khỏi những tác động này là rất cần thiết.

2.2. Thách Thức Trong Việc Phát Hiện Bình Luận

Việc phát hiện bình luận độc hại không chỉ đơn thuần là nhận diện từ ngữ xấu mà còn cần phải hiểu ngữ cảnh và ý nghĩa của câu. Điều này đặt ra thách thức lớn cho các mô hình học máy hiện tại.

III. Phương Pháp Sử Dụng Giải Thuật LSTM và FastText

Để ngăn chặn bình luận độc hại, nhóm nghiên cứu đã áp dụng giải thuật LSTM kết hợp với FastText. Phương pháp này cho phép phân loại các bình luận dựa trên ngữ nghĩa và ngữ cảnh, từ đó đưa ra các dự đoán chính xác hơn về mức độ độc hại của bình luận.

3.1. Xây Dựng Mô Hình Phân Loại

Mô hình phân loại được xây dựng dựa trên LSTM và FastText, cho phép xử lý và phân tích các bình luận một cách hiệu quả. Mô hình này được huấn luyện trên tập dữ liệu lớn để cải thiện độ chính xác.

3.2. Tích Hợp API Vào Chrome Extension

Nhóm đã phát triển một Chrome extension sử dụng API tích hợp mô hình phân loại, giúp làm mờ các bình luận tiêu cực trên Facebook, bảo vệ trẻ em khỏi những tác động xấu.

IV. Ứng Dụng Thực Tiễn Của Nghiên Cứu

Nghiên cứu này không chỉ dừng lại ở lý thuyết mà còn có ứng dụng thực tiễn rõ ràng. Việc phát triển Chrome extension giúp trẻ em có một môi trường mạng an toàn hơn, giảm thiểu tiếp xúc với bình luận độc hại.

4.1. Kết Quả Đạt Được Từ Mô Hình

Mô hình đã cho thấy hiệu quả cao trong việc phân loại các bình luận độc hại, với độ chính xác lên đến 90%. Điều này chứng tỏ khả năng của LSTM và FastText trong việc xử lý ngôn ngữ tự nhiên.

4.2. Phản Hồi Từ Người Dùng

Người dùng đã phản hồi tích cực về Chrome extension, cho rằng nó giúp họ cảm thấy an toàn hơn khi sử dụng Facebook. Điều này cho thấy sự cần thiết của các giải pháp công nghệ trong việc bảo vệ trẻ em.

V. Kết Luận Và Tương Lai Của Nghiên Cứu

Nghiên cứu về giải thuật LSTM và FastText đã mở ra hướng đi mới trong việc ngăn chặn bình luận độc hại trên mạng xã hội. Tương lai của nghiên cứu này có thể hướng đến việc phát triển các mô hình mạnh mẽ hơn, có khả năng nhận diện và xử lý các bình luận độc hại một cách hiệu quả hơn.

5.1. Hướng Phát Triển Trong Tương Lai

Các nghiên cứu tiếp theo có thể tập trung vào việc cải thiện độ chính xác của mô hình và mở rộng khả năng nhận diện các ngôn ngữ khác nhau, từ đó bảo vệ trẻ em trên toàn cầu.

5.2. Tầm Quan Trọng Của An Toàn Trên Mạng

Việc bảo vệ trẻ em khỏi bình luận độc hại trên mạng xã hội là một nhiệm vụ quan trọng. Các giải pháp công nghệ như mô hình này sẽ góp phần tạo ra một môi trường mạng an toàn hơn cho thế hệ tương lai.

Trích đoạn nội dung tài liệu

MỞ ĐẦU 1.1 Lý do chọn đề tài Facebook là một nền tảng mạng xã hội phổ biến nhất hiện nay với lượng người dùng rat lớn bao gồm cả trẻ em. Trên đó, không những chúng ta có thé đăng bài blog, mà còn có các hoạt động trao đổi mua bán và cho phép chúng ta bình luận dé trao đổi. Thế nhưng, đôi khi vì quá khích nên người dung có thé dé lại những bình luận tiêu cực, mang tính chế nhạo và thậm chí là các từ ngữ bat lịch sự như phân biệt chủng tộc, vùng miễn, kì thị giới tinh,. mà trẻ em có thé đọc phải và không tự mình đối phó được dẫn đến gây ảnh hưởng sức khỏe tỉnh thần.

Nhìn thấy được vấn đề cấp bách này và tiềm năng phát triển, cùng với sự hỗ trợ và lợi thé của công nghệ ngày nay, nhóm muốn nghiên cứu thuật toán dé kiểm tra và phân loại những bình luận tiêu cực dé cảnh báo đối với những người sử dụng ngôn từ độc hại. Thuật toán sẽ phân loại bình luận của người dùng bằng cách sử dụng mô hình phân lớp Long Short Term Memory (LSTM) kết hợp với thư viện FastText vector hóa ngôn ngữ tự nhiên trong tiếng Anh, giúp mô hình dé dàng xác định bình luận dé đưa ra dự đoán chính xác nhất về mức độ tiêu cực của bình luận. Hơn thế nữa, nhóm mong muốn phát triển cộng đồng sử dụng các nền tang trực tuyến lành mạnh, văn minh hon và đặc biệt là bảo vệ trẻ em.2 Mục đích nghiên cứu Nghiên cứu thư viện FastText và thuật toán LSTM áp dụng vào bai toán phân loại bình luận tiêu cực trên mạng xã hội Facebook dành cho trẻ em.3 Đối tượng nghiên cứu Nghiên cứu thư viện FastText vector hóa ngôn ngữ tự nhiên. Nghiên cứu mô hình phân lớp Long Short Term Memory (LSTM).

Đánh giá thư viện FastText có sử dụng thuật toán Word2Vec với thuật toán Glove. Xây dựng web service RESTFul API áp dụng vào tiện ích mở rộng trên Chrome dé chặn, ấn các bình luận độc hại xấu trên mạng xã hội Facebook.4 Phạm vi nghiên cứu Trong luận văn này, nhóm sẽ giới hạn đề tài trong phạm vi sau: Xây dựng giải pháp kiểm tra và phân loại bình luận độc hại bằng tiếng Anh với dữ liệu đầu vào là văn bản và kêt quả đâu ra là một đôi tượng: Các bước thực hiện: Kiểm tra phân loại bình luận độc hại trên mạng xã hội Dữ liệu huấn luyện từ Toxic comments training dataset của Prabhakaran D Dữ liệu phục vu cho việc huấn luyện FastText từ những bình luận trên Facebook Bình luận được tiền xử lý bằng cách phân ra thành các câu. Xử lý thay thế ánh xạ từ, thay thế các từ bị viết sai, xóa ký tự đặc biệt, những vùng không cần thiết. Nghiên cứu, huấn luyện và áp dụng các thuật toán trong thư viện FastText để vector hóa bình luận và dùng thuật toán Long Short Term Memory (LSTM) đề phân loại bình luận cho ra tập dit liệu huấn luyện theo phân lớp da lớp (toxic, severe_toxic, obscene, threat, insult, identity_hate).

Xây dựng web service RESTFul API bang framework Django trong ngôn ngữ Python ap dung vào tiện ich mở rộng được xây dựng từ framework ReactJS trong ngôn ngữ JavaScript có độ phân loại chính xác nhất dé đưa ra kết quả xác thực.5 Phương pháp nghiên cứu Nhóm đã sử dụng các phương pháp nghiên cứu: Tham khảo, tìm hiểu các video, bài báo khoa học, blog như: Từ đó tiễn hành song song việc thực hiện đánh giá, phân tích chuyên sâu về ưu điểm/nhược điểm của các thuật toán đã học và kết hợp tham khảo các bài báo tin cậy từ trong và ngoài nước. Tìm hiểu ngôn ngữ lập trình, nền tảng công nghệ mới như: Python, Django, JavaScript, ReactJS. tận dụng lợi thế sức mạnh của công nghệ mới dé day nhanh quá trình phát triển ứng dụng. Tham khảo và nghiên cứu các kỹ thuật thiết kế hệ thống, thiết kế cơ sở dit liệu, kỹ thuật lập trình từ các nguồn trên mạng như: GitHub, Stack 2 Overflow,.

dé áp dụng vào hệ thông nhằm nâng cao hiệu suất của ứng dụng. - __ Kinh nghiệm thực tiễn khi tham gia vào các nền tảng mạng xã hội như: Facebook, Instagram, Twitter,. dé rút ra bai học và ứng dung vào luận văn.6 Kết quả cần đạt Tài liệu hướng dẫn sử dụng. Tiện ích mở rộng trên Chrome: Chặn các bình luận có nội dung tiêu cực trên mạng xã hội Facebook.

- Đối với người ding: = Có thé điều chỉnh mức độ nhận dang (easy, medium, hard) = Có thé bật, tắt extension - D6i với sản phẩm: “ Cung cấp API có tích hợp mô hình phân lớp và trả về giá trị đánh giá trong các nhãn. = Extension nhận vào các bình luận trên Facebook và gửi về API dé danh gia. CHƯƠNG 2 NỘI DUNG NGHIÊN CỨU 2.1 Tổng quan về xử lý ngôn ngữ tự nhiên - NLP 2.1 Giới thiệu xử lý ngôn ngữ tự nhiên Natural language processing (NLP) là một nhánh của ngôn ngữ học, khoa học máy tính và trí tuệ nhân tạo liên quan đến sự tương tác giữa máy tính và ngôn ngữ tự nhiên của con người (Ví dụ: Tiếng Anh, Tiếng Việt,.), giọng nói hoặc văn bản. Corpus với dạng số nhiều là corpora còn được gọi là kho ngữ liệu là tập hợp các văn bản hoặc âm thanh.

Các văn bản, âm thanh được sử dụng bởi một người bản ngữ sử dụng ngôn ngữ đó. Một corpus có thé được tao từ các tờ báo, tiểu thuyết, công thức nấu ăn, radio phát thanh đến các chương trình truyền hình, phim hoặc tweets.2 Ứng dụng của xử lý ngôn ngữ tự nhiên > Personal Assistant (Trợ lý ảo cá nhân): Có lẽ đây là ví dụ về NLP phô biến nhất, các trợ lý ảo thông minh như Siri của Apple, Alexa của Amazon, Google Assistant của Google và Cortana Microsoft đã trở nên ngày càng tích hợp vào cuộc sống của chúng ta. Sử dung NLP, chúng phân tích ngôn ngữ thành các phần từ loại, từ gốc và các đặc trưng ngôn ngữ khác. Sau đó, Natural Language Understanding (NLU), là cái cho phép máy móc hiểu ngôn ngữ và Natural Language Generation (NLG), phần mà cho phép máy móc "nói", thực hiện phần còn lại.

Lý tưởng nhất, điều này sẽ cho bạn câu trả lời mong muốn của bạn. Các chatbot ứng dụng NLP, một dạng khác của trợ lý ảo thông minh, hoạt động theo cùng một cách nhưng, thay vì sử dụng nhận dạng giọng nói, chúng trả lời đầu vào văn bản từ khách hàng. Vì giá trị của chúng như một nguồn thông tin, hầu hết các công ty trực tuyến hiện nay đều có chúng như một công cụ giao tiếp chính trên trang web của họ. > Auto-Complete (Tự động hoàn chỉnh): Trong công cụ tìm kiếm của Google khi bạn tìm kiếm một từ gì đấy thì chức năng này sẽ tự động hoàn thành câu bạn muốn tìm và trong Gmil cũng được áp dụng.

Google Q niplaa © Q nip là gì- Google Search x “2, Resume your journey Q nipla Q nip là viết tắt của từ gì nip là gì em đã có kiến thức gì về nip nip là cụm từ viết tắt của Q nip là gi wiki Q nip laj Hình 2.1: Ung dụng của NLP trong tìm kiếm của Google > Spell Checking - Kiểm tra lỗi chính tả: Trong thế giới hiện đại, công cụ kiểm tra chính tả được sử dụng ở khắp mọi nơi. Có thể trình duyệt web của bạn đã được trang bị công cụ kiểm tra chính tả, giúp bạn phát hiện lỗi chính tả bằng cách gạch chân từ sai. Nhiều trình xử lý từ và trình soạn thảo cũng chạy công cụ kiểm tra chính tả theo mặc định. Một số ứng dụng (bao gồm Google Docs và Microsoft Word) thậm chí chi ra cả những lỗi ngữ pháp đơn giản.

mm Noisy text Clean text ( source target J ‘ caer >0 che _ __»it’s Nuc”2:2 4 <8 check Spell checker Hình 2.2: Luong xử lý trong kiểm tra lỗi chính tả > Translation - Phiên Dịch: Là một tiến trình sử dụng mô hình NLP dé tự động dịch văn bản từ một ngôn ngữ này sang ngôn ngữ khác mà không có sự can thiệp của con người. Đối với các mô hình dịch máy hiện nay không chỉ dịch từng từ đơn giản sang ngôn ngữ khác mà còn phân tích các thành phần văn bản và nhận biết các từ ảnh hưởng đến nhau như thế nào. A Văn ban B Hinh anh B Tài tiêu @ Trang web PHÁTHIỆNANH ANH VIỆT PHÁP v «* VIỆT ANH TRUNG (GIẢN THE) Vv natural x tự nhiên w naCH(e)rai “) “) 8 %< Hình 2.3: Ung dụng của NLP trong Google Translate > Phan loai mail Một nghiên cứu điền hình về NLP mà chúng ta có thé xem xét là hệ thống phan loại thư mới của Gmail. Hệ thống nâng cấp này phân loại email thành một trong ba nhóm (chính, xã hội hoặc khuyến mãi) dựa trên nội dung email.

Đây là một ứng dụng tiện lợi của NLP giúp giữ cho hộp thư đến của người dùng Gmail được kiểm soát trong khi làm nổi bật các email có liên quan và có ưu tiên cao. Bạn có thé thiết lập các nhãn tùy chỉnh cho hộp thư đến của mình và mỗi email đến đáp ứng các yêu cầu được đặt ra sẽ được gửi qua đúng đường tùy thuộc vào nội dung của mail. Spam Folder KNkxš KNKK KK Spam rs Dx) a> Closter —Ố Inbox KX Hình 2.4: Mô tả phân loại mail spam va không spam > Messenger Bots Facebook Messenger là một trong những cách mới nhất mà các doanh nghiệp có thê kết nối với khách hàng thông qua mạng xã hội. NLP giúp mở rộng chức năng của các bot trên Messenger dé chúng không chỉ đơn thuần là quảng cáo sản phẩm hoặc dịch vụ, mà còn có thể tương tác với khách hàng và cung cấp một trải nghiệm độc đáo.5: Ung dung của NLP và Messenger Bots 2.3 Phan loại trong xử ly ngôn ngữ tu nhiên Ngôn ngữ học: Tập trung vào làm sao dé hiểu được cấu trúc ngôn ngữ như: ngữ âm (phonetics), âm vi (phonology), cú pháp (syntax), ngữ nghĩa (semantics), ngữ dụng hoc (pragmatics).

Khoa học máy tính: Quan tâm việc chuyền đổi ngôn ngữ tự nhiên về ngôn ngữ máy với sự trợ giúp của AI. Đặc biệt là mô hình Deep Learning đang phô biến nhất hiện nay trong nghiên cứu và phát triên NLP. Mô hình này không cần xử lý thủ công bằng tay mà sẽ học thông qua các kinh nghiệm trước đó và cho ra kết quả 1 cách triệt dé, thậm chí là những bai NLP phức tạp.2 Giới thiệu vector hóa văn bản (word embedding) Chúng ta đã nhìn thấy qua các bài toán về Thị Giác Máy Tính (Computer Vision) như. Hầu hết thông tin đữ liệu trong ảnh được thé hiện chi tiết và đầy đủ qua các pixels.

Chúng ta chỉ cần đưa qua mô hình như CNN để trích xuất đặc trưng.