Luận văn thạc sĩ về nhận diện video có yếu tố chính trị Việt Nam trên TikTok

Luận văn thạc sĩ khám phá việc nhận diện video chính trị Việt Nam trên TikTok, phân tích tác động và xu hướng truyền thông xã hội hiện nay.

• Tác giả: Nguyễn Bình Long
• Người hướng dẫn: PGS.TS Đặng Trần Khánh
• Trường học: Đại học Bách Khoa - ĐHQG TP. Hồ Chí Minh
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nhận diện video chính trị Việt Nam trên TikTok
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2022
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT LUẬN VĂN
• ABSTRACT
• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: GIỚI THIỆU
• 1.1. Tổng quan đề tài
• 1.2. Tính ứng dụng của đề tài
• 1.3. Mục tiêu và giới hạn của đề tài
• 1.4. Cấu trúc của luận văn
• 2. CHƯƠNG 2: KIẾN THỨC NỀN TẢNG
• 2.1. Mạng nơron nhân tạo (Artificial Neural Network – ANN)
• 2.2. Các hàm kích hoạt (Activation function)
• 2.3. Hàm chi phí mất mát
• 2.4. Các kỹ thuật xử lý với mạng nơ ron
• 2.5. Mạng nơ ron tích chập (Convolutional Neural Network - CNN)
• 2.5.1. Lớp tích chập – Convolution layer
• 2.5.2. Lớp gộp – Pooling layer
• 2.5.3. Lớp kết nối đầy đủ – Fully connected layer
• 2.6. Kiến trúc mô hình mạng chuyển đổi đa tác vụ (Multi-task Cascaded Convolutional Networks - MTCN)
• 2.7. Tổng quan kiến trúc mô hình xác minh khuôn mặt DeepFace
• 2.8. Tổng quan kiến trúc mô hình Inception-V3
• 2.9. Mô hình Word Embedding
• 2.9.1. Mô hình Word2Vec
• 2.9.2. Skip-gram model
• 2.9.3. Mô hình FastText
• 2.10. Các chiến lược kết hợp nhiều mô hình trong phân loại video
• 3. CHƯƠNG 3: CÁC CÔNG TRÌNH LIÊN QUAN
• 3.1. Phân loại video trên quy mô lớn với mạng nơ ron tích chập (CNN)
• 3.2. Phân loại video trên quy mô lớn dựa trên đặc trưng văn bản
• 3.3. Phương pháp kết hợp nhiều mô hình học sâu để phân loại video
• 4. CHƯƠNG 4: PHƯƠNG PHÁP THỰC HIỆN
• 4.1. Phương pháp thu thập và xử lý dữ liệu
• 4.1.1. Phương pháp thu thập dữ liệu
• 4.1.2. Phương pháp xử lý dữ liệu văn bản
• 4.1.3. Phương pháp xử lý dữ liệu âm thanh
• 4.1.4. Phương pháp xử lý dữ liệu video và hình ảnh
• 4.2. Phương pháp trích xuất đặc trưng và xây dựng mô hình phân loại văn bản
• 4.3. Phương pháp trích xuất đặc trưng và nhận diện khuôn mặt
• 4.4. Phương pháp xây dựng mô hình phân loại hình ảnh
• 4.5. Phương pháp xây dựng mô hình kết hợp
• 4.6. Phương pháp đánh giá
• 5. CHƯƠNG 5: HIỆN THỰC VÀ ĐÁNH GIÁ
• 5.1. Thu thập dữ liệu
• 5.2. Xử lý dữ liệu
• 5.2.1. Tải video và audio
• 5.2.2. Gán nhãn dữ liệu
• 5.2.3. Trích xuất khung hình chính từ video
• 5.2.4. Xử lý và huấn luyện dữ liệu văn bản với mô hình word embedding FastText
• 5.2.5. Phát hiện và nhận diện gương mặt
• 5.2.6. Huấn luyện mô hình phân loại dựa trên đặc trưng hình ảnh
• 5.2.7. Chiến lược huấn luyện và thử nghiệm
• 5.2.8. Huấn luyện mô hình kết hợp
• 5.2.9. Kết quả của mô hình và nhận xét
• 5.2.9.1. Tập dữ liệu
• 5.2.9.2. Thử nghiệm và đánh giá kết quả
• 5.3. Xây dựng ứng dụng thử nghiệm
• 5.3.1. Các kết quả đạt được
• 5.3.2. Khó khăn và hạn chế
• 5.3.3. Hướng mở rộng của đề tài
• TÀI LIỆU THAM KHẢO
• LÝ LỊCH TRÍCH NGANG

Tóm tắt

I. Giới thiệu

Trong bối cảnh công nghệ 4.0, việc nhận diện video chính trị trên nền tảng TikTok Việt Nam trở thành một nhiệm vụ cấp thiết. Đặc biệt, với sự ra đời của luật An ninh mạng Việt Nam năm 2018, việc phân loại tự động các video thành danh mục chính trị hoặc phi chính trị đã thu hút sự chú ý của nhiều nhà quản lý. Các video này không chỉ chứa đựng hình ảnh và âm thanh mà còn có văn bản, mỗi đặc trưng đều mang lại thông tin giá trị. Tuy nhiên, việc phân loại hiệu quả yêu cầu phải phân tích đồng bộ tất cả các thông tin từ các đặc trưng khác nhau. Đề tài này trình bày một framework kết hợp đa mô hình học sâu, sử dụng các kỹ thuật như Word Embedding với FastText để phân tích văn bản, cùng với các mô hình CNN như Inception-V3 và VGG-Face để trích xuất đặc trưng hình ảnh và gương mặt. Qua đó, framework này có khả năng phân loại video ngay cả khi một số đặc trưng bị thiếu.

1.1 Tính ứng dụng của đề tài

Đề tài này không chỉ là một nghiên cứu lý thuyết mà còn có tính ứng dụng cao trong thực tiễn. Các nhà quản lý Việt Nam đang phải đối mặt với nhiều khó khăn trong việc nắm bắt thông tin trên mạng xã hội, đặc biệt là TikTok. Nhiều video có nội dung xuyên tạc, bóp méo sự thật và ảnh hưởng tiêu cực đến xã hội. Việc phát hiện và phân loại tự động các video này là rất cần thiết, nhằm bảo vệ an ninh quốc gia và trật tự xã hội. Framework được đề xuất sẽ giúp tự động thu thập và phân loại các video có yếu tố chính trị, từ đó tiết kiệm thời gian cho các nhà quản lý trong việc theo dõi thông tin trên mạng xã hội.

II. Kiến thức nền tảng

Để xây dựng framework hiệu quả, việc hiểu rõ các khái niệm cơ bản về mạng nơron nhân tạo (ANN) và các kỹ thuật xử lý dữ liệu là rất quan trọng. Mạng nơron tích chập (CNN) là một trong những kỹ thuật phổ biến nhất trong phân loại hình ảnh và video. Các hàm kích hoạt như ReLU và sigmoid đóng vai trò quan trọng trong việc tối ưu hóa quá trình học. Bên cạnh đó, mô hình Word2Vec và FastText cũng được sử dụng để chuyển đổi văn bản thành các vector có nghĩa, giúp cho việc phân tích văn bản trở nên hiệu quả hơn. Các kỹ thuật này được kết hợp trong một framework nhằm tối ưu hóa khả năng phân loại video có yếu tố chính trị trên TikTok.

2.1 Các mô hình học sâu

Trong nghiên cứu này, các mô hình học sâu như Inception-V3, MTCNN, và VGG-Face được sử dụng để trích xuất đặc trưng từ video. MTCNN giúp phát hiện gương mặt trong các khung hình chính, trong khi VGG-Face được sử dụng để vector hóa các gương mặt này. Việc kết hợp các mô hình này giúp tối ưu hóa độ chính xác trong việc phân loại video. Thêm vào đó, mô hình Light GBM được áp dụng để tổng hợp thông tin từ các đặc trưng khác nhau và đưa ra kết quả phân loại cuối cùng.

III. Phương pháp thực hiện

Đề tài sử dụng phương pháp thu thập và xử lý dữ liệu từ TikTok để xây dựng bộ dữ liệu gồm 10.000 video có yếu tố chính trị và phi chính trị. Quá trình này bao gồm việc tải video, gán nhãn và trích xuất các khung hình chính. Đặc biệt, việc sử dụng Google API để chuyển đổi giọng nói thành văn bản giúp tăng cường chất lượng dữ liệu đầu vào. Các đặc trưng hình ảnh và văn bản được xử lý thông qua các mô hình học sâu đã được huấn luyện trước, nhằm đảm bảo tính chính xác trong phân loại. Kết quả thử nghiệm cho thấy framework đạt độ chính xác cao hơn so với các mô hình phân loại đơn lẻ.

3.1 Kết quả thử nghiệm

Kết quả thử nghiệm cho thấy framework có khả năng phân loại video chính xác với độ chính xác đạt 0.93, vượt trội hơn so với các phương pháp kết hợp thông thường. Điều này chứng tỏ rằng việc sử dụng một cách tiếp cận đa mô hình với nhiều đặc trưng khác nhau không chỉ nâng cao khả năng phân loại mà còn giúp giải quyết vấn đề thiếu dữ liệu khi một số đặc trưng không có sẵn. Điều này mở ra nhiều cơ hội cho việc ứng dụng công nghệ học máy trong việc giám sát và phân loại nội dung trên mạng xã hội.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển mạnh mẽ của công nghệ 4.0, việc sản xuất và chia sẻ video trên các nền tảng mạng xã hội như TikTok ngày càng phổ biến với hàng tỷ video được đăng tải mỗi ngày. Tuy nhiên, việc phân loại và nhận diện các video có yếu tố chính trị Việt Nam trên mạng xã hội này vẫn còn nhiều thách thức do nội dung đa dạng, phức tạp và thiếu mô tả chính xác. Theo ước tính, có khoảng 10.000 video chính trị và phi chính trị được thu thập từ TikTok để phục vụ nghiên cứu. Với sự ra đời của Bộ luật An ninh mạng Việt Nam năm 2018, việc tự động phân loại video thành các danh mục chính trị hoặc phi chính trị trở nên cấp thiết nhằm hỗ trợ các nhà quản lý trong việc giám sát và xử lý thông tin trên không gian mạng.

Mục tiêu nghiên cứu là xây dựng một framework kết hợp đa mô hình học sâu dựa trên nhiều đặc trưng như hình ảnh, văn bản và gương mặt để phân loại hiệu quả các video có yếu tố chính trị Việt Nam trên TikTok. Nghiên cứu tập trung vào việc thu thập dữ liệu, xử lý và trích xuất đặc trưng từ video, đồng thời áp dụng các mô hình học sâu tiên tiến như FastText, Inception-V3, MTCNN, VGG-Face và kỹ thuật kết hợp chậm với LightGBM để nâng cao độ chính xác phân loại. Phạm vi nghiên cứu giới hạn trong khoảng thời gian thu thập dữ liệu từ đầu năm 2022 đến giữa năm 2022, tập trung vào các video liên quan đến các hoạt động của Ủy viên Bộ Chính trị và thành viên Chính phủ nhiệm kỳ 2021-2026.

Nghiên cứu có ý nghĩa quan trọng trong việc hỗ trợ tự động hóa quá trình giám sát nội dung chính trị trên mạng xã hội, giảm thiểu sự phụ thuộc vào nguồn lực con người và tăng hiệu quả xử lý thông tin, góp phần bảo vệ an ninh mạng và ổn định chính trị xã hội.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu dựa trên các lý thuyết và mô hình học sâu sau:

• Mạng nơ-ron nhân tạo (Artificial Neural Network - ANN): Mô hình xử lý thông tin mô phỏng hoạt động của hệ thần kinh sinh vật, gồm các lớp input, hidden và output, sử dụng các hàm kích hoạt phi tuyến như ReLU, sigmoid, tanh để tăng hiệu năng học tập.

• Mạng nơ-ron tích chập (Convolutional Neural Network - CNN): Được sử dụng để trích xuất đặc trưng hình ảnh và video, bao gồm các lớp convolution, pooling và fully connected. Các kiến trúc CNN tiên tiến như Inception-V3 giúp giảm số chiều dữ liệu và tăng hiệu quả tính toán.

• Mô hình Multi-task Cascaded Convolutional Networks (MTCNN): Dùng để phát hiện và nhận diện khuôn mặt trong video qua ba giai đoạn P-Net, R-Net và O-Net, giúp xác định vị trí và đặc trưng gương mặt chính xác.

• Mô hình Word Embedding (FastText): Phương pháp biểu diễn từ dưới dạng vector, cho phép mô hình học được mối quan hệ ngữ nghĩa giữa các từ. FastText cải tiến từ Word2Vec bằng cách sử dụng subword (n-grams) để xử lý từ hiếm và từ mới hiệu quả hơn.

• Chiến lược kết hợp chậm (Slow Fusion): Kết hợp các đặc trưng trích xuất từ nhiều mô hình học sâu ở cấp độ video thay vì cấp độ khung hình, giúp tổng hợp thông tin đa dạng và nâng cao độ chính xác phân loại.

• Mô hình LightGBM: Thuật toán gradient boosting tree được sử dụng để kết hợp các đặc trưng đa mô hình, cho phép xử lý dữ liệu thiếu và đánh giá tầm quan trọng của từng đặc trưng trong phân loại.

Các khái niệm chính bao gồm: đặc trưng hình ảnh, đặc trưng văn bản, đặc trưng gương mặt, học sâu đa mô hình, và phân loại video chính trị.

Phương pháp nghiên cứu

• Nguồn dữ liệu: Bộ dữ liệu gồm 10.000 video chính trị và phi chính trị được thu thập tự động từ mạng xã hội TikTok, bao gồm tiêu đề, mô tả, video và âm thanh. Ngoài ra, dữ liệu văn bản bổ sung được thu thập từ các trang báo điện tử như vnexpress.vn để tăng tính đa dạng và độ chính xác cho mô hình.

• Phương pháp thu thập và xử lý dữ liệu: Sử dụng Google API Speech-to-Text để chuyển đổi giọng nói trong video thành văn bản, kết hợp với tiêu đề và mô tả để tạo đặc trưng văn bản. Video được trích xuất các khung hình chính để xử lý hình ảnh và nhận diện gương mặt. Mô hình MTCNN phát hiện khuôn mặt, VGG-Face vector hóa gương mặt, Inception-V3 trích xuất đặc trưng hình ảnh.

• Phương pháp phân tích: Áp dụng mô hình học sâu FastText cho đặc trưng văn bản, CNN cho đặc trưng hình ảnh và gương mặt. Sử dụng chiến lược kết hợp chậm (slow fusion) với mô hình LightGBM để tổng hợp và phân loại ở cấp độ video. LightGBM cho phép xử lý dữ liệu thiếu và đánh giá tầm quan trọng của từng đặc trưng.

• Cỡ mẫu và chọn mẫu: Bộ dữ liệu 10.000 video được gán nhãn chính trị và phi chính trị, đảm bảo cân bằng và đại diện cho các chủ đề chính trị Việt Nam hiện hành. Phương pháp chọn mẫu ngẫu nhiên có kiểm soát nhằm giảm thiểu bias.

• Timeline nghiên cứu: Thu thập dữ liệu từ tháng 2 đến tháng 6 năm 2022, huấn luyện và thử nghiệm mô hình trong cùng khoảng thời gian, hoàn thiện framework và ứng dụng thử nghiệm trước tháng 7 năm 2022.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Độ chính xác phân loại cao: Framework kết hợp đa mô hình đạt độ chính xác 0.93 trên tập dữ liệu 10.000 video, vượt trội hơn so với các mô hình dựa trên từng đặc trưng riêng lẻ như văn bản (độ chính xác 0.87), gương mặt (0.85) và hình ảnh (0.88). Mô hình kết hợp truyền thống sử dụng logistic regression đạt 0.92.

2. Khả năng xử lý dữ liệu thiếu: Framework có thể phân loại hiệu quả ngay cả khi một số đặc trưng bị thiếu, nhờ vào khả năng xử lý giá trị null của LightGBM, giúp tăng tính linh hoạt và ứng dụng thực tế.

3. Tầm quan trọng của đặc trưng: Phân tích trọng số trong LightGBM cho thấy đặc trưng văn bản đóng vai trò quan trọng nhất trong phân loại, chiếm khoảng 45% tầm quan trọng, tiếp theo là đặc trưng hình ảnh (35%) và gương mặt (20%).

4. Hiệu quả chiến lược kết hợp chậm: So với các chiến lược kết hợp sớm và trễ, chiến lược kết hợp chậm giúp tổng hợp thông tin toàn diện hơn ở cấp độ video, cải thiện độ chính xác phân loại lên khoảng 3-5%.

Thảo luận kết quả

Nguyên nhân chính dẫn đến hiệu quả cao của framework là việc tận dụng đồng thời các đặc trưng đa dạng từ video, bao gồm văn bản, hình ảnh và gương mặt, giúp mô hình có cái nhìn toàn diện về nội dung video. Việc sử dụng FastText cho đặc trưng văn bản giúp mô hình hiểu sâu sắc ngữ cảnh và ngữ nghĩa, trong khi các mô hình CNN tiên tiến như Inception-V3 và MTCNN cung cấp đặc trưng hình ảnh và gương mặt chính xác.

So sánh với các nghiên cứu trước đây tập trung chủ yếu vào đặc trưng hình ảnh hoặc văn bản riêng lẻ, nghiên cứu này đã chứng minh rằng kết hợp đa mô hình với chiến lược kết hợp chậm và LightGBM là hướng đi hiệu quả hơn trong phân loại video chính trị trên mạng xã hội. Kết quả có thể được trình bày qua biểu đồ so sánh độ chính xác giữa các mô hình và bảng phân tích tầm quan trọng đặc trưng, giúp minh họa rõ ràng sự vượt trội của framework đề xuất.

Framework cũng giải quyết được vấn đề thiếu dữ liệu đặc trưng nhờ khả năng xử lý giá trị null của LightGBM, điều này rất quan trọng trong thực tế khi dữ liệu video thường không đồng nhất về mặt đặc trưng.

Đề xuất và khuyến nghị

1. Mở rộng bộ dữ liệu: Tăng cường thu thập dữ liệu video chính trị từ nhiều nguồn và thời điểm khác nhau để nâng cao tính đa dạng và độ chính xác của mô hình, hướng tới cỡ mẫu vài chục nghìn video trong vòng 12 tháng tới.

2. Phát triển mô hình đa phương thức: Nghiên cứu tích hợp thêm đặc trưng âm thanh và hiệu ứng video bằng các mô hình học sâu chuyên biệt, nhằm cải thiện khả năng nhận diện nội dung phức tạp, dự kiến triển khai trong 18 tháng tới.

3. Triển khai hệ thống giám sát tự động: Xây dựng ứng dụng thực tế cho các cơ quan quản lý sử dụng framework để tự động phân loại và cảnh báo các video có yếu tố chính trị, giảm tải công việc kiểm duyệt thủ công, với mục tiêu hoàn thiện trong 6 tháng.

4. Nâng cao khả năng xử lý thời gian thực: Tối ưu hóa thuật toán và hạ tầng tính toán để xử lý video trực tuyến trên nền tảng TikTok, giúp phát hiện nhanh các video vi phạm, dự kiến nghiên cứu trong 24 tháng tới.

5. Đào tạo và nâng cao nhận thức: Tổ chức các khóa đào tạo cho cán bộ quản lý và chuyên gia công nghệ về ứng dụng AI trong giám sát nội dung mạng xã hội, giúp tận dụng hiệu quả công nghệ mới.

Đối tượng nên tham khảo luận văn

1. Các nhà quản lý an ninh mạng: Giúp hiểu và ứng dụng công nghệ phân loại video tự động để giám sát nội dung chính trị trên mạng xã hội, nâng cao hiệu quả quản lý và xử lý vi phạm.

2. Chuyên gia công nghệ thông tin và AI: Cung cấp kiến thức về mô hình học sâu đa mô hình, kỹ thuật kết hợp chậm và ứng dụng LightGBM trong phân loại video, hỗ trợ phát triển các giải pháp tương tự.

3. Nhà nghiên cứu trong lĩnh vực truyền thông và xã hội học: Hỗ trợ phân tích xu hướng nội dung chính trị trên mạng xã hội, từ đó đưa ra các đánh giá và dự báo về tác động xã hội.

4. Các tổ chức báo chí và truyền thông: Ứng dụng công nghệ để kiểm duyệt và phân loại nội dung video, đảm bảo thông tin chính xác, tránh lan truyền tin giả và thông tin sai lệch.

Câu hỏi thường gặp

1. Framework có thể áp dụng cho các mạng xã hội khác ngoài TikTok không?
   Có, framework được thiết kế linh hoạt với khả năng xử lý đa đặc trưng, có thể điều chỉnh để áp dụng cho các nền tảng khác như YouTube, Facebook với việc thu thập và xử lý dữ liệu phù hợp.

2. Làm thế nào framework xử lý khi một số đặc trưng bị thiếu trong video?
   Nhờ sử dụng LightGBM, framework có khả năng xử lý giá trị null, tận dụng các đặc trưng còn lại để phân loại chính xác, đảm bảo tính ổn định khi dữ liệu không đầy đủ.

3. Độ chính xác 0.93 có ý nghĩa như thế nào trong thực tế?
   Độ chính xác này cho thấy framework phân loại đúng 93% số video trong tập kiểm thử, giúp giảm đáng kể sai sót trong giám sát và hỗ trợ quyết định nhanh chóng cho nhà quản lý.

4. Tại sao không sử dụng đặc trưng âm thanh trong phân loại?
   Do đặc thù video TikTok thường có nhạc nền và hiệu ứng âm thanh phức tạp, đặc trưng âm thanh không phản ánh chính xác nội dung chính trị, nên nghiên cứu tập trung vào văn bản, hình ảnh và gương mặt.

5. Framework có thể phát hiện các video chính trị tiêu cực và tích cực không?
   Hiện tại framework phân loại video có yếu tố chính trị tổng thể, việc phân biệt tích cực hay tiêu cực cần nghiên cứu thêm các mô hình phân tích cảm xúc và ngữ cảnh sâu hơn.

Kết luận

• Đã xây dựng thành công framework kết hợp đa mô hình học sâu dựa trên đặc trưng văn bản, hình ảnh và gương mặt để phân loại video chính trị Việt Nam trên TikTok với độ chính xác đạt 0.93.
• Framework sử dụng chiến lược kết hợp chậm và mô hình LightGBM giúp xử lý hiệu quả dữ liệu thiếu và đánh giá tầm quan trọng đặc trưng.
• Bộ dữ liệu 10.000 video được thu thập và gán nhãn kỹ lưỡng, tạo nền tảng vững chắc cho việc huấn luyện và đánh giá mô hình.
• Nghiên cứu góp phần hỗ trợ tự động hóa giám sát nội dung chính trị trên mạng xã hội, giảm tải công việc kiểm duyệt thủ công cho các nhà quản lý.
• Hướng phát triển tiếp theo bao gồm mở rộng bộ dữ liệu, tích hợp đặc trưng âm thanh, triển khai hệ thống giám sát thực tế và tối ưu xử lý thời gian thực.

Mời các nhà quản lý, chuyên gia công nghệ và nhà nghiên cứu quan tâm ứng dụng và phát triển thêm các giải pháp dựa trên framework này để nâng cao hiệu quả quản lý nội dung mạng xã hội.

Trích đoạn nội dung tài liệu

ĐẠI HỌC QUỐC GIA TP. HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA --------------------------------------- NGUYỄN BÌNH LONG NHẬN DIỆN CÁC VIDEO CÓ YẾU TỐ CHÍNH TRỊ VIỆT NAM TRÊN MẠNG XÃ HỘI TIKTOK Chuyên ngành: Khoa Học Máy Tính Mã số: 8.01 LUẬN VĂN THẠC SĨ TP. HỒ CHÍ MINH, tháng 7 năm 2022. CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI: TRƯỜNG ĐẠI HỌC BÁCH KHOA –ĐHQG -HCM Cán bộ hướng dẫn khoa học 1: PGS.TS Đặng Trần Khánh Cán bộ hướng dẫn khoa học 2: PGS.TS Lê Hồng Trang Cán bộ chấm nhận xét 1: TS.

Đặng Trần Trí Cán bộ chấm nhận xét 2: PGS.TS Nguyễn Tuấn Đăng Luận văn thạc sĩ được bảo vệ tại Trường Đại học Bách Khoa, ĐHQG Tp. Hồ Chí Minh ngày 21 tháng 7 năm 2022. Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: 1.TS Trần Minh Quang - Chủ tịch 2. TS Phan Trọng Nhân - Thư ký 3.

TS Đặng Trần Trí - GV Phản biện 1 4.TS Nguyễn Tuấn Đăng - GV Phản biện 2 5.TS Lê Hồng Trang - Ủy viên Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trưởng Khoa quản lý chuyên ngành sau khi luận văn đã được sửa chữa (nếu có). CHỦ TỊCH HỘI ĐỒNG TRƯỞNG KHOA KHOA HỌC VÀ KỸ THUẬT MÁY TÍNH ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HOÀ XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc lập – Tự do – Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Nguyễn Bình Long MSHV: 1870570 Ngày, tháng, năm sinh: 03/05/1992 Nơi sinh: Quảng Ngãi Chuyên ngành: Khoa học máy tính Mã số: 8. TÊN ĐỀ TÀI: Nhận diện các video có yếu tố chính trị Việt Nam trên mạng xã hội Tiktok / Identifying Viet Nam politcal video contents on TikTok social Network. NHIỆM VỤ VÀ NỘI DUNG: Thực hiện việc thu thập bộ dữ liệu gồm các video có yếu tố chính trị và phi chính trị, tìm hiểu các công trình nghiên cứu về sử dụng mô hình học sâu và kết hợp đa mô hình để phân loại video.

Đề xuất, xây dựng và thử nghiệm mô hình học sâu phù hợp để giải quyết bài toán của đề tài. NGÀY GIAO NHIỆM VỤ: 14/02/2022 IV. NGÀY HOÀN THÀNH NHIỆM VỤ: 30/06/2022 V. CÁN BỘ HƯỚNG DẪN: PGS.TS Đặng Trần Khánh – PGS.TS Lê Hồng Trang Tp.

Hồ Chí Minh, ngày tháng năm 2022 CÁN BỘ HƯỚNG DẪN I CÁN BỘ HƯỚNG DẪN II CHỦ NHIỆM BỘ MÔN ĐÀO TẠO (Họ tên và chữ ký) (Họ tên và chữ ký) (Họ tên và chữ ký) PGS.TS Đặng Trần Khánh PGS.TS Lê Hồng Trang TRƯỞNG KHOA KHOA HỌC & KỸ THUẬT MÁY TÍNH (Họ tên và chữ ký) i LỜI CẢM ƠN Đầu tiên, tôi xin được bày tỏ lòng biết ơn sâu sắc tới PGS.TS Đặng Trần Khánh và PGS.TS Lê Hồng Trang, người đã hướng dẫn tôi trong suốt quá trình thực hiện luận văn cũng như đề cương. Nhờ có những chỉ dẫn và góp ý của thầy mà tôi mới có thể hoàn thành tốt được đề tài luận văn này. Tôi xin được gửi lời cảm ơn đến quý thầy cô khoa Khoa học và Kỹ thuật máy tính đã truyền thụ những kiến thức, kinh nghiệm quý báu cho tôi trong hơn hai năm qua. Xin gửi lời tri ân đến tất cả các thành viên trong nhóm DSTAR LAB của thầy Khánh vì những sự giúp đỡ và hỗ trợ trong suốt quá trình học tập và thực hiện luận văn.

Cuối cùng, tôi xin gửi lời cảm ơn chân thành đến gia đình và bạn bè, những người đã luôn động viên, ủng hộ tôi trong suốt thời gian học Cao học. Hồ Chí Minh, ngày tháng năm 2022 ii TÓM TẮT LUẬN VĂN Với việc ra đời bộ luật “An ninh mạng Việt Nam năm 2018”, một trong những chủ đề được các nhà quản lý quan tâm hiện nay là phân loại tự động video thành danh mục chính trị hoặc các chủ đề khác để có thể bước đầu xử lý và nắm bắt những gì đang xảy ra trên mạng internet nói chung và mạng xã hội Tiktok nói riêng. Các video này chứa đựng nhiều đặc trưng như: hình ảnh, văn bản, âm thanh mỗi đặc trưng đều chứa thông tin có giá trị. Để nâng cao khả năng phân loại, điều cần thiết là phải phân tích hiệu quả tất cả thông tin được trích xuất từ các đặc trưng khác nhau, trong khi hầu hết các mô hình học tập hiện tại đều bỏ qua một số đặc trưng và chỉ tập trung vào một phương thức duy nhất.

Trong đề tài này, trình bày một framework kết hợp đa mô hình học tập có giám sát dựa trên nhiều đặc trưng để phân loại hiệu quả video có yếu tố chính trị. Trong đó, sử dụng kỹ thuật Word Embedding là FastText để phân tích văn bản, các mô hình CNN đã được huấn luyện trước gồm: Inception-V3, MTCNN, VGG-Face để trích xuất đặc trưng hình ảnh và gương mặt, sau đó, một kỹ thuật kết hợp chậm dựa trên mô hình Light GBM được sử dụng để tổng hợp thông tin và phân loại ở cấp độ video. Framework có thể phân loại video khi một đặc trưng bị thiếu bằng cách sử dụng các đặc trưng còn lại. Framework được áp dụng cho tập dữ liệu mới chứa 10.000 videos chính trị và phi chính trị được thu thập từ Tiktok.

Các kết quả thử nghiệm của framework cho kết quả tốt hơn so với một số mô hình dựa trên từng đặc trưng riêng lẻ, cũng như phương pháp kết hợp thông thường. Cụ thể độ chính xác tốt nhất của framework đạt 0.93, trong khi phương pháp kết hợp sử dụng logistic regression đạt 0.92, và mô hình dựa trên từng đặc trưng văn bản, gương mặt, hình ảnh lần lượt là 0. iii ABSTRACT With the introduction of “Law On Cybersecurity 2018”, the most concerned topic of the managers is political video classification system, gasping the activities on the internet as we as Tiktok. These videos contain a lot of features like images, texts, and audio.

Each of these features is very informative. To improve the classification, the effective usage of all features is required. However, most of current systems only make use of only one feature. In this thesis, I propose a framework that utilizing multiple model based on different features to effectively classify political video.

We have used Word Embedding for text analysis, CNN models that included Inception-V3, MTCNN, and VGG-Face for facial and image feature extraction, after that slow fusion based on Light GBM is used for information aggregation and classification. Framework can analyze a video when some features are missing by using the remaining features. Framework has been applied to a dataset with 10,000 political and non-political video collected from TikTok. The results of framework are shown to be better than some models based on a single feature as well as traditional combination method.

The accuracy of framework is 0.93, while the accuracy of logistic regression is 0.92 and the models based on text, facial, and image feature is 0. iv LỜI CAM ĐOAN Tôi xin cam đoan luận văn “Nhận diện các video có yếu tố chính trị Việt Nam trên mạng xã hội Tiktok” là kết quả nghiên cứu của tôi dưới sự hướng dẫn, góp ý của PGS.TS Đặng Trần Khánh và PGS.TS Lê Hồng Trang. Những thông tin tham khảo từ các công trình khác có liên quan đều đã được ghi rõ trong luận văn. Nội dung nghiên cứu và các kết quả đều là do chính tôi thực hiện, không sao chép hay lấy từ một nguồn nào khác.

Tôi xin chịu toàn bộ trách nhiệm về lời cam đoan này. Hồ Chí Minh, ngày tháng năm 2022 Học Viên Nguyễn Bình Long v MỤC LỤC NHIỆM VỤ LUẬN VĂN THẠC SĨ. ii TÓM TẮT LUẬN VĂN. iv LỜI CAM ĐOAN.

v DANH MỤC HÌNH VẼ. ix DANH MỤC BẢNG. x DANH MỤC MÃ CHƯƠNG TRÌNH. xi DANH MỤC CHỮ VIẾT TẮT.

xii 1 GIỚI THIỆU .1 Tổng quan đề tài .2 Tính ứng dụng của đề tài .3 Mục tiêu và giới hạn của đề tài .2 Giới hạn đề tài.4 Cấu trúc của luận văn. 8 2 KIẾN THỨC NỀN TẢNG .1 Mạng nơron nhân tạo (Artificial Neural Network – ANN) .2 Các hàm kích hoạt (Activation function).3 Hàm chi phí mất mát.4 Các kỹ thuật xử lý với mạng nơ ron .2 Mạng nơ ron tích chập (Convolutional Neural Network - CNN) .1 Lớp tích chập – Convolution layer .2 Lớp gộp – Pooling layer .3 Lớp kết nối đầy dủ – Fully connected layer .3 Kiến trúc mô hình mạng chuyển đổi đa tác vụ (Multi-task Cascaded Convolutional Networks - MTCN) .4 Tổng quan kiến trúc mô hình xác minh khuôn mặt DeepFace .5 Tổng quan kiến trúc mô hình Inception-V3 .6 Mô hình Word Embedding .1 Mô hình Word2Vec .3 Skip-gram model .4 Mô hình FastText.7 Các chiến lược kết hợp nhiều mô hình trong phân loại video. 32 3 CÁC CÔNG TRÌNH LIÊN QUAN .1 Phân loại video trên quy mô lớn với mạng nơ ron tích chập (CNN) .2 Phân loại video trên quy mô lớn dựa trên đặc trưng văn bản .3 Phương pháp kết hợp nhiều mô hình học sâu để phân loại video. 37 4 PHƯƠNG PHÁP THỰC HIỆN .1 Phương pháp thu thập và xử lý dữ liệu .1 Phương pháp thu thập dữ liệu .2 Phương pháp xử lý dữ liệu văn bản .3 Phương pháp xử lý dữ liệu âm thanh .4 Phương pháp xử lý dữ liệu video và hình ảnh .2 Phương pháp trích xuất đặc trưng và xây dựng mô hình phân loại văn bản .3 Phương pháp trích xuất đặc trưng và nhận diện khuôn mặt .4 Phương pháp xây dựng mô hình phân loại hình ảnh .5 Phương pháp xây dựng mô hình kết hợp .6 Phương pháp đánh giá.

47 5 HIỆN THỰC VÀ ĐÁNH GIÁ .2 Thu thập dữ liệu .3 Xử lý dữ liệu .1 Tải video và audio .2 Gán nhãn dữ liệu .3 Trích xuất khung hình chính từ video.4 Xử lý và huấn luyện dữ liệu văn bản với mô hình word embedding FastText …………………………………………… .5 Phát hiện và nhận diện gương mặt.4 Huấn luyện mô hình phân loại dựa trên đặc trưng hình ảnh .5 Chiến lược huấn luyện và thử nghiệm .6 Huấn luyện mô hình kết hợp .7 Kết quả của mô hình và nhận xét .1 Tập dữ liệu .2 Thử nghiệm và đánh giá kết quả.8 Xây dựng ứng dụng thử nghiệm .1 Các kết quả đạt được .2 Khó khăn và hạn chế .3 Hướng mở rộng của đề tài. 70 TÀI LIỆU THAM KHẢO. 72 LÝ LỊCH TRÍCH NGANG. 75 viii DANH MỤC HÌNH VẼ Hình 1.1 Framework được đề xuất kết hợp dữ liệu chậm ở cấp độ video.2 Minh họa tính ứng dụng của framework.1 Đồ thị hàm tanh [22].2 Đồ thị hàm Sigmoid [22].3 Đồ thị hàm ReLU [22].4 Minh họa họa giai đoạn P-Net tạo ra Image Pyramid [9].5 Minh họa kiến trúc P-Net [9].6 Minh họa cho phép NMS, những box bị trùng nhau sẽ bị loại bỏ và giữ lại 1 box có mức tin tưởng cao nhất [9].7 Minh họa kiến trúc R-Net [9].8 Minh họa kiến trúc O-Net [9].9 Minh họa kết quả của mạng O-Net gồm 3 giá trị [9].10 Sơ lược về kiến trúc DeepFace, mạng bao gồm 120 triệu tham số [10].