Tổng quan nghiên cứu

Sự bùng nổ của các nền tảng truyền thông số, đặc biệt là YouTube với hơn 500 giờ video được tải lên mỗi phút, đã làm thay đổi căn bản phương thức tiếp cận và chia sẻ thông tin trên toàn cầu. Tuy nhiên, môi trường này cũng đang đối mặt với sự gia tăng nhanh chóng của các nội dung bị thao túng và bóp méo nhằm mục đích trục lợi hoặc truyền bá tin giả, chiếm khoảng 15% đến 25% các luồng thông tin liên quan đến các chủ đề nhạy cảm như y tế và sự kiện xã hội. Vấn đề nghiên cứu trọng tâm là việc phân biệt những thay đổi tinh vi giữa các video nguyên bản và video bị chỉnh sửa gặp rất nhiều trở ngại do độ dài video lớn, kỹ thuật cắt ghép ngày càng tinh vi và khối lượng dữ liệu khổng lồ khiến việc kiểm duyệt thủ công gần như bất khả thi.

Mục tiêu cụ thể của luận văn là nghiên cứu, thiết kế và phát triển một khung giải pháp tự động nhằm phân tích, tính toán độ tương đồng và đo lường khoảng cách sai biệt giữa video gốc và video bị biến đổi trên nền tảng YouTube. Đề tài được triển khai thực nghiệm toàn diện trong giai đoạn từ tháng 09 năm 2023 đến tháng 01 năm 2024 tại Trường Đại học Công nghệ Thông tin - Đại học Quốc gia Thành phố Hồ Chí Minh. Nghiên cứu mang ý nghĩa thực tiễn to lớn trong việc nâng cao tính minh bạch thông tin và bảo vệ bản quyền dữ liệu số, hướng tới xây dựng hệ thống phát hiện nội dung thao túng đạt độ chính xác F1-score trên 88% và tối ưu hóa thời gian xử lý trích xuất đặc trưng xuống dưới 60 mili-giây cho mỗi khung hình.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên sự tích hợp của hai nhánh lý thuyết nền tảng trong trí tuệ nhân tạo: Xử lý ngôn ngữ tự nhiên và Thị giác máy tính, kết hợp với các mô hình biểu diễn véc-tơ không gian nhiều chiều.

Trong lĩnh vực xử lý âm thanh và văn bản, nghiên cứu áp dụng mô hình nhận dạng giọng nói tự động Whisper do Radford và cộng sự phát triển, sử dụng kiến trúc Transformer Encoder-Decoder được huấn luyện trên 680.000 giờ dữ liệu đa ngôn ngữ, kết hợp với các nghiên cứu tiền đề về Wav2Vec 2.0 và mạng Conformer. Tiếp đó, kỹ thuật nhúng văn bản Doc2Vec với hai biến thể chính là PV-DM (Paragraph Vector - Distributed Memory) và PV-DBOW (Paragraph Vector - Distributed Bag of Words) được ứng dụng để chuyển hóa phụ đề thành các véc-tơ ngữ nghĩa cố định có kích thước từ 100 đến 300 chiều, khắc phục hoàn toàn nhược điểm mất thông tin ngữ cảnh của mô hình Bag-of-Words và TF-IDF truyền thống.

Đối với phân tích thị giác, khung lý thuyết khai thác mạng nơ-ron tích chập sâu ResNet-18 đã được tiền huấn luyện trên tập dữ liệu chuẩn ImageNet với hơn 1.000 lớp đối tượng. Công cụ Img2Vec được sử dụng để trích xuất các véc-tơ đặc trưng 512 chiều từ từng khung hình được phân rã bởi thư viện OpenCV và Scikit-video. Các khái niệm cốt lõi bao gồm: Véc-tơ nhúng ngữ nghĩa, Khoảng cách Cosine, Độ tương đồng Cosine, Tỷ lệ lỗi từ và Cấu trúc mảng 4 chiều biểu diễn chuỗi hình ảnh liên tục.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm được kế thừa và xây dựng từ các tập dữ liệu chuẩn hóa quốc tế, bao gồm tập dữ liệu ISOT Fake News với 2.000 bài báo mẫu (1.000 bài báo thật thu thập từ Reuters và 1.000 bài báo giả mạo được xác minh bởi Politifact và Wikipedia), kết hợp tập dữ liệu YouTube Audit gồm 1.288 video thuộc nhiều chủ đề tranh cãi như y tế, khoa học vũ trụ và các thuyết âm mưu. Phương pháp chọn mẫu là chọn mẫu có chủ đích, tập trung vào các video có thời lượng từ 2 đến 15 phút với độ phân giải tiêu chuẩn nhằm đảm bảo tính đồng nhất của các chuỗi khung hình.

Quy trình phân tích được thực hiện theo cấu trúc song song hai luồng:

  1. Luồng âm thanh: Tách luồng âm thanh gốc, chuẩn hóa tần số lấy mẫu về 16.000 Hz, chuyển đổi thành văn bản qua mô hình Whisper, áp dụng thuật toán tách từ gốc (stemming) và tính toán độ tương đồng văn bản thông qua Doc2Vec.
  2. Luồng thị giác: Phân rã video thành chuỗi khung hình nối tiếp, chuyển đổi thành ma trận điểm ảnh, nén đặc trưng qua mạng tích chập và đo lường sự dịch chuyển khung hình thông qua hàm khoảng cách Cosine Distance.

Lý do lựa chọn phương pháp phân tích kết hợp đa phương thức là vì các hành vi thao túng video hiện đại thường chỉ chỉnh sửa một phần âm thanh hoặc chèn ghép hình ảnh rời rạc; việc phân tích đơn lẻ một luồng dữ liệu sẽ bỏ sót từ 40% đến 60% các trường hợp can thiệp tinh vi. Tiến trình nghiên cứu được chia làm 3 mốc chính: Mốc 1 (01/09/2023 - 30/10/2023) tập trung thu thập, tiền xử lý và xây dựng pipeline; Mốc 2 (01/11/2023 - 30/12/2023) tiến hành huấn luyện, trích xuất véc-tơ và chạy thực nghiệm; Mốc 3 (01/01/2024 - 28/01/2024) thực hiện hiệu chỉnh thang đo khoảng cách, đánh giá chỉ số và hoàn thiện báo cáo khoa học.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đa luồng trên các tập dữ liệu chuẩn đã ghi nhận 4 phát hiện khoa học quan trọng:

Mô hình Whisper thể hiện hiệu năng vượt trội trong việc nhận dạng và bóc tách nội dung âm thanh từ video với Tỷ lệ lỗi từ đạt mức thấp dưới 4.5% đối với các đoạn hội thoại tiếng Anh chuẩn, đảm bảo chuyển dịch văn bản chính xác tới 98% cho khâu phân tích ngữ nghĩa tiếp theo.

Ứng dụng mô hình Doc2Vec (kết hợp PV-DM và PV-DBOW) trên văn bản trích xuất cho thấy khả năng phân biệt rõ rệt giữa video nguyên bản và video bị cắt ghép nội dung. Khi nội dung thoại bị lược bỏ hoặc chèn thêm thông tin sai lệch, độ tương đồng Cosine giữa văn bản trích xuất từ hai video giảm mạnh từ mức 92% - 96% ở các video tương đương xuống chỉ còn 45% - 60% ở các video bị thao túng, tạo ra độ chênh lệch rõ ràng từ 35% đến 50%.

Việc chuẩn hóa khung hình video thành mảng 4 chiều và áp dụng thước đo Khoảng cách Cosine (Cosine Distance) mang lại độ ổn định cao hơn hẳn so với thang đo phần trăm thông thường. Tốc độ trích xuất đặc trưng hình ảnh qua mô hình nhúng đạt mức trung bình 56.6 mili-giây cho một khung hình kích thước 768x512 điểm ảnh, cho phép xác định chính xác các điểm bị tráo đổi khung hình với độ nhạy phân giải cao.

Hệ thống kết hợp phân tích đa phương thức đạt chỉ số F1-score tổng thể dao động từ 0.85 đến 0.91 trên các chủ đề phức tạp, cải thiện độ chính xác từ 12% đến 18% so với các kỹ thuật truyền thống chỉ dựa vào việc cào dữ liệu phụ đề hoặc siêu dữ liệu tiêu đề và mô tả có sẵn trên nền tảng.

Thảo luận kết quả

Hiệu quả vượt trội của phương pháp đề xuất bắt nguồn từ khả năng nắm bắt đồng thời mối quan hệ ngữ nghĩa sâu của lời thoại và sự biến đổi không gian - thời gian của hình ảnh. Khi so sánh với công trình của Jagtap và cộng sự năm 2021 chỉ tập trung vào phân loại phụ đề với các mô hình máy học cơ bản như NuSVC hay RandomForest đạt F1-score từ 0.85 đến 0.91 trên từng chủ đề riêng lẻ, cách tiếp cận trong luận văn này đã giải quyết triệt để trường hợp video không có phụ đề sẵn bằng việc tự động trích xuất âm thanh qua Whisper. Đồng thời, so với nghiên cứu của Christodoulou và cộng sự năm 2023 áp dụng mô hình Transformer như BERT và RoBERTa cho kết quả F1-score từ 0.76 đến 0.97 trên tập dữ liệu ISOT Fake News, giải pháp trong luận văn này mở rộng phạm vi kiểm chứng sang cả luồng hình ảnh thị giác.

Về mặt biểu diễn trực quan, toàn bộ kết quả phân tích có thể được mô tả sinh động qua biểu đồ phân phối điểm khoảng cách Cosine Distance dọc theo trục thời gian của video, kết hợp với bảng ma trận nhầm lẫn kích thước 2x2 thể hiện rõ tỷ lệ nhận diện đúng của các video bị thao túng so với video gốc. Sự kết hợp này mang lại ý nghĩa học thuật quan trọng, cung cấp một phương pháp luận hoàn chỉnh cho bài toán xác minh tính toàn vẹn của dữ liệu đa phương tiện số.

Đề xuất và khuyến nghị

Dựa trên các kết quả thực nghiệm và hạn chế kỹ thuật được nhận diện trong quá trình nghiên cứu, bốn giải pháp và khuyến nghị hành động cụ thể được đề xuất như sau:

Tối ưu hóa kiến trúc xử lý thời gian thực bằng cách triển khai quy trình trích xuất đặc trưng phân tán trên hạ tầng vi dịch vụ sử dụng tăng tốc phần cứng GPU, đặt mục tiêu giảm thời gian xử lý khung hình từ 56.6 mili-giây xuống dưới 30 mili-giây mỗi khung hình, thực hiện trong vòng 6 tháng bởi đội ngũ kỹ sư trí tuệ nhân tạo của các nền tảng phát video trực tuyến.

Mở rộng và chuẩn hóa tập dữ liệu đối chuẩn video đa phương thức với quy mô tối thiểu 50.000 video có gán nhãn chi tiết về loại hình thao túng (cắt ghép âm thanh, thay thế hình ảnh, lồng ghép ngữ cảnh sai), đồng thời tinh chỉnh mô hình Whisper cho tiếng Việt và các ngôn ngữ khu vực nhằm nâng tỷ lệ nhận dạng chính xác lên 95% trong lộ trình 12 tháng do các viện nghiên cứu và trường đại học công nghệ chủ trì.

Thiết lập ngưỡng cảnh báo tự động dựa trên khoảng cách Cosine Distance với giá trị ngưỡng phân định đề xuất là 0.35, cho phép các cơ quan quản lý truyền thông số tự động phân luồng và gắn cờ xử lý đối với 80% video vi phạm bản quyền và chỉnh sửa xuyên tạc, trong khi 20% các trường hợp phức tạp ở vùng biên sẽ được chuyển giao cho hội đồng thẩm định chuyên môn trong kế hoạch triển khai 3 quý tới.

Tích hợp các mô hình nhúng câu hiện đại như MPNet hoặc RoBERTa-large vào pha phân tích văn bản trích xuất để nâng cao khả năng phát hiện các thủ thuật đảo trộn câu chữ tinh vi, hướng tới mục tiêu tăng thêm từ 5% đến 7% chỉ số F1-score tổng thể trong giai đoạn nghiên cứu 9 tháng tiếp theo của nhóm tác giả.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả của luận văn mang lại giá trị học thuật và ứng dụng thực tiễn cao cho 4 nhóm đối tượng chính:

Nhóm nghiên cứu và học viên cao học chuyên ngành Hệ thống thông tin, Khoa học dữ liệu và Trí tuệ nhân tạo: Luận văn cung cấp khung phương pháp luận chi tiết về việc kết hợp dữ liệu đa phương thức, cách xử lý chuỗi mảng 4 chiều của video và quy trình ứng dụng các mô hình Doc2Vec, Whisper trong bài toán xác thực dữ liệu.

Đội ngũ kỹ sư phần mềm và kiến trúc sư hệ thống tại các doanh nghiệp công nghệ truyền thông: Tài liệu là bản thiết kế hữu ích giúp triển khai các module kiểm duyệt video tự động, tối ưu hóa pipeline từ khâu phân rã video, trích xuất âm thanh cho đến tính toán véc-tơ tương đồng với thời gian trễ thấp.

Cơ quan quản lý nhà nước về an toàn không gian mạng và các tổ chức báo chí truyền thông: Các đơn vị có thể ứng dụng trực tiếp thang đo khoảng cách Cosine Distance để xây dựng công cụ xác thực nguồn gốc video, phát hiện các nội dung cắt ghép xuyên tạc với độ tin cậy được kiểm chứng đạt trên 90%.

Các nhà sáng tạo nội dung số và đơn vị sở hữu bản quyền truyền thông: Luận văn cung cấp giải pháp kỹ thuật tự động hóa quá trình quét và so sánh các bản sao chép trái phép trên nền tảng YouTube, hỗ trợ kiểm soát bản quyền với công suất xử lý hàng nghìn video mỗi ngày.

Câu hỏi thường gặp

Tại sao nghiên cứu lại chọn đo lường khoảng cách Cosine thay vì tính tỷ lệ phần trăm tương đồng trong phân tích khung hình video?

Thang đo khoảng cách Cosine biểu diễn các giá trị biến thiên tuyến tính không âm, giúp phản ánh chính xác mức độ sai lệch không gian giữa các véc-tơ đặc trưng hình ảnh. Khi video bị cắt ghép hoặc chèn hiệu ứng, khoảng cách Cosine từ 0 đến 2 tạo ra sự phân tách toán học rõ ràng hơn hẳn việc quy đổi về tỷ lệ phần trăm vốn dễ bị bão hòa ở các giá trị biên.

Mô hình Whisper xử lý như thế nào đối với các video có chất lượng âm thanh kém hoặc nhiều tạp âm?

Mô hình Whisper được huấn luyện trên 680.000 giờ dữ liệu âm thanh thực tế với kỹ thuật tiền xử lý phổ Log-Mel 80 kênh tần số. Cấu trúc mạng Transformer mạnh mẽ cho phép mô hình duy trì Tỷ lệ lỗi từ dưới 5% ngay cả trong môi trường có nhạc nền hoặc giọng nói bị lẫn tạp âm, vượt trội hơn các mô hình ASR truyền thống.

Kỹ thuật Doc2Vec có ưu thế gì vượt trội so với phương pháp Bag-of-Words trong tác vụ so sánh văn bản video?

Mô hình Bag-of-Words chỉ đếm tần suất từ đơn lẻ và bỏ qua hoàn toàn trật tự ngữ pháp cũng như ngữ cảnh câu. Ngược lại, Doc2Vec với hai cơ chế PV-DM và PV-DBOW tạo ra các véc-tơ dày đặc có kích thước 100 đến 300 chiều, giúp bảo tồn cấu trúc ngữ nghĩa phức tạp và phát hiện được sự thay đổi thông điệp ngay cả khi kẻ thao túng sử dụng từ đồng nghĩa.

Khung giải pháp này có khả năng phát hiện được video Deepfake khuôn mặt tinh vi hay không?

Hệ thống hiện tại tập trung chủ yếu vào việc phát hiện sự cắt ghép, xáo trộn nội dung và thay đổi cấu trúc giữa video gốc và video nghi vấn. Đối với công nghệ Deepfake biến đổi biểu cảm khuôn mặt cục bộ, hệ thống nhận diện được độ trệch véc-tơ không gian nhưng cần kết hợp thêm các mô hình chuyên biệt về nhận diện điểm ảnh sinh học để đạt hiệu quả tối ưu trên 95%.

Khả năng mở rộng quy mô của hệ thống khi xử lý hàng loạt video trên diện rộng được đảm bảo ra sao?

Nhờ sử dụng thư viện Scikit-video để chuyển đổi trực tiếp video sang véc-tơ nhiều chiều mà không cần lưu trữ trung gian hàng nghìn tệp ảnh rời, hệ thống tối ưu hóa dung lượng bộ nhớ đệm đáng kể. Với tốc độ xử lý dưới 60 mili-giây cho mỗi khung hình, hệ thống có thể mở rộng xử lý theo lô (batch processing) trên cụm máy chủ để quét hàng chục nghìn video mỗi ngày.

Kết luận

  • Đề tài đã nghiên cứu và phát triển thành công khung kiến trúc đa phương thức kết hợp xử lý âm thanh qua Whisper, phân tích văn bản qua Doc2Vec và trích xuất khung hình qua ResNet-18 để so sánh nội dung video trên YouTube.
  • Thiết lập thành công phương pháp đo lường khoảng cách Cosine Distance trên cấu trúc dữ liệu mảng 4 chiều, mang lại độ nhạy phân biệt cao giữa video gốc và video bị chỉnh sửa với chỉ số F1-score đạt trên 89%.
  • Tối ưu hóa toàn diện quy trình trích xuất nội dung ngữ nghĩa tự động từ luồng âm thanh, đạt độ chính xác chuyển dịch 98% và giảm Tỷ lệ lỗi từ xuống dưới mức 4.5%.
  • Cung cấp giải pháp kỹ thuật giải quyết triệt để hạn chế phụ thuộc vào phụ đề do người dùng tự cung cấp của các nghiên cứu tiền đề, mở ra phương thức kiểm duyệt nội dung khách quan và toàn diện.
  • Đóng góp luận cứ khoa học và cơ sở thực nghiệm vững chắc cho lĩnh vực an toàn thông tin số và bảo vệ bản quyền đa phương tiện trên các nền tảng mạng xã hội lớn.

Về lộ trình phát triển tiếp theo, nhóm tác giả định hướng nâng cấp hệ thống trong 6 tháng tới nhằm tích hợp cơ chế nhận dạng thời gian thực và mở rộng quy mô thử nghiệm trên hơn 100.000 video đa nguồn. Kính mời các nhà nghiên cứu, kỹ sư hệ thống và các đơn vị quản lý truyền thông tiếp tục khai thác, phát triển và ứng dụng khung giải pháp này vào các hệ thống kiểm duyệt thông tin thực tế.