Phân Tích Xu Hướng Tìm Kiếm Người Dùng Qua Tiêu Đề Bài Báo Với Google Trends API và Học Máy

Tóm tắt nghiên cứu (200-250 từ)

Nghiên cứu tập trung giải quyết câu hỏi cốt lõi: Làm thế nào để tự động thu thập, trích xuất đặc trưng ngữ nghĩa và phân cụm chính xác các xu hướng tìm kiếm của người dùng theo thời gian thực dựa trên tiêu đề bài báo? Nhóm tác giả đã phát triển một quy trình khoa học dữ liệu khép kín (end-to-end pipeline) nhằm khai thác dữ liệu từ công cụ Google Trends tại thị trường Việt Nam kết hợp cùng kỹ thuật tự động hóa thu thập tin tức qua Selenium.

Về mặt phương pháp luận, nghiên cứu đã tiến hành khảo sát thực nghiệm toàn diện từ các mô hình học máy có giám sát truyền thống (Logistic Regression, Random Forest, Neural Network) đến các kiến trúc học sâu và học không giám sát hiện đại. Điểm đột phá của quy trình nằm ở việc kết hợp mô hình ngôn ngữ Sentence-BERT (all-mpnet-base-v2) để tạo vector nhúng ngữ nghĩa (embeddings) 768 chiều, kỹ thuật giảm chiều dữ liệu PCA, và thuật toán phân cụm mật độ phân cấp HDBSCAN, kết hợp cùng mô hình ngôn ngữ lớn LLaMA-3-8B để tự động đặt tên chủ đề cho từng cụm dữ liệu.

Kết quả thực nghiệm chỉ ra rằng các mô hình phân loại truyền thống gặp hạn chế lớn trước sự biến đổi nhanh và phi cấu trúc của dữ liệu xu hướng. Ngược lại, pipeline kết hợp SBERT + HDBSCAN + LLaMA-3 đạt hiệu quả phân cụm vượt trội, phân tách rành mạch các nhóm chủ đề thời sự, giải trí, thể thao và công nghệ mà không cần định trước số lượng cụm. Nghiên cứu mang lại ý nghĩa thực tiễn to lớn trong việc tối ưu hóa chiến lược nội dung cho tòa soạn, hỗ trợ các chiến dịch Digital Marketing và nâng cao hiệu quả của các hệ thống gợi ý tin tức cá nhân hóa.

Bối cảnh và tầm quan trọng (300-350 từ)

Trong kỷ nguyên bùng nổ thông tin và chuyển đổi số, hành vi tìm kiếm trực tuyến của người dùng đóng vai trò như một "hàn thử biểu" phản ánh tức thời mối quan tâm, nhận thức và nhu cầu của xã hội. Google Trends là một trong những nguồn tài nguyên dữ liệu công khai giá trị nhất thế giới, cung cấp các chỉ số chi tiết về mức độ quan tâm theo thời gian (Interest over time), phân bố địa lý (Interest by region) và các cụm từ khóa đột biến (Trending Searches). Tuy nhiên, việc khai thác nguồn dữ liệu này trong thực tế vẫn đối mặt với nhiều rào cản kỹ thuật.

Phần lớn các nghiên cứu và ứng dụng hiện nay chỉ dừng lại ở việc trích xuất các biểu đồ đơn lẻ hoặc phân tích thống kê mô tả cơ bản. Thiếu vắng những hệ thống tích hợp có khả năng liên kết dữ liệu từ khóa xu hướng với nội dung bài báo thực tế trên các phương tiện truyền thông trực tuyến. Khoảng trống nghiên cứu (research gap) lớn nhất nằm ở việc xử lý dữ liệu văn bản ngắn (short text) từ tiêu đề bài báo và từ khóa tìm kiếm – loại dữ liệu thường có tính đa nghĩa, cấu trúc ngữ pháp không hoàn chỉnh và thay đổi liên tục theo từng giờ. Các thuật toán phân cụm truyền thống như K-Means thường bộc lộ yếu điểm khi phải xác định trước số cụm $k$ và rất nhạy cảm với dữ liệu nhiễu (noise).

Nghiên cứu này được thực hiện kịp thời nhằm cung cấp một giải pháp kiến trúc dữ liệu hoàn chỉnh, giải quyết bài toán liên kết giữa hành vi tìm kiếm của người dùng và luồng thông tin báo chí. Ý nghĩa của đề tài không chỉ giới hạn ở khía cạnh học thuật về xử lý ngôn ngữ tự nhiên (NLP) tiếng Việt và phân cụm không gian mật độ cao, mà còn tạo ra tác động trực tiếp đến ngành truyền thông, tiếp thị kỹ thuật số và quản trị thông tin mạng, giúp các tổ chức nắm bắt và định hướng luồng dư luận một cách chủ động, khoa học.

Methodology và approach (350-400 từ)

Nghiên cứu áp dụng quy trình thực nghiệm nghiêm ngặt trải dài qua các giai đoạn: thu thập, làm sạch, tiền xử lý, thử nghiệm mô hình hóa và lưu trữ dữ liệu.

[Google Trends (pytrends)] + [Tin tức (Selenium)]
[Tiền xử lý: Lọc trùng (Cosine TF-IDF) + Xóa Outliers (Z-score) + Min-Max Scaling]
       [Trích xuất Vector ngữ nghĩa SBERT (all-mpnet-base-v2)]
            [Giảm chiều không gian (PCA)]
       [Phân cụm mật độ tự động lọc nhiễu (HDBSCAN)]
   [Định danh & Gán nhãn cụm tự động bằng LLM (LLaMA-3-8B)]
          [Lưu trữ bán cấu trúc trên MongoDB]

1. Thu thập dữ liệu (Data Collection)

  • Google Trends API (pytrends): Tự động truy xuất các từ khóa thịnh hành tại thị trường Việt Nam theo các khung thời gian 7 ngày, kèm lượng tìm kiếm và vị trí địa lý.
  • Web Scraping (Selenium): Tự động mô phỏng trình duyệt để thu thập tiêu đề, nội dung tóm tắt, liên kết và ngày xuất bản của các bài báo tương ứng với từ khóa.

2. Tiền xử lý dữ liệu (Data Preprocessing)

  • Chuẩn hóa văn bản: Chuyển đổi chữ thường, loại bỏ ký tự đặc biệt và danh sách stopwords tiếng Việt.
  • Khử trùng lặp ngữ nghĩa: Sử dụng ma trận TF-IDF kết hợp tính toán Cosine Similarity với ngưỡng cắt (threshold) $> 0.8$ để loại bỏ các tiêu đề trùng lặp.
  • Xử lý giá trị ngoại lai (Outlier Detection): Ứng dụng phương pháp Z-score ($|Z| > 3$) trên trường số lượng tìm kiếm để loại bỏ các biến động bất thường gây sai lệch phân phối.
  • Chuẩn hóa thang đo: Áp dụng Min-Max Normalization đưa số lượng tìm kiếm về khoảng $[0, 1]$.

3. Phương pháp phân tích và mô hình hóa (Modeling Techniques)

  • Thử nghiệm đối sánh: Nhóm tác giả kiểm thử các mô hình học máy có giám sát gồm Logistic Regression, Random Forest, Linear Regression và Multi-layer Perceptron (Neural Network) thông qua nền tảng Orange Data Mining để đánh giá tính khả thi của việc phân loại chủ đề dựa trên đặc trưng số lượng tìm kiếm.
  • Pipeline nâng cao:
    1. Sentence Embedding: Triển khai mô hình all-mpnet-base-v2 thuộc họ Sentence-BERT, kết hợp cơ chế Masked Language Model (MLM) và Permuted Language Model (PLM) để ánh xạ tiêu đề thành vector ngữ cảnh 768 chiều.
    2. Giảm chiều dữ liệu: Sử dụng PCA (Principal Component Analysis) để tối ưu hóa không gian vector, giữ lại lượng phương sai tối đa trước khi đưa vào phân cụm.
    3. Phân cụm HDBSCAN: Sử dụng khoảng cách Euclidean với siêu tham số min_cluster_size = 8 để gom cụm linh hoạt theo mật độ và tách biệt dữ liệu nhiễu.
    4. Gán nhãn tự động: Tích hợp mô hình ngôn ngữ lớn unsloth/llama-3-8b-Instruct-bnb-4bit để tóm tắt nội dung các tiêu đề trong cụm và sinh tên chủ đề tự động.
  • Lưu trữ: Toàn bộ dữ liệu thô, vector và nhãn phân cụm được lưu trữ trên cơ sở dữ liệu phi quan hệ MongoDB, tối ưu cho cấu trúc JSON/BSON linh hoạt.

Phát hiện chính (400-450 từ)

Quá trình nghiên cứu và thực nghiệm đã mang lại 4 phát hiện quan trọng có giá trị khoa học và ứng dụng thực tiễn cao:

1. Sự thất bại của các mô hình học máy có giám sát truyền thống trên dữ liệu xu hướng

Khi thử nghiệm phân loại nhãn chủ đề bằng các thuật toán truyền thống trên môi trường Orange Data Mining, kết quả cho thấy hiệu suất rất hạn chế:

  • Logistic Regression: Đạt chỉ số diện tích dưới đường cong ROC (AUC) chỉ $0.575$, độ chính xác phân loại ($CA$) đạt $0.29$, và $F1\text{-score} \approx 0.3$. Giá trị Precision thấp ($17.8%$) cùng Recall ($29%$) chứng minh mô hình tạo ra nhiều dương tính giả (False Positives) và bỏ sót phần lớn dữ liệu thực tế.
  • Linear Regression & Random Forest: Dù sai số tuyệt đối trung bình ($MAE$) và sai số bình phương trung bình ($MSE$) nhỏ do dữ liệu đã chuẩn hóa, chỉ số $R^2 < 0$ khẳng định mô hình hoàn toàn không giải thích được sự biến thiên của dữ liệu.
  • Neural Network: Dù mạng nơ-ron nhiều lớp đạt độ chính xác cao trên tập huấn luyện nhỏ (chỉ sai 6/476 nhãn), việc thay đổi hàm kích hoạt (Logistic, ReLU, Identity) hay bộ tối ưu Solver (L-BFGS, Adam) trên các kiến trúc từ 1 đến 8 lớp ẩn không tạo ra sự cải thiện mang tính tổng quát, đồng thời tiêu tốn tài nguyên tính toán lớn.
Bảng so sánh hiệu suất phân loại giữa các mô hình có giám sát truyền thống:

2. SBERT vượt trội trong việc mã hóa ngữ nghĩa văn bản ngắn

Các phương pháp trích xuất đặc trưng truyền thống dựa trên tần suất từ (Bag-of-Words, TF-IDF) thất bại trong việc nắm bắt mối liên hệ giữa các tiêu đề bài báo ngắn có cách diễn đạt khác nhau nhưng cùng một sự kiện. Mô hình all-mpnet-base-v2 của SBERT chứng minh khả năng vượt trội trong việc biểu diễn mối quan hệ ngữ cảnh hai chiều (bidirectional context), giúp các tiêu đề như "Man Utd đấu với Twente" và "Tottenham đấu với Qarabag" được định vị gần nhau trong không gian vector thể thao.

3. Tính ưu việt của HDBSCAN so với các giải pháp phân cụm cổ điển

HDBSCAN đã chứng minh sự thích ứng hoàn hảo với bài toán xu hướng tìm kiếm:

  • Tự động nhận diện cấu trúc cụm có mật độ biến thiên mà không cần chỉ định trước số lượng cụm $k$ (điều bất khả thi trong luồng tin tức thực tế).
  • Cô lập triệt để các từ khóa dị biệt, từ khóa rác dưới dạng điểm nhiễu (noise points), ngăn chặn việc làm sai lệch trọng tâm của các cụm chủ đề chính.

4. Khả năng tự động hóa định danh cụm bằng LLM

Việc kết hợp mô hình ngôn ngữ LLaMA-3-8B (4-bit quantized) ở giai đoạn cuối giải quyết triệt để bài toán "hộp đen" trong phân cụm. Thay vì chỉ hiển thị các mã số cụm (Cluster ID) trừu tượng, hệ thống đã tự động gán nhãn ngữ nghĩa chính xác cho từng cụm như: "Bóng đá Ngoại hạng Anh & Cúp Châu Âu", "Sự kiện âm nhạc Concert Anh Trai Say Hi", "Thị trường công nghệ & Thiết bị di động mới".

Đóng góp khoa học (250-300 từ)

Nghiên cứu mang lại những đóng góp rõ nét trên cả ba phương diện: lý thuyết, phương pháp luận và ứng dụng thực tiễn:

  • Đóng góp lý thuyết (Theoretical Contributions): Nghiên cứu củng cố luận điểm khoa học rằng dữ liệu xu hướng tìm kiếm trực tuyến là dữ liệu phi cấu trúc, mất cân bằng và biến đổi liên tục, do đó không phù hợp với các mô hình phân loại có giám sát tĩnh. Công trình khẳng định ưu thế của lý thuyết biểu diễn ngữ nghĩa liên tục (dense semantic representations) trong việc phân tích hành vi người dùng.
  • Đổi mới phương pháp luận (Methodological Innovations): Đề xuất thành công một kiến trúc pipeline tích hợp đa tầng: thu thập dữ liệu lai (pytrends + Selenium) $\rightarrow$ tiền xử lý thống kê nâng cao (Z-score + Cosine TF-IDF) $\rightarrow$ nhúng ngữ nghĩa sâu SBERT $\rightarrow$ giảm chiều PCA $\rightarrow$ phân cụm mật độ phân cấp HDBSCAN $\rightarrow$ định danh tự động bằng Generative LLM.
  • Ứng dụng thực tiễn (Practical Applications): Xây dựng nền tảng hoàn chỉnh có khả năng ứng dụng trực tiếp vào các hệ thống quản trị nội dung (CMS) của tòa soạn báo điện tử, công cụ phân tích từ khóa thời gian thực cho chuyên viên SEO/Marketing, và hệ thống cảnh báo sớm xu hướng tiêu dùng cho doanh nghiệp.

Đối tượng quan tâm (200-250 từ)

Công trình nghiên cứu này mang lại giá trị thiết thực cho nhiều nhóm đối tượng chuyên môn:

  • Nhà nghiên cứu Khoa học dữ liệu & NLP (Academic Researchers): Tài liệu tham khảo hữu ích về quy trình xử lý văn bản tiếng Việt ngắn, phương pháp kết hợp giữa Sentence Embeddings và thuật toán phân cụm mật độ cao, cũng như cách ứng dụng LLM trong bài toán gán nhãn không giám sát.
  • Chuyên gia SEO & Digital Marketer: Nắm bắt chính xác các cụm chủ đề đang thu hút lượng tìm kiếm đột biến, hiểu rõ mối quan hệ giữa các từ khóa liên quan để xây dựng chiến lược Topic Cluster và sáng tạo nội dung đón đầu xu hướng.
  • Ban biên tập & Tòa soạn báo điện tử: Tự động hóa quy trình theo dõi thị hiếu độc giả, phát hiện nhanh các chủ đề thời sự "nóng" để phân bổ phóng viên tác nghiệp kịp thời, nâng cao tỷ lệ tương tác (CTR) của bài viết.
  • Kỹ sư phát triển hệ thống gợi ý (Recommendation Engineers): Tận dụng cấu trúc phân cụm và cơ sở dữ liệu MongoDB để tối ưu hóa thuật toán gợi ý tin tức cá nhân hóa dựa trên độ tương đồng ngữ nghĩa.

Câu hỏi thường gặp (FAQ) (250-300 từ)

1. Phát hiện quan trọng nhất của nghiên cứu này là gì?

Phát hiện cốt lõi là việc chứng minh các mô hình phân loại học máy truyền thống không hiệu quả với dữ liệu xu hướng tìm kiếm biến động nhanh, trong khi sự kết hợp giữa SBERT (all-mpnet-base-v2) + HDBSCAN + LLaMA-3 tạo ra giải pháp phân cụm và tự động định danh chủ đề hoàn toàn tự động với độ chính xác cao.

2. Điểm đặc biệt trong phương pháp luận của nhóm tác giả là gì?

Điểm sáng tạo nằm ở pipeline tích hợp từ khâu cào dữ liệu lai (pytrends + Selenium) đến tầng phân tích sâu: sử dụng Z-score lọc ngoại lai khối lượng tìm kiếm, SBERT bảo toàn ngữ cảnh ngữ nghĩa 768 chiều, HDBSCAN tự động loại bỏ nhiễu và LLM LLaMA-3 đóng vai trò "thông dịch viên" gán nhãn ngôn ngữ tự nhiên cho các cụm dữ liệu.

3. Kết quả nghiên cứu có khả năng tổng quát hóa (generalize) không?

Có. Quy trình này có thể dễ dàng áp dụng cho các quốc gia hoặc ngôn ngữ khác nhau bằng cách cấu hình lại tham số vùng địa lý trên Google Trends và tích hợp mô hình ngôn ngữ đa ngữ (Multilingual Sentence-BERT).

4. Cơ sở dữ liệu MongoDB đóng vai trò gì trong hệ thống?

MongoDB với kiến trúc NoSQL hướng tài liệu (BSON/JSON) giúp lưu trữ linh hoạt dữ liệu bán cấu trúc gồm các trường đa dạng (từ khóa, chỉ số tìm kiếm, liên kết bài báo, vector nhúng, nhãn cụm) mà không bị gò bó bởi lược đồ bảng (schema) cố định của SQL truyền thống.

5. Những bước phát triển tiếp theo (next steps) của đề tài là gì?

Các hướng đi tiếp theo bao gồm: xây dựng luồng dữ liệu thời gian thực (streaming data pipeline), tích hợp mô hình phân tích sắc thái cảm xúc (Sentiment Analysis) của người dùng đối với từng xu hướng, và phát triển giao diện người dùng tương tác trực quan (Interactive Dashboard).

Kết luận (150 từ)

Báo cáo dự án "Phân cụm xu hướng tìm kiếm của người dùng theo tiêu đề bài báo với Google Trends API for Python" của nhóm nghiên cứu đã xây dựng thành công một khung giải pháp toàn diện, khoa học và có tính ứng dụng thực tế cao. Bằng việc chuyển dịch phương pháp tiếp cận từ học máy có giám sát cứng nhắc sang mô hình nhúng ngữ nghĩa sâu SBERT kết hợp cùng thuật toán phân cụm mật độ HDBSCAN và LLM LLaMA-3, nghiên cứu đã giải quyết triệt để thách thức trong việc phân tích dữ liệu xu hướng tìm kiếm phi cấu trúc.

Đây là tiền đề kỹ thuật vững chắc để phát triển các hệ thống giám sát truyền thông thông minh, tối ưu hóa công cụ tìm kiếm và cá nhân hóa trải nghiệm người dùng trong tương lai. Các tổ chức truyền thông và doanh nghiệp có thể áp dụng trực tiếp kiến trúc này để nâng cao năng lực cạnh tranh trong kỷ nguyên dữ liệu số.