Bối cảnh và vấn đề nghiên cứu

Sự phát triển của các nền tảng mạng xã hội đã thay đổi phương thức giao tiếp và hành vi tiêu dùng trên quy mô toàn cầu. Theo số liệu thống kê được ghi nhận trong đồ án, tính đến cuối năm 2021, mạng xã hội Facebook đã đạt hơn 2,8 tỷ người dùng hoạt động hàng tháng. Nền tảng này không chỉ đáp ứng nhu cầu kết nối cá nhân mà còn trở thành môi trường tương tác trực tuyến lớn, nơi các cá nhân chia sẻ ý kiến, đánh giá và mức độ quan tâm đối với các sản phẩm thương mại. Đối với các tổ chức và doanh nghiệp, việc thu thập và khai phá dữ liệu tương tác từ mạng xã hội đóng vai trò quan trọng trong việc thấu hiểu thị trường, tối ưu hóa các chiến dịch tiếp thị số và nâng cao tỷ lệ chuyển đổi.

Trong bối cảnh dữ liệu người dùng sinh ra liên tục với khối lượng lớn, việc áp dụng các mô hình dự đoán mức độ tương tác (User Engagement Prediction Model) đã trở thành giải pháp cốt lõi tại nhiều tập đoàn công nghệ như YouTube, Netflix, Amazon hay Tiki. Đề tài "Thống kê sự quan tâm của người dùng Facebook đối với một sản phẩm" do nhóm sinh viên Khoa Hệ thống Thông tin và Viễn thám, Trường Đại học Tài nguyên và Môi trường Thành phố Hồ Chí Minh thực hiện dưới sự hướng dẫn của ThS. Phạm Trọng Huynh, tập trung giải quyết bài toán phân tích các luồng tương tác số để đo lường phản hồi của người dùng đối với sản phẩm.

Về mục tiêu nghiên cứu, đề tài xác định 3 mục tiêu cụ thể:

  1. Xác định phương thức người dùng Facebook tương tác với các bài viết và nội dung quảng cáo liên quan đến sản phẩm.
  2. Phân tích dữ liệu định lượng bao gồm lượt thích (likes), bình luận (comments), chia sẻ (shares) và các chỉ số tương tác khác nhằm xác định mức độ quan tâm của cộng đồng.
  3. Xác định các yếu tố tác động đến sự quan tâm của người dùng, bao gồm thời điểm đăng bài, định dạng nội dung và nền tảng thiết bị truy cập.

Để hiện thực hóa các mục tiêu trên, nghiên cứu đặt ra 3 câu hỏi nghiên cứu trọng tâm:

  1. Làm thế nào để đo lường mức độ quan tâm của người dùng Facebook đối với sản phẩm?
  2. Những yếu tố nào ảnh hưởng trực tiếp đến hành vi tương tác của người dùng trên nền tảng Facebook?
  3. Phương thức nào giúp tối ưu hóa nội dung và chiến dịch quảng cáo nhằm tạo mức độ quan tâm cao từ phía người dùng?

Về phạm vi và đối tượng nghiên cứu, đề tài giới hạn không gian dữ liệu trên mạng xã hội Facebook trong một khung thời gian cụ thể (mẫu thử nghiệm 6 tháng), tập trung vào các nhóm người dùng có phát sinh tương tác đối với một sản phẩm hoặc danh mục sản phẩm nhất định.

Cơ sở lý thuyết và công nghệ áp dụng

Nghiên cứu xây dựng nền tảng dựa trên các khái niệm chuyên sâu về công nghệ dữ liệu lớn (Big Data), kỹ thuật xử lý phân tán và công cụ lưu trữ chỉ mục tốc độ cao.

+-------------------------------------------------------------------------+
|                  KHUNG CÔNG NGHỆ VÀ LÝ THUYẾT BIG DATA                  |
+------------------------------------+------------------------------------+
|  ĐẶC TRƯNG DỮ LIỆU LỚN (5Vs)       |  CÔNG CỤ & NỀN TẢNG XỬ LÝ          |
|  - Volume (Khối lượng quy mô lớn)  |  - Apache Spark (Core, SQL, MLlib) |
|  - Velocity (Tốc độ xử lý thực)    |  - Elasticsearch (Inverted Index)  |
|  - Variety (Đa dạng cấu trúc)      |  - Apache Hadoop (HDFS, YARN)      |
|  - Veracity (Tính xác thực)        |  - Apache Kafka (Message Streaming)|
|  - Value (Giá trị thông tin)       |  - Nguồn dữ liệu thực nghiệm Kaggle|
+------------------------------------+------------------------------------+

Khung lý thuyết dữ liệu lớn (Big Data)

Theo báo cáo năm 2001 của Doug Laney (META Group/Gartner) và định nghĩa cập nhật năm 2012 của Gartner, Big Data được xác định ban đầu thông qua mô hình 3Vs và sau đó mở rộng thành 5Vs:

  • Volume (Khối lượng): Quy mô dữ liệu vượt quá khả năng lưu trữ của các hệ thống quản trị cơ sở dữ liệu truyền thống. Văn bản viện dẫn các dẫn chứng thực tế như hệ thống kính viễn vọng Square Kilometer Array tạo ra 1 Exabyte/ngày, máy bay thương mại tạo ra 2,5 tỷ Terabyte/năm, hay Facebook xử lý hơn 50 tỷ hình ảnh.
  • Velocity (Tốc độ): Tốc độ dữ liệu được tạo ra và yêu cầu xử lý gần với thời gian thực (real-time). Các số liệu đối sánh bao gồm 100 giờ video tải lên YouTube mỗi phút, 200 triệu email gửi đi mỗi phút và 2,5 triệu lượt truy vấn Google mỗi phút.
  • Variety (Đa dạng): Dữ liệu tồn tại dưới nhiều định dạng từ có cấu trúc (RDBMS, SQL), bán cấu trúc (JSON) đến phi cấu trúc (văn bản bài viết, âm thanh, hình ảnh, video, lượt tương tác).
  • Veracity (Tính xác thực): Mức độ tin cậy và chính xác của dữ liệu, đòi hỏi các thuật toán loại bỏ nhiễu và dữ liệu giả mạo trên mạng xã hội.
  • Value (Giá trị): Khả năng chuyển hóa dữ liệu thô thành tri thức hỗ trợ ra quyết định kinh doanh.

Bên cạnh mô hình 5Vs, nghiên cứu đề cập đến hai khái niệm bổ trợ:

  • Machine Learning (Học máy): Nhánh kỹ thuật thuộc trí tuệ nhân tạo (AI) giúp máy tính học từ dữ liệu lịch sử để thực hiện các tác vụ dự đoán (prediction) và phân loại (classification).
  • Digital Footprint (Dấu chân kỹ thuật số): Dấu vết dữ liệu hành vi của người dùng để lại trong quá trình sử dụng Internet và mạng xã hội.

Hạ tầng và hệ sinh thái công nghệ

Đồ án tổng thuật chi tiết các công nghệ xử lý dữ liệu lớn được sử dụng trong bài toán:

  • Apache Hadoop: Hệ sinh thái tính toán phân tán bao gồm Hadoop Common, hệ thống tập tin phân tán HDFS, bộ điều phối tài nguyên Hadoop YARN và mô hình xử lý song song MapReduce.
  • Apache Spark: Nền tảng tính toán cụm trong bộ nhớ (in-memory computing) cho tốc độ xử lý nhanh hơn 100 lần trên RAM và nhanh hơn 10 lần trên đĩa so với Hadoop MapReduce. Spark gồm các thành phần: Spark Core (quản lý RDD - Resilient Distributed Datasets), Spark Streaming (xử lý dòng), Spark SQL (thao tác DataFrame có cấu trúc), Spark MLlib (thư viện học máy phân tán) và Spark GraphX (tính toán đồ thị).
  • Apache Kafka: Nền tảng phân tán phát trực tuyến sự kiện (event streaming) do LinkedIn phát triển năm 2011, viết bằng Java/Scala, có khả năng xử lý hàng nghìn tỷ bản ghi mỗi ngày với độ trễ tối thiểu.
  • Elasticsearch: Hệ thống tìm kiếm và phân tích phân tán phát triển bởi Shay Banon năm 2010 dựa trên Apache Lucene. Elasticsearch lưu trữ dữ liệu dạng JSON, sử dụng cấu trúc chỉ mục đảo (inverted index), vận hành qua RESTful API, tổ chức dữ liệu theo cơ chế Shard phân tán được quản lý bởi Master node.

Thiết kế và triển khai giải pháp

Đồ án tiếp cận bài toán xử lý dữ liệu bằng cách tham khảo mô hình giải pháp tích hợp giữa Apache Spark và Elasticsearch (dựa trên mô hình kiến trúc của IBM), kết hợp gói mở rộng elasticsearch-hadoop để liên kết tính toán phân tán với lập chỉ mục tìm kiếm song song.

Giai đoạn Công cụ / Kỹ thuật Nội dung thực hiện
1. Thu thập dữ liệu Kaggle Datasets Trích xuất tập dữ liệu mẫu chứa các trường thông tin tương tác Facebook
2. Tiền xử lý dữ liệu Spark DataFrame Làm sạch dữ liệu trùng lặp, lọc dữ liệu nhiễu, xử lý khuyết thiếu, chuẩn hóa định dạng
3. Lưu trữ & Chỉ mục Elasticsearch Cluster Nạp dữ liệu vào các Shard phân tán, thiết lập Inverted Index phục vụ truy vấn
4. Huấn luyện mô hình Spark MLlib Trích xuất vector đặc trưng, áp dụng thuật toán học máy phân tích tương tác
5. Truy vấn & Trực quan Elasticsearch Query & Custom Plugin Tìm kiếm song song, tính điểm vector xếp hạng, trực quan hóa mức độ quan tâm 
[Nguồn dữ liệu Kaggle / Facebook]

Quá trình thực nghiệm cài đặt hệ thống được triển khai trên cả hai môi trường:

  1. Môi trường máy chủ cục bộ (Host Local).
  2. Môi trường cụm phân tán quản lý bằng Apache Ambari.

Dữ liệu thực nghiệm được lấy từ nền tảng Kaggle, tập trung vào các trường thuộc tính phản ánh tương tác: bài viết, lượt thích, bình luận, lượt chia sẻ và các chỉ số phản hồi của người dùng. Dữ liệu sau khi làm sạch được chuyển đổi sang định dạng JSON để nạp vào Elasticsearch và tiến hành thống kê mô tả, phân tích tình cảm (sentiment analysis) nhằm phân loại phản hồi tích cực hoặc tiêu cực đối với sản phẩm.

Nội dung chính theo từng chương

Bố cục của đồ án được cấu trúc thành các nội dung chính theo mục lục văn bản:

1. Giới thiệu Big Data và các vấn đề liên quan

Chương này hệ thống hóa các định nghĩa lý thuyết về Big Data, phân tích chi tiết mô hình 5Vs (Volume, Velocity, Variety, Veracity, Value) cùng các khái niệm Machine Learning và Digital Footprint. Tác giả trình bày các phương pháp phân tích dữ liệu lớn gồm: Phân tích thăm dò, phân tích xác nhận, phân tích định lượng, phân tích định tính, phân tích tương quan, phân tích cụm (K-Means, Hierarchical clustering), phân tích chuỗi thời gian, phân tích văn bản, phân tích đồ thị và phân tích thời gian thực.

Đồng thời, đồ án khảo sát phạm vi ứng dụng của Big Data trong nhiều ngành kinh tế - xã hội như: Ngân hàng (chống gian lận, tối ưu vị trí chi nhánh), Giáo dục (bảo mật dữ liệu đào tạo), Bán lẻ (mô hình chi tiêu, quản lý chuỗi cung ứng), Y tế (hồ sơ bệnh án điện tử, giám sát dịch bệnh Covid-19, sốt xuất huyết), Truyền thông & Giải trí (mô hình nghiên cứu của Nick Couldry & Joseph Turow, đài truyền hình Channel 4 của Anh), Digital Marketing và Vận hành CNTT (ITOA với dẫn chứng từ eBay, Amazon, Facebook, Google).

2. Mục tiêu, câu hỏi và phương pháp nghiên cứu

Nội dung phần này thiết lập khung nghiên cứu khoa học cho đề tài: xác định mục tiêu đo lường mức độ quan tâm của người dùng mạng xã hội đối với sản phẩm; xây dựng hệ thống 3 câu hỏi nghiên cứu; định hình phương pháp tiếp cận thống kê kết hợp học máy và giới hạn phạm vi nghiên cứu thực nghiệm trong thời gian 6 tháng.

3. Kiến trúc công nghệ và Mô hình giải pháp

Trình bày chi tiết cơ sở kỹ thuật của các nền tảng Apache Kafka, Apache Spark (các module Core, Streaming, SQL, MLlib, GraphX và cơ chế quản lý bộ nhớ RDD) và Elasticsearch (cấu trúc Node Master, Shard, RESTful API). Tác giả mô tả chi tiết mô hình kiến trúc tham khảo từ IBM, minh họa luồng dữ liệu từ Spark DataFrame qua Spark MLlib, nạp vào Elasticsearch và sử dụng plugin tính điểm vector để trích xuất danh sách đề xuất.

4. Cài đặt thử nghiệm và Đánh giá kết quả

Mô tả quy trình thực nghiệm với tập dữ liệu Facebook thu thập từ Kaggle. Trình bày chi tiết các bước tiền xử lý (lọc trùng lặp, xử lý giá trị rỗng, chuẩn hóa), quy trình chạy thực nghiệm trên Spark và Elasticsearch, hiển thị kết quả phân tích thống kê tương tác, phân tích tình cảm của người dùng và đánh giá tính khả thi của mô hình.

Bảng phân công nhiệm vụ và kết quả tham gia của các thành viên nhóm nghiên cứu được ghi nhận cụ thể trong văn bản:

Thành viên thực hiện Mã số sinh viên Nhiệm vụ đảm nhiệm Kết quả đánh giá
Trần Minh Kỳ 1050080142 Tìm dữ liệu demo, thiết kế bài thuyết trình (PPT), thực hiện thực nghiệm demo Chuyên cần: 5/5 bài lab, vắng 0; Điểm tự đánh giá: 6.0/10
Võ Quốc Bảo 1050080128 Tìm tài liệu nội dung đề tài, tìm dữ liệu demo, xây dựng hệ thống demo Chuyên cần: 5/5 bài lab, vắng 0; Điểm tự đánh giá: 6.0/10
Nguyễn Thị Tú Nhi 1050080149 Xây dựng báo cáo Word và PPT, tìm nội dung demo, thực hiện thực nghiệm demo Chuyên cần: 5/5 bài lab, vắng 0; Điểm tự đánh giá: 6.0/10

Kết quả và đóng góp

Kết quả nghiên cứu chính

  1. Đo lường mức độ tương tác: Thực nghiệm đã thống kê và phân loại thành công các luồng tương tác của người dùng Facebook đối với sản phẩm thông qua các chỉ số định lượng (lượt thích, bình luận, chia sẻ) và chỉ số định tính (nội dung thảo luận, mức độ tích cực/tiêu cực).
  2. Xác định yếu tố ảnh hưởng: Kết quả thực nghiệm chỉ ra rằng nội dung bài đăng và cách thức tương tác trực tiếp là hai yếu tố then chốt chi phối sự quan tâm và tình cảm của người dùng đối với sản phẩm trên nền tảng số.
  3. Triển khai kỹ thuật: Cài đặt thành công cụm xử lý Spark và công cụ tìm kiếm Elasticsearch trên môi trường cục bộ và cụm quản lý bởi Ambari, kết nối luồng nạp và đánh chỉ mục dữ liệu thông qua elasticsearch-hadoop.

Đề xuất quy trình phát triển hệ thống

Dựa trên kết quả thử nghiệm, nhóm nghiên cứu đề xuất quy trình 7 bước chuẩn hóa để xây dựng hệ thống thống kê và dự đoán mức độ quan tâm của người dùng mạng xã hội:

  • Bước 1 (Thu thập dữ liệu): Thu thập đa nguồn từ bài viết, bình luận, tương tác và dữ liệu hồ sơ người dùng Facebook.
  • Bước 2 (Tiền xử lý): Làm sạch dữ liệu, khử nhiễu và chuẩn hóa các biến số.
  • Bước 3 (Áp dụng học máy): Khởi tạo các mô hình dự đoán dựa trên thuộc tính nội dung và hành vi tương tác.
  • Bước 4 (Thu thập dữ liệu click): Ghi nhận hành vi nhấp chuột (click stream) để nâng cao độ chính xác dự báo.
  • Bước 5 (Xây dựng tập huấn luyện): Sàng lọc và xếp hạng dữ liệu theo mức độ tương quan để tạo tập huấn luyện (training set).
  • Bước 6 (Trích xuất vector đặc trưng): Biểu diễn các thuộc tính bài viết và thông tin người dùng dưới dạng vector đặc trưng.
  • Bước 7 (Kiểm tra và đánh giá): Đo lường hiệu năng và độ chính xác của mô hình dự đoán.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của đề tài

  • Nguồn dữ liệu thực nghiệm chủ yếu dựa trên tập dữ liệu tĩnh tải về từ Kaggle, chưa thực hiện thu thập tự động theo thời gian thực trực tiếp từ API chính thức của Facebook do các rào cản về chính sách quyền riêng tư.
  • Quá trình phân tích còn dựa trên một số giả định đơn giản hóa và tập dữ liệu còn có những thiếu sót nhất định trong quá trình thu thập mẫu.

Hướng phát triển và nghiên cứu tương lai

Tác giả đề xuất 10 hướng mở rộng nghiên cứu trong tương lai:

  1. Phân tích chuỗi thời gian: Khảo sát biến động mức độ quan tâm theo mùa, sự kiện đặc biệt hoặc theo các khung giờ trong ngày.
  2. Phân tích nhân khẩu học đối tượng: Đánh giá sự khác biệt về mức độ quan tâm theo độ tuổi, giới tính, quốc gia và sở thích.
  3. Mở rộng mô hình học máy và AI: Triển khai các thuật toán học máy sâu để dự đoán tương tác dựa trên ngữ cảnh bài viết.
  4. Đo lường tương tác chuyên sâu: Đánh giá chi tiết tác động của từng loại hình phản hồi (đánh giá, bình luận dài, chia sẻ) đến uy tín sản phẩm.
  5. So sánh đa nền tảng: Mở rộng nghiên cứu đối sánh hành vi người dùng Facebook với Twitter, Instagram và LinkedIn.
  6. Phân tích tình cảm nâng cao: Ứng dụng xử lý ngôn ngữ tự nhiên (NLP) để phân loại sắc thái tình cảm chi tiết hơn.
  7. Phát triển mô hình dự đoán hành vi: Dự báo xác suất tương tác dựa trên lịch sử hoạt động cá nhân.
  8. Nghiên cứu tiếng gọi hồi đáp (Call-to-Action): Khảo sát phản ứng của người dùng đối với các thông điệp kêu gọi hành động.
  9. Nghiên cứu tương tác cộng đồng: Đo lường mức độ lan tỏa thông tin trong các hội nhóm (groups) và cộng đồng trực tuyến.
  10. Nhận định yếu tố ngoại cảnh: Phân tích mức độ tác động của ngân sách quảng cáo và các sự kiện truyền thông đến sự quan tâm của khách hàng.

Giá trị tham khảo

Đồ án học phần này cung cấp tài liệu tham khảo có giá trị chuyên môn đối với các đối tượng cụ thể:

  • Sinh viên ngành Công nghệ thông tin, Hệ thống thông tin và Khoa học dữ liệu: Tài liệu minh họa trực quan phương thức tích hợp giữa công cụ tính toán phân tán trong bộ nhớ (Apache Spark) và công cụ tìm kiếm chỉ mục phân tán (Elasticsearch) thông qua elasticsearch-hadoop.
  • Người nghiên cứu về khai phá dữ liệu mạng xã hội: Đồ án cung cấp bức tranh tổng quan về quy trình xử lý dữ liệu từ bước thu thập trên Kaggle, làm sạch, phân tích thống kê mô tả đến phân tích tình cảm.
  • Nhà tiếp thị số (Digital Marketers) và Quản trị doanh nghiệp: Phần cơ sở lý thuyết tổng hợp toàn diện các trường hợp ứng dụng Big Data trong nhiều ngành công nghiệp và dịch vụ, hỗ trợ định hướng chiến lược tiếp thị dựa trên dữ liệu.

Câu hỏi thường gặp

1. Đồ án sử dụng nguồn dữ liệu nào để thực hiện thử nghiệm?

Nhóm tác giả sử dụng tập dữ liệu trích xuất từ nền tảng khoa học dữ liệu Kaggle. Tập dữ liệu này chứa các thông số về bài viết, lượt thích, bình luận và chia sẻ của người dùng trên nền tảng Facebook, đóng vai trò làm dữ liệu mẫu để chạy thử nghiệm các tác vụ làm sạch, thống kê và phân tích tình cảm.

2. Mô hình 5Vs của Big Data được đồ án trình bày gồm những yếu tố nào?

Đồ án trình bày mô hình 5Vs bao gồm: Volume (Khối lượng kích thước lớn), Velocity (Tốc độ tạo và xử lý dữ liệu nhanh/thời gian thực), Variety (Đa dạng định dạng có cấu trúc, bán cấu trúc và phi cấu trúc), Veracity (Tính xác thực và độ tin cậy của dữ liệu) và Value (Giá trị thông tin mang lại cho việc ra quyết định).

3. Tại sao Apache Spark được đánh giá tối ưu hơn Hadoop MapReduce trong xử lý dữ liệu?

Theo phân tích trong đồ án, Apache Spark xử lý dữ liệu dựa trên cơ chế tính toán trong bộ nhớ RAM (In-memory computing) với cấu trúc RDD phân tán, giúp giảm thiểu tối đa các thao tác đọc/ghi trung gian lên đĩa cứng. Nhờ đó, Spark đạt tốc độ xử lý nhanh hơn tới 100 lần khi chạy trên RAM và nhanh hơn 10 lần khi chạy trên ổ cứng so với Hadoop MapReduce truyền thống.

4. Đồ án đề cập đến những công nghệ và module cụ thể nào trong hệ sinh thái Big Data?

Văn bản trình bày chi tiết các công nghệ: Apache Hadoop (HDFS, YARN, MapReduce, Common), Apache Spark (gồm 5 thành phần: Spark Core/RDD, Spark Streaming, Spark SQL/DataFrame, Spark MLlib, Spark GraphX), Apache Kafka, hệ thống tìm kiếm phân tán Elasticsearch (cùng ngăn xếp ELK: Elasticsearch, Logstash, Kibana) và phần mở rộng elasticsearch-hadoop.

5. Hệ thống dự đoán sự quan tâm của người dùng được tác giả đề xuất gồm những bước nào?

Quy trình đề xuất gồm 7 bước: (1) Thu thập dữ liệu từ nhiều nguồn Facebook, (2) Tiền xử lý và làm sạch dữ liệu, (3) Áp dụng các mô hình học máy, (4) Thu thập dữ liệu click và tương tác, (5) Xây dựng bộ dữ liệu huấn luyện, (6) Trích xuất vector đặc trưng, và (7) Kiểm tra, đánh giá mô hình dự đoán.

Kết luận

Đồ án "Thống kê sự quan tâm của người dùng Facebook đối với một sản phẩm" đã hệ thống hóa cơ sở lý thuyết về Big Data, phân tích các đặc trưng 5Vs và khảo sát các mô hình tính toán phân tán hiện đại. Bằng việc kết hợp kiến trúc xử lý của Apache Spark và công cụ lưu trữ chỉ mục Elasticsearch, nhóm nghiên cứu đã thử nghiệm thành công quy trình phân tích dữ liệu tương tác người dùng trên tập dữ liệu mạng xã hội. Kết quả của đề tài đóng vai trò là tài liệu học tập và thực hành kỹ thuật, đồng thời mở ra khung quy trình chuẩn hóa phục vụ các bài toán phân tích hành vi người dùng trong môi trường số.