Nghiên Cứu Phương Pháp Thu Thập Dữ Liệu Trong Khai Phá Mạng Xã Hội

Nghiên cứu phương pháp thu thập dữ liệu trong khai phá mạng xã hội giúp tối ưu hóa quy trình phân tích và hiểu biết về hành vi người dùng.

• Tác giả: Đỗ Huyền Trang
• Người hướng dẫn: TS. Đinh Trọng Hiếu
• Trường học: Học viện Ngân hàng
• Chuyên ngành: Hệ thống thông tin quản lý
• Đề tài: Nghiên Cứu Phương Pháp Thu Thập Dữ Liệu Trong Khai Phá Mạng Xã Hội
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2017
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM KẾT
• NHẬN XÉT (Của giáo viên hƣớng dẫn)
• 1. CHƯƠNG I: NỀN TẢNG LÝ THUYẾT VỀ KHAI PHÁ MẠNG XÃ HỘI
• 1.1. Mạng xã hội – kho dữ liệu tiềm năng cho ngành nghiên cứu và phân tích dữ liệu
• 1.1.1. Khái niệm mạng xã hội và truyền thông xã hội
• 1.1.1.1. Mạng xã hội
• 1.1.1.2. Truyền thông xã hội
• 1.1.2. Ảnh hưởng của mạng xã hội tới thế giới thực
• 1.1.3. Nền tảng lý thuyết về khai phá mạng xã hội
• 1.1.4. Khai phá mạng xã hội là gì?
• 1.1.5. Quy trình khai phá mạng xã hội
• 1.1.6. Các phương pháp nghiên cứu của khai phá mạng xã hội
• 1.1.7. Các kỹ thuật phân tích mạng xã hội và ứng dụng trong thực tế. Thách thức của khai phá mạng xã hội
• 2. CHƯƠNG II: NGHIÊN CỨU PHƢƠNG PHÁP THU THẬP DỮ LIỆU TRÊN MẠNG XÃ HỘI
• 2.1. Tổng quan về dữ liệu mạng xã hội
• 2.2. Đặc điểm của dữ liệu mạng xã hội
• 2.3. Dữ liệu mạng xã hội và big data
• 2.4. Phƣơng pháp thu thập dữ liệu trên Internet
• 2.5. Thu thập dữ liệu bằng cổng giao diện lập trình – API
• 2.6. Thu thập dữ liệu theo trang sử dụng Web Scraper
• 2.7. Phƣơng pháp thu thập dữ liệu từ Twitter
• 2.7.1. Giới thiệu tổng quan về Twitter
• 2.7.2. Thu thập dữ liệu trên Twitter
• 2.8. Phƣơng pháp thu thập dữ liệu từ Facebook
• 2.8.1. Giới thiệu tổng quan về Facebook
• 2.8.2. Thu thập dữ liệu trên Facebook
• 3. CHƯƠNG III: THỰC NGHIỆM THU THẬP DỮ LIỆU MẠNG XÃ HỘI VÀ ĐÁNH GIÁ KẾT QUẢ
• 3.1. Hƣớng tiếp cận thực nghiệm
• 3.2. Sử dụng ngôn ngữ lập trình Python để xây dựng các chương trình thu thập dữ liệu mạng xã hội
• 3.3. Sử dụng SQLite để lưu trữ dữ liệu
• 3.4. Trực quan hóa dữ liệu trả về thông qua Tableau
• 3.5. Thực nghiệm thu thập dữ liệu trên Twitter
• 3.5.1. Thu thập dữ liệu người dùng sử dụng REST API của Twitter
• 3.5.2. Thu thập dữ liệu tweet sử dụng Search API của Twitter
• 3.5.3. Thu thập dữ liệu tweet sử dụng Streaming API của Twitter
• 3.5.4. Đánh giá chung về ứng dụng của thu thập dữ liệu mạng xã hội trên Twitter
• 3.6. Thực nghiệm thu thập dữ liệu mạng xã hội trên Facebook
• 3.7. Kết luận thực nghiệm
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về Nghiên Cứu Phương Pháp Thu Thập Dữ Liệu Từ Mạng Xã Hội

Nghiên cứu phương pháp thu thập dữ liệu từ mạng xã hội đang trở thành một lĩnh vực quan trọng trong phân tích dữ liệu. Mạng xã hội cung cấp một nguồn dữ liệu phong phú, giúp các nhà nghiên cứu hiểu rõ hơn về hành vi người dùng. Việc thu thập và phân tích dữ liệu này không chỉ hỗ trợ trong việc ra quyết định mà còn giúp phát triển các chiến lược kinh doanh hiệu quả.

1.1. Khái niệm và tầm quan trọng của dữ liệu mạng xã hội

Dữ liệu mạng xã hội bao gồm thông tin từ các nền tảng như Facebook, Twitter, và Instagram. Những dữ liệu này có thể được sử dụng để phân tích hành vi người dùng, xu hướng tiêu dùng và các vấn đề xã hội. Việc hiểu rõ về dữ liệu này giúp các tổ chức tối ưu hóa chiến lược tiếp thị và cải thiện dịch vụ.

1.2. Các loại dữ liệu thu thập từ mạng xã hội

Dữ liệu thu thập từ mạng xã hội có thể chia thành nhiều loại, bao gồm dữ liệu văn bản, hình ảnh, video và tương tác của người dùng. Mỗi loại dữ liệu mang lại những thông tin khác nhau, từ đó giúp các nhà nghiên cứu có cái nhìn toàn diện hơn về hành vi người dùng.

II. Thách thức trong Nghiên Cứu Phương Pháp Thu Thập Dữ Liệu Từ Mạng Xã Hội

Mặc dù việc thu thập dữ liệu từ mạng xã hội mang lại nhiều lợi ích, nhưng cũng tồn tại nhiều thách thức. Các vấn đề về quyền riêng tư, độ tin cậy của dữ liệu và sự thay đổi liên tục của các thuật toán mạng xã hội là những yếu tố cần được xem xét kỹ lưỡng.

2.1. Quyền riêng tư và bảo mật dữ liệu

Quyền riêng tư là một trong những vấn đề lớn nhất khi thu thập dữ liệu từ mạng xã hội. Các nhà nghiên cứu cần đảm bảo rằng dữ liệu được thu thập và sử dụng một cách hợp pháp, đồng thời bảo vệ thông tin cá nhân của người dùng.

2.2. Độ tin cậy của dữ liệu thu thập

Độ tin cậy của dữ liệu thu thập từ mạng xã hội có thể bị ảnh hưởng bởi nhiều yếu tố, bao gồm sự giả mạo thông tin và các tài khoản ảo. Việc xác minh nguồn gốc và tính chính xác của dữ liệu là rất quan trọng để đảm bảo kết quả nghiên cứu.

III. Phương Pháp Thu Thập Dữ Liệu Từ Mạng Xã Hội Hiệu Quả

Có nhiều phương pháp để thu thập dữ liệu từ mạng xã hội, bao gồm sử dụng API, web scraping và các công cụ phân tích dữ liệu. Mỗi phương pháp có ưu điểm và nhược điểm riêng, và việc lựa chọn phương pháp phù hợp là rất quan trọng.

3.1. Sử dụng API để thu thập dữ liệu

API (Application Programming Interface) cho phép các nhà phát triển truy cập dữ liệu từ mạng xã hội một cách dễ dàng và hiệu quả. Việc sử dụng API giúp đảm bảo tính hợp pháp và độ tin cậy của dữ liệu thu thập.

3.2. Web Scraping như một phương pháp thu thập dữ liệu

Web scraping là kỹ thuật thu thập dữ liệu từ các trang web bằng cách tự động hóa quá trình truy cập và trích xuất thông tin. Phương pháp này có thể thu thập dữ liệu từ các nguồn không cung cấp API, nhưng cần chú ý đến các quy định về quyền riêng tư.

IV. Ứng Dụng Thực Tiễn Của Dữ Liệu Mạng Xã Hội Trong Nghiên Cứu

Dữ liệu từ mạng xã hội có thể được ứng dụng trong nhiều lĩnh vực khác nhau, từ marketing đến nghiên cứu xã hội. Việc phân tích dữ liệu này giúp các tổ chức hiểu rõ hơn về nhu cầu và hành vi của khách hàng.

4.1. Phân tích hành vi người dùng trên mạng xã hội

Phân tích hành vi người dùng giúp các doanh nghiệp điều chỉnh chiến lược marketing của mình. Thông qua việc theo dõi các tương tác và phản hồi, doanh nghiệp có thể cải thiện sản phẩm và dịch vụ.

4.2. Ứng dụng trong nghiên cứu xã hội

Dữ liệu mạng xã hội cũng được sử dụng để nghiên cứu các vấn đề xã hội như xu hướng chính trị, sức khỏe cộng đồng và các vấn đề xã hội khác. Việc phân tích dữ liệu này giúp các nhà nghiên cứu đưa ra các giải pháp hiệu quả hơn.

V. Kết Luận và Tương Lai Của Nghiên Cứu Dữ Liệu Mạng Xã Hội

Nghiên cứu phương pháp thu thập dữ liệu từ mạng xã hội đang ngày càng trở nên quan trọng. Tương lai của lĩnh vực này hứa hẹn sẽ có nhiều tiến bộ với sự phát triển của công nghệ và các phương pháp phân tích mới.

5.1. Xu hướng phát triển trong nghiên cứu dữ liệu mạng xã hội

Các công nghệ mới như trí tuệ nhân tạo và học máy đang mở ra nhiều cơ hội mới trong việc phân tích dữ liệu mạng xã hội. Những công nghệ này giúp cải thiện độ chính xác và hiệu quả của các nghiên cứu.

5.2. Tương lai của việc thu thập dữ liệu từ mạng xã hội

Việc thu thập dữ liệu từ mạng xã hội sẽ tiếp tục phát triển, với nhiều công cụ và phương pháp mới. Các nhà nghiên cứu cần tiếp tục cập nhật và điều chỉnh phương pháp của mình để phù hợp với sự thay đổi của công nghệ và nhu cầu thị trường.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Khóa luận tốt nghiệp "Nghiên cứu phương pháp thu thập dữ liệu trong khai phá mạng xã hội" được thực hiện bởi sinh viên Đỗ Huyền Trang (ngành Hệ thống thông tin quản lý, Học viện Ngân hàng, năm 2017) dưới sự hướng dẫn của TS. Đinh Trọng Hiếu. Bối cảnh nghiên cứu xuất phát từ sự bùng nổ mạnh mẽ của Internet và các nền tảng mạng xã hội trong thế kỷ 21. Tính đến đầu năm 2017, toàn cầu có hơn 2,8 tỷ người sử dụng mạng xã hội (chiếm khoảng 37% dân số thế giới, tăng 21% so với năm 2016), chiếm 25% tổng thời gian trực tuyến. Riêng tại Việt Nam, có khoảng 46 đến 48 triệu người (xấp xỉ một nửa dân số) sở hữu tài khoản mạng xã hội và sử dụng trung bình hơn 2 giờ mỗi ngày, với 11 triệu tài khoản tạo mới trong năm 2016. Mỗi phút trôi qua, các nền tảng ghi nhận khoảng 350.000 lượt tweet trên Twitter và 3,3 triệu bài viết trên Facebook. Nguồn dữ liệu này chứa đựng các phản hồi thực tế của khách hàng, cử tri và cộng đồng, tác động trực tiếp đến hoạt động kinh doanh và quản trị rủi ro truyền thông (như vụ việc khủng hoảng truyền thông của Vietcombank năm 2016 làm giảm gần 4.000 tỷ đồng vốn hóa thị trường, hay vụ việc thu hồi sản phẩm của URC chịu phạt 5,812 tỷ đồng).

Khai phá mạng xã hội bao gồm ba giai đoạn chính: thu thập và lưu trữ dữ liệu, xử lý và phân tích dữ liệu, trình bày kết quả và ứng dụng. Trong đó, thu thập dữ liệu là bước khởi đầu quyết định chất lượng toàn bộ quy trình.

Mục tiêu nghiên cứu của khóa luận được xác định cụ thể:

1. Tìm hiểu, hệ thống hóa cơ sở lý luận về mạng xã hội, quy trình khai phá mạng xã hội và các phương pháp thu thập dữ liệu mạng xã hội phổ biến.
2. Xây dựng các chương trình thu thập dữ liệu đơn giản bằng ngôn ngữ lập trình Python giao tiếp với các giao diện lập trình ứng dụng (API).
3. Thực nghiệm thu thập dữ liệu trên hai nền tảng Twitter và Facebook đối với các bài toán minh họa cụ thể, lưu trữ vào hệ quản trị cơ sở dữ liệu và đánh giá kết quả đầu ra.

Đối tượng nghiên cứu của đề tài gồm 5 nội dung chính:

• Tổng quan về mạng xã hội và ảnh hưởng của mạng xã hội tới thế giới thực.
• Khái niệm, khả năng, ứng dụng và các kỹ thuật phân tích cơ bản trong khai phá mạng xã hội.
• Đặc điểm của dữ liệu mạng xã hội và mối liên hệ với dữ liệu lớn (Big Data).
• Các phương pháp thu thập dữ liệu trực tuyến, trọng tâm là các cổng API trên hai nền tảng Twitter và Facebook.
• Xây dựng chương trình thu thập dữ liệu giao tiếp với REST API, Search API, Streaming API của Twitter và Graph API của Facebook bằng Python.

Phạm vi nghiên cứu:

• Không gian dữ liệu: Tập trung nghiên cứu cơ chế và thu thập dữ liệu mẫu trên hai nền tảng mạng xã hội là Twitter và Facebook.
• Thời gian nghiên cứu: Các số liệu thống kê thị trường và dữ liệu thực nghiệm được thu thập, xử lý trong giai đoạn đầu năm 2017.

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập nền tảng lý luận dựa trên các khái niệm và mô hình chuẩn trong khoa học máy tính và hệ thống thông tin:

• Khái niệm Mạng xã hội (Social Network) và Truyền thông xã hội (Social Media): Phân định theo định nghĩa của Andreas Kaplan và Michael Haenlein dựa trên nền tảng Web 2.0, bao gồm các nhóm chức năng: Blogs/Microblogs, Mạng xã hội, Cộng đồng nội dung (Content communities), Dự án hợp tác (Collaborative projects), Thế giới trò chơi ảo và Thế giới xã hội ảo.
• Quy trình phát hiện tri thức từ dữ liệu (Knowledge Discovery in Databases - KDD): Gồm xác định vấn đề, chuẩn bị dữ liệu (làm sạch, tích hợp, chọn lọc, biến đổi), khai phá dữ liệu (Data mining), đánh giá mẫu (Pattern evaluation) và biểu diễn tri thức (Knowledge presentation).
• Quy trình khai phá mạng xã hội 6 bước: Xác định nguồn dữ liệu, Trích xuất dữ liệu (Extraction), Làm sạch dữ liệu (Cleaning), Phân tích (Analyzing), Mô hình hóa dữ liệu (Visualization), Giải thích hoặc ứng dụng tri thức (Interpretation/Consumption).
• Khung phân loại phân tích mạng xã hội: Phân tích dựa trên nội dung (Content-based analysis - khai thác ý kiến, phát hiện xu hướng, phân tích cảm xúc) và Phân tích dựa trên liên kết/cấu trúc (Link/structure-based analysis - mô hình hóa đồ thị $G=(V, E)$, ma trận kề, phân tích mức độ ảnh hưởng, phát hiện cộng đồng).
• Định nghĩa Dữ liệu lớn (Big Data): Dựa trên mô hình 3V của Doug Laney (2001) gồm Khối lượng (Volume), Tốc độ (Velocity) và Chủng loại (Variety).
• Phương pháp nghiên cứu được sử dụng trong khóa luận gồm:
  • Phương pháp nghiên cứu tài liệu (nghiên cứu lý thuyết): Thu thập, tổng hợp cơ sở lý luận từ các tài liệu học thuật chuyên ngành.
  • Phương pháp so sánh - đối chiếu: Phân tích điểm khác biệt giữa kỹ thuật thu thập dữ liệu qua API và kỹ thuật bóc tách dữ liệu trang (Web Scraping); đối chiếu cơ chế hoạt động của Twitter API và Facebook Graph API.
  • Phương pháp phân tích thực nghiệm và tổng kết kinh nghiệm: Viết mã nguồn Python, chạy thực nghiệm thu thập dữ liệu thực tế từ máy chủ Twitter và Facebook, đo lường thời gian đáp ứng, đánh giá giới hạn truy vấn và xử lý trực quan hóa.

Nguồn dữ liệu phục vụ nghiên cứu gồm: Dữ liệu tài liệu thứ cấp từ các báo cáo thị trường (We Are Social, Internet Live Stats, Zephoria) và tài liệu kỹ thuật chính thức của Twitter Developer Platform, Facebook for Developers; Dữ liệu sơ cấp được thu thập trực tiếp thông qua các cổng API của Twitter và Facebook (dữ liệu hồ sơ người dùng, bài đăng tweet, dòng thời gian, bài viết Fanpage và bình luận).

Thiết kế và triển khai thực nghiệm

Khóa luận tiến hành thiết kế hệ thống thử nghiệm thu thập và trực quan hóa dữ liệu theo kiến trúc kỹ thuật gồm 3 thành phần chính:

Thành phần	Công nghệ / Công cụ sử dụng	Vai trò và đặc tả triển khai
Môi trường lập trình	Python 3.6 trên IDE Spyder 2.7 (gói phân phối Anaconda)	Viết các script kết nối API, gửi yêu cầu HTTP, nhận dữ liệu JSON và phân tích tiền xử lý.
Hệ quản trị cơ sở dữ liệu	SQLite	Lưu trữ dữ liệu cấu trúc và bán cấu trúc thu thập về dưới dạng một tệp cục bộ (<400KB), không cần cấu hình tài khoản phân quyền phức tạp.
Công cụ trực quan hóa	Tableau Visualization	Kết nối nguồn dữ liệu từ SQLite/Python để xây dựng các biểu đồ định lượng, bản đồ địa lý, Word Cloud và Dashboard phân tích truyền thông.

Tác giả đã hiện thực hóa 4 chương trình Python phục vụ thu thập dữ liệu chuyên biệt:

1. Chương trình 1 - Twitter REST API: Nhận đầu vào là screen_name (tên tài khoản người dùng), thực hiện xác thực OAuth 1.0 (sử dụng 4 khóa: Consumer Key, Consumer Secret, Access Token, Access Token Secret) để trích xuất toàn bộ thông tin hồ sơ và tối đa 3.200 bản ghi tweet lịch sử trên dòng thời gian của tài khoản.
2. Chương trình 2 - Twitter Search API: Nhận đầu vào là từ khóa tìm kiếm (kèm tùy chọn ngôn ngữ, khoảng thời gian), trả về tập hợp các bản ghi tweet gần nhất (trong phạm vi 6-10 ngày) chứa từ khóa chỉ định kèm thông tin người đăng.
3. Chương trình 3 - Twitter Streaming API: Nhận đầu vào là từ khóa bộ lọc, mở kết nối HTTP liên tục để nhận luồng dữ liệu tweet thời gian thực (chiếm khoảng 1% tổng luồng tweet toàn cầu) cho đến khi ngắt kết nối chủ động.
4. Chương trình 4 - Facebook Graph API: Nhận đầu vào là Page ID của trang công khai và Access Token (OAuth 2.0 - dạng User Access Token hoặc App Access Token ghép từ AppID|AppSecret), gửi yêu cầu HTTP GET để trích xuất danh sách bài viết, thông số tương tác (lượt thích, chia sẻ) và các bình luận liên quan.

Nội dung chính theo từng chương

CHƯƠNG I: NỀN TẢNG LÝ THUYẾT VỀ KHAI PHÁ MẠNG XÃ HỘI

Chương 1 hệ thống hóa toàn diện các khái niệm cơ bản về mạng xã hội, phân biệt giữa mạng xã hội (tập trung vào cấu trúc kết nối kỹ thuật) và truyền thông xã hội (bao hàm cả phương tiện và nội dung truyền thông theo chuẩn Web 2.0). Tác giả làm rõ vai trò của mạng xã hội như một kho dữ liệu tiềm năng khổng lồ cho các nhà nghiên cứu và doanh nghiệp, phân tích những tác động hai chiều của mạng xã hội đến thế giới thực (quản trị khủng hoảng truyền thông, tiếp thị chi phí thấp, khảo sát xu hướng người tiêu dùng).

Tiếp theo, chương đi sâu vào bản chất của khai phá mạng xã hội như một phân nhánh đặc thù của khai phá dữ liệu:

• Trình bày chi tiết quy trình 6 bước: Xác định nguồn, Trích xuất, Làm sạch, Phân tích, Mô hình hóa và Giải thích ứng dụng tri thức.
• Phân loại hai hướng nghiên cứu trọng tâm: Nghiên cứu dựa trên nội dung (khai thác văn bản, phân tích quan điểm/tình cảm) và nghiên cứu dựa trên liên kết (phân tích cấu trúc đồ thị mạng, ma trận kề biểu diễn tương tác).
• Phân tích các kỹ thuật định lượng (phân tích khối lượng, phân tích mối quan hệ, tương quan, hồi quy/phân lớp, phân cụm, hệ thống thông tin địa lý - GIS) và kỹ thuật định tính (phân tích tình cảm/Sentiment Analysis, phân tích văn bản/Text Analytics).
• Chỉ ra các thách thức lớn: Thách thức tiền phân tích (ngôn ngữ phi cấu trúc, tiếng lóng, ký tự đặc biệt, tốc độ cập nhật thời gian thực) và thách thức trong xử lý phân tích (vòng đời dữ liệu ngắn, khung thời gian trễ làm giảm giá trị tri thức).

CHƯƠNG II: NGHIÊN CỨU PHƯƠNG PHÁP THU THẬP DỮ LIỆU TRÊN MẠNG XÃ HỘI

Chương 2 tập trung phân tích bản chất dữ liệu mạng xã hội và so sánh các phương thức thu thập thông tin trên Internet:

• Phân loại dữ liệu mạng xã hội thành Dữ liệu nội dung (bài viết, bình luận, hình ảnh) và Dữ liệu cấu trúc (đồ thị mạng thể hiện mối quan hệ bạn bè, người theo dõi). Đánh giá mối quan hệ giữa dữ liệu mạng xã hội và 3 đặc trưng của Big Data (Volume, Velocity, Variety).
• So sánh hai phương pháp thu thập dữ liệu: Thu thập qua cổng giao diện lập trình ứng dụng (API) và Bóc tách dữ liệu trang (Web Scraper thông qua regex, lập trình HTTP, duyệt cây DOM). Tác giả kết luận API là phương pháp tối ưu, ổn định và hợp thức nhất cho khai phá mạng xã hội.
• Nghiên cứu chuyên sâu về nền tảng Twitter:
  • Đặc điểm: Cơ chế kết nối 1 chiều (Following), giới hạn độ dài 140 ký tự/tweet, cơ chế lan truyền Retweet, Hashtag, Mention. Thống kê toàn cầu: 319 triệu người dùng hoạt động hàng tháng, 6.000 tweets/giây, 500 triệu tweets/ngày; tỷ lệ tài khoản ngoài Mỹ chiếm 79% (Brazil: 27,7 triệu, Nhật Bản: 25,9 triệu, Mexico: 23,5 triệu).
  • Cơ chế kỹ thuật: Xác thực OAuth 1.0; Phân tích cơ chế REST API (giới hạn 15 yêu cầu/15 phút/token, trích xuất tối đa 3.200 tweet lịch sử), Search API (tìm kiếm tweet trong vòng 6-10 ngày), Streaming API (lấy mẫu thời gian thực 1% luồng dữ liệu toàn cầu).
• Nghiên cứu chuyên sâu về nền tảng Facebook:
  • Đặc điểm: Cơ chế kết nối 2 chiều (kết bạn) kết hợp 1 chiều (Fanpage/Follow). Thống kê: 1,86 tỷ người dùng hoạt động hàng tháng (gấp 6 lần Twitter); mỗi phút có 510.000 bình luận, 293.000 trạng thái và 136.000 hình ảnh tải lên; không giới hạn độ dài ký tự bài đăng.
  • Cơ chế kỹ thuật: Xác thực OAuth 2.0 (User Access Token ngắn hạn 1-2 giờ, dài hạn 60 ngày; App Access Token). Mô hình Graph API dựa trên Đồ thị xã hội (Node, Edge, Field), truy vấn HTTP GET. Giới hạn tỷ lệ: khoảng 600 kết nối API / 600 giây cho mỗi ứng dụng/IP/token; chính sách bảo mật nghiêm ngặt đối với dữ liệu cá nhân.

CHƯƠNG III: THỰC NGHIỆM THU THẬP DỮ LIỆU MẠNG XÃ HỘI VÀ ĐÁNH GIÁ KẾT QUẢ

Chương 3 trình bày toàn bộ quá trình hiện thực hóa các chương trình Python, kết nối API thực tế, lưu trữ dữ liệu vào SQLite và phân tích trực quan hóa trên Tableau.

Thực nghiệm thu thập dữ liệu người dùng qua Twitter REST API được tiến hành trên 10 tài khoản thương hiệu/tổ chức lớn trên thế giới, cho kết quả đo lường cụ thể về thời gian và số lượng dữ liệu thu về:

STT	Tên tài khoản (screen_name)	Số lượng bản ghi tweet thu về	Thời gian thực hiện (phút:giây)
1	CocaCola	3.227	00:37
2	Pepsi	3.246	00:40
3	Redbull	3.244	00:35
4	Nestle	3.200	00:40
5	Microsoft	3.191	00:41
6	Google	3.221	00:34
7	McDonalds	3.226	00:34
8	Nike	3.200	00:32
9	Converse	3.209	00:37
10	Samsung	3.217	00:32
Trung bình	—	~3.218	36,2 giây

Dựa trên dữ liệu thu thập được, tác giả triển khai các bài toán phân tích thực tế:

• Bài toán phân tích ảnh hưởng thương hiệu: So sánh mức độ lan tỏa giữa tài khoản Coca-Cola (hơn 3,3 triệu followers) và Pepsi (khoảng 3,0 triệu followers), vẽ bản đồ phân bố địa lý của lượng người theo dõi trên toàn cầu.
• Bài toán phân tích quan điểm (Sentiment Analysis): Gán nhãn cảm xúc tích cực/tiêu cực/trung tính cho các bài đăng tweet và xây dựng biểu đồ chỉ số truyền thông.
• Bài toán phân tích xu hướng thảo luận (Word Cloud): Trích xuất các từ khóa nổi bật về chủ đề "du học" trên thế giới và tại Việt Nam.
• Thiết kế Dashboard Quản lý truyền thông cho doanh nghiệp trên Tableau kết hợp giữa phân tích khối lượng, phân tích cấu trúc mạng lưới và phân tích cảm xúc.

Kết quả và đóng góp

Khóa luận đạt được các kết quả cụ thể gắn liền với dữ liệu thực nghiệm:

• Kiểm chứng định lượng hiệu năng của Twitter REST API: Tốc độ thu thập trung bình đạt 36,2 giây cho một lệnh gọi lấy xấp xỉ 3.200 bản ghi tweet lịch sử (chạm ngưỡng giới hạn kỹ thuật tối đa của Twitter).
• Xác định và làm rõ các rào cản kỹ thuật của các loại API:
  • Twitter REST API bị giới hạn nghiêm ngặt 15 yêu cầu / 15 phút / access token và tối đa 3.200 tweet gần nhất.
  • Twitter Search API chỉ hồi đáp dữ liệu quá khứ trong phạm vi 6 đến 10 ngày gần nhất.
  • Twitter Streaming API cung cấp luồng dữ liệu thời gian thực nhưng bị chặn ở ngưỡng 1% tổng lưu lượng toàn cầu (các tweet vượt ngưỡng sẽ bị xóa kèm thông báo điều khiển).
  • Facebook Graph API giới hạn 600 yêu cầu / 600 giây, dữ liệu trả về rất chi tiết nhưng vướng rào cản bảo mật quyền riêng tư khắt khe (đòi hỏi quyền ủy quyền từ phía người dùng).
• Đề xuất quy trình tích hợp công nghệ hoàn chỉnh cho các bài toán phân tích mạng xã hội quy mô vừa và nhỏ: Kết nối API bằng Python $\rightarrow$ Lưu trữ phi tập trung gọn nhẹ bằng SQLite $\rightarrow$ Trực quan hóa tương tác đa chiều trên Tableau.
• Đóng góp học thuật và ứng dụng: Hệ thống hóa chi tiết các phương thức thu thập dữ liệu mạng xã hội cho sinh viên ngành Hệ thống thông tin quản lý, làm rõ phương pháp luận kết hợp giữa phân tích định tính (nội dung, cảm xúc) và phân tích định lượng (khối lượng, mạng lưới đồ thị) trong quản trị truyền thông doanh nghiệp.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận tự chỉ ra một số hạn chế và định hướng phát triển dựa trên phạm vi nghiên cứu:

• Hạn chế:
  • Các chương trình Python mới dừng lại ở mức các đoạn mã script thực thi chức năng cơ bản, chưa xây dựng thành một ứng dụng phần mềm có giao diện người dùng hoàn chỉnh.
  • Giới hạn tỷ lệ truy vấn của các cổng API miễn phí (đặc biệt là mức 3.200 tweet của REST API và thời gian 7 ngày của Search API) gây khó khăn cho việc nghiên cứu chuỗi dữ liệu lịch sử dài hạn.
  • Dữ liệu thu thập từ Facebook chủ yếu giới hạn ở các trang Fanpage công khai do chính sách bảo mật cá nhân ngặt nghèo của nền tảng.
• Hướng nghiên cứu tiếp:
  • Hoàn thiện các module Python thành phần mềm thu thập dữ liệu tự động, đa luồng với giao diện trực quan.
  • Nghiên cứu sâu hơn các thuật toán Xử lý ngôn ngữ tự nhiên (NLP) tiếng Việt để nâng cao độ chính xác trong phân tích sắc thái cảm xúc và loại bỏ tiếng lóng/nhiễu trên mạng xã hội.
  • Mở rộng phạm vi thu thập dữ liệu sang các nền tảng mạng xã hội khác như Instagram, YouTube, LinkedIn.

Giá trị tham khảo

Khóa luận có giá trị tham khảo thiết thực đối với:

• Sinh viên và học viên chuyên ngành Hệ thống thông tin quản lý, Khoa học dữ liệu, Công nghệ thông tin, Thương mại điện tử và Marketing: Cung cấp tài liệu tổng quan mạch lạc về quy trình KDD áp dụng trên mạng xã hội và phương pháp trích xuất dữ liệu qua API.
• Các nhà nghiên cứu và lập trình viên phát triển giải pháp Social Listening: Tham khảo cấu trúc dữ liệu JSON, cơ chế xác thực OAuth 1.0/OAuth 2.0, các thông số Rate Limit và phương pháp lưu trữ - trực quan hóa dữ liệu qua SQLite và Tableau.
• Phần đáng tham khảo nhất: Chương 2 (bảng phân tích cơ chế, hạn ngạch của 3 loại Twitter API và Facebook Graph API) và Chương 3 (bảng thực nghiệm đo lường thời gian đáp ứng và mô hình dữ liệu quan hệ trích xuất từ mạng xã hội).

Câu hỏi thường gặp

1. Khóa luận nghiên cứu những loại API nào của Twitter và Facebook? Khóa luận nghiên cứu 3 loại API của Twitter gồm: REST API (truy vấn hồ sơ cá nhân và tweet quá khứ), Search API (tìm kiếm tweet theo từ khóa trong 6-10 ngày), Streaming API (lấy mẫu 1% luồng tweet thời gian thực); và 1 loại API duy nhất của Facebook là Graph API (truy vấn các Node, Edge, Field trên Đồ thị xã hội).

2. Giới hạn số lượng bài đăng và tần suất truy vấn của Twitter REST API là bao nhiêu? Twitter REST API giới hạn mỗi Access Token được thực hiện tối đa 15 yêu cầu trong vòng 15 phút. Đối với mỗi tài khoản người dùng, REST API chỉ cho phép lấy tối đa khoảng 3.200 bản ghi tweet gần nhất trên timeline.

3. Facebook Graph API áp dụng cơ chế xác thực và hạn mức truy vấn như thế nào? Facebook Graph API sử dụng cơ chế xác thực OAuth 2.0 thông qua Access Token (chủ yếu là User Access Token và App Access Token được ghép theo cú pháp AppID|AppSecret). Hạn mức tần suất thông thường là 600 kết nối API trong mỗi khoảng thời gian 600 giây cho mỗi ứng dụng/IP/token.

4. Kết quả thực nghiệm tốc độ thu thập dữ liệu qua Twitter REST API đạt mức nào? Thực nghiệm trên 10 tài khoản thương hiệu lớn (như Coca-Cola, Pepsi, Redbull, Google, Microsoft, Nike...) cho thấy thời gian phản hồi trung bình là 36,2 giây để thu về đủ ~3.200 bản ghi tweet và thông tin hồ sơ cho mỗi tài khoản.

5. Hệ sinh thái công nghệ được tác giả sử dụng trong chương hồi thực nghiệm gồm những gì? Hệ sinh thái thực nghiệm gồm: Ngôn ngữ lập trình Python 3.6 (môi trường Spyder 2.7 trong bộ phần mềm Anaconda), Hệ quản trị cơ sở dữ liệu SQLite để lưu trữ dữ liệu dạng tệp cục bộ, và công cụ Tableau để xây dựng Dashboard trực quan hóa dữ liệu truyền thông.

Kết luận

Khóa luận của tác giả Đỗ Huyền Trang đã hệ thống hóa toàn diện cơ sở lý luận về khai phá mạng xã hội và phân tích sâu sắc các phương pháp thu thập dữ liệu trên hai nền tảng Twitter và Facebook. Thông qua việc hiện thực hóa 4 chương trình Python kết nối với các cổng API chuyên biệt, nghiên cứu đã kiểm chứng định lượng hiệu năng thực tế, đo lường thời gian đáp ứng và làm rõ các rào cản về hạn ngạch dữ liệu cũng như cơ chế bảo mật. Kết quả lưu trữ trên SQLite và mô hình hóa trực quan trên Tableau đã chứng minh tính khả thi và giá trị ứng dụng cao của dữ liệu mạng xã hội trong quản trị truyền thông và hỗ trợ ra quyết định kinh doanh.

Trích đoạn nội dung tài liệu

Chương 1: Nền tảng lý thuyết về khai phá mạng xã hội Chương này đề cập đến khái niệm cơ bản về mạng xã hội và truyền thông xã hội, đánh giá về những ảnh hưởng và tác động của mạng xã hội đối với thế giới thực. Song song với đó, đi sâu nghiên cứu về khai phá mạng xã hội và trình bày các khái niệm liên quan, quy trình khai phá mạng xã hội, các kỹ thuật phân tích phổ biến có thể áp dụng trong khai phá, đồng thời chỉ ra các mặt thách thức đòi hỏi các chuyên gia phải đi giải quyết và nghiên cứu. Mục đích của chương này là nêu lên tầm quan trọng và hiểu về khai phá mạng xã hội nhằm có định hướng khi bắt đầu nghiên cứu về dữ liệu và các phương pháp thu thập dữ liệu trên mạng xã hội. - Chương 2: Nghiên cứu phương pháp thu thập dữ liệu trên mạng xã hội Đỗ Huyền Trang – K16HTTTB 2 Nghiên cứu phương pháp thu thập dữ Khóa luận tốt nghiệp liệu trong khai phá mạng xã hội Trong chương này, khóa luận trình bày về dữ liệu mạng xã hội và các phương pháp thu thập dữ liệu trên Internet hiện nay, đưa ra kết luận phương pháp được sử dụng phổ biến với mạng xã hội là thu thập dữ liệu thông qua cổng giao diện lập trình API.

Tiếp theo, tiến hành nghiên cứu tổng quan về hai mạng xã hội Twitter và Facebook và nghiên cứu chuyên sâu về các API hỗ trợ thu thập dữ liệu như thế nào trên hai trang mạng xã hội này. - Chương 3: Thực nghiệm thu thập dữ liệu mạng xã hội và đánh giá kết quả Chương cuối cùng áp dụng những kiến thức thu được từ các chương trước và sử dụng ngôn ngữ lập trình python để xây dựng các chương trình thu thập dữ liệu. Từ các chương trình này tiến hành thực nghiệm thu thập dữ liệu và đánh giá kết quả đầu ra về thời gian phản hồi, dữ liệu nội dung với từng loại API, hạn chế và khắc phục. Bên cạnh đó, trong chương cũng đặt ra những bài toán nhỏ để tiến hành thu thập dữ liệu, phân tích dữ liệu trả về qua các bộ thư viện xử lý ngôn ngữ tự nhiên của python, sau sử dụng công cụ Tableau xây dựng các biểu đồ trực quan nhằm minh họa giá trị của bộ dữ liệu thu thập được trên mạng xã hội.

Đỗ Huyền Trang – K16HTTTB 3 Nghiên cứu phương pháp thu thập dữ Khóa luận tốt nghiệp liệu trong khai phá mạng xã hội CHƢƠNG I: NỀN TẢNG LÝ THUYẾT VỀ KHAI PHÁ MẠNG XÃ HỘI 1. Mạng xã hội – kho dữ liệu tiềm năng cho ngành nghiên cứu và phân tích dữ liệu 1. Khái niệm mạng xã hội và truyền thông xã hội 1. Mạng xã hội Mạng xã hội (tiếng Anh: social network) là một cấu trúc xã hội bao gồm các cá nhân hay tổ chức thường được biểu diễn bằng các nút, cùng với các quan hệ xã hội tương ứng là các liên kết giữa các nút đó.

Mạng xã hội làm nhiệm vụ kết nối các thành viên, người dùng trên Internet lại với nhau dựa theo một tiêu chí nào đó, với nhiều mục đích khác nhau, không phân biệt thời gian và không gian. Mạng xã hội được tạo ra để tự thân nó lan rộng trong cộng đồng thông qua tương tác của các thành viên trong chính cộng đồng đó. Mọi thành viên trong mạng xã hội cùng kết nối và mỗi người là một mắt xích để tạo nên một mạng lưới rộng lớn truyền tải thông tin. Trong công nghệ thông tin, mạng xã hội trực tuyến là nơi kết nối các thành viên cùng sở thích trên Internet không phân biệt không gian và thời gian thông qua các dịch vụ mạng xã hội Email, Chat, Internet, Sharing,… Sự ra đời của các trang như Facebook, Twitter, Myspace, Youtube, Google+, Flickr,… đã khiến cho mạng xã hội ngày càng trở nên đa dạng, phổ biến hơn.

Nói một cách khác, mạng xã hội là mạng tập hợp các công cụ, dịch vụ trực tuyến (như thư điện tử - email, diễn đàn thảo luận , blogs, chat, các trang mạng xã hội, các trang chia sẽ hình ảnh và video …) hỗ trợ sự tương tác qua lại giữa những người sử dụng [7]. Truyền thông xã hội Khái niệm truyền thông xã hội (social media) ra đời một vài thập kỉ trước đây với sự xuất hiện của mạng Internet buổi sơ khai và hệ thống tin nhắn BBS (Bulletin Board System)1. Tuy vậy, phải đến khi nền tảng Web 2.0 ra đời, với công nghệ giúp cho người dùng tự xây dựng được nội dung và kết nối với nhau, thì kỉ nguyên của truyền thông xã hội mới thực sự bùng nổ. Truyền thông xã hội đến lúc này được hiểu là các nền tảng (platform) cung cấp cho người sử dụng Internet dựa trên công nghệ web 2.0 (xem thêm thông tin về web 2.0 trong phụ lục).

Andreas Kaplan và Michael Haenlein định nghĩa truyền thông xã hội là “những ứng dụng Internet xây dựng trên nền tảng công nghệ và lý tưởng của web 2.0, tạo điều kiện cho việc kiến tạo và trao đổi thông tin của người dùng.”Cụ thể hơn, phương tiện truyền thông xã hội có thể được phân loại thành các loại sau dựa trên chức năng của nó [10].  Các trang Blogs và microblog : Twitter, Tumblr 1 Saqib Shah, The history of social networking - https://www.com/features/the-history-of-social- networking/ Đỗ Huyền Trang – K16HTTTB 4 Nghiên cứu phương pháp thu thập dữ Khóa luận tốt nghiệp liệu trong khai phá mạng xã hội  Các trang mạng xã hội: Facebook, MySpace, Twitter  Cộng đồng nội dung (Content communities): YouTube, Daily Motion, Pinterest, Instagram, Flickr, Vine  Các dự án hợp tác (Collaborative projects): Wikipedia  Thế giới trò chơi ảo (Virtual game-worlds): World of Warcraft  Thế giới xã hội ảo (Virtual social worlds): Second Life, Farmville Cần phải lưu ý sự khác biệt giữa truyền thông xã hội (social media) và mạng xã hội (social network). Về mặt bản chất công nghệ, hai khái niệm này đều cùng chỉ một bản thể: đó là những website dựa trên nền tảng web 2.0 để giúp người sử dụng có thể tạo lập và truyền tải thông tin. Tuy vậy, thuật ngữ truyền thông xã hội mang nghĩa rộng hơn, bao hàm cả phương tiện lẫn nội dung truyền thông, trong khi mạng xã hội nhấn mạnh nhiều hơn đến nền tảng công nghệ tạo ra nó.

Trong khóa luận, hai thuật ngữ này được sử dụng thay thế cho nhau. Ảnh hưởng của mạng xã hội tới thế giới thực Sự gia tăng nhanh chóng của mạng xã hội trực tuyến là một trong những sự kiện nổi bật nhất thập kỉ này. Cùng với sự phát triển của các thiết bị hỗ trợ kết nối mạng như máy tính cá nhân, điện thoại thông minh, máy tính bảng… mạng xã hội trực tuyến đã trở thành một nền tảng, một công cụ thiết yếu để người dùng liên lạc và chia sẻ thông tin theo nhiều cách khác nhau. Theo một báo cáo thị trường đầu năm 20172, hơn 1/3(37%) dân số thế giới sử dụng mạng xã hội, trong đó lượng người dùng mạng xã hội đã tăng 21%, từ 2,3 tỷ người trong năm 2016 lên đến 2,8 tỷ người trong năm 2017.

Gần 2,8 tỷ người sử dụng các phương tiện truyền thông xã hội ít nhất mỗi tháng một lần đã khiến mạng xã hội được xếp hạng vào loại nội dung phổ biến nhất trên toàn cầu, chiếm 25% thời gian dành cho trực tuyến.1: Những con số đánh giá tình hình sử dụng mạng xã hội trên thế giới. 2 Simon Kemp, Digital In 2017: Global Overview - https://wearesocial.com/blog/2017/01/digital-in-2017-global- overview Đỗ Huyền Trang – K16HTTTB 5 Nghiên cứu phương pháp thu thập dữ Khóa luận tốt nghiệp liệu trong khai phá mạng xã hội Tính riêng tại Việt Nam, cùng báo cáo đó với phân tích chi tiết dành riêng cho khu vực Đông Nam Á3 đã đưa ra những con số không quá mức ngạc nhiên nhưng sẽ khiến các nhà nghiên cứu suy nghĩ thêm về triển vọng mà mạng xã hội có thể đem lại. Với gần một nửa (48%) dân số Việt Nam sở hữu tài khoản mạng xã hội và sử dụng chúng hàng ngày. So sánh với năm 2016 thì con số này đã tăng thêm gần 31%, tức là trong năm có tới 11 triệu tài khoản tạo mới, thể hiện người dân Việt Nam ngày càng quan tâm tới mạng xã hội nhiều hơn.

Trung bình mỗi người tiêu tốn tới hơn 2 giờ một ngày vào thời gian hoạt động mạng xã hội. Chính bởi vậy, mạng xã hội đang hàm chứa bên trong một khối lượng khổng lồ tài nguyên quý giá, đó chính là dữ liệu. Mỗi phút, có khoảng 350.000 lượt tweets trên Twitter, khoảng 3,3 triệu bài viết được chia sẻ trên Facebook… mở ra cơ hội tiềm năng lớn cho ngành phân tích dữ liệu mạng xã hội. Nếu biết tận dụng nguồn tài nguyên này, doanh nghiệp, chính phủ hay bất cứ tổ chức cộng đồng nào… đều có thể biến những con số trở thành những tri thức và tầm nhìn đem lại rất nhiều lợi ích khác nhau, cả về lợi ích vô hình và lợi ích hữu hình.

Ảnh hƣởng của mạng xã hội tới thế giới thực Truyền thông được ví là con dao hai lưỡi và sự phổ biến của mạng xã hội rõ ràng đã thay đổi cách tương tác giữa khách hàng và doanh nghiệp, thay đổi cách tiếp xúc giữa cử tri và chính trị gia, thay đổi cách thức giao tiếp và cập nhật tin tức trong sinh hoạt hàng ngày… Với một cộng đồng rộng lớn người dùng trên mạng xã hội, bất cứ một tin tức nào được chú ý cũng sẽ lan truyền một cách chóng mặt, việc này có thể đem lại lợi ích nhưng cũng có thể đem lại bất lợi đặc biệt là trong môi trường kinh doanh. Trong xã hội hiện đại ngày nay, người tiêu dùng đã dần trở nên hoài nghi về quảng cáo và họ thường dựa nhiều hơn vào các thông tin trên mạng xã hội để đưa ra quyết định cho riêng mình[3]. Những ý kiến, phản hồi, những đánh giá tích cực hay tiêu cực về sản phẩm đều có thể ảnh hưởng tới thái độ, nhận thức và quyết định mua hàng của người tiêu dùng[15]. Bởi vậy, nếu được khai thác hiệu quả, mạng xã hội sẽ cung cấp cho doanh nhiệp nhiều cơ hội mới như: cung cấp một kênh tiếp thị mạnh mẽ với chi phí thấp, nâng cao nhận thức của khách hàng đối với doanh nghiệp và các sản phẩm dịch vụ được cung cấp, qua đó nâng cao hiệu quả kinh doanh tổng thể, hay như cải thiện mối quan hệ với khách hàng thông qua sự tương tác tốt hơn trên cơ sở thời gian thực… Bên cạnh những lợi ích, nếu không được chú trọng và quản lý tốt, mạng xã hội đôi khi lại là nơi bắt nguồn các cuộc khủng hoảng truyền thông gây tổn hại vô cùng lớn cho doanh nghiệp.