Nghiên Cứu Phương Pháp Thu Thập Dữ Liệu Trong Khai Phá Mạng Xã Hội

Nghiên cứu phương pháp thu thập dữ liệu trong khai phá mạng xã hội giúp tối ưu hóa quy trình phân tích và hiểu biết về hành vi người dùng.

Trường đại học

Học viện Ngân hàng

Người đăng

Ẩn danh

Thể loại

khóa luận tốt nghiệp

2017

92
5
0

Phí lưu trữ

35 Point

Mục lục chi tiết

LỜI CẢM ƠN

LỜI CAM KẾT

NHẬN XÉT (Của giáo viên hƣớng dẫn)

1. CHƯƠNG I: NỀN TẢNG LÝ THUYẾT VỀ KHAI PHÁ MẠNG XÃ HỘI

1.1. Mạng xã hội – kho dữ liệu tiềm năng cho ngành nghiên cứu và phân tích dữ liệu

1.1.1. Khái niệm mạng xã hội và truyền thông xã hội

1.1.1.1. Mạng xã hội
1.1.1.2. Truyền thông xã hội

1.1.2. Ảnh hưởng của mạng xã hội tới thế giới thực

1.1.3. Nền tảng lý thuyết về khai phá mạng xã hội

1.1.4. Khai phá mạng xã hội là gì?

1.1.5. Quy trình khai phá mạng xã hội

1.1.6. Các phương pháp nghiên cứu của khai phá mạng xã hội

1.1.7. Các kỹ thuật phân tích mạng xã hội và ứng dụng trong thực tế. Thách thức của khai phá mạng xã hội

2. CHƯƠNG II: NGHIÊN CỨU PHƢƠNG PHÁP THU THẬP DỮ LIỆU TRÊN MẠNG XÃ HỘI

2.1. Tổng quan về dữ liệu mạng xã hội

2.2. Đặc điểm của dữ liệu mạng xã hội

2.3. Dữ liệu mạng xã hội và big data

2.4. Phƣơng pháp thu thập dữ liệu trên Internet

2.5. Thu thập dữ liệu bằng cổng giao diện lập trình – API

2.6. Thu thập dữ liệu theo trang sử dụng Web Scraper

2.7. Phƣơng pháp thu thập dữ liệu từ Twitter

2.7.1. Giới thiệu tổng quan về Twitter

2.7.2. Thu thập dữ liệu trên Twitter

2.8. Phƣơng pháp thu thập dữ liệu từ Facebook

2.8.1. Giới thiệu tổng quan về Facebook

2.8.2. Thu thập dữ liệu trên Facebook

3. CHƯƠNG III: THỰC NGHIỆM THU THẬP DỮ LIỆU MẠNG XÃ HỘI VÀ ĐÁNH GIÁ KẾT QUẢ

3.1. Hƣớng tiếp cận thực nghiệm

3.2. Sử dụng ngôn ngữ lập trình Python để xây dựng các chương trình thu thập dữ liệu mạng xã hội

3.3. Sử dụng SQLite để lưu trữ dữ liệu

3.4. Trực quan hóa dữ liệu trả về thông qua Tableau

3.5. Thực nghiệm thu thập dữ liệu trên Twitter

3.5.1. Thu thập dữ liệu người dùng sử dụng REST API của Twitter

3.5.2. Thu thập dữ liệu tweet sử dụng Search API của Twitter

3.5.3. Thu thập dữ liệu tweet sử dụng Streaming API của Twitter

3.5.4. Đánh giá chung về ứng dụng của thu thập dữ liệu mạng xã hội trên Twitter

3.6. Thực nghiệm thu thập dữ liệu mạng xã hội trên Facebook

3.7. Kết luận thực nghiệm

TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về Nghiên Cứu Phương Pháp Thu Thập Dữ Liệu Từ Mạng Xã Hội

Nghiên cứu phương pháp thu thập dữ liệu từ mạng xã hội đang trở thành một lĩnh vực quan trọng trong phân tích dữ liệu. Mạng xã hội cung cấp một nguồn dữ liệu phong phú, giúp các nhà nghiên cứu hiểu rõ hơn về hành vi người dùng. Việc thu thập và phân tích dữ liệu này không chỉ hỗ trợ trong việc ra quyết định mà còn giúp phát triển các chiến lược kinh doanh hiệu quả.

1.1. Khái niệm và tầm quan trọng của dữ liệu mạng xã hội

Dữ liệu mạng xã hội bao gồm thông tin từ các nền tảng như Facebook, Twitter, và Instagram. Những dữ liệu này có thể được sử dụng để phân tích hành vi người dùng, xu hướng tiêu dùng và các vấn đề xã hội. Việc hiểu rõ về dữ liệu này giúp các tổ chức tối ưu hóa chiến lược tiếp thị và cải thiện dịch vụ.

1.2. Các loại dữ liệu thu thập từ mạng xã hội

Dữ liệu thu thập từ mạng xã hội có thể chia thành nhiều loại, bao gồm dữ liệu văn bản, hình ảnh, video và tương tác của người dùng. Mỗi loại dữ liệu mang lại những thông tin khác nhau, từ đó giúp các nhà nghiên cứu có cái nhìn toàn diện hơn về hành vi người dùng.

II. Thách thức trong Nghiên Cứu Phương Pháp Thu Thập Dữ Liệu Từ Mạng Xã Hội

Mặc dù việc thu thập dữ liệu từ mạng xã hội mang lại nhiều lợi ích, nhưng cũng tồn tại nhiều thách thức. Các vấn đề về quyền riêng tư, độ tin cậy của dữ liệu và sự thay đổi liên tục của các thuật toán mạng xã hội là những yếu tố cần được xem xét kỹ lưỡng.

2.1. Quyền riêng tư và bảo mật dữ liệu

Quyền riêng tư là một trong những vấn đề lớn nhất khi thu thập dữ liệu từ mạng xã hội. Các nhà nghiên cứu cần đảm bảo rằng dữ liệu được thu thập và sử dụng một cách hợp pháp, đồng thời bảo vệ thông tin cá nhân của người dùng.

2.2. Độ tin cậy của dữ liệu thu thập

Độ tin cậy của dữ liệu thu thập từ mạng xã hội có thể bị ảnh hưởng bởi nhiều yếu tố, bao gồm sự giả mạo thông tin và các tài khoản ảo. Việc xác minh nguồn gốc và tính chính xác của dữ liệu là rất quan trọng để đảm bảo kết quả nghiên cứu.

III. Phương Pháp Thu Thập Dữ Liệu Từ Mạng Xã Hội Hiệu Quả

Có nhiều phương pháp để thu thập dữ liệu từ mạng xã hội, bao gồm sử dụng API, web scraping và các công cụ phân tích dữ liệu. Mỗi phương pháp có ưu điểm và nhược điểm riêng, và việc lựa chọn phương pháp phù hợp là rất quan trọng.

3.1. Sử dụng API để thu thập dữ liệu

API (Application Programming Interface) cho phép các nhà phát triển truy cập dữ liệu từ mạng xã hội một cách dễ dàng và hiệu quả. Việc sử dụng API giúp đảm bảo tính hợp pháp và độ tin cậy của dữ liệu thu thập.

3.2. Web Scraping như một phương pháp thu thập dữ liệu

Web scraping là kỹ thuật thu thập dữ liệu từ các trang web bằng cách tự động hóa quá trình truy cập và trích xuất thông tin. Phương pháp này có thể thu thập dữ liệu từ các nguồn không cung cấp API, nhưng cần chú ý đến các quy định về quyền riêng tư.

IV. Ứng Dụng Thực Tiễn Của Dữ Liệu Mạng Xã Hội Trong Nghiên Cứu

Dữ liệu từ mạng xã hội có thể được ứng dụng trong nhiều lĩnh vực khác nhau, từ marketing đến nghiên cứu xã hội. Việc phân tích dữ liệu này giúp các tổ chức hiểu rõ hơn về nhu cầu và hành vi của khách hàng.

4.1. Phân tích hành vi người dùng trên mạng xã hội

Phân tích hành vi người dùng giúp các doanh nghiệp điều chỉnh chiến lược marketing của mình. Thông qua việc theo dõi các tương tác và phản hồi, doanh nghiệp có thể cải thiện sản phẩm và dịch vụ.

4.2. Ứng dụng trong nghiên cứu xã hội

Dữ liệu mạng xã hội cũng được sử dụng để nghiên cứu các vấn đề xã hội như xu hướng chính trị, sức khỏe cộng đồng và các vấn đề xã hội khác. Việc phân tích dữ liệu này giúp các nhà nghiên cứu đưa ra các giải pháp hiệu quả hơn.

V. Kết Luận và Tương Lai Của Nghiên Cứu Dữ Liệu Mạng Xã Hội

Nghiên cứu phương pháp thu thập dữ liệu từ mạng xã hội đang ngày càng trở nên quan trọng. Tương lai của lĩnh vực này hứa hẹn sẽ có nhiều tiến bộ với sự phát triển của công nghệ và các phương pháp phân tích mới.

5.1. Xu hướng phát triển trong nghiên cứu dữ liệu mạng xã hội

Các công nghệ mới như trí tuệ nhân tạo và học máy đang mở ra nhiều cơ hội mới trong việc phân tích dữ liệu mạng xã hội. Những công nghệ này giúp cải thiện độ chính xác và hiệu quả của các nghiên cứu.

5.2. Tương lai của việc thu thập dữ liệu từ mạng xã hội

Việc thu thập dữ liệu từ mạng xã hội sẽ tiếp tục phát triển, với nhiều công cụ và phương pháp mới. Các nhà nghiên cứu cần tiếp tục cập nhật và điều chỉnh phương pháp của mình để phù hợp với sự thay đổi của công nghệ và nhu cầu thị trường.

14/07/2025
Nghiên cứu phương pháp thu thập dữ liệu trong khai phá mạng xã hội

Trích đoạn nội dung tài liệu

Chương 1: Nền tảng lý thuyết về khai phá mạng xã hội Chương này đề cập đến khái niệm cơ bản về mạng xã hội và truyền thông xã hội, đánh giá về những ảnh hưởng và tác động của mạng xã hội đối với thế giới thực. Song song với đó, đi sâu nghiên cứu về khai phá mạng xã hội và trình bày các khái niệm liên quan, quy trình khai phá mạng xã hội, các kỹ thuật phân tích phổ biến có thể áp dụng trong khai phá, đồng thời chỉ ra các mặt thách thức đòi hỏi các chuyên gia phải đi giải quyết và nghiên cứu. Mục đích của chương này là nêu lên tầm quan trọng và hiểu về khai phá mạng xã hội nhằm có định hướng khi bắt đầu nghiên cứu về dữ liệu và các phương pháp thu thập dữ liệu trên mạng xã hội. - Chương 2: Nghiên cứu phương pháp thu thập dữ liệu trên mạng xã hội Đỗ Huyền Trang – K16HTTTB 2 Nghiên cứu phương pháp thu thập dữ Khóa luận tốt nghiệp liệu trong khai phá mạng xã hội Trong chương này, khóa luận trình bày về dữ liệu mạng xã hội và các phương pháp thu thập dữ liệu trên Internet hiện nay, đưa ra kết luận phương pháp được sử dụng phổ biến với mạng xã hội là thu thập dữ liệu thông qua cổng giao diện lập trình API.

Tiếp theo, tiến hành nghiên cứu tổng quan về hai mạng xã hội Twitter và Facebook và nghiên cứu chuyên sâu về các API hỗ trợ thu thập dữ liệu như thế nào trên hai trang mạng xã hội này. - Chương 3: Thực nghiệm thu thập dữ liệu mạng xã hội và đánh giá kết quả Chương cuối cùng áp dụng những kiến thức thu được từ các chương trước và sử dụng ngôn ngữ lập trình python để xây dựng các chương trình thu thập dữ liệu. Từ các chương trình này tiến hành thực nghiệm thu thập dữ liệu và đánh giá kết quả đầu ra về thời gian phản hồi, dữ liệu nội dung với từng loại API, hạn chế và khắc phục. Bên cạnh đó, trong chương cũng đặt ra những bài toán nhỏ để tiến hành thu thập dữ liệu, phân tích dữ liệu trả về qua các bộ thư viện xử lý ngôn ngữ tự nhiên của python, sau sử dụng công cụ Tableau xây dựng các biểu đồ trực quan nhằm minh họa giá trị của bộ dữ liệu thu thập được trên mạng xã hội.

Đỗ Huyền Trang – K16HTTTB 3 Nghiên cứu phương pháp thu thập dữ Khóa luận tốt nghiệp liệu trong khai phá mạng xã hội CHƢƠNG I: NỀN TẢNG LÝ THUYẾT VỀ KHAI PHÁ MẠNG XÃ HỘI 1. Mạng xã hội – kho dữ liệu tiềm năng cho ngành nghiên cứu và phân tích dữ liệu 1. Khái niệm mạng xã hội và truyền thông xã hội 1. Mạng xã hội Mạng xã hội (tiếng Anh: social network) là một cấu trúc xã hội bao gồm các cá nhân hay tổ chức thường được biểu diễn bằng các nút, cùng với các quan hệ xã hội tương ứng là các liên kết giữa các nút đó.

Mạng xã hội làm nhiệm vụ kết nối các thành viên, người dùng trên Internet lại với nhau dựa theo một tiêu chí nào đó, với nhiều mục đích khác nhau, không phân biệt thời gian và không gian. Mạng xã hội được tạo ra để tự thân nó lan rộng trong cộng đồng thông qua tương tác của các thành viên trong chính cộng đồng đó. Mọi thành viên trong mạng xã hội cùng kết nối và mỗi người là một mắt xích để tạo nên một mạng lưới rộng lớn truyền tải thông tin. Trong công nghệ thông tin, mạng xã hội trực tuyến là nơi kết nối các thành viên cùng sở thích trên Internet không phân biệt không gian và thời gian thông qua các dịch vụ mạng xã hội Email, Chat, Internet, Sharing,… Sự ra đời của các trang như Facebook, Twitter, Myspace, Youtube, Google+, Flickr,… đã khiến cho mạng xã hội ngày càng trở nên đa dạng, phổ biến hơn.

Nói một cách khác, mạng xã hội là mạng tập hợp các công cụ, dịch vụ trực tuyến (như thư điện tử - email, diễn đàn thảo luận , blogs, chat, các trang mạng xã hội, các trang chia sẽ hình ảnh và video …) hỗ trợ sự tương tác qua lại giữa những người sử dụng [7]. Truyền thông xã hội Khái niệm truyền thông xã hội (social media) ra đời một vài thập kỉ trước đây với sự xuất hiện của mạng Internet buổi sơ khai và hệ thống tin nhắn BBS (Bulletin Board System)1. Tuy vậy, phải đến khi nền tảng Web 2.0 ra đời, với công nghệ giúp cho người dùng tự xây dựng được nội dung và kết nối với nhau, thì kỉ nguyên của truyền thông xã hội mới thực sự bùng nổ. Truyền thông xã hội đến lúc này được hiểu là các nền tảng (platform) cung cấp cho người sử dụng Internet dựa trên công nghệ web 2.0 (xem thêm thông tin về web 2.0 trong phụ lục).

Andreas Kaplan và Michael Haenlein định nghĩa truyền thông xã hội là “những ứng dụng Internet xây dựng trên nền tảng công nghệ và lý tưởng của web 2.0, tạo điều kiện cho việc kiến tạo và trao đổi thông tin của người dùng.”Cụ thể hơn, phương tiện truyền thông xã hội có thể được phân loại thành các loại sau dựa trên chức năng của nó [10].  Các trang Blogs và microblog : Twitter, Tumblr 1 Saqib Shah, The history of social networking - https://www.com/features/the-history-of-social- networking/ Đỗ Huyền Trang – K16HTTTB 4 Nghiên cứu phương pháp thu thập dữ Khóa luận tốt nghiệp liệu trong khai phá mạng xã hội  Các trang mạng xã hội: Facebook, MySpace, Twitter  Cộng đồng nội dung (Content communities): YouTube, Daily Motion, Pinterest, Instagram, Flickr, Vine  Các dự án hợp tác (Collaborative projects): Wikipedia  Thế giới trò chơi ảo (Virtual game-worlds): World of Warcraft  Thế giới xã hội ảo (Virtual social worlds): Second Life, Farmville Cần phải lưu ý sự khác biệt giữa truyền thông xã hội (social media) và mạng xã hội (social network). Về mặt bản chất công nghệ, hai khái niệm này đều cùng chỉ một bản thể: đó là những website dựa trên nền tảng web 2.0 để giúp người sử dụng có thể tạo lập và truyền tải thông tin. Tuy vậy, thuật ngữ truyền thông xã hội mang nghĩa rộng hơn, bao hàm cả phương tiện lẫn nội dung truyền thông, trong khi mạng xã hội nhấn mạnh nhiều hơn đến nền tảng công nghệ tạo ra nó.

Trong khóa luận, hai thuật ngữ này được sử dụng thay thế cho nhau. Ảnh hưởng của mạng xã hội tới thế giới thực Sự gia tăng nhanh chóng của mạng xã hội trực tuyến là một trong những sự kiện nổi bật nhất thập kỉ này. Cùng với sự phát triển của các thiết bị hỗ trợ kết nối mạng như máy tính cá nhân, điện thoại thông minh, máy tính bảng… mạng xã hội trực tuyến đã trở thành một nền tảng, một công cụ thiết yếu để người dùng liên lạc và chia sẻ thông tin theo nhiều cách khác nhau. Theo một báo cáo thị trường đầu năm 20172, hơn 1/3(37%) dân số thế giới sử dụng mạng xã hội, trong đó lượng người dùng mạng xã hội đã tăng 21%, từ 2,3 tỷ người trong năm 2016 lên đến 2,8 tỷ người trong năm 2017.

Gần 2,8 tỷ người sử dụng các phương tiện truyền thông xã hội ít nhất mỗi tháng một lần đã khiến mạng xã hội được xếp hạng vào loại nội dung phổ biến nhất trên toàn cầu, chiếm 25% thời gian dành cho trực tuyến.1: Những con số đánh giá tình hình sử dụng mạng xã hội trên thế giới. 2 Simon Kemp, Digital In 2017: Global Overview - https://wearesocial.com/blog/2017/01/digital-in-2017-global- overview Đỗ Huyền Trang – K16HTTTB 5 Nghiên cứu phương pháp thu thập dữ Khóa luận tốt nghiệp liệu trong khai phá mạng xã hội Tính riêng tại Việt Nam, cùng báo cáo đó với phân tích chi tiết dành riêng cho khu vực Đông Nam Á3 đã đưa ra những con số không quá mức ngạc nhiên nhưng sẽ khiến các nhà nghiên cứu suy nghĩ thêm về triển vọng mà mạng xã hội có thể đem lại. Với gần một nửa (48%) dân số Việt Nam sở hữu tài khoản mạng xã hội và sử dụng chúng hàng ngày. So sánh với năm 2016 thì con số này đã tăng thêm gần 31%, tức là trong năm có tới 11 triệu tài khoản tạo mới, thể hiện người dân Việt Nam ngày càng quan tâm tới mạng xã hội nhiều hơn.

Trung bình mỗi người tiêu tốn tới hơn 2 giờ một ngày vào thời gian hoạt động mạng xã hội. Chính bởi vậy, mạng xã hội đang hàm chứa bên trong một khối lượng khổng lồ tài nguyên quý giá, đó chính là dữ liệu. Mỗi phút, có khoảng 350.000 lượt tweets trên Twitter, khoảng 3,3 triệu bài viết được chia sẻ trên Facebook… mở ra cơ hội tiềm năng lớn cho ngành phân tích dữ liệu mạng xã hội. Nếu biết tận dụng nguồn tài nguyên này, doanh nghiệp, chính phủ hay bất cứ tổ chức cộng đồng nào… đều có thể biến những con số trở thành những tri thức và tầm nhìn đem lại rất nhiều lợi ích khác nhau, cả về lợi ích vô hình và lợi ích hữu hình.

Ảnh hƣởng của mạng xã hội tới thế giới thực Truyền thông được ví là con dao hai lưỡi và sự phổ biến của mạng xã hội rõ ràng đã thay đổi cách tương tác giữa khách hàng và doanh nghiệp, thay đổi cách tiếp xúc giữa cử tri và chính trị gia, thay đổi cách thức giao tiếp và cập nhật tin tức trong sinh hoạt hàng ngày… Với một cộng đồng rộng lớn người dùng trên mạng xã hội, bất cứ một tin tức nào được chú ý cũng sẽ lan truyền một cách chóng mặt, việc này có thể đem lại lợi ích nhưng cũng có thể đem lại bất lợi đặc biệt là trong môi trường kinh doanh. Trong xã hội hiện đại ngày nay, người tiêu dùng đã dần trở nên hoài nghi về quảng cáo và họ thường dựa nhiều hơn vào các thông tin trên mạng xã hội để đưa ra quyết định cho riêng mình[3]. Những ý kiến, phản hồi, những đánh giá tích cực hay tiêu cực về sản phẩm đều có thể ảnh hưởng tới thái độ, nhận thức và quyết định mua hàng của người tiêu dùng[15]. Bởi vậy, nếu được khai thác hiệu quả, mạng xã hội sẽ cung cấp cho doanh nhiệp nhiều cơ hội mới như: cung cấp một kênh tiếp thị mạnh mẽ với chi phí thấp, nâng cao nhận thức của khách hàng đối với doanh nghiệp và các sản phẩm dịch vụ được cung cấp, qua đó nâng cao hiệu quả kinh doanh tổng thể, hay như cải thiện mối quan hệ với khách hàng thông qua sự tương tác tốt hơn trên cơ sở thời gian thực… Bên cạnh những lợi ích, nếu không được chú trọng và quản lý tốt, mạng xã hội đôi khi lại là nơi bắt nguồn các cuộc khủng hoảng truyền thông gây tổn hại vô cùng lớn cho doanh nghiệp.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ

Tài liệu "Nghiên Cứu Phương Pháp Thu Thập Dữ Liệu Từ Mạng Xã Hội" cung cấp cái nhìn sâu sắc về các phương pháp hiệu quả để thu thập và phân tích dữ liệu từ các nền tảng mạng xã hội. Tác giả không chỉ trình bày các kỹ thuật thu thập dữ liệu mà còn nhấn mạnh tầm quan trọng của việc hiểu rõ hành vi người dùng trên mạng xã hội. Điều này giúp các nhà nghiên cứu và doanh nghiệp có thể đưa ra các quyết định chiến lược dựa trên dữ liệu thực tế, từ đó tối ưu hóa các chiến dịch truyền thông và marketing.

Để mở rộng thêm kiến thức của bạn về lĩnh vực này, bạn có thể tham khảo tài liệu Luận văn thạc sĩ phân loại thông điệp trên mạng xã hội tiếng việt, nơi bạn sẽ tìm thấy các phương pháp phân loại thông điệp hiệu quả. Ngoài ra, tài liệu Luận văn thạc sĩ khoa học máy tính dự báo chủ đề nóng trên mạng xã hội sẽ giúp bạn hiểu rõ hơn về cách dự đoán các xu hướng nổi bật trên mạng xã hội. Cuối cùng, tài liệu Nghiên cứu hành vi bày tỏ quan điểm của người dùng trên mạng xã hội hiện nay sẽ cung cấp cái nhìn sâu sắc về cách người dùng thể hiện quan điểm của họ, từ đó giúp bạn nắm bắt được tâm lý và hành vi của người tiêu dùng trên các nền tảng này.

Những tài liệu này không chỉ mở rộng kiến thức mà còn cung cấp các góc nhìn đa dạng, giúp bạn có cái nhìn toàn diện hơn về việc thu thập và phân tích dữ liệu từ mạng xã hội.