Luận văn thạc sĩ: Hệ thống thông minh phát hiện xu hướng nổi bật trên mạng xã hội

Luận văn thạc sĩ kỹ thuật phân tích máy tính xây dựng hệ thống thông minh phát hiện những xu hướng nổi lên trên mạng xã hội, đánh giá thực trạng, chỉ ra hạn chế, đề xuất giải pháp

• Tác giả: Phùng Quang Chánh
• Người hướng dẫn: PGS. Quản Thành Thơ
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Khoa học máy tính
• Đề tài: Xây dựng hệ thống thông minh phát hiện những xu hướng nổi lên trên mạng xã hội
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2012
• Địa điểm: TP. Hồ Chí Minh

Tóm tắt

I. Giới thiệu

Trong bối cảnh mạng xã hội phát triển mạnh mẽ, việc phát hiện xu hướng nổi lên trên các nền tảng này trở thành một thách thức lớn đối với các nhà nghiên cứu và doanh nghiệp. Hệ thống thông minh được xây dựng nhằm mục đích phát hiện những xu hướng này, sử dụng các phương pháp phân tích dữ liệu hiện đại. Mạng xã hội đã tạo ra một lượng thông tin khổng lồ, từ đó việc phân tích dữ liệu trở nên cần thiết hơn bao giờ hết. Nghiên cứu này không chỉ giúp các công ty hiểu rõ hơn về những mối quan tâm của người dùng mà còn hỗ trợ họ trong việc xây dựng các chiến lược quảng cáo hiệu quả hơn. Theo đó, mục tiêu chính của nghiên cứu là phát triển một mô hình phát hiện xu hướng thông qua việc áp dụng công nghệ machine learning và các kỹ thuật khai thác dữ liệu.

1.1. Lý do chọn đề tài

Sự bùng nổ của mạng xã hội đã tạo ra một khối lượng dữ liệu khổng lồ, điều này không chỉ mang lại cơ hội mà còn là thách thức lớn cho các công ty trong việc quản lý và phân tích dữ liệu. Đặc biệt, việc phát hiện các xu hướng nổi lên trên mạng xã hội là rất quan trọng, vì nó giúp các doanh nghiệp định hướng chiến lược và hiểu rõ hơn về nhu cầu của người tiêu dùng. Thông qua việc xây dựng hệ thống thông minh, nghiên cứu này nhằm cung cấp một giải pháp hiệu quả cho việc phân tích và phát hiện xu hướng, từ đó mang lại lợi ích thiết thực cho các doanh nghiệp trong việc tối ưu hóa nội dung và quảng cáo.

II. Tổng quan

Chương này sẽ khảo sát các phương pháp phát hiện xu hướng đã được đề xuất trong các nghiên cứu trước đây, từ đó đưa ra hướng tiếp cận của đề tài. Các phương pháp phát hiện xu hướng cổ điển bao gồm phương pháp bán tự động và tự động, mỗi phương pháp có những ưu điểm và hạn chế riêng. Đặc biệt, phương pháp tự động sử dụng machine learning và khai thác dữ liệu để phát hiện xu hướng một cách hiệu quả. Việc áp dụng các kỹ thuật như phân tích hành vi người dùng và phân tích dữ liệu lớn sẽ giúp hệ thống có thể xử lý và phân tích khối lượng dữ liệu khổng lồ từ mạng xã hội. Chương này cũng sẽ xem xét sự phát triển của Social Media Mining, một lĩnh vực đang ngày càng thu hút sự quan tâm của các nhà nghiên cứu.

2.1. Các phương pháp phát hiện xu hướng cổ điển

Có hai loại kỹ thuật chính được áp dụng để phát hiện xu hướng: phương pháp bán tự động và tự động. Phương pháp bán tự động dựa vào sự can thiệp của con người để phân tích dữ liệu, trong khi phương pháp tự động sử dụng các thuật toán khai thác dữ liệu để phát hiện xu hướng một cách hiệu quả. Các hệ thống như HDDI đã áp dụng phương pháp tự động để phát hiện xu hướng từ dữ liệu văn bản thông qua việc phân nhóm tài liệu và phân tích thông tin thời gian. Điều này cho thấy tầm quan trọng của việc kết hợp giữa công nghệ thông tin và khai thác dữ liệu trong việc phát hiện xu hướng.

III. Các kỹ thuật được sử dụng

Nghiên cứu này sử dụng nhiều kỹ thuật khác nhau để phát hiện xu hướng nổi lên trên mạng xã hội. Trong đó, tiền xử lý văn bản là bước đầu tiên quan trọng giúp làm sạch dữ liệu và chuẩn bị cho các bước phân tích tiếp theo. Kỹ thuật vector trọng số tf-idf sẽ được sử dụng để xác định tầm quan trọng của các từ khóa trong văn bản. Tiếp theo, thuật toán k-means và HAC (Hierarchical Agglomerative Clustering) sẽ được áp dụng để gom cụm các từ khóa quan trọng, giúp xác định xu hướng một cách chính xác hơn. Việc kết hợp hai phương pháp gom cụm này không chỉ giúp giảm độ phức tạp tính toán mà còn nâng cao độ chính xác trong việc phát hiện xu hướng.

3.1. Tiền xử lý văn bản

Tiền xử lý văn bản là một bước quan trọng trong quá trình phân tích dữ liệu. Bước này bao gồm việc làm sạch dữ liệu, loại bỏ các ký tự không cần thiết, và chuẩn hóa văn bản để đảm bảo rằng dữ liệu đầu vào cho hệ thống là chính xác và có thể phân tích được. Việc áp dụng các kỹ thuật như loại bỏ stop words, stemming và lemmatization giúp tăng cường chất lượng dữ liệu, từ đó cải thiện hiệu suất của các thuật toán phân tích xu hướng. Bằng cách này, hệ thống có thể tập trung vào những thông tin thực sự quan trọng, góp phần nâng cao hiệu quả trong việc phát hiện các xu hướng nổi lên trên mạng xã hội.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu toán khá chậm, với không gian bài toán rất lớn là mạng xã hội việc áp dụng k-means ở bước đầu tiên sẽ giúp làm giảm không gian bài toán trước khi áp dụng phương pháp HAC. ƒ Kết quả của những xu hướng nổi lên trên mạng xã hội được phát hiện bởi hệ thống có ý nghĩa rất lớn trong việc giúp chúng ta hiểu được những mối quan tâm của xã hội để từ đó có những dự đoán và chiến lược hiệu quả trong quảng cáo trực tuyến.5 Cấu trúc của luận văn Trong chương này chúng tôi giới thiệu tổng quan về đề tài cũng như mục tiêu, giới hạn và cách tiến hành. Chúng tôi cũng đã đưa ra các đóng góp của đề tài. Phần còn lại của luận văn sẽ được tổ chức như sau: Chương 2 khảo sát các công trình đã đăng tải có liên quan, sau đó giới thiệu phương pháp và hướng tiếp cận của đề tài.

Trong Chương 3, chúng tôi sẽ đi sâu vào việc phân tích và diễn giải các kỹ thuật được chọn để hiện thực hệ thống phát hiện xu hướng nổi lên. Chương 4 trình bày chi tiết về ý tưởng xây dựng mô hình phát hiện xu hướng nổi lên trên mạng xã hội và đưa ra một case study để minh họa cho mô hình được đề xuất. Chương 5 trình bày về cách tạo tập thí nghiệm, kết quả chạy thí nghiệm và đưa ra một số đánh giá về độ chính xác và tốc độ của hệ thống. Chương 6 đưa ra kết luận và đề xuất một số hướng phát triển tiếp theo trong tương lai của đề tài.

3 Chương 2: Tổng quan Chương 2: TỔNG QUAN Trong chương này chúng tôi sẽ khảo sát các công trình đã đăng tải có liên quan, sau đó giới thiệu phương pháp và hướng tiếp cận của đề tài.1 Các phương pháp phát hiện xu hướng cổ điển Có hai loại kỹ thuật chính khác nhau được áp dụng để phát hiện xu hướng [10]. Chúng là phương pháp bán tự động (semi-automatic) và tự động (automatic). Các phương pháp này được áp dụng để phát hiện xu hướng từ các miền khác nhau như dữ liệu văn bản, dữ liệu đa truyền thông, và các công bố khoa học.1 Phương pháp bán tự động (semi-automatic) Phương pháp đầu tiên được đề cập đến là phương pháp bán tự động, hướng tiếp cận của phương pháp này chỉ dựa trên thông tin thống kê và công sức từ con người để xác định các xu hướng dựa trên các thông tin thống kê đó. Để hỗ trợ con người trong việc phát hiện xu hướng, một giao diện người dùng thường được phát triển để hiển thị các thông tin thống kê một cách có tổ chức.

Hệ thống phân tích thời cơ công nghệ (Technology Opportunities Analysis System - TOAS) [11] cung cấp những thông tin đo lường của tài liệu như số lượng từ, trích dẫn, ngày và thông tin nhà xuất bản. TOAS cung cấp thông tin đo lường thu được từ những truy vấn của người dùng trên các miền nghiên cứu. Trong một hệ thống khác, Envision [12] người dùng có thể khám phá ra được thư viện kỹ thuật số đa phương tiện dưới dạng biểu diễn đồ họa để xác định các xu hướng. Trong Envision những công bố khoa học từ lĩnh vực khoa học máy tính được chứa trong những định dạng khác nhau như text, video và hiệu ứng.

Envision hỗ trợ tìm kiếm theo đoạn trích dẫn hoặc đầy đủ nội dung. Kết quả tìm kiếm được hiển thị dưới dạng đồ họa như ma trận của các biểu tượng màu. Từ sự hiển thị kết quả đó, người dùng có thể quan sát các quan hệ 4 Chương 2: Tổng quan động liên quan giữa các công bố. Như vậy, người dùng có thể xác định được những chủ đề nổi lên và xu hướng trong các miền nghiên cứu.

CIMEL (Constructive, Collaborative Inquiry-based Multimedia E- learning) [13] là một hệ thống cộng tác có thể xác định các xu hướng nổi lên từ vùng được lựa chọn bởi người dùng. Để làm được điều đó CIMEL thu thập thông tin từ các hội nghị và workshop có liên quan đến vùng được lựa chọn. Sau đó các thông tin thống kê sẽ được tạo ra. Công sức của con người là cần thiết để tạo ra các ứng viên xu hướng nổi lên từ các thông tin được tạo ra.2 Phương pháp tự động (automatic) Phương pháp tiếp theo là phương pháp tự động (automatic), áp dụng kỹ thuật khai phá dữ liệu thông minh (intelligent data mining) để tìm ra các xu hướng một cách tự động, phương pháp này gồm có hai thành phần chính là khai phá tài liệu và khai phá thời gian.

Thành phần khai phá tài liệu tập trung xác định xu hướng dựa vào tài liệu trong khi thành phần khai phá thời gian tập trung trên thông tin thời gian như ngày đăng tải của tài liệu để xác định xu hướng. Khai phá tài liệu: Trong thành phần khai phá tài liệu, thông tin của các xu hướng được khai phá từ nội dung của tài liệu. Các tài liệu được nhóm vào các cụm bằng một kỹ thuật gom cụm. Sau đó, thông tin trong cụm sẽ được phân tích để xác định xu hướng.

Hệ thống HDDI [14] áp dụng phương pháp khai phá tài liệu để phát hiện xu hướng từ dữ liệu văn bản. Đầu tiên hệ thống sử dụng kỹ thuật lựa chọn điểm đặc trưng để rút trích những từ khóa quan trọng từ tài liệu. Sau đó, dựa trên những điểm đặc trưng được rút trích hệ thống tính toán độ tương tự của tài liệu và gom nhóm những tài liệu phù hợp. Thông tin trên số lượng của cụm, tần suất và sự kết hợp những điểm đặc trưng chính trong cụm được sử dụng để xác định xu hướng.

Trong HDDI, một kỹ thuật dựa trên mạng neural cũng được đề xuất [15] cho việc phát hiện xu hướng nổi lên. 5 Chương 2: Tổng quan Các đoạn trích dẫn cung cấp thông tin liên quan giữa các công bố khoa học, nó rất hữu ích cho phát hiện xu hướng nghiên cứu. Đầu tiên gom cụm các tài liệu trong các citation database dựa trên thông tin kết hợp của chúng. Mỗi một cụm được tạo ra được xem như là một xu hướng.

Thông tin thời gian của tài liệu (ví dụ như ngày công bố) trong mỗi cụm được sử dụng để cung cấp thông tin thống kê trên mỗi xu hướng. Kỹ thuật này hỗ trợ tìm xu hướng dựa trên từ khóa người dùng nhập. Tuy nhiên, kỹ thuật này không xem xét thông tin thời gian của tài liệu trong suốt quá trình gom cụm. Do đó, mặc dù các cụm có thể được tìm thấy tương ứng với các truy vấn trên miền nghiên cứu, nhưng nó khó có thể được sử dụng cho việc xác định xu hướng hiện tại trong miền nghiên cứu.

Khai phá thời gian: Trong thành phần khai phá thời gian, thông tin của các xu hướng được khai phá từ thông tin thời gian của tài liệu. Tài liệu trong một cơ sở dữ liệu văn bản được gom cụm dựa trên ngày công bố. Sau đó, xu hướng có thể được phát hiện dựa trên các mẫu tuần tự của những tài liệu có liên quan thông qua thời gian (hoặc ngày). Cho việc phát hiện xu hướng, TimeMines [17] khai phá thông tin thời gian từ một tập dữ liệu văn bản được đánh nhãn.

Đầu tiên, nó sử dụng phương pháp thống kê để rút trích những điểm đặc trưng quan trọng liên quan đến những thời kỳ nhất định của thời gian. Sau đó, với mỗi thời kỳ tiến hành nhóm các điểm đặc trưng được rút trích thành các chủ đề. Như vậy, TimeMines có thể xác định đúng các chủ đề hoặc sự kiện quan trọng được chứa trong các thời kỳ nhất định của thời gian. Thông tin thống kê của các sự kiện trong mỗi thời kỳ thời gian cũng được cung cấp.

Tương tự với TimeMines, ThemeRiver [18] cũng khai phá thông tin thời gian từ một tập dữ liệu văn bản lớn để xác định các chủ đề. Đầu tiên, 6 Chương 2: Tổng quan ThemeRiver phân loại tài liệu vào các nhóm dựa vào ngày công bố của chúng. Mỗi nhóm được thể hiện bởi một tập các từ khóa được xem như một chủ đề. Do đó, ThemeRiver có thể xác định các chủ đề cho mỗi thời kỳ của thời gian.

Bước tiếp theo, ThemeRiver tính toán mức độ tương tự của các chủ đề chứa trong từng thời kỳ thời gian khác nhau, kết hợp lại như một dòng chảy. Khi giao diện đồ họa được hiển thị, một dòng chảy có thể hỗ trợ người sử dụng quan sát sự thay đổi trong các chủ đề theo thời gian một cách trực quan. Trong dự án TDT [19], một hệ thống “Event Tracking” được phát triển để lấy một tập dữ liệu văn bản như là đầu vào. Dữ liệu trong tập văn bản chứa một vài mẩu chuyện tin tức.

Những mẩu chuyện này được sắp xếp theo thời gian. Sau đó, trong mỗi mẩu chuyện, hệ thống TDT rút trích một tập các từ khóa quan trọng. Thông qua việc so sánh tập từ khóa vừa được rút trích từ một mẩu chuyện với những mẩu chuyện khác trong quá khứ, hệ thống TDT có thể phán đoán xem mẩu chuyện này có giống với những mẩu chuyện trong quá khứ hay không. Nếu mẩu chuyện này không giống với những mẩu chuyện trong quá khứ, hệ thống sẽ ghi lại một sự kiện mới được phát hiện.

Mỗi một sự kiện được xem là một xu hướng mới được tìm thấy tại thời gian đó.3 Phương pháp phân tích cụm dựa trên ngữ cảnh Các tác giả trong bài báo [8] đã đề xuất một phương pháp phát hiện xu hướng trong miền nghiên cứu dựa trên kỹ thuật phân tích cụm thông qua ngữ cảnh (Context-based Cluster Analysis - CCA). Phương pháp này có thể phát hiện các xu hướng trong nghiên cứu dựa trên một cơ sở dữ liệu trích dẫn một cách hoàn toàn tự động. CCA gồm hai quá trình chính: phát sinh quan hệ và ngữ cảnh xuyên qua các cụm.2 Sự phát triển của Social Media và Social Media Mining Sự phát triển lớn mạnh của truyền thông xã hội (Social Media) trong thời gian gần đây hẳn chúng ta ai cũng có thể nhận ra. Đi đâu, đến đâu bạn cũng thấy 7 Chương 2: Tổng quan mạng xã hội, các doanh nghiệp thì sử dụng mạng xã hội cho việc quảng bá tên tuổi, sản phẩm công ty, tạo mạng lưới khách hàng.

Các cá nhân thì dùng mạng xã hội cho việc tạo lập tên tuổi cho bản thân, hay chỉ đơn giản là chia sẻ những cảm xúc, kết nối bạn bè. Với sự phát triển bùng nổ đến như vậy kéo theo khối lượng dữ liệu trực tuyến, thông tin chia sẻ trên mạng xã hội ngày càng trở nên khổng lồ, khó kiểm soát và sàng lọc.