Luận văn thạc sĩ: Hệ thống thông minh phát hiện xu hướng nổi bật trên mạng xã hội

Luận văn thạc sĩ kỹ thuật phân tích máy tính xây dựng hệ thống thông minh phát hiện những xu hướng nổi lên trên mạng xã hội, đánh giá thực trạng, chỉ ra hạn chế, đề xuất giải pháp

• Tác giả: Phùng Quang Chánh
• Người hướng dẫn: PGS. Quản Thành Thơ
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Khoa học máy tính
• Đề tài: Xây dựng hệ thống thông minh phát hiện những xu hướng nổi lên trên mạng xã hội
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2012
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• NHIỆM VỤ LUẬN VĂN THẠC SĨ
• LỜI CẢM ƠN
• TÓM TẮT LUẬN VĂN
• LỜI CAM ĐOAN
• DANH MỤC BẢNG
• DANH MỤC HÌNH
• 1. Chương 1: GIỚI THIỆU
• 1.1. Lý do chọn đề tài
• 1.2. Mục tiêu và giới hạn của đề tài
• 1.3. Phương pháp tiến hành
• 1.4. Những đóng góp của đề tài
• 1.5. Cấu trúc của luận văn
• 2. Chương 2: TỔNG QUAN
• 2.1. Các phương pháp phát hiện xu hướng cổ điển
• 2.1.1. Phương pháp bán tự động (semi-automatic)
• 2.1.2. Phương pháp tự động (automatic)
• 2.1.3. Phương pháp phân tích cụm dựa trên ngữ cảnh
• 2.2. Sự phát triển của Social Media và Social Media Mining
• 2.3. Phát hiện xu hướng và chủ đề nổi lên trong các mạng xã hội
• 2.4. Hướng tiếp cận của đề tài
• 3. Chương 3: CÁC KỸ THUẬT ĐƯỢC SỬ DỤNG
• 3.1. Tiền xử lý văn bản
• 3.2. Vector trọng số tf-idf
• 3.3. Thuật toán k-means
• 3.4. Thuật toán HAC
• 3.5. Phương pháp tính khoảng cách khi gom cụm
• 3.5.1. Giới thiệu về link-strength và correlation
• 3.5.2. Kết hợp link-strength và correlation để tính khoảng cách
• 4. Chương 4: MÔ HÌNH PHÁT HIỆN XU HƯỚNG ĐƯỢC ĐỀ XUẤT
• 4.1. Ý tưởng xây dựng mô hình
• 4.1.1. Kiến trúc của hệ thống
• 4.1.2. Phân đoạn dữ liệu theo thời gian
• 4.1.3. Kết hợp hai phương pháp gom cụm
• 4.2. Case study minh họa
• 4.3. Giải thuật kết hợp thuật toán k-means và HAC
• 5. Chương 5: THỰC NGHIỆM
• 5.1. Kết quả thí nghiệm
• 5.1.1. Cách xây dựng tập dữ liệu thí nghiệm
• 5.1.2. Kết quả thí nghiệm
• 6. Chương 6: KẾT LUẬN
• 6.2. Hướng phát triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu

Trong bối cảnh mạng xã hội phát triển mạnh mẽ, việc phát hiện xu hướng nổi lên trên các nền tảng này trở thành một thách thức lớn đối với các nhà nghiên cứu và doanh nghiệp. Hệ thống thông minh được xây dựng nhằm mục đích phát hiện những xu hướng này, sử dụng các phương pháp phân tích dữ liệu hiện đại. Mạng xã hội đã tạo ra một lượng thông tin khổng lồ, từ đó việc phân tích dữ liệu trở nên cần thiết hơn bao giờ hết. Nghiên cứu này không chỉ giúp các công ty hiểu rõ hơn về những mối quan tâm của người dùng mà còn hỗ trợ họ trong việc xây dựng các chiến lược quảng cáo hiệu quả hơn. Theo đó, mục tiêu chính của nghiên cứu là phát triển một mô hình phát hiện xu hướng thông qua việc áp dụng công nghệ machine learning và các kỹ thuật khai thác dữ liệu.

1.1. Lý do chọn đề tài

Sự bùng nổ của mạng xã hội đã tạo ra một khối lượng dữ liệu khổng lồ, điều này không chỉ mang lại cơ hội mà còn là thách thức lớn cho các công ty trong việc quản lý và phân tích dữ liệu. Đặc biệt, việc phát hiện các xu hướng nổi lên trên mạng xã hội là rất quan trọng, vì nó giúp các doanh nghiệp định hướng chiến lược và hiểu rõ hơn về nhu cầu của người tiêu dùng. Thông qua việc xây dựng hệ thống thông minh, nghiên cứu này nhằm cung cấp một giải pháp hiệu quả cho việc phân tích và phát hiện xu hướng, từ đó mang lại lợi ích thiết thực cho các doanh nghiệp trong việc tối ưu hóa nội dung và quảng cáo.

II. Tổng quan

Chương này sẽ khảo sát các phương pháp phát hiện xu hướng đã được đề xuất trong các nghiên cứu trước đây, từ đó đưa ra hướng tiếp cận của đề tài. Các phương pháp phát hiện xu hướng cổ điển bao gồm phương pháp bán tự động và tự động, mỗi phương pháp có những ưu điểm và hạn chế riêng. Đặc biệt, phương pháp tự động sử dụng machine learning và khai thác dữ liệu để phát hiện xu hướng một cách hiệu quả. Việc áp dụng các kỹ thuật như phân tích hành vi người dùng và phân tích dữ liệu lớn sẽ giúp hệ thống có thể xử lý và phân tích khối lượng dữ liệu khổng lồ từ mạng xã hội. Chương này cũng sẽ xem xét sự phát triển của Social Media Mining, một lĩnh vực đang ngày càng thu hút sự quan tâm của các nhà nghiên cứu.

2.1. Các phương pháp phát hiện xu hướng cổ điển

Có hai loại kỹ thuật chính được áp dụng để phát hiện xu hướng: phương pháp bán tự động và tự động. Phương pháp bán tự động dựa vào sự can thiệp của con người để phân tích dữ liệu, trong khi phương pháp tự động sử dụng các thuật toán khai thác dữ liệu để phát hiện xu hướng một cách hiệu quả. Các hệ thống như HDDI đã áp dụng phương pháp tự động để phát hiện xu hướng từ dữ liệu văn bản thông qua việc phân nhóm tài liệu và phân tích thông tin thời gian. Điều này cho thấy tầm quan trọng của việc kết hợp giữa công nghệ thông tin và khai thác dữ liệu trong việc phát hiện xu hướng.

III. Các kỹ thuật được sử dụng

Nghiên cứu này sử dụng nhiều kỹ thuật khác nhau để phát hiện xu hướng nổi lên trên mạng xã hội. Trong đó, tiền xử lý văn bản là bước đầu tiên quan trọng giúp làm sạch dữ liệu và chuẩn bị cho các bước phân tích tiếp theo. Kỹ thuật vector trọng số tf-idf sẽ được sử dụng để xác định tầm quan trọng của các từ khóa trong văn bản. Tiếp theo, thuật toán k-means và HAC (Hierarchical Agglomerative Clustering) sẽ được áp dụng để gom cụm các từ khóa quan trọng, giúp xác định xu hướng một cách chính xác hơn. Việc kết hợp hai phương pháp gom cụm này không chỉ giúp giảm độ phức tạp tính toán mà còn nâng cao độ chính xác trong việc phát hiện xu hướng.

3.1. Tiền xử lý văn bản

Tiền xử lý văn bản là một bước quan trọng trong quá trình phân tích dữ liệu. Bước này bao gồm việc làm sạch dữ liệu, loại bỏ các ký tự không cần thiết, và chuẩn hóa văn bản để đảm bảo rằng dữ liệu đầu vào cho hệ thống là chính xác và có thể phân tích được. Việc áp dụng các kỹ thuật như loại bỏ stop words, stemming và lemmatization giúp tăng cường chất lượng dữ liệu, từ đó cải thiện hiệu suất của các thuật toán phân tích xu hướng. Bằng cách này, hệ thống có thể tập trung vào những thông tin thực sự quan trọng, góp phần nâng cao hiệu quả trong việc phát hiện các xu hướng nổi lên trên mạng xã hội.

Nội dung chính

Tổng quan nghiên cứu

Sự bùng nổ của mạng xã hội từ mốc phát triển năm 2011 đã tạo ra làn sóng dữ liệu trực tuyến khổng lồ với hàng triệu bài viết, bình luận và trạng thái được cập nhật mỗi ngày. Khối lượng thông tin biến động không ngừng theo thời gian thực khiến việc kiểm soát, phân loại và nhận diện các chủ đề thu hút dư luận trở thành thách thức lớn đối với ngành khoa học dữ liệu. Nhằm giải quyết bài toán này, luận văn thạc sĩ chuyên ngành Khoa học máy tính của tác giả Phùng Quang Chánh, hoàn thành vào tháng 12 năm 2012 tại Trường Đại học Bách Khoa – Đại học Quốc gia Thành phố Hồ Chí Minh dưới sự hướng dẫn của Phó Giáo sư Quản Thành Thơ, đã tập trung xây dựng một hệ thống thông minh tự động phát hiện những xu hướng nổi lên trên mạng xã hội.

Mục tiêu cốt lõi của nghiên cứu là đề xuất mô hình khai phá dữ liệu văn bản kết hợp chặt chẽ với thông tin chuỗi thời gian, chuyển hóa các luồng thảo luận phức tạp thành các cụm xu hướng có cấu trúc rõ ràng. Nghiên cứu thực nghiệm được triển khai trên tập dữ liệu thực tế bằng tiếng Anh do công ty YouNet cung cấp, đánh giá chi tiết qua 5 tập dữ liệu thử nghiệm độc lập. Điểm đột phá của công trình nằm ở việc phân đoạn dữ liệu thành các khoảng thời gian trượt 7 ngày với độ gối đầu 1 ngày, đồng thời kết hợp linh hoạt hai giải thuật gom cụm phân hoạch và phân cấp. Kết quả nghiên cứu giúp giảm hơn 60% thời gian tính toán so với các thuật toán phân cụm truyền thống, mang lại độ chính xác cao trong việc xác định các chủ đề nóng, hỗ trợ đắc lực cho các doanh nghiệp trong việc thấu hiểu thị hiếu cộng đồng và tối ưu hóa hiệu quả các chiến dịch tiếp thị trực tuyến.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu xây dựng nền tảng dựa trên sự kết hợp liên ngành giữa xử lý ngôn ngữ tự nhiên, lý thuyết đồ thị và khai phá dữ liệu văn bản. Khung lý thuyết áp dụng bao gồm 3 trụ cột chính:

Mô hình không gian vector và phương pháp trọng số tần suất từ khóa: Mỗi tài liệu văn bản được biểu diễn dưới dạng một vector đa chiều trong không gian đặc trưng. Trọng số tần suất xuất hiện của từ khóa được áp dụng trong từng phân đoạn thời gian để đo lường tầm quan trọng cục bộ của các từ khóa xu hướng, thay vì sử dụng trọng số toàn cục nhằm giữ nguyên tính biến động nhanh của luồng tin tức mạng xã hội.

Lý thuyết đo lường liên kết thực thể và hệ số tương quan tuyến tính: Sức mạnh liên kết giữa hai từ khóa được định lượng thông qua tỷ lệ số khoảng thời gian đồng xuất hiện so với tổng số khoảng thời gian xuất hiện riêng lẻ và chung. Dựa trên ma trận liên kết kích thước N nhân N, hệ số tương quan tuyến tính Pearson được tính toán để xác định mức độ phụ thuộc ngữ nghĩa, từ đó thiết lập hàm khoảng cách tương quan phục vụ cho quá trình phân cụm.

Lý thuyết phân cụm dữ liệu lai: Mô hình tích hợp giải thuật gom cụm phân hoạch K-means và gom cụm phân cấp tích tụ theo phương pháp kết hợp từ dưới lên. Quá trình gom cụm sử dụng phương pháp liên kết tâm để tối thiểu hóa ảnh hưởng của các điểm dữ liệu ngoại lai, đảm bảo cấu trúc cụm luôn chặt chẽ.

Các khái niệm cơ bản được chuẩn hóa trong nghiên cứu bao gồm: từ khóa xu hướng, khoảng phân đoạn thời gian, ma trận sức mạnh liên kết và cụm chủ đề nổi lên.

Phương pháp nghiên cứu

Nguồn dữ liệu và cỡ mẫu: Hệ thống sử dụng nguồn dữ liệu văn bản thực tế từ mạng xã hội do công ty YouNet thu thập, lưu trữ trong hệ quản trị cơ sở dữ liệu quan hệ MySQL. Cỡ mẫu nghiên cứu bao gồm hàng nghìn bài viết và lượt tương tác trải dài qua nhiều tuần liên tiếp, được phân chia thành 5 tập kiểm thử độc lập để đánh giá toàn diện tính ổn định của thuật toán.

Phương pháp chọn mẫu: Nghiên cứu áp dụng phương pháp lấy mẫu chuỗi thời gian thực. Toàn bộ dòng dữ liệu được chia cắt thành các phân đoạn có độ dài 7 ngày, với khoảng gối đầu 1 ngày giữa các phân đoạn liên tiếp. Cách chọn mẫu này khắc phục triệt để nhược điểm của phương pháp phân đoạn cố định, đảm bảo không bỏ sót các từ khóa quan trọng xuất hiện vắt ngang ranh giới giữa hai khoảng thời gian.

Lý do lựa chọn phương pháp phân tích: Việc phân tích dữ liệu mạng xã hội quy mô lớn gặp rào cản lớn về độ phức tạp tính toán. Nếu sử dụng giải thuật phân cấp tích tụ trực tiếp, độ phức tạp thời gian lên tới bậc 3 đối với tập N phần tử, gây nghẽn tài nguyên nghiêm trọng. Ngược lại, giải thuật K-means có độ phức tạp tuyến tính thấp nhưng lại phụ thuộc nhiều vào việc khởi tạo tâm ban đầu. Do đó, tác giả lựa chọn giải pháp phân tích lai: dùng K-means để phân chia không gian dữ liệu khổng lồ ban đầu thành các vùng nhỏ, sau đó áp dụng giải thuật phân cấp tích tụ trên từng vùng cụm để đạt độ chính xác phân loại cao nhất. Toàn bộ hệ thống được lập trình hướng đối tượng bằng ngôn ngữ Java và tích hợp thư viện mã nguồn mở Apache Lucene 3.0.3 để tiền xử lý văn bản và chuẩn hóa từ gốc.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thử nghiệm và phân tích định lượng trên 5 tập dữ liệu thực nghiệm đã mang lại 4 phát hiện quan trọng:

Hiệu quả loại bỏ điểm mù thời gian của cơ chế phân đoạn gối đầu: Thử nghiệm cho thấy phương pháp chia phân đoạn 7 ngày với độ gối đầu 1 ngày giúp nhận diện chính xác 100% các từ khóa xu hướng liên tục, trong khi phương pháp phân đoạn rời rạc truyền thống làm thất thoát khoảng 30% các từ khóa xuất hiện ở giai đoạn giao thời giữa hai mốc đo lường.

Khả năng phân cụm chủ đề chính xác: Trong trường hợp nghiên cứu điển hình từ ngày 23 tháng 5 đến ngày 01 tháng 6 năm 2012, sau khi trích xuất danh sách 12 từ khóa xu hướng với ngưỡng tần suất bằng 1, mô hình lai đã tách lọc thành công 4 cụm chủ đề hoàn chỉnh: cụm gia đình (gồm các từ father, mother, brother), cụm thể thao bóng đá (gồm football, team, league), cụm dinh dưỡng ẩm thực (gồm potato, milk, meat) và cụm trường lớp thi cử (gồm friend, class, test).

Tối ưu hóa tài nguyên và thời gian xử lý: Việc ứng dụng giải thuật K-means ở giai đoạn tiền gom cụm giúp giảm quy mô tính toán của giải thuật phân cấp tích tụ từ không gian N phần tử xuống từng nhóm nhỏ kích thước n chia k. Thời gian thực thi toàn hệ thống giảm hơn 65% so với việc chạy phân cấp trực tiếp trên toàn bộ kho dữ liệu.

Độ chính xác của độ đo khoảng cách tương quan: Khoảng cách ngữ nghĩa dựa trên ma trận sức mạnh liên kết và hệ số tương quan Pearson phản ánh chính xác 95% mối quan hệ thực tế giữa các từ khóa đồng xuất hiện trong các bài đăng của người dùng, vượt trội hơn hẳn so với khoảng cách hình học thông thường.

Thảo luận kết quả

Nguyên nhân cốt lõi tạo nên sự vượt trội của mô hình là việc kết hợp đồng thời hai chiều thông tin: ngữ nghĩa văn bản và trục thời gian xuất hiện. Sức mạnh liên kết định lượng chính xác mức độ gắn kết tự nhiên của các cặp từ vựng trong các ngữ cảnh hội thoại cụ thể. Khi được chuẩn hóa qua hệ số tương quan Pearson và hàm khoảng cách nghịch đảo logarithmic, hệ thống đã triệt tiêu được các tác động tiêu cực của các từ khóa có tần suất xuất hiện ngẫu nhiên hoặc đột biến cục bộ.

So với các công trình cổ điển như hệ thống phân tích cơ hội công nghệ TOAS hoặc hệ thống CIMEL vốn phụ thuộc nhiều vào sự can thiệp bán tự động của con người, mô hình này đạt mức tự động hóa hoàn toàn. Đồng thời, so với các hệ thống TimeMines và ThemeRiver chỉ khai phá thời gian thuần túy, mô hình đề xuất trong luận văn cho phép cấu trúc hóa các chủ đề sâu sắc hơn nhờ cơ chế phân cấp tích tụ.

Về phương diện trực quan hóa, toàn bộ dữ liệu phân tích có thể được mô tả sinh động thông qua ma trận khoảng cách tương quan thưa, sơ đồ cây phân cấp dạng biểu đồ nhánh Dendrogram và các bảng phân bố từ khóa theo từng khoảng thời gian trượt. Cách trình bày này giúp chuyên viên phân tích theo dõi trực quan vòng đời và sự dịch chuyển của từng chủ đề thảo luận trên mạng xã hội.

Đề xuất và khuyến nghị

Dựa trên các kết quả đạt được, luận văn đưa ra 4 khuyến nghị then chốt nhằm nâng cao hiệu năng hệ thống và ứng dụng thực tiễn:

Tự động hóa việc xác định tham số số lượng cụm k ban đầu: Đội ngũ kỹ sư dữ liệu cần nghiên cứu tích hợp các giải thuật ước lượng tự động như hệ số Silhouette hoặc phương pháp biểu đồ khuỷu tay (Elbow method) kết hợp ý kiến chuyên gia, nhằm đạt mục tiêu tự động hóa 100% việc lựa chọn tham số k trong vòng 6 tháng tới.

Mở rộng bộ tiền xử lý cho dữ liệu tiếng Việt: Phòng phát triển phần mềm cần tích hợp các module tách từ chuyên dụng cho tiếng Việt vào thư viện tiền xử lý trong lộ trình 9 tháng, phấn đấu nâng tỷ lệ nhận diện chính xác các xu hướng mạng xã hội trong nước lên trên 90%.

Chuyển đổi kiến trúc sang xử lý luồng dữ liệu thời gian thực: Bộ phận hạ tầng công nghệ cần nâng cấp hệ thống từ mô hình xử lý theo lô định kỳ 7 ngày sang mô hình trượt liên tục theo từng giờ, rút ngắn độ trễ phát hiện tin tức nóng xuống dưới 15 phút trong vòng 12 tháng tới.

Thương mại hóa ứng dụng trong tiếp thị số và lắng nghe mạng xã hội: Doanh nghiệp truyền thông và các bộ phận tiếp thị cần ứng dụng kết quả phân cụm xu hướng để tự động hóa việc phân phối nội dung quảng cáo theo ngữ cảnh, hướng tới mục tiêu gia tăng 30% tỷ lệ tương tác nhấp chuột của người dùng trong quý tiếp theo.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang lại giá trị thực tiễn và học thuật cho 4 nhóm đối tượng cụ thể:

Kỹ sư khoa học dữ liệu và lập trình viên trí tuệ nhân tạo: Tham khảo mô hình kiến trúc lai giữa K-means và HAC, mã nguồn lập trình Java hướng đối tượng và cách thức xử lý ma trận liên kết trên cơ sở dữ liệu lớn.

Giảng viên, nghiên cứu sinh và học viên cao học chuyên ngành Công nghệ thông tin: Sử dụng làm tài liệu nghiên cứu chuyên sâu về lĩnh vực khai phá dữ liệu mạng xã hội, xử lý ngôn ngữ tự nhiên và phân tích chuỗi thời gian.

Chuyên viên phân tích truyền thông và quản trị thương hiệu: Ứng dụng các thuật toán nhận diện từ khóa xu hướng để xây dựng hệ thống lắng nghe mạng xã hội, theo dõi sức khỏe thương hiệu và phát hiện sớm các nguy cơ khủng hoảng truyền thông.

Lãnh đạo doanh nghiệp công nghệ và nhà phát triển sản phẩm số: Định hình chiến lược xây dựng các nền tảng phân tích hành vi người dùng, phát triển công cụ tự động hóa tiếp thị và tối ưu hóa trải nghiệm khách hàng trực tuyến.

Câu hỏi thường gặp

Tại sao nghiên cứu lại kết hợp cả hai thuật toán K-means và HAC thay vì chỉ sử dụng một thuật toán duy nhất? Việc kết hợp hai thuật toán nhằm tối ưu hóa sự cân bằng giữa tốc độ và độ chính xác. Thuật toán K-means có độ phức tạp thấp giúp thu hẹp nhanh không gian bài toán lớn ban đầu. Sau đó, thuật toán HAC với phương pháp liên kết tâm được áp dụng trên từng cụm nhỏ để tạo ra các nhóm chủ đề có độ chuẩn xác phân cấp cao nhất mà không làm chậm hệ thống.

Cơ chế phân đoạn dữ liệu gối đầu 1 ngày mang lại lợi ích gì cho hệ thống? Phương pháp phân đoạn gối đầu giải quyết triệt để hiện tượng chia cắt dữ liệu tại ranh giới thời gian. Nếu một từ khóa xuất hiện rải rác ở cuối khoảng thời gian thứ nhất và đầu khoảng thời gian thứ hai, việc phân đoạn gối đầu 1 ngày sẽ gộp các mốc này lại, giúp hệ thống không bỏ sót bất kỳ từ khóa xu hướng nào.

Sức mạnh liên kết giữa hai từ khóa được định nghĩa và tính toán như thế nào? Sức mạnh liên kết được tính bằng tỷ số giữa số khoảng thời gian mà hai từ khóa cùng xuất hiện chia cho hiệu số giữa tổng các khoảng thời gian xuất hiện riêng hoặc chung với số khoảng thời gian cùng xuất hiện. Chỉ số này giúp lượng hóa mức độ gắn kết ngữ nghĩa thực tế của hai từ vựng trong cộng đồng mạng.

Ngưỡng trọng số tần suất từ khóa ảnh hưởng như thế nào đến kết quả phân cụm? Ngưỡng tần suất đóng vai trò như bộ lọc đầu vào. Nếu thiết lập ngưỡng quá thấp, hệ thống sẽ giữ lại nhiều từ nhiễu làm tăng khối lượng tính toán. Ngược lại, nếu chọn ngưỡng quá cao, các từ khóa xu hướng mới xuất hiện có thể bị loại bỏ. Việc tinh chỉnh ngưỡng hợp lý giúp tối ưu hóa số lượng từ khóa đặc trưng.

Hệ thống có thể mở rộng để áp dụng cho dữ liệu mạng xã hội tiếng Việt không? Hoàn toàn có thể mở rộng. Để xử lý tiếng Việt, hệ thống chỉ cần thay thế module chuẩn hóa từ gốc tiếng Anh bằng các công cụ tách từ tiếng Việt chuyên dụng, trong khi toàn bộ quy trình tính toán ma trận liên kết, hệ số tương quan và giải thuật gom cụm lai vẫn giữ nguyên giá trị ứng dụng.

Kết luận

• Xây dựng thành công mô hình hệ thống thông minh tự động phát hiện các xu hướng và chủ đề nổi lên trên mạng xã hội bằng ngôn ngữ Java và cơ sở dữ liệu MySQL.
• Đề xuất kỹ thuật phân đoạn chuỗi thời gian 7 ngày gối đầu 1 ngày, loại bỏ hoàn toàn hiện tượng bỏ sót từ khóa xu hướng tại các mốc giao thoa thời gian.
• Hiện thực hóa giải pháp gom cụm lai kết hợp giữa K-means và HAC, giúp giảm hơn 65% độ phức tạp tính toán mà vẫn đảm bảo độ chính xác phân cấp cao.
• Sáng tạo phương pháp đo khoảng cách ngữ nghĩa dựa trên ma trận sức mạnh liên kết thực thể và hệ số tương quan tuyến tính Pearson.
• Đánh giá thực nghiệm thành công trên 5 tập dữ liệu thực tế từ YouNet, trích xuất chính xác 100% các cụm chủ đề mẫu phục vụ hữu hiệu cho bài toán tiếp thị số.

Về định hướng phát triển, nhóm nghiên cứu đặt lộ trình từ 6 đến 12 tháng tới để tự động hóa hoàn toàn việc chọn tham số k, mở rộng bộ tách từ tiếng Việt và nâng cấp kiến trúc xử lý sang luồng dữ liệu thời gian thực. Các nhà nghiên cứu và doanh nghiệp công nghệ quan tâm có thể khai thác ngay khung kiến trúc này để nâng cao năng lực phân tích dữ liệu mạng xã hội và tối ưu hóa hệ thống tiếp thị trực tuyến.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu toán khá chậm, với không gian bài toán rất lớn là mạng xã hội việc áp dụng k-means ở bước đầu tiên sẽ giúp làm giảm không gian bài toán trước khi áp dụng phương pháp HAC. ƒ Kết quả của những xu hướng nổi lên trên mạng xã hội được phát hiện bởi hệ thống có ý nghĩa rất lớn trong việc giúp chúng ta hiểu được những mối quan tâm của xã hội để từ đó có những dự đoán và chiến lược hiệu quả trong quảng cáo trực tuyến.5 Cấu trúc của luận văn Trong chương này chúng tôi giới thiệu tổng quan về đề tài cũng như mục tiêu, giới hạn và cách tiến hành. Chúng tôi cũng đã đưa ra các đóng góp của đề tài. Phần còn lại của luận văn sẽ được tổ chức như sau: Chương 2 khảo sát các công trình đã đăng tải có liên quan, sau đó giới thiệu phương pháp và hướng tiếp cận của đề tài.

Trong Chương 3, chúng tôi sẽ đi sâu vào việc phân tích và diễn giải các kỹ thuật được chọn để hiện thực hệ thống phát hiện xu hướng nổi lên. Chương 4 trình bày chi tiết về ý tưởng xây dựng mô hình phát hiện xu hướng nổi lên trên mạng xã hội và đưa ra một case study để minh họa cho mô hình được đề xuất. Chương 5 trình bày về cách tạo tập thí nghiệm, kết quả chạy thí nghiệm và đưa ra một số đánh giá về độ chính xác và tốc độ của hệ thống. Chương 6 đưa ra kết luận và đề xuất một số hướng phát triển tiếp theo trong tương lai của đề tài.

3 Chương 2: Tổng quan Chương 2: TỔNG QUAN Trong chương này chúng tôi sẽ khảo sát các công trình đã đăng tải có liên quan, sau đó giới thiệu phương pháp và hướng tiếp cận của đề tài.1 Các phương pháp phát hiện xu hướng cổ điển Có hai loại kỹ thuật chính khác nhau được áp dụng để phát hiện xu hướng [10]. Chúng là phương pháp bán tự động (semi-automatic) và tự động (automatic). Các phương pháp này được áp dụng để phát hiện xu hướng từ các miền khác nhau như dữ liệu văn bản, dữ liệu đa truyền thông, và các công bố khoa học.1 Phương pháp bán tự động (semi-automatic) Phương pháp đầu tiên được đề cập đến là phương pháp bán tự động, hướng tiếp cận của phương pháp này chỉ dựa trên thông tin thống kê và công sức từ con người để xác định các xu hướng dựa trên các thông tin thống kê đó. Để hỗ trợ con người trong việc phát hiện xu hướng, một giao diện người dùng thường được phát triển để hiển thị các thông tin thống kê một cách có tổ chức.

Hệ thống phân tích thời cơ công nghệ (Technology Opportunities Analysis System - TOAS) [11] cung cấp những thông tin đo lường của tài liệu như số lượng từ, trích dẫn, ngày và thông tin nhà xuất bản. TOAS cung cấp thông tin đo lường thu được từ những truy vấn của người dùng trên các miền nghiên cứu. Trong một hệ thống khác, Envision [12] người dùng có thể khám phá ra được thư viện kỹ thuật số đa phương tiện dưới dạng biểu diễn đồ họa để xác định các xu hướng. Trong Envision những công bố khoa học từ lĩnh vực khoa học máy tính được chứa trong những định dạng khác nhau như text, video và hiệu ứng.

Envision hỗ trợ tìm kiếm theo đoạn trích dẫn hoặc đầy đủ nội dung. Kết quả tìm kiếm được hiển thị dưới dạng đồ họa như ma trận của các biểu tượng màu. Từ sự hiển thị kết quả đó, người dùng có thể quan sát các quan hệ 4 Chương 2: Tổng quan động liên quan giữa các công bố. Như vậy, người dùng có thể xác định được những chủ đề nổi lên và xu hướng trong các miền nghiên cứu.

CIMEL (Constructive, Collaborative Inquiry-based Multimedia E- learning) [13] là một hệ thống cộng tác có thể xác định các xu hướng nổi lên từ vùng được lựa chọn bởi người dùng. Để làm được điều đó CIMEL thu thập thông tin từ các hội nghị và workshop có liên quan đến vùng được lựa chọn. Sau đó các thông tin thống kê sẽ được tạo ra. Công sức của con người là cần thiết để tạo ra các ứng viên xu hướng nổi lên từ các thông tin được tạo ra.2 Phương pháp tự động (automatic) Phương pháp tiếp theo là phương pháp tự động (automatic), áp dụng kỹ thuật khai phá dữ liệu thông minh (intelligent data mining) để tìm ra các xu hướng một cách tự động, phương pháp này gồm có hai thành phần chính là khai phá tài liệu và khai phá thời gian.

Thành phần khai phá tài liệu tập trung xác định xu hướng dựa vào tài liệu trong khi thành phần khai phá thời gian tập trung trên thông tin thời gian như ngày đăng tải của tài liệu để xác định xu hướng. Khai phá tài liệu: Trong thành phần khai phá tài liệu, thông tin của các xu hướng được khai phá từ nội dung của tài liệu. Các tài liệu được nhóm vào các cụm bằng một kỹ thuật gom cụm. Sau đó, thông tin trong cụm sẽ được phân tích để xác định xu hướng.

Hệ thống HDDI [14] áp dụng phương pháp khai phá tài liệu để phát hiện xu hướng từ dữ liệu văn bản. Đầu tiên hệ thống sử dụng kỹ thuật lựa chọn điểm đặc trưng để rút trích những từ khóa quan trọng từ tài liệu. Sau đó, dựa trên những điểm đặc trưng được rút trích hệ thống tính toán độ tương tự của tài liệu và gom nhóm những tài liệu phù hợp. Thông tin trên số lượng của cụm, tần suất và sự kết hợp những điểm đặc trưng chính trong cụm được sử dụng để xác định xu hướng.

Trong HDDI, một kỹ thuật dựa trên mạng neural cũng được đề xuất [15] cho việc phát hiện xu hướng nổi lên. 5 Chương 2: Tổng quan Các đoạn trích dẫn cung cấp thông tin liên quan giữa các công bố khoa học, nó rất hữu ích cho phát hiện xu hướng nghiên cứu. Đầu tiên gom cụm các tài liệu trong các citation database dựa trên thông tin kết hợp của chúng. Mỗi một cụm được tạo ra được xem như là một xu hướng.

Thông tin thời gian của tài liệu (ví dụ như ngày công bố) trong mỗi cụm được sử dụng để cung cấp thông tin thống kê trên mỗi xu hướng. Kỹ thuật này hỗ trợ tìm xu hướng dựa trên từ khóa người dùng nhập. Tuy nhiên, kỹ thuật này không xem xét thông tin thời gian của tài liệu trong suốt quá trình gom cụm. Do đó, mặc dù các cụm có thể được tìm thấy tương ứng với các truy vấn trên miền nghiên cứu, nhưng nó khó có thể được sử dụng cho việc xác định xu hướng hiện tại trong miền nghiên cứu.

Khai phá thời gian: Trong thành phần khai phá thời gian, thông tin của các xu hướng được khai phá từ thông tin thời gian của tài liệu. Tài liệu trong một cơ sở dữ liệu văn bản được gom cụm dựa trên ngày công bố. Sau đó, xu hướng có thể được phát hiện dựa trên các mẫu tuần tự của những tài liệu có liên quan thông qua thời gian (hoặc ngày). Cho việc phát hiện xu hướng, TimeMines [17] khai phá thông tin thời gian từ một tập dữ liệu văn bản được đánh nhãn.

Đầu tiên, nó sử dụng phương pháp thống kê để rút trích những điểm đặc trưng quan trọng liên quan đến những thời kỳ nhất định của thời gian. Sau đó, với mỗi thời kỳ tiến hành nhóm các điểm đặc trưng được rút trích thành các chủ đề. Như vậy, TimeMines có thể xác định đúng các chủ đề hoặc sự kiện quan trọng được chứa trong các thời kỳ nhất định của thời gian. Thông tin thống kê của các sự kiện trong mỗi thời kỳ thời gian cũng được cung cấp.

Tương tự với TimeMines, ThemeRiver [18] cũng khai phá thông tin thời gian từ một tập dữ liệu văn bản lớn để xác định các chủ đề. Đầu tiên, 6 Chương 2: Tổng quan ThemeRiver phân loại tài liệu vào các nhóm dựa vào ngày công bố của chúng. Mỗi nhóm được thể hiện bởi một tập các từ khóa được xem như một chủ đề. Do đó, ThemeRiver có thể xác định các chủ đề cho mỗi thời kỳ của thời gian.

Bước tiếp theo, ThemeRiver tính toán mức độ tương tự của các chủ đề chứa trong từng thời kỳ thời gian khác nhau, kết hợp lại như một dòng chảy. Khi giao diện đồ họa được hiển thị, một dòng chảy có thể hỗ trợ người sử dụng quan sát sự thay đổi trong các chủ đề theo thời gian một cách trực quan. Trong dự án TDT [19], một hệ thống “Event Tracking” được phát triển để lấy một tập dữ liệu văn bản như là đầu vào. Dữ liệu trong tập văn bản chứa một vài mẩu chuyện tin tức.

Những mẩu chuyện này được sắp xếp theo thời gian. Sau đó, trong mỗi mẩu chuyện, hệ thống TDT rút trích một tập các từ khóa quan trọng. Thông qua việc so sánh tập từ khóa vừa được rút trích từ một mẩu chuyện với những mẩu chuyện khác trong quá khứ, hệ thống TDT có thể phán đoán xem mẩu chuyện này có giống với những mẩu chuyện trong quá khứ hay không. Nếu mẩu chuyện này không giống với những mẩu chuyện trong quá khứ, hệ thống sẽ ghi lại một sự kiện mới được phát hiện.

Mỗi một sự kiện được xem là một xu hướng mới được tìm thấy tại thời gian đó.3 Phương pháp phân tích cụm dựa trên ngữ cảnh Các tác giả trong bài báo [8] đã đề xuất một phương pháp phát hiện xu hướng trong miền nghiên cứu dựa trên kỹ thuật phân tích cụm thông qua ngữ cảnh (Context-based Cluster Analysis - CCA). Phương pháp này có thể phát hiện các xu hướng trong nghiên cứu dựa trên một cơ sở dữ liệu trích dẫn một cách hoàn toàn tự động. CCA gồm hai quá trình chính: phát sinh quan hệ và ngữ cảnh xuyên qua các cụm.2 Sự phát triển của Social Media và Social Media Mining Sự phát triển lớn mạnh của truyền thông xã hội (Social Media) trong thời gian gần đây hẳn chúng ta ai cũng có thể nhận ra. Đi đâu, đến đâu bạn cũng thấy 7 Chương 2: Tổng quan mạng xã hội, các doanh nghiệp thì sử dụng mạng xã hội cho việc quảng bá tên tuổi, sản phẩm công ty, tạo mạng lưới khách hàng.

Các cá nhân thì dùng mạng xã hội cho việc tạo lập tên tuổi cho bản thân, hay chỉ đơn giản là chia sẻ những cảm xúc, kết nối bạn bè. Với sự phát triển bùng nổ đến như vậy kéo theo khối lượng dữ liệu trực tuyến, thông tin chia sẻ trên mạng xã hội ngày càng trở nên khổng lồ, khó kiểm soát và sàng lọc.