Khóa Luận Tốt Nghiệp: Phân Tích Đánh Giá Khách Hàng Realtime Sử Dụng Machine Learning Trên Nền Tảng Big Data

• Tác giả: Nguyen Hoang Nhat
• Người hướng dẫn: Hop Do Trong, Ph.D
• Trường học: Vietnam National University Ho Chi Minh City, University of Information Technology
• Chuyên ngành: Information Systems
• Đề tài: Real-Time Customer Reviews Analysis Using Machine Learning on Big Data Framework
• Loại tài liệu: thesis
• Năm xuất bản: 2021
• Địa điểm: Ho Chi Minh City

• ACKNOWLEDGMENTS
• TABLE OF CONTENTS
• 1. CHƯƠNG 1: PROBLEM STATEMENT
• 1.1. Rationale
• 1.2. Aims
• 1.3. Object and range of study
• 2. CHƯƠNG 2: RELATED WORK
• 3. CHƯƠNG 3: METHODOLOGY
• 3.1. Core technologies of spark and its components
• 3.2. Machine learning algorithms
• 3.3. Sentiment Analysis of Twitter Data
• 4. CHƯƠNG 4: EXPERIMENTAL RESULTS
• 4.1. Prepare data for the real-time problem
• 4.2. Dataset for train-test
• 4.2.1. TF-IDF vectorizer + Logistic Regression Classifier
• 4.2.2. TF-IDF vectorizer + NaiveBayes Classifier
• 4.2.3. TF-IDF vectorizer + Decision Tree Classifier
• 4.2.4. TF-IDF vectorizer + Random Forest Classifier
• 4.3. Compare Model
• 4.4. Real-time sentiment analyst
• 4.5. Compare with UIT-VSMEC
• 5. CHƯƠNG 5: SUMMARY
• 6. CHƯƠNG 6: FUTURE WORK
• REFERENCES

I. Phân Tích Khách Hàng

Phân tích khách hàng là quá trình thu thập và xử lý dữ liệu để hiểu rõ hành vi, nhu cầu và phản hồi của khách hàng. Trong nghiên cứu này, Big Data và Machine Learning được sử dụng để phân tích dữ liệu từ mạng xã hội, đặc biệt là Twitter. Các tweet được thu thập và phân loại theo cảm xúc như buồn, vui, giận dữ, sợ hãi, ghê tởm và ngạc nhiên. Phương pháp này giúp doanh nghiệp theo dõi phản hồi của khách hàng một cách hiệu quả và nhanh chóng.

1.1. Thu thập dữ liệu

Dữ liệu được thu thập từ Twitter thông qua công cụ crawler, sau đó được gán nhãn cảm xúc. Bộ dữ liệu này kết hợp với bộ dữ liệu UIT-VSMEC để tăng độ chính xác trong phân tích. Big Data đóng vai trò quan trọng trong việc xử lý khối lượng dữ liệu lớn, đảm bảo tính realtime trong phân tích.

1.2. Phân loại cảm xúc

Các thuật toán Machine Learning như Logistic Regression, Naive Bayes, Decision Tree và Random Forest được sử dụng để phân loại cảm xúc. Kết quả cho thấy Logistic Regression có độ chính xác cao nhất. Phương pháp này giúp doanh nghiệp hiểu rõ phản ứng của khách hàng đối với sản phẩm và dịch vụ.

II. Đánh Giá Khách Hàng

Đánh giá khách hàng là quá trình phân tích và đưa ra nhận định về hành vi và phản hồi của khách hàng. Nghiên cứu này sử dụng Machine Learning để đánh giá cảm xúc của khách hàng thông qua các tweet. Kết quả phân tích được cập nhật liên tục, giúp doanh nghiệp đưa ra quyết định kịp thời.

2.1. Phân tích cảm xúc

Hệ thống phân tích cảm xúc được xây dựng trên nền tảng Apache Spark, cho phép xử lý hàng triệu tweet trong thời gian thực. Kết quả phân tích bao gồm số lượng tweet, tỷ lệ cảm xúc và thời gian phản hồi. Điều này giúp doanh nghiệp nắm bắt xu hướng và phản ứng của khách hàng một cách nhanh chóng.

2.2. Ứng dụng thực tế

Phương pháp này có thể áp dụng trong nhiều lĩnh vực như quản lý thương hiệu, khảo sát sản phẩm và phân tích thị trường. Kết quả phân tích giúp doanh nghiệp cải thiện sản phẩm và dịch vụ, tăng cường sự hài lòng của khách hàng.

III. Realtime và Big Data

Realtime và Big Data là hai yếu tố quan trọng trong nghiên cứu này. Hệ thống được xây dựng trên nền tảng Apache Spark, cho phép xử lý dữ liệu lớn và cập nhật kết quả liên tục. Điều này giúp doanh nghiệp theo dõi phản hồi của khách hàng một cách nhanh chóng và chính xác.

3.1. Xử lý dữ liệu lớn

Big Data đóng vai trò quan trọng trong việc xử lý khối lượng dữ liệu lớn từ mạng xã hội. Apache Spark được sử dụng để phân tích dữ liệu một cách hiệu quả, đảm bảo tính realtime trong cập nhật kết quả.

3.2. Cập nhật kết quả liên tục

Hệ thống cập nhật kết quả phân tích liên tục, giúp doanh nghiệp nắm bắt xu hướng và phản ứng của khách hàng một cách nhanh chóng. Điều này đặc biệt hữu ích trong các chiến dịch marketing và khảo sát sản phẩm.

IV. Machine Learning và Phân Tích Dữ Liệu

Machine Learning và Phân tích dữ liệu là hai công nghệ chính được sử dụng trong nghiên cứu này. Các thuật toán Machine Learning được áp dụng để phân loại cảm xúc từ các tweet, trong khi Phân tích dữ liệu giúp hiểu rõ hành vi và phản hồi của khách hàng.

4.1. Thuật toán Machine Learning

Các thuật toán Logistic Regression, Naive Bayes, Decision Tree và Random Forest được sử dụng để phân loại cảm xúc. Kết quả cho thấy Logistic Regression có độ chính xác cao nhất, phù hợp với phân tích dữ liệu lớn.

4.2. Phân tích hành vi khách hàng

Phân tích dữ liệu giúp hiểu rõ hành vi và phản hồi của khách hàng. Kết quả phân tích được sử dụng để cải thiện sản phẩm và dịch vụ, tăng cường sự hài lòng của khách hàng.

V. Tối Ưu Hóa Khách Hàng và Dự Đoán Hành Vi

Tối ưu hóa khách hàng và Dự đoán hành vi là hai mục tiêu chính của nghiên cứu này. Phân tích dữ liệu và Machine Learning giúp dự đoán hành vi khách hàng, từ đó tối ưu hóa chiến lược kinh doanh.

5.1. Dự đoán hành vi

Các thuật toán Machine Learning được sử dụng để dự đoán hành vi khách hàng dựa trên phản hồi từ các tweet. Kết quả dự đoán giúp doanh nghiệp đưa ra chiến lược kinh doanh phù hợp.

5.2. Tối ưu hóa chiến lược

Phân tích dữ liệu giúp tối ưu hóa chiến lược kinh doanh, cải thiện sản phẩm và dịch vụ. Điều này giúp doanh nghiệp tăng cường sự hài lòng của khách hàng và nâng cao hiệu quả kinh doanh.