Bối cảnh và vấn đề nghiên cứu
Trong giai đoạn phát triển mạnh mẽ của thương mại điện tử và Internet, các hình thức quảng bá truyền thống như đặt biểu ngữ (banner) trên các trang tin tức hay quảng cáo trên truyền hình thường đòi hỏi chi phí lớn nhưng hiệu quả giữ chân khách hàng chưa cao. Sự bùng nổ của mạng xã hội mở ra một môi trường tương tác trực tuyến rộng lớn, nơi người dùng kết nối dựa trên sở thích, mối quan hệ gia đình, bạn bè và đồng nghiệp. Tuy nhiên, dữ liệu trên mạng xã hội có tính chất đa dạng, phức tạp và liên tục biến đổi theo thời gian, đặt ra thách thức lớn cho việc phân tích và nắm bắt chính xác hành vi mua sắm của người dùng.
Khóa luận tốt nghiệp chuyên ngành Công nghệ Thông tin với đề tài "Xây dựng hệ thống giới thiệu bán hàng trên mạng xã hội" được thực hiện nhằm giải quyết bài toán gợi ý mua sắm trên môi trường mạng xã hội, trọng tâm là bài toán gợi ý quà tặng sinh nhật cho những người có mối quan hệ với khách hàng trên mạng xã hội Facebook.
Mục tiêu và nhiệm vụ nghiên cứu cụ thể của đề tài bao gồm:
- Nghiên cứu và kết hợp ít nhất 2 phương pháp khai phá dữ liệu truyền thống (Gom cụm và Cây quyết định) để thích ứng với tập dữ liệu đa dạng và biến đổi của mạng xã hội, khắc phục các nhược điểm khi áp dụng từng thuật toán đơn lẻ.
- Xây dựng phương pháp xử lý dữ liệu kết hợp giữa trực tuyến (Online) và ngoại tuyến (Offline) nhằm tối ưu hóa hiệu suất hệ thống và giải quyết rào cản chi phí hạ tầng máy chủ phân tích dữ liệu.
- Xây dựng website thử nghiệm mang tên
face4shop.com tích hợp API của Facebook để kiểm chứng ý tưởng phát triển và đánh giá độ chính xác của giải pháp.
Đối tượng và phạm vi nghiên cứu:
- Đối tượng nghiên cứu: Các phương pháp khai phá dữ liệu (Clustering, Decision Tree), cấu trúc liên kết đồ thị và thông tin người dùng trên mạng xã hội, hành vi giao dịch và tập thuộc tính sản phẩm trong bài toán gợi ý mua quà tặng.
- Phạm vi không gian: Triển khai thử nghiệm trên hệ sinh thái mạng xã hội Facebook thông qua nền tảng mở (Open Platform) và hệ thống website bán hàng trực tuyến
face4shop.com.
- Phạm vi thời gian: Đề tài được hoàn thành trong thời gian 14 tuần (từ ngày 13/09/2010 đến ngày 18/12/2010) tại Khoa Khoa học và Công nghệ, Trường Đại học Hoa Sen.
Cơ sở lý thuyết và phương pháp nghiên cứu
Cơ sở lý thuyết
Khóa luận xây dựng nền tảng lý luận dựa trên hai trụ cột chính: mô hình mạng xã hội và kỹ thuật khai phá dữ liệu (Data Mining).
Tổng quan mạng xã hội:
Nghiên cứu phân tích quá trình tiến hóa từ Diễn đàn (Forum), Nhật ký trực tuyến (Blog) đến Mạng xã hội. Cấu trúc mạng xã hội được biểu diễn dưới dạng đơn đồ thị vô hướng gồm các nút (node - đại diện cho cá nhân, tổ chức) và các liên kết (tie - đại diện cho mối quan hệ). Tác giả so sánh hai mô hình mạng xã hội tiêu biểu thời điểm nghiên cứu:
| Tiêu chí |
Mạng xã hội Facebook |
Mạng xã hội MySpace |
| Mô hình kết nối |
Định hướng quan hệ xã hội (Social-oriented), kết nối qua gia đình, bạn bè, đồng nghiệp. |
Định hướng truyền thông/sở thích (Media-oriented), kết nối qua âm nhạc, nghệ thuật. |
| Phân loại quan hệ |
Rộng và chặt chẽ, dựa trên địa lý, trường học, liên kết trung gian. |
Chủ yếu liên kết bạn bè thông thường và quan hệ giữa nghệ sĩ với người hâm mộ. |
| Khả năng tiếp cận ngoài |
Cung cấp Open Platform và hệ thống API hoàn chỉnh qua Web Services. |
Hạn chế hơn, chủ yếu phục vụ các ứng dụng nội bộ và tương tác thành viên. |
Kỹ thuật khai phá dữ liệu:
Khai phá dữ liệu được phân định thành hai nhóm chức năng chính:
- Nhóm mô tả (Descriptive): Phân nhóm (Clustering), Luật kết hợp (Association Rules), Phân tích trình tự (Sequence Analysis).
- Nhóm dự đoán (Predictive): Phân lớp (Classification), Hồi quy (Regression), Phân tích độ lệch (Deviation Analysis).
Khóa luận đi sâu vào hai thuật toán trọng tâm:
- Phương pháp phân cụm (Clustering): Sử dụng các phương pháp phân hoạch (k-means) với độ đo khoảng cách Euclide và phương pháp phân cấp (Hierarchical Clustering) nhằm gom các đối tượng có thuộc tính tương đồng vào cùng một cụm.
- Phương pháp cây quyết định (Decision Tree): Dựa trên cấu trúc cây phân cấp với thuật toán chọn thuộc tính phân chia theo Độ lợi thông tin (Information Gain) và hàm Entropy (tương tự thuật toán ID3, C4.5). Khóa luận cũng phân tích các giải pháp hạn chế tình trạng quá khớp (Overfitting) thông qua kỹ thuật cắt tỉa trước (pre-pruning) và cắt tỉa sau (post-pruning).
Bên cạnh đó, tác giả khảo sát các thuật toán được hỗ trợ trên Microsoft SQL Server Analysis Services (SSAS) Data Mining, bao gồm: Naïve Bayes, Neural Network, Time Series, Sequence Clustering và Association.
Phương pháp nghiên cứu thực tế
- Phương pháp phân tích - tổng hợp: Nghiên cứu tài liệu chuyên khảo về Data Mining và kỹ thuật phát triển ứng dụng trên nền tảng mạng xã hội.
- Phương pháp lai ghép (Hybrid Approach): Kết hợp phân cụm và cây quyết định theo quy trình 2 giai đoạn:
- Giai đoạn 1 (Clustering): Gom nhóm khách hàng và loại sản phẩm tương ứng dựa trên các thuộc tính khái quát (độ tuổi, giới tính, tháng mua hàng) nhằm làm giảm số chiều dữ liệu.
- Giai đoạn 2 (Decision Tree): Sử dụng tập dữ liệu của từng cụm để huấn luyện cây quyết định đi sâu vào chi tiết các thuộc tính sản phẩm (màu sắc, kích cỡ, chủng loại), đưa ra luật dự đoán khả năng mua hàng.
- Phương pháp thực nghiệm: Xây dựng hệ thống web ứng dụng, thiết lập tập dữ liệu ngẫu nhiên có kiểm soát xu hướng mua hàng để đo lường độ chính xác của mô hình đề xuất.
Nguồn dữ liệu
- Dữ liệu tài khoản người dùng và đồ thị bạn bè trích xuất từ Facebook API (bao gồm mã định danh
uid, họ tên, ngày sinh, giới tính, hình ảnh, danh sách bạn bè).
- Dữ liệu giao dịch, đơn hàng và danh mục hàng hóa từ hệ thống
face4shop.com.
- Tập dữ liệu kiểm thử được sinh ngẫu nhiên có gán nhãn kịch bản xu hướng mua sắm để phục vụ đánh giá thuật toán.
Thiết kế và triển khai hệ thống
Kiến trúc giải pháp xử lý Online và Offline (Online + Offline Mode)
Để khắc phục rào cản chi phí khi thuê máy chủ chuyên dụng hỗ trợ SQL Server Analysis Services (ước tính tại thời điểm năm 2010 là 52 triệu VNĐ cho 4 tháng), nhóm nghiên cứu đã thiết kế mô hình vận hành lai ghép:
| Thành phần |
Chế độ trực tuyến (Online Tab) |
Chế độ ngoại tuyến (Offline Tab) |
| Bản chất gợi ý |
Gợi ý theo thói quen cá nhân của đối tượng được tặng. |
Gợi ý theo xu hướng mua sắm của nhóm người tương đồng. |
| Điều kiện áp dụng |
Đối tượng được tặng đã từng có giao dịch mua hàng trên hệ thống. |
Đối tượng được tặng chưa từng mua hàng hoặc đã có mua hàng. |
| Cơ chế xử lý |
Truy vấn trực tiếp cơ sở dữ liệu thời gian thực, sắp xếp tập thuộc tính sản phẩm đã mua theo tần suất giảm dần. |
Huấn luyện mô hình định kỳ (7 ngày/lần) bằng MS SQL Server 2008 Data Mining trên máy cục bộ, sau đó đồng bộ kết quả lên Database Server. |
| Ưu điểm |
Đáp ứng tức thời dữ liệu phát sinh ngay tại thời điểm giao dịch. |
Giảm chi phí hạ tầng máy chủ, xử lý được tập dữ liệu lịch sử lớn. |
+----------------------------------------------------+
| HỆ THỐNG GỢI Ý BÁN HÀNG |
+----------------------------------------------------+
/ \
/ \
[ONLINE MODE] / \ [OFFLINE MODE]
(Thói quen người được tặng) / \ (Xu hướng nhóm tương đồng)
v v
+---------------------------+ +---------------------------+
| Truy vấn đơn hàng cũ | | Giai đoạn 1: Gom cụm |
| (User-ID đã có giao dịch)| | (Khách hàng + Loại SP) |
+---------------------------+ +---------------------------+
| |
v v
+---------------------------+ +---------------------------+
| Thống kê & sắp xếp | | Giai đoạn 2: Cây quyết |
| thuộc tính mua nhiều | | định cho từng cụm |
+---------------------------+ +---------------------------+
| |
v v
+---------------------------+ +---------------------------+
| Tập thuộc tính gợi ý | | Tập luật phân lớp thuộc |
| tức thời (Real-time) | | tính SP định kỳ (7 ngày) |
+---------------------------+ +---------------------------+
Xử lý dữ liệu nhiễu và bảo mật
- Xử lý dữ liệu khuyết thiếu (Missing Values):
- Khi đối tượng chưa từng mua hàng: Hệ thống chuyển tiếp sang phân tích theo nhóm ngoại tuyến (Offline Tab).
- Khi đối tượng thiếu dữ liệu thuộc tính (như năm sinh, độ tuổi): Nếu tỷ lệ thiếu ít, hệ thống loại bỏ mẫu; nếu tỷ lệ thiếu nhiều, hệ thống gán đối tượng vào một nhóm mặc định (
cluster Missing) với danh mục sản phẩm mặc định (ví dụ: Sách).
- Vấn đề bảo mật Facebook: Nhằm hạn chế việc người dùng để thông tin ở chế độ riêng tư (
private), hệ thống áp dụng cơ chế kích thích niềm tin: chỉ yêu cầu người dùng cập nhật bổ sung thông tin (địa chỉ, mối quan hệ) sau khi họ đã đăng nhập và sử dụng hệ thống từ 3 lần trở lên trong vòng 2 ngày.
Công nghệ sử dụng
- Cơ sở dữ liệu & Khai phá dữ liệu: Microsoft SQL Server 2008 R2, Microsoft SQL Server Analysis Services (SSAS) Data Mining Engine.
- Ngôn ngữ & Framework phát triển: Ngôn ngữ PHP (phiên bản 5.13), CodeIgniter Framework (phiên bản 1.3).
- Kiến trúc phần mềm: Mô hình MVC (Model-View-Controller).
- Giao diện & Tương tác: Kỹ thuật AJAX hỗ trợ cập nhật dữ liệu không đồng bộ.
- Tích hợp mạng xã hội: Facebook Open Platform API / Web Services.
Nội dung chính theo từng chương
Chương 1: Tổng quan về mạng xã hội và khai phá dữ liệu
Chương này phân tích lịch sử hình thành các công cụ giao tiếp trực tuyến (Forum, Blog, Mạng xã hội). Tác giả so sánh cấu trúc đồ thị, mô hình liên kết của Facebook và MySpace, khẳng định Facebook là môi trường tối ưu cho thương mại điện tử nhờ khả năng bao quát độ tuổi, tính đa dạng của mối quan hệ và nền tảng mở Open Platform. Về khai phá dữ liệu, chương trình bày tiến trình lịch sử từ hệ thống tập tin (thập niên 1960) đến cơ sở dữ liệu quan hệ (1970) và hướng đối tượng (1980), dẫn tới hiện tượng "giàu dữ liệu nhưng nghèo thông tin". Tác giả trình bày chi tiết toán học của phương pháp phân cụm (k-means, phân cấp) và cây quyết định (Entropy, Information Gain, ma trận phân lớp Play Tennis), đồng thời lập bảng so sánh các giải thuật khai phá trong MS SQL Server 2008.
Chương 2: Phân tích vấn đề & Giải pháp
Chương 2 định nghĩa các khái niệm nghiệp vụ: "Chỉ mình tôi", "Bạn bè", "Mối quan hệ", "Mọi người", "Đối tượng tặng" và "Đối tượng được tặng". Nhóm nghiên cứu chỉ ra 3 khó khăn cốt lõi: yêu cầu lượng dữ liệu lớn và ràng buộc bảo mật Facebook; xử lý dữ liệu thiếu (missing value); chi phí vận hành máy chủ Data Mining thời gian thực. Từ đó, tác giả đề xuất giải pháp kiến trúc Online + Offline Mode và luận giải việc kết hợp Gom cụm (làm giảm số lượng thuộc tính đầu vào) với Cây quyết định (phân lớp chi tiết thuộc tính sản phẩm), giúp ngăn ngừa hiện tượng quá khớp (overfitting) và tăng tốc độ xử lý.
Chương 3: Ứng dụng minh họa
Chương này mô tả chi tiết quá trình xây dựng hệ thống website thương mại điện tử face4shop.com. Hệ thống cho phép người dùng đăng nhập bằng tài khoản Facebook, tự tạo gian hàng cá nhân (Shop mang tên người dùng), đăng bán và mua sắm miễn phí. Các chức năng cơ bản bao gồm: hiển thị sản phẩm cùng thuộc tính (Related Products), hiển thị sản phẩm liên quan (Related Accessories), nút Like Facebook, đánh giá sản phẩm. Chức năng nâng cao là mô-đun gợi ý quà tặng sinh nhật dựa trên hai thẻ chọn: "Thói quen mua hàng của người được tặng" (Online Tab) và "Xu hướng mua hàng của những người giống người được tặng" (Offline Tab).
Chương 4: Kết quả & Đánh giá
Chương 4 thực hiện thống kê số liệu thực tế thu thập từ face4shop.com và xây dựng kịch bản dữ liệu ngẫu nhiên (khách hàng, đơn hàng) có gán xu hướng định trước để phục vụ huấn luyện mô hình. Tác giả tiến hành thử nghiệm so sánh giữa:
- Đánh giá trên một phương pháp khai phá dữ liệu đơn lẻ.
- Đánh giá mô hình trên thông tin đơn hàng không định hướng sản phẩm.
- Đánh giá mô hình trên thông tin đơn hàng có định hướng sản phẩm.
Kết quả thực nghiệm chứng minh giải pháp kết hợp Clustering và Decision Tree trên tập dữ liệu định hướng đạt tỷ lệ dự đoán chính xác nhu cầu khách hàng là 81%.
Chương 5: Kết luận & Đề nghị
Chương này đúc kết những kết quả đạt được về mặt phương pháp luận và kỹ thuật phần mềm. Nhóm tác giả đề xuất hướng nghiên cứu mở rộng trong tương lai đối với các giải thuật khai phá nâng cao (như Sequence Clustering, Association Rules) và hướng ứng dụng thực tế trên các mô hình thương mại điện tử tích hợp sâu hơn với mạng xã hội.
Chương 6: Kinh nghiệm thu được
Chương cuối cùng tổng kết các bài học kinh nghiệm trong quá trình 14 tuần thực hiện khóa luận, bao gồm danh mục tài liệu tham khảo, từ điển thuật ngữ chuyên ngành, danh mục bảng/hình ảnh và tài liệu hướng dẫn chi tiết về cấu hình, sử dụng tính năng Data Mining trên Microsoft SQL Server 2008.
Kết quả và đóng góp
Kết quả chính kèm số liệu
- Tỷ lệ dự đoán chính xác: Hệ thống đạt độ chính xác 81% trong việc dự đoán nhu cầu mua sắm/quà tặng của khách hàng khi thử nghiệm với tập dữ liệu có giả định xu hướng.
- Tối ưu hóa chi phí hạ tầng: Mô hình Online + Offline Mode cho phép vận hành hệ thống khai phá dữ liệu mà không cần đầu tư máy chủ chuyên dụng (tiết kiệm khoản chi phí ước tính tối thiểu 52 triệu VNĐ cho 4 tháng thuê server đặt tại Data Center).
- Hiện thực hóa phần mềm: Xây dựng hoàn chỉnh website
face4shop.com trên nền PHP/CodeIgniter, tích hợp thành công Facebook API để lấy dữ liệu danh sách bạn bè và thông tin cá nhân phục vụ bài toán gợi ý quà tặng.
Đề xuất và kiến nghị của tác giả
- Về hướng nghiên cứu: Tiếp tục nghiên cứu ứng dụng các thuật toán khai phá nâng cao như Sequence Clustering (phân tích chuỗi hành vi clickstream của người dùng) và Association Rules (phân tích giỏ hàng đa chiều).
- Về hướng ứng dụng: Nâng cấp thuật toán để có thể cập nhật và huấn luyện dữ liệu theo chu kỳ ngắn hơn hoặc tự động hóa hoàn toàn trên môi trường máy chủ phân tán khi có đủ điều kiện hạ tầng.
Đóng góp của khóa luận
- Đề xuất quy trình lai ghép hiệu quả giữa thuật toán Gom cụm và Cây quyết định: sử dụng Gom cụm để phân đoạn khách hàng và loại bỏ các thuộc tính không cần thiết, sau đó dùng Cây quyết định để sinh luật dự đoán thuộc tính sản phẩm, giải quyết triệt để bài toán quá khớp khi số lượng thuộc tính sản phẩm quá lớn.
- Cung cấp giải pháp kiến trúc thực tế kết hợp xử lý Online và Offline, giúp các doanh nghiệp vừa và nhỏ có thể ứng dụng kỹ thuật khai phá dữ liệu phức tạp mà không bị phụ thuộc vào hạ tầng phần cứng đắt đỏ.
Hạn chế và hướng nghiên cứu tiếp
Hạn chế được ghi nhận trong văn bản
- Thời gian thực hiện hạn chế: Đồ án được triển khai trong vòng 14 tuần, dẫn đến số lượng mặt hàng và danh mục sản phẩm thực tế trên hệ thống chưa thực sự phong phú.
- Độ trễ của mô hình ngoại tuyến: Chế độ huấn luyện Offline theo chu kỳ 7 ngày/lần có nhược điểm là không phản ánh được ngay lập tức các xu hướng mới phát sinh trong khoảng thời gian giữa hai lần huấn luyện đối với những người dùng chưa từng có lịch sử giao dịch.
- Rào cản từ quyền riêng tư: Hệ thống gặp khó khăn trong việc thu thập đầy đủ các thuộc tính cá nhân (như tình trạng quan hệ, năm sinh) khi người dùng Facebook thiết lập chế độ bảo mật riêng tư (
private).
Hướng nghiên cứu tiếp
- Nghiên cứu cơ chế tự động đồng bộ và huấn luyện mô hình khai phá dữ liệu trực tiếp trên máy chủ web mà không cần bước trung gian qua cơ sở dữ liệu cục bộ.
- Khai thác sâu hơn các dạng quan hệ gia đình, đồng nghiệp và mở rộng sang các thuật toán khai phá chuỗi hành vi của người dùng trên mạng xã hội.
Giá trị tham khảo
Khóa luận là tài liệu tham khảo hữu ích cho:
- Sinh viên và học viên ngành Công nghệ Thông tin, Hệ thống Thông tin, Khoa học Dữ liệu: Tham khảo phương pháp kết hợp các giải thuật học máy truyền thống (k-means, Decision Tree) để giải quyết bài toán gợi ý sản phẩm (Recommendation System).
- Kỹ sư phát triển web và ứng dụng mạng xã hội: Tham khảo kiến trúc tích hợp Facebook API, mô hình phân tách xử lý Online/Offline và kỹ thuật thiết lập công cụ Data Mining trên nền tảng Microsoft SQL Server 2008 Analysis Services (SSAS).
Câu hỏi thường gặp
1. Tại sao nhóm tác giả lại lựa chọn mạng xã hội Facebook thay vì MySpace để xây dựng hệ thống?
Trả lời: Khóa luận chỉ ra rằng MySpace chủ yếu tập trung vào lĩnh vực giải trí, nghệ thuật và đối tượng trẻ, trong khi Facebook sở hữu tập người dùng đa dạng độ tuổi, cung cấp cấu trúc quan hệ xã hội phong phú (bạn bè, gia đình, đồng nghiệp) và hỗ trợ nền tảng mở Open Platform với hệ thống API hoàn chỉnh, phù hợp với bài toán gợi ý quà tặng.
2. Lý do kỹ thuật nào dẫn đến việc phải kết hợp cả hai phương pháp Gom cụm và Cây quyết định?
Trả lời: Nếu chỉ dùng Cây quyết định ngay từ đầu, số lượng thuộc tính đầu vào quá lớn và rời rạc sẽ làm cây bị phân nhánh quá rộng, gây ra hiện tượng quá khớp (overfitting) và giảm độ chính xác. Việc sử dụng Gom cụm trước giúp tạo ra các nhóm khách hàng đồng nhất và giảm bớt số chiều thuộc tính, tạo tiền đề cho Cây quyết định phân lớp chính xác các thuộc tính sản phẩm chi tiết.
3. Hệ thống xử lý như thế nào khi thông tin của người dùng bị thiếu (ví dụ không có năm sinh)?
Trả lời: Nếu dữ liệu thiếu ít, hệ thống sẽ bỏ qua trường hợp đó. Nếu dữ liệu thiếu nhiều, hệ thống có hai phương án: loại bỏ đặc trưng tuổi trong lần huấn luyện tiếp theo, hoặc quy các đối tượng bị thiếu về một cụm mặc định (cluster Missing) với danh mục sản phẩm gợi ý mặc định (như mặt hàng Sách).
4. Giải pháp Online Mode và Offline Mode hoạt động khác nhau như thế nào khi người dùng chọn quà tặng?
Trả lời: Tab Online xử lý tức thời dựa trên lịch sử mua hàng thực tế của chính người được tặng (nếu người đó đã từng mua hàng trên hệ thống). Tab Offline áp dụng kết quả khai phá dữ liệu (được huấn luyện định kỳ 7 ngày/lần trên máy cục bộ) để gợi ý theo xu hướng của những người có đặc điểm tương đồng với người được tặng.
5. Kết quả thử nghiệm độ chính xác của hệ thống đạt được là bao nhiêu?
Trả lời: Khi thử nghiệm trên tập dữ liệu ngẫu nhiên có giả định xu hướng mua hàng cụ thể, phương pháp kết hợp Gom cụm và Cây quyết định đạt độ chính xác 81% trong việc dự đoán nhu cầu của khách hàng.
Kết luận
Khóa luận tốt nghiệp "Xây dựng hệ thống giới thiệu bán hàng trên mạng xã hội" của nhóm tác giả tại Trường Đại học Hoa Sen đã hoàn thành trọn vẹn mục tiêu nghiên cứu và ứng dụng thực tiễn trong thời gian 14 tuần. Đề tài đã đề xuất thành công mô hình lai ghép giữa thuật toán Gom cụm và Cây quyết định trên nền tảng MS SQL Server 2008 Data Mining, kết hợp cùng kiến trúc xử lý Online/Offline linh hoạt nhằm giải quyết bài toán chi phí và hiệu năng. Với độ chính xác thực nghiệm đạt 81% trên website thử nghiệm face4shop.com, công trình là tài liệu học thuật giá trị cho các nghiên cứu tiếp theo về hệ thống gợi ý và thương mại điện tử trên mạng xã hội.