Chương 1: Xác định bài toán. Trình bày ý tưởng và nội dung tổng quan của hệ thống tư vấn. Chương 2: Hệ thống tư vấn. Trình bày và phân tích thuật toán sử dụng trong đồ án cũng như thử nghiệm đánh giá thuật toán sử dụng Chương 3: Phát triển ứng dụng.
Trình bày quá trình phát triển ứng dụng với sử dụng mô hình đã được thử nghiệm ở chương 2 HOANG TANG KHẢI - B17DCCN335 2 DO AN TOT NGHIỆP ĐẠI HOC Chương | CHUONG 1 XÁC ĐỊNH BÀI TOÁN Trong chương này, đồ án sẽ giới thiệu về hệ thống tư vấn và khái quát về hệ thong tư van. Đồng thời trình bay và phân tích ý tưởng áp dụng hệ thống tư vấn cho việc tư vấn món ăn 1. Giới thiệu về hệ thống tư vấn 1. Các phương pháp tư vẫn Có rat nhiều cách dé tư van, ước lượng hang/diém cho các sản phâm nhờ sử dụng học máy, lý thuyết xấp xỉ, các thuật toán dựa trên kinh nghiệm.
Các hệ thống tư vấn thường được phân ba loại dựa trên cách nó dùng để ước lượng hạng của sản phẩm: - Dựa trên nội dung (content-based): người dùng được tư vấn những sản phẩm tương tự như các sản pham từng được họ đánh giá cao. - Cộng tac (collaborative): người dùng được tư van những sản phâm mà những người cùng sở thích với họ đánh giá cao. - Lai ghép (hybrid): kết hợp cả phương pháp dựa trên. Phương pháp tư van dựa trên nội dung Hệ tư vấn dựa trên lọc nội dung là mô hình tư vấn thực hiện dựa trên việc so sánh nội dung thông tin mô tả sản phâm, nhằm tìm ra các sản pham tương tự với những sản phẩm mà người dùng đã từng quan tâm dé giới thiệu cho họ những sản phẩm này.
Ví dụ, trong hệ tư vấn phim, hệ thống sẽ tìm ra các đặc tính chung của các phim như diễn viên, đạo diễn, thé loại mà người đã đánh giá cao trong quá khứ dé giới thiệu các phim có đặc tính tương tự mà người dùng chưa xem. Các phương pháp tiếp cận cho mô hình tư vấn dựa trên lọc nội dung có nguồn gốc từ lĩnh vực truy van thông tin, trong đó mỗi sản phẩm được biểu diễn bằng một hồ sơ sản phẩm, mỗi người dùng được biểu diễn bằng một hồ sơ người dùng. Các phương pháp dự đoán của mô hình này thực hiện dựa vào việc xem xét các hô sơ sản phâm có mức độ phù hợp cao với hô sơ người dùng. HOANG TANG KHẢI - B17DCCN335 3 DO AN TOT NGHIỆP ĐẠI HOC Chương | Phương pháp tư van dựa vào nội có một điểm mạnh sau: phương pháp không yêu cầu số lượng người dùng lớn; dựa vào thông tin có sẵn đề thực hiện tư vẫn các sản phẩm mới.
Tuy nhiên, phương pháp này còn chứa một dãy nhược điểm sau: Quá ứập trung chuyên ngành - hệ tư vấn dựa trên lọc nội dung có khuynh hướng giới thiệu các sản phẩm có sự tương đồng với các sản pham mà người dùng đã mua hoặc xếp hạng cao. Ví dụ, một người dùng thường xem những bộ phim siêu anh hùng sẽ khó tiếp cận đến những bộ phim thuộc thê loại khác; Van đề trích chọn đặc trưng - hệ tư van dựa trên lọc nội dung kế thừa và phát triển chủ yếu dựa vào các phương pháp trích chọn đặc trưng trong lĩnh vực truy van thông tin. Dé có một tập các đặc trưng day đủ, các thuộc tinh sản phẩm và hồ sơ người dùng phải được biểu diễn đưới dạng phù hợp dé máy tinh có thê tự động phân tích, tính toán trọng số các đặc trưng nội dung. Vấn đề này sẽ càng khó khăn hơn khi phải trích chọn các đặc trưng nội dung cho các đối tượng đữ liệu đa phương tiện như hình ảnh, âm thanh hay dịch vụ.
Phương pháp tư van dựa trên lọc cộng tác Hệ tư van dựa trên lọc cộng tác (collaborative filtering) đã được ứng dụng thành công trong nhiều ứng dụng thương mại điện tử như Amazon , Netflix, Youtube,. Nó là một trong những giải pháp hiệu quả dé giải quyết van dé bùng né thông tin cho các hệ thống trực tuyến nơi mà số lượng người dùng tăng lên rất nhanh. Hệ tư vấn dựa trên lọc cộng tác giới thiệu các sản phẩm cho người dùng cụ thé dựa trên sự tương đồng của các sản pham đã được xếp hạng bởi các người dùng khác. Hệ thống tìm các sản pham cho các người dùng khác mà họ có cùng sở thích với người dùng cần tư vấn.
Ví dụ, trong hệ thống lọc cộng tác giới thiệu phim cho người dùng, hệ thống tìm nhóm người dùng trong quá khứ có cùng sở thích với người dùng cần tư vấn. Sau đó, hệ thống giới thiệu các phim 10 được đánh giá cao bởi nhóm người dùng này cho người dùng cần tư vấn. Hệ tư vấn dựa trên lọc cộng tác được phân chia thành hai nhóm: - Nhóm dựa trên bộ nhớ: Các hệ tư vân thuộc nhóm này sử dụng toàn bộ các sản phẩm được xếp hạng đề sinh ra kết quả tư vấn hoặc dự đoán. HOANG TANG KHẢI - B17DCCN335 4 DO AN TOT NGHIỆP ĐẠI HOC Chương | - Nhóm dựa trên mô hình: Các hệ tu van thuộc nhóm nay cho phép hệ thống học cách nhận dạng mẫu trong tập dữ liệu đề sinh ra kết quả tư vấn hoặc dự đoán.
Phương pháp tư vấn dựa vào lọc cộng tác có ưu điểm: việc tính toán tương đối đơn giản, nhanh chóng và hiệu quả trong quá trình tư van. Bởi vì hệ này không yêu cầu mô tả nội dung một cách tường minh mà chỉ dựa vào sự đánh giá của người dùng dé ước lượng xem có bao nhiêu người dùng đồng ý và không đồng ý. Tuy nhiên, phương pháp nay tồn tại các nhược điểm sau: Vấn đề người dùng mới (New User Problem)- Giỗng như hệ tư vấn dựa trên lọc nội dung, để tìm chính xác các sản phẩm người dùng quan tâm, hệ tư vấn dựa trên lọc cộng tác phải ước lượng được sở thích của người dùng đối với các sản phâm mới thông qua những đánh giá của ho trong quá khứ. Trong trường hợp một người dùng mới, chưa có bất cứ đánh giá nào cho các sản phẩm, khi đó hệ thống không thé đưa ra những kết quả tư van chính xác cho người dùng này; Vấn dé sản phẩm mới (New Item Problem)- trong hệ thông thương mại điện tử, các sản phâm thường xuyên được bồ sung mới.
Một sản phẩm mới sẽ không có bat cứ đánh giá nào của người dùng cho sản phẩm này. Do đó, hệ thống không thể tư vấn sản phâm này cho bất kỳ người dùng nào trong hệ thống; Van đề dữ liệu thưa (Sparsity Data Problem)- kết qua dự đoán của hệ tư vấn dựa trên lọc cộng tác phụ thuộc chủ yếu vào các đánh giá của người dùng đối với các sản phẩm trong quá khứ (ma trận xếp hạng của người dùng cho các sản phẩm). Tuy nhiên, trong các hệ thống thực tế, số lượng người dùng và số lượng sản phẩm là rất lớn (hàng triệu người dùng và hàng nghìn sản phẩm), nhưng mỗi người dùng chỉ đánh giá trên một số sản phẩm mà họ quan tâm và mỗi sản phẩm chỉ được đánh giá bởi một nhóm người dùng. Vì thế ma trận xếp hạng của người dùng cho các sản phẩm luôn là một ma trận dữ liệu thưa.
Phương pháp tư vấn lai Một hệ thong lai la su két hop hai kỹ thuật lọc nội dung va lọc cộng tác va cố gang sử dụng ưu điểm của mỗi kỹ thuật dé hỗ trợ cho những thiếu sót của kỹ thuật kia. Ví dụ, phương pháp lọc cộng tác gặp vẫn đề với các sản phẩm mới, nó không có thể tư vân đôi với các sản phâm mà không có xêp hạng. Tuy nhiên việc này lại đơn giản đôi HOANG TANG KHẢI - B17DCCN335 5 DO AN TOT NGHIỆP ĐẠI HOC Chương | với phương pháp tiếp cận dựa trên nội dung khi việc dự đoán cho các sản phẩm mới dựa trên thông tin của người dùng là tính năng có sẵn và khá dễ dàng. Với hai (hoặc nhiều) kỹ thuật tư vấn cơ bản, một số cách đã được đề xuất cho việc kết hợp chúng để tạo ra một hệ thống lai mới.
Bài toán tổng quát của hệ thống tư van Từ nhưng doanh nghiệp lớn đến các người buôn bán nhỏ lẻ luôn tự mình đặt ra những câu hỏi như: “Làm sao dé bán được nhiều hàng?”, “Làm sao dé khách hàng hai lòng với những sản phẩm của mình?”. Van đề quyết định cho câu trả lời trên chính là quảng cáo và tư vân sản phâm đên với người tiêu dùng. Hiện nay, các hệ thống có hiển thị quảng cáo trên internet đa phần đều tích hợp hệ thống tư vấn dé thúc đây doanh thu và kiếm được nhiều khách hàng hơn. Dé làm được điều đó hệ thống tư van sử dụng các thuật toán phân tích, dự đoán dựa trên dữ liệu hành vi người dùng được lưu lại.
Nhờ đó mà quảng cáo mang tính cá nhân hóa tới cho người dùng. Hệ thống sẽ biết chính xác từng người sử dụng có nhu cầu gì, muốn mua gi, xem gì dé đưa ra tư van. Trước khi đi vào bài toán, ta cần biết đến 2 thuật ngữ được sử dụng chủ yếu đó là: người dùng (user) và sản pham (item). Thứ nhất, người dùng ở đây là người sử dụng hệ thống dé thực hiện các thao tác mua bán, giao dịch, xem, đánh giá.
Thứ hai, khái niệm sản phẩm là mặt hàng được giao bán, video, bộ phim, bản nhạc, món ăn. Trong hầu hết các hệ thống tư van, dữ liệu được dé dưới dang đánh giá của người dùng về sản phẩm. Bài toán được đặt ra như sau: Với các dữ liệu tập người dùng U, tập các sản phẩm I và tập dữ liệu D = {u, I, ?„;}, trong đó, u €U, 1€ I, 7,; là đánh giá của người dùng u cho sản phẩm i. Can dự đoán đánh giá sản phẩm của một người dùng thứ n nao đó u,, cho sản phâm i, HOANG TANG KHẢI - B17DCCN335 6 DO AN TOT NGHIỆP ĐẠI HOC Chương | L, eee L, U, “ vee An u, ly 2 eee J2 n U, ly o eee Fan Hình 1.1: Ma trận đánh giá của người dùng Bài toán tư vấn được coi là bài toán ước lượng hang (rating) của các sản pham chưa được người dùng đánh giá, xem xét.
Việc ước lượng này thường được dựa trên những đánh giá đã có của chính người dùng đó hoặc nhưng người dùng khác. Nhưng sản phẩm được xếp hạng cao nhất sẽ được sử dụng đề tư vấn khi người dùng sử dụng hệ thống. Phương pháp sử dung dữ liệu tư van Dé giải quyết bài toán tư van, có nhiều phương pháp như đã trình bay ở trên.