Luận Văn Thạc Sĩ: Khám Phá Ứng Dụng Cơ Sở Dữ Liệu Đồ Thị Trong Hệ Thống Gợi Ý

Luận văn thạc sĩ nghiên cứu sử dụng cơ sở dữ liệu đồ thị trong hệ gợi ý, khảo sát thực trạng, phân tích nguyên nhân, đề xuất giải pháp cải thiện thực tiễn.

• Tác giả: Lê Quyền
• Người hướng dẫn: TS. Trần Thiên Thành
• Trường học: Đại học Quy Nhơn
• Chuyên ngành: Khoa học máy tính
• Đề tài: Ứng dụng cơ sở dữ liệu đồ thị trong hệ thống gợi ý
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2021
• Địa điểm: Quy Nhơn

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• DANH MỤC CÁC THUẬT NGỮ, TỪ VIẾT TẮT
• DANH MỤC CÁC BẢNG
• DANH MỤC CÁC HÌNH VẼ
• 1. MỞ ĐẦU
• 1.1. Lý do chọn đề tài
• 1.2. Mục đích và nhiệm vụ nghiên cứu
• 1.3. Đối tượng và phạm vi nghiên cứu
• 1.4. Phương pháp nghiên cứu
• 1.5. Nội dung nghiên cứu
• 1.6. Cơ sở dữ liệu đồ thị
• 1.7. Khái niệm đồ thị
• 1.8. Cơ sở dữ liệu đồ thị (Graph Database)
• 1.9. Một số ứng dụng của cơ sở dữ liệu đồ thị
• 1.10. Cơ sở dữ liệu đồ thị Neo4j
• 1.10.1. Giới thiệu chung
• 1.10.2. Mô hình dữ liệu
• 1.10.3. Ngôn ngữ truy vấn Cypher
• 1.10.4. Python với Neo4j Desktop
• 1.11. Tổng quan về hệ thống gợi ý
• 1.11.1. Giới thiệu chung
• 1.11.2. Ứng dụng của hệ thống gợi ý
• 1.11.3. Bài toán gợi ý
• 1.11.4. Một số phương pháp gợi ý
• 1.11.4.1. Phương pháp Gợi ý dựa trên Nội dung (Content-based)
• 1.11.4.2. Collaborative filtering - CF (lọc cộng tác)
• 1.12. Tiểu kết chương 1
• 2. XÂY DỰNG HỆ GỢI Ý SỬ DỤNG NEO4J
• 2.1. Xây dựng cơ sở dữ liệu
• 2.1.1. Tổ chức dữ liệu Neo4j cho hệ gợi ý đơn giản
• 2.1.2. Nạp dữ liệu từ csv vào Neo4j
• 2.2. Thuật toán tính dự đoán rating bằng Cosin, Pearson
• 2.2.1. Thuật toán sử dụng tương quan Pearson
• 2.2.2. Thuật toán sử dụng độ tương tự Cosin
• 2.3. Thuật toán gợi ý k-sản phẩm
• 2.4. Các thuật toán đánh giá độ chính xác
• 2.4.1. Đánh giá dự đoán xếp hạng sản phẩm
• 2.4.2. Đánh giá gợi ý sản phẩm
• 2.5. Tiểu kết chương 2
• 2.6. Công cụ thực nghiệm
• 2.6.1. Phân tích kết quả thực nghiệm
• DANH MỤC TÀI LIỆU THAM KHẢO
• QUYẾT ĐỊNH GIAO ĐỀ TÀI LUẬN VĂN THẠC SĨ (BẢN SAO)

Tóm tắt

I. Luận Văn Thạc Sĩ

Luận văn thạc sĩ này tập trung vào việc ứng dụng cơ sở dữ liệu đồ thị trong hệ thống gợi ý, cụ thể là sử dụng Neo4j để lưu trữ và xử lý dữ liệu. Nghiên cứu này nhằm giải quyết các hạn chế của các hệ thống gợi ý truyền thống, thường dựa trên cơ sở dữ liệu quan hệ, bằng cách tận dụng ưu điểm của cơ sở dữ liệu đồ thị trong việc quản lý các mối quan hệ phức tạp giữa người dùng và sản phẩm. Hệ thống gợi ý dựa trên đồ thị được đề xuất trong luận văn này hứa hẹn mang lại hiệu quả cao hơn trong việc đưa ra các gợi ý chính xác và phù hợp với nhu cầu người dùng.

1.1. Ứng Dụng Cơ Sở Dữ Liệu Đồ Thị

Ứng dụng cơ sở dữ liệu đồ thị trong hệ thống gợi ý là một hướng tiếp cận mới, giúp giải quyết các vấn đề liên quan đến việc lưu trữ và xử lý dữ liệu có cấu trúc phức tạp. Cơ sở dữ liệu đồ thị như Neo4j cho phép lưu trữ dữ liệu dưới dạng các nút và cạnh, giúp dễ dàng biểu diễn các mối quan hệ giữa người dùng và sản phẩm. Điều này đặc biệt hữu ích trong các hệ thống gợi ý, nơi các mối quan hệ giữa người dùng, sản phẩm và các yếu tố khác đóng vai trò quan trọng trong việc đưa ra gợi ý chính xác.

1.2. Hệ Thống Gợi Ý Dựa Trên Đồ Thị

Hệ thống gợi ý dựa trên đồ thị là một phương pháp tiên tiến, sử dụng mô hình đồ thị để phân tích và dự đoán các gợi ý phù hợp với người dùng. Trong luận văn này, tác giả đề xuất sử dụng Neo4j để xây dựng hệ thống gợi ý, với các thuật toán như lọc cộng tác và độ tương tự Cosin để tính toán và đưa ra các gợi ý chính xác. Phương pháp này không chỉ cải thiện độ chính xác của hệ thống gợi ý mà còn tối ưu hóa thời gian xử lý dữ liệu.

II. Phân Tích Dữ Liệu Và Công Nghệ Thông Tin

Luận văn này cũng đi sâu vào việc phân tích dữ liệu và ứng dụng các công nghệ tiên tiến như trí tuệ nhân tạo và học máy trong việc xây dựng hệ thống gợi ý. Khai phá dữ liệu và mô hình đồ thị được sử dụng để tìm ra các mẫu và xu hướng trong dữ liệu, giúp hệ thống đưa ra các gợi ý tự động và chính xác hơn. Nghiên cứu này không chỉ có giá trị lý thuyết mà còn có nhiều ứng dụng thực tiễn trong các lĩnh vực như thương mại điện tử, giải trí và giáo dục.

2.1. Trí Tuệ Nhân Tạo Và Học Máy

Trí tuệ nhân tạo và học máy đóng vai trò quan trọng trong việc xây dựng hệ thống gợi ý hiệu quả. Trong luận văn này, các thuật toán học máy được sử dụng để phân tích dữ liệu và dự đoán các gợi ý phù hợp với người dùng. Hệ thống gợi ý tự động được xây dựng dựa trên các mô hình học máy, giúp cải thiện độ chính xác và hiệu quả của hệ thống.

2.2. Khai Phá Dữ Liệu Và Mô Hình Đồ Thị

Khai phá dữ liệu là một quá trình quan trọng trong việc tìm kiếm các mẫu và xu hướng trong dữ liệu. Trong luận văn này, mô hình đồ thị được sử dụng để biểu diễn và phân tích dữ liệu, giúp hệ thống đưa ra các gợi ý chính xác và phù hợp với nhu cầu người dùng. Phương pháp này không chỉ cải thiện hiệu suất của hệ thống mà còn giúp tối ưu hóa quá trình xử lý dữ liệu.

III. Thực Nghiệm Và Đánh Giá

Luận văn cũng trình bày chi tiết về quá trình thực nghiệm và đánh giá hệ thống gợi ý được xây dựng dựa trên cơ sở dữ liệu đồ thị Neo4j. Các thử nghiệm được thực hiện trên bộ dữ liệu MovieLens, với mục tiêu đưa ra các gợi ý phim phù hợp với người dùng dựa trên lịch sử đánh giá của họ. Kết quả thực nghiệm cho thấy hệ thống gợi ý dựa trên đồ thị có độ chính xác cao hơn và thời gian xử lý nhanh hơn so với các phương pháp truyền thống.

3.1. Thực Nghiệm Trên Dữ Liệu MovieLens

Thực nghiệm được thực hiện trên bộ dữ liệu MovieLens, một bộ dữ liệu phổ biến trong nghiên cứu về hệ thống gợi ý. Các thuật toán như lọc cộng tác và độ tương tự Cosin được sử dụng để tính toán và đưa ra các gợi ý phim cho người dùng. Kết quả thực nghiệm cho thấy hệ thống gợi ý dựa trên đồ thị có độ chính xác cao hơn và thời gian xử lý nhanh hơn so với các phương pháp truyền thống.

3.2. Đánh Giá Độ Chính Xác Và Hiệu Suất

Đánh giá độ chính xác và hiệu suất của hệ thống gợi ý là một phần quan trọng trong luận văn này. Các chỉ số như MAE (Mean Absolute Error) và RMSE (Root Mean Square Error) được sử dụng để đo lường độ chính xác của hệ thống. Kết quả đánh giá cho thấy hệ thống gợi ý dựa trên đồ thị có độ chính xác cao hơn và thời gian xử lý nhanh hơn so với các phương pháp truyền thống.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển nhanh chóng của công nghệ thông tin và dữ liệu lớn, hệ thống gợi ý (Recommender Systems) đã trở thành một công cụ thiết yếu trong nhiều lĩnh vực như thương mại điện tử, giải trí và mạng xã hội. Theo ước tính, các hệ thống gợi ý có thể tăng doanh thu và sự hài lòng của người dùng lên đến 30%. Tuy nhiên, việc lưu trữ và xử lý dữ liệu phức tạp trong các hệ thống này vẫn còn nhiều thách thức, đặc biệt khi dữ liệu có cấu trúc phức tạp và mối quan hệ nhiều-nhiều giữa người dùng và sản phẩm.

Luận văn tập trung nghiên cứu việc sử dụng cơ sở dữ liệu đồ thị Neo4j trong xây dựng hệ thống gợi ý, nhằm tận dụng ưu điểm của mô hình đồ thị trong việc lưu trữ và truy vấn các mối quan hệ phức tạp. Mục tiêu chính là phát triển một hệ thống gợi ý dựa trên phương pháp lọc cộng tác (Collaborative Filtering) sử dụng thuật toán láng giềng gần, áp dụng trên dữ liệu thực nghiệm MovieLens với khoảng 1 triệu người dùng và hàng triệu đánh giá phim. Phạm vi nghiên cứu tập trung vào việc triển khai, đánh giá hiệu suất và độ chính xác của hệ thống gợi ý sử dụng Neo4j, so sánh với cơ sở dữ liệu quan hệ truyền thống.

Nghiên cứu có ý nghĩa quan trọng trong việc nâng cao hiệu quả xử lý dữ liệu lớn, cải thiện tốc độ truy vấn và độ chính xác của hệ thống gợi ý, góp phần thúc đẩy ứng dụng công nghệ cơ sở dữ liệu đồ thị trong thực tế.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

• Lý thuyết đồ thị (Graph Theory): Đồ thị được định nghĩa là tập hợp các đỉnh (nodes) và các cạnh (edges) biểu diễn mối quan hệ giữa các đối tượng. Đồ thị có hướng, vô hướng, có trọng số và gắn nhãn là các khái niệm cơ bản được sử dụng để mô hình hóa dữ liệu phức tạp.
• Cơ sở dữ liệu đồ thị (Graph Database): Neo4j là hệ quản trị cơ sở dữ liệu đồ thị phổ biến, lưu trữ dữ liệu dưới dạng đỉnh và cạnh, hỗ trợ truy vấn hiệu quả các mối quan hệ phức tạp thông qua ngôn ngữ truy vấn Cypher.
• Hệ thống gợi ý (Recommender Systems): Bao gồm các phương pháp như lọc cộng tác (Collaborative Filtering), lọc theo nội dung (Content-Based Filtering) và kết hợp (Hybrid Filtering). Lọc cộng tác dựa trên sự tương tác giữa người dùng và sản phẩm để dự đoán sở thích.
• Thuật toán lọc cộng tác dựa trên láng giềng gần (Neighborhood-based Collaborative Filtering): Sử dụng độ tương đồng giữa người dùng hoặc sản phẩm để dự đoán đánh giá chưa biết.
• Các chỉ số đánh giá hiệu quả: MAE (Mean Absolute Error), RMSE (Root Mean Square Error) dùng để đo độ chính xác của dự đoán.

Phương pháp nghiên cứu

• Nguồn dữ liệu: Sử dụng bộ dữ liệu MovieLens với khoảng 1 triệu người dùng, 10 triệu đánh giá phim, dữ liệu được lưu trữ và xử lý trên cơ sở dữ liệu Neo4j.
• Phương pháp phân tích: Triển khai các thuật toán lọc cộng tác dựa trên độ tương đồng Cosine và Pearson trên Neo4j, sử dụng ngôn ngữ truy vấn Cypher và thư viện py2neo trong Python để thực hiện truy vấn và tính toán.
• Cỡ mẫu: Khoảng 1 triệu người dùng và 10 triệu đánh giá phim, được chọn ngẫu nhiên từ bộ dữ liệu MovieLens.
• Timeline nghiên cứu: Thu thập và xử lý dữ liệu trong 3 tháng, triển khai thuật toán và thực nghiệm trong 4 tháng, phân tích kết quả và hoàn thiện luận văn trong 2 tháng.
• Đánh giá: So sánh hiệu suất truy vấn và độ chính xác dự đoán giữa Neo4j và cơ sở dữ liệu quan hệ MySQL, sử dụng các chỉ số thời gian thực thi và MAE, RMSE.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

• Hiệu suất truy vấn: Trên tập dữ liệu 1.000 người dùng, thời gian duyệt đồ thị bằng Neo4j ở độ sâu 5 nhanh hơn 10 triệu lần so với truy vấn SQL trên MySQL. Trên tập dữ liệu 1 triệu người dùng, Neo4j duy trì thời gian truy vấn khoảng 0.132 giây ở độ sâu 2, trong khi MySQL mất hơn 0.5 giây và không hoàn thành truy vấn ở độ sâu 5.
• Độ chính xác dự đoán: Thuật toán lọc cộng tác sử dụng độ tương đồng Pearson và Cosine trên Neo4j đạt MAE khoảng 0.75 và RMSE khoảng 1.0, cải thiện 15% so với các phương pháp truyền thống.
• Khả năng mở rộng: Hiệu suất duyệt đồ thị của Neo4j không giảm đáng kể khi tăng kích thước dữ liệu lên hàng triệu người dùng và hàng chục triệu mối quan hệ, trong khi MySQL gặp khó khăn về thời gian thực thi.
• Tính linh hoạt trong mô hình hóa: Neo4j cho phép lưu trữ và truy vấn các mối quan hệ phức tạp giữa người dùng, sản phẩm và các thuộc tính liên quan một cách trực quan và hiệu quả hơn so với mô hình quan hệ.

Thảo luận kết quả

Nguyên nhân chính của sự vượt trội về hiệu suất của Neo4j là do mô hình dữ liệu đồ thị phù hợp với cấu trúc quan hệ phức tạp trong hệ thống gợi ý, tránh được các phép join phức tạp và tích Descartes trong cơ sở dữ liệu quan hệ. Việc duyệt đồ thị chỉ tập trung vào các nút liên quan giúp giảm thiểu lượng dữ liệu cần xử lý, từ đó tăng tốc độ truy vấn. Kết quả này phù hợp với các nghiên cứu gần đây về ứng dụng cơ sở dữ liệu đồ thị trong xử lý dữ liệu lớn.

Độ chính xác dự đoán được cải thiện nhờ khả năng khai thác sâu sắc các mối quan hệ giữa người dùng và sản phẩm, cũng như việc áp dụng các thuật toán lọc cộng tác hiệu quả trên nền tảng Neo4j. Kết quả có thể được trình bày qua biểu đồ so sánh thời gian truy vấn và MAE giữa Neo4j và MySQL, minh họa rõ ràng ưu thế của cơ sở dữ liệu đồ thị.

Đề xuất và khuyến nghị

• Triển khai rộng rãi cơ sở dữ liệu đồ thị Neo4j trong các hệ thống gợi ý: Nhằm nâng cao hiệu suất truy vấn và khả năng mở rộng, các doanh nghiệp nên áp dụng Neo4j cho các ứng dụng có dữ liệu quan hệ phức tạp. Thời gian thực hiện: 6-12 tháng.
• Phát triển các thuật toán lọc cộng tác nâng cao trên nền tảng đồ thị: Tập trung vào cải tiến độ chính xác dự đoán bằng cách kết hợp thêm dữ liệu ngữ cảnh và các thuật toán học máy. Chủ thể thực hiện: nhóm nghiên cứu và phát triển sản phẩm.
• Đào tạo và nâng cao kỹ năng cho đội ngũ kỹ thuật: Tổ chức các khóa đào tạo về Neo4j, Cypher và Python để đảm bảo nhân sự có thể khai thác tối đa tiềm năng của cơ sở dữ liệu đồ thị. Thời gian: 3-6 tháng.
• Xây dựng hệ thống giám sát và đánh giá hiệu suất liên tục: Thiết lập các công cụ theo dõi thời gian truy vấn, độ chính xác dự đoán để kịp thời điều chỉnh và tối ưu hệ thống. Chủ thể: bộ phận vận hành và phát triển.
• Khuyến khích nghiên cứu ứng dụng cơ sở dữ liệu đồ thị trong các lĩnh vực khác: Như quản lý mạng xã hội, viễn thông, logistics để tận dụng ưu điểm của mô hình đồ thị trong xử lý dữ liệu phức tạp.

Đối tượng nên tham khảo luận văn

• Nhà nghiên cứu và sinh viên ngành Khoa học Máy tính: Có thể sử dụng luận văn làm tài liệu tham khảo về ứng dụng cơ sở dữ liệu đồ thị và hệ thống gợi ý, phục vụ cho các đề tài nghiên cứu và luận văn.
• Chuyên gia phát triển hệ thống gợi ý: Áp dụng các phương pháp và thuật toán được trình bày để cải thiện hiệu suất và độ chính xác của hệ thống gợi ý trong doanh nghiệp.
• Quản lý công nghệ thông tin tại doanh nghiệp: Hiểu rõ lợi ích và khả năng ứng dụng của cơ sở dữ liệu đồ thị Neo4j để đưa ra quyết định đầu tư công nghệ phù hợp.
• Nhà phát triển phần mềm và kỹ sư dữ liệu: Tham khảo cách triển khai, truy vấn và tối ưu hệ thống gợi ý sử dụng Neo4j và Python, nâng cao kỹ năng thực tiễn.

Câu hỏi thường gặp

1. Tại sao nên sử dụng cơ sở dữ liệu đồ thị Neo4j cho hệ thống gợi ý?
   Neo4j tối ưu cho các mối quan hệ phức tạp, truy vấn nhanh hơn hàng nghìn lần so với cơ sở dữ liệu quan hệ truyền thống, đặc biệt với dữ liệu lớn và nhiều mối quan hệ.

2. Phương pháp lọc cộng tác dựa trên láng giềng gần là gì?
   Là kỹ thuật dự đoán sở thích của người dùng dựa trên độ tương đồng với người dùng khác hoặc sản phẩm tương tự, giúp đưa ra gợi ý cá nhân hóa hiệu quả.

3. Dữ liệu MovieLens được sử dụng như thế nào trong nghiên cứu?
   Dữ liệu MovieLens cung cấp khoảng 1 triệu người dùng và 10 triệu đánh giá phim, làm cơ sở thực nghiệm để đánh giá hiệu suất và độ chính xác của hệ thống gợi ý.

4. Ngôn ngữ truy vấn Cypher có ưu điểm gì?
   Cypher đơn giản, dễ học, cho phép truy vấn và cập nhật dữ liệu đồ thị hiệu quả, hỗ trợ các thao tác duyệt đồ thị phức tạp mà SQL không thể thực hiện dễ dàng.

5. Làm thế nào để cải thiện độ chính xác của hệ thống gợi ý?
   Kết hợp các thuật toán lọc cộng tác với dữ liệu ngữ cảnh, sử dụng kỹ thuật giảm chiều dữ liệu và áp dụng mô hình học máy nâng cao giúp tăng độ chính xác dự đoán.

Kết luận

• Cơ sở dữ liệu đồ thị Neo4j vượt trội về hiệu suất truy vấn và khả năng mở rộng so với cơ sở dữ liệu quan hệ truyền thống trong hệ thống gợi ý.
• Thuật toán lọc cộng tác dựa trên láng giềng gần triển khai trên Neo4j đạt độ chính xác dự đoán cao với MAE khoảng 0.75 và RMSE khoảng 1.0.
• Mô hình dữ liệu đồ thị phù hợp với cấu trúc quan hệ phức tạp, giúp giảm thiểu chi phí tính toán và tăng tốc độ truy vấn.
• Nghiên cứu cung cấp cơ sở khoa học và thực tiễn cho việc ứng dụng Neo4j trong các hệ thống gợi ý và các lĩnh vực liên quan.
• Đề xuất các giải pháp triển khai, đào tạo và phát triển thuật toán nhằm nâng cao hiệu quả hệ thống gợi ý trong tương lai.

Triển khai thử nghiệm mở rộng, tích hợp dữ liệu ngữ cảnh và phát triển các thuật toán học máy nâng cao để tối ưu hệ thống gợi ý. Đề nghị các tổ chức, doanh nghiệp và nhà nghiên cứu quan tâm áp dụng và phát triển công nghệ cơ sở dữ liệu đồ thị trong thực tế.

Trích đoạn nội dung tài liệu

MỞ ĐẦU. Lý do chọn đề tài. Mục đ ch và nhiệm vụ nghi n cứu. Đối tƣợng và phạm vi nghiên cứu.

Phƣơng pháp nghiên cứu. Nội dung nghiên cứu. Cơ sở dữ liệu đồ thị. Khái niệm đồ thị.

Cơ sở dữ liệu đồ thị (Graph Database). Một số ứng dụng của cơ sở dữ liệu đồ thị. Cơ sở dữ liệu đồ thị Neo4j. Giới thiệu chung.

Mô hình dữ liệu. Ngôn ngữ truy vấn Cypher. Python với Neo4j Desktop. Tổng quan về hệ thống gợi ý.

Giới thiệu chung. Ứng dụng của hệ thống gợi ý. Bài toán gợi ý. Một số phƣơng pháp gợi ý.

Phƣơng pháp Gợi ý dựa trên Nội dung (Content-based). Collaborative filtering - CF (lọc cộng tác). Tiểu kết chƣơng 1. XÂY DỰNG HỆ GỢI Ý SỬ DỤNG NEO4J.

Xây dựng cơ sở dữ liệu. Tổ chức dữ liệu Neo4j cho hệ gợi ý đơn giản. Nạp dữ liệu từ csv vào Neo4j. Thuật toán tính dự đoán rating bằng Cosin, Pearson.

Thuật toán sử dụng tƣơng quan Pearson. Thuật toán sử dụng độ tƣơng tự Cosin. Thuật toán gợi ý k-sản phẩm. Các thuật toán đánh giá độ chính xác.

Đánh giá dự đoán xếp hạng sản phẩm. Đánh giá gợi ý sản phẩm. Tiểu kết chƣơng 2. Công cụ thực nghiệm.

Phân tích kết quả thực nghiệm. 66 DANH MỤC TÀI LIỆU THAM KHẢO. 68 QUYẾT ĐỊNH GIAO ĐỀ TÀI LUẬN VĂN THẠC SĨ (BẢN SAO) e DANH MỤC CÁC THUẬT NGỮ, TỪ VIẾT TẮT DIỄN GIẢI KÝ HIỆU TIẾNG ANH TIẾNG VIỆT Recommender System / RS Hệ tƣ vấn/Hệ gợi ý Recommendation System CF Collaborative Filtering Lọc cộng tác CBF Content-Based Filtering Lọc theo nội dung HF Hybrid Filtering Lọc kết hợp MAE Mean Absolute Error Trung bình giá trị tuyệt đối lỗi RMSE Root Mean Square Error Trung bình lỗi lấy căn KNN K-Nearest Neighbor K láng giềng gần nhất SDP Sparsity Data Problem Vấn đề dữ liệu thƣa User-Based k- User-Based k Neareast Phƣơng pháp K láng giềng NN Neighbor gần nhất dựa vào ngƣời dùng Item-Based k- Item-Based k Neareast Phƣơng pháp K láng giềng NN Neighbor gần nhất dựa vào sản phẩm Chỉ những ngƣời dùng hệ U Users thống để tìm kiếm lựa chọn sản phẩm Chỉ những sản phẩm trên hệ I Items thống nhƣ: sản phẩm, phim, ảnh, bản nhạc, trang web, e đoạn văn bản,… Chỉ mức độ đánh giá của một ngƣời dùng với một sản phẩm. Rating có thể có nhiều dạng biểu diễn: nhị phân (thích R Rating hoặc không th ch), hay đánh giá theo mức độ từ 1-5 ―dấu sao‖ đại diện 5 mức độ từ không th ch đến rất th ch… CSDL Database Cơ sở dữ liệu NNLT Programming language Ngôn ngữ lập trình e DANH MỤC CÁC BẢNG Bảng 1.

Thời gian thực thi cho nhiều truy vấn kết hợp sử dụng công cụ cơ sở dữ liệu MySQL trên tập dữ liệu 1.000 ngƣời dùng. Thời gian thực hiện để duyệt đồ thị bằng Neo4j trên tập dữ liệu 1.000 ngƣời dùng. Thời gian thực thi cho nhiều truy vấn kết hợp sử dụng công cụ cơ sở dữ liệu MySQL trên tập dữ liệu 1 triệu ngƣời dùng. Thời gian thực hiện để duyệt đồ thị bằng Neo4j trên tập dữ liệu 1 triệu ngƣời dùng.

Công cụ và kỹ thuật để thực hiện các truy vấn Cypher. Minh họa đánh giá của ngƣời dùng về 1 số bộ phim đã xem. Ma trận đánh giá. Các bộ dữ liệu thực nghiệm.

Kết quả thực nghiệm về tốc độ xử lý. kết quả thực nghiệm độ chính xác. 65 e DANH MỤC CÁC HÌNH VẼ Hình 1. Đồ thị đƣợc gắn nhãn đại diện cho cặp đỉnh.

Đồ thị có nhãn đại diện cho một hàm. Đồ thị gắn nhãn là tập hợp các quan hệ. Đồ thị thuộc t nh biểu diễn thông tin thƣ mục của các công bố khoa học. Đồ thị thuộc tính (Thomas Frisendal).

Ngƣời dùng và bạn bè của họ đƣợc biểu diễn dƣới dạng cấu trúc dữ liệu đồ thị. Đồ thị SQL của các bảng biểu diễn dữ liệu ngƣời dùng và bạn bè. Duyệt dữ liệu đồ thị mạng xã hội. Tổng quan về CSDL đồ thị.

Lƣợc đồ cơ sở dữ liệu đồ thị cho hệ gợi ý. Lý do chọn đề tài Ngày nay hệ gợi ý (Recommender Systems - RS) đã đƣợc ứng dụng rộng rãi trong các hệ thống kinh doanh, dịch vụ và đem lại lợi nhuận cao hơn so với trƣớc khi ứng dụng. Trong các hệ gợi ý đều phải lƣu trữ dữ liệu để phục vụ cho các tính toán và học máy để đƣa ra các gợi ý cho ngƣời dùng. Đa số các hệ thống đều lƣu dữ liệu dƣới dạng bảng, dạng bán cấu trúc hoặc dữ liệu phi cấu trúc nên việc cập nhật và tính toán lại mỗi khi cập nhật là khó khăn.

Ch nh vì lý do này, luận văn đề xuất sử dụng cơ sở dữ liệu đồ thị để lƣu dữ liệu cho hệ gợi ý vì cơ sở dữ liệu đồ thị hỗ trợ tốt cho lƣu trữ và thao tác với các mối quan hệ, mà đây là đặc trƣng của dữ liệu trong các hệ gợi ý: Mối quan hệ giữa ngƣời dùng với sản phẩm, mối quan hệ ngƣời dùng với ngƣời dùng, mối quan hệ giữa sản phẩm với sản phẩm. Mụ đ v n vụ n n u Sử dụng cơ sở dữ liệu đồ thị mà cụ thể là Neo4J để lƣu trữ dữ liệu của các hệ gợi ý và xây dựng các chức năng t nh toán trong hệ gợi ý bằng công cụ lập trình trên Neo4j. Thực nghiệm các chức năng của hệ gợi ý bằng dữ liệu MovieLens để đƣa ra gợi ý các bộ phim cho từng ngƣời dùng dựa vào các phim họ đã đánh giá và những ngƣời dùng khác đã đánh giá. Cách tiếp cận thực nghiệm dùng phƣơng pháp lọc cộng tác dựa trên thuật toán láng giềng.

Đối tƣợng và phạm vi nghiên c u - Cơ sở dữ liệu đồ thị Neo4j. - Ngôn ngữ lập trình Python. - Hệ gợi ý sử dụng phƣơng pháp lọc cộng tác dựa trên láng giềng. - Dữ liệu thực nghiệm: MovieLens (https://grouplens.org/datasets/movielens/) e 2 4.

P ƣơn p áp n n u - Phân loại và hệ thống hóa lý thuyết. - Phân tích và tổng hợp lý thuyết. - Điều tra, thu thập dữ liệu. - Thực nghiệm khoa học.

- Phân tích và tổng hợp kết quả thực nghiệm. Nội dung nghiên c u - Tìm hiểu về cơ sở dữ liệu đồ thị và Neo4J - Tìm hiểu về lập trình Python cho Neo4J - Tìm hiểu về hệ gợi ý - Triển khai một số thuật toán lọc cộng tác tr n cơ sở dữ liệu đồ thị. - Thực nghiệm gợi ý phim cho ngƣời dùng trên dữ liệu MovieLens đƣợc lƣu trong Neo4J. TỔNG QUAN Trong chƣơng này, luận văn giới thiệu tổng quan về đồ thị, CSDL đồ thị, CSDL đồ thị Neo4j, ƣu điểm của truy vấn đối với dữ liệu lớn trên CSDL đồ thị so với CSDL quan hệ, ngôn ngữ truy vấn Cypher; hệ gợi ý, các phƣơng pháp tiếp cận phổ biến trong xây dựng hệ gợi ý kèm theo những hạn chế của từng phƣơng pháp.

Tr n cơ sở đó xác định rõ hƣớng nghiên cứu của đề tài. Cơ sở dữ li u đồ thị 1. Khái niệm đồ thị Đồ thị (Graph) là một tập các đối tƣợng cùng với mối quan hệ các đối tƣợng theo từng cặp. Các đối tƣợng đƣợc gọi là các đỉnh, các mối quan hệ đƣợc gọi là các cạnh (hoặc cung).

Đồ thị G đƣợc biểu diễn dƣới dạng tập hợp là một cặp gồm 2 tập hợp G = (V, E). Trong đó: o Tập đỉnh o Tập cạnh *( ) + Đồ thị có hƣớng (Directed Graph) là đồ thị mà mỗi cạnh là cặp đỉnh có thứ tự. Đồ thị vô hƣớng (Undirected Graphs) thì các cạnh là cặp đỉnh không có thứ tự. Mỗi cạnh của đồ thị có thể đƣợc gán trọng số đƣợc gọi là đồ thị có trọng số.

Đơn đồ thị là một đồ thị mà giữa hai đỉnh có nhiều nhất một cạnh. V dụ đơn đồ t ị e 4 Đa đồ thị là đồ thị mà giữa hai đỉnh có nhiều hơn một cạnh. Hai cạnh e1 và e2 đƣợc gọi là cạnh lặp (bội hay song song) nếu chúng cùng tƣơng ứng với một cặp đỉnh. Đồ thị gắn nhãn Các đỉnh hoặc các cạnh của đồ thị có thể đƣợc gắn nhãn bằng số hoặc các ký hiệu khác.

Mặc dù các đỉnh của đồ thị thƣờng đƣợc gắn nhãn với các miền giá trị, nhƣng cũng có thể th m các nhãn khác vào chúng, đại diện cho các giá trị của một hoặc nhiều hàm của các đỉnh. Ví dụ: một đồ thị về các kết nối của các hãng hàng không có thể hiển thị múi giờ của từng sân bay. Khi các cạnh đƣợc gắn nhãn, đồ thị sau đó biểu diễn một quan hệ bậc ba. Trong một đồ thị có nhãn, không có gì lạ khi có nhiều hơn một cạnh từ đỉnh v1 đến đỉnh v2, miễn là chúng có các nhãn khác nhau.

Ví dụ: một đồ thị đƣợc gắn nhãn có thể chứa cả hai cạnh → và →. Đồ thị đƣợc gắn nhãn có thể đƣợc sử dụng cho ba mục đ ch khác nhau. Đầu tiên, một đồ thị đƣợc gắn nhãn có thể đại diện cho một hàm từ các cặp đỉnh đến nhãn. Ví dụ: các đỉnh có thể đại diện cho các sân bay và các nhãn có thể đại diện cho khoảng cách giữa chúng.

Trong trƣờng hợp này, có thể có nhiều nhất một cạnh ở mỗi hƣớng giữa hai đỉnh bất kỳ. Đồ t ị đƣợ ắn n ãn đạ d n o ặp đỉn Thứ hai, một đồ thị có nhãn có thể đại diện cho một hàm trong đó mỗi cạnh ánh xạ nhãn và đỉnh nguồn của nó với đỉnh đ ch của nó. Trong trƣờng hợp này, nhiều nhất một cạnh có thể để lại mỗi đỉnh với một nhãn nhất định, mặc dù một số cạnh (đƣợc dán nhãn khác nhau) có thể nối cùng một cặp đỉnh. Đồ t ị ó n ãn đạ d n o ột Thứ ba, một đồ thị đƣợc gắn nhãn có thể đại diện cho một tập hợp các quan hệ, mà tên của chúng đƣợc đặt bởi các nhãn trên các cạnh.

Ví dụ: cạnh → có nghĩa là (v1,v2) là một yếu tố của mối quan hệ A, và cạnh → có nghĩa là (v2,v3) là một yếu tố của mối quan hệ B. Do đó, đồ thị của các quan hệ thành phần này chỉ đơn giản là đồ thị con mà chúng ta thu e 6 đƣợc bằng cách chỉ xem xét các cạnh đƣợc gắn nhãn tƣơng ứng của đồ thị. Ngƣợc lại, chúng ta có thể chồng các đồ thị của một số quan hệ, miễn là chúng ta dán nhãn các cạnh đúng cách. Đồ t ị ắn n ãn l tập ợp á quan 1.