Chương 1. Tổng quan hệ tư van và bai toán. va ứng dụng của mạng nơ-ron tích chập — VGG 16 cùng kỹ thuật Fine-Turning dé giải quyết bài toán tìm kiếm phân loại sản phẩm. Lê Thế Hiếu — DI7HTTTI 11 Đồ án tốt nghiệp đại học Chương 2.
Hệ tư vấn dựa trên kỹ thuật lọc cộng tác. CHƯƠNG2 : HỆ TƯ VẤN DỰA TRÊN KỸ THUẬT LỌC CONG TAC VA UNG DỤNG MẠNG VGG16 VÀO BÀI TOÁN PHAN LOẠI TÌM KIEM ANH Nội dung chương nay ta chia ra làm nội dung chính : ° Trình bài về bài toán tư vẫn dựa trên kỹ thuật lọc cộng tác , ứng dụng xây dựng chức năng gợi ý đề xuất sản phẩm trong website thương mại điện tử. ° Tìm hiểu , ứng dụng mang nơ-ron tích chập — VGG16 vào bài toán phân loại tìm kiếm ảnh , áp dụng xây dựng chức năng tìm kiếm sản phẩm bằng hình ảnh.1 HỆ TƯ VẤN DỰA TRÊN KỸ THUAT LOC CONG TAC 2.1 GIOI THIEU VE LOC CONG TAC Lọc cộng tác là một kỹ thuật cơ bản và hiệu qua áp dụng trong hệ thống tư van. Kỹ thuật lọc cộng tác hoạt động bang cách xây dựng một cơ sở dir liệu (ma tran người dùng-sản phẩm) sở thích về các sản phẩm theo những người dùng.
Sau đó kết hợp những người dùng với các sở thích và mối quan tâm thích hợp bằng cách tính toán các độ tương tự giữa những hồ sơ người dùng dé tạo các gợi ý. Các kỹ thuật lọc cộng tác có thể được chia thành hai loại: dựa bộ nhớ (memory- based) và dựa mô hình (model-based) : ° Kỹ thuật dựa bộ nhớ (Memorybased) (còn gọi là Phương pháp láng giềng - Neighborhood-based): gồm các kỹ thuật dựa người dùng (user-based) và dựa mục tin (item-based), trong đó hoặc là dựa trên dt liệu quá khứ của người dùng “tương tự - similarity” (User-user Collaborative Filtering), hoặc là dựa trên dữ liệu quá khứ của những mục tin “tương tự” (Item-Item Collaborative Filtering). Trong phạm vi đồ án này , ta tập trung nghiên cứu phương pháp User-user Collaborative Filtering áp dụng vài bài toán tư vấn sản pham cho khách hàng được trình bày trong mục 2. Đối với nhóm kỹ thuật dựa trên bộ nhớ việc tính toán độ đo tương tự g1ữa người dùng hoặc sản phẩm là vô cùng quan trọng , nó ảnh hưởng trực tiếp đến kết quả bài toán.
Có rất nhiều độ đo đánh giá độ tương tự hiện nay , tuy nhiên trong đồ án này các độ đo được sử dụng dé đánh giá thuật toán , so sánh trong phan thử nghiệm — đánh giá ( chương 3 ) là : Khoảng cách Euclidean , độ tương quan pearson , hệ số tương tự cosine. Các độ đo nay được trình bày trong mục 2. Lê Thế Hiếu — DI7HTTTI 12 Đồ án tốt nghiệp đại học Chương 2. Hệ tư vấn dựa trên kỹ thuật lọc cộng tac.
° Kỹ thuật dựa trên mô hình (Model-based) : quy trình xây dựng mô hình có thể được thực hiện bằng cách dùng các kỹ thuật khai phá dữ liệu và học máy. Các kỹ thuật này liên quan đến việc xây dựng các mô hình dự đoán dựa trên dữ liệu thu thập được trong quá khứ.2 MOT SO PHƯƠNG PHÁP TÍNH ĐỘ ĐO TƯƠNG TU Cho : - U, v là 2 người dùng trong bai toán tư van. - Tụ › Typ» Tụi › Trị lần lượt là đánh giá của người dùngu và v cho sản phẩm p. P,, P,lan lượt là tập sản phẩm mà người dùng u và v đã đánh giá , m là tong số sản phẩm chung của u,v.
g là trung bình tat cả đánh giá của người dùng u và v. Tính : - Khoảng cach Euclidean ( deuctidean(u. Hệ - sỐ tương quan Pearson ( Syearson(U,V) ). ° Hệ số tương tự Cosine ( Scos(u, Vv) ).
Ta xét ví dụ sau , cho bang sau thê hiện một ma trận người dùng — sản phâm Điện Nokia Laptop Tivi Iphone IphoneX thoai 3200 Dell Samsung | 12 samsung 7200 promax Nguoi 5 4 4 3 4 ding 1 Nguoi 4 2 1 3 2 dùng 2 Nguoi 3 3 3 1 2 5 ding 3 Nguoi 3 4 4 2 ding 4 Bang 2. Đánh giá của 4 người dùng cho 6 sản phẩm. Từ bảng dữ liệu trên ta thấy ( xét với ví dụ với người dùng 1 ) : Lê Thế Hiếu — DI7HTTTI 13 Đồ án tốt nghiệp đại học Chương 2. Hệ tư vấn dựa trên kỹ thuật lọc cộng tác.
- Đánh giá của người dùng 1 cho sản phẩm điện thoại sam sung là 5. - Tập san pham mà người dùng 1 đánh giá là ( Điện thoại sam sung , Laptop Dell 7200, Tivi Samsung, Iphone12 Promax , Iphone X. Trung bình đánh giá của người dùng 1 với các sản phẩm là : + t+tH8314— 4 Trgười dùng | 5 ° Hệ số tương quan Pearson Phương pháp này tính toán độ tương quan thống kê giữa xếp hạng chung của hai người dùng để xác định sự giống nhau của họ. Công thức tính hệ số tương quan Pearson DiePy, N Py(Tui(rv¡ ?) Shearson (u,v) = (2.
Nếu S>0 thì hai người này có xu hướng đánh giá giống nhau và ngược lại .1 : tính toán độ tương quan của người dùng | và người dùng 2 ( từ bảng dữ liệu đánh giá trên ) 2 Ta ký hiệu người dùng | là A , người dùng 2 là B, taco: - Paí\ Pg= {Điện thoại samsung, Tivi samsung, Iphonel2 promax , IphoneX} - Giá trị đánh giá trung bình của người dang A , B lần lượt là 74 =4, % = 2.4 - Hệ số tương quan của người dùng A và người dùng B là : (5~4)+(4-2. e Khoảng cách Euclidean Là độ đo tính sự tương đồng giữa hai người dùng dựa trên khoảng cách giữa hai điểm trong không gian Euclide. Khoảng cách Euclidean được xác định bang công thức sau : Lê Thế Hiếu — DI7HTTTI 14 Đồ án tốt nghiệp đại học Chương 2. Hệ tư vấn dựa trên kỹ thuật lọc cộng tác .3) i=] Với deuctidean(U, V) là giá tri tương đồng giữa người dùng u và người dùng v; ry là giá trị xếp hạng của người dùng u cho sản phẩm ¡; r„ là giá trị xếp hạng của người v dùng cho sản phẩmi ; m là tổng số sản phẩm chung của u,v .2 : tính khoảng cách eclidean giữa 2 vector đánh gia của người dùng | và người dung 2 ( từ bang dữ liệu đánh giá trên ) ? Ta ký hiệu vector đánh giá người dung | là A , người dùng 2 là B, taco: deuclidean(U, 9) = Ý(S = 4 + (4— LẺ + (3 ~ 3)? + (4~ 2)? = 3.74 e Hệ số tương tự cosine Hệ số tương tự cosine là độ đo tính sự tương đồng giữa hai người dùng dựa trên không gian vector đại số tuyến tính [3].
Các giá trị xếp hạng của từng người dùng trên m sản phẩm được biểu diễn bằng một vector m chiều. Độ tương đồng của hai người dùng u và v được xác định bằng khoảng cách Cosine giữa hai vector theo công thức sau LiePy N PyŒwi - Tvi) Scos (UsV) = (2.4) VDiePyn Py Tui)? WDieryn Pyvi)” Với Scos(u, 0) là giá trị trong đồng giữa người dùng u và người dùng v; ĐB„ñ P,la tập các san phẩm hay các mục dữ liệu được xếp hạng bởi cả hai người dùng; 7 là giá trị xếp hạng của người dùng u cho sản phẩm 1; Tyla gia tri xép hang cua người v dùng cho sản phẩm i; Vi dụ 2.3 : tính hệ số tương tự cosine giữa 2 vector đánh giá của người dùng 1 và người dùng 2 ( từ bảng dữ liệu đánh giá trên ) ? Ta ký hiệu vector đánh gia người dung | là A , người dùng 2 là B, taco: 5*4+4x*lI+3x3+4x2 Šcos(M,U)= =0.3 THUẬT TOÁN K-NEIGHBORS (KNN) ° Thuật toán K-Nearest Neighbors (KNN) K- Nearest Neighbors (KNN) là một thuật toán học máy có giám sat (supervised learning) có thé được sử dụng trong cả phân loại (classification) và hồi quy (regression). Tư tưởng của thuật toán này được thể hiện như sau : Lê Thế Hiếu — DI7HTTTI 15 Đồ án tốt nghiệp đại học Chương 2. Hệ tư vấn dựa trên kỹ thuật lọc cộng tác.
Thuật toán : ° Xác định tham số K số làng giềng gần nhất. ° Tính khoảng cách của đối tượng cần phân lớp tới tất cả các đối tượng có trong tập train. ° Lay top K cho giá trị nhỏ nhất (hoặc lớn nhất). ° Trong top K giá trị vừa lấy, ta thông kê số lượng của mỗi lớp, chọn phân lớp cho số lượng lớn nhất.
° Ứng Thuật toán KNN vào hệ thống tư vấn dựa trên người dùng Mục tiêu của phương pháp này là để dự đoán đánh giá của người dùng X với sản phẩm Y , ta đi tìm K người dùng u;, ¡ = ( 1, 2, 3, ., k) tương tự với X nhất. Từ đánh giá thực tế K người dùng +; với sản phẩm Y ta có thé dự đoán đánh giá của X lên Y. Các bước cụ thê như sau : Thuật toán : ° Tính khoảng cách / độ tương tự của toàn bộ người dùng khác với người dùng. ° Tìm K người dùng ( 11,1¿,.,,1„) có độ tương tự gần với X nhất.,k , d là độ tương tự của 1! voi X.
° Tính ước lượng đánh giá r,,cua người dùng X với sản phẩm Y ¬ = E LiePuGy SiMUv) - s ¥ xy Vier, Sim)! Trong đó : - + là đánh giá trung bình của người dùng u. - P,(j) là tập hợp những K người dùng giống với người ding u. - Sim(u,v) là độ tương tự của người dùng u va người dùng v. Tiếp theo ta sẽ ứng dụng kỹ thuật lọc cộng tác trong bài toán tư vấn gợi ý sản phẩm trên website thương mại điện tử, sử dụng thuật toán User-user Collaborative Filtering.
Lê Thế Hiếu — DI7HTTTI 16 Đồ án tốt nghiệp đại học Chương 2. Hệ tư vấn dựa trên kỹ thuật lọc cộng tác .4 THUẬT TOÁN USER-USER COLLABORATIVE FILTERING TRONG BÀI TOÁN TU VAN SAN PHAM Trong phan nay , sẽ giới thiệu phương pháp User-user Collaborative Filtering thuộc nhóm Loc cộng tac để xây dựng chức năng đề xuất gợi ý sản phẩm trong website thương mại điện tử , cũng như có cái nhìn tổng quan về mô hình bai toán .1 Mô hình tư vấn lọc cộng tác tích hợp dựa trên người dùng Mô hình tư vấn lọc cộng tác tích hợp dựa trên người dùng hay mục dữ liệu được phát biểu như sau: Gọi U = { 1ì,u¿,.,ựy } là tập m người dùng , I = { ñ,j¿,.,„ạ} làn sản phẩm, với mỗi sản pham i; được mô tả bởi một tập gồm / thuộc tính A = { a1,đs,.