Luận văn thạc sĩ: Hệ thống khuyến nghị sản phẩm sử dụng máy học trong kỹ thuật viễn thông

Khám phá luận văn thạc sĩ kỹ thuật viễn thông về hệ thống khuyến nghị sản phẩm ứng dụng máy học, mở ra hướng đi mới trong công nghệ.

• Tác giả: Nguyễn Tấn Lộc
• Người hướng dẫn: PGS.TS Hồ Văn Khương
• Trường học: Đại học Bách Khoa
• Chuyên ngành: Kỹ thuật Viễn thông
• Đề tài: Xây Dựng Hệ Thống Khuyến Nghị Sản Phẩm Sử Dụng Máy Học
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2023
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• TÓM TẮT LUẬN VĂN THẠC SĨ
• LỜI CAM ĐOAN CỦA TÁC GIẢ LUẬN VĂN
• 1. CHƯƠNG 1: MỞ ĐẦU
• 1.1. Lý do chọn đề tài
• 1.2. Mục đích nghiên cứu
• 1.3. Đối tượng và phạm vi nghiên cứu
• 1.4. Phương pháp nghiên cứu
• 1.5. Ý nghĩa khoa học và thực tiễn
• 1.5.1. Ý nghĩa khoa học
• 1.5.2. Ý nghĩa thực tiễn
• 2. CHƯƠNG 2: TỔNG QUAN
• 2.1. Giới thiệu về ngôn ngữ python
• 2.2. Khái niệm về dữ liệu. Khái niệm và quy trình thực hiện khoa học dữ liệu
• 2.3. Các tiêu chí đánh giá mô hình thuật toán
• 2.4. Các thuật toán áp dụng để xây dựng mô hình
• 2.5. Tình trạng nghiên cứu
• 2.5.1. Business Understanding – Xác định vấn đề kinh doanh
• 2.5.2. Data Requirements – Phân tích yêu cầu dữ liệu
• 2.5.3. Data collection – Thu thập dữ liệu
• 2.5.4. Data preprocessing and analysis – Tiền xử lý và phân tích dữ liệu
• 2.5.5. Modeling, Algorithms – Thuật toán và mô hình hoá
• 2.5.6. Data product - Sản phẩm dữ liệu
• 2.5.7. Communication – Giao tiếp với môi trường
• 3. CHƯƠNG 3: NỘI DUNG THỰC HIỆN
• 3.1. Công cụ thu thập tập dữ liệu
• 3.2. Trích xuất dữ liệu từ Web Api
• 3.3. Tìm hiểu, phân tích và xử lý dữ liệu
• 3.3.1. Đọc và tìm hiểu dữ liệu
• 3.3.2. Phân tích, xử lý dữ liệu trùng, dữ liệu thiếu, dữ liệu ngoại lai
• 3.3.3. Xử lý dữ liệu văn bản ngôn ngữ tự nhiên tiếng việt
• 3.4. Phương pháp tiếp cận
• 3.5. Hệ thống dựa trên nội dung (content-based systems)
• 3.6. Mô hình máy học sử dụng trong luận văn
• 3.7. Trực quan hóa dữ liệu
• 3.8. Thực hiện mô hình hóa, thông số của mô hình và nhận xét
• 3.9. SVD với thư viện Surprise
• 3.10. Thực hiện xây dựng GUI - web ứng dụng
• 3.11. Triển khai ứng dụng Streamlit
• 3.12. Trình bày đánh giá và bàn luận về kết quả
• 3.12.1. So sánh các chỉ số tương đồng của Gensim và Cosine
• 3.12.2. So sánh RMSE và MAE của 2 thuật toán ALS và SVD - Surprise
• 3.12.3. So sánh kết quả với công trình khác
• 3.12.4. So sánh 2 nhóm thuật toán Content-based system và Collaborative Filtering
• 4. CHƯƠNG 4: KẾT LUẬN VÀ HƯỚNG NGHIÊN CỨU TIẾP THEO
• TÀI LIỆU THAM KHẢO
• PHỤ LỤC HÌNH

Tóm tắt

I. Giới thiệu về hệ thống khuyến nghị

Hệ thống khuyến nghị sản phẩm bằng máy học là một công cụ quan trọng trong ngành thương mại điện tử, giúp tối ưu hóa trải nghiệm người dùng và tăng doanh thu cho doanh nghiệp. Các hệ thống này hoạt động dựa trên việc phân tích dữ liệu từ hành vi người dùng, từ đó đưa ra những gợi ý sản phẩm phù hợp. Nhờ vào sự phát triển của máy học, các thuật toán phức tạp như thuật toán Cosine, Gensim, và ALS (Alternating Least Squares) được áp dụng để cải thiện độ chính xác của các gợi ý. Điều này không chỉ giúp người tiêu dùng dễ dàng tìm thấy sản phẩm mà họ cần mà còn tạo ra giá trị cho các doanh nghiệp qua việc tăng cường mức độ tương tác và doanh thu.

1.1. Vai trò của hệ thống khuyến nghị trong thương mại điện tử

Trong bối cảnh thương mại điện tử ngày càng phát triển, hệ thống khuyến nghị trở thành một phần không thể thiếu. Hệ thống này giúp cá nhân hóa trải nghiệm mua sắm của người tiêu dùng bằng cách phân tích dữ liệu mua sắm trước đó và đưa ra các gợi ý sản phẩm phù hợp. Theo nghiên cứu, việc áp dụng hệ thống khuyến nghị có thể tăng tỷ lệ chuyển đổi và doanh thu cho các trang thương mại điện tử. Điều này cho thấy tầm quan trọng của việc phát triển các giải pháp máy học để tối ưu hóa quy trình này.

II. Phân tích dữ liệu và xây dựng mô hình

Quá trình xây dựng hệ thống khuyến nghị bắt đầu bằng việc thu thập và phân tích dữ liệu. Dữ liệu sản phẩm và phản hồi của người tiêu dùng được thu thập từ các nguồn khác nhau, sau đó được xử lý để loại bỏ những thông tin không cần thiết. Việc sử dụng các phương pháp phân tích dữ liệu như trí tuệ nhân tạo và học sâu giúp cải thiện độ chính xác của mô hình. Các thuật toán như Content-Based Filtering và Collaborative Filtering được áp dụng để xây dựng mô hình khuyến nghị. Việc đánh giá mô hình thông qua các chỉ số như Mức độ tương đồng và Căn bậc hai của trung bình bình phương sai số (RMSE) là rất cần thiết để đảm bảo rằng hệ thống hoạt động hiệu quả.

2.1. Thu thập và xử lý dữ liệu

Quá trình thu thập dữ liệu bao gồm việc lấy thông tin từ các trang thương mại điện tử và các nguồn dữ liệu khác. Sau khi thu thập, dữ liệu cần được xử lý để loại bỏ những dữ liệu lỗi hoặc không chính xác. Việc xử lý dữ liệu văn bản cũng rất quan trọng, đặc biệt là trong việc phân tích phản hồi của người tiêu dùng. Các kỹ thuật như xử lý ngôn ngữ tự nhiên (NLP) được áp dụng để cải thiện chất lượng dữ liệu đầu vào cho mô hình. Điều này không chỉ giúp tăng cường độ chính xác của các gợi ý mà còn nâng cao trải nghiệm người dùng.

III. Triển khai ứng dụng và đánh giá kết quả

Sau khi xây dựng mô hình, bước tiếp theo là triển khai ứng dụng để người tiêu dùng có thể tương tác trực tiếp với hệ thống. Việc sử dụng Streamlit để tạo ra giao diện người dùng giúp tối ưu hóa trải nghiệm khách hàng. Đánh giá kết quả của hệ thống khuyến nghị là rất quan trọng, với các chỉ số như RMSE và MAE (Mean Absolute Error) được sử dụng để đo lường hiệu quả của mô hình. Qua đó, các doanh nghiệp có thể điều chỉnh và cải thiện hệ thống khuyến nghị để đáp ứng tốt hơn nhu cầu của người tiêu dùng.

3.1. So sánh hiệu suất của các thuật toán

Việc so sánh hiệu suất của các thuật toán như Gensim, Cosine, và ALS là cần thiết để xác định phương pháp nào hoạt động tốt nhất trong bối cảnh cụ thể. Các chỉ số hiệu suất như Mức độ tương đồng và RMSE giúp đánh giá độ chính xác của các gợi ý sản phẩm. Kết quả cho thấy rằng mỗi thuật toán có những ưu điểm và nhược điểm riêng, và việc lựa chọn thuật toán phù hợp có thể mang lại lợi ích lớn cho hệ thống khuyến nghị.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh thương mại điện tử (TMĐT) tại Việt Nam phát triển mạnh mẽ với tốc độ tăng trưởng đạt khoảng 18% năm 2020 và quy mô thị trường lên đến 11,8 tỷ USD, nhu cầu cá nhân hóa trải nghiệm khách hàng ngày càng trở nên cấp thiết. Hệ thống khuyến nghị sản phẩm đóng vai trò quan trọng trong việc giúp khách hàng tìm kiếm sản phẩm phù hợp, nâng cao trải nghiệm mua sắm và tăng doanh thu cho doanh nghiệp. So với quảng cáo truyền thống với chi phí cao, hệ thống khuyến nghị sử dụng máy học không chỉ tiết kiệm chi phí mà còn mang tính cá nhân hóa cao, giúp doanh nghiệp tạo lợi thế cạnh tranh trên thị trường.

Luận văn tập trung xây dựng hệ thống khuyến nghị sản phẩm dựa trên dữ liệu sản phẩm và phản hồi khách hàng của trang TMĐT Tiki trong lĩnh vực Thiết bị số - Phụ kiện số. Mục tiêu cụ thể là phát triển mô hình khuyến nghị sử dụng hai nhóm thuật toán chính: hệ thống dựa trên nội dung (content-based systems) và lọc cộng tác (collaborative filtering), áp dụng các thuật toán Cosine, Gensim và ALS để huấn luyện và đánh giá mô hình. Phạm vi nghiên cứu bao gồm dữ liệu thu thập từ đầu năm 2023 đến giữa năm 2023, tập trung tại thị trường Việt Nam. Kết quả nghiên cứu có ý nghĩa thiết thực trong việc nâng cao hiệu quả kinh doanh TMĐT, đồng thời góp phần phát triển ứng dụng trí tuệ nhân tạo trong lĩnh vực này.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai khung lý thuyết chính để xây dựng hệ thống khuyến nghị sản phẩm:

1. Hệ thống dựa trên nội dung (Content-Based Systems): Phương pháp này tập trung vào đặc trưng của sản phẩm, sử dụng kỹ thuật xử lý ngôn ngữ tự nhiên (NLP) để trích xuất đặc trưng từ mô tả sản phẩm và đánh giá khách hàng. Các thuật toán Cosine Similarity và Gensim được sử dụng để tính mức độ tương đồng giữa các sản phẩm dựa trên vector TF-IDF. Khái niệm chính bao gồm:

   • TF-IDF (Term Frequency - Inverse Document Frequency): đánh trọng số từ khóa trong văn bản.
   • Cosine Similarity: đo lường góc hợp giữa hai vector đặc trưng.
   • Tokenization và xử lý ngôn ngữ tự nhiên tiếng Việt.

2. Lọc cộng tác (Collaborative Filtering): Phương pháp dựa trên dữ liệu đánh giá của người dùng để đề xuất sản phẩm. Thuật toán ALS (Alternating Least Squares) được áp dụng để phân rã ma trận người dùng - sản phẩm, tối ưu hóa dự đoán đánh giá còn thiếu. Các khái niệm chính bao gồm:

   • Phân rã ma trận (Matrix Factorization).
   • Gradient Descent: thuật toán tối ưu hóa.
   • Đánh giá mô hình bằng RMSE (Root Mean Square Error) và MAE (Mean Absolute Error).

Phương pháp nghiên cứu

Nguồn dữ liệu chính được thu thập từ trang TMĐT Tiki, bao gồm hai bộ dữ liệu: thông tin sản phẩm và phản hồi đánh giá của khách hàng. Dữ liệu được thu thập thông qua kỹ thuật Web Scraping sử dụng Selenium và BeautifulSoup, đồng thời khai thác API của trang web để lấy dữ liệu chi tiết sản phẩm và bình luận.

Quy trình nghiên cứu gồm các bước:

• Thu thập dữ liệu thô (ProductRaw.csv và ReviewRaw.csv).
• Tiền xử lý dữ liệu: làm sạch, loại bỏ dữ liệu thiếu và trùng lặp dưới 1%, xử lý dữ liệu ngoại lai bằng biểu đồ boxplot.
• Xử lý ngôn ngữ tự nhiên tiếng Việt với thư viện Underthesea, thực hiện tokenization, loại bỏ stop words, chuẩn hóa văn bản.
• Mã hóa dữ liệu văn bản bằng TF-IDF sử dụng thư viện Gensim và Scikit-learn.
• Xây dựng mô hình khuyến nghị dựa trên hai nhóm thuật toán: Content-Based (Cosine, Gensim) và Collaborative Filtering (ALS, SVD-Surprise).
• Đánh giá mô hình bằng các chỉ số Similarity Level, RMSE, MAE.
• Triển khai ứng dụng web trực quan sử dụng Streamlit, Github và Render.

Cỡ mẫu dữ liệu gồm hàng nghìn sản phẩm và hàng chục nghìn đánh giá, được chọn lọc kỹ càng để đảm bảo tính đại diện và độ chính xác. Phương pháp chọn mẫu là thu thập toàn bộ dữ liệu có sẵn trong phạm vi nghiên cứu nhằm đảm bảo tính toàn diện.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả của thuật toán Content-Based:

   • Thuật toán Cosine Similarity và Gensim cho kết quả tương đồng sản phẩm với mức Similarity Level trung bình trên 0.7, cho thấy khả năng đề xuất sản phẩm có tính liên quan cao.
   • Gensim có xu hướng đề xuất ít sản phẩm hơn Cosine khi sử dụng cùng ngưỡng tương đồng, do sự khác biệt trong cách tính TF-IDF với các tham số pivot và slope.

2. Hiệu quả của thuật toán Collaborative Filtering:

   • Thuật toán ALS đạt RMSE trung bình khoảng 0.85 và MAE khoảng 0.65 trên bộ dữ liệu đánh giá, cho thấy khả năng dự đoán đánh giá khách hàng khá chính xác.
   • So sánh với thuật toán SVD sử dụng thư viện Surprise, ALS có hiệu suất tương đương nhưng ưu thế về khả năng xử lý dữ liệu lớn nhờ tích hợp Apache Spark.

3. So sánh hai nhóm thuật toán:

   • Content-Based phù hợp với dữ liệu sản phẩm có mô tả chi tiết, giúp đề xuất sản phẩm tương tự dựa trên đặc trưng.
   • Collaborative Filtering tận dụng dữ liệu đánh giá người dùng, phù hợp với các trường hợp có nhiều đánh giá và tương tác.
   • Kết hợp hai nhóm thuật toán có thể nâng cao độ chính xác và đa dạng của hệ thống khuyến nghị.

4. Triển khai ứng dụng web:

   • Ứng dụng web xây dựng trên nền tảng Streamlit cho phép người dùng chọn sản phẩm và nhận đề xuất trực quan.
   • Giao diện thân thiện, phản hồi nhanh, hỗ trợ đa thuật toán, giúp doanh nghiệp dễ dàng áp dụng và mở rộng.

Thảo luận kết quả

Nguyên nhân của hiệu quả cao đến từ việc áp dụng kỹ thuật xử lý ngôn ngữ tự nhiên tiếng Việt phù hợp, kết hợp với các thuật toán máy học hiện đại. Việc sử dụng TF-IDF chuẩn hóa và các tham số điều chỉnh trong Gensim giúp cân bằng trọng số từ khóa, tránh thiên lệch khi văn bản ngắn hoặc dài. Thuật toán ALS tận dụng tốt ma trận đánh giá thưa thớt, phù hợp với dữ liệu TMĐT thực tế.

So với các nghiên cứu trước đây, kết quả đạt được có sự cải thiện về độ chính xác và khả năng xử lý dữ liệu lớn nhờ tích hợp Apache Spark và tối ưu thuật toán. Việc triển khai ứng dụng web cũng tạo điều kiện thuận lợi cho việc áp dụng thực tế, giúp doanh nghiệp tiết kiệm chi phí quảng cáo và nâng cao trải nghiệm khách hàng.

Dữ liệu có thể được trình bày qua biểu đồ so sánh RMSE và MAE giữa các thuật toán, biểu đồ phân bố Similarity Level, cũng như bảng tổng hợp số lượng sản phẩm đề xuất theo từng thuật toán, giúp minh họa rõ ràng hiệu quả từng phương pháp.

Đề xuất và khuyến nghị

1. Tăng cường thu thập và làm sạch dữ liệu: Động từ hành động: mở rộng quy mô thu thập dữ liệu sản phẩm và đánh giá, nâng cao chất lượng dữ liệu đầu vào để cải thiện độ chính xác mô hình. Chủ thể thực hiện: bộ phận phân tích dữ liệu của doanh nghiệp. Timeline: 6 tháng tiếp theo.

2. Kết hợp đa thuật toán khuyến nghị: Áp dụng mô hình hybrid kết hợp Content-Based và Collaborative Filtering để tận dụng ưu điểm của từng phương pháp, nâng cao hiệu quả đề xuất. Chủ thể thực hiện: nhóm phát triển công nghệ. Timeline: 3 tháng.

3. Phát triển giao diện người dùng thân thiện: Cải tiến ứng dụng web với các tính năng cá nhân hóa, phản hồi nhanh và dễ sử dụng, tăng trải nghiệm khách hàng. Chủ thể thực hiện: đội ngũ thiết kế UX/UI và phát triển phần mềm. Timeline: 4 tháng.

4. Đào tạo và nâng cao năng lực nhân sự: Tổ chức các khóa đào tạo về máy học, xử lý dữ liệu và phát triển hệ thống khuyến nghị cho nhân viên kỹ thuật và phân tích dữ liệu. Chủ thể thực hiện: phòng nhân sự và đào tạo. Timeline: 1 năm.

5. Theo dõi và đánh giá liên tục: Thiết lập hệ thống giám sát hiệu suất mô hình, cập nhật dữ liệu và thuật toán định kỳ để đảm bảo hệ thống luôn hoạt động hiệu quả. Chủ thể thực hiện: bộ phận vận hành công nghệ. Timeline: liên tục hàng quý.

Đối tượng nên tham khảo luận văn

1. Doanh nghiệp thương mại điện tử: Giúp xây dựng hệ thống khuyến nghị sản phẩm hiệu quả, tiết kiệm chi phí quảng cáo và nâng cao trải nghiệm khách hàng, từ đó tăng doanh thu và lợi thế cạnh tranh.

2. Nhà phát triển phần mềm và kỹ sư dữ liệu: Cung cấp kiến thức chuyên sâu về ứng dụng thuật toán máy học trong khuyến nghị sản phẩm, kỹ thuật xử lý dữ liệu và triển khai ứng dụng web.

3. Sinh viên và nghiên cứu sinh ngành Kỹ thuật Viễn thông, Khoa học Dữ liệu, Trí tuệ nhân tạo: Là tài liệu tham khảo thực tiễn về quy trình nghiên cứu, xây dựng và đánh giá mô hình khuyến nghị sản phẩm.

4. Các tổ chức đào tạo và nghiên cứu: Hỗ trợ phát triển chương trình đào tạo về ứng dụng máy học trong thương mại điện tử, đồng thời làm cơ sở cho các nghiên cứu tiếp theo về hệ thống khuyến nghị.

Câu hỏi thường gặp

1. Hệ thống khuyến nghị sản phẩm là gì và tại sao quan trọng?
   Hệ thống khuyến nghị sản phẩm là công cụ giúp đề xuất sản phẩm phù hợp cho khách hàng dựa trên dữ liệu sản phẩm và hành vi người dùng. Nó quan trọng vì giúp cá nhân hóa trải nghiệm, tăng doanh thu và giảm chi phí quảng cáo. Ví dụ, Amazon sử dụng hệ thống này để tăng doanh số bán hàng.

2. Tại sao sử dụng hai nhóm thuật toán Content-Based và Collaborative Filtering?
   Hai nhóm thuật toán bổ sung cho nhau: Content-Based dựa trên đặc trưng sản phẩm, còn Collaborative Filtering dựa trên đánh giá người dùng. Kết hợp giúp cải thiện độ chính xác và đa dạng đề xuất, phù hợp với nhiều loại dữ liệu khác nhau.

3. Làm thế nào để xử lý dữ liệu thiếu và ngoại lai trong nghiên cứu?
   Dữ liệu thiếu dưới 1% được loại bỏ để đảm bảo chất lượng. Ngoại lai được phát hiện qua biểu đồ boxplot và xử lý bằng cách loại bỏ hoặc biến đổi phù hợp. Việc này giúp mô hình không bị sai lệch và tăng độ chính xác.

4. Các chỉ số RMSE và MAE có ý nghĩa gì trong đánh giá mô hình?
   RMSE đo lường sai số bình phương trung bình, nhấn mạnh lỗi lớn hơn, còn MAE là trung bình sai số tuyệt đối. Cả hai giúp đánh giá độ chính xác dự đoán của mô hình, giá trị nhỏ hơn thể hiện mô hình tốt hơn.

5. Ứng dụng web được xây dựng có những tính năng gì nổi bật?
   Ứng dụng cho phép người dùng chọn sản phẩm và nhận đề xuất trực quan theo từng thuật toán, giao diện thân thiện, phản hồi nhanh, hỗ trợ đa thuật toán và dễ dàng mở rộng. Đây là công cụ hữu ích cho doanh nghiệp và khách hàng trong TMĐT.

Kết luận

• Luận văn đã xây dựng thành công hệ thống khuyến nghị sản phẩm sử dụng máy học, áp dụng hiệu quả hai nhóm thuật toán Content-Based và Collaborative Filtering.
• Thuật toán ALS và Cosine/Gensim được đánh giá qua các chỉ số RMSE, MAE và Similarity Level, cho kết quả phù hợp với dữ liệu TMĐT thực tế.
• Ứng dụng web trực quan được triển khai giúp doanh nghiệp dễ dàng áp dụng và nâng cao trải nghiệm khách hàng.
• Nghiên cứu góp phần thúc đẩy ứng dụng trí tuệ nhân tạo trong thương mại điện tử tại Việt Nam, đáp ứng nhu cầu phát triển thị trường.
• Các bước tiếp theo bao gồm mở rộng dữ liệu, kết hợp thuật toán, cải tiến giao diện và đào tạo nhân lực để phát triển hệ thống bền vững.

Hành động ngay hôm nay: Doanh nghiệp và nhà phát triển công nghệ nên áp dụng các giải pháp khuyến nghị sản phẩm dựa trên máy học để nâng cao hiệu quả kinh doanh và cạnh tranh trên thị trường TMĐT ngày càng phát triển.

Trích đoạn nội dung tài liệu

Đặt vấn đề - Tại sao cần thu thập dữ liệu Đối với doanh nghiệp hiện nay, việc thu thập dữ liệu có nhiều mục đích như: để so sánh giá cả, biết được sự hài lòng của khách hàng, so sánh khách hàng tiềm năng. Đối với người làm khoa học dữ liệu (Data Scientist) hay với các cá nhân, việc thu thập dữ liệu có các mục đích như: tìm kiếm các thông tin yêu thích trên các trang web, nhận thông tin việc làm – tiền lương từ các trang web tuyển dụng, tìm kiếm các chủ đề nóng trên các trang web xã hội, lướt các trang blog ẩm thực để tìm kiếm các công thức nấu ăn cụ thể hay các bài đánh giá khác nhau. Giới thiệu về Web Scraping Web Scraping, còn gọi là Data Mining (khai thác dữ liệu web) hoặc Web Harvesting (thu thập web), là quá trình xây dựng một ứng dụng có thể trích xuất, phân tích cú pháp, tải và sắp xếp thông tin hữu ích từ web một cách tự động. Dữ liệu (data): là thứ không thể thiếu đối với bất kỳ ai làm việc với dữ liệu; yêu cầu cơ bản của mọi dự án Khoa học Dữ liệu hay mọi ứng dụng là số lượng lớn dữ liệu hữu ích.

Phương pháp thu thập dữ liệu [14]: ✓ Sử dụng tính năng web scraping để có được lượng lớn dữ liệu có sẵn trực tuyến. ✓ Phần mềm web scraping sẽ tự động tải và trích xuất dữ liệu từ nhiều trang web. ✓ Trang web thương mại điện tử (E-commerce Websites) – thu thập dữ liệu liên quan đặc biệt đến giá cả của một sản phẩm cụ thể từ các trang web thương mại điện tử khác nhau để so sánh. ✓ Công cụ tổng hợp nội dung (Content Aggregators) – được sử dụng rộng rãi bởi các công ty tổng hợp nội dung như tổng hợp tin tức và tổng hợp việc làm để cung cấp dữ liệu cập nhật cho khách hàng của họ.

✓ Chiến dịch tiếp thị và bán hàng (Marketing & Sales Campaigns): có thể sử dụng để lấy dữ liệu như email, số điện thoại cho các chiến dịch bán hàng và tiếp thị. ✓ Tối ưu hóa công cụ tìm kiếm (Search Engine Optimization – SEO): được sử dụng rộng rãi cho các cộng cụ SEO để doanh nghiệp biết cách họ xếp hạng cho các từ khóa tìm kiếm quan trọng. ✓ Dữ liệu cho các dự án máy học (Data for Machine Learning Projects): việc HVTH: Nguyễn Tấn Lộc Trang 9 Xây dựng hệ thống khuyến nghị sản phẩm sử dụng máy học GVHD: PGS.TS Hồ Văn Khương truy xuất dữ liệu cho các dự án máy học phụ thuộc vào việc tìm kiếm trên web. Quy trình làm việc: Hình 2.2: Quy trình thu thập dữ liệu web (Web Scraping) ✓ Hiểu những gì chúng ta muốn thực hiện.

✓ Tìm nguồn dữ liệu để giúp chúng ta thực hiện điều đó. HVTH: Nguyễn Tấn Lộc Trang 10 Xây dựng hệ thống khuyến nghị sản phẩm sử dụng máy học GVHD: PGS.TS Hồ Văn Khương ✓ Đọc dữ liệu thô online. ✓ Định dạng dữ liệu này để có thể sử dụng được. ✓ Sử dụng Selenium hoặc Beautiful Soup thông qua Python để thu thập dữ liệu.

✓ Processing – Xử lý dữ liệu, có nhiều lựa chọn công việc. ✓ Tính hợp pháp (Legality) ✓ Trước khi thu thập dữ liệu bất kỳ trang web nào, chúng ta cần phải tìm hiểu về tính hợp pháp của việc thu thập thông tin. ✓ Nếu sử dụng dữ liệu cho mục đích cá nhân (ngoài phục vụ giáo dục), mục đích kinh doanh hay các mục đích khác, thì trước khi thực hiện, chúng ta cần gửi yêu cầu cho chủ sở hữu hoặc tìm hiểu về các chính sách thu thập dữ liệu cho dữ liệu sẽ được thu thập [15]. Data preprocessing and analysis – Tiền xử lý và phân tích dữ liệu 2.1 Data Visualization – Trực quan hoá dữ liệu Trực quan hoá dữ liệu là việc sử dụng các biểu diễn trực quan của dữ liệu trừu tượng thông qua sự hỗ trợ của máy tính để mở rộng nhận thức.

Trực quan dữ liệu nhằm khai thác sức mạnh đáng kinh ngạc của hệ thống trực quan, phát hiện các mối quan hệ và xu huống, giúp người xem thấy trực quan và dễ hiểu, qua đó giúp giải quyết các vấn đề đã đặt ra. Biểu đồ tương tác trực tiếp với hệ thống thi giác, giúp chúng ta xử lý thông tin nhanh hơn, giải thích khối lượng lớn dữ liệu ngay lập tức hay kể câu chuyện về dữ liệu trong thời gian rất ngắn.2 Data exploration – Khám phá, làm sạch dữ liệu Khám phá dữ liệu là một bước thực hiện trong quá trình làm sạch dữ liệu (Data cleaning). Không có lối tắt để khám phá dữ liệu. Khi làm việc với máy học, chúng ta sẽ nhận ra rằng chúng ta luôn phải vật lộn để cải thiện độ chính xác của mô hình.

Trong những tình huống như vậy, các kỹ thuật khám phá dữ liệu sẽ rất hữu ích. Chất lượng input sẽ quyết định đến chất lượng output. Thường việc khám phá dữ liệu, làm sạch và chuẩn hoá dữ liệu chiếm phần lớn thời gian của dự án (70% ~ 80%). HVTH: Nguyễn Tấn Lộc Trang 11 Xây dựng hệ thống khuyến nghị sản phẩm sử dụng máy học GVHD: PGS.TS Hồ Văn Khương Hình 2.3: Khám phá – làm sạch dữ liệu Các công việc cần làm trước tiên: a.

Xác định thuộc tính - biến (Variable – Identification) Để đảm bảo kết quả tốt cho một dự án, chúng ta cần hiểu rõ về phạm vi của dữ liệu. Để làm điều đó, chúng ra không chỉ cần biết về loại dữ liệu chúng ra có mà còn cần biết mối quan hệ giữa các thuộc tính, thuộc tính nào hữu ích và cách chúng thay đổi trong dữ liệu được cung cấp. Chúng ra cần thực hiện một số thử nghiệm khám phá ban đầu trên dữ liệu. Chúng ta cần tìm hiểu các kỹ thuật để khám phá và phân tích dữ liệu bằng cách xác định thuộc tính hữu ích cho kinh tế, tiếp thị, phân tích các chỉ số hiệu suất chính (KPIs – key performance indicators).

Đầu tiên, xác định các biến đầu vào (Predictor/Input) và biến đầu ra (Target/Output). Tiếp theo, xác định kiểu dữ liệu của các biến (Numberical Data, Categorical Data, Time Series Data, Text…). HVTH: Nguyễn Tấn Lộc Trang 12 Xây dựng hệ thống khuyến nghị sản phẩm sử dụng máy học GVHD: PGS.TS Hồ Văn Khương Hình 2.4: Kiểu dữ dữ liệu của các biến b. Phân tích đơn biến (Univariate Analysis) Phân tích dữ liệu đơn biến có nghĩa là chúng ta khám phá từng biến một.

Phương pháp để thực hiện phân tích đơn biến sẽ phụ thuộc vào loại biến là phân loại (categorical) hay liên tục (continuous). Continuous Variales: trong trường hợp các biến liên tục, các ta cần tìm hiểu xu hướng trung tâm và sự lây lan của các biến. HVTH: Nguyễn Tấn Lộc Trang 13 Xây dựng hệ thống khuyến nghị sản phẩm sử dụng máy học GVHD: PGS.TS Hồ Văn Khương Bảng 2.1: Các phương pháp trực quan số liệu thống kê Central Tendency Measure of Dispersion Visualization Mathods Mean Range Histogram Median Quartile Box Plot Mode IQR Min Variance Max Standard Deviation Skewness and Kurtosis Chú ý: Phân tích đơn biến cũng được sử dụng để làm nổi bật các giá trị bị thiếu và ngoại lệ. Categorical Variales: đối với các biến phân loại, chúng ta sử dụng bảng tần số để hiểu phân phối của từng loại, cũng có thể đọc theo tỷ lệ phần trăm của các giá trị theo từng danh mục.

Biến có thể được đếnm bằng value_counts() theo từng Category. Bar chart được dùng để trực quan dữ liệu. Phân tích hai biến (Bi-variate Analysis) Phân tích hai biến tìm ra mối quan hệ của hai biến: tìm kiếm sự liên kết (association) và không liên kết (disassociation) giữa các biến ở mức ý nghĩa được xác định trước. Chúng ta có thể thực hiện phân tích hai biến cho bất kỳ sự kết hợp nào của các biến phân loại và liên tục.

Sự kết hợp có thể là: Phân loại và phân loại, phân loại và liên tục, liên tục và liên tục. Các phương pháp khác nhau được sử dụng để giải quyết các kết hợp này trong quá trình phân tích. Liên tục và liên tục: khi phân tích hai biến liên tục, chúng ta nên xem xét biểu đồ phân tán. Đó là một cách phù hợp để tìm ra mối quan hệ của hai biến.

Mẫu biểu đồ phân tán biểu thị mối quan hệ giữa các biến. Mối quan hệ có thể là tuyến tính hay phi tuyến tính. HVTH: Nguyễn Tấn Lộc Trang 14 Xây dựng hệ thống khuyến nghị sản phẩm sử dụng máy học GVHD: PGS.TS Hồ Văn Khương Hình 2.5: Biểu đồ phân tán cho thấy mối quan hệ giữa hai biến Biểu đồ phân tán cho thấy mối quan hệ giữa hai biến nhưng không chỉ ra sức mạnh của mối quan hệ giữa chúng. Để tìm ra sức mạnh của mối quan hệ, cần dùng Correlation function.

Tương quan khác nhau giữa -1 và +1. ✓ -1: Tương quan tuyến tính âm hoàn hảo. ✓ +1: Tương quan tuyến tính dương hoàn hảo. ✓ 0 : Không tương quan.

Phân loại và phân loại: để tìm mối quan hệ giữa hai biến phân loại, chúng ta có thể sử dụng các phương pháp: Two-way table, Stacked Column Chart, Chi-Square Test,. Two-way table: Bắt đầu phân tích mối quan hệ bằng cách tạo bảng hai chiều Count. Các dòng đại diện cho category của một biến và các cột đại diện cho các loại của biến khác. Hiển thị Count của cá mẫu có sẵn trong mỗi kết hợp của các loại dòng và cột.

Stacked Column Chart: Biểu đồ xếp cột chồng là biểu đồ trực quan hoá dữ liệu của bảng 2 chiều. Chi-Square Test: Thử nghiệm này được sử dụng để rút ra ý nghĩa thống kê của mối quan hệ giữa các biến. Kiểm định chi bình phương được sử dụng được sử dụng khi chúng HVTH: Nguyễn Tấn Lộc Trang 15 Xây dựng hệ thống khuyến nghị sản phẩm sử dụng máy học GVHD: PGS.TS Hồ Văn Khương ta mối xem liệu có mối quan hệ giữa hai biến phân loại (categorical variables) trong một tổng thể hay không. Nó thường được sử dụng với dữ liệu phân loại như trình độ học vấn, màu sắc hoặc giới tính.

Ngoài ra, nó kiểm tra xem bằng chứng trong mẫu có đủ mạnh để khái quát mối quan hệ của một quần thể lớn hay không. Ví dụ, chúng ta quan tâm liệu có mối quan hệ giữa giới tính (gender) và loại hình doanh nghiệp (section) mà người lao động them giá làm việc hay không? Khi đó, giải thuyết của Chi-squared test được phát biểu như sau: ✓ ({H_0}): Biến gender và biến section là hai biến độc lập. ✓ ({H_1}): Biến gender và biến section không phải là hai biến độc lập. Chúng ta có thể giải thích test statisgic trong bối cảnh Chi-squared distribution với số lượng degress of freedom (dof) như sau: ✓ Nếu Statistic ≥ Critical Value: bác bỏ giải thuyết null (H0) => hai biến không độc lập.