CHƯƠNG 1: TÓM TẮT, GIỚI THIỆU ĐỀ TÀI 1. Lý do chọn đề tài Bộ dữ liệu về thông tin laptop đại diện cho một tình huống phổ biến trong lĩnh vực công nghệ tiêu dùng và thương mại điện tử, đặc biệt hữu ích cho các nhà bán lẻ, nhà sản xuất và người tiêu dùng. Việc phân tích các yếu tố như giá, thương hiệu, dung lượng RAM, loại màn hình và kích thước có thể hỗ trợ tối ưu hóa chiến lược kinh doanh, hiểu rõ hơn về nhu cầu thị trường, cũng như giúp người tiêu dùng đưa ra quyết định mua sắm hợp lý. Bộ dữ liệu này cung cấp nền tảng hữu ích cho nghiên cứu và phát triển sản phẩm, nâng cao trải nghiệm người dùng và ra quyết định dựa trên dữ liệu chính xác.
Tác giả có thể khai thác bộ dữ liệu để xác định xu hướng sản phẩm, tối ưu hóa giá bán và dự đoán nhu cầu người dùng. Những việc làm này không chỉ mang lại giá trị thực tiễn cho các nhà sản xuất và bán lẻ mà còn tạo cơ hội phát triển các giải pháp phân tích thông minh trong thương mại điện tử. Mục tiêu nghiên cứu 1. Mục tiêu tổng quát Sử dụng phần mềm Excel và Orange cùng với những kiến thức về phân tích dữ liệu, tác giả tiến hành xử lý dữ liệu, phân cụm, phân loại và dự báo trên bộ dữ liệu “Laptop Data”.
Quy trình này giúp cung cấp một cái nhìn toàn diện về các thông số kỹ thuật và mức giá laptop, đồng thời đưa ra những đánh giá dựa trên dữ liệu đã phân tích để hỗ trợ việc lựa chọn sản phẩm, tối ưu hóa chiến lược định giá, và hiểu rõ hơn về nhu cầu người tiêu dùng trong thị trường laptop. Mục tiêu cụ thể Bài toán 1: Xây dựng mô hình phân cụm để xác định các nhóm laptop có đặc điểm tương đồng. Các yếu tố như thương hiệu, dung lượng RAM, kích thước màn hình và loại vi xử lý có thể được sử dụng để phân cụm, giúp xác định phân khúc sản phẩm phù hợp với các đối tượng khách hàng khác nhau (như người dùng phổ thông, người chơi game, dân văn phòng). Bài toán 2: Xây dựng mô hình phân loại để dự đoán mức giá laptop dựa trên các đặc tính như RAM, loại card đồ họa, hệ điều hành, và loại màn hình.
Mô hình này sẽ hỗ trợ người tiêu dùng đưa ra lựa chọn hợp lý và giúp các nhà bán lẻ đề xuất giá phù hợp với từng cấu hình. Tổng quan dự án Bộ dữ liệu "Laptop Data" chứa thông tin của 1.303 mẫu laptop, cung cấp chi tiết về các thông số kỹ thuật và đặc điểm như thương hiệu, kích thước màn hình, độ phân giải, bộ vi xử lý, RAM, bộ nhớ, card đồ họa, hệ điều hành, khối lượng và giá cả. Bộ dữ liệu này cho phép phân tích và đánh giá xu hướng về cấu hình và mức giá laptop, từ đó hỗ trợ người tiêu dùng và nhà bán lẻ đưa ra quyết định mua sắm và chiến lược định giá hiệu quả hơn. CHƯƠNG 2: MÔ TẢ DỮ LIỆU, TỔNG QUAN VỀ CHƯƠNG TRÌNH ORANGE VÀ PHƯƠNG PHÁP SỬ DỤNG TRONG BÀI 2.
Mô tả bộ dữ liệu Bộ dữ liệu "Laptop Data" trên Kaggle bao gồm thông tin về các mẫu laptop, với nhiều thuộc tính như giá, tên thương hiệu, kiểu máy, thông số kỹ thuật và các yếu tố khác như kích thước màn hình, bộ nhớ RAM, dung lượng ổ cứng và thời lượng pin. Dữ liệu này rất hữu ích cho các phân tích liên quan đến thị trường laptop, so sánh hiệu suất và giá cả giữa các sản phẩm khác nhau. • Đặc điểm của tập dữ liệu: Đa biến • Bản ghi trong tập dữ liệu: 1303 dòng • Các cột trong tập dữ liệu: 12 cột • Đặc điểm thuộc tính: Bao gồm cả numerical (số liệu số học), categorical data (dạng phân loại) và meta data (dữ liệu hỗn hợp) • Giá trị bị thiếu: Không Thông tin liên quan đến từng thuộc tính được liệt kê như sau: STT: Số thứ tự của mẫu laptop. Company: Thương hiệu của laptop (VD: Dell, Apple).
TypeName: Loại laptop (VD: Notebook, Ultrabook). Inches: Kích thước màn hình (đo bằng inch). ScreenResolution: Độ phân giải màn hình (VD: 1920x1080). Cpu: Loại vi xử lý (VD: Intel Core i5).
Ram: Dung lượng RAM (VD: 8GB). Memory: Dung lượng và loại ổ cứng. Gpu: Loại card đồ họa (VD: NVIDIA GeForce). OpSys: Hệ điều hành cài sẵn.
Weight: Khối lượng của laptop. Price: Giá của laptop (đơn vị: USD). Giới thiệu sơ lược về Orange và lí do chọn công cụ này Orange là bộ công cụ trực quan hóa dữ liệu, machine learning và khai thác dữ liệu mã nguồn mở. Nhờ có giao diện dễ hiểu, dễ sử dụng nên người dùng có thể khai phá, phân tích dữ liệu định tính nhanh chóng và trực quan hóa dữ liệu tương tác.
Các nút chức năng trong Orange được gọi là Widget và có thể thực hiện thao tác từ đơn giản như trực quan hóa dữ liệu, lựa chọn tập hợp con và tiền xử lý dữ liệu, đến đánh giá thực nghiệm các thuật toán học tập và mô hình dự đoán. Orange cung cấp một nền tảng để thử nghiệm, đề xuất mô hình và xây dựng mô hình dự đoán và được sử dụng trong y sinh học, tin học và giảng dạy. Trong nghiên cứu khoa học, công cụ này được sử dụng như một nền tảng để thử nghiệm các thuật toán machine learning mới và để triển khai các kỹ thuật mới trong di truyền, tin học. Trong giáo dục, Orange được sử dụng để giảng dạy phương pháp machine learning và khai thác dữ liệu cho sinh viên các ngành cần tiếp xúc với khối lượng lớn dữ liệu.
Vì các ưu điểm của công cụ Orange như dễ sử dụng, dễ hiểu, trực quan nên tác giả quyết định sử dụng Orange là công cụ chính để thực hiện bài nghiên cứu này. Ngoài ra, vì đây là công cụ được tin dùng trong nhiều lĩnh vực và được chứng thực mức độ chính xác nên tác giả càng yên tâm với kết quả cuối cùng của bài nghiên cứu. Các phương pháp sử dụng 2. Tiền xử lí dữ liệu Tiền xử lý dữ liệu là một quá trình quan trọng ban đầu nhằm chuyển đổi dữ liệu thô ban đầu thành một tập dữ liệu sạch.
Vì khi tập dữ liệu được thu thập từ nguồn, nó được thu thập ở định dạng thô và không hoặc ít khả thi cho việc phân tích. Mục đích của kỹ thuật này là cải thiện chất lượng dữ liệu - như sự nhất quán, hoàn thiện, chính xác và hiện hành; từ đó cải thiện kết quả khai phá. Bước tiền xử lí lại chia ra 4 thao tác để xử lí tuần tự từng vấn đề có thể xảy ra: làm sạch dữ liệu, tích hợp dữ liệu, chuyển đổi dữ liệu và rút gọn dữ liệu. Phân lớp dữ liệu Đầu tiên là quá trình gán nhãn (thuộc lớp nào) cho đối tượng dữ liệu.
Tiếp theo là xây dựng mô hình phân lớp dựa trên tập dữ liệu đó. Và cuối cùng là thao tác phân đối tượng vào một hoặc nhiều lớp nhờ mô hình này. Có thể thấy phân lớp gồm hai bước: huấn luyện mô hình và đánh giá mô hình; từ đó tiến hành phân lớp dữ liệu mới. Sau đây là vài mô hình được sử dụng phổ biến.
Hồi quy Logistic (Logistic Regression) là một thuật toán phân loại học có giám sát được sử dụng để dự đoán xác suất của một biến mục tiêu, được biểu diễn dưới dạng vector. Trong đó σ là hàm sigmoid, đầu ra của nó sẽ là khoảng giá trị từ 0 đến 1. Sau khi đã tính được xác suất p ta sẽ dễ dàng xác định được x thuộc về lớp nào.5 khi t≥0 vì vậy hồi quy Logistic sẽ dự đoán là 1 khi xTθ là dương và 0 khi xTθ âm. Random Forest là một thuật toán học máy mạnh mẽ, sử dụng nhiều cây quyết định để cải thiện độ chính xác và giảm thiểu overfitting.
Mỗi cây trong rừng được xây dựng từ một tập con ngẫu nhiên của dữ liệu và thuộc tính. Phương pháp này tổng hợp kết quả từ tất cả các cây để đưa ra dự đoán, giúp xử lý dữ liệu thiếu và hoạt động hiệu quả với cả dữ liệu số và phân loại. Random Forest dễ hiểu và áp dụng rộng rãi trong nhiều lĩnh vực phân tích dữ liệu. SVM (Support vector machine) là một thuật toán giám sát, sử dụng chủ yếu cho việc phân loại.
Trong thuật toán này thì đồ thị dữ liệu là các điểm trong n chiều không gian với giá trị của mỗi tính năng sẽ là một phần liên kết. Sau đó chúng ta thực hiện tìm hyper-plane (là 1 đường thẳng có thể phân chia các lớp ra thành hai phần riêng biệt) để phân chia các lớp. Margin là khoảng cách giữa siêu phẳng đến 2 điểm dữ liệu gần nhất tương ứng với các phân lớp và SVM luôn cố gắng cực đại hóa khoảng cách này. Nhờ sự linh hoạt chiều không gian này mà tất nhiên SVM xử lý được trong không gian nhiều chiều đồng thời rất linh hoạt.
Tuy nhiên SVM chưa thể hiện xác suất khi phân lớp. Sau khi đã chạy thử các mô hình, bước tiếp theo là đánh giá và lựa chọn mô hình phù hợp nhất. Trong bài này, tác giả đánh giá mô hình dựa trên ma trận nhầm lẫn - giúp tóm tắt hiệu suất của các mô hình phân loại. Từ ma trận, chúng ta có thể tính toán nhiều số liệu như thu hồi (recall), độ chính xác (precision), điểm f1.
được sử dụng để đánh giá hiệu suất của các mô hình phân loại. Đầu tiên là chỉ số Precision - tỷ lệ giữa số sample được tính là True Positive (TP) với tổng số sample được phân loại là Positive. Khi đó 0< Precision <=1, Precision càng gần 1 thì độ chính xác của các điểm tìm được càng cao. 𝑇𝑟𝑢𝑒 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒 Precision = 𝑇𝑟𝑢𝑒 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒+𝐹𝑎𝑙𝑠𝑒 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒 Tiếp theo là chỉ số Recall - tỷ lệ giữa các điểm positive thực được nhận đúng trên tổng điểm positive thực.
𝑇𝑟𝑢𝑒 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒 Recall = 𝑇𝑟𝑢𝑒 𝑃𝑜𝑠𝑖𝑡𝑖𝑣𝑒+𝐹𝑎𝑙𝑠𝑒 𝑁𝑒𝑔𝑎𝑡𝑖𝑣𝑒 Khi phân vân lựa chọn các model sao cho cân bằng giữa Precision và Recall thì có thêm một tham số dung hòa giữa 2 cái, có thể dựa vào đó để lựa chọn, đó là F-1 Score. Chỉ số này càng lớn thì mô hình càng tốt. (𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 ×𝑟𝑒𝑐𝑎𝑙𝑙) F1 = 2 (𝑝𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛+𝑟𝑒𝑐𝑎𝑙𝑙) ROC curve để thể hiện mối quan hệ giữa TPR (True positive rate) và FPR (False postive rate – tỷ lệ cảnh báo sai) khi ngưỡng threshold của model được thay đổi. Đường ROC càng tiệm cận với điểm (0,1) thì mô hình càng hiệu quả.