CHƯƠNG 1: GIỚI THIỆU VỀ KHOA HỌC DỮ LIỆU VÀ GIỚI THIỆU ĐỀ TÀI 1.1 Giới thiệu về Khoa học dữ liệu Khoa học dữ liệu (DS) là một lĩnh vực nghiên cứu và ứng dụng chuyên sâu trong việc quản trị và phân tích dữ liệu, nhằm khai thác những thông tin có ý nghĩa và áp dụng chúng vào lĩnh vực chuyên ngành cụ thể. Từ những kiến thức và thông tin này, các quyết định được hình thành, đặt nền tảng cho các hành động thực hiện sau này. Khoa học dữ liệu là một ngành đa nguyên tắc, sự kết hợp giữa nhiều nguyên tắc và phương pháp từ các lĩnh vực khác nhau, chung quy từ ba khía cạnh chính: - Toán học (Toán thống kê): Đây là nền tảng toán học xác định cách thu thập, xử lý, và đánh giá dữ liệu một cách khoa học và chính xác. - Khoa học máy tính: Sử dụng các công cụ và kỹ thuật máy tính để xử lý và phân tích dữ liệu.
Các thuật toán máy tính đóng vai trò quan trọng trong việc khai thác thông tin từ dữ liệu. - Kiến thức chuyên ngành khác: Khoa học dữ liệu đòi hỏi hiểu biết sâu rộng về lĩnh vực mà nó được áp dụng, ví dụ như kinh doanh, y tế, khoa học xã hội, và nhiều lĩnh vực khác. Sự hiểu biết này giúp định hình cách tiếp cận và phân tích dữ liệu một cách có ý nghĩa. Sự kết hợp của các khía cạnh trên tạo điều kiện thuận lợi cho việc xử lý khối lượng lớn các dữ liệu.
Từ dữ liệu thô, thông qua các kỹ thuật tiên tiến, chúng ta có thể biến chúng thành dữ liệu có ý nghĩa. Các nhà khoa học dữ liệu, hay còn được gọi là "data scientist," đảm nhận nhiệm vụ xem xét, phân tích, và đưa ra các kết luận và dự đoán dựa trên dữ liệu. Điều này giúp các doanh nghiệp giảm chi phí, tăng hiệu quả sản xuất, nhận biết cơ hội và thách thức, và tạo lợi thế cạnh tranh trên thị trường. Các lĩnh vực chính của khoa học dữ liệu bao gồm: khai thác dữ liệu (Data Mining), thống kê (Statistics), học máy (Machine Learning), phân tích (Analysis), và lập trình (Programming).
Khoa học dữ liệu không chỉ giúp chúng ta hiểu sâu hơn về dữ liệu mà còn mở ra những cơ hội đầy tiềm năng để nâng cao hiệu suất và sự hiểu biết trong nhiều lĩnh vực khác nhau. Giới thiệu về đề tài 1. Lý do chọn đề tài Ngày nay với sự phát triển mạnh mẽ không ngừng của ngành du lịch, thì các doanh nghiệp trong lĩnh vực này cũng phải đang phải đối mặt với sự cạnh tranh khốc liệt. Bên cạnh đó đời sống vật chất và tinh thần của con người ngày càng cao vì vậy khi trải nghiệm, sử dụng dịch vụ khách hàng cũng có những tiêu chí, yêu cầu cao hơn xứng đáng với số tiền họ bỏ ra.
Bên cạnh đó nhu cầu được cá nhân hóa, riêng tư hóa trong trải nghiệm du lịch thì các công ty cung cấp dịch vụ chưa đáp ứng được. Vì vậy việc phân tích hành vi khách hàng, nhất là hiểu được những yếu tố tác động đến việc họ rời bỏ dịch vụ. Sẽ giúp công ty xác định và giải quyết các vấn đề một cách hiệu quả để có thể tối ưu hóa tài nguyên. Thông qua việc phân tích đưa ra những giải pháp như cải thiện chất lượng dịch vụ để, tạo ra các chương trình để duy trì khách hàng trung thành và tiếp cận được những khách hàng mới.
Việc này sẽ giúp cho doanh nghiệp giảm mất mát và tăng doanh thu. Đề tài của dự án này có tính ứng dụng cao, với khả năng áp dụng kết quả vào kinh doanh thực tế. Vì các công ty kinh doanh dịch vụ của các ngành nói chung và ngành du lịch nói riêng đều hướng đến việc tối ưu hóa chiến lược tiếp thị, cải thiện dịch vụ khách hàng, tối đa hóa lợi nhuận dự đoán xu hướng du lịch tương lai. Ứng dụng khoa học dữ liệu và công cụ Orange trong ngành du lịch không chỉ giúp tối ưu hóa hoạt động kinh doanh mà còn tạo ra trải nghiệm tốt hơn cho khách hàng và cải thiện sự cạnh tranh của doanh nghiệp trong ngành này.
Mục tiêu nghiên cứu - Khám phá dữ liệu. - Làm sạch dữ liệu. - Phân cụm, phân lớp dữ liệu. - So sánh dựa trên nhãn “Target”.
- Định hướng chiến lược cho công ty du lịch, giúp họ thu hút và duy trì khách hàng một cách hiệu quả. Phương pháp thực hiện Nhóm đã sử dụng phần mềm Orange để tiến hành thực hiện xử lý dữ liệu, phân cụm, phân lớp dữ liệu, rồi tiến hành dự báo cho nhóm dữ liệu ngẫu nhiên chưa phân lớp. Để thực hiện phân cụm bộ dữ liệu đã chọn, nhóm sử dụng hai phương pháp là Hierarchical và K-means: - Đối với phương pháp Hierarchical clustering, nhóm tiến hành tính khoảng cách giữa các phần tử bằng Distance rồi quan sát dữ liệu được phân cụm với số cụm từ 2 đến 5 và quan sát trên Silhouette Plot. - Đối với phương pháp K-means, nhóm quan sát chỉ số Silhouette trung bình khi phân dữ liệu từ 2 đến 5 cụm, chọn số cụm có chỉ số Silhouette tốt, phù hợp với số lượng biến có sẵn trên bộ dữ liệu và quan sát trên Silhouette Plot.
Sau khi thực hiện phân cụm dữ liệu theo hai phương pháp đã nêu, nhóm tiến hành chọn ra phương pháp tốt nhất để phân cụm cho bộ dữ liệu đã chọn 9 CHƯƠNG 2: TỔNG QUAN VỀ CHƯƠNG TRÌNH SỬ DỤNG – ORANGE VÀ CÁC PHƯƠNG PHÁP SỬ DỤNG 2. Tổng quan về phần mềm Orange Môn Khoa học dữ liệu (Data Science) liên quan đến việc khai thác và nghiên cứu dữ liệu, bao gồm hai lĩnh vực phức tạp: Khai phá dữ liệu (Data Mining) và Học máy (Machine Learning). Để giúp người dùng thuận tiện trong việc nghiên cứu những vấn đề phức tạp trong hai lĩnh vực này, đã có nhiều phần mềm được phát triển. Một trong số đó là Orange.
Orange là một phần mềm khai thác dữ liệu (Data Mining) giúp các doanh nghiệp, từ nhỏ đến lớn, tạo quy trình công việc phân tích và trực quan hoá dữ liệu. Nó cho phép tạo ra các phép chiếu tuyến tính, bản đồ nhiệt, MDS, cây quyết định và nhiều hơn nữa trên một nền tảng tập trung. Phần mềm Orange nổi tiếng vì tích hợp các công cụ khai phá dữ liệu mã nguồn mở và học máy thông minh. Nó được lập trình bằng Python và có giao diện trực quan và tương tác.
Với nhiều chức năng, Orange có thể phân tích từ dữ liệu đơn giản đến dữ liệu phức tạp, tạo ra các đồ họa đẹp mắt và thú vị. Ngoài ra, nó cũng làm cho việc khai phá dữ liệu và học máy dễ dàng hơn đối với cả người mới sử dụng và chuyên gia. Orange cung cấp cho người dùng một tập hợp các công cụ nhỏ nhất giúp tiến hành phân tích dữ liệu, bao gồm: - Data: cho phép rút trích, biến đổi và nạp dữ liệu (quy trình ETL). - Visualize: cho phép biểu diễn dữ liệu dưới dạng biểu đồ để quan sát dễ dàng hơn.
- Model: bao gồm các hàm học máy cho việc phân loại dữ liệu. - Evaluate: cung cấp các phương pháp để đánh giá mô hình học máy. - Unsupervised: bao gồm các hàm học máy cho việc gom nhóm dữ liệu. - Others: các công cụ giúp ghi chú quy trình công việc đang làm việc.
- Add ons: giúp mở rộng các chức năng nâng cao như xử lý Big Data với Spark, xử lý ảnh với Deep Learning, xử lý văn bản, phân tích mạng xã hội,. Tổng quan về các phương pháp sử dụng 2. Tiền xử lý dữ liệu Tiền xử lý dữ liệu là một phương pháp khai thác dữ liệu nhằm chuyển đổi dữ liệu thô (dữ liệu gốc/nguyên thủy) thành định dạng dễ hiểu. Trên thực tế, dữ liệu thường không hoàn chỉnh, không nhất quán hoặc thiếu đi một số hành vi hoặc xu hướng cụ thể và có thể chứa nhiều lỗi.
Việc tiền xử lý dữ liệu đóng vai trò quan trọng trong quá trình khám phá tri thức, bởi vì chất lượng quyết định phụ thuộc vào chất lượng của dữ liệu. Quá trình tiền xử lý dữ liệu bao gồm các giai đoạn như: làm sạch dữ liệu, tích hợp và biến đổi dữ liệu, và rút gọn dữ liệu. Làm sạch dữ liệu Quá trình tiến hành làm sạch dữ liệu (data cleaning/cleansing) đóng vai trò quan trọng trong việc điền các giá trị bị thiếu, loại bỏ nhiễu (remove noise) và điều chỉnh những phần dữ liệu không nhất quán (correct data inconsistencies). Đối với dữ liệu bị thiếu, có một số phương pháp được áp dụng: - Bỏ qua các mẫu có giá trị thiếu: Phương pháp này thường được sử dụng khi thuộc tính nhãn (label) bị thiếu.
Tuy nhiên, phương pháp này không hiệu quả khi tỷ lệ giá trị thiếu trong từng thuộc tính là quan trọng. - Điền vào bằng tay các giá trị thiếu: Phương pháp này yêu cầu đầu tư thời gian và không khả thi khi áp dụng cho tập dữ liệu lớn với nhiều giá trị thiếu. - Sử dụng một hằng số toàn cục để điền vào giá trị thiếu: Thay thế toàn bộ giá trị thiếu của thuộc tính bằng một hằng số như "Unknown" hoặc vô cực. - Sử dụng giá trị trung bình của thuộc tính để điền vào giá trị thiếu.
- Sử dụng giá trị trung bình của thuộc tính cho toàn bộ các mẫu thuộc cùng một lớp trong bộ dữ liệu. - Sử dụng giá trị dự đoán có khả năng nhất để điền vào giá trị thiếu: Giá trị này có thể được tìm thấy thông qua phương pháp hồi quy hoặc dựa trên các công cụ sử dụng hình thức Bayesian. 11 Ví dụ về công cụ Preprocessing widget có thể được sử dụng trong quá trình này. Đối với dữ liệu nhiễu, nhiễu thường được hiểu là lỗi hoặc sự mâu thuẫn ngẫu nhiên trong quá trình đo lường các biến số.
Các kỹ thuật loại bỏ nhiễu có thể được áp dụng như phương pháp hồi quy hoặc phân cụm. Rút gọn dữ liệu Kỹ thuật rút gọn dữ liệu được sử dụng để tạo ra một biểu diễn rút gọn của tập dữ liệu, giúp giảm số lượng dữ liệu mà vẫn giữ được tính nguyên vẹn của dữ liệu gốc. Việc khai thác dữ liệu trên dữ liệu rút gọn thường hiệu quả hơn so với việc khai thác dữ liệu trên dữ liệu gốc. Quá trình rút gọn dữ liệu bao gồm các giai đoạn sau: 1.
Tổng hợp dữ liệu: Áp dụng các phép toán tổng hợp lên dữ liệu trong khối dữ liệu để tạo ra một biểu diễn rút gọn. Lựa chọn tập thuộc tính con: Xác định và loại bỏ các thuộc tính hoặc chiều không liên quan, liên quan yếu hoặc thừa thãi trong cấu trúc dữ liệu.