Chương 1: GIỚI THIỆU VỀ KHOA HỌC DỮ LIỆU VÀ GIỚI THIỆU ĐỀ TÀI 1.1 Giới thiệu về khoa học dữ liệu: 1.1 Dữ liệu: Dữ liệu là một tập hợp đa dạng của sự kiện, số liệu, hình ảnh, và từ ngữ nhằm mô tả, đo lường hoặc quan sát về các hiện tượng và đối tượng trong thế giới xung quanh. Sự tiến triển trong lĩnh vực công nghệ, đặc biệt là sự gia tăng của điện thoại thông minh, laptop và máy tính bảng, đã dẫn đến việc tích hợp văn bản, video và âm thanh vào bộ dữ liệu, cùng với sự thu thập thông tin từ nhật ký trang web. Dữ liệu có thể được phân chia thành hai loại chính: dữ liệu có cấu trúc và dữ liệu không có cấu trúc - Dữ liệu có cấu trúc: Thường được biết đến là dữ liệu định lượng. Chứa ý kiến chủ quan và đánh giá.
Thường được biểu diễn ở dạng số hoặc chữ. Lưu trữ trong các nền tảng như Excel, SQL, hoặc Google Sheet. Dễ dàng thu nhập, truy xuất, lưu trữ và sắp xếp. Có khả năng trích xuất thông tin một cách hiệu quả.
- Dữ liệu không có cấu trúc: Thường được coi là dữ liệu định tính. Ý kiến chủ quan và đánh giá. Thường là dạng văn bản. Lưu trữ trong tài liệu Word, Elasticsearch hoặc Solr.
Khó thu thập, xuất, lưu trữ và sắp xếp. Không thể kiểm tra bằng phương pháp và công cụ phân tích cụ thể.2 Big Data Big Data là một tập hợp các dữ liệu có khối lượng lớn, đa dạng, thay đổi nhanh và phức tạp, dẫn đến việc không có một công cụ truyền thống nào có thể hiệu quả lưu trữ và xử lý số lượng dữ liệu khổng lồ được tạo ra hàng phút. Sự phát triển xã hội và kinh tế ngày càng cần đến công nghệ, và thông qua việc thu thập và phân tích thông tin, các tổ chức có cơ hội tạo ra những đột phá mang tính cách mạng, thúc đẩy năng suất và hiệu suất công ty. Ứng dụng của Big Data đa dạng, từ ngành ngân hàng, y tế, thương mại đến lĩnh vực marketing.
Nó đóng vai trò quan trọng như một công cụ hỗ trợ phân tích, đánh giá, lưu trữ, chuẩn đoán và đảm bảo an ninh thông tin trong nhiều lĩnh vực khác nhau. 8 Báo cáo đồ án học phần Khoa học dữ liệu (DS) Nhóm 08 Ths. Nguyễn Quốc Hùng 1.3 Tổng quan về khoa học dữ liệu Khoa học Dữ liệu là một lĩnh vực nghiên cứu chuyên sâu về quản lý và phân tích dữ liệu, nhằm trích xuất giá trị từ thông tin để tạo ra hiểu biết, tri thức hành động, và đưa ra các quyết định hướng dẫn hành động Khoa học dữ liệu gồm 3 phần chính: - Tạo ra và quản trị dữ liệu Tập trung vào quá trình thu thập, lưu trữ và duy trì dữ liệu. Bao gồm các chiến lược quản lý dữ liệu và biện pháp để đảm bảo chất lượng và tính nhất quán của dữ liệu - Phân tích dữ liệu: Kết hợp kiến thức từ thống kê toán học, công nghệ thông tin và tri thức chuyên ngành.
Sử dụng công cụ và phương pháp để hiểu rõ hơn về thông tin chứa trong dữ liệu. - Chuyển kết quả phân tích thành giá trị của hành động. Chuyển đổi các kết quả phân tích thành thông tin có ích để hỗ trợ quyết định và hành động. Các yêu cầu thực hiện của khoa học dữ liệu: - Quan sát: Thu thập dữ liệu và quan sát các xu hướng, mô hình trong dữ liệu.
- Đặt Câu hỏi: Xác định câu hỏi cụ thể cần được giải quyết thông qua phân tích dữ liệu. - Hình thành Các giả thuyết: Xây dựng các giả thuyết để kiểm tra và đánh giá trong quá trình phân tích. - Tạo Các Bài kiểm tra: Phát triển phương pháp và công cụ để kiểm tra giả thuyết. - Phân tích Kết quả: Áp dụng các kỹ thuật phân tích để đưa ra hiểu biết và thông tin.
- Khuyến nghị Thực tế: Dựa trên kết quả phân tích, đưa ra gợi ý và hướng dẫn hành động thực tế. Mục đích chính của Khoa học Dữ liệu là biến đổi lượng lớn dữ liệu chưa qua xử lý thành mô hình kinh doanh. Điều này giúp tổ chức: 9 Báo cáo đồ án học phần Khoa học dữ liệu (DS) Nhóm 08 Ths. Nguyễn Quốc Hùng - Tiết giảm chi phí.
- Gia tăng hiệu quả làm việc. - Nhìn nhận cơ hội và rủi ro trên thị trường. - Tăng cường lợi thế cạnh tranh. - Các lĩnh vực của khoa học dữ liệu: Khai thác dữ liệu (Data mining), Thống kê (Statistic), Học máy (Machine learning), Phân tích (Analyze) và Lập trình (Programming).
Các lĩnh vực của Khoa học Dữ liệu: - Khai thác Dữ liệu (Data mining): Khám phá thông tin tiềm ẩn trong dữ liệu. - Thống kê (Statistic): Sử dụng các phương pháp thống kê để phân tích và hiểu dữ liệu. - Học Máy (Machine learning): Phát triển mô hình có khả năng học từ dữ liệu và thực hiện dự đoán. - Phân tích (Analyze): Sử dụng các công cụ và phương pháp để phân tích chi tiết dữ liệu.
- Lập trình (Programming): Sử dụng kỹ thuật lập trình để xử lý và phân tích dữ liệu. Vai trò - Khoa học dữ liệu có thể giúp con người mô tả, chuẩn đoán, dự đoán và đề xuất từ đó phân tích đưa ra quyết định và có hành động chính xác, đạt hiệu quả cao nhất. - Khoa học dữ liệu giúp các doanh nghiệp phân tích kinh doanh dựa trên các bảng phân tích dự báo, phân tích khuyến cáo, phân tích mô tả nhằm quản lý nhân sự, hiểu khách hàng, quyết định đầu tư vào thị trường nào và bán sản phẩm gì. - Vai trò của khoa học dữ liệu trong lĩnh vực kinh tế thể hiện cụ thể thông qua 6 bài toán của doanh nghiệp như tài chính, khách hàng, bán hàng, thị trường, nhân sự và vận hành sản xuất.
- Khi nguồn dữ liệu của các doanh nghiệp là rất lớn và cần được xử lý, họ cần áp dụng những ứng dụng của khoa học dữ liệu vào mô hình kinh doanh. 10 Báo cáo đồ án học phần Khoa học dữ liệu (DS) Nhóm 08 Ths. Nguyễn Quốc Hùng 1.4 Ứng dụng tiêu biểu của khoa học dữ liệu: Các công ty hàng đầu trong lĩnh vực Khoa học Dữ liệu như Google, Amazon, Visa đã chứng minh sức mạnh của phân tích dữ liệu trong nhiều lĩnh vực khác nhau. Dưới đây là một số ứng dụng tiêu biểu: Google: - Tìm kiếm và Quảng cáo: Sử dụng dữ liệu người dùng để cá nhân hóa kết quả tìm kiếm và quảng cáo.
Dựa vào lịch sử tìm kiếm và hành vi trực tuyến để hiển thị quảng cáo chính xác và hấp dẫn. Amazon: - Gợi ý Sản phẩm: Phân tích lịch sử mua sắm và đánh giá sản phẩm để tạo ra gợi ý sản phẩm cá nhân hóa. Tối ưu hóa trải nghiệm mua sắm và tăng cường khả năng chuyển đổi. Visa: - Phòng chống Giao dịch Fraud: Sử dụng machine learning để phân tích mô hình hành vi giao dịch và nhận biết bất thường.
Giúp bảo vệ khách hàng khỏi giao dịch gian lận.2 Giới thiệu đề tài: PHÂN LỚP BỘ DỮ LIỆU MARKETING DỊCH VỤ HÀNG KHÔNG DỰA TRÊN ỨNG DỤNG ORANGE 1.1 Lý do chọn đề tài: Trong bối cảnh môi trường kinh doanh ngày càng đa dạng và cạnh tranh, việc hiểu rõ nhu cầu của thị trường là yếu tố quyết định sự thành công của các doanh nghiệp. Lĩnh vực dịch vụ hàng không, đặc biệt là marketing, đóng vai trò quan trọng trong việc xác định và đáp ứng nhu cầu ngày càng tăng của khách hàng.2 Khái niệm về Marketing dịch vụ hàng không. Marketing dịch vụ hàng không không chỉ đơn thuần là việc quảng cáo và bán vé mà còn là quá trình tổ chức và quản lý toàn bộ hệ thống. Từ việc phát hiện nhu cầu của khách hàng đến việc thỏa mãn nhu cầu đó thông qua chính sách và biện pháp cụ thể.
Trong ngữ cảnh này, Khoa học Dữ liệu đóng vai trò quan trọng trong việc hiểu rõ hơn về hành vi của khách hàng và tối ưu hóa chiến lược marketing. 11 Báo cáo đồ án học phần Khoa học dữ liệu (DS) Nhóm 08 Ths. Nguyễn Quốc Hùng Đề tài "Phân Lớp Bộ Dữ Liệu Marketing Dịch Vụ Hàng Không Dựa Trên Ứng Dụng Orange" được chọn nhằm áp dụng phương pháp Khoa học Dữ liệu để phân loại và hiểu rõ hơn về mô hình kinh doanh trong lĩnh vực hàng không. Sự kết hợp giữa công nghệ Orange và dữ liệu marketing sẽ giúp chúng tôi rút ra những thông điệp quan trọng, hỗ trợ quyết định chiến lược và cải thiện hiệu suất trong marketing dịch vụ hàng không.3 Mục tiêu nghiên cứu Mục tiêu chính của nghiên cứu là tìm hiểu các thuộc tính của khách hàng và ảnh hưởng của chiến lược marketing dịch vụ hàng không đến nhu cầu và độ thỏa mãn của khách hàng.
Ngoài ra, nghiên cứu cũng nhằm dự báo tiềm năng phát triển và đề xuất các công cụ số để nâng cao hiệu quả trong lĩnh vực này. 12 Báo cáo đồ án học phần Khoa học dữ liệu (DS) Nhóm 08 Ths. Nguyễn Quốc Hùng Chương 2: TỔNG QUAN VỀ CHƯƠNG TRÌNH SỬ DỤNG VÀ CÁC PHƯƠNG PHÁP SỬ DỤNG 2.1 Các phương pháp của Excel dùng để khai thác dữ liệu - Excel là một phần mềm bảng tính nằm trong bộ Microsoft Office, giúp khai phá, phân tích, thống kế, tính toán các số liệu… Trong học phần Khoa Học Dữ Liệu, Excel được sử dụng để thống kê mô tả, phân tích dự báo các dữ liệu. Phương pháp thống kê mô tả 2.1 Thống kê bằng công cụ Descriptive statistics: Descriptive statistics là thống kê tóm tắt và sắp xếp đặc điểm của một tập dữ liệu.
Tập dữ liệu là tập hợp nhiều câu trả lời và quan sát từ một mẫu hoặc toàn bộ tập hợp. Cách thực hiện thống kê: Bước 1: Chuẩn bị bảng số liệu cần thống kê. Bước 2: Chọn lệnh Data => Data Analysis => Descriptive Statistics, hộp thoại Descriptive Statistics xuất hiện. Bước 3: Khai báo các thông số Input và lựa chọn các thông số Output Options.
Ví dụ: Thống kê mô tả cho lượng thịt Heo (theo kg) bán được trong tháng 03 tại siêu thị ABC Bảng 1.2 Số liệu bán hàng trong tháng 03 tại siêu thị ABC: Trong hộp thoại Descriptive Statistics, 13 Báo cáo đồ án học phần Khoa học dữ liệu (DS) Nhóm 08 Ths. Nguyễn Quốc Hùng + Nhập vào Input Range là cột chứa nguyên phần dữ liệu Heo (kg) + Output range là ô xuất hiện dữ liệu + Confidence Level for Mean: 95% + Bảng kết quả gồm các giá trị trung bình, sai số chuẩn, trung vị, yếu vị, độ lệch chuẩn… Bảng 2.2 Bảng kết quả thống kê bằng công cụ Descriptive statistics 2.