Khám Phá Khoa Học Dữ Liệu: Phương Pháp và Ứng Dụng Thực Tế

Khám phá nhóm 7 đồ án khoa học dữ liệu, cung cấp kiến thức và ứng dụng thực tiễn trong lĩnh vực phân tích dữ liệu và trí tuệ nhân tạo.

• Đề tài: Khám Phá Khoa Học Dữ Liệu: Phương Pháp và Ứng Dụng Thực Tế

Mục lục chi tiết

• LỜI MỞ ĐẦU
• 1. CHƯƠNG 1: GIỚI THIỆU VỀ KHOA HỌC DỮ LIỆU VÀ GIỚI THIỆU ĐỀ TÀI
• 1.1. Giới thiệu về khoa học dữ liệu
• 1.1.1. Dữ liệu là gì ?
• 1.1.2. Tổng quan về khoa học dữ liệu
• 1.1.3. Sự phát triển của khoa học dữ liệu
• 1.1.4. Ứng dụng tiêu biểu của khoa học dữ liệu
• 1.2. Giới thiệu đề tài
• 2. CHƯƠNG 2: TỔNG QUAN VỀ CHƯƠNG TRÌNH SỬ DỤNG VÀ CÁC PHƯƠNG PHÁP SỬ DỤNG
• 2.1. Các phương pháp excel dùng để khai phá dữ liệu trong học phần
• 2.1.1. Phương pháp thống kê mô tả
• 2.1.2. Báo cáo tổng hợp nhóm với Subtotal
• 2.1.3. Hợp nhất dữ liệu với Consolidate
• 2.2. Phần mềm Orange
• 2.3. Phương pháp phân lớp
• 2.3.1. Bài toán phân lớp dữ liệu
• 2.3.2. Một số phương pháp phân lớp
• 2.3.3. Các phương pháp đánh giá mô hình phân lớp
• 2.4. Phương pháp phân cụm
• 2.4.1. Bài toán phân cụm dữ liệu
• 2.4.2. Một số phương pháp phân cụm
• 2.4.3. Các phương pháp đánh giá phân cụm dữ liệu
• 3. CHƯƠNG 3: ỨNG DỤNG PHƯƠNG PHÁP VÀO BÀI TOÁN THỰC TẾ
• 3.1. Phân tích dữ liệu
• 3.1.1. Tiền xử lý dữ liệu
• 3.1.2. Description - Mô tả dữ liệu
• 3.1.3. Thống kê mô tả dữ liệu
• 3.2. Phân lớp dữ liệu
• 3.2.1. Một số phương pháp phân lớp dữ liệu
• 3.2.2. Kết quả phân lớp
• 4. CHƯƠNG 4: ĐÁNH GIÁ KẾT QUẢ CỦA MÔ HÌNH
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Khoa học dữ liệu là gì Tổng quan cho người mới bắt đầu

Trong kỷ nguyên số, dữ liệu được xem là tài nguyên quý giá. Khoa học dữ liệu chính là ngành khoa học liên ngành, sử dụng các phương pháp khoa học, quy trình, thuật toán học máy và hệ thống để trích xuất tri thức và những hiểu biết sâu sắc từ dữ liệu có cấu trúc và phi cấu trúc. Nó kết hợp kiến thức từ thống kê, khoa học máy tính và chuyên môn lĩnh vực để biến dữ liệu thô thành thông tin hữu ích, hỗ trợ quá trình ra quyết định chiến lược. Mục tiêu cuối cùng không chỉ là phân tích mà còn là tìm ra các tri thức hành động và các quyết định dẫn dắt hành động.

1.1. Từ Big Data đến tri thức Định nghĩa khoa học dữ liệu

Dữ liệu (data) là tập hợp các thông tin về sự kiện hoặc đối tượng được thu thập và lưu trữ. Khi khối lượng dữ liệu trở nên khổng lồ, đa dạng và được tạo ra với tốc độ cao, khái niệm Big Data ra đời. Tuy nhiên, dữ liệu tự nó không có giá trị nếu không được khai thác. Khoa học dữ liệu là khoa học về việc quản trị và phân tích dữ liệu, nhằm trích xuất giá trị từ chúng. Tài liệu gốc định nghĩa rõ, khoa học dữ liệu gồm ba phần chính: tạo và quản trị dữ liệu, phân tích dữ liệu, và áp dụng kết quả phân tích thành hành động. Nó là cầu nối biến Big Data thành tri thức kinh doanh có giá trị.

1.2. Quy trình 5 bước cốt lõi trong dự án phân tích dữ liệu

Một dự án khoa học dữ liệu điển hình tuân theo một quy trình có cấu trúc để đảm bảo kết quả chính xác và đáng tin cậy. Báo cáo nghiên cứu đã nêu bật 5 bước cơ bản: (1) Đặt vấn đề và thu thập dữ liệu từ các nguồn khác nhau. (2) Tiền xử lý dữ liệu, bao gồm việc làm sạch, xử lý dữ liệu nhiễu và thiếu sót. (3) Chuyển đổi dữ liệu, trích xuất đặc trưng mới. (4) Phân tích dữ liệu bằng các mô hình thống kê và học máy. (5) Trình bày kết quả phân tích một cách trực quan và dễ hiểu, thường thông qua các công cụ Business Intelligence (BI).

1.3. Lịch sử hình thành và sự trỗi dậy của nghề Data Scientist

Thuật ngữ 'Khoa học dữ liệu' đã xuất hiện từ những năm 1960 nhưng chỉ thực sự bùng nổ trong thế kỷ 21. Theo tài liệu tham khảo, các cột mốc quan trọng bao gồm bài báo của John W. Tukey (1962), việc sử dụng thuật ngữ của Peter Naur (1974), và đặc biệt là khi DJ Patil và Jeff Hammerbacher định hình vai trò Data Scientist tại LinkedIn và Facebook (2008). Đến năm 2012, Harvard Business Review đã gọi đây là 'nghề nghiệp hấp dẫn nhất thế kỷ 21', đánh dấu sự công nhận toàn cầu về tầm quan trọng của các chuyên gia có khả năng biến dữ liệu thành giá trị.

II. Top 3 phương pháp cốt lõi trong nghiên cứu Khoa học dữ liệu

Để thực hiện một dự án khoa học dữ liệu thành công, cần hội tụ kiến thức từ ba lĩnh vực chính. Đây là ba trụ cột nền tảng giúp một Data Scientist không chỉ xử lý được dữ liệu mà còn hiểu sâu sắc ý nghĩa đằng sau những con số. Sự thiếu hụt bất kỳ yếu tố nào cũng có thể dẫn đến các mô hình kém chính xác hoặc các giải pháp không phù hợp với thực tế kinh doanh. Việc phân tích và sử dụng dữ liệu luôn dựa vào ba nguồn tri thức này, tạo nên sức mạnh tổng hợp cho ngành khoa học dữ liệu.

2.1. Nền tảng thống kê mô tả và các phương pháp phân tích

Thống kê là xương sống của khoa học dữ liệu. Báo cáo đồ án đã trình bày chi tiết các phương pháp thống kê mô tả sử dụng trong Excel như Descriptive Statistics, Subtotal, Consolidate và Pivot Table. Những công cụ này giúp tóm tắt và mô tả các đặc tính cơ bản của dữ liệu, chẳng hạn như giá trị trung bình, phương sai, độ lệch chuẩn. Nắm vững thống kê ứng dụng cho phép các nhà phân tích hiểu được sự phân bố, xác định các điểm bất thường và hình thành giả thuyết ban đầu trước khi xây dựng các mô hình dự đoán phức tạp.

2.2. Kỹ thuật khai phá dữ liệu với các công cụ hiện đại

Khai phá dữ liệu (Data Mining) là quá trình khám phá các mẫu và quy luật hữu ích từ các tập dữ liệu lớn. Tài liệu nghiên cứu đã giới thiệu phần mềm Orange như một công cụ mạnh mẽ cho việc này. Orange cung cấp giao diện trực quan, cho phép thực hiện các tác vụ từ tiền xử lý dữ liệu, trực quan hóa dữ liệu, đến xây dựng mô hình mà không cần lập trình phức tạp. Các tiện ích như Data Sampler, Preprocess, và các biểu đồ trong nhóm Visualize là ví dụ điển hình về việc ứng dụng công cụ để hiểu sâu hơn về dữ liệu.

2.3. Sức mạnh của học máy trong việc xây dựng mô hình

Học máy (Machine Learning) là trọng tâm của khoa học dữ liệu hiện đại, cho phép máy tính học hỏi từ dữ liệu để đưa ra dự đoán. Nghiên cứu tập trung vào hai bài toán chính: Phân lớp và Phân cụm. Các thuật toán học máy như Hồi quy Logistic, Cây quyết định, và SVM được sử dụng để giải quyết bài toán phân lớp. Trong khi đó, các thuật toán như K-Means được dùng cho bài toán phân cụm. Việc lựa chọn và tinh chỉnh thuật toán phù hợp là yếu tố quyết định đến sự thành công của một mô hình dự đoán.

III. Hướng dẫn xây dựng mô hình dự đoán với các thuật toán ML

Xây dựng một mô hình dự đoán hiệu quả là mục tiêu cốt lõi của nhiều dự án khoa học dữ liệu. Quá trình này không chỉ đơn thuần là chọn một thuật toán và áp dụng nó vào dữ liệu. Nó đòi hỏi một quy trình chặt chẽ từ việc lựa chọn phương pháp, huấn luyện mô hình trên dữ liệu đã được xử lý, cho đến việc đánh giá hiệu suất một cách khách quan. Tài liệu nghiên cứu đã minh họa rõ quy trình này thông qua việc so sánh các thuật toán phân lớp khác nhau, cung cấp một cái nhìn thực tế về cách triển khai trí tuệ nhân tạo vào giải quyết vấn đề.

3.1. Bài toán phân lớp Từ Hồi quy Logistic đến SVM

Phân lớp là quá trình gán một đối tượng vào một lớp đã được định nghĩa trước. Báo cáo đã phân tích ba phương pháp phổ biến: Hồi quy Logistic, Cây quyết định (Tree), và Máy vector hỗ trợ (SVM). Mỗi phương pháp có ưu và nhược điểm riêng. Ví dụ, Cây quyết định dễ hiểu nhưng có thể overfitting. SVM mạnh mẽ trong không gian nhiều chiều nhưng kém hiệu quả khi số chiều lớn hơn số mẫu. Lựa chọn phương pháp nào phụ thuộc vào bản chất của dữ liệu và mục tiêu của bài toán, chẳng hạn như việc sử dụng thư viện Scikit-learn trong Python cho khoa học dữ liệu.

3.2. Đánh giá hiệu suất mô hình qua Ma trận nhầm lẫn và AUC

Một mô hình chỉ thực sự tốt khi hiệu suất của nó được đo lường chính xác. Tài liệu nhấn mạnh tầm quan trọng của việc đánh giá mô hình. Ma trận nhầm lẫn (Confusion Matrix) là công cụ cơ bản để xem xét các lỗi sai lầm loại 1 và loại 2. Các chỉ số như Độ chính xác (Accuracy), Precision, Recall và F1-score cung cấp cái nhìn chi tiết hơn. Đặc biệt, đường cong ROC và chỉ số AUC (Area Under Curve) là tiêu chuẩn vàng để so sánh hiệu suất giữa các mô hình phân lớp. Một mô hình có AUC càng gần 1 thì khả năng phân loại càng tốt.

3.3. So sánh và lựa chọn mô hình phân lớp tối ưu nhất

Trong case study thực tế, nhóm nghiên cứu đã sử dụng tiện ích Test and Score trong Orange để so sánh ba mô hình: Tree, SVM, và Logistic Regression. Kết quả cho thấy mô hình Logistic Regression đạt chỉ số AUC cao nhất (0.737), cao hơn so với Tree (0.645) và SVM (0.531). Phân tích Ma trận nhầm lẫn cũng cho thấy Hồi quy Logistic có tỷ lệ sai lầm thấp hơn. Dựa trên các bằng chứng định lượng này, mô hình Hồi quy Logistic đã được chọn là phương pháp phù hợp nhất để tiến hành dự báo trên bộ dữ liệu mới, thể hiện một quy trình lựa chọn mô hình dựa trên bằng chứng.

IV. Phân tích ứng dụng Khoa học dữ liệu trong E Commerce

Lý thuyết sẽ trở nên vô nghĩa nếu không được áp dụng vào thực tiễn. Ứng dụng của khoa học dữ liệu trong thương mại điện tử (E-Commerce) là một minh chứng rõ ràng về khả năng tạo ra giá trị kinh doanh. Từ việc tối ưu hóa chuỗi cung ứng, cá nhân hóa trải nghiệm khách hàng cho đến dự báo nhu cầu, phân tích dữ liệu đang thay đổi cách các doanh nghiệp vận hành. Nghiên cứu điển hình trong báo cáo tập trung vào một vấn đề cốt lõi: dự báo khả năng giao hàng đúng hạn, một yếu tố sống còn ảnh hưởng đến sự hài lòng của khách hàng.

4.1. Case study Dự báo giao hàng đúng hạn với học máy

Đề tài 'Dự báo dữ liệu E-Commerce Shipping Data' được chọn để giải quyết bài toán thực tế. Mục tiêu là xây dựng một mô hình có khả năng dự đoán biến 'Reached on time' (một sản phẩm có được giao đúng hạn hay không) dựa trên các thuộc tính khác như loại kho, phương thức vận chuyển, giá sản phẩm, chiết khấu... Bằng cách áp dụng học máy, doanh nghiệp có thể xác định các yếu tố ảnh hưởng lớn nhất đến việc giao hàng chậm trễ, từ đó đưa ra các biện pháp cải tiến quy trình vận hành và nâng cao chất lượng dịch vụ.

4.2. Khai thác dữ liệu vận chuyển bằng phần mềm Orange

Toàn bộ quy trình từ tiền xử lý dữ liệu đến dự báo được thực hiện trên phần mềm Orange. Dữ liệu đầu vào gồm 10.999 bản ghi với 12 thuộc tính. Nhóm nghiên cứu đã sử dụng Data Sampler để chia dữ liệu thành tập huấn luyện (70%) và tập kiểm tra (30%). Sau đó, các mô hình học máy được áp dụng trên tập huấn luyện. Cuối cùng, mô hình tốt nhất (Hồi quy Logistic) được dùng để dự báo trên 100 mẫu dữ liệu mới. Quá trình này cho thấy sức mạnh của các công cụ khai phá dữ liệu trực quan trong việc triển khai nhanh chóng các dự án khoa học dữ liệu.

4.3. Kết quả phân tích dữ liệu và những phát hiện quan trọng

Kết quả dự báo cho 100 mẫu dữ liệu mới đã được xuất ra thành công, chứng minh tính khả thi của mô hình. Một ưu điểm của nghiên cứu là bộ dữ liệu đầu vào khá chuẩn, không có giá trị thiếu, giúp giảm bớt gánh nặng trong khâu làm sạch dữ liệu. Phân tích cũng chỉ ra rằng doanh nghiệp có thể dựa vào kết quả này để cải tiến quy trình, tạo lợi thế cạnh tranh. Tuy nhiên, một nhược điểm được ghi nhận là độ chính xác của mô hình Hồi quy Logistic dù tốt nhất trong ba mô hình nhưng vẫn chưa ở mức lý tưởng, cho thấy tiềm năng cải thiện trong tương lai.

V. Tương lai ngành Khoa học dữ liệu và vai trò của AI

Khoa học dữ liệu là một lĩnh vực phát triển không ngừng, luôn thay đổi với sự ra đời của các công nghệ và thuật toán mới. Nhìn về tương lai, vai trò của nó sẽ ngày càng trở nên quan trọng hơn, đặc biệt khi kết hợp với những tiến bộ vượt bậc trong lĩnh vực trí tuệ nhân tạo (AI). Các doanh nghiệp không chỉ dừng lại ở việc phân tích quá khứ mà còn hướng tới việc dự báo và tự động hóa các quyết định phức tạp trong thời gian thực. Hướng phát triển của ngành hứa hẹn sẽ mở ra nhiều cơ hội nhưng cũng đi kèm không ít thách thức.

5.1. Từ Data Analyst đến Data Engineer Lộ trình sự nghiệp

Ngành khoa học dữ liệu mang đến nhiều con đường sự nghiệp đa dạng. Vị trí Data Analyst thường tập trung vào việc phân tích dữ liệu quá khứ và tạo báo cáo. Data Scientist đi sâu hơn vào việc xây dựng các mô hình dự đoán. Trong khi đó, Data Engineer chịu trách nhiệm xây dựng và duy trì cơ sở hạ tầng dữ liệu, đảm bảo luồng dữ liệu ổn định cho các bộ phận khác. Hiểu rõ lộ trình này giúp các cá nhân định hướng phát triển kỹ năng phù hợp, từ việc thành thạo SQL và các công cụ BI như Tableau, Power BI cho đến việc nắm vững các hệ thống Big Data.

5.2. Xu hướng học sâu và Xử lý ngôn ngữ tự nhiên NLP

Trong tương lai, các kỹ thuật tiên tiến như học sâu (Deep Learning) và Xử lý ngôn ngữ tự nhiên (NLP) sẽ trở thành xu hướng chủ đạo. Học sâu, với khả năng xử lý các bộ dữ liệu cực lớn và phức tạp như hình ảnh, âm thanh, sẽ mở ra các ứng dụng đột phá trong y tế, xe tự lái. NLP cho phép máy tính hiểu và tương tác với ngôn ngữ con người, thúc đẩy sự phát triển của trợ lý ảo, phân tích cảm xúc và dịch thuật tự động. Đây là những lĩnh vực mà các nhà khoa học dữ liệu cần liên tục cập nhật để không bị tụt hậu.

5.3. Thách thức và cơ hội cho nhà khoa học dữ liệu tương lai

Dù đầy hứa hẹn, ngành khoa học dữ liệu cũng đối mặt với nhiều thách thức: vấn đề về quyền riêng tư và đạo đức dữ liệu, sự thiếu hụt nhân lực chất lượng cao, và độ phức tạp ngày càng tăng của các mô hình. Tuy nhiên, đây cũng chính là cơ hội. Những chuyên gia có khả năng kết hợp kỹ thuật chuyên sâu với tư duy kinh doanh và kỹ năng giao tiếp sẽ có giá trị rất lớn. Khả năng giải thích các mô hình phức tạp (Explainable AI) và đảm bảo tính công bằng trong thuật toán sẽ là những kỹ năng được săn đón hàng đầu trong tương lai.

Trích đoạn nội dung tài liệu

Đặt vấn đề và thu thập dữ liệu - Đầu tiên bạn cần xác định vấn đề hoặc câu hỏi mà bạn muốn giải quyết thông qua dữ liệu. - Giai đoạn này tập trung vào việc thu thập dữ liệu từ các nguồn khác nhau, bao gồm cơ sở dữ liệu, tệp tin, hệ thống cảm biến, mạng xã hội và các nguồn khác. Dữ liệu có thể được thu thập bằng cách tiến hành cuộc khảo sát, sử dụng hệ thống cảm biến, thu thập dữ liệu trực tuyến hoặc thông qua các nguồn dữ liệu công cộng. Bước 2: Tiền xử lý dữ liệu - Kiểm tra và xử lý dữ liệu nhiễu, dữ liệu thiếu hoặc không chính xác.

- Chuẩn hóa định dạng dữ liệu và đồng nhất các biến trong tập dữ liệu. Bước 3: Chuyển đổi dữ liệu - Trích xuất các đặc trưng (feature extraction) hoặc tạo ra các đặc trưng mới từ dữ liệu gốc. Báo cáo đồ án Khoa học dữ liệu Trang|11 - Áp dụng các phép biến đổi hoặc mã hóa dữ liệu nếu cần thiết. Bước 4: Phân tích dữ liệu - Áp dụng các phương pháp và mô hình phân tích dữ liệu để tìm kiếm mẫu, tương quan hoặc phát hiện thông tin quan trọng.

- Sử dụng các kỹ thuật thống kê, máy học và khai phá dữ liệu để xác định mô hình và tìm ra câu trả lời cho câu hỏi được đặt ra ở bước 1. Bước 5: Trình bày kết quả phân tích - Trình bày kết quả phân tích một cách rõ ràng và dễ hiểu bằng cách sử dụng biểu đồ, đồ thị, bảng và báo cáo. - Giải thích ý nghĩa của kết quả, đưa ra nhận định và khuyến nghị dựa trên phân tích dữ liệu.3 Sự phát triển của khoa học dữ liệu: Quá trình phát triển của khoa học dữ liệu : - Năm 1962, John W. Tukey đã viết bài báo "The Future of Data Analysis" và được coi là một cột mốc quan trọng đánh dấu sự công nhận toàn cầu đầu tiên về Khoa học Dữ liệu.

Ông có ảnh hưởng lớn đến lĩnh vực thống kê và cũng liên quan mật thiết đến khoa học máy tính. John Tukey cũng được biết đến với thuật ngữ "bit" để chỉ các chữ số nhị phân. - Năm 1974, Peter Naur đã xuất bản một bài báo gọi là "Concise Survey of Computer Methods" (Khảo sát ngắn gọn về các phương pháp máy tính) nêu lên khái niệm "Khoa học Dữ liệu" và định nghĩa riêng của ông cho nó: "Khoa học xử lý dữ liệu, sau khi chúng đã được thiết lập, liên quan đến mối quan hệ của dữ liệu với những gì chúng đại diện cho trong các lĩnh vực và khoa học khác." - Năm 1977, Hiệp hội Quốc tế về Máy tính thống kê (IASC) được thành lập, đánh dấu sự phát triển của các công cụ và phương pháp trong lĩnh vực Khoa học Dữ liệu. - Năm 1989, Gregory Piatetsky-Shapiro đã tổ chức Hội thảo Khám phá kiến thức trong Cơ sở dữ liệu (KDD), mở đường cho việc nghiên cứu và phát triển các phương pháp khai phá dữ liệu.

- Năm 1994, tạp chí BusinessWeek xuất bản một số bài viết về "Tiếp thị cơ sở dữ liệu", tăng cường sự nhận thức về vai trò quan trọng của dữ liệu trong lĩnh vực kinh doanh. - Năm 1996, Liên đoàn Quốc tế về Phân loại (IFCS) đã tổ chức hội nghị mang tiêu đề "Khoa học Dữ liệu, phân loại và các phương pháp liên quan", đánh dấu sự hiện diện chính thức của thuật ngữ "Khoa học Dữ liệu" trong tiêu đề hội - Tháng 11 năm 1997, một nhà nghiên cứu có tên là Chien-Fu Jeff Wu chính thức sử dụng thuật ngữ "Khoa học dữ liệu" trong bài thuyết trình "Statistics = Data Science?" tại Đại học Michigan. Trong bài thuyết trình này, Wu đã lấy ví dụ về việc thống kê và nhà thống kê dành phần lớn thời gian để làm việc với dữ liệu, và do đó, ông đề Báo cáo đồ án Khoa học dữ liệu Trang|12 xuất rằng thuật ngữ "thống kê" nên được thay đổi thành "khoa học dữ liệu" và "nhà thống kê" nên trở thành "nhà khoa học dữ liệu". - Trong những năm 2000, sự phát triển mạnh mẽ của internet và công nghệ thông tin đã tạo ra một lượng lớn dữ liệu.

Điều này đã thúc đẩy sự quan tâm đến Khoa học Dữ liệu và khai thác thông tin từ các nguồn dữ liệu phức tạp và lớn. Cleveland đã giới thiệu Khoa học Dữ liệu như một ngành độc lập trong một bài báo mang tên "Data Science: An Action Plan for Expanding the Technical Areas of the Field of Statistics". - Năm 2008, DJ Patil và Jeff Hammerbacher đã sử dụng thuật ngữ "nhà Khoa học Dữ liệu" để miêu tả công việc của họ tại LinkedIn và Facebook. Đây là sự thừa nhận và công nhận rộng rãi cho vai trò và tầm quan trọng của Khoa học Dữ liệu trong công nghệ thông tin và công ty công nghệ.

- Năm 2012, tờ Harvard Business Review đã xem Khoa học Dữ liệu là "nghề hót nhất của thế kỷ 21". Điều này gợi ý sự tăng trưởng và sự lan rộng của lĩnh vực này trong các ngành công nghiệp và tổ chức. - Năm 2013, IEEE (Hội Kỹ sư Điện và Điện tử) đã thành lập một Nhóm công tác về Khoa học Dữ liệu và Phân tích nâng cao. Đây là một bước quan trọng để đẩy mạnh nghiên cứu và phát triển trong lĩnh vực này.

- Năm 2014, IEEE đã tổ chức Hội nghị quốc tế đầu tiên về Khoa học Dữ liệu và Phân tích nâng cao (IEEE International Conference on Data Science and Advanced Analytics). - Năm 2015, Springer đã thành lập Tạp chí Quốc tế về Khoa học Dữ liệu và Phân tích để xuất bản các tác phẩm ban đầu về lĩnh vực này và các công trình về phân tích dữ liệu lớn.4 Ứng dụng tiêu biểu của khoa học dữ liệu: - Amazon và Netflix: Cả Amazon và Netflix sử dụng khoa học dữ liệu để tạo ra gợi ý sản phẩm và nội dung cá nhân hóa dựa trên hành vi mua sắm và xem phim của khách hàng. Điều này giúp cải thiện trải nghiệm người dùng và tăng doanh số bán hàng. - Uber và Grab: Các dịch vụ gọi xe như Uber và Grab sử dụng khoa học dữ liệu để dự đoán và tối ưu hóa thời gian đợi, tuyến đường và giá cước dựa trên thông tin giao thông thời gian thực và mô hình học máy.

- Google Maps: Google Maps sử dụng khoa học dữ liệu và học máy để cung cấp thông tin lưu lượng giao thông thời gian thực, đề xuất tuyến đường tối ưu và dự báo thời gian đến đích. - Spotify: Spotify sử dụng khoa học dữ liệu để tạo ra danh sách phát và gợi ý âm nhạc cá nhân dựa trên sở thích âm nhạc và lịch sử nghe nhạc của người dùng. - IBM Watson: IBM Watson là một hệ thống trí tuệ nhân tạo dựa trên khoa học dữ liệu. Nó được sử dụng trong nhiều lĩnh vực, bao gồm y tế (phân tích hình ảnh y khoa, Báo cáo đồ án Khoa học dữ liệu Trang|13 chẩn đoán bệnh), quản lý tri thức doanh nghiệp, dịch vụ khách hàng và nhiều ứng dụng khác.

- Facebook: Facebook sử dụng khoa học dữ liệu để phân tích hành vi người dùng, gợi ý bạn bè, hiển thị nội dung và quảng cáo cá nhân hóa, và phát hiện hoạt động giả mạo và spam.2 Giới thiệu đề tài: - Với sự phát triển không ngừng của thương mại điện tử và mô hình giao hàng trực tuyến, việc hiểu và nắm bắt các dữ liệu vận chuyển trong ngành này trở thành một yếu tố quan trọng để cung cấp những dự báo và phân tích thông minh, góp phần tối ưu hóa hoạt động vận chuyển và cung ứng dịch vụ tốt hơn cho khách hàng. - Việc thu thập, nắm bắt dữ liệu giúp các doanh nghiệp và nhà quản lý hiểu rõ hơn về quy trình vận chuyển và phân phối của họ. Bằng cách thu thập và phân tích dữ liệu từ các giao dịch mua bán trực tuyến, thông tin về thời gian giao hàng, địa điểm, hình thức vận chuyển, và các yếu tố khác có liên quan, chúng ta có thể tạo ra những dự báo và phân tích chi tiết về hoạt động vận chuyển. - Vì vậy nhóm quyết định chọn đề tài “Dự báo dữ liệu E -Commerce Shipping Data” giúp dự đoán tình hình cung cấp và nhu cầu vận chuyển trong tương lai, từ đó đảm bảo khả năng cung ứng dịch vụ vượt qua những đỉnh cao thời gian như các ngày lễ hay các sự kiện mua sắm lớn.

Ngoài ra, phân tích dữ liệu vận chuyển cung cấp thông tin về hiệu suất vận chuyển, tỷ lệ hoàn thành đơn hàng, thời gian giao hàng trung bình và các chỉ số liên quan khác. Nhờ đó, các doanh nghiệp có thể xác định các điểm yếu trong chuỗi cung ứng và tìm ra những cải tiến để tăng cường hiệu quả và chất lượng dịch vụ giao hàng. - Để thực hiện dự báo và phân tích dữ liệu e-commerce shipping, các phương pháp và công cụ phân tích dữ liệu tiên tiến được áp dụng. Machine learning, data mining, và các thuật toán dự đoán có thể được sử dụng để xử lý dữ liệu lớn và tạo ra mô hình dự báo chính xác.

Các hệ thống quản lý dữ liệu và phân tích thông minh cũng đóng vai trò quan trọng trong việc thu thập, xử lý và trực quan hóa Báo cáo đồ án Khoa học dữ liệu Trang|14 Chương 2: TỔNG QUAN VỀ CHƯƠNG TRÌNH SỬ DỤNG VÀ CÁC PHƯƠNG PHÁP SỬ DỤNG 2.1 Các phương pháp excel dùng để khai phá dữ liệu trong học phần: 2.1 Phương pháp thống kê mô tả: 2.1 Thống kê bằng công cụ Descriptive Statistics : - Thống kê mô tả (Descriptive Statistics) là một phương pháp trong thống kê dùng để mô tả và tổng hợp các dữ liệu quan sát được. Thống kê mô tả cho phép bạn biết được giá trị trung bình, phương sai, độ lệch chuẩn, phân vị, min, max và các đặc tính khác của dữ liệu. Những thông tin này giúp bạn có cái nhìn tổng quan về dữ liệu, giúp bạn hiểu rõ hơn về sự phân bố và tính chất của dữ liệu. - Cách thực hiện : + Bước 1: Chuẩn bị bảng số liệu cần thống kê + Bước 2: Chọn lệnh Data -> Data Analysis -> Descriptive Statistics, sau đó hộp thoại Descriptive Statistics xuất hiện Hình 2.1: Hộp thoại Descriptive Statistics + Bước 3: Khai báo các thông số Input và Output Options Trong đó: ● Input Range : Vùng đưa dữ liệu cần thống kê vào ● Output Range : Vùng dữ liệu kết quả sau khi thống kê ● Summary statistics : Thông số thống kê tổng hợp ● Confidence Level for Mean : Độ tin cậy của giá trị trung bình Báo cáo đồ án Khoa học dữ liệu Trang|15 Hình 2.2: Giao diện Descriptive Statistics + Ví dụ minh họa : Hình 2.