CHƯƠNG 1: GIỚI THIỆU VỀ KHOA HỌC DỮ LIỆU VÀ GIỚI THIỆU ĐỀ TÀI 1.1 Tổng quan về Khoa học dữ liệu: 1.1 Khái niệm: Khoa học dữ liệu là một lĩnh vực nghiên cứu liên ngành, kết hợp các phương pháp và kỹ thuật toán học, thống kê, khoa học máy tính và chuyên môn lĩnh vực để trích xuất thông tin và kiến thức từ dữ liệu. Mục tiêu của khoa học dữ liệu là giải quyết các vấn đề phức tạp, dự đoán xu hướng tương lai và đưa ra các quyết định sáng suốt dựa trên dữ liệu. Phân tích dữ liệu là quá trình khám phá thông tin và kiến thức từ dữ liệu bằng cách sử dụng các kỹ thuật và phương pháp tiên tiến. Để thực hiện hiệu quả quá trình này, cần có sự kết hợp chặt chẽ giữa ba nguồn tri thức chính: toán học, công nghệ thông tin và tri thức của lĩnh vực ứng dụng cụ thể.
Quy trình Khoa học dữ liệu thường gồm các bước sau: (1) Thu thập dữ liệu: thu thập dữ liệu từ nhiều nguồn khác nhau như cơ sở dữ liệu, mạng xã hội, … (2) Làm sạch dữ liệu: xử lý dữ liệu còn thiếu. chuẩn hóa dữ liệu, … (3) Khám phá dữ liệu: phân tích dữ liệu để hiểu rõ hơn về cấu trúc và xây dựng chiến lược để mô hình hóa dữ liệu (4) Mô hình hóa dữ liệu: sử dụng phần mềm và các thuật toán máy tính để phân tích dữ liệu một cách chuyên sâu, đưa ra kết quả dự đoán và đề xuất hướng hành động tốt nhất. (5) Diễn giải kết quả: tạo các sơ đồ, bảng biểu, hình ảnh để thể hiện ra kết quả phân tích, giúp hiểu rõ xu hướng và triển khai hành động một cách hiệu quả. Hình 1: Hình minh họa tổng quan về Khoa học dữ liệu (Data Science) 9 Báo cáo đồ án học phần Khoa học dữ liệu (DS) 1.2 Ứng dụng của Khoa học dữ liệu: Khoa học dữ liệu có một phạm vi ứng dụng vào hầu hết mọi lĩnh vực của đời sống.
Dưới đây là một số ví dụ tiêu biểu: 1. Y tế: Chẩn đoán bệnh: phân tích dữ liệu hình ảnh y tế như X-quang, MRI, CT scan để hỗ trợ chẩn đoán bệnh chính xác hơn. Phát triển thuốc: sử dụng học máy để dự đoán các hợp chất tiềm năng có thể trở thành thuốc mới, đẩy nhanh quá trình phát triển thuốc. Cá nhân hóa y tế: phân tích dữ liệu bệnh nhân để đưa ra các phương pháp điều trị và chăm sóc sức khỏe phù hợp với từng cá nhân.
Tài chính: Phát hiện gian lận: phân tích dữ liệu giao dịch để xác định các hành vi gian lận tiềm ẩn. Quản lý rủi ro: sử dụng các mô hình dự đoán để đánh giá và quản lý rủi ro tài chính. Dự đoán thị trường: phân tích dữ liệu thị trường để dự đoán xu hướng giá cả và đưa ra quyết định đầu tư sáng suốt. Marketing: Xác định khách hàng tiềm năng: phân tích dữ liệu khách hàng để xác định những người có khả năng cao trở thành khách hàng tiềm năng.
Tối ưu hóa chiến dịch quảng cáo: sử dụng A/B testing và các kỹ thuật học máy để tối ưu hóa hiệu quả của các chiến dịch quảng cáo. Cá nhân hóa trải nghiệm khách hàng: phân tích hành vi khách hàng để đề xuất sản phẩm và dịch vụ phù hợp với từng cá nhân. Sản xuất: Dự đoán nhu cầu: phân tích dữ liệu bán hàng và thị trường để dự đoán nhu cầu sản phẩm trong tương lai. Tối ưu hóa quy trình sản xuất: sử dụng các mô hình học máy để tối ưu hóa quy trình sản xuất, giảm thiểu lãng phí và tăng hiệu quả.
Kiểm soát chất lượng: phân tích dữ liệu sản xuất để phát hiện sớm các lỗi và vấn đề về chất lượng sản phẩm. Chính phủ: 10 Báo cáo đồ án học phần Khoa học dữ liệu (DS) Phân tích dữ liệu dân số: phân tích dữ liệu dân số để lập kế hoạch chính sách và phân bổ nguồn lực hiệu quả. Chống tội phạm: phân tích dữ liệu tội phạm để xác định các khu vực có nguy cơ cao và triển khai các biện pháp phòng ngừa tội phạm. Cải thiện dịch vụ công: sử dụng dữ liệu để nâng cao chất lượng dịch vụ công và đáp ứng tốt hơn nhu cầu của người dân.
Ngoài ra, Khoa học dữ liệu còn được ứng dụng trong nhiều lĩnh vực khác như giáo dục, giao thông vận tải, du lịch, … 1.3 Sự phát triển của Khoa học dữ liệu: Khoa học dữ liệu (Data Science) đang và sẽ tiếp tục phát triển mạnh mẽ trong những năm tới, với tốc độ nhanh hơn bao giờ hết (Dong). Điều này được thúc đẩy bởi một số yếu tố chính, bao gồm: Sự gia tăng dữ liệu: lượng dữ liệu được tạo ra và thu thập ngày càng tăng theo cấp số nhân, đến từ nhiều nguồn khác nhau như mạng xã hội, thiết bị IoT, cảm biến, v. Nguồn dữ liệu khổng lồ này mở ra cơ hội to lớn cho việc phân tích và khai thác tri thức, nhưng cũng đặt ra những thách thức về xử lý và lưu trữ dữ liệu. Nhu cầu ngày càng cao về các giải pháp dựa trên dữ liệu: các doanh nghiệp và tổ chức thuộc mọi quy mô ngày càng nhận thức được tiềm năng của khoa học dữ liệu trong việc cải thiện hiệu quả hoạt động, đưa ra quyết định sáng suốt hơn và tạo ra lợi thế cạnh tranh.
Nhu cầu về các chuyên gia khoa học dữ liệu có khả năng thu thập, phân tích và ứng dụng dữ liệu hiệu quả sẽ tiếp tục tăng cao. Tiến bộ trong công nghệ: các công nghệ mới như học máy, trí tuệ nhân tạo (AI) và điện toán đám mây đang thúc đẩy sự phát triển của khoa học dữ liệu theo nhiều cách. Học máy và AI giúp tự động hóa các quy trình phân tích dữ liệu phức tạp, cho phép các nhà khoa học dữ liệu tập trung vào việc giải quyết các vấn đề có giá trị cao hơn. Điện toán đám mây cung cấp khả năng lưu trữ và xử lý dữ liệu khổng lồ một cách hiệu quả và tiết kiệm chi phí.
Sự phát triển của khoa học dữ liệu trong tương lai hứa hẹn sẽ mang lại nhiều lợi ích cho xã hội: 11 Báo cáo đồ án học phần Khoa học dữ liệu (DS) Cải thiện hiệu quả hoạt động: các doanh nghiệp và tổ chức có thể sử dụng khoa học dữ liệu để tối ưu hóa quy trình, tiết kiệm chi phí và tăng lợi nhuận. Phát triển sản phẩm và dịch vụ mới: Khoa học dữ liệu có thể giúp các công ty phát triển các sản phẩm và dịch vụ mới đáp ứng nhu cầu của khách hàng tốt hơn. Giải quyết các vấn đề xã hội: Khoa học dữ liệu có thể được sử dụng để giải quyết các vấn đề xã hội cấp bách như nghèo đói, bất bình đẳng và biến đổi khí hậu. Nâng cao chất lượng cuộc sống: Khoa học dữ liệu có thể góp phần nâng cao chất lượng cuộc sống thông qua việc cải thiện dịch vụ y tế, giáo dục và giao thông vận tải.
Nhìn chung, Khoa học dữ liệu đang và sẽ tiếp tục đóng vai trò quan trọng trong việc định hình tương lai của chúng ta. Với sự phát triển của công nghệ và nhu cầu ngày càng cao về các giải pháp dựa trên dữ liệu, khoa học dữ liệu sẽ mở ra nhiều cơ hội mới cho việc đổi mới, sáng tạo và giải quyết các vấn đề phức tạp.2 Giới thiệu về đề tài: 1.1 Lý do chọn đề tài: Trong thời đại công nghệ số bùng nổ, việc mang theo tiền mặt cồng kềnh và nặng nề dần trở nên lỗi thời. Thay vào đó, xu hướng sử dụng thẻ tín dụng ngày càng tăng mạnh mẽ, trở thành phương thức thanh toán được ưa chuộng bởi đông đảo người tiêu dùng. Tiện lợi: sự tiện lợi chính là yếu tố then chốt thúc đẩy xu hướng sử dụng thẻ tín dụng ngày càng phổ biến.
Thay vì phải mang theo tiền mặt cho mỗi giao dịch, người dùng chỉ cần sở hữu một chiếc thẻ nhỏ gọn để thanh toán mọi thứ, từ mua sắm trực tiếp tại cửa hàng đến thanh toán trực tuyến trên các trang web thương mại điện tử. Nhanh chóng, dễ dàng và an toàn: thẻ tín dụng giúp thực hiện thanh toán nhanh chóng, dễ dàng chỉ bằng thao tác quẹt thẻ hoặc nhập thông tin thẻ. Hơn nữa, thanh toán bằng thẻ tín dụng còn giúp người dùng quản lý tài chính hiệu quả hơn. Với việc ghi chép chi tiêu tự động, người dùng có thể dễ dàng theo dõi lịch sử giao dịch và kiểm soát chi tiêu của bản thân.
12 Báo cáo đồ án học phần Khoa học dữ liệu (DS) Nhận thấy được tiềm năng to lớn của thị trường thẻ tín dụng, nhóm nghiên cứu đã quyết định chọn và phân tích dữ liệu "German Credit Data". Dữ liệu này cung cấp thông tin chi tiết về hành vi sử dụng thẻ tín dụng của người tiêu dùng tại Đức, giúp nhóm nghiên cứu có thể: Xác định các yếu tố ảnh hưởng đến việc phân loại tín dụng “Tốt" hay “Xấu" của khách hàng tiềm năng. Phân tích xu hướng sử dụng thẻ tín dụng theo từng nhóm đối tượng và khu vực. Dự đoán khả năng thanh toán các khoản vay của khách hàng tiềm năng.2 Mô tả dữ liệu: Dữ liệu German credit data là một bộ dữ liệu phổ biến được sử dụng trong lĩnh vực phân tích tín dụng và dự đoán khả năng trả nợ của khách hàng.
Bộ dữ liệu này thường được sử dụng để xây dựng các mô hình dự đoán cho các vấn đề liên quan đến việc cấp vay vốn.