MỞ ĐẦU SƠ BỘ CUỐN SÁCH NÀY NÓI VỀ ĐIỀU GÌ? Cuốn sách này đề cập đến những chi tiết cơ bản về thao tác, xử lý, làm sạch và xử lý dữ liệu trong Python. Đây cũng là phần giới thiệu thực tế, hiện đại về tính toán khoa học bằng Python, được thiết kế riêng cho các ứng dụng sử dụng nhiều dữ liệu chuyên sâu. Đây là một cuốn sách về các phần của ngôn ngữ và thư viện Python mà bạn sẽ cần để giải quyết một cách hiệu quả nhiều vấn đề phân tích dữ liệu. Cuốn sách này không phải là một trình bày về các phương pháp phân tích sử dụng Python làm ngôn ngữ lập trình.
Khi tôi nói "dữ liệu", chính xác thì tôi đang ám chỉ đến điều gì? Trọng tâm chính là dữ liệu có cấu trúc, một thuật ngữ cố ý mơ hồ bao gồm nhiều loại dữ liệu phổ biến khác nhau, chẳng hạn như • Mảng đa chiều (ma trận) • Dữ liệu dạng bảng hoặc bảng tính trong đó mỗi cột có thể là một loại khác nhau (chuỗi, số, ngày tháng hoặc loại khác). Điều này bao gồm hầu hết các loại dữ liệu thường được lưu trữ trong cơ sở dữ liệu quan hệ hoặc các tệp văn bản được phân cách bằng tab hoặc dấu phẩy • Nhiều bảng dữ liệu có liên quan với nhau bằng các cột chính (cái gì là chính hoặc chính các khoá nước ngoài cho người dùng SQL) • Chuỗi thời gian cách đều hoặc không đều Đây không phải là một bản danh sách hoàn thiện. Mặc dù nó có thể không phải lúc nào cũng rõ ràng, nhưng một tỷ lệ lớn các tập dữ liệu có thể được chuyển đổi thành dạng có cấu trúc phù hợp hơn cho việc phân tích và lập mô hình. Nếu không, có thể tách các đặc điểm từ một tập dữ liệu thành một dạng có cấu trúc.
Ví dụ, một tập hợp các bài báo có thể được xử lý thành bảng tần số từ sau đó có thể được sử dụng để thực hiện phân tích cảm tính. Hầu hết người dùng các chương trình bảng tính như Microsoft Excel, có lẽ là công cụ phân tích dữ liệu được sử dụng rộng rãi nhất trên thế giới, sẽ không còn xa lạ với những loại dữ liệu này. TẠI SAO PYTHON CHO PHÂN TÍCH DỮ LIỆU? Đối với nhiều người (bao gồm cả tôi), ngôn ngữ Python rất dễ yêu thích. Kể từ lần xuất hiện đầu tiên vào năm 1991, Python trở thành một trong những ngôn ngữ lập trình, năng động nhất, cùng với Perl, Ruby, và nhiều ngôn ngữ khác.
Python và Ruby trở nên đặc biệt phổ biến trong những năm gần đây để xây dựng các trang web sử dụng nhiều khung web của họ, như Rails (Ruby) và Django (Python). Những ngôn ngữ như thế thường gọi là ngôn ngữ kịch bản như chúng có thể được sử dụng để viết các chương trình nhỏ nhanh và đơn giản, hoặc kịch bản. Tôi không thích thuật ngữ "ngôn ngữ kịch bản" vì nó mang ý nghĩa rằng chúng không thể được sử dụng để xây dựng phần mềm mang nhiệm vụ quan trọng. Trong số các ngôn ngữ được giải thích Python nổi bật bởi cộng đồng máy tính khoa học rộng lớn và năng động của nó.
Việc áp dụng Python cho tính toán khoa học trong cả các ứng dụng công nghiệp và nghiên cứu học thuật đã tăng lên đáng kể từ đầu những năm 2000. Để phân tích dữ liệu và tương tác, khám phá và trực quan hoá dữ liệu, Python chắc chắn sẽ đưa ra so sánh với nhiều ngôn ngữ và công cụ lập trình thương mại chuyên biệt miền khác 2 được sử dụng rộng rãi, chẳng hạn như R, MATLAB, SAS, Stata, và những thứ khác. Trong những năm gần đây, Python đã cải thiện việc hỗ trợ thư viện (chủ yếu là Pandas) để thực hiện các tác vụ xử lý dữ liệu. Kết hợp với điểm mạnh của Python trong lập trình đa mục đích, đây là một lựa chọn tuyệt vời như một ngôn ngữ duy nhất để xây dựng các ứng dụng lấy dữ liệu làm trung tâm.
Python như chất kết dính Một phần thành công của Python trong nền tảng điện toán khoa học là việc dễ dàng tích hợp mã C, C++, và FORTRAN. Hầu hết các môi trường điện toán hiện đại đều có chung một bộ thư viện FORTRAN và C để thực hiện đại số tuyến tính, tối ưu hóa, tích hợp, biến đổi phạm vi nhanh và các thuật toán khác. Câu chuyện này cũng đúng đối với nhiều công ty và các phòng thí nghiệm quốc gia đã sử dụng Python để gắn kết phần mềm kế thừa có giá trị 30 năm lại với nhau. Hầu hết các chương trình bao gồm các phần nhỏ mã chiếm phần lớn thời gian, với một lượng lớn "mã keo" không chạy thường xuyên.
Trong nhiều trường hợp, thời gian thực thi mã keo không đáng kể; nỗ lực được đầu tư hiệu quả nhất trong việc tối ưu hóa các tắc nghẽn tính toán, đôi khi bằng cách chuyển mã sang một ngôn ngữ cấp thấp hơn như C. Trong vài năm gần đây, dự án Cython (http://cython.org) đã trở thành một trong những cách được ưa thích để vừa tạo ra phần mở rộng được biên dịch nhanh cho Python và vừa tương tác với mã C và C++. Giải quyết vấn đề "Hai ngôn ngữ" Trong nhiều tổ chức, nó phổ biến để nghiên cứu, tạo nguyên mẫu, và thử nghiệm các ý tưởng mới bằng cách sử dụng một ngôn ngữ máy tính dành riêng cho miền chuyên biệt hơn như MATLAB hoặc R sau đó chuyển những ý tưởng đó để trở thành một phần của một hệ thống sản xuất lớn hơn được viết bằng Java, C#, hoặc C++. Mọi người đang ngày càng thấy rằng Python là một ngôn ngữ thích hợp không chỉ để nghiên cứu và tạo mẫu mà còn xây dựng các hệ thống sản xuất nữa.
Tôi tin rằng ngày càng nhiều công ty sẽ đi theo con đường này vì thường có lợi ích về mặt tổ chức quan trọng cho việc có cả nhà khoa học và kỹ thuật viên sử dụng cùng một bộ công cụ lập trình. Tại sao không phải là Python? Mặc dù Python là một môi trường tuyệt vời để xây dựng các ứng dụng khoa học chuyên sâu vào tính toán và xây dựng hầu hết các loại hệ thống chung, nhưng có một số ứng dụng mà Python có thể ít phù hợp hơn. Python là một ngôn ngữ lập trình được giải thích, nói chung hầu hết mã Python chạy chậm hơn so với mã viết bằng ngôn ngữ biên dịch như Java hoặc C++. Giống như thời gian lập trình viên thường có giá trị hơn thời gian CPU, nhiều người vui mừng khi thực hiện sự đánh đổi này.
Tuy nhiên, trong một ứng dụng với các yêu cầu về độ trễ rất thấp (ví dụ, một hệ thống giao dịch tần số cao), thời gian dành cho việc lập trình bằng ngôn ngữ cấp thấp hơn, năng suất thấp hơn như C++ để đạt được hiệu suất tối đa có thể là thời gian xứng đáng. Python không phải là một ngôn ngữ lý tưởng cho các ứng dụng đa luồng, tính đồng bộ cao, đặc biệt là các ứng dụng có nhiều luồng liên kết với CPU. Lý do cho điều này là nó có cái 3 được gọi là khoá phiên dịch toàn cầu (GIL), một cơ chế ngăn chặn trình thông dịch thực hiện nhiều hơn một lệnh mã byte Python cùng một lúc. Các lý do kỹ thuật giải thích tại sao GIL tồn tại là vượt quá phạm vi của cuốn sách này, nhưng nhưng tính đến thời điểm viết bài này dường như không có khả năng GIL sẽ biến mất sớm.
Mặc dù đúng là trong nhiều ứng dụng xử lý dữ liệu lớn, một cụm máy tính có thể được yêu cầu để xử lý một tập dữ liệu trong khoảng thời gian hợp lý, nhưng vẫn có những tình huống cần một hệ thống đơn, xử lý đa luồng. Điều này không có nghĩa là Python không thể thực thi mã song song, đa luồng thực sự; mã đó không thể được thực thi chỉ trong một tiến trình Python. Ví dụ, dự án Cython có tính năng tích hợp dễ dàng với OpenMP, khung C cho tính toán song song, nhằm song song hóa các vòng lặp và do đó tăng tốc đáng kể các thuật toán số. NHỮNG THƯ VIỆN PYTHON THIẾT YẾU Đối với những người không quen thuộc với hệ sinh thái khoa học Python và các thư viện được dùng xuyên suốt cuốn sách, tôi trình bày sơ lược sau đây về từng thư viện.
NumPy NumPy, viết tắt của Numerical Python, là gói nền tảng cho tính toán khoa học bằng Python. Phần lớn cuốn sách này sẽ dựa trên NumPy và các thư viện được xây dựng dựa trên NumPy. Ngoài những điều khác, nó còn cho thấy: • Một đối tượng mảng đa chiều nhanh chóng và hiệu quả ndarray • Các hàm để thực hiện các tính toán theo từng phần tử với mảng hoặc các phép toán giữa các mảng • Các công cụ để đọc và ghi bộ dữ liệu theo mảng vào đĩa • Phép toán đại số tuyến tính, biến đổi Fourier và tạo số ngẫu nhiên • Công cụ để tích hợp kết nối mã C, C++, và Fortran với Python Ngoài khả năng xử lý mảng nhanh mà NumPy bổ sung vào Python, một trong những mục đích chính của nó liên quan đến phân tích dữ liệu là làm nơi chứa chính cho dữ liệu được truyền giữa các thuật toán. Đối với dữ liệu số, mảng NumPy là một cách lưu trữ và thao tác dữ liệu hiệu quả hơn nhiều so với các cấu trúc dữ liệu Python tích hợp khác.
Ngoài ra, các thư viện được viết bằng ngôn ngữ cấp thấp hơn, như C hoặc Fortran, có thể hoạt động trên dữ liệu được lưu trong mảng NumPy mà không cần sao chép bất kỳ dữ liệu nào. pandas Pandas cung cấp các cấu trúc dữ liệu phong phú và các chức năng được thiết kế để làm việc với dữ liệu cấu trúc nhanh, dễ dàng và mang tính biểu cảm. Như các bạn sẽ thấy, nó là một trong những yếu tố quan trọng giúp Python trở thành một môi trường phân tích dữ liệu mạnh và hiệu quả. Đối tượng chính trong Pandas sẽ được sử dụng trong cuốn sách này là DataFrame, một cấu trúc dữ liệu hướng hai chiều với nhãn hàng và cột: >>> frame total_bill tip sex smoker day time size 1 16.01 Female No Sun Dinner 2 2 10.66 Male No Sun Dinner 3 3 21.5 Male No Sun Dinner 3 4 4 23.31 Male No Sun Dinner 2 5 24.61 Female No Sun Dinner 4 6 25.71 Male No Sun Dinner 4 7 8.77 2 Male No Sun Dinner 2 8 26.12 Male No Sun Dinner 4 9 15.96 Male No Sun Dinner 2 10 14.