CHƯƠNG 1: CƠ SỞ LÝ THUYẾT VỀ TRỰC QUAN HÓA DỮ LIỆU 1. Tổng quan về trực quan hóa dữ liệu 1. Khái niệm trực quan hóa dữ liệu Trực quan hóa dữ liệu là quá trình sử dụng các yếu tố hình ảnh như đồ thị, biểu đồ hoặc bản đồ để trình bày dữ liệu. Quá trình này chuyển đổi dữ liệu số phức tạp, có dung lượng lớn thành biểu đồ hoặc hình ảnh trình bày trực quan có thể quan sát dễ dàng hơn.
Các công cụ trực quan hóa dữ liệu giúp tự động hóa quá trình chuyển đổi dữ liệu thành biểu đồ hoặc hình ảnh đảm bảo độ chính xác và chi tiết. Bạn có thể sử dụng những hình ảnh, biểu đồ được trình bày trực quan để quan sát tổng quan hoặc tìm kiếm những thông tin hữu ích từ dữ liệu. Trực quan hóa dữ liệu bao gồm những thành phần: Các nhà khoa học dữ liệu kết hợp ba thành phần chính để trực quan hóa dữ liệu. • Thông điệp Thông điệp trình bày mục đích phía sau việc trực quan hóa dữ liệu.
Nhà khoa học dữ liệu trao đổi với một số bên liên quan về những kết quả mà họ muốn đạt được bằng cách phân tích dữ liệu. Ví dụ: có thể họ muốn đo lường các chỉ số đo lường hiệu suất công việc chính hoặc dự đoán doanh số bán hàng. Các nhà khoa học dữ liệu và người dùng doanh nghiệp cộng tác để xác định thông điệp mà họ muốn dữ liệu truyền tải. • Dữ liệu Sau đó, các nhà phân tích dữ liệu xác định tập dữ liệu thích hợp để giúp họ tường thuật thông điệp của dữ liệu.
Họ chỉnh sửa các định dạng dữ liệu hiện có, làm sạch dữ liệu, loại bỏ các giá trị ngoại lai và thực hiện phân tích sâu hơn. Sau khi chuẩn bị dữ liệu, họ lên kế hoạch sử dụng các phương pháp khác nhau để khám phá trực quan. • Phương tiện trực quan Sau đó, các nhà khoa học dữ liệu lựa chọn các phương pháp trực quan phù hợp nhất để chia sẻ thông tin chuyên sâu mới. Họ tạo ra các biểu đồ và đồ thị làm nổi bật các điểm dữ liệu chính và đơn giản hóa tập dữ liệu phức tạp.
Họ cân nhắc sử dụng 14 các phương thức hiệu quả để trình bày dữ liệu nghiệp vụ thông minh một cách có hệ thống. Quá trình trực quan hóa dữ liệu Có năm bước để trực quan hóa dữ liệu hiệu quả. Xác định mục tiêu Có thể xác định mục tiêu trực quan hóa dữ liệu bằng cách xác định các câu hỏi mà tập dữ liệu hiện có của ta có thể trả lời. Một mục tiêu rõ ràng giúp xác định loại: • Dữ liệu cần sử dụng • Phân tích cần thực hiện • Các phương tiện trực quan ta sử dụng để thể hiện những phát hiện của mình một cách hiệu quả Ví dụ: một nhà bán lẻ có thể tìm cách hiểu loại bao bì sản phẩm nào mang lại nhiều doanh thu nhất.
Thu thập dữ liệu Thu thập dữ liệu liên quan đến việc xác định nguồn dữ liệu bên trong và bên ngoài. Có sẵn các tập dữ liệu lớn trực tuyến để mua và sử dụng. Các công ty cũng có thể có sẵn các kho lưu trữ dữ liệu hiện có để phân tích. Ví dụ: Có thể thu thập lịch sử doanh số bán hàng, chiến dịch tiếp thị và dữ liệu đóng gói sản phẩm để tìm bao bì tốt nhất.
Làm sạch dữ liệu Làm sạch dữ liệu liên quan đến việc loại bỏ dữ liệu dư thừa, thực hiện các phép tính toán để phân tích thêm hoặc lọc và chuyển đổi dữ liệu để đáp ứng các tiêu chí của câu hỏi. Ví dụ: có thể loại bỏ dữ liệu doanh số bán hàng khỏi các tháng nghỉ lễ và sau các chiến dịch tiếp thị để xác định doanh số trung bình theo loại bao bì. Chọn phương tiện trực quan hóa dữ liệu Có thể chọn trong nhiều loại biểu đồ khác nhau để khám phá theo cách trực quan hiệu quả. Mối quan hệ giữa các điểm dữ liệu và thông tin chuyên sâu mà ta muốn thể hiện sẽ xác định các biểu diễn đồ họa tốt nhất.
Ví dụ: có thể sử dụng biểu đồ cột để biểu diễn doanh số bán hàng bao bì theo màu trong tháng trước. Tuy nhiên, biểu đồ tròn có thể phù hợp hơn để biểu thị tỷ lệ phần trăm bao bì có màu trong hàng tồn kho. Có hai loại hình trực quan hóa dữ liệu chính. 15 • Trực quan hóa tĩnh Trực quan hóa tĩnh chỉ cung cấp một chế độ xem duy nhất cho thông điệp của dữ liệu cụ thể.
Đồ họa thông tin là một ví dụ về một trực quan hóa tĩnh. • Trực quan hóa tương tác Trực quan hóa tương tác cho phép người dùng tương tác với các đồ thị và biểu đồ. Người xem có thể thay đổi các biến trong thông số trực quan hóa để tìm thông tin chuyên sâu mới hoặc truy cập thông tin chiều sâu. Phần mềm trực quan hóa dữ liệu thường bao gồm một bảng điều khiển để người dùng tương tác với hệ thống.
Tạo phương tiện trực quan hóa dữ liệu Có thể tạo các phương tiện trực quan hóa dữ liệu mà bạn cần bằng cách sử dụng các công cụ trực quan hóa dữ liệu. Hầu hết các công cụ nhập tập dữ liệu cuối cùng của ta và tự động tạo ra các báo cáo theo yêu cầu. Sau đây là một số nguyên tắc thiết kế để trực quan hóa dữ liệu hiệu quả: Thu hút khán giả chú ý đến các chi tiết quan trọng thông qua kích cỡ, màu sắc, phông chữ và đồ họa • Cung cấp ngữ cảnh cho dữ liệu bằng các dấu hiệu trực quan • Chọn kiểu phối màu phù hợp • Sử dụng tiêu đề giải thích để cung cấp thông tin chuyên sâu chính cho khán giả và giúp họ tập trung vào đúng câu hỏi • Thêm nhãn và số rõ ràng 1. Các loại kỹ thuật trực quan hóa dữ liệu: + Trực quan hóa dữ liệu chuỗi thời gian: Trực quan hóa dữ liệu chuỗi thời gian được sử dụng để trình bày các đối tượng một chiều tuyến tính như đồ thị đường, biểu đồ đường hoặc dòng thời gian.
+ Trực quan hóa dữ liệu phân cấp: Trực quan hóa dữ liệu phân cấp đề cập đến một nhóm hoặc tập hợp các mục có liên kết chung với một mục mẹ. Bạn có thể sử dụng những cây dữ liệu này để hiển thị các cụm thông tin. +Trực quan hóa dữ liệu mạng: Trực quan hóa dữ liệu mạng rất hữu ích đối với việc trình bày mối quan hệ phức tạp giữa các loại dữ liệu đồng liên kết khác nhau. Ví 16 dụ: • Biểu đồ phân tán trình bày dữ liệu dưới dạng điểm trên một đồ thị • Biểu đồ bong bóng thêm một yếu tố dữ liệu thứ ba vào biểu đồ phân tán • Đám mây từ trình bày tần suất từ bằng cách sử dụng từ có các kích cỡ khác nhau + Trực quan hóa dữ liệu đa chiều: Trực quan hóa dữ liệu đa chiều trình bày hai hoặc nhiều biến dữ liệu dưới dạng một hình ảnh 2D hoặc 3D.
Biểu đồ cột, biểu đồ tròn và đồ thị cột chồng là những ví dụ phổ biến về các loại trực quan hóa này. +Trực quan hóa dữ liệu không gian địa lý: Trực quan hóa dữ liệu không gian địa lý, chẳng hạn như bản đồ nhiệt, bản đồ mật độ hoặc bản đồ địa hình, trình bày dữ liệu liên quan đến các vị trí ngoài đời thực. Ví dụ: trực quan hóa dữ liệu biểu thị số lượng khách hàng ghé thăm các chi nhánh bán lẻ khác nhau. Biện pháp thực hành tốt nhất về trực quan hóa dữ liệu Biện pháp thực hành tốt nhất về trực quan hóa dữ liệu giúp báo cáo dữ liệu của ta rõ ràng, hoàn thiện và chính xác hơn.
• Yếu tố thiết kế Nhờ sử dụng các yếu tố thiết kế sáng tạo, hình ảnh trực quan hóa dữ liệu có thể trở nên thu hút hơn. Có thể sử dụng các màu sắc, sắc thái màu và hình dạng để bổ sung thêm chi tiết cho phương tiện trực quan. Ví dụ: có thể sử dụng biểu tượng giọt nước để trình bày giá trị dữ liệu trong một báo cáo về mức sử dụng nước. • Bằng chứng toàn diện Nhờ sử dụng lượng lớn dữ liệu trong phân tích, ta có thể cải thiện độ chính xác của việc trực quan hóa dữ liệu.
Càng nhiều bằng chứng, phân tích càng đáng tin cậy, đồng thời, bằng chứng cũng có thể giúp nêu bật các giá trị ngoại lai. Ta luôn có thể đính kèm một báo cáo tổng kết dữ liệu hoặc bản trình bày dữ liệu tổng hợp để có cái nhìn tổng quan về một bản trực quan hóa chi tiết hơn. • So sánh liên quan Các so sánh cung cấp ngữ cảnh cho dữ liệu và củng cố quan điểm mà chúng ta đang đưa ra. Từ đó, dữ liệu cũng trở nên hữu ích hơn.
Ví dụ: việc hiển thị dữ liệu hiện 17 tại sau khi thử một ý tưởng mới cùng với dữ liệu liên quan trước khi dùng thử biểu thị cho người đọc thấy trạng thái trước đây cũng như khả năng biến đổi sau này. Công cụ phân tích dữ liệu và trực quan hóa dữ liệu Cố gắng phân tích dữ liệu ngay trong bảng tính hoặc cơ sở dữ liệu có thể là một cơn ác mộng. Chưa kể có rất nhiều thứ bên trong cơ sở dữ liệu ta không muốn tiết lộ ra bên ngoài. May mắn thay, có rất nhiều công cụ trực quan hóa dữ liệu giúp hiển thị và phân tích dữ liệu ở định dạng dễ hiểu hơn.
Sau khi dành thời gian ra nghiên cứu thì tôi đã chọn ngôn ngữ lập trình Python và phần mềm Tableau Public do tiện ích của nó. Giới thiệu về ngôn ngữ lập trình Python Python hoạt động tốt trên mọi giai đoạn phân tích dữ liệu. Đó là nhờ vào các thư viện Python được thiết kế cho khoa học dữ liệu trở nên thuận tiện và dễ dàng hơn. Khai thác dữ liệu, xử lý dữ liệu và mô hình hóa – trực quan hóa dữ liệu là 3 ứng dụng phổ biến nhất về cách Python đang được sử dụng để phân tích dữ liệu.
• Khai thác dữ liệu Một kỹ sư dữ liệu sử dụng các thư viện như Scrapy và BeautifulSoup để thu thập dữ liệu dựa vào Python. Với sự trợ giúp của Scrapy, chúng ta có thể xây dựng các chương trình đặc biệt có khả năng thu thập dữ liệu từ website. Python cũng được sử dụng rộng rãi để thu thập dữ liệu từ các API. BeautifulSoup được sử dụng khi chúng ta không thể truy xuất dữ liệu từ các API: nó quét dữ liệu và phân tích dữ liệu dưới dạng thẻ html.