Chương 1: GIỚI THIEU. e Chương 2: CƠ SỞ LÝ THUYET. e Chương 3: THIET KE VÀ TRIEN KHAI HE THONG. e Chương 4: KET QUA VA DANH GIA.
e Chương 5: KET LUẬN VÀ HƯỚNG PHÁT TRIEN. Kiến thức về OLAP và BI 2. Khái niệm BI BI (Business Intelligence) là một tap hợp các công cụ, công nghệ, ứng dung, và phương pháp nhằm thu thập, tích hợp, phân tích và trình bày đữ liệu kinh doanh dé hỗ trợ việc ra quyết định trong doanh nghiệp. Mục tiêu của BI là cung cấp thông tin chính xác, kịp thời và hữu ích để người quản lý và nhân viên có thé đưa ra quyết định chiến lược, chiến thuật và vận hành hiệu quả hơn.
Các thành phần chính của BI bao gồm: e Dữ liệu nguồn (Data Sources): Các hệ thống lưu trữ dữ liệu như cơ sở dữ liệu, bảng tinh, và các hệ thống ERP (Enterprise Resource Planning). e Kho dữ liệu (Data Warehouse): Nơi lưu trữ dữ liệu từ các nguồn khác nhau, được tô chức dé dé dàng truy van và phân tích. e Phân tích dữ liệu (Data Analysis): Sử dụng các công cụ và kỹ thuật dé khai thác thông tin từ dữ liệu, bao gồm thông kê, phân tích dự báo, và khai pha dit liệu (data mining). e Bao cáo và trực quan hóa dữ liệu (Reporting and Data Visualization): Các công cụ tạo báo cáo, dashboard, và biểu đồ dé trình bày đữ liệu một cách trực quan và dễ hiéu.
Giới Thiệu về OLAP OLAP (Online Analytical Processing), một thành phan trong BI đã xuất hiện từ những ngày dau là một phương pháp xử lý dữ liệu đa chiều cho phép người dùng dễ dàng và nhanh chóng phân tích dữ liệu từ nhiều ía cạnh khác nhau. OLAP là một phần không thể thiếu trong các hệ thống hỗ trợ ra quyết định (DSS) và các hệ thống phân tích dữ liệu lớn. Nó cung cấp khả năng truy van dữ liệu phức tạp và trả lời nhanh chóng các câu hỏi phân tích mà các công cụ thông thường không thể xử lý hiệu quả. OLAP không phải là một khái niệm mới và đã tồn tại qua nhiều thập kỷ.
Thực tế, nguồn gốc của công nghệ OLAP có thé được truy ngược lại năm 1962. Kenneth Iverson đã giới thiệu nền tảng cơ bản của OLAP thông qua cuốn sách “A Programming Language” (APL) của ông, trong đó định nghĩa một ngôn ngữ toán học với các toán tử xử lý và các biến đa chiều. APL được coi là ngôn ngữ đa chiều đầu tiên và việc triển khai nó thành một ngôn ngữ lập trình máy tính đã diễn ra vào cuối những năm 1960 bởi IBM. Iverson đã tạo ra các ký hiệu ngắn gọn bang cách sử dụng các ký tự Hy Lạp làm toán tử, điều này yêu cầu sự hỗ trợ của phần cứng đặc biệt như bàn phim, màn hình va máy in đặc biệt, khiến việc bảo trì các sản phẩm dựa trên APL trên máy tính lớn trở nên rất tốn kém.
[5] Năm 1975, sản phâm OLAP đầu tiên - Express được ra mắt bởi Information Resources. Đây là công cụ đa chiều đầu tiên hỗ trợ các yêu cầu liên quan đến tiếp thị hoặc nhu cầu ứng dụng. Sau khi được Oracle mua lại, Express đã phát triển thành một OLAP lai và đã tồn tại hơn ba thập kỷ. Đến nay, nó vẫn là một trong những sản phẩm đa chiều được quảng bá rộng rãi nhất.
Một trong những người kế nhiệm nỗi tiếng hơn của Express là Oracle9i OLAP. Mặc dù nhiều phiên bản nâng cao đã được phát hành trong suốt những năm qua, các khái niệm và mô hình dữ liệu vẫn không thay đôi. Cấu Trúc và Nguyên Lý Hoạt Động OLAP được thiết kế theo mô hình khối dit liệu (OLAP cube), trong đó dữ liệu được tô chức theo các chiều (dimensions) và chỉ số (measures). Các chiều thường đại diện cho các khía cạnh khác nhau của dữ liệu, như thời gian, địa lý, sản phẩm, khách hàng, v.
Các chỉ số thường là các giá trị số cần phân tích, như doanh sé, số lượng bán ra, chi phí, v. Khối dữ liệu OLAP cho phép người dùng thực hiện các phép toán như: e - Roll-up: Tổng hợp dữ liệu lên mức cao hơn trong hệ thống phân cấp của một chiều. e _ Drill-down: Phân tích chi tiết hơn từ mức tông quát xuống mức cụ thé. e Slice: Lay một lát dữ liệu theo một chiều cu thé.
10 e Dice: Chọn một khối dữ liệu nhỏ từ khối lớn dựa trên nhiều chiều. e Pivot: Xoay các chiều để xem dữ liệu từ các góc độ khác nhau. Ưu Điểm của OLAP e Hiệu Suất Cao: OLAP cung cấp khả năng truy van đữ liệu nhanh chóng nhờ vào các khối dữ liệu đã được tính toán trước. Điều này giúp giảm đáng ké thời gian phản hồi so với các hệ thống xử lý giao dịch truyền thống.
e Phan Tích Da Chiều: OLAP cho phép phân tích dữ liệu từ nhiều chiều khác nhau, cung cấp cái nhìn toàn diện và chỉ tiết về dit liệu. e Dễ Sử Dung: Người dùng cuối có thé dé dang tương tác với dir liệu thông qua các công cụ BI (Business Intelligence) mà không cần kiến thức sâu về cơ sở dt liệu. Hệ sinh thái dữ liệu lớn 2. Giới thiệu Apache Kylin là một công cụ OLAP mã nguồn mở hàng đầu cho Big Data, có khả năng truy van trong vòng dưới một giây trên hàng nghìn tỷ bản ghi.
Từ khi được eBay sáng lập và giải phóng mã nguồn vào năm 2014, và được xếp hạng là Dự án Hàng đầu của Hiệp hội Phần mềm Apache vào năm 2015, Kylin đã nhanh chóng được các tô chức trên toàn thế giới lựa chọn là ứng dụng phân tích quan trong cho dữ liệu lớn của họ. [6] Kylin được thiết kế dé cung cấp khả năng OLAP. Bằng cách cải tiến công nghệ khối đa chiều và tính toán trước trên nền tảng Hadoop và Spark, Kylin có thé đạt được tốc độ truy van gần như không đổi bat ké khối lượng dit liệu ngày càng tăng. Bằng cách giảm độ trễ truy vấn từ vài phút xuống dưới một giây, Kylin đưa OLAP trở lại với đữ liệu lớn.
11 #as Apache Kylin Hinh 2.1: Logo cua Kylin Kylin có những điểm mạnh sau đây: e _ Hiệu suất cao, Truy van trong vòng dưới một giây. e Kiến trúc Hệ thống kho đữ liệu Big Data thống nhất. e Tich hợp mượt mà với các công cụ BI (Business Intelligence). e Khả năng toàn diện và sẵn sàng cho doanh nghiệp.
Kiến trúc và nguyên lý hoạt động của Kylin at Query Runtime : tự ăn" @€ÉÊ aa | BI Tools ,Web App. ws -IEERMBMI “ cae. Build Engine Hình 2.2: Kiến trúc của Kylin Hiện nay, Apache Kylin chủ yếu sử dung Hive làm nguồn dữ liệu chính dé thu thập và chuẩn bị dit liệu đầu vào cho quá trình xử lý. Hive, với khả năng quan lý và truy van dữ liệu lớn hiệu quả, cung cấp một nền tảng vững chắc cho Kylin dé xây 12 dựng các khối dữ liệu OLAP.
Khi di liệu đã được chuẩn bị, Kylin sử dụng Spark Engine đề thực hiện các công việc xây dựng khối dữ liệu (cube). Spark Engine với khả năng xử ly dit liệu phân tán mạnh mẽ và tốc độ cao, giúp tối ưu hóa quá trình tính toán và tạo các bảng tóm tắt dữ liệu (cuboid), đồng thời đảm bảo tính toàn vẹn và chính xác cua di liệu. Các khối dữ liệu sau khi được xây dựng sẽ được lưu trữ trong HBase, một cơ sở dữ liệu phân tán NoSQL, giúp đảm bảo khả năng mở rộng và truy xuất nhanh chóng. HBase cung cấp một hệ thong lưu trữ hiệu qua cho các khối đữ liệu lớn, hỗ trợ việc truy vấn với thời gian phản hồi nhanh.
Bang cách sử dụng kết hợp Hive, Spark Engine và HBase, Kylin không chỉ tối ưu hóa quá trình thu thập, xử lý và lưu trữ dữ liệu mà còn cải thiện hiệu suất truy vấn, đáp ứng được nhu cầu phân tích dữ liệu phức tạp của các doanh nghiệp hiện đại. Việc tích hợp sâu sắc với các công nghệ này cho phép Kylin khai thác tối đa tiềm năng của chúng, tạo ra một hệ thống OLAP mạnh mẽ và linh hoạt, phục vụ cho các ứng dụng phân tích dữ liệu lớn trong nhiều lĩnh vực khác nhau. Điều này cũng cho phép Kylin đáp ứng các yêu cầu khắt khe về hiệu suất và tính ổn định của dữ liệu trong môi trường doanh nghiệp, đồng thời giảm thiểu chi phí và công sức trong việc quản lý và bảo trì hệ thống. Tích hợp Kylin trong sản phẩm Chúng tôi quyết định sử dụng Apache Kylin vì hai lý do chính: tính chat mã nguồn mở và khả năng tích hợp mượt mà với các engine Big Data mã nguồn mở khác.
Tính chất mã nguồn mở của Kylin mang lại sự linh hoạt và kiểm soát toàn diện đối với hệ thống phân tích đữ liệu của mình. Điều này không chỉ giúp chúng tôi tiết kiệm chi phí bản quyền phần mềm mà còn cho phép chúng tôi tùy chỉnh va tối ưu hóa hệ thống theo nhu cầu cụ thé của doanh nghiệp. Hơn nữa, Kylin có khả năng tích hợp mạnh mẽ với các công nghệ Big Data mã nguồn mở khác như Hadoop, Spark và Hive. Sự tương thích này giúp chúng tôi xây dựng một hệ thống phân tích dữ liệu mạnh mẽ và toàn diện, tận dụng tối đa tiềm năng của các công cụ Big Data hiện có.
Việc sử dụng Kylin không chỉ dam bảo hiệu 13 suất cao và khả năng mở rộng mà còn tạo ra một nên tảng phân tích dữ liệu hợp nhất, dễ dàng quản lý và phát triển theo thời gian. Cũng chính vì Kylin dựa vào sức mạnh của những công nghệ tiên tiến kể trên, việc cau hình hệ thống ban đầu đã gặp phải nhiều thách thức hơn dự kiến. Những khó khăn này chủ yếu xuất phát từ yêu cầu khắt khe về phiên bản của các công nghệ liên quan và việc phân bé tài nguyên trong môi trường phân tán. Điều này đòi hỏi sự phối hợp chặt chẽ và điều chỉnh ti mi dé đảm bảo tat cả các thành phần hoạt động một cách đồng bộ và hiệu quả.
Những tinh năng nỗi bật ¢ Pushdown query: Nếu một truy vấn không thé được trả lời bởi bat kỳ khối dit liệu nào, Kylin hỗ trợ chuyền tiếp truy vấn đó đến các công cụ truy vấn dự phòng như Hive, nhưng điều phải đánh đổi là tốc độ truy van. e Index theo Dimension: Kylin tự động xây dựng index cho các dimension trong cube dựa trên mẫu truy vấn. Khi các dimension thường xuyên xuất hiện trong các truy vấn, Kylin sẽ tối ưu hóa việc truy vấn băng cách lưu trữ sẵn các giá trị dimension đã được tổng hợp, giúp giảm thiéu thời gian xử lý truy van.