Bối cảnh và vấn đề nghiên cứu
Sự bùng nổ của cuộc cách mạng thông tin và các hoạt động công nghiệp hiện đại diễn ra với tần suất lớn đã tạo ra khối lượng dữ liệu khổng lồ thay đổi liên tục. Hầu hết các giao dịch trong doanh nghiệp đều được lưu trữ dưới dạng các cơ sở dữ liệu có dung lượng lên đến hàng gigabyte hoặc terabyte. Báo cáo dẫn chứng trường hợp của tập đoàn bán lẻ WalMart tại Mỹ, nơi ghi nhận cơ sở dữ liệu xử lý tới 20 triệu giao dịch mỗi ngày. Trước quy mô dữ liệu ngày càng lớn, các phương pháp phân tích và lưu trữ truyền thống bộc lộ rõ những hạn chế khi không thể xử lý hiệu quả, biến nguồn tài nguyên này thành các "mồ dữ liệu" (data tombs) và dẫn đến tình trạng "giàu dữ liệu nhưng nghèo thông tin".
Thực tế này đòi hỏi các nhà quản trị phải tiếp cận các kỹ thuật và công cụ tính toán mới nhằm trích xuất thông tin hữu ích phục vụ việc ra quyết định chiến lược, đồng thời giảm thiểu chi phí cơ sở vật chất vận hành và tăng tốc độ xử lý dữ liệu phức tạp. Hệ thống kho dữ liệu (data warehouse) và nền tảng dữ liệu (data platform) xuất hiện như giải pháp tích hợp cho phép quản lý, phân tích đa chiều và truy vấn dữ liệu hiệu quả. Xuất phát từ nhu cầu thực tiễn đó, đề tài "Xây dựng Data Platform dựa trên kiến trúc mã nguồn mở" được nhóm tác giả lựa chọn thực hiện.
Mục tiêu nghiên cứu của đề tài được xác định cụ thể qua các nhiệm vụ sau:
- Tìm hiểu hệ thống kho dữ liệu và các đặc điểm kỹ thuật của hệ thống; khảo sát các hệ thống nền tảng dữ liệu đang tồn tại trên thị trường.
- Tìm hiểu và ứng dụng các công nghệ mã nguồn mở trong hệ sinh thái dữ liệu lớn bao gồm Apache Hadoop, Apache Hive và hệ thống tệp phân tán HDFS.
- Xây dựng trang web hệ thống kho dữ liệu mã nguồn mở đóng vai trò làm nền tảng (platform) thu thập, xử lý, lưu trữ, phân tích dữ liệu cho người quản trị và cung cấp các API truy xuất dữ liệu cho người dùng.
- Đánh giá và giải thích kết quả thử nghiệm của hệ thống.
Đối tượng nghiên cứu của khóa luận là mô hình kiến trúc nền tảng dữ liệu, hệ thống kho dữ liệu và các công cụ mã nguồn mở phục vụ xử lý dữ liệu lớn. Phạm vi nghiên cứu về mặt không gian và môi trường thực nghiệm được triển khai trên nền tảng đám mây AWS Academy Learner Lab (sử dụng máy chủ ảo EC2 Instance cài đặt hệ điều hành Ubuntu) kết hợp các công cụ giao tiếp dòng lệnh và truyền tệp như PuTTY, WinSCP. Phạm vi thời gian thực hiện nghiên cứu kéo dài từ ngày 01/03/2022 đến ngày 30/06/2022, với ngân sách cấp phát thực nghiệm là 100 USD trên môi trường AWS Academy.
Cơ sở lý thuyết và phương pháp
Khung lý thuyết của đồ án tập trung vào công nghệ kho dữ liệu (Data Warehouse) được khởi xướng từ nửa đầu thập niên 1990 bởi hai nhà nghiên cứu của IBM là Barry Devlin và Paul Murphy. Đồ án áp dụng định nghĩa chuẩn tắc của W. H. Inmon: kho dữ liệu là một "tập hợp dữ liệu hướng đối tượng (hướng chủ đề), tích hợp, có tính ổn định, thay đổi theo thời gian hỗ trợ cho xử lý, thực hiện quyết định quản trị".
Về mặt cấu trúc, hệ thống dựa trên mô hình hóa dữ liệu đa chiều (Dimensional Modeling) với cấu trúc khối dữ liệu (Data Cube) làm trung tâm phân tích, bao gồm bảng sự kiện (fact table) và các bảng chiều (dimension table). Báo cáo phân loại các chiều dữ liệu điển hình gồm: chiều hàng hóa (sản phẩm, loại sản phẩm, công nghiệp), chiều thị trường (khu vực, quốc gia, thành phố, địa điểm) và chiều thời gian (năm, quý, tháng, tuần, ngày). Đồng thời, tác giả xác định bốn đặc tính nền tảng của kho dữ liệu:
- Hướng chủ đề (Subject Oriented): Cung cấp thông tin tập trung vào một đối tượng nghiệp vụ cụ thể thay vì phản ánh toàn bộ hoạt động vận hành liên tục.
- Hướng tích hợp (Integrated Oriented): Chuẩn hóa và thống nhất các nguồn dữ liệu rời rạc thông qua tiến trình ETL (Extract - Transform - Load).
- Hướng biến đổi theo thời gian (Time Variant Oriented): Dữ liệu được gán nhãn thời gian để phục vụ đối sánh lịch sử và phân tích xu hướng.
- Hướng ổn định (Non Volatile Oriented): Hệ thống chủ yếu thực hiện thao tác nạp và đọc dữ liệu, không chỉnh sửa trực tiếp dữ liệu lịch sử đã lưu.
Đồ án làm rõ sự khác biệt giữa cơ sở dữ liệu giao dịch và kho dữ liệu phân tích thông qua các tiêu chí kỹ thuật:
| Tiêu chí |
Cơ sở dữ liệu |
Kho dữ liệu |
| Định nghĩa |
Tập hợp dữ liệu có liên quan phục vụ lưu trữ, truy cập và truy xuất nghiệp vụ |
Cơ sở dữ liệu tích hợp các bản sao dữ liệu giao dịch đa nguồn phục vụ phân tích |
| Kỹ thuật xử lý |
Xử lý giao dịch trực tuyến (OLTP) thực hiện các thao tác thêm, xóa, sửa giao dịch ngắn |
Xử lý phân tích trực tuyến (OLAP) phân tích khối lượng lớn dữ liệu nhanh chóng |
| Định hướng |
Theo hướng ứng dụng |
Theo hướng chủ đề |
| Hiệu suất truy vấn |
Thấp khi xử lý các truy vấn tổng hợp phức tạp |
Tối ưu hóa cho truy vấn phân tích trên các tập dữ liệu đa chiều lớn |
| Mức độ tóm tắt |
Lưu trữ dữ liệu chi tiết ở mức giao dịch |
Lưu trữ dữ liệu tóm tắt và dữ liệu tổng hợp |
| Lưu trữ & cấu trúc |
Chuẩn hóa dữ liệu cao, các bảng và phép nối phức tạp |
Tiếp cận phi chuẩn hóa, lược đồ hình sao hoặc bông tuyết, phép nối bảng đơn giản |
| Hướng sử dụng |
Phù hợp cho các giao dịch nhỏ, thường xuyên |
Sử dụng cho các giao dịch lớn đòi hỏi mức độ phân tích chuyên sâu |
Về phương pháp nghiên cứu, đề tài kết hợp phương pháp lý thuyết và phương pháp thực nghiệm kỹ thuật:
- Phương pháp lý thuyết: Thu thập, tổng hợp tài liệu chuyên khảo về kiến trúc kho dữ liệu, tiến trình tích hợp dữ liệu 4 bước (trích xuất, làm sạch, so khớp chuyển đổi, lưu trữ), mô hình nền tảng dữ liệu phân tán và hệ sinh thái Hadoop.
- Phương pháp thực nghiệm: Khảo sát thực tế các nền tảng thương mại gồm Azure Databricks, Microsoft SQL Server, Amazon Web Services (AWS) để rút ra các yêu cầu chức năng; tiến hành cài đặt, cấu hình hệ thống trên máy chủ ảo đám mây EC2, kết nối các công cụ mã nguồn mở và kiểm thử chức năng nền tảng qua giao diện tương tác người dùng.
Nguồn dữ liệu sử dụng trong nghiên cứu là các tệp dữ liệu phẳng (flat files) có cấu trúc do người dùng nhập hoặc tải lên thông qua giao diện web để nạp vào hệ thống lưu trữ phân tán.
Thiết kế và triển khai
Hệ thống Data Platform trong đồ án được thiết kế theo quy trình xử lý dữ liệu 5 bước khép kín kết hợp quản lý siêu dữ liệu:
- Tích hợp dữ liệu (Data Integration): Tiếp nhận các nguồn dữ liệu người dùng tải lên, có khả năng kết nối cơ sở dữ liệu ngoài thông qua Apache Sqoop hỗ trợ giao thức JDBC.
- Xây dựng kho lưu trữ: Nạp dữ liệu thô vào hệ thống tệp phân tán Hadoop (HDFS).
- Chuyển đổi dữ liệu (Data Transformation): Xử lý định dạng, chuẩn hóa cấu trúc tệp nhằm đưa các nguồn dữ liệu đa dạng về cùng một khuôn dạng quản lý thống nhất.
- Lưu trữ dữ liệu phân tích: Tổ chức lưu trữ dữ liệu đã làm sạch vào các bảng dữ liệu có cấu trúc của Apache Hive và quản lý siêu dữ liệu tập trung trên MySQL.
- Phân tích và trực quan hóa: Cung cấp giao diện truy vấn dữ liệu thông qua MapReduce/Hive và hiển thị báo cáo dạng đồ thị qua Apache Superset.
Kiến trúc công nghệ mã nguồn mở được lựa chọn và triển khai bao gồm:
- Tầng lưu trữ phân tán: HDFS hoạt động theo mô hình Master/Slave với NameNode quản lý metadata, điều phối đọc ghi và DataNode lưu trữ các khối dữ liệu vật lý.
- Tầng tính toán và xử lý phân tán: Mô hình MapReduce kết hợp Hadoop YARN lập lịch tài nguyên, phân tách công việc tính toán thành các tác vụ Map (quét, lọc dữ liệu) và Reduce (tổng hợp dữ liệu).
- Tầng kho dữ liệu và siêu dữ liệu: Apache Hive đóng vai trò hệ thống kho dữ liệu cho phép truy vấn dữ liệu trên HDFS bằng ngôn ngữ khai báo tương tự SQL; MySQL quản trị cơ sở dữ liệu quan hệ lưu trữ siêu dữ liệu của cụm.
- Tầng giao diện và hỗ trợ truy vấn: Apache Hue cung cấp môi trường SQL Assistant dựa trên web, tích hợp trình duyệt tệp (File Browser) để tải dữ liệu lên HDFS và giám sát các tác vụ MapReduce.
- Tầng trực quan hóa dữ liệu: Apache Superset kết nối với các nguồn cơ sở dữ liệu thông qua SQLAlchemy để vẽ các đồ thị trực quan (biểu đồ cột, biểu đồ đường).
| Tên chức năng |
Tác tử (Actor) |
Thao tác kích hoạt (Trigger) |
Tiền điều kiện |
Hậu điều kiện |
| Tạo cơ sở dữ liệu |
Người dùng cơ sở dữ liệu |
Chọn "New Databases" hoặc nhập lệnh |
Người dùng có quyền truy cập hệ thống |
CSDL mới được tạo trên MySQL và Hive |
| Tạo bảng, nhập liệu |
Người dùng cơ sở dữ liệu |
Chọn tạo bảng từ tệp dữ liệu |
Đã có tệp dữ liệu trong HDFS hoặc vừa tải lên |
Dữ liệu chuyển thành bảng có cấu trúc |
| Truy vấn dữ liệu |
Người dùng cơ sở dữ liệu |
Truy cập mục "Nhập" trên thanh công cụ |
Bảng dữ liệu đã tồn tại và nạp dữ liệu thành công |
Trả về kết quả truy vấn qua Hive; báo lỗi nếu thất bại |
| Nhập dữ liệu (Import) |
Người dùng Hue (nguyen) |
Truy cập File Browser trên thanh công cụ |
Tệp dữ liệu hợp lệ sẵn sàng tải lên |
Dữ liệu được nạp vào HDFS, tên tệp hiển thị ở hộp thoại chọn |
| Trích xuất (Export) |
Người dùng Hue (nguyen) |
Truy cập mục "exporter" trên thanh công cụ |
Đã thực hiện truy vấn dữ liệu thành công |
Xuất dữ liệu ra tệp CSV hoặc lưu vào bảng CSDL khác |
| Trực quan hóa |
Người dùng Hue (nguyen) |
Đăng nhập giao diện Apache Superset |
Bảng dữ liệu có sẵn các trường chỉ số phân tích |
Hiển thị biểu đồ cột, biểu đồ đường tương ứng |
Hệ thống được triển khai trên hạ tầng máy chủ ảo Amazon EC2 Instance Ubuntu thuộc gói AWS Academy Learner Lab. Quá trình kiểm thử tập trung vào việc xác nhận tính đúng đắn của từng luồng nghiệp vụ: kiểm tra kết nối giữa các dịch vụ HDFS, Hive, MySQL; kiểm tra quá trình tải tệp qua Hue File Browser; thực thi các câu lệnh truy vấn phân tán bằng HiveQL và kiểm tra kết quả trực quan hóa trên Apache Superset.
Nội dung chính theo từng chương
Chương 1: KHO DỮ LIỆU
Chương 1 trình bày tổng quan về lý thuyết kho dữ liệu và nền tảng xử lý dữ liệu lớn Apache Hadoop. Tác giả phân tích nguồn gốc hình thành của khái niệm kho dữ liệu từ nghiên cứu của Barry Devlin, Paul Murphy và lý thuyết ngân hàng dữ liệu của Inmon. Nội dung chương làm rõ kiến trúc ba tầng của kho dữ liệu gồm tầng đáy (thu thập, làm sạch, tích hợp), tầng giữa (máy chủ OLAP với các khối dữ liệu đa chiều) và tầng trên cùng (công cụ truy vấn, báo cáo). Báo cáo liệt kê các lĩnh vực ứng dụng thực tế của kho dữ liệu như ngân hàng, hàng không, bảo hiểm, y dược, chăm sóc sức khỏe và bán lẻ.
Phần tiếp theo của chương tập trung vào framework mã nguồn mở Apache Hadoop. Tác giả mô tả chi tiết kiến trúc hai lớp cốt lõi: lớp tính toán MapReduce (JobTracker quản lý tài nguyên và TaskTracker thực thi trên các nút) và lớp lưu trữ HDFS (mô hình NameNode điều phối metadata và DataNode lưu trữ khối tệp). Chương 1 cũng trình bày về Hadoop YARN, Hadoop Common và mô tả quy trình ba giai đoạn khi chạy một công việc phân tán với các daemon nền (NameNode, DataNode, SecondaryNameNode, JobTracker, TaskTracker).
Chương 2: MÔ HÌNH DATA PLATFORM CHO KHO DỮ LIỆU
Chương 2 phác thảo mô hình tổng quan của một nền tảng dữ liệu với bốn nhóm chức năng nghiệp vụ: thu thập dữ liệu (thời gian thực và phi thời gian thực), lưu trữ dữ liệu (trên HDFS hoặc cụm ES), xử lý dữ liệu (Spark cho dữ liệu thời gian thực và Hadoop cho dữ liệu lịch sử) và chia sẻ dữ liệu (qua Java API, RESTful API hoặc giao diện web).
Tác giả khảo sát ba giải pháp nền tảng dữ liệu thương mại tiêu biểu: Azure Databricks (với Databricks SQL, Data Science & Engineering, Machine Learning), Microsoft SQL Server (RDBMS kết hợp các tính năng bảo mật cấp hàng, mã hóa dữ liệu) và hệ sinh thái Amazon Web Services (AWS). Trên cơ sở đó, tác giả lập bảng so sánh hệ thống nghiên cứu tự xây dựng với các nền tảng thương mại về số lượng nguồn dữ liệu, tốc độ truy vấn và mô hình chi phí:
| Tiêu chí |
Nền tảng của đề tài |
Nền tảng thương mại (AWS / SQL Server / Databricks) |
| Loại nguồn dữ liệu |
Còn hạn chế, chủ yếu hỗ trợ tệp phẳng |
Đa dạng: tệp phẳng, các hệ quản trị cơ sở dữ liệu quan hệ và phi quan hệ |
| Tốc độ truy vấn |
Truy vấn bằng mô hình MapReduce, nhanh hơn hệ thống truyền thống |
Hiệu suất cao giảm dần từ Databricks (xử lý trên bộ nhớ với Spark), AWS đến SQL Server |
| Chi phí triển khai |
Sử dụng mã nguồn mở; chi phí phụ thuộc cấu hình máy chủ ảo EC2 trên AWS |
Tính phí dựa trên nhu cầu sử dụng dịch vụ đám mây hoặc mua bản quyền Enterprise |
Chương 2 tiếp tục thuyết minh các bước xây dựng mô hình nền tảng dữ liệu bao gồm tích hợp dữ liệu với công cụ Apache Sqoop (giảm tải xử lý ETL, hỗ trợ JDBC kết nối MySQL, SQL Server, Oracle), chuyển đổi dữ liệu, trực quan hóa dữ liệu với Apache Superset (kết nối qua SQLAlchemy), quản lý siêu dữ liệu với MySQL và giám sát công việc bằng công cụ Hue.
Chương 3: PHÂN TÍCH THIẾT KẾ VÀ CÀI ĐẶT
Chương 3 trình bày các yêu cầu phần mềm, phân tích thiết kế hệ thống và cấu hình triển khai thực tế. Đồ án đưa ra bảng thông tin chung về dự án (thực hiện bởi 2 thành viên trong 3 tháng, ngân sách 100 USD, các mốc thời gian Pilot vào 30/06/2022 và Go-live vào 15/07/2022). Tác giả cung cấp bảng danh mục thuật ngữ viết tắt (API, Web, Load, Import, Extract, Transform, DWH) và xây dựng sơ đồ use case mô tả quyền hạn người dùng tương tác với hệ thống.
Nội dung trọng tâm của chương là việc chi tiết hóa quy trình nghiệp vụ 5 bước của nền tảng dữ liệu và đặc tả kỹ thuật cho 6 chức năng chính thông qua các bảng đặc tả và biểu đồ hoạt động (Activity Diagrams): tạo cơ sở dữ liệu mới (MySQL, Hive); tạo bảng và nhập dữ liệu từ HDFS; thực thi truy vấn dữ liệu; nhập tệp từ xa vào HDFS qua Hue File Browser; trích xuất dữ liệu ra tệp CSV hoặc CSDL khác; trực quan hóa dữ liệu trên Superset. Phần cuối chương ghi nhận cấu hình máy chủ ảo EC2 Ubuntu trên AWS và kết quả thực hiện các ca kiểm thử chức năng.
Kết quả và đóng góp
Về kết quả thực nghiệm, đồ án đã triển khai thành công một hệ thống Data Platform hoàn chỉnh trên nền tảng điện toán đám mây AWS EC2 sử dụng hệ điều hành Ubuntu. Các kết quả cụ thể bao gồm:
- Cài đặt và tích hợp thành công cụm Hadoop mã nguồn mở với hệ thống lưu trữ phân tán HDFS và công cụ tính toán MapReduce.
- Thiết lập hệ thống kho dữ liệu Apache Hive kết hợp hệ quản trị MySQL để lưu trữ và quản lý tập trung toàn bộ siêu dữ liệu (metadata).
- Cấu hình công cụ giao diện Hue hỗ trợ người quản trị thực hiện các tác vụ quản lý tệp trên HDFS, tạo bảng, nhập dữ liệu và viết truy vấn dữ liệu lớn thuận tiện.
- Tích hợp thành công công cụ Apache Superset cho phép người dùng truy xuất dữ liệu từ các bảng của Hive và kết xuất biểu đồ trực quan hóa dữ liệu (biểu đồ cột, biểu đồ đường).
- Hoàn thành đầy đủ các ca kiểm thử theo đặc tả đối với các chức năng tạo cơ sở dữ liệu, nạp tệp, truy vấn và xuất dữ liệu ra định dạng tệp CSV.
Về mặt đóng góp, đề tài đã tự xây dựng được mô hình nền tảng dữ liệu dựa hoàn toàn trên các công nghệ mã nguồn mở (Hadoop, Hive, Sqoop, Hue, Superset, MySQL), chứng minh tính khả thi của việc giảm thiểu chi phí đầu tư phần mềm so với các giải pháp thương mại đắt đỏ như Microsoft SQL Server Enterprise hay Databricks. Việc kết hợp HDFS và MapReduce mang lại khả năng lưu trữ chịu lỗi cao và tăng tốc độ xử lý các truy vấn tổng hợp trên tập dữ liệu lớn so với các hệ quản trị cơ sở dữ liệu quan hệ truyền thống.
Hạn chế và hướng nghiên cứu tiếp
Khóa luận tự chỉ ra các hạn chế kỹ thuật dựa trên phạm vi và điều kiện thực nghiệm:
- Khả năng tiếp nhận nguồn dữ liệu đầu vào còn hạn chế, hệ thống hiện tại chủ yếu mới hỗ trợ các dạng tệp dữ liệu phẳng (flat files), chưa hỗ trợ linh hoạt nhiều loại nguồn dữ liệu phức tạp khác.
- Dự án được xây dựng trong khung thời gian 3 tháng với nhân lực 2 sinh viên và giới hạn kinh phí thực nghiệm 100 USD trong môi trường AWS Academy Learner Lab, do đó quy mô thử nghiệm chưa đạt mức tải thực tế của doanh nghiệp lớn.
- Hệ thống chưa tích hợp các công cụ xử lý luồng dữ liệu thời gian thực (như Apache Spark, Apache Kafka) và chưa xây dựng môi trường học máy chuyên sâu như ở các nền tảng Databricks.
Hướng phát triển tiếp theo được tác giả định hướng:
- Mở rộng khả năng kết nối của nền tảng để hỗ trợ đa dạng các loại nguồn dữ liệu từ các hệ quản trị cơ sở dữ liệu phân tán và API bên ngoài.
- Nâng cấp năng lực xử lý phân tích dữ liệu thời gian thực bằng việc tích hợp framework Apache Spark vào quy trình xử lý.
- Hoàn thiện hệ thống API (Java API và RESTful API) nhằm cho phép các ứng dụng ngoài dễ dàng truy xuất và khai thác dữ liệu từ Data Platform.
Giá trị tham khảo
Đồ án là tài liệu tham khảo thực nghiệm phù hợp cho sinh viên, kỹ sư mới bắt đầu thuộc chuyên ngành Kỹ thuật dữ liệu, Khoa học dữ liệu và Công nghệ thông tin có định hướng xây dựng các đồ án tốt nghiệp hoặc dự án thực hành liên quan đến hệ sinh thái dữ liệu lớn mã nguồn mở.
Các nội dung có giá trị tham khảo chuyên môn cao trong báo cáo gồm:
- Khung so sánh có hệ thống giữa Cơ sở dữ liệu giao dịch (OLTP) và Kho dữ liệu phân tích (OLAP).
- Bảng khảo sát và đối chiếu tiêu chí kỹ thuật giữa nền tảng mã nguồn mở tự xây dựng với các nền tảng thương mại lớn (Databricks, SQL Server, AWS).
- Quy trình thiết kế kiến trúc kỹ thuật và các biểu đồ hoạt động (Activity Diagrams) mô tả chi tiết luồng tích hợp dữ liệu, nạp tệp vào HDFS và kết nối với các công cụ giao diện Hue và Superset.
Câu hỏi thường gặp
Đề tài sử dụng những công nghệ mã nguồn mở nào để xây dựng kiến trúc Data Platform?
Đề tài tích hợp một chuỗi các công nghệ mã nguồn mở trong hệ sinh thái dữ liệu lớn bao gồm: Apache Hadoop (cung cấp hệ thống tệp phân tán HDFS và mô hình tính toán MapReduce), Apache Hive (kho dữ liệu và xử lý truy vấn dữ liệu có cấu trúc), Apache Sqoop (tích hợp và truyền dữ liệu qua giao thức JDBC), MySQL (quản lý siêu dữ liệu), Apache Hue (giao diện web quản trị HDFS và hỗ trợ viết truy vấn SQL) và Apache Superset (trực quan hóa dữ liệu qua biểu đồ).
Điểm khác biệt chính giữa nền tảng của đề tài với các hệ thống như Azure Databricks và AWS là gì?
Điểm khác biệt cốt lõi nằm ở chi phí và kiến trúc công nghệ: nền tảng của nhóm được xây dựng hoàn toàn từ các phần mềm mã nguồn mở miễn phí bản quyền, chi phí vận hành chỉ phụ thuộc vào cấu hình thuê máy chủ ảo EC2 trên AWS. Ngược lại, Databricks và AWS tính phí linh hoạt dựa trên mức độ sử dụng dịch vụ đám mây độc quyền, trong khi SQL Server yêu cầu bản quyền Enterprise. Tuy nhiên, nền tảng của nhóm còn hạn chế về định dạng dữ liệu đầu vào (mới hỗ trợ tệp phẳng) và tốc độ truy vấn dựa trên MapReduce chưa tối ưu bằng công nghệ xử lý trên bộ nhớ (in-memory) của Apache Spark trên Databricks.
Người dùng thực hiện thao tác nhập và tải dữ liệu lên hệ thống thông qua giao diện nào?
Người dùng quản trị thực hiện nhập và tải dữ liệu thông qua giao diện web của công cụ Apache Hue. Cụ thể, người dùng truy cập vào công cụ File Browser trên thanh điều hướng để tải các tệp dữ liệu từ xa hoặc từ máy cục bộ lên hệ thống tệp phân tán HDFS, từ đó tệp sẵn sàng để tạo bảng và nạp vào Apache Hive.
Môi trường thực nghiệm và kinh phí thực hiện đồ án được triển khai như thế nào?
Toàn bộ hệ thống được cài đặt và vận hành trên máy chủ ảo Amazon EC2 Instance chạy hệ điều hành Ubuntu, được cấp phát thông qua chương trình đào tạo AWS Academy Learner Lab với ngân sách tài trợ thực nghiệm là 100 USD. Quá trình kết nối máy chủ và truyền tải mã nguồn được thực hiện qua các công cụ PuTTY và WinSCP trong khoảng thời gian từ tháng 3/2022 đến tháng 6/2022.
Kết luận
Đồ án "Xây dựng Data Platform dựa trên kiến trúc mã nguồn mở" đã nghiên cứu có hệ thống lý thuyết về kho dữ liệu và triển khai thành công mô hình nền tảng dữ liệu phân tán trên hạ tầng điện toán đám mây AWS EC2. Nghiên cứu đã tích hợp hiệu quả hệ sinh thái Hadoop, Hive, Hue, Superset và MySQL, cung cấp quy trình hoàn chỉnh từ thu thập, lưu trữ HDFS, truy vấn phân tán đến trực quan hóa báo cáo. Mặc dù vẫn còn những giới hạn về tính đa dạng của nguồn dữ liệu và khả năng xử lý thời gian thực, kết quả đồ án đã chứng minh tính khả thi của giải pháp phân tích dữ liệu lớn tiết kiệm chi phí dựa trên phần mềm tự do nguồn mở.
