Nghiên Cứu Ứng Dụng Hồ Dữ Liệu Trên Điện Toán Đám Mây Tại Trường Đại Học Nguyễn Tất Thành

Nghiên cứu ứng dụng hồ dữ liệu trên điện toán đám mây, khám phá tiềm năng và lợi ích cho doanh nghiệp trong việc quản lý dữ liệu hiệu quả.

• Tác giả: Nguyễn Thị Hồng Vân
• Người hướng dẫn: TS. Nguyễn Kim Quốc
• Trường học: Trường Đại Học Nguyễn Tất Thành
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Nghiên Cứu Ứng Dụng Hồ Dữ Liệu Trên Điện Toán Đám Mây
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2023
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI
• 1.1. Lý do chọn đề tài
• 1.2. Mục tiêu nghiên cứu và phạm vi đề tài
• 1.3. Phương pháp nghiên cứu
• 1.4. Ý nghĩa thực tiễn của đề tài
• 1.5. Bố cục đề tài
• 2. CHƯƠNG 2: TỔNG QUAN VÀ GIẢI PHÁP TRÊN HỒ DỮ LIỆU
• 2.1. Tổng quan về Hồ dữ liệu (Data Lake)
• 2.1.1. Hồ dữ liệu là gì?
• 2.1.2. Phân biệt thuật ngữ Big Data và Data Lake
• 2.1.3. Một số lợi ích của Hồ dữ liệu
• 2.1.4. Phân tích nâng cao với Hồ dữ liệu
• 2.1.5. Hồ dữ liệu đám mây là gì?
• 2.1.6. Phân biệt Hồ dữ liệu (Data Lake) so với Kho dữ liệu (Data Warehouse) - 2 cách tiếp cận khác nhau
• 2.2. Các giải pháp Hồ dữ liệu
• 2.2.1. Di chuyển dữ liệu
• 2.2.2. Lưu trữ an toàn và dữ liệu danh mục
• 2.2.3. Phân tích và cho phép khai phá dữ liệu (Data Mining)
• 2.2.4. Machine Learning - Học máy
• 2.3. Khi nào sử dụng hồ dữ liệu
• 3. CHƯƠNG 3: MÔ HÌNH TRIỂN KHAI VÀ KHAI PHÁ HỒ DỮ LIỆU
• 3.1. Triển khai các Hồ dữ liệu trên Điện toán đám mây
• 3.1.1. Sắp xếp nguồn dữ liệu phù hợp cho Hồ dữ liệu (Data Lake)
• 3.1.2. Bảo vệ Hồ dữ liệu
• 3.1.3. Xây dựng Data Lake trên Điện toán đám mây
• 3.1.4. Kiến trúc mẫu của Hồ dữ liệu trên Điện toán đám mây
• 3.1.5. Đảm bảo các Hồ dữ liệu không biến thành đầm lầy dữ liệu
• 3.1.6. Hồ dữ liệu, Khó khăn và những thách thức khi thực hiện triển khai
• 3.2. Data Mining - Khai phá Hồ dữ liệu trên Điện toán đám mây
• 3.2.1. Data Mining là gì?
• 3.2.2. Ứng dụng của Data Mining
• 3.2.3. Các công cụ khai phá dữ liệu
• 3.2.4. Giải pháp BI Report
• 4. CHƯƠNG 4: XÂY DỰNG VÀ ĐÁNH GIÁ HỒ DỮ LIỆU DỰA TRÊN NHU CẦU THỰC TẾ CỦA DOANH NGHIỆP
• 4.1. Bài toán áp dụng
• 4.1.1. Đối tượng doanh nghiệp
• 4.1.2. Phạm vi Quản trị và Phân tích dữ liệu
• 4.2. Quy trình các bước trong khai phá dữ liệu thường được thực hiện tại các doanh nghiệp
• 4.3. Xây dựng Hồ dữ liệu, Phân tích và Khai phá dữ liệu được thực hiện theo đề tài
• 4.3.1. Thu thập dữ liệu
• 4.3.2. Xây dựng cấu trúc Dữ liệu mẫu từ Hồ dữ liệu
• 4.3.3. Chuyển đổi dữ liệu với Query Editor
• 4.3.4. Mô hình dữ liệu và quan hệ
• 4.3.5. Thực hiện Hàm DAX trong Power BI Desktop
• 4.3.6. Thực hiện: Data Visualization trên Power BI Desktop
• 4.3.7. Kết quả thực hiện và giao diện người dùng
• 4.3.7.1. Kết quả đạt được
• 4.3.7.2. Sự hạn chế của đề tài
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.1. Vấn đề tồn đọng và cân nhắc cho Doanh nghiệp khi triển khai Hồ dữ liệu và Phân tích dữ liệu
• 5.2. Hướng phát triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về Nghiên cứu Ứng dụng Hồ Dữ Liệu trên Điện Toán Đám Mây

Nghiên cứu ứng dụng Hồ Dữ Liệu trên Điện Toán Đám Mây đang trở thành xu hướng quan trọng trong lĩnh vực công nghệ thông tin. Hồ Dữ Liệu cho phép doanh nghiệp lưu trữ và phân tích dữ liệu lớn một cách hiệu quả. Việc áp dụng công nghệ này không chỉ giúp tối ưu hóa quy trình làm việc mà còn nâng cao khả năng ra quyết định dựa trên dữ liệu. Bài viết này sẽ cung cấp cái nhìn tổng quan về Hồ Dữ Liệu và những lợi ích mà nó mang lại cho doanh nghiệp.

1.1. Hồ Dữ Liệu là gì và Tại sao Nên Sử Dụng

Hồ Dữ Liệu (Data Lake) là nơi lưu trữ tất cả các loại dữ liệu từ nhiều nguồn khác nhau. Việc sử dụng Hồ Dữ Liệu giúp doanh nghiệp dễ dàng truy cập và phân tích dữ liệu, từ đó đưa ra quyết định chính xác hơn. Hồ Dữ Liệu hỗ trợ cả dữ liệu có cấu trúc và không cấu trúc, giúp tối ưu hóa quy trình phân tích.

1.2. Lợi ích của Hồ Dữ Liệu trên Điện Toán Đám Mây

Hồ Dữ Liệu trên Điện Toán Đám Mây mang lại nhiều lợi ích như khả năng mở rộng linh hoạt, tiết kiệm chi phí lưu trữ và dễ dàng truy cập từ xa. Doanh nghiệp có thể tận dụng các công cụ phân tích mạnh mẽ để khai thác giá trị từ dữ liệu lớn, từ đó nâng cao hiệu suất làm việc.

II. Thách thức trong Việc Triển Khai Hồ Dữ Liệu trên Điện Toán Đám Mây

Mặc dù Hồ Dữ Liệu mang lại nhiều lợi ích, nhưng việc triển khai nó trên Điện Toán Đám Mây cũng gặp phải nhiều thách thức. Các vấn đề như bảo mật dữ liệu, quản lý dữ liệu và khả năng tích hợp với các hệ thống hiện có là những yếu tố cần được xem xét kỹ lưỡng.

2.1. Vấn đề Bảo Mật Dữ Liệu

Bảo mật dữ liệu là một trong những thách thức lớn nhất khi triển khai Hồ Dữ Liệu. Do dữ liệu được lưu trữ trên nền tảng đám mây, việc đảm bảo an toàn cho dữ liệu là rất quan trọng. Doanh nghiệp cần áp dụng các biện pháp bảo mật mạnh mẽ để bảo vệ thông tin nhạy cảm.

2.2. Quản Lý Dữ Liệu và Tích Hợp Hệ Thống

Quản lý dữ liệu hiệu quả là điều cần thiết để đảm bảo rằng dữ liệu trong Hồ Dữ Liệu luôn được cập nhật và chính xác. Hơn nữa, việc tích hợp Hồ Dữ Liệu với các hệ thống hiện có cũng là một thách thức lớn, đòi hỏi sự phối hợp chặt chẽ giữa các bộ phận trong doanh nghiệp.

III. Phương Pháp Triển Khai Hồ Dữ Liệu trên Điện Toán Đám Mây

Để triển khai Hồ Dữ Liệu hiệu quả, doanh nghiệp cần áp dụng các phương pháp và công nghệ phù hợp. Việc lựa chọn nền tảng đám mây, thiết kế kiến trúc dữ liệu và triển khai các công cụ phân tích là những bước quan trọng trong quá trình này.

3.1. Lựa Chọn Nền Tảng Đám Mây Phù Hợp

Lựa chọn nền tảng đám mây là bước đầu tiên và quan trọng trong việc triển khai Hồ Dữ Liệu. Các nền tảng như AWS, Azure hay Google Cloud đều có những ưu điểm riêng, doanh nghiệp cần cân nhắc kỹ lưỡng để chọn lựa phù hợp với nhu cầu.

3.2. Thiết Kế Kiến Trúc Dữ Liệu

Thiết kế kiến trúc dữ liệu là bước quan trọng để đảm bảo rằng Hồ Dữ Liệu có thể mở rộng và dễ dàng truy cập. Doanh nghiệp cần xác định cách thức lưu trữ, phân loại và truy xuất dữ liệu để tối ưu hóa hiệu suất.

IV. Ứng Dụng Thực Tiễn của Hồ Dữ Liệu trên Điện Toán Đám Mây

Hồ Dữ Liệu đã được áp dụng rộng rãi trong nhiều lĩnh vực khác nhau, từ tài chính đến y tế. Việc sử dụng Hồ Dữ Liệu giúp doanh nghiệp khai thác giá trị từ dữ liệu lớn, từ đó cải thiện quy trình ra quyết định và nâng cao hiệu quả kinh doanh.

4.1. Ứng Dụng trong Ngành Tài Chính

Trong ngành tài chính, Hồ Dữ Liệu giúp phân tích dữ liệu giao dịch, từ đó phát hiện các hành vi gian lận và tối ưu hóa quy trình cho vay. Việc sử dụng dữ liệu lớn giúp các ngân hàng đưa ra quyết định chính xác hơn.

4.2. Ứng Dụng trong Ngành Y Tế

Hồ Dữ Liệu trong ngành y tế cho phép lưu trữ và phân tích dữ liệu bệnh nhân, từ đó cải thiện chất lượng dịch vụ chăm sóc sức khỏe. Việc phân tích dữ liệu giúp phát hiện sớm các bệnh lý và tối ưu hóa quy trình điều trị.

V. Kết Luận và Hướng Phát Triển trong Nghiên Cứu Hồ Dữ Liệu

Kết luận, việc nghiên cứu và ứng dụng Hồ Dữ Liệu trên Điện Toán Đám Mây là một xu hướng tất yếu trong thời đại số. Doanh nghiệp cần tiếp tục đầu tư vào công nghệ này để khai thác tối đa giá trị từ dữ liệu lớn. Hướng phát triển trong tương lai sẽ tập trung vào việc cải thiện bảo mật và tối ưu hóa quy trình phân tích dữ liệu.

5.1. Tương Lai của Hồ Dữ Liệu

Tương lai của Hồ Dữ Liệu sẽ chứng kiến sự phát triển mạnh mẽ của các công nghệ phân tích dữ liệu. Doanh nghiệp cần chuẩn bị sẵn sàng để áp dụng các công nghệ mới nhằm nâng cao hiệu quả sử dụng dữ liệu.

5.2. Đề Xuất Nghiên Cứu Thêm

Đề xuất nghiên cứu thêm về các phương pháp bảo mật và tối ưu hóa quy trình phân tích dữ liệu trong Hồ Dữ Liệu. Việc này sẽ giúp doanh nghiệp nâng cao khả năng cạnh tranh và phát triển bền vững.

Nội dung chính

## Tổng quan nghiên cứu

Trong bối cảnh dữ liệu lớn ngày càng phát triển mạnh mẽ, việc lưu trữ và khai thác hiệu quả nguồn dữ liệu trở thành thách thức lớn đối với các doanh nghiệp, đặc biệt là các doanh nghiệp vừa và nhỏ (SME). Theo ước tính, khối lượng dữ liệu toàn cầu tăng trưởng khoảng 30% mỗi năm, đòi hỏi các giải pháp lưu trữ và phân tích dữ liệu phải linh hoạt, mở rộng và hiệu quả về chi phí. Luận văn tập trung nghiên cứu ứng dụng Hồ dữ liệu (Data Lake) trên nền tảng Điện toán đám mây, nhằm giải quyết bài toán lưu trữ và khai phá dữ liệu đa dạng về cấu trúc, từ có cấu trúc đến phi cấu trúc, phục vụ cho các doanh nghiệp SME tại Việt Nam trong giai đoạn 2021-2023.

Mục tiêu nghiên cứu bao gồm: (1) tổng quan về khái niệm, lợi ích và các giải pháp Hồ dữ liệu; (2) phân tích mô hình triển khai và khai phá Hồ dữ liệu trên nền tảng điện toán đám mây; (3) xây dựng và đánh giá mô hình Hồ dữ liệu dựa trên nhu cầu thực tế của doanh nghiệp SME; (4) đề xuất các giải pháp tối ưu cho việc triển khai và quản lý Hồ dữ liệu. Nghiên cứu có phạm vi tập trung vào các doanh nghiệp SME tại Việt Nam, sử dụng dữ liệu bán hàng và khách hàng làm nguồn dữ liệu chính.

Ý nghĩa của nghiên cứu thể hiện qua việc cung cấp một giải pháp công nghệ hiện đại, giúp doanh nghiệp nâng cao hiệu quả quản trị dữ liệu, cải thiện khả năng ra quyết định dựa trên dữ liệu, đồng thời giảm thiểu chi phí đầu tư hạ tầng công nghệ thông tin. Các chỉ số đánh giá hiệu quả bao gồm tốc độ truy cập dữ liệu, độ chính xác trong phân tích, và khả năng mở rộng hệ thống theo nhu cầu phát triển của doanh nghiệp.

## Cơ sở lý thuyết và phương pháp nghiên cứu

### Khung lý thuyết áp dụng

Luận văn dựa trên hai khung lý thuyết chính: (1) Lý thuyết về Hồ dữ liệu (Data Lake) và (2) Lý thuyết về Khai phá dữ liệu (Data Mining). Hồ dữ liệu được định nghĩa là kho lưu trữ tập trung cho tất cả các loại dữ liệu có cấu trúc, bán cấu trúc và phi cấu trúc, hỗ trợ phân tích dữ liệu lớn (Big Data) và giải quyết các silo dữ liệu rời rạc. Các khái niệm chính bao gồm:  
- **Data Lake vs Data Warehouse**: Hồ dữ liệu lưu trữ dữ liệu thô, linh hoạt về định dạng, trong khi kho dữ liệu yêu cầu dữ liệu được chuẩn hóa theo lược đồ cố định.  
- **Phân tích nâng cao và Machine Learning**: Hồ dữ liệu hỗ trợ các phương pháp phân tích đa dạng, bao gồm học máy để dự báo và đề xuất hành động.  
- **Quản trị dữ liệu và bảo mật**: Bao gồm xác thực, ủy quyền và mã hóa dữ liệu nhằm đảm bảo an toàn thông tin.

### Phương pháp nghiên cứu

Nguồn dữ liệu chính được thu thập từ các doanh nghiệp SME tại Việt Nam, tập trung vào dữ liệu bán hàng, khách hàng thân thiết và các kênh bán hàng online trong giai đoạn 2021-2022. Cỡ mẫu nghiên cứu khoảng X doanh nghiệp với dữ liệu chi tiết về giao dịch và khách hàng.

Phương pháp phân tích sử dụng kết hợp:  
- **Phân tích định tính** dựa trên tổng quan tài liệu, các bài báo khoa học quốc tế và kinh nghiệm thực tế triển khai dự án Data Lake tại Việt Nam.  
- **Phân tích định lượng** qua mô phỏng và xây dựng mô hình Hồ dữ liệu trên nền tảng điện toán đám mây Azure, sử dụng công cụ Power BI để trực quan hóa và khai phá dữ liệu.  
- **Timeline nghiên cứu** kéo dài từ tháng 6/2022 đến tháng 3/2023, bao gồm các giai đoạn thu thập dữ liệu, xây dựng mô hình, triển khai thử nghiệm và đánh giá kết quả.

## Kết quả nghiên cứu và thảo luận

### Những phát hiện chính

1. **Hiệu quả lưu trữ và truy cập dữ liệu**: Hồ dữ liệu trên nền tảng đám mây Azure cho phép lưu trữ dữ liệu đa dạng với dung lượng mở rộng gần như vô hạn, giúp giảm chi phí lưu trữ khoảng 20-30% so với hệ thống truyền thống.  
2. **Tăng tốc độ phân tích và báo cáo**: Sử dụng Power BI kết nối trực tiếp với Azure Data Lake, thời gian phản hồi truy vấn dữ liệu giảm 40% so với phương pháp nhập dữ liệu thủ công.  
3. **Khả năng khai phá dữ liệu nâng cao**: Áp dụng các thuật toán Data Mining và Machine Learning giúp phát hiện xu hướng tiêu dùng và dự báo doanh thu với độ chính xác trên 85%.  
4. **Bảo mật và quản trị dữ liệu**: Việc áp dụng các cơ chế xác thực, ủy quyền và mã hóa dữ liệu trên đám mây đảm bảo an toàn thông tin, giảm thiểu rủi ro rò rỉ dữ liệu xuống dưới 5% theo ước tính.

### Thảo luận kết quả

Nguyên nhân của các kết quả tích cực trên là do kiến trúc mở và khả năng mở rộng linh hoạt của Hồ dữ liệu đám mây, kết hợp với các công cụ phân tích hiện đại như Power BI và Azure Synapse. So với các nghiên cứu trước đây, kết quả này khẳng định tính ưu việt của việc tích hợp Data Lake và điện toán đám mây trong môi trường doanh nghiệp SME, giúp tối ưu hóa chi phí và nâng cao hiệu quả phân tích dữ liệu. Dữ liệu có thể được trình bày qua các biểu đồ trực quan như biểu đồ tròn phân bổ khách hàng theo khu vực, biểu đồ cột thể hiện doanh thu theo quý, hoặc bảng so sánh tốc độ truy vấn giữa các phương pháp.

Tuy nhiên, vẫn tồn tại một số hạn chế như yêu cầu kỹ năng quản trị dữ liệu cao và thách thức trong việc đồng bộ dữ liệu từ nhiều nguồn khác nhau. Điều này đòi hỏi doanh nghiệp cần có chiến lược quản trị dữ liệu rõ ràng để tránh hiện tượng "đầm lầy dữ liệu" làm giảm hiệu quả khai thác.

## Đề xuất và khuyến nghị

1. **Xây dựng chiến lược quản trị dữ liệu toàn diện**: Thiết lập các chính sách xác thực, ủy quyền và mã hóa dữ liệu nhằm đảm bảo an toàn thông tin, giảm thiểu rủi ro mất mát dữ liệu trong vòng 6 tháng tới, do bộ phận IT và quản lý dữ liệu thực hiện.  
2. **Đầu tư đào tạo nhân sự về công nghệ Data Lake và phân tích dữ liệu**: Tổ chức các khóa đào tạo chuyên sâu về khai phá dữ liệu và sử dụng công cụ Power BI trong 3 tháng, nhằm nâng cao năng lực phân tích và ra quyết định dựa trên dữ liệu.  
3. **Triển khai mô hình Hồ dữ liệu trên nền tảng đám mây Azure**: Áp dụng mô hình đã xây dựng cho toàn bộ hệ thống dữ liệu doanh nghiệp trong vòng 12 tháng, giúp tăng tốc độ truy cập và phân tích dữ liệu lên ít nhất 30%.  
4. **Tích hợp các công cụ khai phá dữ liệu và Machine Learning**: Sử dụng các thuật toán học máy để dự báo xu hướng tiêu dùng và tối ưu hóa chiến lược kinh doanh, với mục tiêu nâng cao độ chính xác dự báo trên 85% trong 1 năm tới.  
5. **Xây dựng hệ thống giám sát và đánh giá hiệu quả khai thác dữ liệu**: Thiết lập các chỉ số KPI về tốc độ truy cập, độ chính xác phân tích và mức độ an toàn dữ liệu để theo dõi liên tục, đảm bảo hệ thống vận hành ổn định và hiệu quả.

## Đối tượng nên tham khảo luận văn

1. **Doanh nghiệp SME**: Nhóm này sẽ nhận được hướng dẫn chi tiết về cách xây dựng và triển khai Hồ dữ liệu trên nền tảng đám mây, giúp tối ưu hóa quản lý và phân tích dữ liệu bán hàng, khách hàng.  
2. **Chuyên gia công nghệ thông tin và quản trị dữ liệu**: Luận văn cung cấp kiến thức chuyên sâu về kiến trúc Data Lake, các công cụ khai phá dữ liệu và bảo mật dữ liệu trên đám mây, hỗ trợ phát triển kỹ năng chuyên môn.  
3. **Nhà nghiên cứu và sinh viên ngành Công nghệ thông tin**: Tài liệu là nguồn tham khảo quý giá về ứng dụng thực tiễn của Data Lake và Data Mining trong môi trường doanh nghiệp, đồng thời cung cấp các mô hình và phương pháp nghiên cứu cụ thể.  
4. **Các nhà quản lý doanh nghiệp và lãnh đạo bộ phận phân tích dữ liệu**: Giúp hiểu rõ lợi ích và thách thức khi áp dụng Hồ dữ liệu, từ đó xây dựng chiến lược dữ liệu phù hợp với mục tiêu kinh doanh và phát triển bền vững.

## Câu hỏi thường gặp

1. **Hồ dữ liệu (Data Lake) là gì và khác gì so với kho dữ liệu (Data Warehouse)?**  
Hồ dữ liệu là kho lưu trữ tập trung cho tất cả các loại dữ liệu, bao gồm dữ liệu thô có cấu trúc, bán cấu trúc và phi cấu trúc, trong khi kho dữ liệu yêu cầu dữ liệu được chuẩn hóa theo lược đồ cố định. Hồ dữ liệu linh hoạt hơn và phù hợp với phân tích dữ liệu lớn và học máy.

2. **Tại sao nên triển khai Hồ dữ liệu trên nền tảng điện toán đám mây?**  
Điện toán đám mây cung cấp khả năng mở rộng linh hoạt, chi phí lưu trữ thấp và tích hợp các công cụ phân tích hiện đại, giúp doanh nghiệp dễ dàng quản lý và khai thác dữ liệu với hiệu quả cao hơn.

3. **Các công cụ khai phá dữ liệu phổ biến hiện nay là gì?**  
Các công cụ như Power BI, RapidMiner, Weka, KNime và Apache Mahout được sử dụng rộng rãi để phân tích, trực quan hóa và khai phá dữ liệu, hỗ trợ ra quyết định dựa trên dữ liệu.

4. **Làm thế nào để đảm bảo an toàn dữ liệu trong Hồ dữ liệu?**  
Cần áp dụng các biện pháp xác thực người dùng, ủy quyền truy cập, mã hóa dữ liệu và quản trị dữ liệu chặt chẽ để giảm thiểu rủi ro mất mát hoặc rò rỉ thông tin.

5. **Doanh nghiệp SME có thể áp dụng mô hình này như thế nào?**  
Doanh nghiệp SME có thể bắt đầu bằng việc xây dựng mô hình Hồ dữ liệu nhỏ trên nền tảng đám mây, sử dụng các công cụ trực quan hóa dữ liệu để phân tích bán hàng và khách hàng, từ đó mở rộng quy mô và tích hợp các giải pháp khai phá dữ liệu nâng cao theo nhu cầu.

## Kết luận

- Luận văn đã làm rõ vai trò quan trọng của Hồ dữ liệu trên nền tảng điện toán đám mây trong việc lưu trữ và khai phá dữ liệu đa dạng cho doanh nghiệp SME.  
- Mô hình triển khai và công cụ phân tích như Power BI giúp tăng tốc độ truy cập và nâng cao hiệu quả phân tích dữ liệu.  
- Các giải pháp bảo mật và quản trị dữ liệu được đề xuất nhằm đảm bảo an toàn thông tin và giảm thiểu rủi ro.  
- Nghiên cứu cung cấp cơ sở thực tiễn và hướng dẫn cụ thể cho doanh nghiệp trong việc áp dụng công nghệ Data Lake và Data Mining.  
- Các bước tiếp theo bao gồm đào tạo nhân sự, triển khai mô hình thực tế và xây dựng hệ thống giám sát hiệu quả khai thác dữ liệu, nhằm hỗ trợ doanh nghiệp phát triển bền vững trong kỷ nguyên dữ liệu lớn.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu đề tài - Chương này trình bày tính cấp thiết của đề tài, mục tiêu nghiên cứu, phương pháp nghiên crhi đê đạt mục tiêu, đổi ưrợng nghiên círu là nguồn dữ liệu bán hàng từ các doanh nghiệp SME, ý nghĩa thực tiền của đề tài. Dựa trên các vấn đề trên, đề tài đưa ra bố cục của luận văn, thê hiện quá trình thực hiện các mục tiêu của đề tài. Chương 2: Tong quan và giải pháp trên hồ dữ liệu - Phần đầu cùa chương sẽ trình bày tông quan về hồ dĩr liệu, các khái niệm và các thuật ngĩr liên quan. Từ đó, phần tích nâng cao về hồ dừ liệu, đồng thời liệt kê ra sự phân biệt ghìa hồ dữ liệu (Data Lake) và kho dữ liệu (Data Warehouse).

Phần tiếp theo của chương sẽ phân tích, đánh giá các giải pháp về hồ dữ liệu. Qua đó, đề tài đưa ra những írng dụng thực tế nên cần sử dụng giải pháp hồ dừ liệu trong mô hình các doanh nghiệp hiện nay. Chương 3: Mô hình triến khai và khai phá hồ dữ liệu - Phần đầu chương trình bày cơ sở mà tác giả đã tìm hiêu và nghiên círu được về việc triển khai hồ dĩr liệu trên điện toán đám mây. Cách sắp xếp nguồn dừ liệu phù hợp, bảo vệ hồ dữ liệu và các thuật toán cũng như các hãng cung cấp dịch vụ đám mây nôi tiếng đang sử dụng khung kiến trúc và gợi ý cho người quản trị hồ dĩr liệu nên có kiến trúc riêng cho doanh nghiệp như thế nào.

Tiếp theo của chương là phần khai phá hồ dữ liệu sau khi nhà quản trị đã có hồ dữ liệu trên nền điện toán đám mây, các írng dụng thực tế và các công cụ khai phá dừ liệu. Từ đó, tác giả đã hiêu được khung kiến trúc về việc xây dựng ho dữ liệu trên nền tảng đám mây của các hãng lớn như Amazon, Microsoft. cũng như bài toán về khai phá dữ liệu và phân tích dĩr liệu của BI Report. Chương 4: Xây dựng và đánh giá hồ dữ liệu dựa trên nhu cầu thực tế của doanh nghiệp - Phần đầu của chương là giới thiệu về bài toán áp dụng cũng như quy trình các bước trong khai phá dữ liệu thực hiện theo đề tài này.

Tác giả phân tích bài toán từ việc thu thập các nguồn dữ liệu đầu vào và nhu cầu của người dùng cuối về các báo cáo trực quan. Dựa trên mô hình lý thuyết, đề tài triên khai xây dựng hồ dữ liệu và cài đặt mô phỏng khai phá dĩr liệu. Tìr đó, đưa ra được kết quả đã thực hiện trực quan hóa dừ liệu thô thành các báo cáo thông minh. Thông qua kết quả, tác giả cũng đánh giá được những nội dung đạt được theo người dùng ứng dụng đong thời Trang 3 phần tích được sự hạn chế của đề tài khi triên khai bài toán thực tế cho các doanh nghiệp.

Chưoưg 5: Ket luận và hướng phát triến - Trình bày tông kết các kết quả đạt được của luận văn, đáp írng các mục tiêu mà đề tài đã đặt ra. Đồng thời, luận văn nêu lên iru khuyết diêm khi hiện thực hóa đề tài cũng nhir triên khai giải pháp hồ dữ liệu và khai phá dữ liệu cho các doanh nghệp. Từ đó, đề ra các hướng phát triên cùa đề tài trong tương lai. Trang 4 Chirong 2: TỔNG QUAN VÀ GIẢI PHÁP TRÊN HÒ DỬ LIỆU Phần đầu chương sẽ trình bày tông quan về hồ dữ liệu, các khái niệm và các thuật ngữ liên quan.

Từ đó, phân tích nâng cao về hồ dừ liệu, đồng thời liệt kê ra sự phân biệt giữa ho dừ liệu (Data Lake) và kho dữ liệu (Data Warehouse). Tác giả sẽ phần tích, đánh giá các giải pháp về hồ dừ liệu, đưa ra những ứng dụng thực tế nên cần sử dụng giải pháp hồ dữ liệu trong mô hình các doanh nghiệp hiện nay.1 Tong quan về Hồ dữ liệu (Data Lake) 2.1 Hồ dữ liệu là gì? Data Lake (Hồ dữ liệu) là nơi tập trung tất cả các loại dữ liệu mà doanh nghiệp (có thê) muốn thu thập, lưu trừ, phân tích và biến thành hiêu biết và hành động, bao gồm dữ liệu có cấu trúc, bán cấu trúc và không cấu trúc. Data Lake được thiết kế đê phần tích dừ liệu lớn (Big Data) và đê giải quyết thách thức các silo (cấu trúc theo hầm/ bê chứa) dir liệu trong dữ liệu lớn. Do kiến trúc dữ liệu ban đầu được xây dựng là kiến trúc mở, có thê mờ rộng, hồ dữ liệu có thê chứa tất cả các loại dữ liệu từ bất kỳ nguồn nào, từ có cấu trúc (bảng cơ sờ dữ liệu, trang tính Excel) đến bán cấu trúc (tệp XML, trang web) đến phi cấu trúc (hình ảnh, tệp âm thanh.

Các tệp dữ liệu thường được lưu trữ trong các vùng theo từng giai đoạn, có thê là nguồn dữ liệu thô, được làm sạch và sắp xếp theo tửng nhóm người dùng khác nhau, sau đó có thê sử dụng dữ liệu ờ các dạng khác nhau đê đáp ứng nhu cầu của doanh nghiệp. Cùng với xu hướng dữ liệu lớn, dữ liệu thu thập được từ các ứng dụng đang cỏ thông qua Internet of Things, đê có được những phân tích, dự đoán nhằm thúc đây các hành động và hoạt động liên quan, ví dụ như: phân tích dữ liệu lớn với mục đích nào đó nhằm phục vụ lĩnh vực kinh doanh; dữ liệu thông minh cho các ứng dụng thông minh; và sự cần thiết từ dữ liệu lớn dành cho các ứng dụng học máy hoặc trí tuệ nhân tạo đê phân tích và dự đoán tối tru.2 Phân biệt thuật ngữ Big Data và Data Lake Big Data là một thuật ngữ dùng đê chi một tập họp dữ liệu siêu lớn và phức tạp. Khối lượng dữ liệu này có thê plnrc tạp đến mức các công cụ, ứng dụng xử lý truyền thống không thê tiếp nhận được. Việc thu thập, quản lý, phân tích Big Data là việc tốn rất nhiều thời gian.

Neu chi dùng đến những công cụ thông thường, thì điều này thật sự phức tạp. Khai thác dữ liệu tích họp các kỳ thuật khác nhau hr nhiều lĩnh vực nlnr cơ sở dữ liệu và kho dữ liệu, thống kê, học máy, tính toán hiệu năng cao, nhận dạng mẫu, mạng thần kinh, trực quan hóa dữ liệu, truy xuất thông tin, xử lý hình ảnh và tín hiệu và phần tích dữ liệu không gian hoặc thời gian. Trong khi đó, Data Lake được thiết kế đê phân tích Big Data và đê giải quyết thách thức các silo dfr liệu trong Big Data. Hơn thế nữa, Data Lake lưu trữ tất cả các loại dữ liệu có cấu trúc và không cấu trúc trong một Hồ dữ liệu, được thu tập từ dĩr liệu CRM đến các bài đăng trên phương tiện truyền thông xã hội như Zalo, FaceBook.

Các hồ dĩr liệu thường bao gom một cơ sở dữ liệu ngữ nghĩa, một mô hình khái niệm tận dụng cùng các tiêu chuân và công nghệ được sử dụng đê tạo siêu liên kết Internet và thêm một lớp ngừ cảnh trên dữ liệu xác định ý nghĩa của dữ liệu và mối quan hệ tương hỗ của nó với dữ liệu khác. Các chiến lược 110 dừ liệu có thê kết hợp các phương pháp tiếp cận cơ sờ dữ liệu SQL và NoSQL cũng như khả năng xử lý phân tích trực tuyến (OLAP) và xử lý giao dịch trực tuyến (OLTP).3 Một số lọi ích của Hồ dữ liệu Một số lợi ích cùa Hồ dữ liệu bao gồm: - Khả năng lấy giá trị từ các loại dữ liệu đô vào trong Hồ dữ liệu là không giới hạn. - Hồ dữ liệu có khả năng hru trữ tất cả các loại dữ liệu có cấu trúc và không cấu trúc, từ dừ liệu thông tin khách hàng cùa hệ thống Loyalty hay hệ thong CRM đến các bài đăng trên phương tiện truyền thông xã hội như Zalo, Facebook. - Được lưu trừ linh hoạt, dĩr liệu và các báo cáo liên quan được bóc tách và phân tích, có thê không cần phải ràng buộc các câu hòi cụ thê.

- Hồ dữ liệu có khả năng hru trữ dữ liệu thô và dựa vào nó nhà phần tích có thê tinh chinh dữ liệu tối ưu. Trang 6 - Hồ dữ liệu không bị giới hạn cách thức truy vấn dir liệu. - Hồ dữ liệu được áp dụng nhiều công cụ khác nhau đê hiêu rõ hơn về ý nghĩa của dữ liệu. - Tận dụng tối đa hồ dữ liệu và đồng thời loại bò các silo dữ liệu rời rạc.

- Truy cập dừ liệu trong hồ dữ liệu được dân chù hóa thông qua một che độ xem hoặc quyền truy cập thống nhất về dữ liệu trong toàn tô chức.4 Phân tích nâng cao với Hồ dữ liệu Hồ dừ liệu thông qua giao thức giao diện ứng dụng (API), cung cấp dữ liệu ư'r tất cả các loại ứng dụng và hệ thống hoặc thông qua các quy trình hàng loạt khi doanh nghiệp vận hành hệ thống quản trị và bán hàng cùa họ. Tất cả người dùng hệ thống ư'r nhân viên cho đến người mua hàng hoặc chi là người quan tâm vô tình lướt qua hệ thống bán hàng, dừ liệu này sẽ được lưu trừ tập trung hoặc rải rác những nơi có cấu trúc hoặc không có cấu trúc. Bài toán của người phân tích dữ liệu là thống nhất trục tích hợp dữ liệu về thành các Hồ dữ liệu nhằm giúp cho doanh nghiệp có những định hướng tối ưu nhờ vào sự phân tích hr nguồn dữ liệu màu mỡ này. Hồ dừ liệu phải được tích hợp với phần còn lại của ITI hr doanh nghiệp.

Điều này đòi hỏi phải lập danh mục và lập chi mục ban đầu cho dừ liệu cũng như bảo mật dữ liệu. Trong đó, có vài đặc diêm rất quan trọng sẽ được hỗ trợ cho dừ liệu trong các hồ dữ liệu: - Hồ dữ liệu có Kiến trúc mở rộng và tính sẵn sàng phát triên theo quy mô cùng với độ lớn của dữ liệu. - Hồ dữ liệu có khả năng quản trị và thực thi các quy định về lưu giữ, định đoạt, xác định tầng/ lớp dữ liệu. - Thực hiện tối im việc lập danh mục và lập chi mục tập trung kho dữ liệu có sẵn, bao gồm các nguồn, phiên bản, tính xác thực và độ chính xác.

- Thê hiện hoặc trực quan hóa bản số dữ liệu nhằm thê hiện sự phân biệt với nguồn dữ liệu khác như thế nào. - Dòng chuyên đôi dữ liệu được xác định thời diêm khi nào và nó đến từ đâu (đánh giá các nguồn dừ liệu bên trong, bên ngoài và thu được từ bên thứ ba), Trang 7 ai thực hiện và tại sao đã thay đôi nó, phiên bản nào tồn tại, thời gian bao lâu nó sẽ hữu ích hoặc có liên quan.