Đồ Án Tốt Nghiệp Về Ứng Dụng Kỹ Thuật Big Data Trong Lưu Trữ Dữ Liệu

• Tác giả: Nguyễn Chí Thanh
• Người hướng dẫn: Thạc Sĩ Nguyễn Trịnh Đông
• Trường học: Trường Đại Học Dân Lập Hải Phòng
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Áp Dụng Các Kỹ Thuật Trong Big Data Vào Lưu Trữ Dữ Liệu
• Loại tài liệu: đồ án tốt nghiệp
• Năm xuất bản: 2016
• Địa điểm: Hải Phòng

Mục lục chi tiết

• LỜI MỞ ĐẦU
• 1. CHƯƠNG 1: CÔNG NGHỆ QUẢN LÝ DỮ LIỆU LỚN
• 1.1. Công nghệ nền tảng áp dụng cho Big data
• 1.2. Tìm hiểu các thành phần công nghệ Big data
• 1.3. Ảo hóa và hỗ trợ tính toán phân tán
• 1.4. Kiểm tra đám mây và Big data
• 1.5. Quản lý dữ liệu lớn
• 1.5.1. Cơ sở dữ liệu hoạt động
• 1.5.2. Thiết bị và kho dữ liệu lớn
• 2. CHƯƠNG 2: XÂY DỰNG KHO DỮ LIỆU VĂN BẢN
• 2.1. Khám phá dữ liệu phi cấu trúc
• 2.2. Tìm hiểu về phân tích văn bản
• 2.3. Phân tích và kỹ thuật khai thác
• 2.3.1. Tìm hiểu thu thập thông tin
• 2.3.2. Nguyên tắc phân loại
• 2.4. Đưa kết quả cùng với dữ liệu có cấu trúc
• 2.5. Đưa dữ liệu lớn sử dụng
• 2.6. Công cụ phân tích văn bản cho Big data
• 3. CHƯƠNG 3: HADOOP VÀ THỰC NGHIỆM
• 3.1. Giới thiệu hệ thống Hadoop
• 3.2. Mô hình xử lý dữ liệu phân tán Mapreduce
• 3.3. Hadoop – nền tảng lập trình theo mô hình Mapreduce
• 3.4. Xây dựng một chương trình chạy trên nền Hadoop
• 3.4.1. Hướng dẫn cài đặt Hadoop cluster
• 3.4.2. Khởi động hệ thống
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Kỹ thuật Big Data và Lưu trữ Dữ liệu Tốt Nghiệp

Đề tài tốt nghiệp "Áp dụng các kỹ thuật trong Big Data vào lưu trữ dữ liệu" tập trung vào kỹ thuật Big Data trong giải quyết thách thức lưu trữ lưu trữ dữ liệu lớn. Khối lượng dữ liệu khổng lồ, đa dạng về cấu trúc (bao gồm cả dữ liệu phi cấu trúc), và tốc độ gia tăng nhanh chóng đòi hỏi những cơ sở dữ liệu mới. Đề tài khảo sát các công nghệ nền tảng, bao gồm Hadoop và MapReduce, để xây dựng hệ thống lưu trữ hiệu quả. Quản lý dữ liệu lớn trở nên quan trọng, đặc biệt là với dữ liệu phi cấu trúc chiếm phần lớn. Đề tài nhấn mạnh vào việc nắm vững các thành phần công nghệ Big data, nguyên lý MapReduce, và hoạt động của Hadoop. Việc xây dựng hệ thống thử nghiệm đòi hỏi kiến thức về xử lý dữ liệu lớn, thiết kế hệ thống lưu trữ dữ liệu, và công nghệ lưu trữ dữ liệu.

1.1. Thành phần Công nghệ Big Data

Phần này tập trung vào các thành phần công nghệ Big data. Đề tài đề cập đến sự cần thiết của cơ sở hạ tầng vật lý mạnh mẽ, bao gồm mạng lưới tốc độ cao, server và bộ lưu trữ đáp ứng được yêu cầu về lưu trữ dữ liệu lớn. Hiệu năng, tính sẵn có, khả năng mở rộng, và linh hoạt của hệ thống là những yếu tố then chốt. Chi phí lưu trữ dữ liệu cũng được xem xét. An ninh dữ liệu là một vấn đề quan trọng trong an ninh dữ liệu lớn. Đề tài đề cập đến các thách thức liên quan đến truy cập dữ liệu, truy cập ứng dụng, mã hóa dữ liệu, và phát hiện đe dọa. Cơ sở dữ liệu hoạt động được phân tích, nhấn mạnh các thuộc tính ACID (Atomicity, Consistency, Isolation, Durability) cần thiết cho các hệ thống quản lý dữ liệu lớn. Cơ sở dữ liệu phân tán và cơ sở dữ liệu đám mây là những lựa chọn tiềm năng cho lưu trữ dữ liệu lớn.

1.2. Mô hình MapReduce và Hệ thống Hadoop

Phần này tập trung vào mô hình xử lý dữ liệu phân tán MapReduce và hệ thống Hadoop. Hadoop là một nền tảng mạnh mẽ cho xử lý lưu trữ dữ liệu lớn, được xây dựng dựa trên MapReduce. Đề tài trình bày về nguyên lý hoạt động của MapReduce, bao gồm các giai đoạn Map và Reduce. Việc xây dựng một chương trình chạy trên Hadoop được đề cập, cho thấy khả năng ứng dụng thực tiễn của công nghệ này. HDFS (Hadoop Distributed File System) là một thành phần quan trọng của Hadoop, cho phép lưu trữ và truy xuất dữ liệu hiệu quả. Đề tài cũng đề cập đến các bước cài đặt và vận hành một Hadoop cluster. Phân tích dữ liệu lớn dựa trên Hadoop mang lại hiệu quả cao cho việc xử lý lưu trữ dữ liệu lớn và quản lý dữ liệu lớn.

1.3. Ứng dụng Thực tiễn và Thách thức

Đề tài nhấn mạnh vào việc áp dụng kỹ thuật Big Data vào một hệ thống lưu trữ dữ liệu cụ thể. Việc xây dựng kho dữ liệu và data lake cho lưu trữ dữ liệu tốt nghiệp được đề cập. Thu thập dữ liệu lớn, chuẩn hóa dữ liệu, và tích hợp dữ liệu từ nhiều nguồn là những bước quan trọng. Phân tích dữ liệu lớn và big data analytics được sử dụng để khai thác giá trị từ dữ liệu. Data governance đảm bảo chất lượng và tính nhất quán của dữ liệu. Machine learning và trí tuệ nhân tạo có thể được ứng dụng để tự động hóa các quá trình xử lý và phân tích dữ liệu. Tuy nhiên, thách thức của Big data, bao gồm chi phí lưu trữ dữ liệu và tốc độ xử lý dữ liệu, cần được xem xét. Xu hướng Big data và ứng dụng Big data trong tương lai cũng được thảo luận.