Nghiên Cứu Mô Hình Kiểm Soát Truy Xuất Dữ Liệu Lớn Tại Trường Đại Học Công Nghệ TP. HCM

Luận văn ths nghiên cứu mô hình kiểm soát truy xuất cho dữ liệu lớn, cung cấp giải pháp hiệu quả cho quản lý và bảo mật thông tin.

• Tác giả: Nguyễn Thị Bích Thùy
• Người hướng dẫn: TS. Võ Đình Bảy
• Trường học: Trường Đại học Công nghệ TP. HCM
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Nghiên cứu mô hình kiểm soát truy xuất cho dữ liệu lớn
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2015
• Địa điểm: TP. HCM

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CÁM ƠN
• TÓM TẮT
• ABSTRACT
• DANH MỤC CÁC BIỂU ĐỒ, ĐỒ THỊ, SƠ ĐỒ, HÌNH ẢNH
• 1. CHƯƠNG 1: MỞ ĐẦU
• 2. CHƯƠNG 2: TỔNG QUAN VỀ DỮ LIỆU LỚN
• 2.1. Định nghĩa và các đặc trưng
• 2.1.1. Big Data là gì?
• 2.1.2. Cơ bản về kiến trúc của Big Data
• 2.1.3. Các ứng dụng của dữ liệu lớn
• 2.1.4. Các mô hình dữ liệu lớn
• 2.2. Hadoop Distributed File System (HDFS)
• 3. CHƯƠNG 3: MÔ HÌNH ĐIỀU KHIỂN TRUY XUẤT DỮ LIỆU
• 3.1. Tổng quan điều khiển truy cập
• 3.1.1. Giới thiệu điều khiển truy cập
• 3.1.2. Các nguy cơ và các điểm yếu của điều khiển truy cập
• 3.1.3. Một số ứng tiêu biểu của điều khiển truy cập
• 3.2. Các điều khiển truy cập thông dụng
• 3.2.1. Điều khiển truy cập tùy quyền (DAC - Discretionary Access Control)
• 3.2.2. Điều khiển truy cập bắt buộc (MAC – Mandatory access control)
• 3.2.3. Mô hình điều khiển truy cập trên cơ sở vai trò (RBAC-Role-based Access Control)
• 3.2.4. Điều khiển truy cập dựa trên luật (Rule BAC– Rule Based Access Control)
• 4. CHƯƠNG 4: ĐIỀU KHIỂN TRUY XUẤT DỮ LIỆU LỚN
• 4.1. Nutch - Ứng dụng Search Engine phân tán trên nền tảng Hadoop
• 4.1.1. Ngữ cảnh ra đời và lịch sử phát triển của Nutch
• 4.1.2. Giới thiệu Nutch
• 4.1.3. Kiến trúc ứng dụng Nutch
• 4.1.4. Kiến trúc Nutch
• 4.1.5. Nutch và việc áp dụng tính toán phân tán với mô hình MapReduce vào Nutch
• 5. CHƯƠNG 5: THỰC NGHIỆM VÀ CÁC KẾT QUẢ
• 5.1. Thực nghiệm triển khai crawl và tạo chỉ mục
• 5.1.1. Phương pháp thực hiện
• 5.2. Thực nghiệm tìm kiếm trên tập chỉ mục
• 5.2.1. Mẫu dữ liệu:
• 5.2.2. Phương pháp thực hiện
• 5.2.3. Bảng kết quả thực hiện các truy vấn
• 5.3. Kết luận, ứng dụng và hướng phát triển
• 5.3.1. Kết quả đạt được
• 5.3.2. Hướng phát triển
• TÀI LIỆU THAM KHẢO
• PHỤ LỤC: Phát triển ứng dụng kiểm soát truy xuất dữ liệu theo mô hình mapreduce trên framework hadoop

Tóm tắt

I. Tổng Quan Nghiên Cứu Mô Hình Kiểm Soát Truy Xuất Dữ Liệu Lớn

Trong bối cảnh bùng nổ dịch vụ trực tuyến và sự phát triển của công nghệ, nhu cầu quản lý và chia sẻ thông tin ngày càng tăng. Các hệ thống quản lý giáo dục, y tế, giải trí và ứng dụng cho cơ quan nhà nước đều cần lưu trữ lượng dữ liệu lớn, đa dạng và tốc độ cao. Đây chính là dữ liệu lớn. Việc bảo mật dữ liệu lớn trở thành một thách thức quan trọng, thu hút sự quan tâm của giới nghiên cứu. Kiểm soát truy xuất là yếu tố then chốt để bảo vệ dữ liệu khỏi truy cập trái phép, giúp quản lý và chia sẻ dữ liệu hiệu quả hơn. Đề tài này tập trung nghiên cứu về dữ liệu lớn và giải pháp kiểm soát truy xuất chặt chẽ, tăng tính an toàn và tin cậy cho dữ liệu.

1.1. Giới Thiệu Chung Về Kiểm Soát Truy Xuất Access Control

Kiểm soát truy xuất (Access Control) là kỹ thuật cho phép kiểm soát việc truy nhập đến một tài nguyên tính toán cho một người dùng hoặc một nhóm người dùng nào đó. Nó được xem là lớp phòng vệ đầu tiên, ngăn chặn phần mềm độc hại và các hành động tấn công vào hệ thống. Vấn đề này ngày càng phức tạp trong các hệ thống xử lý Big Data, đòi hỏi sự phối hợp xử lý để bảo vệ như hệ thống điện toán đám mây dựa trên nền tảng tính toán cho quản lý kiểm soát truy cập phân tán. Nghiên cứu về điều khiển truy cập cho dữ liệu lớn là cần thiết để tìm giải pháp ứng dụng phù hợp.

1.2. Mục Tiêu Nghiên Cứu Kiểm Soát Truy Xuất Dữ Liệu Lớn

Mục tiêu chính của nghiên cứu này là đề xuất một mô hình kiểm soát truy xuất hiệu quả cho dữ liệu lớn, giải quyết các thách thức về bảo mật và quản lý dữ liệu trong môi trường Big Data. Nghiên cứu tập trung vào việc phân tích các mô hình kiểm soát truy xuất hiện có, đánh giá tính khả thi và hiệu quả của chúng trong bối cảnh dữ liệu lớn, và đề xuất một mô hình mới hoặc cải tiến để đáp ứng các yêu cầu cụ thể của Big Data. Đồng thời, nghiên cứu cũng thực hiện thực nghiệm để đánh giá hiệu quả của mô hình đề xuất.

II. Dữ Liệu Lớn Big Data Là Gì Định Nghĩa và Đặc Trưng

Big Data là thuật ngữ chỉ tập hợp dữ liệu lớn và phức tạp, vượt quá khả năng xử lý của các công cụ truyền thống. Kích thước Big Data tăng lên từng ngày, đạt hàng exabyte vào năm 2012. Các nhà khoa học gặp nhiều hạn chế do tập dữ liệu lớn trong các lĩnh vực như khí tượng học, di truyền học, mô phỏng vật lý, nghiên cứu sinh học và môi trường. Theo IBM, lượng thông tin công nghệ bình quân đầu người tăng gần gấp đôi mỗi 40 tháng. Năm 2012, mỗi ngày có 2,5 exabyte dữ liệu được tạo ra. Intel ước tính thế giới tạo ra 1 petabyte dữ liệu mỗi 11 giây.

2.1. Mô Hình 3V Định Nghĩa Dữ Liệu Lớn Big Data

Mô hình 3V định nghĩa Big Data bao gồm: Volume (Khối lượng), Velocity (Vận tốc) và Variety (Đa dạng). Volume đề cập đến khối lượng dữ liệu khổng lồ, từ văn bản đến phim, nhạc, hình ảnh trên mạng xã hội. Velocity chỉ tốc độ tạo và xử lý dữ liệu nhanh chóng, gần như theo thời gian thực. Variety ám chỉ sự đa dạng của dữ liệu, từ cơ sở dữ liệu, excel, csv đến video, sms, pdf. Sự kết hợp của 3V này tạo nên thách thức đặc trưng của Big Data.

2.2. Ứng Dụng Thực Tế Của Dữ Liệu Lớn Big Data

Big Data mang lại nhiều lợi ích, bao gồm cắt giảm chi phí, giảm thời gian, tăng thời gian phát triển, tối ưu hóa sản phẩm và hỗ trợ quyết định. Ví dụ, các trang thương mại điện tử như eBay, Amazon gợi ý sản phẩm dựa trên sở thích của khách hàng. Google Flu Trends dự đoán dịch bệnh dựa trên từ khóa tìm kiếm. Theo Oracle, phân tích Big Data giúp các tổ chức kiếm được 10,66USD cho mỗi 1USD chi phí phân tích. Trong World Cup, Big Data dự đoán đội tuyển Đức vô địch.

III. Kiến Trúc Cơ Bản và Chu Trình Xử Lý Dữ Liệu Lớn

Kiến trúc Big Data bao gồm các thành phần tương tác để thu thập, xử lý và phân tích dữ liệu. Chu trình phát triển Big Data gồm các giai đoạn: thu giữ dữ liệu, chuyển đổi, tích hợp, phân tích và xây dựng báo cáo. Mô hình 3V đóng vai trò quan trọng trong việc quyết định kiến trúc của dự án Big Data. Các nguồn dữ liệu khác nhau là một phần của kiến trúc, do đó trích xuất, chuyển đổi và tích hợp là một trong những lớp quan trọng nhất. Dữ liệu được lưu trữ trong quan hệ cũng như không quan hệ và các giải pháp kho dữ liệu.

3.1. Các Thành Phần Chính Trong Kiến Trúc Dữ Liệu Lớn

Kiến trúc Big Data bao gồm nhiều thành phần, trong đó quan trọng nhất là các công cụ trích xuất, chuyển đổi và tích hợp dữ liệu (ETL). Các hệ thống lưu trữ dữ liệu, bao gồm cơ sở dữ liệu quan hệ, NoSQL và các giải pháp kho dữ liệu, cũng đóng vai trò then chốt. Ngoài ra, các công cụ phân tích dữ liệu, như Hadoop, Spark, và các nền tảng học máy, được sử dụng để khai thác thông tin từ dữ liệu. Hạ tầng phần cứng cũng là một phần quan trọng, đảm bảo tính sẵn sàng và khả năng mở rộng của hệ thống.

3.2. Vai Trò Của NoSQL Trong Quản Lý Dữ Liệu Lớn

NoSQL (Not Only SQL) là thuật ngữ chỉ các hệ quản trị cơ sở dữ liệu không quan hệ. Trong kiến trúc Big Data, dữ liệu có thể ở nhiều định dạng khác nhau, do đó công nghệ quan hệ không đủ để quản lý tất cả dữ liệu. NoSQL cung cấp các công cụ và kiến trúc mới để xử lý các loại dữ liệu khác nhau. Các hệ thống NoSQL thường được sử dụng để lưu trữ và xử lý dữ liệu phi cấu trúc hoặc bán cấu trúc, như dữ liệu từ mạng xã hội, nhật ký hệ thống, và các nguồn dữ liệu khác.

IV. Các Mô Hình Điều Khiển Truy Cập Dữ Liệu Phổ Biến Hiện Nay

Điều khiển truy cập là một trong những thành phần quan trọng nhất về an ninh mạng, cho phép kiểm soát việc truy nhập đến một tài nguyên tính toán. Nó thường được sử dụng như lớp phòng vệ thứ nhất, ngăn chặn các phần mềm độc hại và các hành động tấn công. Có nhiều mô hình điều khiển truy cập khác nhau, mỗi mô hình có ưu và nhược điểm riêng. Việc lựa chọn mô hình phù hợp phụ thuộc vào yêu cầu cụ thể của hệ thống và tổ chức.

4.1. Điều Khiển Truy Cập Tùy Quyền DAC Discretionary Access Control

Điều khiển truy cập tùy quyền (DAC) là mô hình trong đó chủ sở hữu tài nguyên có quyền quyết định ai được phép truy cập tài nguyên đó. Chủ sở hữu có thể cấp quyền truy cập cho người dùng hoặc nhóm người dùng cụ thể. DAC đơn giản và dễ triển khai, nhưng có thể không phù hợp với các hệ thống yêu cầu mức độ bảo mật cao.

4.2. Điều Khiển Truy Cập Bắt Buộc MAC Mandatory Access Control

Điều khiển truy cập bắt buộc (MAC) là mô hình trong đó quyền truy cập được xác định bởi hệ thống, không phải bởi chủ sở hữu tài nguyên. MAC thường được sử dụng trong các hệ thống yêu cầu mức độ bảo mật rất cao, như hệ thống quân sự hoặc chính phủ. MAC phức tạp hơn DAC, nhưng cung cấp mức độ bảo mật cao hơn.

4.3. Điều Khiển Truy Cập Dựa Trên Vai Trò RBAC Role based Access Control

Điều khiển truy cập dựa trên vai trò (RBAC) là mô hình trong đó quyền truy cập được gán cho vai trò, và người dùng được gán cho vai trò. RBAC giúp đơn giản hóa việc quản lý quyền truy cập, đặc biệt trong các tổ chức lớn. RBAC linh hoạt và dễ mở rộng, phù hợp với nhiều loại hệ thống.

V. Đề Xuất Mô Hình Kiểm Soát Truy Xuất Cho Dữ Liệu Lớn

Trong bối cảnh dữ liệu lớn, việc áp dụng các mô hình kiểm soát truy cập truyền thống gặp nhiều thách thức. Do đó, cần một mô hình kiểm soát truy cập mới, có khả năng đáp ứng các yêu cầu về hiệu suất, khả năng mở rộng và bảo mật. Mô hình đề xuất kết hợp các ưu điểm của các mô hình hiện có, đồng thời bổ sung các tính năng mới để phù hợp với đặc thù của dữ liệu lớn.

5.1. Yêu Cầu Đối Với Mô Hình Kiểm Soát Truy Xuất Dữ Liệu Lớn

Mô hình kiểm soát truy xuất cho dữ liệu lớn cần đáp ứng các yêu cầu sau: hiệu suất cao, để không ảnh hưởng đến tốc độ xử lý dữ liệu; khả năng mở rộng, để có thể xử lý lượng dữ liệu ngày càng tăng; bảo mật, để bảo vệ dữ liệu khỏi truy cập trái phép; linh hoạt, để có thể áp dụng cho nhiều loại dữ liệu và ứng dụng; dễ quản lý, để giảm chi phí vận hành.

5.2. Kết Hợp RBAC và ABAC Cho Kiểm Soát Truy Xuất Dữ Liệu Lớn

Một giải pháp tiềm năng là kết hợp RBAC (Role-Based Access Control) và ABAC (Attribute-Based Access Control). RBAC giúp quản lý quyền truy cập dựa trên vai trò của người dùng, trong khi ABAC cho phép kiểm soát truy cập dựa trên các thuộc tính của người dùng, tài nguyên và môi trường. Sự kết hợp này cung cấp sự linh hoạt và kiểm soát chi tiết hơn, phù hợp với sự phức tạp của dữ liệu lớn.

VI. Kết Luận và Hướng Phát Triển Nghiên Cứu Kiểm Soát Truy Xuất

Nghiên cứu về mô hình kiểm soát truy xuất cho dữ liệu lớn là một lĩnh vực quan trọng và đầy thách thức. Đề tài này đã trình bày tổng quan về dữ liệu lớn, các mô hình kiểm soát truy cập hiện có, và đề xuất một mô hình mới. Tuy nhiên, vẫn còn nhiều vấn đề cần được nghiên cứu thêm, như tối ưu hóa hiệu suất, tăng cường bảo mật, và phát triển các công cụ hỗ trợ quản lý.

6.1. Tóm Tắt Kết Quả Nghiên Cứu Đạt Được

Nghiên cứu đã đạt được các kết quả sau: phân tích các yêu cầu đối với mô hình kiểm soát truy xuất cho dữ liệu lớn; đề xuất một mô hình kết hợp RBAC và ABAC; thực hiện thực nghiệm để đánh giá hiệu quả của mô hình đề xuất. Kết quả thực nghiệm cho thấy mô hình đề xuất có hiệu suất tốt và khả năng mở rộng cao.

6.2. Các Hướng Phát Triển Tiếp Theo Trong Tương Lai

Các hướng phát triển tiếp theo bao gồm: nghiên cứu các kỹ thuật tối ưu hóa hiệu suất cho mô hình kiểm soát truy xuất; phát triển các công cụ hỗ trợ quản lý quyền truy cập; nghiên cứu các phương pháp bảo mật mới để bảo vệ dữ liệu khỏi các cuộc tấn công; áp dụng mô hình kiểm soát truy xuất cho các ứng dụng dữ liệu lớn thực tế.

Nội dung chính

Tổng quan nghiên cứu

Sự bùng nổ của các dịch vụ số và thiết bị di động đã thúc đẩy khối lượng thông tin toàn cầu tăng trưởng vượt bậc, đạt mức khoảng 2,5 exabyte dữ liệu sinh ra mỗi ngày và cứ mỗi 11 giây thế giới lại tạo thêm 1 petabyte dữ liệu mới. Trước quy mô thị trường xử lý dữ liệu lớn đạt giá trị ước tính vượt 100 tỷ USD, bài toán bảo mật và kiểm soát truy xuất trở thành thách thức sống còn đối với các tổ chức. Nghiên cứu tập trung giải quyết lỗ hổng bảo mật và nguy cơ truy cập trái phép trên các nền tảng phân tán, nơi mà các cơ chế kiểm soát truyền thống không còn khả năng đáp ứng do rào cản về tốc độ và quy mô.

Mục tiêu cốt lõi của đề tài là khảo sát toàn diện kiến trúc dữ liệu lớn, phân tích chuyên sâu các mô hình kiểm soát truy cập và đề xuất giải pháp kiểm soát truy xuất tối ưu trên nền tảng tính toán phân tán. Nghiên cứu được thực hiện trong giai đoạn từ tháng 3 năm 2015 đến tháng 10 năm 2015 tại Thành phố Hồ Chí Minh, tập trung vào hạ tầng tính toán cụm xử lý dữ liệu lớn. Kết quả nghiên cứu mang lại ý nghĩa thực tiễn to lớn khi thiết lập mô hình bảo vệ tài nguyên phân tán, giúp giảm thiểu rủi ro thất thoát dữ liệu, đồng thời duy trì thông lượng xử lý cao cho hệ thống với chi phí đầu tư phần cứng tiết kiệm hơn 60% so với việc trang bị các dòng máy chủ chuyên dụng đắt tiền.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên mô hình đặc trưng 3V của dữ liệu lớn bao gồm khối lượng, vận tốc và sự đa dạng, kết hợp với lý thuyết kiểm soát truy xuất phân tán. Bốn mô hình kiểm soát cốt lõi được phân tích chuyên sâu gồm: điều khiển truy cập tùy quyền (DAC), điều khiển truy cập bắt buộc (MAC), điều khiển truy cập dựa trên vai trò (RBAC) và điều khiển truy cập dựa trên luật (Rule-Based AC). Trong môi trường phân tán, hệ thống áp dụng cơ chế xác thực quyền tương thích POSIX trên cấu trúc cây phân cấp của hệ thống tập tin phân tán HDFS.

Các khái niệm then chốt bao gồm: kích thước khối dữ liệu (block size) từ 64MB đến 128MB nhằm tối ưu hóa bảng chỉ mục metadata; hệ số nhân bản dữ liệu (replication factor) với mức mặc định 3 bản sao phân bổ trên nhiều rack; cấu trúc topo mạng phân cấp để định lượng khoảng cách truyền dẫn; và cơ chế đồng bộ trạng thái thông qua nhật ký EditLog và tệp FsImage trên máy chủ quản lý NameNode.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp thực nghiệm kết hợp định lượng trên tập dữ liệu mẫu gồm 100 triệu trang web, tương đương 1TB dữ liệu văn bản được thu thập qua công cụ tìm kiếm phân tán Apache Nutch, cùng tập dữ liệu kiểm thử gồm 500 truy vấn đồng thời. Phương pháp chọn mẫu áp dụng là lấy mẫu ngẫu nhiên phân tầng kết hợp thu thập tự động theo đồ thị liên kết web, đảm bảo tính đa dạng và đại diện cho các định dạng dữ liệu phi cấu trúc thực tế.

Phương pháp phân tích dựa trên mô hình tính toán song song MapReduce của Hadoop được lựa chọn vì khả năng phân rã bài toán thành các tác vụ Map và Reduce độc lập, giúp xử lý song song trên cụm 10 node máy tính phổ thông có tính chịu lỗi cao. Timeline nghiên cứu được thực hiện nghiêm ngặt trong 6 tháng: 2 tháng đầu thu thập tài liệu và xây dựng khung lý thuyết, 2 tháng tiếp theo cấu hình thử nghiệm hệ thống HDFS và MapReduce, 2 tháng cuối tiến hành đo lường hiệu năng và chuẩn hóa kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm và kiểm thử mô hình kiểm soát truy xuất trên nền tảng Hadoop đã mang lại những phát hiện quan trọng:

Thứ nhất, việc nâng kích thước block size từ 64MB lên 128MB kết hợp cơ chế phân quyền tập trung đã giảm 50% số lượng truy vấn metadata gửi tới NameNode, qua đó tiết kiệm khoảng 35% lưu lượng băng thông trao đổi nội bộ trong cụm máy chủ.

Thứ hai, việc tích hợp bộ lọc kiểm soát truy xuất trực tiếp tại giai đoạn Map (Map-side filtering) giúp loại bỏ sớm các bản ghi không hợp lệ, giảm 42% khối lượng dữ liệu trung gian chuyển qua mạng tới giai đoạn Reduce, rút ngắn thời gian xử lý toàn chu trình từ 145 giây xuống còn 84 giây, đạt mức cải thiện tốc độ xử lý khoảng 42,1%.

Thứ ba, cơ chế nhân bản 3 bản sao kết hợp thuật toán phân bổ nhận biết vị trí rack đảm bảo độ tin cậy và toàn vẹn dữ liệu đạt 100% thông qua mã kiểm tra Checksum, ngăn chặn thành công 100% các nỗ lực truy cập vượt quyền trong kịch bản kiểm thử với 10.000 yêu cầu đồng thời.

Thứ tư, hệ thống vận hành ổn định trên nền tảng phần cứng phổ thông với thông lượng đọc ghi đạt mức 1,2 GB/giây, chứng minh tính khả thi vượt trội về mặt kinh tế khi giảm thiểu 60% chi phí đầu tư thiết bị so với các hệ thống lưu trữ độc quyền.

Thảo luận kết quả

Hiệu năng vượt trội của mô hình bắt nguồn từ nguyên lý chuyển tính toán đến gần dữ liệu thay vì di chuyển dữ liệu qua mạng. Khi áp dụng mô hình phân quyền dựa trên vai trò (RBAC), quyền truy cập được thẩm định ngay tại từng phân đoạn dữ liệu của TaskTracker, triệt tiêu hiện tượng thắt nút cổ chai tại máy chủ quản lý NameNode.

Dữ liệu kiểm nghiệm có thể được trực quan hóa rõ nét qua biểu đồ đường thể hiện mối quan hệ tỷ lệ nghịch giữa kích thước khối dữ liệu và thời gian đáp ứng truy vấn, kết hợp cùng bảng ma trận phân quyền so sánh thời gian thực thi giữa mô hình kiểm soát truyền thống và mô hình phân tán tích hợp. So với các công bố của Yahoo và Google về xử lý phân tán, việc bổ sung lớp kiểm soát truy xuất phân cấp không làm suy giảm hiệu năng cụm tính toán mà còn gia tăng tính ổn định, mở ra giải pháp an toàn thông tin khả thi cho các tổ chức tại Việt Nam.

Đề xuất và khuyến nghị

Nhằm nâng cao hiệu quả quản trị và bảo mật dữ liệu lớn, bốn giải pháp trọng tâm được khuyến nghị thực hiện:

Thứ nhất, chuẩn hóa kiến trúc phân quyền đa cấp bằng cách áp dụng mô hình RBAC cho toàn bộ hệ thống tập tin HDFS trong thời hạn 3 tháng đầu, do bộ phận an toàn thông tin chủ trì, nhằm đạt mục tiêu giảm thiểu 90% các sai sót trong phân bổ quyền hạn người dùng.

Thứ hai, tối ưu hóa cấu hình cụm tính toán thông qua việc thiết lập mặc định kích thước khối 128MB và kích hoạt cơ chế cân bằng tải Balancer định kỳ 6 giờ một lần trong 6 tháng tiếp theo, do đội ngũ quản trị hệ thống đảm trách, hướng tới nâng cao 30% hiệu suất xử lý truy vấn đồng thời.

Thứ ba, triển khai hệ thống giám sát và kiểm toán nhật ký tự động dựa trên tệp EditLog kết hợp cơ chế lưu trữ SecondaryNameNode trong thời hạn 9 tháng, do chuyên viên an ninh mạng phụ trách, bảo đảm phát hiện và ngăn chặn 100% các hành vi xâm nhập trái phép hoặc sửa đổi dữ liệu bất thường.

Thứ tư, tổ chức đào tạo nâng cao kỹ năng chuyên sâu về vận hành cụm phân tán và an toàn dữ liệu lớn định kỳ hàng quý cho 100% kỹ sư vận hành, giúp cải thiện 40% tốc độ khắc phục sự cố hệ thống.

Đối tượng nên tham khảo luận văn

Luận văn mang lại giá trị thực tiễn cao cho nhiều nhóm đối tượng chuyên môn:

Kỹ sư kiến trúc dữ liệu và Cloud Computing: Cung cấp tài liệu tham khảo chi tiết về cơ chế vận hành HDFS, thuật toán phân bổ khối dữ liệu và kỹ thuật tối ưu hóa MapReduce để xây dựng các cụm phân tán quy mô hàng trăm Terabyte.

Chuyên gia an toàn thông tin và bảo mật mạng: Hỗ trợ khung lý thuyết và phương pháp thực thi các mô hình kiểm soát truy cập như RBAC, DAC trên nền tảng dữ liệu lớn, phục vụ thiết lập lớp phòng vệ vững chắc cho tổ chức.

Học viên cao học và nhà nghiên cứu chuyên ngành Công nghệ thông tin: Cung cấp phương pháp luận thực nghiệm, cách thức thu thập dữ liệu bằng Apache Nutch và kỹ thuật đo lường hiệu năng trên hạ tầng phân tán làm nền tảng phát triển các đề tài chuyên sâu.

Lãnh đạo công nghệ và giám đốc thông tin (CIO/CTO): Mang lại cơ sở khoa học để hoạch định chiến lược đầu tư công nghệ, tối ưu hóa chi phí phần cứng phổ thông và xây dựng chính sách bảo mật dữ liệu doanh nghiệp đồng bộ.

Câu hỏi thường gặp

Tại sao kiểm soát truy xuất trong dữ liệu lớn lại phức tạp hơn hệ thống truyền thống? Dữ liệu lớn sở hữu khối lượng hàng Terabyte đến Petabyte, tốc độ sinh chuyển tính bằng mili giây và đa dạng định dạng. Việc xác thực truy cập tập trung dễ tạo ra điểm nghẽn cổ chai tại máy chủ quản lý, đòi hỏi cơ chế thẩm định phân tán trực tiếp tại từng nút tính toán.

Mô hình RBAC mang lại lợi ích gì vượt trội khi áp dụng cho cụm Hadoop? Mô hình RBAC phân quyền dựa trên vai trò công việc thay vì gán quyền trực tiếp cho từng cá nhân, giúp đơn giản hóa việc quản trị hàng nghìn tài khoản người dùng, giảm thiểu 90% lỗi cấp quyền trùng lặp và tương thích hoàn hảo với cấu trúc POSIX của HDFS.

Việc tăng kích thước khối lên 128MB hỗ trợ bảo mật và hiệu năng như thế nào? Kích thước khối 128MB giúp giảm số lượng khối cần quản lý, từ đó giảm dung lượng bộ nhớ RAM mà NameNode cần để lưu metadata, giúp hệ thống thẩm định quyền truy cập nhanh hơn và duy trì kết nối truyền tải ổn định với các DataNode.

Hệ thống bảo vệ dữ liệu ra sao khi máy chủ NameNode gặp sự cố? Hệ thống sử dụng SecondaryNameNode để định kỳ tải nhật ký EditLog và trộn với hình ảnh hệ thống FsImage tạo checkpoint mới. Khi sự cố xảy ra, trạng thái phân quyền và cấu trúc thư mục được phục hồi nguyên vẹn mà không làm mất mát thông tin.

Mô hình MapReduce hỗ trợ thực thi chính sách bảo mật như thế nào? MapReduce cho phép nhúng các chính sách kiểm soát truy xuất trực tiếp vào các hàm xử lý Map và Reduce, giúp dữ liệu được kiểm tra tính hợp lệ và lọc bỏ quyền truy cập trái phép ngay từ khi đọc dữ liệu tại nút cục bộ.

Kết luận

Nghiên cứu đã giải quyết thành công bài toán kiểm soát truy xuất trên nền tảng dữ liệu lớn thông qua các đóng góp nổi bật:

• Hệ thống hóa toàn diện cơ sở lý thuyết về dữ liệu lớn và 4 mô hình kiểm soát truy xuất tiêu chuẩn trong môi trường phân tán.
• Làm rõ cơ chế vận hành, cấu trúc topo mạng và kỹ thuật tối ưu hóa bảng chỉ mục metadata trên hệ thống tập tin HDFS.
• Thiết kế và thực nghiệm thành công mô hình lọc quyền bảo mật tích hợp trên tiến trình MapReduce, nâng cao 42,1% tốc độ xử lý dữ liệu.
• Chứng minh hiệu quả bảo toàn 100% tính toàn vẹn dữ liệu với chi phí hạ tầng giảm 60% nhờ khai thác tối đa phần cứng phổ thông.
• Đề xuất lộ trình 4 bước triển khai kiểm soát truy xuất và giám sát an toàn thông tin áp dụng thực tế cho các tổ chức trong 12 tháng tiếp theo.

Đóng góp của luận văn là tiền đề vững chắc để các đơn vị nâng cấp kiến trúc an ninh dữ liệu phân tán. Hãy bắt đầu đánh giá lại hệ thống phân quyền của đơn vị bạn ngay hôm nay để tối ưu hóa hiệu năng và bảo vệ tài nguyên thông tin toàn diện.

Trích đoạn nội dung tài liệu

Mở đầu. Chương 2- Tổng quan về dữ liệu lớn. Chương 3- Mô hình điều khiển truy cập dữ liệu. Các biện pháp điều khiển truy cập thông dụng đi sâu phân tích 4 cơ chế điều khiển truy cập phổ biến là điều khiển truy cập tùy quyền (DAC), 2 điều khiển truy cập bắt buộc (MAC), điều khiển truy cập dựa trên vai trò (Role-Based AC) và điều khiển truy cập dựa trên luật (Rule-Based AC).

Chương 4- Điều khiển truy xuất cho dữ liệu lớn Chương 5- Thực nghiệm và kết quả Chương 6- Kết luận và hướng phát triển. 3 Chương 2: Tổng quan về dữ liệu lớn 2.1 Giới thiệu Hiện đã có rất nhiều thảo luận về khái niệm Big Data (Dữ liệu lớn), nhưng Big Data đơn giản là dữ liệu tiêu chuẩn thường được phân phối qua nhiều địa điểm, từ đa dạng các nguồn tin, trong các định dạng khác nhau và thường không có cấu trúc nhất định. Những thách thức đầu tiên đối với Big Data là khả năng quản lý khối lượng và đảm bảo truy cập thường xuyên. Bởi vì, bảo vệ dữ liệu khỏi sự xâm nhập và phá hoại, đồng thời duy trì truy cập an toàn chính là ưu tiên hàng đầu cho các chuyên gia bảo mật hiện nay.2 Định nghĩa và các đặc trưng 2.1 Big Data là gì? Big Data là thuật ngữ dùng để chỉ một tập hợp dữ liệu rất lớn và phức tạp đến nỗi những công cụ, ứng dụng xử lý dữ liệu truyền thống không thể đảm đương được.

Kích cỡ của Big Data đang tăng lên từng ngày, tính đến năm 2012 nó đã lên hàng exabyte (1 exabyte = 1 tỷ gigabyte). Các nhà khoa học thường xuyên gặp phải những hạn chế do tập dữ liệu lớn trong nhiều lĩnh vực, như khí tượng học, di truyền học, mô phỏng vật lý phức tạp, nghiên cứu sinh học và môi trường. Những hạn chế cũng ảnh hưởng đến việc tìm kiếm trên internet, tài chính và thông tin kinh doanh.[24] Theo IBM, lượng thông tin công nghệ bình quân đầu người trên thế giới tăng gần gấp đôi mỗi 40 tháng kể từ năm 1980. Tính đến năm 2012, mỗi ngày có 2,5 exabyte dữ liệu được tạo ra.

Còn theo tài liệu của Intel vào tháng 9-2013, hiện nay thế giới đang tạo ra 1 petabyte (1 petabyte = 1.000 terabyte) dữ liệu trong mỗi 11 giây (tương đương một đoạn video HD dài 13 năm). [12] Bản thân các công ty, doanh nghiệp cũng đang sở hữu Big Data của riêng mình, chẳng hạn trang bán hàng trực tuyến eBay sử dụng 2 trung tâm dữ liệu với dung lượng lên đến 40 petabyte để chứa những truy vấn, tìm kiếm, đề xuất cho khách hàng cũng như thông tin về hàng hóa của mình. Nhà bán lẻ online Amazon.com đã sử dụng một hệ thống Linux để xử lý hàng triệu hoạt động mỗi ngày cùng những yêu cầu từ khoảng nửa triệu đối tác bán hàng. Tính đến năm 2005, họ từng sở hữu 3 cơ 4 sở dữ liệu Linux lớn nhất thế giới với dung lượng 7,8TB, 18,5TB và 24,7TB.

Tương tự, Facebook cũng phải quản lý 50 tỷ bức ảnh từ người dùng tải lên, trong khi YouTube hay Google phải lưu lại hết các lượt truy vấn và video của người dùng cùng nhiều loại thông tin khác có liên quan. Năm 2011, Tập đoàn McKinsey đề xuất những công nghệ có thể dùng với Big Data, bao gồm crowsourcing (tận dụng nguồn lực từ nhiều thiết bị điện toán trên toàn cầu để cùng xử lý dữ liệu), các thuật toán về gen và di truyền, những biện pháp machine learning (các hệ thống có khả năng học hỏi từ dữ liệu - một nhánh của trí tuệ nhân tạo), xử lý ngôn ngữ tự nhiên (giống như Siri hay Google Voice Search, nhưng cao cấp hơn), xử lý tín hiệu, mô phỏng, phân tích chuỗi thời gian, mô hình hóa, kết hợp các server mạnh lại với nhau. Ngoài ra, các cơ sở dữ liệu hỗ trợ xử lý dữ liệu song song, ứng dụng hoạt động dựa trên hoạt động tìm kiếm, tập tin hệ thống (file system) dạng rời rạc, các hệ thống điện toán đám mây (bao gồm ứng dụng, nguồn lực tính toán cũng như không gian lưu trữ) và bản thân internet cũng là những công cụ đắc lực phục vụ cho công tác nghiên cứu và trích xuất thông tin từ Big Data. Hiện nay cũng có vài cơ sở dữ liệu theo dạng quan hệ (bảng) có khả năng chứa hàng petabyte dữ liệu, chúng cũng có thể tải, quản lý, sao lưu và tối ưu hóa cách sử dụng Big Data [24].

Theo http://blog.com, mô hình 3V để định nghĩa Big Data là là khối lượng (volume), vận tốc (velocity) và chủng loại (variety).2 Mô hình 3V[5] 5 Volume (Khối lượng) Việc lưu trữ khối lượng dữ liệu đang tăng trưởng theo cấp số nhân chứ không chỉ đơn thuần là dữ liệu văn bản. Chúng ta có thể tìm thấy dữ liệu trong các định dạng phim (video), nhạc (music), hình ảnh (image) lớn trên các kênh truyền thông xã hội. Khối lượng dữ liệu ngày nay có thể lên đến hàng Terabyte và Petabyte. Khối lượng dữ liệu ngày càng phát triển thì các ứng dụng và kiến trúc xây dựng để hỗ trợ dữ liệu cần phải được đánh giá lại khá thường xuyên.

Khối lượng lớn dữ liệu thực sự đại diện cho big data.[5] Velocity (Vận tốc) Sự tăng trưởng dữ liệu và các phương tiện truyền thông xã hội đã thay đổi cách chúng ta nhìn vào dữ liệu. Ngày nay, mọi người trả lời trên kênh truyền thông xã hội để cập nhật những diễn biến mới nhất. Trên phương tiện truyền thông xã hội đôi khi các thông báo cách đó vài giây (tweet, status,….) đã là cũ và không được người dùng quan tâm. Họ thường loại bỏ các tin nhắn cũ và chỉ chú ý đến các cập nhật gần nhất.

Sự chuyển động của dữ liệu bây giờ hầu như là thực tế (real time) và tốc độ cập nhật thông tin đã giảm xuống đơn vị hàng mili giây. Vận tốc dữ liệu cao đại diện cho big data.[5] Variety (Đa dạng) Dữ liệu có thể được lưu trữ trong nhiều định dạng khác nhau. Ví dụ như: cơ sở dữ liệu, excel, csv, ms access hoặc thậm chí là tập tin văn bản (text). Đôi khi dữ liệu không ở dạng truyền thống như video, sms, pdf,… Thực tế dữ liệu thuộc nhiều định dạng và đó là thách thức của chúng ta.

Sự đa dạng của dữ liệu đại diện cho big data.2 Cơ bản về kiến trúc của Big Data 2.1 Chu kỳ của Big Data Cũng giống các ứng dụng liên quan đến cơ sở dữ liệu khác, dự án Big Data cũng có chu kỳ phát triển của nó. Mô hình 3Vs đóng vai trò quan trọng trong việc quyết định kiến trúc của dự án Big Data. Dự án Big Data cũng có các đoạn (phase) như thu giữ dữ liệu, chuyển đổi, tích hợp, phân tích và xây dựng báo cáo. Các quá 6 trình này trông gần như giống nhau, nhưng do bản chất của dữ liệu, kiến trúc thường là hoàn toàn khác nhau.2 Các thành phần của kiến trúc Big Data Hoàn toàn không thể đưa ra giải pháp tối ưu nhất cho bất kỳ giải pháp big data nào trong 1 bài viết duy nhất, tuy nhiên, chúng ta có thể nói về các khối xây dựng cơ bản trong kiến trúc big data.2 Kiến trúc Big Data [5] Hình ảnh trên cho chúng ta cái nhìn tổng quan tốt về các thành phần khác nhau trong kiến trúc big data tương tác lẫn nhau.

Trong big data, các nguồn dữ liệu khác nhau là 1 phần của kiến trúc do đó trích xuất, chuyển đổi và tích hợp (extract, transform and intergrate) là 1 trong những lớp quan trọng nhất của kiến trúc. Hầu hết các dữ liệu được lưu trữ trong quan hệ cũng như không quan hệ và các giải pháp kho dữ liệu. Theo nhu cầu kinh doanh, các dữ liệu đa dạng khác nhau được xử lý và 7 chuyển thành báo cáo trực quan với người dùng. Cũng giống như phần mềm, phần cứng cũng là phần quan trọng của kiến trúc big data.

Trong kiến trúc big data, hạ tầng phần cứng vô cùng quan trọng và cần phải cài đặt ngăn chặn lỗi xảy ra, đảm bảo tính sẵn sàng cao. NoSQL trong quản lý dữ liệu NoSQL là 1 thuật ngữ rất nổi tiếng và nó thật sự có ý nghĩa là Not Relational SQL hay Not Only SQL. Điều này là do trong kiến trúc big data, dữ liệu ở định dạng bất kỳ. Để mang tất cả dữ liệu cùng nhau thì công nghệ mối quan hệ là không đủ, do các công cụ mới, kiến trúc và các thuật toán khác được phát minh sẽ nhận tất cả các loại dữ liệu.

Những điều này được gọi chung là NoSQL.3 Các ứng dụng của dữ liệu lớn Có 4 lợi ích Big Data có thể mang lại: cắt giảm chi phí; giảm thời gian; tăng thời gian phát triển, tối ưu hóa sản phẩm; hỗ trợ con người đưa ra những quyết định đúng và hợp lý hơn. Thí dụ, khi mua sắm online trên eBay, Amazon hoặc những trang thương mại điện tử, các trang này sẽ đưa ra những sản phẩm gợi ý tiếp theo. Nếu chúng ta xem điện thoại, nó sẽ gợi ý mua thêm ốp lưng, pin dự phòng; hoặc khi mua áo thun sẽ có thêm gợi ý quần jean, dây nịt. Do đó, nghiên cứu được sở thích, thói quen của khách hàng cũng gián tiếp giúp doanh nghiệp bán được nhiều hàng hóa hơn.

Những thông tin về thói quen, sở thích này có được từ lượng dữ liệu khổng lồ các doanh nghiệp thu thập trong lúc khách hàng ghé thăm và tương tác với trang web của mình. Chỉ cần doanh nghiệp biết khai thác một cách có hiệu quả Big Data, nó không chỉ giúp tăng lợi nhuận cho chính họ mà giúp tiết kiệm thời gian cho khách hàng trong mua sắm. Xu hướng Google rút ra từ những từ khóa tìm kiếm liên quan đến dịch H1N1 đã được chứng minh rất sát với kết quả do 2 hệ thống cảnh báo cúm độc lập Sentinel GP và HealthStat đưa ra. Dữ liệu của Flu Trends được cập nhật gần như theo thời gian thực, sau đó được đối chiếu với số liệu từ những trung tâm dịch bệnh ở nhiều nơi trên thế giới.

Theo Oracle, việc phân tích Big Data và những dữ liệu dung lượng 8 lớn đã giúp các tổ chức kiếm được 10,66USD cho mỗi 1USD chi phí phân tích, tức gấp 10 lần. Một trường học tại Hoa Kỳ có được sự tăng trưởng doanh thu 8 triệu USD mỗi năm, còn một công ty tài chính ẩn danh khác tăng 1.000% lợi nhuận trên tổng số tiền đầu tư của mình trong vòng 3 năm. Trong World Cup, Big Data cũng đưa ra dự báo đội tuyển Đức sẽ vô địch. Thị trường Big Data được nhận định có giá trị tới 100 tỷ USD vào năm 2010 và đang không ngừng tăng với tốc độ chóng mặt.