Mô Hình Dự Đoán Lượng Tiêu Thụ Tài Nguyên Trong Môi Trường Điện Toán Đám Mây

Tài liệu nghiên cứu Nghiên ứu xây dựng mô hình dự đoán lượng tiêu thụ và tự động o dãn tài nguyên trong môi trường phân, tổng hợp lý thuyết và thực hành, cung cấp kiến thức chuyên

• Tác giả: Trần Đức Nhuận
• Người hướng dẫn: TS. Nguyễn Bình Minh
• Trường học: Trường Đại Học Bách Khoa Hà Nội
• Chuyên ngành: Hệ Thống Thông Tin
• Đề tài: Mô Hình Dự Đoán Tài Nguyên Trong Điện Toán Đám Mây
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2018
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• TÓM TẮT
• ABSTRACT
• DANH SÁCH THUẬT NGỮ CHÍNH
• DANH SÁCH HÌNH VẼ
• DANH SÁCH BẢNG
• 1. CHƯƠNG 1: TỔNG QUAN
• 2. CHƯƠNG 2: CÁC NGHIÊN CỨU LIÊN QUAN
• 2.1. Tổng quan về điện toán đám mây
• 2.2. Mô hình dịch vụ
• 2.3. Mô hình triển khai
• 3. CHƯƠNG 3: MÔ HÌNH ĐỀ XUẤT
• 3.1. Kiến trúc hệ thống
• 3.2. Tiền xử lý dữ liệu
• 3.3. Trích chọn đặc trưng
• 3.4. Huấn luyện mô hình
• 3.5. Dự đoán tài nguyên sử dụng
• 3.6. Đánh giá chất lượng dịch vụ
• 3.6.1. Đánh giá tỉ lệ vi phạm SLA
• 3.6.2. Sự ra quyết định khả mở tài nguyên
• 4. CHƯƠNG 4: THỬ NGHIỆM VÀ ĐÁNH GIÁ
• 4.1. Thiết lập thử nghiệm
• 4.2. Thử nghiệm phương pháp mờ hóa
• 4.3. Trích chọn đặc trưng
• 4.4. Thử nghiệm mô hình đơn biến - đa biến
• 4.5. Thử nghiệm ra quyết định
• 5. CHƯƠNG 5: KẾT LUẬN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Dự Đoán Tài Nguyên Đám Mây Lợi Ích Ứng Dụng

Điện toán đám mây (ĐTĐM) đã trở thành lựa chọn tối ưu cho nhiều bài toán tính toán hiện nay, đặc biệt với mô hình pay-as-you-go, cho phép người dùng linh hoạt điều chỉnh tài nguyên theo nhu cầu. Điều này giúp giảm thiểu chi phí thuê tài nguyên. Khách hàng và nhà cung cấp dịch vụ ĐTĐM thỏa thuận các điều khoản trong SLA (Service Layer Agreement), xác định các mức chất lượng dịch vụ (QoS) chấp nhận được. Lập trình viên cần đảm bảo chất lượng dịch vụ cho người dùng cuối, tuy nhiên, hiệu năng ứng dụng phụ thuộc vào chất lượng tài nguyên từ nhà cung cấp. Một thách thức quan trọng là làm thế nào để cải thiện QoS của tài nguyên tính toán. Nhiều nghiên cứu sử dụng mô hình dự đoán chuỗi thời gian để giải quyết vấn đề này. Dự đoán chính xác dự đoán nhu cầu tài nguyên giúp các nhà cung cấp dịch vụ tối ưu hóa tài nguyên đám mây, đảm bảo hiệu suất và tiết kiệm chi phí. Theo báo cáo của LogicMonitor, 83% doanh nghiệp sẽ sử dụng điện toán đám mây vào năm 2020.

1.1. Tầm quan trọng của dự đoán tài nguyên trong Cloud Computing

Dự đoán tài nguyên trong môi trường cloud computing là yếu tố then chốt để quản lý hiệu quả và tiết kiệm chi phí. Việc dự đoán chính xác nhu cầu tài nguyên, bao gồm CPU, bộ nhớ, băng thông và dung lượng lưu trữ, cho phép các nhà cung cấp dịch vụ đám mây phân bổ tài nguyên một cách tối ưu, tránh tình trạng lãng phí hoặc thiếu hụt. Điều này không chỉ giúp giảm chi phí vận hành mà còn cải thiện trải nghiệm người dùng bằng cách đảm bảo hiệu suất ứng dụng luôn ở mức cao nhất.

1.2. Các lợi ích khi áp dụng mô hình dự đoán tài nguyên đám mây

Việc áp dụng mô hình dự đoán tài nguyên mang lại nhiều lợi ích đáng kể cho cả nhà cung cấp dịch vụ và người dùng. Đối với nhà cung cấp, nó giúp tối ưu hóa việc phân bổ tài nguyên, giảm chi phí vận hành, và tăng khả năng cạnh tranh. Đối với người dùng, nó đảm bảo hiệu suất ứng dụng ổn định, giảm thời gian chết, và có thể dự đoán chi phí sử dụng dịch vụ một cách chính xác hơn. Điều này dẫn đến sự hài lòng của khách hàng và tăng cường lòng trung thành với dịch vụ.

II. Thách Thức Trong Dự Đoán Tài Nguyên Đám Mây Giải Quyết Sao

Việc dự đoán tài nguyên đám mây đối mặt với nhiều thách thức. Sự biến động của tải công việc (workload), tính phức tạp của kiến trúc microservices, và sự đa dạng của containers làm cho việc dự đoán trở nên khó khăn. Dữ liệu lịch sử có thể không đầy đủ hoặc không chính xác. Các mô hình dự đoán cần phải đủ linh hoạt để thích ứng với những thay đổi nhanh chóng trong môi trường cloud computing. Quan trọng hơn, cần có các phương pháp hiệu quả để xử lý dữ liệu lịch sử, xác định các yếu tố ảnh hưởng đến nhu cầu tài nguyên, và xây dựng các mô hình dự đoán có độ chính xác cao. Cần có cơ chế liên tục theo dõi và điều chỉnh mô hình để đảm bảo tính chính xác theo thời gian.

2.1. Ảnh hưởng của tính biến động của Workload đến dự đoán

Tính biến động của workload là một trong những thách thức lớn nhất trong việc dự đoán tài nguyên. Lưu lượng truy cập, số lượng yêu cầu và mức sử dụng tài nguyên có thể thay đổi đáng kể theo thời gian, gây khó khăn cho việc xây dựng các mô hình dự đoán ổn định. Để giải quyết vấn đề này, cần sử dụng các kỹ thuật phân tích chuỗi thời gian phức tạp, kết hợp với các yếu tố bên ngoài như sự kiện đặc biệt, mùa vụ và xu hướng thị trường.

2.2. Xử lý dữ liệu lịch sử không đầy đủ và không chính xác

Dữ liệu lịch sử là nguồn thông tin quan trọng để xây dựng các mô hình dự đoán. Tuy nhiên, trong thực tế, dữ liệu này thường không đầy đủ hoặc không chính xác. Các lỗi trong quá trình thu thập, lưu trữ hoặc xử lý dữ liệu có thể ảnh hưởng đến độ chính xác của dự đoán. Để giải quyết vấn đề này, cần áp dụng các kỹ thuật làm sạch và tiền xử lý dữ liệu, cũng như sử dụng các phương pháp thống kê để ước lượng các giá trị bị thiếu hoặc loại bỏ các giá trị ngoại lệ.

III. Phương Pháp Dự Đoán Tài Nguyên Đám Mây Học Máy Chuỗi Thời Gian

Nhiều phương pháp đã được phát triển để dự đoán tài nguyên trong điện toán đám mây. Các mô hình hồi quy (regression models), mô hình phân loại (classification models), và mô hình chuỗi thời gian (time series models) là những lựa chọn phổ biến. Học máy (machine learning) và trí tuệ nhân tạo (artificial intelligence), đặc biệt là các kỹ thuật học sâu (deep learning), đang ngày càng được sử dụng rộng rãi do khả năng xử lý dữ liệu phức tạp và phi tuyến tính. Nghiên cứu của Trần Đức Nhuận (2018) đề xuất mô hình Multivariate Fuzzy Long Short Term Memory (MF-LSTM) để dự đoán lượng sử dụng tài nguyên trong tương lai, dựa trên dữ liệu từ các máy ảo. Các thuật toán như Random Forest, XGBoost, và Support Vector Machines (SVM) cũng được sử dụng.

3.1. Ưu điểm và hạn chế của mô hình hồi quy trong dự đoán tài nguyên

Mô hình hồi quy là một phương pháp đơn giản và dễ hiểu để dự đoán tài nguyên. Tuy nhiên, chúng có thể không hiệu quả khi dữ liệu có mối quan hệ phi tuyến tính hoặc khi có nhiều yếu tố ảnh hưởng đến nhu cầu tài nguyên. Mô hình này thích hợp cho các hệ thống có tính chất ổn định và dễ dự đoán, nhưng không phù hợp với các hệ thống có tính biến động cao.

3.2. Ứng dụng của mạng nơ ron nhân tạo trong dự đoán tài nguyên đám mây

Mạng nơ-ron nhân tạo (Artificial Neural network), đặc biệt là các mô hình học sâu, có khả năng xử lý dữ liệu phức tạp và phi tuyến tính, làm cho chúng trở thành một lựa chọn hấp dẫn để dự đoán tài nguyên. Các mô hình này có thể học các mối quan hệ phức tạp giữa các yếu tố khác nhau và đưa ra dự đoán chính xác hơn. Tuy nhiên, chúng đòi hỏi lượng dữ liệu lớn để huấn luyện và có thể khó giải thích.

IV. Mô Hình MF LSTM Giải Pháp Dự Đoán Tài Nguyên Đám Mây Hiệu Quả

Mô hình Multivariate Fuzzy Long Short Term Memory (MF-LSTM) là một giải pháp tiên tiến để dự đoán tài nguyên trong điện toán đám mây. Mô hình này kết hợp ưu điểm của logic mờ (fuzzy logic) và mạng LSTM (Long Short-Term Memory) để xử lý dữ liệu chuỗi thời gian đa biến. Mô hình MF-LSTM có khả năng khai thác mối quan hệ giữa các dữ liệu đo đạc như CPU, RAM, Disk I/O, và áp dụng chuỗi thời gian mờ (fuzzy timeseries) để nâng cao chất lượng dự đoán. Trần Đức Nhuận (2018) đã chứng minh rằng mô hình MF-LSTM có chất lượng tốt hơn so với các mô hình khác khi so sánh trên bộ dữ liệu thử nghiệm thực tế.

4.1. Cơ chế hoạt động của mô hình Multivariate Fuzzy LSTM

Mô hình MF-LSTM hoạt động bằng cách kết hợp dữ liệu đầu vào từ nhiều biến khác nhau, sau đó sử dụng logic mờ để xử lý các giá trị không chắc chắn hoặc không chính xác. Mạng LSTM giúp mô hình ghi nhớ thông tin từ quá khứ và sử dụng nó để dự đoán tương lai. Việc kết hợp các kỹ thuật này giúp MF-LSTM đưa ra dự đoán chính xác hơn so với các mô hình truyền thống.

4.2. Ưu điểm vượt trội của MF LSTM so với các mô hình khác

MF-LSTM có nhiều ưu điểm vượt trội so với các mô hình dự đoán khác. Nó có khả năng xử lý dữ liệu đa biến, khai thác mối quan hệ giữa các yếu tố khác nhau, và thích ứng với những thay đổi nhanh chóng trong môi trường cloud computing. Bên cạnh đó, việc sử dụng logic mờ giúp mô hình xử lý các giá trị không chắc chắn, cải thiện độ chính xác của dự đoán.

V. Ứng Dụng Kết Quả Triển Khai Dự Đoán Tài Nguyên Đám Mây Thực Tế

Các mô hình dự đoán tài nguyên có thể được ứng dụng rộng rãi trong các môi trường điện toán đám mây. Chúng có thể giúp các nhà cung cấp dịch vụ tối ưu hóa việc phân bổ tài nguyên, giảm chi phí vận hành, và cải thiện chất lượng dịch vụ. Chúng cũng có thể giúp người dùng dự đoán chi phí sử dụng dịch vụ, lập kế hoạch tài chính, và đảm bảo hiệu suất ứng dụng ổn định. Trần Đức Nhuận (2018) đã thử nghiệm mô hình MF-LSTM trên dữ liệu tiêu thụ tài nguyên sử dụng của một cụm máy chủ Google, cho thấy kết quả khả quan so với các mô hình khác về độ chính xác và khả năng giảm vi phạm SLA.

5.1. Các trường hợp ứng dụng thực tế của dự đoán tài nguyên

Các mô hình dự đoán tài nguyên có thể được ứng dụng trong nhiều trường hợp thực tế. Ví dụ, chúng có thể được sử dụng để tự động co dãn tài nguyên (auto-scaling), đảm bảo rằng ứng dụng có đủ tài nguyên để xử lý tải công việc hiện tại. Chúng cũng có thể được sử dụng để dự đoán nhu cầu tài nguyên trong tương lai, giúp các nhà cung cấp dịch vụ lập kế hoạch tài chính và đảm bảo có đủ tài nguyên để đáp ứng nhu cầu của khách hàng.

5.2. Đánh giá hiệu quả của việc triển khai các mô hình dự đoán tài nguyên

Việc đánh giá hiệu quả của việc triển khai các mô hình dự đoán tài nguyên là rất quan trọng để đảm bảo rằng chúng mang lại lợi ích thực tế. Các chỉ số như độ chính xác của dự đoán, khả năng giảm chi phí vận hành, và cải thiện chất lượng dịch vụ có thể được sử dụng để đánh giá hiệu quả. Ngoài ra, cần theo dõi và điều chỉnh mô hình theo thời gian để đảm bảo tính chính xác và hiệu quả liên tục.

VI. Kết Luận Tương Lai Hướng Phát Triển Dự Đoán Tài Nguyên

Dự đoán tài nguyên là một lĩnh vực quan trọng và đang phát triển trong điện toán đám mây. Các nghiên cứu hiện tại tập trung vào việc cải thiện độ chính xác của mô hình dự đoán, xử lý dữ liệu phức tạp, và tích hợp các yếu tố bên ngoài như sự kiện đặc biệt và xu hướng thị trường. Trong tương lai, có thể kỳ vọng vào sự phát triển của các mô hình dự đoán thông minh hơn, có khả năng tự học và thích ứng với những thay đổi nhanh chóng trong môi trường cloud computing. Các mô hình này có thể sử dụng trí tuệ nhân tạo và học máy để tự động phân tích dữ liệu lịch sử, xác định các yếu tố ảnh hưởng đến nhu cầu tài nguyên, và đưa ra dự đoán chính xác hơn.

6.1. Các hướng nghiên cứu tiềm năng trong lĩnh vực dự đoán tài nguyên

Có nhiều hướng nghiên cứu tiềm năng trong lĩnh vực dự đoán tài nguyên. Một trong số đó là phát triển các mô hình hybrid, kết hợp ưu điểm của nhiều phương pháp khác nhau để đạt được độ chính xác cao hơn. Một hướng khác là tích hợp các yếu tố bên ngoài như sự kiện đặc biệt và xu hướng thị trường vào mô hình dự đoán. Nghiên cứu về các mô hình có khả năng tự học và thích ứng với những thay đổi nhanh chóng cũng rất quan trọng.

6.2. Tầm quan trọng của dự đoán tài nguyên đối với điện toán đám mây

Dự đoán tài nguyên đóng vai trò quan trọng trong sự phát triển của điện toán đám mây. Nó giúp các nhà cung cấp dịch vụ tối ưu hóa việc phân bổ tài nguyên, giảm chi phí vận hành, và cải thiện chất lượng dịch vụ. Nó cũng giúp người dùng dự đoán chi phí, lập kế hoạch tài chính, và đảm bảo hiệu suất ứng dụng ổn định. Khi điện toán đám mây ngày càng trở nên phổ biến, tầm quan trọng của dự đoán tài nguyên sẽ ngày càng tăng lên.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển nhanh chóng của công nghệ điện toán đám mây (ĐTĐM), việc quản lý và tối ưu hóa tài nguyên trở thành một thách thức quan trọng đối với các tổ chức và doanh nghiệp. Theo báo cáo của LogicMonitor, đến năm 2020, khoảng 83% doanh nghiệp sẽ sử dụng dịch vụ đám mây, trong đó 41% sẽ triển khai trên các đám mây công cộng như Amazon AWS, Google Cloud Platform, IBM Cloud và Microsoft Azure. Mô hình trả phí theo nhu cầu (pay-as-you-go) giúp doanh nghiệp linh hoạt trong việc sử dụng tài nguyên, giảm thiểu chi phí vận hành và bảo trì. Tuy nhiên, việc cung cấp tài nguyên phù hợp với nhu cầu thực tế vẫn còn nhiều khó khăn, đặc biệt trong môi trường phân tán với khối lượng dữ liệu lớn và biến động liên tục.

Luận văn tập trung nghiên cứu xây dựng mô hình dự đoán lượng tiêu thụ tài nguyên và tự động co dãn tài nguyên trong môi trường ĐTĐM phân tán, nhằm nâng cao chất lượng dịch vụ (Quality of Service - QoS) và giảm thiểu vi phạm các cam kết trong hợp đồng SLA (Service Level Agreement). Mục tiêu cụ thể là phát triển mô hình dự đoán đa biến dựa trên kỹ thuật học sâu kết hợp với chuỗi thời gian mờ (fuzzy time series) để xử lý dữ liệu đa chiều và không chắc chắn, từ đó đưa ra quyết định tự động khả mở tài nguyên chính xác và hiệu quả.

Phạm vi nghiên cứu sử dụng dữ liệu thực tế từ cụm máy chủ Google với hơn 25 triệu điểm dữ liệu trong khoảng thời gian một tháng, tập trung vào các chỉ số tiêu thụ CPU, bộ nhớ và I/O đĩa. Nghiên cứu có ý nghĩa quan trọng trong việc hỗ trợ các nhà cung cấp dịch vụ đám mây tối ưu hóa tài nguyên, giảm thiểu lãng phí và đảm bảo chất lượng dịch vụ cho khách hàng trong môi trường có tính biến động cao.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình chính sau:

• Điện toán đám mây (Cloud Computing): Mô hình cung cấp tài nguyên tính toán, lưu trữ và dịch vụ theo nhu cầu, với các đặc trưng cốt lõi như cung cấp theo yêu cầu, truy cập mạng băng thông cao, tài nguyên không giới hạn, khả năng mở rộng nhanh và dịch vụ đo lường.

• Chuỗi thời gian mờ (Fuzzy Time Series): Phương pháp xử lý dữ liệu thời gian có tính không chắc chắn và dao động, sử dụng tập mờ để biểu diễn và dự đoán các giá trị trong tương lai, giúp giảm nhiễu và tăng độ chính xác dự đoán.

• Mạng nơ-ron hồi quy dài hạn (Long Short Term Memory - LSTM): Mạng nơ-ron hồi quy có khả năng ghi nhớ thông tin dài hạn, khắc phục nhược điểm biến mất hoặc bùng nổ đạo hàm trong mạng RNN truyền thống, phù hợp với dữ liệu chuỗi thời gian phức tạp.

• Phân tích mối tương quan phi tuyến (Symmetrical Uncertainty): Kỹ thuật đánh giá mối quan hệ giữa các biến đa chiều, giúp lựa chọn các đặc trưng có tương quan cao để cải thiện hiệu quả mô hình dự đoán.

Các khái niệm chính bao gồm: autoscaling (tự động co dãn tài nguyên), SLA (cam kết chất lượng dịch vụ), chuỗi thời gian mờ đa chiều, mô hình MF-LSTM (Multivariate Fuzzy LSTM).

Phương pháp nghiên cứu

Nguồn dữ liệu chính là bộ dữ liệu Google cluster trace, ghi nhận thông số tiêu thụ tài nguyên của hơn 12.000 máy chủ trong vòng một tháng năm 2011, với hơn 25 triệu điểm dữ liệu cho một job cụ thể. Dữ liệu được chia thành tập huấn luyện (ngày 1-20) và tập đánh giá (ngày 21-29).

Phương pháp nghiên cứu bao gồm các bước:

1. Thu thập và tiền xử lý dữ liệu: Dữ liệu thô được chuẩn hóa, xử lý thiếu, và chuyển đổi thành chuỗi thời gian mờ với bước nhảy thời gian τ = 10 phút.

2. Trích chọn đặc trưng: Sử dụng đại lượng symmetrical uncertainty để đánh giá mối tương quan phi tuyến giữa các metric, lựa chọn tập con các đặc trưng có tương quan cao (ngưỡng δ được điều chỉnh).

3. Huấn luyện mô hình: Áp dụng kỹ thuật cửa sổ trượt (sliding window) để tạo dữ liệu đầu vào cho mô hình MF-LSTM, huấn luyện mạng LSTM nhiều tầng với thuật toán lan truyền ngược theo thời gian (BPTT).

4. Dự đoán và ra quyết định: Mô hình dự đoán lượng tài nguyên tiêu thụ trong tương lai, kết quả được giải mờ và sử dụng để tính toán số lượng máy ảo cần thiết, đảm bảo tối ưu hiệu năng và giảm thiểu vi phạm SLA.

5. Đánh giá: Sử dụng chỉ số MAE (Mean Absolute Error) để đo độ chính xác dự đoán, đồng thời đánh giá tỷ lệ vi phạm SLA dựa trên sự chênh lệch giữa tài nguyên cấp phát và sử dụng thực tế.

Timeline nghiên cứu kéo dài trong năm 2018, với các giai đoạn thu thập dữ liệu, phát triển mô hình, thử nghiệm và đánh giá.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả của kỹ thuật mờ hóa: Việc áp dụng chuỗi thời gian mờ giúp giảm đáng kể dao động và nhiễu trong dữ liệu tiêu thụ CPU, bộ nhớ, từ đó cải thiện độ ổn định và chính xác của mô hình dự đoán. Ví dụ, tại các khoảng thời gian dao động mạnh, dữ liệu sau khi mờ hóa trở nên mượt mà hơn, giúp mô hình học sâu dễ dàng nhận diện xu hướng.

2. Lựa chọn đặc trưng dựa trên mối tương quan phi tuyến: Thuật toán trích chọn đặc trưng với ngưỡng δ = 0.3 đã chọn được 4 metric chính gồm CPU, bộ nhớ, thời gian đọc/ghi đĩa và dung lượng đĩa cục bộ, giúp giảm khối lượng tính toán và tăng độ chính xác dự đoán. Các metric này có mối tương quan cao, đảm bảo mô hình khai thác hiệu quả các mối quan hệ đa chiều.

3. So sánh mô hình dự đoán: Mô hình MF-LSTM đa biến cho kết quả MAE thấp hơn đáng kể so với các mô hình truyền thống như BPNN, MF-GABPNN, Fuzzy BPNN. Cụ thể, MAE dự đoán CPU giảm hơn 50% và MAE dự đoán bộ nhớ giảm hơn 11% so với mô hình đơn biến tương ứng. Điều này chứng tỏ khả năng học mối quan hệ ẩn và xử lý dữ liệu mờ đa chiều của MF-LSTM vượt trội.

4. Hiệu quả ra quyết định tự động khả mở: Mô-đun ra quyết định dựa trên dự đoán và ước lượng vi phạm SLA giúp hệ thống tự động điều chỉnh số lượng máy ảo phù hợp, giảm thiểu vi phạm SLA và tối ưu hóa chi phí vận hành. Việc sử dụng hệ số scaling s > 1 và độ dài phản hồi l giúp cân bằng giữa việc cấp thừa và cấp thiếu tài nguyên.

Thảo luận kết quả

Kết quả thử nghiệm cho thấy kỹ thuật mờ hóa là bước tiền xử lý quan trọng giúp giảm nhiễu dữ liệu, từ đó nâng cao độ chính xác dự đoán. Việc lựa chọn đặc trưng dựa trên symmetrical uncertainty giúp mô hình tập trung vào các biến có ảnh hưởng lớn, tránh hiện tượng quá khớp và giảm chi phí tính toán.

So với các nghiên cứu trước đây chỉ tập trung vào dữ liệu đơn chiều hoặc mô hình tuyến tính, mô hình MF-LSTM đa chiều kết hợp chuỗi thời gian mờ đã khai thác hiệu quả mối quan hệ phức tạp giữa các metric tài nguyên, phù hợp với đặc thù dữ liệu thực tế trong môi trường đám mây phân tán.

Việc đánh giá vi phạm SLA dựa trên chênh lệch tài nguyên cấp phát và sử dụng thực tế là một bước tiến quan trọng, giúp hệ thống tự động khả mở không chỉ dựa vào dự đoán mà còn có cơ chế phản hồi để điều chỉnh chính xác hơn theo thời gian.

Dữ liệu có thể được trình bày qua các biểu đồ so sánh MAE giữa các mô hình, biểu đồ chuỗi thời gian tiêu thụ CPU trước và sau khi mờ hóa, cũng như bảng thống kê tỷ lệ vi phạm SLA theo thời gian để minh họa hiệu quả của mô hình đề xuất.

Đề xuất và khuyến nghị

1. Triển khai mô hình MF-LSTM trong hệ thống quản lý tài nguyên đám mây: Áp dụng mô hình dự đoán đa chiều kết hợp chuỗi thời gian mờ để nâng cao độ chính xác dự báo tài nguyên, giúp nhà cung cấp dịch vụ đám mây tối ưu hóa việc cấp phát tài nguyên theo thời gian thực. Thời gian thực hiện: 6-12 tháng; Chủ thể: các nhà phát triển hệ thống đám mây.

2. Phát triển module tự động ra quyết định dựa trên SLA: Tích hợp cơ chế đánh giá vi phạm SLA và điều chỉnh số lượng máy ảo tự động, giảm thiểu rủi ro cấp thiếu hoặc thừa tài nguyên, nâng cao chất lượng dịch vụ. Thời gian thực hiện: 3-6 tháng; Chủ thể: đội ngũ vận hành và quản lý dịch vụ đám mây.

3. Mở rộng nghiên cứu áp dụng cho các loại tài nguyên và dịch vụ khác: Nghiên cứu áp dụng mô hình cho các tài nguyên mạng, lưu trữ, hoặc các dịch vụ SaaS, PaaS để đa dạng hóa ứng dụng và tăng tính linh hoạt. Thời gian thực hiện: 12 tháng; Chủ thể: nhóm nghiên cứu và phát triển sản phẩm.

4. Tăng cường thu thập và xử lý dữ liệu thời gian thực: Xây dựng hệ thống thu thập dữ liệu đa chiều, thời gian thực với bước nhảy thời gian phù hợp, kết hợp kỹ thuật mờ hóa để giảm nhiễu và tăng độ tin cậy của dữ liệu đầu vào. Thời gian thực hiện: 6 tháng; Chủ thể: bộ phận kỹ thuật và phân tích dữ liệu.

Đối tượng nên tham khảo luận văn

1. Nhà quản lý và vận hành dịch vụ đám mây: Có thể áp dụng mô hình để tối ưu hóa việc cấp phát tài nguyên, giảm chi phí vận hành và nâng cao chất lượng dịch vụ cho khách hàng.

2. Nhà phát triển phần mềm và hệ thống: Sử dụng các kỹ thuật học sâu và chuỗi thời gian mờ để xây dựng các hệ thống dự đoán tài nguyên chính xác, hỗ trợ tự động hóa trong môi trường đám mây.

3. Nhà nghiên cứu trong lĩnh vực học máy và điện toán đám mây: Tham khảo phương pháp kết hợp dữ liệu đa chiều, phân tích mối tương quan phi tuyến và mô hình LSTM để phát triển các giải pháp dự đoán nâng cao.

4. Doanh nghiệp sử dụng dịch vụ đám mây: Hiểu rõ hơn về cơ chế tự động khả mở tài nguyên, từ đó có thể lựa chọn và yêu cầu các nhà cung cấp dịch vụ phù hợp với nhu cầu thực tế.

Câu hỏi thường gặp

1. Mô hình MF-LSTM có ưu điểm gì so với các mô hình dự đoán truyền thống?
   MF-LSTM kết hợp kỹ thuật chuỗi thời gian mờ và mạng LSTM đa biến giúp xử lý dữ liệu đa chiều và không chắc chắn hiệu quả hơn, giảm MAE dự đoán CPU và bộ nhớ tới hơn 50% so với mô hình đơn biến truyền thống.

2. Tại sao cần áp dụng kỹ thuật mờ hóa trong xử lý dữ liệu?
   Kỹ thuật mờ hóa giúp giảm dao động và nhiễu trong dữ liệu tiêu thụ tài nguyên, làm cho chuỗi thời gian trở nên mượt mà hơn, từ đó nâng cao độ chính xác của mô hình dự đoán.

3. Làm thế nào để lựa chọn các đặc trưng phù hợp cho mô hình dự đoán?
   Sử dụng đại lượng symmetrical uncertainty để đánh giá mối tương quan phi tuyến giữa các metric, lựa chọn các đặc trưng có tương quan cao nhằm giảm chi phí tính toán và tăng hiệu quả mô hình.

4. Mô hình dự đoán được sử dụng để ra quyết định tự động khả mở như thế nào?
   Dựa trên dự đoán lượng tài nguyên tiêu thụ trong tương lai và ước lượng vi phạm SLA, hệ thống tính toán số lượng máy ảo cần thiết để cấp phát, đảm bảo cân bằng giữa hiệu năng và chi phí.

5. Thời gian dự đoán và khả năng phản hồi của hệ thống có ảnh hưởng ra sao đến hiệu quả?
   Hệ thống dự đoán trước khoảng 10 phút để có thời gian khởi tạo máy ảo mới, đồng thời sử dụng độ dài phản hồi l để điều chỉnh quyết định khả mở, giúp giảm thiểu vi phạm SLA và tăng tính ổn định.

Kết luận

• Luận văn đã xây dựng thành công mô hình dự đoán tài nguyên đa chiều MF-LSTM kết hợp chuỗi thời gian mờ, nâng cao độ chính xác dự đoán tài nguyên trong môi trường đám mây phân tán.
• Kỹ thuật trích chọn đặc trưng dựa trên mối tương quan phi tuyến giúp giảm chi phí tính toán và tăng hiệu quả mô hình.
• Mô-đun ra quyết định tự động khả mở dựa trên dự đoán và ước lượng vi phạm SLA giúp tối ưu hóa việc cấp phát tài nguyên, giảm thiểu lãng phí và vi phạm cam kết dịch vụ.
• Thử nghiệm trên dữ liệu thực tế Google cluster cho thấy mô hình MF-LSTM vượt trội hơn các mô hình truyền thống về độ chính xác và hiệu quả vận hành.
• Các bước tiếp theo bao gồm triển khai thực tế mô hình trong hệ thống đám mây, mở rộng ứng dụng cho các loại tài nguyên khác và nâng cao khả năng xử lý dữ liệu thời gian thực.

Hành động ngay: Các nhà phát triển và quản lý dịch vụ đám mây nên nghiên cứu và áp dụng mô hình MF-LSTM để nâng cao hiệu quả quản lý tài nguyên, đồng thời tiếp tục theo dõi các nghiên cứu mới trong lĩnh vực học sâu và dự đoán chuỗi thời gian để cập nhật giải pháp tối ưu.

Trích đoạn nội dung tài liệu

Chương 1 Tổng quan LogicMonitor đã thực hiện bài nghiên cứu có tên Tầm nhìn ĐTĐM 2020 (LogicMonitor’s Cloud Vision 2020: The Future of the Cloud Study), điều tra về xu hướng sử dụng ĐTĐM và các dự đoán công nghệ. Theo báo cáo, 83% doanh nghiệp sẽ lên "mây" vào năm 2020. LogicMonitor dự đoán 41% số lượng đó sẽ được đưa lên các đám mây công cộng như Amazon AWS, Google Cloud Platform, IBM Cloud và Microsoft Azure (Hình 1. Sự chuyển dịch lên ĐTĐM mang lại nhiều lợi ích cho doanh nghiệp.

Chi phí vận hành, bảo trì được cắt giảm nhờ vào việc sử dụng các nền tàng hạ tầng có sẵn. Bên cạnh đó, các nhà cung cấp dịch vụ đều có chế độ pay-as-you-go, trả tiền theo mức độ sử dụng thực tế. Doanh nghiệp được phần nào giải phóng khỏi vấn đề bảo mật. Phía nhà cung cấp ĐTĐM đều có đội ngũ bảo mật riêng, dữ liệu truyền tải đều được mã hóa do đó sự mất mát thông tin hoặc chiếm quyền tấn công của hacker là điều không thể.

Sự linh hoạt về tài nguyên sử dụng là một trong những ưu việt mà ĐTĐM mang tới, mà điển hình là mô hình trả phí theo nhu cầu (pay-as-you-go). Điều này giúp cho các tổ chức sử dụng linh hoạt các tài nguyên của hệ thống, thay vì chỉ định các phần cứng đặc biệt cho từng nhu cầu. Trước khi có ĐTĐM, các trang website, ứng dụng theo mô hình khác-chủ được triển khai trên trên một hệ thống vật lí cụ thể. Với công nghệ ĐTĐM, các tài nguyên được sử dụng dưới dạng các máy ảo.

Cấu hình hợp nhất này cung cấp môi trường cho các ứng dụng thực hiện một cách độc lập mà không quan tâm tới cấu hình cụ thể nào. Với ĐTĐM, tài nguyên sẽ được cung cấp một cách mềm dẻo theo nhu cầu sử dụng, mô hình này giúp giảm thiểu nguy cơ cung cấp thừa tài nguyên, giảm sự lãng phí tài nguyên trong các giờ không cao điểm, và tránh việc thiếu tài nguyên trong các giờ cao điểm [20]. Tuy vậy, vấn đề này khá khó khăn để đạt được khi mà các nhà cung cấp dịch vụ cần có một cơ chế khác, hỗ trợ tối ưu hóa ngay lập tức và chính xác số lượng tài nguyên thay vì cơ chế sử dụng ngưỡng như hiện này. Lấy ví dụ với sư phát triển của các thiết bị phần cứng Internet of Thing hiện nay, số lượng sensor kết nối với ĐTĐM ngày càng trở nên đơn giản và phổ biến.

Mô hình IoT là mẫu hình cho phép các vật, đối tượng, cảm biến kết nối với nhau. Nền tảng sử dụng IoT như hệ thống thành phố thông 12 Hình 1.1: Sự cung cấp tài nguyên theo nhu cầu (nguồn: LogicMonitor) Hình 1.2: Dung lượng dữ liệu truyền tải của IoT 13 minh, nhà thông minh cần có khả năng tự động mở rộng tối đa và cần ít sự tác động của con người. Theo báo cáo của Gardner, có tới 8.4 tỉ các thiết bị được kết nối trong năm 2017 và tăng lên 20,4 tỉ thiết bị vào năm 2020. Số lượng các metric được tăng cả về tốc độ cũng như khối lượng (Hình 1.

Dẫn tới việc theo dõi, quản lý thiết lập các ngưỡng bằng tay từ phía nhà quản trị trở nên cực kỳ khó khăn và phức tạp. Do đó, bài toán đặt ra hệ thống không chỉ có khả năng khả mở tài nguyên nhanh chóng mà còn có khả năng tự động điều chỉnh dựa vào dữ liệu mà ít cần sự tương tác của con người. Bằng việc dự đoán tài nguyên sẽ sử dụng trong tương lai, hệ thống sẽ tự động ra các quyết định chính xác về lượng tài nguyên cần thiết. Hệ thống sẽ biết trước và chính xác lượng tài nguyên cần cung cấp trong tương lai gần cho ứng dụng là bao nhiêu, từ đó cho phép tăng giảm tài nguyên trước khi nảy sinh các vấn đề về hoạt động do thừa hoặc thiếu tài nguyên cung cấp.

Các nghiên cứu về dự đoán mô hình tự động khả mở thu hút được nhiều sự chú ý. Trong khi độ chính xác của mô hình luôn là một thách thức thú vị, vấn dề xử lý dữ liệu nhiều chiều (CPU, bộ nhớ sử dụng, tốc độ đọc/ghi) trong cùng một lúc chưa nhận được nhiều quan tâm. Bởi vì giữa các metric đó tồn tại các mối quan hệ với nhau ví dụ như CPU và bộ nhớ, bộ nhớ và tốc độ đọc/ghi,.Từ đó kết quả dự đoán chưa hợp lý khi triển khai thực tế. Để giải quyết bài toán, mô hình mới cần có khả năng xử lý dữ liệu thời gian nhiều chiều.

Bên cạnh đó, các nghiên cứu về bài toán dự đoán chuỗi thời gian thiếu đi phương án đánh giá sự hiệu quả của việc ra quyết định tăng/giảm dựa vào giá trị dự đoán. Về góc nhìn SLA, các nghiên cứu [3], [2] và framework [1], [8] đã được đề xuất nhằm giữ ổn định vi phạm SLA. Tuy nhiên các nghiên cứu đó được đề xuất trong môi trường khả mở truyền thống. Vì vậy, một hệ thống đánh giá vi phạm SLA trong bài toán dự đoán khả mở trong tương lai là điều rất cần thiết.

Dựa vào các hướng nghiên cứu trên, những đóng góp chính của luận án này bao gồm: • Xây dựng hệ thống khả mở chủ động trong môi trường ĐTĐM gồm 2 thành phần: module dự đoán và module ra quyết định • Đề xuất mô hình mới dự đoán tài nguyên sử dụng trong tương lai khai thác mối quan hệ giữa các dữ liệu đo đạc như CPU, RAM, Disk I/O,. bằng mô hình học sâu. • Áp dụng chuỗi thời gian mờ (fuzzy timeseries) nâng cao chất lượng dự đoán • Đề xuất mô hình ra quyết định dựa vào dữ liệu dự đoán và ước lượng vi phạm SLA Các phần của luận văn được bố cục như sau: chương 2 trình bày các cơ sở lý thuyết chính được sử dụng và liệt kê một số nghiên cứu liên quan. Chương 3 trình bày đề xuất mô hình mới cùng các phân tích về mô hình.

Các thí nghiệm đánh giá và so sánh mô hình được thực hiện trong chương 4. Cuối cùng chương 5 tóm tắt lại những kết quả đạt được trong luận văn. 14 Chương 2 Các nghiên cứu liên quan 2.1 Tổng quan về điện toán đám mây 2.1 Khái niệm Thuật ngữ ĐTĐM ra đời từ những năm 2007 với mục đích khái quát lại các hướng đi của cơ sở hạ tầng thông tin vốn đã và đang diễn ra từ mấy năm qua. Theo Viện tiêu chuẩn và công nghệ quốc gia Mỹ [21], ĐTĐM là mô hình cho phép truy cập mạng để lựa chọn và sử dụng tài nguyên có thể tính toán và tùy chỉnh được (ví dụ như mạng, máy chủ, lưu trữ, các ứng dụng và các dịch vụ) theo nhu cầu một cách thuận tiện, đồng thời cho phép cung cấp và giải phóng chúng một cách nhanh chóng, giảm thiểu tối đa sự thao tác của quản trị viên.

Với các dịch vụ sẵn có trên Internet, doanh nghiệp không phải mua và duy trì hạ tầng cũng như phần mềm mà chỉ cần tập trung vào kinh doanh, nghiệp vụ riêng bởi đã có các nhà cung cấp dịch vụ ĐTĐM lo cơ sở hạ tầng và công nghệ thông tin thay họ. Đa số người dùng Internet đã tiếp cận những dịch vụ đám mây phổ thông như email, bản đồ số,. Tính linh hoạt của ĐTĐM là phân phát tài nguyên theo yêu cầu. Điều này tạo khả năng mềm dẻo, thuận lợi cho việc sử dụng các tài nguyên của hệ thống, loại bỏ sự ràng buộc phải đầu tư phần cứng cụ thể cho một nhiệm vụ.

Trước khi có ĐTĐM, các trang web hoặc các ứng dụng được chạy trên một máy chủ cụ thể hoạt động trong một hệ thống. Với sự ra đời của ĐTĐM, các tài nguyên được hợp nhất và sử dụng như kho chung. Cấu hình hợp nhất này cung cấp một môi trường ở đó các ứng dụng thực hiện một cách độc lập mà không quan tâm đến bất kỳ cấu hình cụ thể nào.Viện Tiêu chuẩn và Công nghệ cũng định nghĩa 5 đặc trưng cốt lõi của mô hình ĐTĐM: • Dịch vụ cung cấp theo nhu cầu (On-demand self-service): Người dùng tự mua, tự thuê, tự cấu hình triển khai các dịch vụ ĐTĐM theo các chuẩn định sẵn (template) mà không tới sự trợ giúp của bộ phân IT. Để làm đươc điều này, các nhà cung cấp hạ tầng phải tạo ra các chuẩn định sẵn từ trước.

Các chuẩn định sẵn này chứa các cấu hình đã đươc định nghĩa trước, căn cứ vào đó ngườ i dùng sẽ tùy chỉnh thêm và cài đặt thêm các dịch vụ thêm theo nhu cầu. Môt số ví dụ 15 Hình 2.1: Mô hình triển khai ĐTĐM về chuẩn định sẵn như HP Cloud Maps của HP, CloudForms của RightScale và Red Hat,. • Truy cập mạng băng thông cao (Broad network access): Tài nguyên tính toán luôn sẵn sàng ở toàn mạng và được truy cập thông qua các chuẩn mạng. • Tài nguyên không giới hạn (Resource Pooling): Nhà cung cấp dự trữ các tài nguyên tính toán để chia sẻ cho nhiều người sử dụng bằng mô hình multi-tenant, tự động cung cấp các tài nguyên vật lý hoặc ảo theo nhu cầu của họ.

• Cung cấp tài nguyên mềm dẻo (Rapid Elasticity): Tài nguyên tính toán được cung cấp và giải phóng 1 cách mềm dẻo tự động, tự mở rộng hoặc thu nhỏ lại. Với người sử dụng thì tài nguyên tính toán cung cấp gần như không giới hạn, ở bất cứ nơi đâu và bất cứ lúc nào. • Dịch vụ đo lường (Measured Service): Các hệ thống ĐTĐM tự động quản trị và tối ưu tài nguyên sử dụng bằng cách tận dụng năng lực đo đạc ở mức trừu tượng phù hợp với các dịch vụ. Lượng sử dụng tài nguyên được giám sát, điều khiển và thống kê hoàn toàn trong suốt với cả nhà cung cấp và người sử dụng.2 Mô hình dịch vụ Dịch vụ Cloud Computing rất đa dạng và bao gồm tất cả các lớp dịch vụ điện toán từ cung cấp năng lực tính toán trên dưới máy chủ hiệu suất cao hay các máy chủ ảo, không gian lưu trữ dữ liệu, hay một hệ điều hành, một công cụ lập trình, hay một ứng dụng kế toán.

Các dịch vụ cũng được phân loại khá da dạng, nhưng các mô hình dịch vụ Cloud Computing phổ biến nhất có thể được phân thành 3 nhóm: Dịch vụ hạ tầng (IaaS), Dịch vụ nền tảng (PaaS) và Dịch vụ phần mềm (SaaS), được minh họa ở Hình 2.1 Hạ tầng như dịch vụ Đây là mô hình dịch vụ ĐTĐM cơ bản nhất, các nhà phát hành IaaS cung cấp các hạ tầng tính toán, bộ nhớ lưu trữ được ảo hóa bởi nền tàng hypervisor như Xen, Oracle Virtual Box, KVM, 16 VMware,.