Nghiên cứu phương pháp tối ưu cho co giãn tài nguyên trong hệ thống phân tán

Nghiên cứu các phương pháp tối ưu co giãn tài nguyên trong hệ thống phân tán. Đề xuất mô hình học sâu và thuật toán nQSV để dự đoán, tăng hiệu quả.

• Tác giả: Hoàng Nghĩa Bảo
• Người hướng dẫn: PGS. Nguyễn Bình Minh
• Trường học: Trường Đại Học Bách Khoa Hà Nội
• Chuyên ngành: Khoa Học Dữ Liệu
• Đề tài: Nghiên cứu áp dụng các Phương Pháp Tối Ưu cho Bài Toán Co Giãn Tài Nguyên trong các Hệ Thống Phân Tán
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2021
• Địa điểm: Hà Nội

Tóm tắt

I. Khái Niệm Cơ Bản Về Co Giãn Tài Nguyên Hệ Thống Phân Tán

Co giãn tài nguyên trong hệ phân tán là khả năng điều chỉnh động lượng tài nguyên tính toán nhằm đáp ứng nhu cầu thay đổi của ứng dụng. Đây là một bài toán cấp thiết trong các hệ thống phân tán hiện đại, giúp tối ưu hóa hiệu năng và tránh lãng phí tài nguyên. Tính co giãn cho phép hệ thống tự động điều chỉnh tài nguyên theo tình trạng tải công việc thực tế, từ đó nâng cao hiệu suất hoạt động. Bài toán này không chỉ liên quan đến cơ sở hạ tầng mà còn ảnh hưởng trực tiếp đến chi phí vận hành và trải nghiệm người dùng.

1.1. Định Nghĩa Hệ Thống Phân Tán

Hệ thống phân tán là tập hợp các máy tính độc lập được kết nối qua mạng, hoạt động cùng nhau để hoàn thành một mục tiêu chung. Đặc điểm chính của hệ phân tán bao gồm tính độc lập, khả năng giao tiếp qua mạng, và sự phối hợp để xử lý dữ liệu quy mô lớn. Các hệ thống này đòi hỏi quản lý tài nguyên hiệu quả để duy trì hiệu năng tối ưu.

1.2. Tính Chất Quan Trọng Của Tính Co Giãn

Co giãn dọc (vertical scaling) tăng sức mạnh xử lý của từng node, trong khi co giãn ngang (horizontal scaling) thêm nhiều node vào hệ thống. Cả hai phương pháp đều cần dự đoán chính xác nhu cầu tài nguyên để triển khai hiệu quả. Tính co giãn tự động giảm thiểu can thiệp thủ công và cải thiện độ tin cậy của hệ thống phân tán.

II. Dự Đoán Nhu Cầu Tài Nguyên Bằng Mô Hình Học Sâu

Dự đoán tài nguyên là một hướng tiếp cận chủ động cho bài toán co giãn, cho phép hệ thống chuẩn bị tài nguyên trước khi nhu cầu tăng đột ngột. Sử dụng mô hình học sâu như MLP (Multi-Layer Perceptron) giúp nắm bắt các mẫu phức tạp trong dữ liệu lịch sử. Các mô hình này có khả năng học từ dữ liệu lớn và đưa ra dự báo chính xác về mức tài nguyên cần thiết. Học sâu vượt trội hơn các phương pháp thống kê truyền thống trong việc xử lý dữ liệu phi tuyến tính.

2.1. Mô Hình MLP Cho Dự Đoán Tài Nguyên

MLP là một kiến trúc mạng neural được sử dụng rộng rãi trong dự đoán chuỗi thời gian. Mô hình này bao gồm nhiều lớp ẩn giúp tối ưu hóa việc học các đặc trưng từ dữ liệu đầu vào. Để nâng cao hiệu suất, cần huấn luyện mô hình với các thuật toán tối ưu hiệu quả nhằm tránh hội tụ vào cực tiểu cục bộ.

2.2. Ưu Điểm Của Học Sâu Trong Dự Đoán

Mô hình học sâu có khả năng tự động trích xuất đặc trưng quan trọng từ dữ liệu thô. Phương pháp này vượt trội hơn hồi quy và các phương pháp thống kê truyền thống. Nhờ vào học biểu diễn đa lớp, các mô hình học sâu đạt độ chính xác cao hơn trong việc dự đoán nhu cầu tài nguyên phức tạp.

III. Thuật Toán Metaheuristic Để Tối Ưu Huấn Luyện

Thuật toán metaheuristic cung cấp các phương pháp tối ưu để huấn luyện mạng neural mà không bị mắc kẹt vào cực tiểu cục bộ. Các thuật toán như GA (Genetic Algorithm), PSO (Particle Swarm Optimization), và QSO (Queuing Search Optimization) đã chứng minh hiệu quả trong nhiều ứng dụng. Tối ưu hàm mất mát là mục tiêu chính, và sử dụng metaheuristic giúp tìm ra các nghiệm tốt hơn so với gradient descent truyền thống. Cải tiến thuật toán QSO thành nQSV mang lại kết quả ưu việt hơn.

3.1. Các Thuật Toán Metaheuristic Phổ Biến

GA mô phỏng tiến hóa tự nhiên, PSO bắt chước hành vi bầy đàn, còn ABC (Artificial Bee Colony) lấy cảm hứng từ hành vi ong. Mỗi thuật toán có ưu và nhược điểm khác nhau. WOA (Whale Optimization Algorithm) và CRO (Coral Reef Optimization) cũng được sử dụng rộng rãi. Tuy nhiên, không phải tất cả đều hiệu quả cho huấn luyện mạng sâu.

3.2. Cải Tiến Thuật Toán nQSV

Thuật toán nQSV là phiên bản cải tiến của QSO, sử dụng kỹ thuật Levy-flight trajectory và Opposition-based learning. Cải tiến này giúp tối ưu hóa quá trình tìm kiếm và tăng hiệu suất tối ưu hàm mất mát. Kết quả thực nghiệm cho thấy nQSV vượt trội hơn 6 giải thuật metaheuristic khác trong bài toán huấn luyện.

IV. Ứng Dụng và Kết Quả Thực Nghiệm

Các nghiên cứu đã chứng minh hiệu quả của dự đoán tài nguyên kết hợp với thuật toán metaheuristic trên nhiều bộ dữ liệu thực tế. Mô hình đề xuất sử dụng MLP với nQSV đạt độ chính xác cao hơn đáng kể so với các phương pháp truyền thống. Tối ưu co giãn tài nguyên không chỉ giảm chi phí vận hành mà còn cải thiện hiệu năng tổng thể của hệ thống. Phương pháp này có thể áp dụng cho các bài toán tối ưu khác ngoài hệ thống phân tán.

4.1. Quy Trình Thực Nghiệm và Đánh Giá

Dữ liệu huấn luyện được chia thành tập train, validation, và test với tỷ lệ phù hợp. Mô hình MLP được tối ưu hóa sử dụng nQSV trên ba bộ dữ liệu khác nhau từ các hệ thống phân tán thực tế. Các tiêu chí đánh giá bao gồm RMSE, MAE, và R² để đo lường độ chính xác dự đoán.

4.2. Tác Động Thực Tế Đối Với Hệ Thống

Co giãn tài nguyên tự động dựa trên dự đoán chính xác giúp hệ thống cân bằng tải hiệu quả. Giải pháp này giảm chi phí cơ sở hạ tầng bằng cách tránh cấp phát quá mức. Hiệu năng hệ thống được cải thiện đáng kể, đặc biệt trong các giai đoạn cao tải. Phương pháp có thể mở rộng cho các ứng dụng cloud computing và IoT.

Trích đoạn nội dung tài liệu

Đặt vấn đề Hệ phân tán đã và đang được sử dụng rộng rãi trong trong thực tế. Hầu hết ứng dụng hiện nay đều được triển khai dưới dạng hệ phân tán. Một ví dụ cụ thể của hệ phân tán đó chính là điện toán đám mây. Điện toán đám mây cho phép người sử dụng chi trả cho các dịch vụ theo đúng nhu cầu họ sử dụng (pay-as-you- go) mà không cần quan tâm đến cơ sở hạ tầng phía dưới.

Một trong các tính chất quan trọng của điện toán đám mây cũng như hệ phân tán là tính co giãn. Tính co giãn là khả năng mở rộng hoặc thu hẹp tài nguyên tính toán để phù hợp với nhu cầu tính toán của hệ thống. Tính co giãn được thể hiện qua việc khi nhu cầu tính toán tăng lên sẽ có một lượng tài nguyên được gia tăng vào hệ phân tán để đảm bảo hiệu năng hệ thống. Mặt khác, khi nhu cầu tính toán giảm xuống, sẽ có một lượng tài nguyên bị giảm đi để không lãng phí điện năng.

Tóm lại, tính co giãn của hệ thống phân tán sẽ giúp đảm bảo hiệu năng hệ thống cũng như tối ưu hóa chi phí tính toán. Hiện nay, có một số hướng tiếp cận để giải quyết bài toán co giãn tài nguyên trong hệ phân tán: • Hướng tiếp cận phổ biến nhất chính là dùng ngưỡng. Khi nhu cầu về tài nguyên vượt qua một ngưỡng nào đó, một lượng tài nguyên cần thiết sẽ được bổ sung vào và ngược lại. Hướng tiếp cận này có ưu điểm là đơn giản tuy nhiên nó chưa thực sự đảm bảo được chất lượng dịch vụ (Quality of Service – QoS) nếu nhu cầu tăng đột biến cũng như có khả năng gây lãng phí tài nguyên do mở rộng quá nhu cầu cần thiết.

• Một hướng tiếp cận chủ động hơn đó chính là dự đoán trước nhu cầu sử dụng tài nguyên của hệ thống. Với hướng tiếp cận này, chúng ta có thể dự đoán được trước nhu cầu tài nguyên dựa trên dữ liệu trong quá khứ, từ đó có thể đưa ra các quyết định phù hợp để tăng giảm tài nguyên. Trong nghiên cứu này, chúng tôi sẽ tập trung vào hướng tiếp cận chủ động do hướng tiếp cận này có thể giúp hệ thống co giãn tài nguyên sát với nhu cầu thực tế nhất có thể. Việc ra quyết định co giãn tài nguyên cũng như hiệu năng hệ thống phụ thuộc rất nhiều vào mô hình dự đoán.

Nếu mô hình đưa ra dự đoán tài nguyên cần dùng ít hơn với nhu cầu thực tế, hệ thống sẽ bị quá tải không đảm bảo được hiệu năng cũng như chất lượng dịch vụ (QoS). Ở khía cạnh ngược lại, nếu mô hình đưa ra dự đoán tài nguyên cần dùng nhiều hơn rất nhiều với nhu cầu thực tế, hệ thống sẽ lãng phí rất nhiều chi phí tính toán không cần thiết. Vì vậy, xây dựng một mô hình dự đoán chính xác là bài toán cốt lõi của hướng tiếp cận này. Các mô hình dự đoán tài nguyên thường sử dụng các kỹ phân phân tích chuỗi thời gian (time-series) vì các dữ liệu tài nguyên tính toán của hệ thông thường tồn tại ở dạng time series.

Kỹ thuật phân tích chuỗi thời gian nổi tiếng nhất 11 chính là lớp phương pháp thống kê tuyến tính như tự hồi quy (Auto Regressive- AR), trung bình trượt (Moving Average -MA), tự hồi quy và trung bình trượt (ARMA) và mô hình trung bình trượt kết hợp tự hồi quy (ARIMA) [1]. Tuy nhiên nhược điểm của các mô hình này là chúng đều giả thiết dữ liệu tồn tại ở dạng tuyến tính và tuân theo mô hình thống kê nào đó, nhưng thực tế các dữ liệu sử dụng tài nguyên hệ thống tồn tại ở dạng phi tuyến. Do đó, các mô hình này không thể áp dụng cho bài toán dự đoán tài nguyên. Một lớp các kỹ thuật khác đang phổ biến gần đây đó chính là học sâu hay là các mạng neural nhân tạo.

Các mô hình mạng neural nhân tạo có đặc điểm là chúng hoạt động rất tốt với dữ liệu phi tuyến do cấu trúc của mạng gồm nhiều hàm kích hoạt (activation function) ở dạng phi tuyến [2]. Hiện nay các mô hình mạng học sâu thường được huấn luyện bằng các phương pháp gradient (gradient-based). Các phương pháp gradient này có nhược điểm là không tối ưu được hàm mất mát của các mô hình mạng. Ở khía cạnh tối ưu, các lớp giải thuật metaheuristic đưa ra kết quả rất ấn tượng với các bài toán phức tạp.

Tuy nhiên không phải thuật toán metaheuristic nào cũng phù hợp cho bài toán huấn luyện các mô hình học sâu. Dù vây, các thuật toán metaheuristic cũng gặp các vấn đề như là hội tụ sớm, rời vào điểm tối ưu toàn cục. Vì vậy, nghiên cứu này sẽ tập trung vào việc áp dụng các phương pháp tối ưu để huấn luyện các mô hình học sâu cho bài toán dự đoán tài nguyên của các hệ thống phân tán. Cụ thể hơn, chúng tôi tập trung nghiên cứu và đề xuất cải tiến cho một thuật toán mới được công bố gần đây là QSO, một thuật toán lấy cảm hứng từ hành vi con người khi xếp hàng.

Trong quá trình nghiên cứu, chúng tôi nhận thấy QSO là một thuật toán tốt tuy nhiên QSO vẫn tồn tại hạn chế là chưa cân bằng được pha khai thác và pha khám phá. Việc mất cân bằng này làm thuật toán dễ rơi vào các điểm tối ưu toàn cục và hội tụ sớm. Vì vậy chúng tôi đề xuất cải tiến QSO theo hướng cân bằng giữa pha khai thác và pha khám phá bằng hai kỹ thuật Levy-flight trajectory và opposition-based learning. Thuật toán chúng tôi cải tiến có tên là nQSV.

Chúng tôi chứng minh tính hiệu quả của nQSV ở khía cạnh lý thuyết và thực tế qua quá trình thực nghiệm.2 Bố cục luận văn Cấu trúc của các chương còn lại của luận văn được bố trí như sau: • Chương 2: Trình bày các nghiên cứu liên quan và những đóng góp của nghiên cứu. • Chương 3: Đề xuất một phương pháp cải tiến cho thuật toán metaheuristic và áp dụng thuật toán đề xuất cho mô hình dự đoán tài nguyên tính toán trong hệ thống phân tán. 12 Chương 4: Thực nghiệm thuật toán đề xuất với các bài toán tối ưu tiêu chuẩn. • Chương 5: Thực nghiệm mô hình mạng đề xuất với bài toán dự đoán tài nguyên tính toán trong các hệ thống phân tán.

• Chương 6: Kết luận và định hướng phát triển 13 CHƯƠNG 2. CÁC NGHIÊN CỨU LIÊN QUAN 2.1 Định nghĩa hệ phân tán Hệ thống phân tán có thể coi là 1 hệ thống tính toán với các thành phần tính toán được phân bố trên các vị trí địa lý khác nhau [1]. Là tập hợp các máy tính độc lập, không phụ thuộc lẫn nhau, kết nối với nhau bằng 1 hạ tầng truyền thông. Có hạ tầng phần cứng và phần mềm khác nhau kết nối với nhau bằng các công nghệ mạng (mạng máy tính), có khả năng phối hợp và chia sẻ tài nguyên.

Một số ví dụ của hệ phân tán: • Mạng viễn thông (telecommunication network) • Điện toán đám mây (cloud computing) • Blockchain (peer-to-peer network) • Hệ cơ sở dữ liệu phân tán (distributed database) 2.2 Các tính chất của hệ phân tán 2. Tính co giãn (elasticity) Với việc hoạt động dựa trên nhiều máy chủ vật lý khác nhau, hệ thống phân tán có thể dễ dàng mở rộng bằng cách bổ sung thêm các máy chủ vật lý khi mà khối lượng tính toán của hệ thống tăng lên hoặc tắt bớt các máy chủ vật lý khi mà khối lượng tính toán giảm đi. Đây có thể gọi là mở rộng theo chiều ngang (horizontal) thay cho cách mở rộng theo chiều dọc truyền thống (vertical). Mở rộng theo chiều dọc có nghĩa là tăng khả năng phục vụ của một máy chủ nào đó(tăng ram, cpu).

Rõ ràng việc mở rộng theo chiều ngang là dễ dàng và linh hoạt hơn. Tính chịu lỗi (Fault Tolerance) Hệ thống phân tán có tính chịu lỗi cao hơn hẳn hệ thống một máy chủ. Như đã trình bày qua ở phần 1, tính chịu lỗi có nghĩa là hệ thống vẫn hoạt động bình thường khi có một số máy chủ không hoạt động. Rõ ràng, với việc hoạt động dựa trên nhiều máy chủ thì khi có một số không hoạt động, hệ thống vẫn có thể đáp ứng đủ nhu cầu phục vụ người dùng.

Tính độ trễ thấp (Low latency) Người dùng truy cập hệ thống có thể ở nhiều vị trí địa lý khác nhau, do vậy tốc độ truy cập của người dùng là khác nhau. Những người dùng ở xa sẽ có khả năng sẽ phải chờ lâu hơn khi gửi yêu cầu đến hệ thống. Với lợi thế hoạt động trên nhiều máy chủ ở vị trí khác nhau, người dùng sẽ truy cập đến cụm máy chủ gần nhất từ đó giảm được đỗ trễ. Tính co giãn là một tính chất rất quan trọng của một hệ phân tán.

Việc co giãn tài nguyên hợp lý sẽ giúp đảm bảo chất lượng dịch vụ (Quality of Service) cũng như tiết kiệm chi phí cho hệ phân tán. Nghiên cứu này sẽ tập trung vào các vấn đề liên quan đến bài toán co giãn tài nguyên trong hệ phân tán.3 Bài toán co giãn tài nguyên trong hệ phân tán Như đã đề cập ở phần trước, tính co giãn sẽ giúp hệ phân tán đảm bảo chất lượng dịch vụ. Khi nhu cầu tính toán tăng đột biến, một hệ phân tán có tính co giãn tốt sẽ tự mở rộng tài nguyên tính toán một cách phù hợp để vừa đáp ứng được nhu cầu tính toán và vừa không lãng phí tài nguyên. Bài toán đặt ra là mở rộng tài nguyên như thế nào là phù hợp? Các nghiên cứu hiện nay được chia thành hai hướng tiếp cận: co giãn tài nguyên theo ngưỡng và co giãn tài nguyên dựa vào mô hình dư đoán.

Co giãn tài nguyên theo ngưỡng Hướng tiếp cận này sẽ đặt ra một ngưỡng (threshold), nếu nhu cầu tính toán tăng quá ngưỡng đặt ra, hệ thống sẽ tự mở rộng tài nguyên theo chiến lược định sẵn. Với hướng tiếp cận này, việc mở rộng tài nguyên diễn ra khá bị động. Nếu nhu cầu tăng đột biến, việc mở rộng tài nguyên sẽ diễn ra chậm trễ. Lúc này chúng ta không thể đảm bảo được chất lượng dịch vụ.

Chúng ta cần một hướng tiếp cận chủ động hơn. Co giãn giãn tài nguyên dựa vào mô hình dự đoán Với hướng tiếp cận này, chúng ta sẽ tạo ra một mô hình dự đoán nhu cầu tính toán của hệ thống dựa vào dữ liệu quá khứ thu thập được. Nếu mô hình đủ tốt, chúng ta có thể mở rộng tài nguyên một cách thích hợp nhất trước khi nhu cầu tăng đột biến. Điều này giúp hệ thống chủ động hơn trong việc co giãn, đảm bảo được chất lượng dịch vụ ở mức tối đa.