Luận văn thạc sĩ khoa học máy tính áp dụng học máy vào việc quản lý tài nguyên và công việc trên các hệ thống tính toán hiệu năng cao

Luận văn thạc sĩ toán học nghiên cứu máy tính áp dụng học máy vào việc quản lý tài nguyên và công việc trên các hệ thống tính toán hiệu, khảo sát thực trạng, phân tích nguyên

• Tác giả: Hoàng Lê Hải Thanh
• Người hướng dẫn: PGS. Thoại Nam
• Trường học: Đại học Bách Khoa - ĐHQG TP. HCM
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Áp Dụng Học Máy Vào Việc Quản Lý Tài Nguyên Và Công Việc Trên Các Hệ Thống Tính Toán Hiệu Năng Cao
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2021
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• TÓM TẮT LUẬN VĂN
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Ý nghĩa của đề tài
• 1.2. Phạm vi của đề tài
• 1.3. Bố cục luận văn
• 2. CHƯƠNG 2: CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN
• 2.1. Các hướng nghiên cứu về dự đoán thông số công việc trên các hệ thống tính toán hiệu năng cao
• 2.2. Các hướng nghiên cứu trong lĩnh vực học máy
• 3. CHƯƠNG 3: CƠ SỞ LÝ THUYẾT
• 3.1. Tổng quan về các hệ thống tính toán hiệu năng cao
• 3.2. Quản lý tài nguyên và định thời công việc trên các hệ thống tính toán hiệu năng cao
• 3.3. Kỹ thuật học máy
• 3.3.1. Khái quát về kỹ thuật học máy
• 3.3.2. Thuật toán học máy kNN
• 3.3.3. Kỹ thuật học tăng cường
• 4. CHƯƠNG 4: PHÂN TÍCH VẤN ĐỀ
• 4.1. Tập dữ liệu công việc từ các hệ thống HPC
• 4.1.1. Tập dữ liệu lịch sử công việc từ Parallel Workload Archive
• 4.1.2. Tập dữ liệu lịch sử công việc từ hệ thống SuperNode-XP
• 4.2. Sự sai lệch trong việc dự đoán thông số công việc của người dùng
• 4.2.1. Sự sai lệch trong dự đoán thời gian chạy của người dùng
• 4.2.2. Tính bất định trong quá trình dự đoán thời gian chạy của người dùng
• 4.3. Bài toán cải thiện hiệu suất quản lý tài nguyên và công việc trên các hệ thống tính toán hiệu năng cao
• 5. CHƯƠNG 5: GIẢI PHÁP ĐỀ XUẤT VÀ PHƯƠNG PHÁP HIỆN THỰC
• 5.1. Giải pháp dự đoán thông số công việc sử dụng thuật toán kNN
• 5.1.1. Hiệu chỉnh dự đoán từ người dùng bằng thuật toán kNN
• 5.1.2. Phương pháp áp dụng các thông số đã được hiệu chỉnh vào quá trình ra quyết định quản lý tài nguyên và định thời ứng dụng
• 5.2. Giải pháp định thời công việc sử dụng mô hình học sâu tăng cường
• 5.2.1. Mô hình học sâu tăng cường
• 5.3. Giải pháp cải thiện hiệu suất định thời của mô hình học sâu tăng cường bằng kỹ thuật dự đoán thời gian chạy
• 6. CHƯƠNG 6: THỰC NGHIỆM
• 6.1. Môi trường thực nghiệm
• 6.2. Tiêu chí đánh giá
• 6.3. Kết quả thí nghiệm
• 6.3.1. Kết quả dự đoán thời gian chạy của các công việc sử dụng thuật toán kNN
• 6.3.2. Kết quả hiệu suất định thời bằng mô hình học sâu tăng cường kết hợp với phương pháp dự đoán thời gian chạy
• 7. CHƯƠNG 7: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• CÔNG BỐ KHOA HỌC
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu

Trong bối cảnh của cuộc Cách mạng Công nghiệp 4.0, học máy (machine learning) đã trở thành một công cụ quan trọng trong việc quản lý tài nguyên trên các hệ thống tính toán hiệu năng cao (HPC). Sự gia tăng nhanh chóng của dữ liệu lớn đã tạo ra nhu cầu cấp thiết về khả năng xử lý và khai thác thông tin hiệu quả. Quản lý tài nguyên trong các hệ thống HPC không chỉ giúp tối ưu hóa hiệu suất mà còn đảm bảo rằng các ứng dụng được phân bổ tài nguyên một cách hợp lý. Các hệ thống HPC thường sử dụng các trình quản lý tài nguyên như Slurm và PBS Pro, nhưng nhiều phương pháp hiện tại vẫn còn đơn giản và chưa tận dụng hết tiềm năng của công nghệ tính toán hiện đại.

1.1 Tầm quan trọng của học máy trong quản lý tài nguyên

Học máy cung cấp những phương pháp tiên tiến để dự đoán và tối ưu hóa việc phân bổ tài nguyên. Các thuật toán như kNN (k Nearest Neighbors) có thể cải thiện độ chính xác trong việc dự đoán thông số công việc của người dùng, từ đó giảm thiểu sai lệch trong việc quản lý tài nguyên. Điều này không chỉ nâng cao hiệu năng cao của hệ thống mà còn giúp giảm thiểu thời gian chờ đợi cho người dùng. Học máy cũng giúp xây dựng các mô hình hệ thống thông minh có khả năng tự động hóa quá trình ra quyết định, từ đó nâng cao hiệu suất hoạt động của các hệ thống HPC.

II. Phân tích vấn đề

Một trong những thách thức lớn nhất trong việc quản lý tài nguyên trên các hệ thống HPC là sự sai lệch trong việc dự đoán thông số công việc của người dùng. Nhiều người dùng không thể cung cấp thông tin chính xác về yêu cầu tài nguyên của họ, dẫn đến tình trạng lãng phí tài nguyên và giảm hiệu suất hệ thống. Phân tích dữ liệu từ các hệ thống HPC cho thấy rằng việc sử dụng các thuật toán học máy có thể giúp cải thiện độ chính xác của các dự đoán này. Bên cạnh đó, việc áp dụng thuật toán học máy trong việc quản lý tài nguyên có thể giúp phát hiện và xử lý các bất thường trong quá trình hoạt động của hệ thống.

2.1 Vấn đề trong việc dự đoán thông số công việc

Nhiều hệ thống HPC hiện tại vẫn sử dụng các thuật toán quản lý tài nguyên đơn giản như FCFS (First-Come-First-Served) mà không có sự điều chỉnh cho các yêu cầu thực tế của người dùng. Điều này dẫn đến tình trạng không tối ưu trong việc phân bổ tài nguyên, gây ảnh hưởng trực tiếp đến hiệu suất hệ thống. Việc áp dụng các phương pháp tự động hóa dựa trên học máy có thể giúp cải thiện đáng kể tình trạng này bằng cách sử dụng dữ liệu lịch sử để dự đoán chính xác hơn các yêu cầu tài nguyên trong tương lai.

III. Giải pháp đề xuất

Để giải quyết các vấn đề nêu trên, luận văn đề xuất sử dụng các mô hình học máy để cải thiện quy trình quản lý tài nguyên. Cụ thể, việc áp dụng mô hình kNN để hiệu chỉnh các thông số đầu vào của ứng dụng sẽ giúp cải thiện độ chính xác trong việc phân bổ tài nguyên. Bên cạnh đó, việc sử dụng mô hình học tăng cường (Deep Reinforcement Learning) với thuật toán Advantage Actor-Critic sẽ cho phép hệ thống tự động tối ưu hóa quá trình định thời ứng dụng. Những giải pháp này không chỉ nâng cao hiệu suất hệ thống mà còn mở ra hướng đi mới trong việc phát triển các phương pháp quản lý tài nguyên thông minh.

3.1 Ứng dụng thuật toán kNN

Thuật toán kNN được áp dụng để cải thiện dự đoán thông số công việc dựa trên lịch sử các công việc tương tự đã hoàn thành. Bằng cách này, hệ thống có thể điều chỉnh các thông số đầu vào một cách chính xác hơn, từ đó nâng cao hiệu suất phân bổ tài nguyên. Việc dự đoán này dựa trên các mẫu dữ liệu thực tế từ các hệ thống HPC, cho phép hệ thống hoạt động hiệu quả hơn và giảm thiểu tình trạng lãng phí tài nguyên.

IV. Kết quả thực nghiệm

Thực nghiệm cho thấy rằng các mô hình học máy được đề xuất trong luận văn đã mang lại kết quả khả quan hơn so với các phương pháp quản lý tài nguyên truyền thống. Các thử nghiệm dựa trên dữ liệu thực tế từ các hệ thống HPC đã chứng minh rằng việc áp dụng học máy không chỉ cải thiện độ chính xác trong dự đoán mà còn tối ưu hóa hiệu suất hệ thống một cách đáng kể. Các kết quả cho thấy rằng việc áp dụng các mô hình học máy có thể mang lại nhiều lợi ích cho việc quản lý tài nguyên trong các hệ thống HPC hiện tại.

4.1 So sánh hiệu suất

Kết quả thực nghiệm cho thấy rằng các phương pháp học máy đã cải thiện đáng kể thời gian chờ trung bình và độ chính xác trong việc dự đoán thời gian chạy của các công việc. Các mô hình được đề xuất không chỉ chứng minh được tính hiệu quả mà còn mở ra nhiều hướng nghiên cứu mới trong lĩnh vực quản lý tài nguyên hệ thống HPC. Điều này khẳng định giá trị thực tiễn của luận văn trong việc phát triển các phương pháp quản lý tài nguyên thông minh.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh cuộc cách mạng công nghiệp 4.0, sự bùng nổ của dữ liệu lớn đã thúc đẩy sự phát triển nhanh chóng của các ngành khoa học hiện đại. Theo ước tính, các hệ thống tính toán hiệu năng cao (High Performance Computing - HPC) đang trở thành nền tảng thiết yếu để xử lý và lưu trữ lượng dữ liệu khổng lồ, phức tạp. Các hệ thống HPC không chỉ hỗ trợ các nghiên cứu khoa học mà còn đóng vai trò quan trọng trong việc giải quyết các vấn đề toàn cầu như biến đổi khí hậu, phát triển bền vững và đại dịch COVID-19. Tuy nhiên, việc quản lý tài nguyên và công việc trên các hệ thống này vẫn còn nhiều thách thức do sự sai lệch trong dự đoán thông số công việc của người dùng và sự phức tạp ngày càng tăng của hạ tầng phần cứng, phần mềm.

Mục tiêu nghiên cứu của luận văn là đề xuất các giải pháp ứng dụng học máy nhằm cải thiện hiệu quả quản lý tài nguyên và định thời công việc trên các hệ thống HPC. Cụ thể, luận văn tập trung vào việc hiệu chỉnh các thông số đầu vào của công việc mới dựa trên lịch sử công việc tương tự bằng thuật toán k-Nearest Neighbors (kNN) và nâng cao hiệu suất định thời thông qua mô hình học sâu tăng cường (Deep Reinforcement Learning - DRL) với thuật toán Advantage Actor-Critic (A2C). Phạm vi nghiên cứu bao gồm các hệ thống HPC trên thế giới và hệ thống SuperNode-XP tại Trường Đại học Bách Khoa – ĐHQG TP. HCM, với dữ liệu thu thập trong khoảng thời gian từ năm 2002 đến 2021. Ý nghĩa nghiên cứu được thể hiện qua việc cải thiện hiệu suất sử dụng tài nguyên, đảm bảo tính công bằng và an toàn trong quản lý công việc, đồng thời mở ra hướng phát triển mới cho các thuật toán định thời hiện đại trên hệ thống HPC.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai khung lý thuyết chính: quản lý tài nguyên và định thời công việc trên hệ thống HPC, cùng với các kỹ thuật học máy hiện đại.

1. Quản lý tài nguyên và định thời công việc trên HPC: Các hệ thống HPC sử dụng các trình quản lý tài nguyên và công việc (Resource and Job Management System - RJMS) như Slurm, PBS Pro để phân bổ tài nguyên và sắp xếp thứ tự thực thi công việc. Chính sách phổ biến là First-Come-First-Served (FCFS) kết hợp với thuật toán Backfilling nhằm tối ưu hóa việc sử dụng tài nguyên. Tuy nhiên, các thuật toán này còn hạn chế do phụ thuộc vào dự đoán thời gian chạy của người dùng, vốn thường không chính xác.

2. Thuật toán học máy k-Nearest Neighbors (kNN): Đây là thuật toán học có giám sát đơn giản và hiệu quả trong việc dự đoán thông số công việc dựa trên các công việc tương tự trong lịch sử. Khoảng cách Euclide được sử dụng để xác định các láng giềng gần nhất, từ đó hiệu chỉnh các thông số đầu vào nhằm giảm sai lệch dự đoán.

3. Học sâu tăng cường (Deep Reinforcement Learning - DRL): Mô hình DRL với thuật toán Advantage Actor-Critic (A2C) được áp dụng để tối ưu hóa quá trình định thời công việc. Mô hình này kết hợp giữa học dựa trên giá trị và học dựa trên chiến lược, giúp agent học cách lựa chọn hành động tối ưu trong môi trường phức tạp và không chắc chắn của hệ thống HPC.

Các khái niệm chính bao gồm: hệ thống HPC, RJMS, thuật toán Backfilling, kNN, DRL, A2C, Soft Walltime (kỹ thuật giới hạn thời gian chạy mềm để đảm bảo tính công bằng và an toàn).

Phương pháp nghiên cứu

Nguồn dữ liệu nghiên cứu bao gồm bốn tập dữ liệu lịch sử công việc từ kho Parallel Workload Archive (PWA) với tổng số khoảng 388,000 công việc, cùng với tập dữ liệu thực tế từ hệ thống SuperNode-XP tại Trường Đại học Bách Khoa – ĐHQG TP. HCM với hơn 14,000 công việc sau khi làm sạch. Các dữ liệu này được chuẩn hóa theo định dạng Standard Workload Format (SWF) để thuận tiện cho phân tích và mô phỏng.

Phương pháp phân tích gồm:

• Hiệu chỉnh dự đoán thông số công việc: Sử dụng thuật toán kNN để dự đoán lại các thông số như thời gian chạy dựa trên lịch sử các công việc tương tự, từ đó giảm sai lệch so với dự đoán của người dùng.

• Định thời công việc bằng học sâu tăng cường: Xây dựng mô hình DRL với kiến trúc mạng nơ-ron tích chập (CNN) và thuật toán A2C để học cách phân bổ tài nguyên và sắp xếp công việc nhằm tối đa hóa phần thưởng tích lũy (hiệu suất hệ thống).

• Áp dụng kỹ thuật Soft Walltime: Giới hạn việc sử dụng các thông số hiệu chỉnh chỉ trong quá trình ra quyết định định thời, đảm bảo không gây ảnh hưởng tiêu cực đến người dùng.

Timeline nghiên cứu kéo dài từ tháng 9/2020 đến tháng 6/2021, bao gồm các giai đoạn thu thập dữ liệu, xây dựng mô hình, thực nghiệm và đánh giá kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Sai lệch dự đoán thời gian chạy của người dùng rất lớn: Trên các tập dữ liệu PWA, có tới hơn 60% công việc được người dùng dự đoán thời gian chạy vượt quá 1 ngày, trong khi thời gian thực tế thấp hơn nhiều. Trên hệ thống SuperNode-XP, đa số dự đoán thời gian chạy đều rất lớn và gần như không thay đổi theo thời gian, phản ánh việc người dùng không quan tâm điều chỉnh dự đoán.

2. Hiệu chỉnh dự đoán bằng kNN cải thiện đáng kể độ chính xác: Kết quả thí nghiệm cho thấy thuật toán kNN với các hệ số k phù hợp đã giảm đáng kể độ lệch giữa thời gian chạy thực tế và dự đoán, cải thiện hiệu suất phân bổ tài nguyên. Ví dụ, trên tập dữ liệu SDSC-DS-2004, thời gian chờ trung bình giảm khoảng 15% so với phương pháp truyền thống.

3. Mô hình học sâu tăng cường kết hợp với dự đoán thời gian chạy nâng cao hiệu suất định thời: Mô hình DRL với thuật toán A2C và kỹ thuật Soft Walltime đã đạt được phần thưởng tích lũy cao hơn 20% so với các thuật toán định thời thông dụng như FCFS và Backfilling. Thời gian chờ trung bình và tối đa của các công việc cũng giảm đáng kể trên các tập dữ liệu thực nghiệm.

4. Giải pháp đề xuất có tính thực tiễn cao và an toàn: Việc áp dụng kỹ thuật Soft Walltime giúp đảm bảo các thông số hiệu chỉnh chỉ ảnh hưởng đến quyết định phân bổ tài nguyên mà không làm thay đổi quyền lợi của người dùng, tránh việc chấm dứt công việc sớm hoặc gây mất công bằng.

Thảo luận kết quả

Nguyên nhân chính của sự sai lệch trong dự đoán thời gian chạy là do người dùng có xu hướng cung cấp giá trị lớn để tránh bị chấm dứt công việc sớm, hoặc do thiếu kinh nghiệm và sự biến động trong ứng dụng. Việc sử dụng thuật toán kNN tận dụng lịch sử công việc tương tự giúp hiệu chỉnh các dự đoán này một cách chính xác hơn, từ đó cải thiện trạng thái dự đoán của hệ thống.

Mô hình học sâu tăng cường với A2C cho phép agent học cách định thời linh hoạt trong môi trường phức tạp và không chắc chắn, vượt trội hơn các thuật toán tĩnh như FCFS hay Backfilling. Kết quả này phù hợp với các nghiên cứu gần đây trong lĩnh vực HPC và học máy, đồng thời mở ra hướng phát triển mới cho các thuật toán định thời hiện đại.

Việc áp dụng Soft Walltime là bước tiến quan trọng nhằm đảm bảo tính công bằng và an toàn khi tích hợp các mô hình học máy vào hệ thống HPC thực tế, tránh các tác động tiêu cực đến người dùng và hệ thống.

Dữ liệu có thể được trình bày qua các biểu đồ heatmap thể hiện sự cải thiện thời gian chờ và độ lệch dự đoán trên các tập dữ liệu, cùng bảng so sánh hiệu suất định thời giữa các phương pháp.

Đề xuất và khuyến nghị

1. Triển khai thuật toán kNN để hiệu chỉnh dự đoán thời gian chạy công việc: Các quản trị viên hệ thống HPC nên áp dụng thuật toán kNN dựa trên lịch sử công việc để cải thiện độ chính xác dự đoán, giảm sai lệch và nâng cao hiệu quả phân bổ tài nguyên. Thời gian triển khai dự kiến trong vòng 3-6 tháng.

2. Áp dụng mô hình học sâu tăng cường với thuật toán A2C trong định thời công việc: Đề xuất xây dựng và huấn luyện mô hình DRL để thay thế hoặc hỗ trợ các thuật toán định thời truyền thống, nhằm tối ưu hóa hiệu suất hệ thống. Chủ thể thực hiện là nhóm nghiên cứu và đội ngũ kỹ thuật HPC, với timeline 6-12 tháng.

3. Sử dụng kỹ thuật Soft Walltime để đảm bảo tính công bằng và an toàn: Khi áp dụng các thông số hiệu chỉnh, cần giới hạn việc sử dụng chúng chỉ trong quá trình ra quyết định định thời, tránh ảnh hưởng trực tiếp đến quyền lợi người dùng. Đây là giải pháp cần được tích hợp song song với các mô hình học máy.

4. Phát triển công cụ hỗ trợ chuyển đổi và chuẩn hóa dữ liệu: Để thuận tiện cho việc thu thập và phân tích dữ liệu, các công cụ như pbspro2swf nên được hoàn thiện và phổ biến rộng rãi trong cộng đồng HPC. Điều này giúp tăng tính minh bạch và khả năng so sánh kết quả nghiên cứu.

5. Đào tạo và nâng cao nhận thức người dùng HPC về việc cung cấp dự đoán chính xác: Tổ chức các khóa đào tạo, hướng dẫn người dùng cách ước lượng thời gian chạy công việc hợp lý, góp phần giảm sai lệch đầu vào và nâng cao hiệu quả chung của hệ thống.

Đối tượng nên tham khảo luận văn

1. Quản trị viên hệ thống HPC: Luận văn cung cấp các giải pháp thực tiễn giúp cải thiện hiệu suất quản lý tài nguyên và định thời công việc, hỗ trợ họ trong việc vận hành và tối ưu hệ thống.

2. Nhà nghiên cứu và phát triển trong lĩnh vực khoa học máy tính và trí tuệ nhân tạo: Các mô hình học máy và học sâu tăng cường được trình bày chi tiết, mở ra hướng nghiên cứu mới trong ứng dụng AI cho HPC.

3. Người dùng hệ thống HPC (nhà khoa học, kỹ sư): Hiểu rõ về tầm quan trọng của việc cung cấp dự đoán chính xác và cách các thuật toán học máy hỗ trợ cải thiện hiệu quả sử dụng tài nguyên.

4. Các tổ chức và doanh nghiệp phát triển phần mềm quản lý tài nguyên HPC: Tham khảo các kỹ thuật mới để tích hợp vào sản phẩm, nâng cao tính cạnh tranh và hiệu quả sử dụng.

Câu hỏi thường gặp

1. Tại sao dự đoán thời gian chạy của người dùng thường không chính xác?
   Người dùng thường dự đoán thời gian chạy lớn hơn thực tế để tránh bị chấm dứt công việc sớm hoặc do thiếu kinh nghiệm. Ngoài ra, sự biến động trong ứng dụng và hạ tầng cũng gây khó khăn cho việc ước lượng chính xác.

2. Thuật toán kNN giúp cải thiện dự đoán như thế nào?
   kNN sử dụng lịch sử các công việc tương tự để hiệu chỉnh dự đoán, giảm sai lệch so với dự đoán ban đầu của người dùng, từ đó giúp hệ thống phân bổ tài nguyên hiệu quả hơn.

3. Mô hình học sâu tăng cường có ưu điểm gì so với các thuật toán định thời truyền thống?
   Mô hình DRL với A2C học được cách ra quyết định tối ưu trong môi trường phức tạp và không chắc chắn, giúp giảm thời gian chờ và tăng hiệu suất sử dụng tài nguyên so với FCFS hay Backfilling.

4. Kỹ thuật Soft Walltime có vai trò gì trong quản lý tài nguyên?
   Soft Walltime giới hạn việc sử dụng các thông số hiệu chỉnh chỉ trong quá trình ra quyết định định thời, đảm bảo không gây ảnh hưởng tiêu cực đến người dùng như chấm dứt công việc sớm hoặc mất công bằng.

5. Giải pháp này có thể áp dụng ngay trên các hệ thống HPC hiện tại không?
   Có, các phương pháp đề xuất như kNN và Soft Walltime có thể tích hợp trực tiếp vào các hệ thống RJMS phổ biến như PBS Pro mà không ảnh hưởng đến vận hành hiện tại, giúp nâng cao hiệu quả quản lý tài nguyên.

Kết luận

• Luận văn đã đề xuất thành công mô hình học máy kNN để hiệu chỉnh dự đoán thông số công việc, giảm sai lệch dự đoán của người dùng trên các hệ thống HPC.
• Mô hình học sâu tăng cường với thuật toán Advantage Actor-Critic được áp dụng hiệu quả trong việc định thời công việc, nâng cao hiệu suất sử dụng tài nguyên.
• Kỹ thuật Soft Walltime đảm bảo tính công bằng và an toàn khi áp dụng các thông số hiệu chỉnh trong quá trình quản lý tài nguyên.
• Kết quả thực nghiệm trên các tập dữ liệu thực tế từ hệ thống SuperNode-XP và các hệ thống HPC trên thế giới cho thấy giải pháp đề xuất vượt trội so với các phương pháp truyền thống.
• Hướng phát triển tiếp theo là mở rộng mô hình cho các hệ thống HPC đa dạng hơn và tích hợp sâu hơn với các công cụ quản lý hiện có, đồng thời đào tạo người dùng nâng cao nhận thức về dự đoán công việc.

Để tiếp tục phát triển và ứng dụng các giải pháp này, các nhà nghiên cứu và quản trị viên hệ thống HPC được khuyến khích triển khai thử nghiệm trên quy mô thực tế và chia sẻ kết quả nhằm thúc đẩy sự phát triển bền vững của lĩnh vực tính toán hiệu năng cao.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: TỔNG QUAN 1.1 Giới thiệu Trong những năm vừa qua, sự bùng nổ của dữ liệu lớn (Big Data) đã thúc đẩy sự phát triển của rất nhiều lĩnh vực khoa học và công nghệ trên thế giới. Hàng loạt các phát kiến quan trọng đã được khám phá, đem lại lợi ích to lớn cho con người. Bên cạnh đó, rất nhiều bài toán và lý thuyết phức tạp trước đây mà gần như không có kết quả đã tìm ra được lời giải hoặc được chứng minh. Khi nhắc đến những thành tựu trên, ta không thể không kể tới vai trò cực kì quan trọng của các hệ thống tính toán hiệu năng cao (HPC).

Việc tiếp nhận, lưu trữ, xử lý các tập dữ liệu cực kì lớn và phức tạp yêu cầu các hệ thống tính toán đặc biệt với năng lực xử lý cực kỳ mạnh và hạ tầng phần cứng riêng biệt so với các hệ thống máy tính thông thường. Do đó, các hệ thống HPC đang thu hút rất nhiều sự quan tâm trên thế giới. Đây không chỉ còn là cuộc chơi giữa các cường quốc khoa học như Nhật Bản, Mỹ, Đức,. mà đã mở rộng sang quy mô toàn cầu.

Bản đồ tính toán hiệu năng cao đang ghi nhận thêm số lượng ngày càng tăng các hệ thống mới nổi từ các nước đang phát triển như Trung Quốc, Ấn Độ, Singapore và thậm chí là từ Việt Nam với các hệ thống HPC tại trường Đại học Bách Khoa (SuperNode-XP) hay từ VinAI. Bên cạnh đó cũng xuất hiện các nhóm chia sẻ tính toán hiệu năng cao trong nội bộ các tổ chức đa quốc gia như Liên minh Châu Âu (EU) hay Hiệp hội các quốc gia Đông Nam Á (ASEAN). Những sự đầu tư trên cho thấy được sức ảnh hưởng ngày càng lớn của các hệ thống HPC đối với sự phát triển bền vững của con người. Vai trò của các hệ thống này không còn chỉ gói gọn trong các ngành khoa học mà còn cả trong việc xây dựng các chiến lược phát triển kinh tế và đời sống xã hội.

Một trong những yêu cầu cấp thiết của các hệ thống tính toán hiệu năng cao là khả năng hỗ trợ đa người dùng khai thác hiệu quả tài nguyên tính toán. Để đảm bảo việc này, thông thường trên các hệ thống HPC thường sử dụng các trình quản lý tài nguyên và định thời ứng dụng (RJMS). Tuy nhiên, việc chọn lựa được một chương trình định thời tốt là một nhiệm vụ khó khăn đối với quản trị viên các hệ thống HPC. Chính sách First-Come-First-Served (FCFS) vẫn được ưu tiên sử dụng trên hầu hết 1 các hệ thống HPC.

Mặc dù nhược điểm phân mảnh tài nguyên của FCFS đã được giải quyết bằng cách áp dụng các thuật toán Backfilling, hiệu quả của việc kết hợp này vẫn còn xa khi so sánh với một chính sách lập lịch lý tưởng. Do đó, nhiều phương pháp tiên đoán (heuristics) đã được nghiên cứu để thúc đẩy các bộ lập lịch công việc HPC chẳng hạn như thuật toán Shorted Job First (SJF), Bin Packing hoặc các phương pháp tối ưu hóa (optimization) [1], [2]. Tuy nhiên, sự gia tăng về tính đa dạng của phần mềm khoa học và phần cứng tính toán đang khiến việc sử dụng các phương pháp tiếp cận tĩnh này ngày càng trở nên khó khăn hơn. Khi có sự thay đổi đột ngột trong quá trình khai thác hệ thống thì người quản trị thường phải can thiệp bằng tay để căn chỉnh các thông số của thuật toán cho phù hợp với chính sách đang áp dụng trên hệ thống.

Do đó, việc áp dụng các thuật toán động có khả năng tự điều chỉnh với sự thay đổi liên tục trên các hệ thống HPC là điều cần thiết. Tuy nhiên, một trong những rào cản lớn trong việc hiện thực các giải thuật quản lý tài nguyên và định thời công việc là tính không chắc chắn của trạng thái hệ thống. Điều này là hệ quả của việc các thông số của một công việc phụ thuộc toàn bộ vào giá trị được cung cấp từ người dùng [3]. Các phần mềm RJMS sẽ dựa vào các giá trị đầu vào này để xác định số lượng tài nguyên được cấp và ước tính thời gian bắt đầu.

Một đặc điểm quan trọng là các giá trị dựa trên sự ước tính của người dùng thường không chính xác do nhiều nguyên nhân, từ cả chủ quan và khách quan. Việc xác định không chính xác các thông số này sẽ gây ra khó khăn cho các trình định thời khi trạng thái thực tế sai khác với trạng thái do RJMS đã dự đoán trước đó. Do đó, giải pháp dự đoán thông số công việc trở nên rất phổ biến trong số các cách tiếp cận mới trên các hệ thống HPC. Tuy nhiên, việc căn chỉnh các thông số không hợp lý có thể gây cản trở việc thực thi các tác vụ, làm giảm độ tin cậy trên các hệ thống HPC.

Ngoài ra, việc thiếu khả năng hỗ trợ chính thức từ các trình RJMS phổ biến đang hạn chế các quản trị viên trong việc tích hợp các thuật toán quản lý hiện đại vào các hệ thống HPC đang sử dụng. Do vậy, cần có một phương pháp dự đoán vừa hiệu quả, đơn giản với cả người dùng và người quản trị, cũng như không ảnh hưởng tới việc vận hành bình thường các hệ thống HPC. 2 Với các lí do như đã nêu ở trên, đề tài này được thực hiện với các mục tiêu chính như sau: - Đề xuất mô hình học máy dự đoán thông số của một công việc mới trên hệ thống dựa trên dữ liệu người dùng cung cấp và lịch sử các công việc đã hoàn thành. Việc áp dụng mô hình dự đoán ít gây tác động tới các ràng buộc hiện tại của hệ thống và đảm bảo tính công bằng giữa các người dùng.

- Đề xuất giải pháp tăng hiệu suất khai thác tài nguyên tính toán thông qua việc cải thiện quá trình định thời ứng dụng trên hệ thống sử dụng mô hình học tăng cường. - Đề xuất chiến lược kết hợp các mô hình thành một giải pháp hoàn chỉnh nhằm khắc phục các vấn đề của mô hình học tăng cường với dữ liệu thực tế.2 Ý nghĩa của đề tài a. Ý nghĩa thực tiễn: - Hỗ trợ người dùng sử dụng tài nguyên hiệu quả hơn: Luận văn góp phần hỗ trợ người dùng căn chỉnh thông số tài nguyên sử dụng của một ứng dụng mới được submit lên hệ thống. - Đảm bảo tính an toàn trong việc áp dụng các phương pháp căn chỉnh thông số công việc: Đề tài góp phần đánh giá một phương pháp mới là Soft Walltime trong việc áp dụng các thông số đã được căn chỉnh một cách an toàn vào các hệ thống HPC đang vận hành.

- Cải thiện hiệu suất khai khác các hệ thống HPC: Luận văn đề xuất áp dụng mô hình học sâu tăng cường giúp cho việc khai thác tài nguyên tính toán trên các hệ thống HPC trở nên hiệu quả hơn so với các thuật toán thông dụng khác. Ý nghĩa khoa học: - Đóng góp về mô hình dự đoán thông số công việc sử dụng thuật toán kNN với Soft Walltime: Các thông số cho một công việc của người dùng được mới dự đoán bằng thuật toán kNN sử dụng dữ liệu lịch sử về những công việc tương tự nhất. Sau đó, các giá trị đã được căn chỉnh được chỉ 3 được sử dụng trong quá trình ra quyết định phân bổ tài nguyên, theo định nghĩa của Soft Walltime. - Đề xuất mô hình định thời kết hợp giữa học tăng cường và phương pháp dự đoán công việc: Các công việc thực tế có độ sai lệch rất lớn về dự đoán thời gian chạy, gây nhiều khó khăn cho việc ra quyết định cấp phát tài nguyên của mô hình học tăng cường.

Đề tài đề xuất phương pháp định thời kết hợp giữa kỹ thuật học tăng cường hiện đại và phương pháp dự đoán thông số công việc ở trên để tối ưu hoá việc sử dụng tài nguyên hệ thống. - Đóng góp về các công cụ hỗ trợ trong việc nghiên cứu khoa học: Hai công cụ nội bộ được đề tài nghiên cứu và sử dụng quá trình thực hiện luận văn được chia sẻ công khai cho cộng đồng bao gồm công cụ chuyển đổi pbspro2swf và mô hình học tăng cường HPCSysGym dựa trên đặc tả của OpenAI Gym.3 Phạm vi của đề tài - Đối tượng thực nghiệm: Đề tài tập trung vào việc cải thiện hiệu năng các hệ thống HPC dành cho tính toán khoa học đang được vận hành trên thế giới và ở Việt Nam. Các hệ thống này có thể đồng nhất hoặc không đồng nhất về tài nguyên tính toán. - Dữ liệu thực nghiệm: Dữ liệu trong đề tài được thu thập từ các nguồn uy tín trong lĩnh vực nghiên cứu, bao gồm các tập dữ liệu lịch sử công việc từ các hệ thống HPC trên thế giới và cả từ hệ thống SuperNode-XP tại trường Đại học Bách Khoa.

- Phương pháp thực hiện: Các phương pháp đề xuất trong luận văn đều xuất phát từ các vấn đề thực tế, được phân tích từ lý thuyết đến thực nghiệm. Kết quả của các mô hình đều được kiểm chứng bằng các tập dữ liệu được sử dụng rộng rãi trong nhiều nghiên cứu trước đây, và được so sánh khách quan với các thuật toán đối chứng phổ biến trong lĩnh vực HPC. - Bối cảnh đề tài: Hiện trạng sử dụng tài nguyên tính toán trên các hệ thống HPC trên thế giới và Việt Nam trong thời gian vừa qua.4 Bố cục luận văn Có tất cả 8 chương trong báo cáo luận văn này. Các nghiên cứu liên quan tới lĩnh vực HPC và học máy được trình bày trong chương 2.

Chương 3 cung cấp các cơ sở lý thuyết nền tảng cho các giải pháp được đề xuất trong luận văn. Tiếp đó, chương 4 phân tích các bài toán mà luận văn cần phải giải quyết dựa trên cơ sở các vấn đề ở thực tiễn. Chương 5 trình bày chi tiết quá trình hiện thực các phương pháp đề xuất nhằm giải quyết các vấn đề đặt ra. Chương 6 thể hiện phương pháp và kết quả quá trình thực nghiệm, đánh giá trên các tập dữ liệu và phương pháp đối chứng.

Cuối cùng, chương 7 là kết luận của luận văn về những công việc đã hoàn thành trong phạm vi đề tài, cũng như các hạn chế cần khắc phục và hướng mở rộng trong tương lai. 5 CHƯƠNG 2: CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN Lĩnh vực tính toán hiệu năng cao đã có bề dày lịch sử lâu dài, tính từ những ngày ban đầu của các hệ thống máy tính.