Luận văn thạc sĩ về workflows khoa học trên nhiều đám mây tại ENS Lyon

Luận văn thạc sĩ VNU UET nghiên cứu quy trình khoa học trên nhiều đám mây tại Lyon, phục vụ cho việc tốt nghiệp ngành công nghệ thông tin.

• Tác giả: Đào Văn Toàn
• Người hướng dẫn: Frédéric Desprez (Inria - Avalon)
• Trường học: École Normale Supérieure De Lyon
• Chuyên ngành: Informatique
• Đề tài: Workflows Scientifiques Sur Plusieurs Clouds
• Loại tài liệu: Mémoire de fin d’études
• Năm xuất bản: 2013
• Địa điểm: Lyon

Mục lục chi tiết

• 1. INTRODUCTION
• 1.1. Motivations
• 1.2. Objectifs et Domaines d’application
• 1.3. Structure du document
• 1.4. Présentation de l’environnement de travail
• 2. LE CLOUD COMPUTING ET LE WORKFLOW SCIENTIFIQUE
• 2.1. LE CLOUD COMPUTING
• 2.2. LE WORKFLOW SCIENTIFIQUE
• 2.3. SGCB : Simulation d’environnement multi-Clouds avec SimGrid
• 3. DES ALGORITHMES D’ORDONNANCEMENT DES TÂCHES DU WORKFLOW
• 4. SOLUTION ET RÉLIASATION PRATIQUE
• 4.1. LA SOLUTION PROPOSÉE
• 4.2. LE TRAVAIL PRATIQUE
• 5. EXPÉRIMENTATIONS ET ANALYSES DES RÉSULTATS
• 6. CONCLUSION
• A La taille de données dans un cluster
• B Des autres expérimentations

Tóm tắt

I. Tổng quan về nghiên cứu workflows khoa học trên nhiều đám mây

Nghiên cứu về workflows khoa học trên nhiều đám mây đang trở thành một chủ đề nóng trong cộng đồng khoa học. Với sự phát triển của công nghệ đám mây đa dạng, việc tối ưu hóa quy trình làm việc trở nên cần thiết hơn bao giờ hết. Các nhà nghiên cứu cần một phương pháp hiệu quả để quản lý và xử lý khối lượng dữ liệu lớn. Bài viết này sẽ cung cấp cái nhìn tổng quan về các khái niệm cơ bản và tầm quan trọng của workflows trong môi trường đám mây.

1.1. Định nghĩa và vai trò của workflows khoa học

Workflows khoa học là một phương pháp để tổ chức và tự động hóa các quy trình tính toán phức tạp. Chúng giúp tối ưu hóa việc sử dụng tài nguyên và giảm thiểu thời gian xử lý. Việc áp dụng workflows trong môi trường đám mây cho phép các nhà nghiên cứu truy cập vào tài nguyên tính toán mạnh mẽ mà không cần đầu tư vào cơ sở hạ tầng vật lý.

1.2. Lợi ích của việc sử dụng đám mây trong nghiên cứu khoa học

Sử dụng đám mây trong nghiên cứu khoa học mang lại nhiều lợi ích như khả năng mở rộng linh hoạt, tiết kiệm chi phí và khả năng truy cập từ xa. Các nhà nghiên cứu có thể dễ dàng chia sẻ dữ liệu và hợp tác với nhau mà không bị giới hạn bởi vị trí địa lý.

II. Thách thức trong việc quản lý workflows khoa học trên đám mây

Mặc dù có nhiều lợi ích, việc quản lý workflows khoa học trên đám mây đa dạng cũng gặp phải nhiều thách thức. Các vấn đề như an ninh dữ liệu, khả năng tương thích giữa các nền tảng và chi phí phát sinh là những yếu tố cần được xem xét kỹ lưỡng.

2.1. An ninh dữ liệu trong workflows khoa học

An ninh dữ liệu là một trong những mối quan tâm hàng đầu khi triển khai workflows trên đám mây. Các nhà nghiên cứu cần đảm bảo rằng dữ liệu của họ được bảo vệ khỏi các mối đe dọa bên ngoài và tuân thủ các quy định về bảo mật thông tin.

2.2. Khả năng tương thích giữa các nền tảng đám mây

Khả năng tương thích giữa các nền tảng đám mây là một thách thức lớn. Các workflows cần phải được thiết kế sao cho có thể hoạt động trên nhiều nền tảng khác nhau mà không gặp phải vấn đề về hiệu suất hoặc tính khả thi.

III. Phương pháp tối ưu hóa workflows khoa học trên đám mây

Để tối ưu hóa workflows khoa học, các nhà nghiên cứu đã phát triển nhiều phương pháp khác nhau. Những phương pháp này không chỉ giúp cải thiện hiệu suất mà còn giảm thiểu chi phí và thời gian thực hiện.

3.1. Cắt đồ thị và phân bổ tài nguyên

Cắt đồ thị là một kỹ thuật quan trọng trong việc tối ưu hóa workflows. Bằng cách chia nhỏ các tác vụ thành các phần nhỏ hơn, việc phân bổ tài nguyên có thể được thực hiện hiệu quả hơn, từ đó giảm thiểu thời gian xử lý.

3.2. Thuật toán lập lịch cho workflows

Sử dụng các thuật toán lập lịch thông minh giúp tối ưu hóa việc phân phối tác vụ trên các tài nguyên đám mây. Các thuật toán này có thể điều chỉnh theo nhu cầu của người dùng, từ đó cải thiện hiệu suất tổng thể của workflows.

IV. Ứng dụng thực tiễn của workflows khoa học trên đám mây

Nhiều nghiên cứu đã chứng minh rằng việc áp dụng workflows khoa học trên đám mây mang lại kết quả tích cực. Các ứng dụng thực tiễn cho thấy sự cải thiện rõ rệt trong hiệu suất và khả năng xử lý dữ liệu lớn.

4.1. Các dự án nghiên cứu thành công

Nhiều dự án nghiên cứu lớn như Montage và Epigenomics đã áp dụng workflows trên đám mây và đạt được những kết quả ấn tượng. Những dự án này không chỉ tiết kiệm thời gian mà còn giảm thiểu chi phí đáng kể.

4.2. Tác động đến cộng đồng khoa học

Việc áp dụng workflows khoa học trên đám mây đã tạo ra một làn sóng mới trong cộng đồng khoa học. Nó không chỉ giúp các nhà nghiên cứu tiết kiệm thời gian mà còn thúc đẩy sự hợp tác và chia sẻ dữ liệu giữa các tổ chức.

V. Kết luận và tương lai của workflows khoa học trên đám mây

Tương lai của workflows khoa học trên đám mây hứa hẹn sẽ tiếp tục phát triển mạnh mẽ. Với sự tiến bộ của công nghệ, các nhà nghiên cứu sẽ có nhiều công cụ và phương pháp hơn để tối ưu hóa quy trình làm việc của mình.

5.1. Xu hướng phát triển công nghệ đám mây

Công nghệ đám mây đang phát triển nhanh chóng, với nhiều cải tiến về hiệu suất và bảo mật. Điều này sẽ tạo điều kiện thuận lợi cho việc áp dụng workflows khoa học trong tương lai.

5.2. Tầm quan trọng của nghiên cứu liên ngành

Nghiên cứu liên ngành sẽ trở nên quan trọng hơn bao giờ hết. Việc kết hợp các lĩnh vực khác nhau sẽ giúp tối ưu hóa workflows và tạo ra những giải pháp sáng tạo cho các vấn đề phức tạp trong khoa học.

Nội dung chính

Tổng quan nghiên cứu

Sự bùng nổ của dữ liệu lớn trong các ngành khoa học mũi nhọn như thiên văn học, sinh tin học và vật lý hạt nhân tạo ra áp lực khổng lồ lên hạ tầng tính toán truyền thống. Nhiều thử nghiệm khoa học xử lý các bộ dữ liệu phức tạp quy mô từ 400 GB đến hàng nghìn gigabyte, đòi hỏi việc phối hợp hàng nghìn tác vụ đồng thời. Kỹ thuật luồng công việc khoa học (scientific workflow) được mô hình hóa dưới dạng đồ thị có hướng không chu trình (DAG - Directed Acyclic Graph) đã trở thành giải pháp cốt lõi để chuẩn hóa và quản lý tính toán quy mô lớn. Tuy nhiên, việc vận hành các workflow phức tạp trên một hạ tầng đơn lẻ thường đối mặt với tình trạng tắc nghẽn tài nguyên và chi phí vận hành đắt đỏ.

Điện toán đám mây với mô hình Hạ tầng như một Dịch vụ (IaaS) và kiến trúc đa đám mây (Multi-Cloud/Hybrid Cloud) mở ra cơ hội mở rộng năng lực tính toán linh hoạt bằng cách kết hợp giữa đám mây riêng và các nhà cung cấp dịch vụ đám mây công cộng như Amazon Web Services. Vấn đề đặt ra là bài toán lập lịch cho các workflow khoa học trên môi trường phân tán đa đám mây thuộc nhóm bài toán tối ưu hóa NP-khó (NP-hard). Mục tiêu cụ thể của luận văn là thiết kế khung giải pháp lập lịch động 3 giai đoạn nhằm tối ưu hóa đồng thời hai chỉ số quan trọng: tổng thời gian hoàn thành (makespan) và chi phí tài chính (monetary cost).

Nghiên cứu được hoàn thiện vào tháng 11 năm 2013 tại Phòng thí nghiệm Song song (LIP) thuộc Trường Sư phạm Lyon (ENS de Lyon), hợp tác cùng Viện Tin học Pháp ngữ (IFI). Về mặt định lượng, giải pháp đề xuất giúp kiểm soát chặt chẽ việc phân bổ dữ liệu lưu trữ trên các máy ảo, giảm thiểu hiện tượng di chuyển dữ liệu thừa và thiết lập tỷ lệ đánh đổi hiệu quả giữa thời gian thực thi tính bằng giờ và chi phí tính bằng USD cho từng loại cấu hình máy ảo.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên sự giao thoa của 2 khung lý thuyết nền tảng: lý thuyết tối ưu hóa đồ thị trong hệ thống phân tán và lý thuyết điện toán đám mây IaaS theo tiêu chuẩn của Viện Tiêu chuẩn và Công nghệ Quốc gia Hoa Kỳ (NIST). Năm khái niệm khoa học then chốt được áp dụng xuyên suốt bao gồm:

Mô hình hóa workflow dạng DAG $G=(V, E)$: Trong đó $V$ là tập hợp các đỉnh đại diện cho các tác vụ tính toán với khối lượng chỉ lệnh tính bằng MIPS (Million Instructions Per Second), và $E$ là tập các cung biểu diễn sự phụ thuộc dữ liệu cũng như dung lượng truyền tải giữa các nút.

Cơ chế phân cụm đồ thị (Graph-cut Clustering): Kỹ thuật phân rã cấu trúc luồng công việc lớn thành các đồ thị con (subgraphs) hoặc cụm (clusters) độc lập nhằm giảm thiểu tối đa lưu lượng dữ liệu trao đổi liên cụm.

Điện toán đám mây IaaS và đám mây lai (Hybrid Cloud): Cung cấp tài nguyên ảo hóa theo nhu cầu với các thông số cấu hình cụ thể như số lượng vCPU (từ 1 đến 8 vCPU), dung lượng RAM (từ 128 MB đến 16 GB), và không gian đĩa cục bộ (từ 0 GB đến 4x420 GB).

Chỉ số chất lượng dịch vụ QoS và Makespan: Độ đo hiệu năng tổng thể xác định từ thời điểm tác vụ đầu tiên nhận yêu cầu đến khi tác vụ cuối cùng hoàn tất xuất dữ liệu đầu ra.

Cân bằng chi phí tài chính: Mô hình hàm mục tiêu tính toán tổng chi phí thuê máy ảo dựa trên đơn giá theo giờ và thời gian chiếm dụng tài nguyên từ lúc khởi tạo đến lúc giải phóng.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp thực nghiệm mô phỏng trên nền tảng SimGrid Cloud Broker (SGCB) thuộc dự án ANR INFRA SONGS. Phương pháp này tái lập chính xác cơ chế hoạt động thực tế của hạ tầng Amazon Web Services với 3 dịch vụ cốt lõi: EC2 (tính toán ảo hóa), S3 (lưu trữ phân tán) và EBS (khối lưu trữ gắn kèm).

Cỡ mẫu và phương pháp chọn mẫu: Nghiên cứu thực nghiệm trên bộ dữ liệu chuẩn gồm 3 cấu trúc workflow khoa học đại diện phổ biến trong cộng đồng học thuật thế giới: Montage (thiên văn học), Epigenomics (di truyền học) và LIGO Inspiral Analysis (vật lý sóng hấp dẫn). Cỡ mẫu thực nghiệm phân cấp theo 4 quy mô tác vụ khác nhau cho mỗi workflow: 25, 50, 100 và 1000 tác vụ đối với Montage; 24, 47, 100 và 997 tác vụ đối với Epigenomics; 30, 50, 100 và 1000 tác vụ đối với Inspiral. Việc chọn các tập mẫu đa dạng này đảm bảo bao quát từ cấu trúc luồng tuần tự, phân nhánh song song cho đến gom cụm phức tạp.

Lý do lựa chọn phương pháp phân tích: Do bài toán thuộc lớp NP-khó, việc thử nghiệm trực tiếp trên hạ tầng thương mại đa vùng gây tốn kém chi phí và khó kiểm soát tính tái lập. Môi trường mô phỏng SGCB kết hợp ngôn ngữ phân tích thống kê R và công cụ trực quan hóa pajeng cho phép đo lường chính xác các thông số thời gian tính bằng mili-giây (ms), dung lượng dữ liệu truyền qua mạng và chi phí tài chính thực tế trên từng loại máy ảo như t1.micro, m1.small và m1.xlarge.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình kiểm thử 6 thuật toán phân cụm đồ thị (Label-based, TripletVersion1, TripletVersion2, BCC-based, DCC-based, NoGraphCut) kết hợp 2 chiến lược cấp phát tài nguyên (Cheapest, OneClusterPerVM) trên nền tảng SGCB mang lại 4 phát hiện nổi bật:

Thứ nhất, thuật toán TripletVersion1 tạo ra số lượng cụm tối ưu nhất nhưng đòi hỏi thời gian xử lý đồ thị dài nhất. Ở quy mô Montage 1000 tác vụ, TripletVersion1 gom toàn bộ quy trình thành 1 cụm thống nhất, giúp loại bỏ hoàn toàn chi phí truyền dữ liệu liên máy ảo, nhưng thuật toán mất tới 95.351.248 ms (khoảng hơn 26 giờ tính toán phân tích đồ thị). Ngược lại, phiên bản TripletVersion2 cải tiến cơ chế đánh dấu đã cắt giảm thời gian xử lý xuống còn 3.436.131 ms, giảm hơn 96,3% thời gian tính toán của thuật toán, dù số lượng cụm phân chia tăng lên 9 cụm.

Thứ hai, thuật toán Label-based đạt tốc độ thực thi phân cụm vượt trội với thời gian chỉ mất 22 ms cho Montage 1000 tác vụ, 16 ms cho Epigenomics 997 tác vụ, và 22 ms cho Inspiral 1000 tác vụ. Số lượng cụm sinh ra từ Label-based luôn ổn định tuyệt đối (9 cụm cho Montage, 8 cụm cho Epigenomics, 4 cụm cho Inspiral) bất kể quy mô tăng từ 25 lên 1000 tác vụ.

Thứ ba, đối với workflow có cấu trúc đơn đầu vào và đơn đầu ra như Epigenomics, hai thuật toán tìm kiếm theo chiều rộng có ràng buộc (BCC-based) và chiều sâu có ràng buộc (DCC-based) cho hiệu năng phân cụm lý tưởng. Tại mức 997 tác vụ, cả hai thuật toán chỉ tạo ra đúng 7 cụm với thời gian phân tích cực nhanh (485 ms với BCC và 538 ms với DCC), tương đương mức tối ưu của TripletVersion1 (7 cụm) nhưng nhanh hơn gấp 280 lần.

Thứ tư, sự khác biệt rõ rệt giữa hai chiến lược cấp phát tài nguyên: Chiến lược OneClusterPerVM kết hợp TripletVersion1 mang lại chi phí tài chính thấp nhất nhưng kéo dài thời gian thực thi (makespan). Trong khi đó, chiến lược Cheapest tuy tối ưu hóa giá thuê trên từng đơn vị máy ảo đơn lẻ nhưng lại làm tăng tổng thời gian hoàn thành của toàn bộ workflow lên mức cao nhất.

Thảo luận kết quả

Các kết quả phân tích cho thấy mối tương quan nghịch đảo giữa chi phí tài chính và thời gian hoàn thành của hệ thống luồng công việc. Khi dữ liệu được trực quan hóa qua biểu đồ ma trận nhiệt (heatmap matrix) 2 chiều thể hiện sự kết hợp giữa các thuật toán phân rã đồ thị và thuật toán cấp phát tài nguyên, các vùng màu thể hiện rõ nét sự đánh đổi:

Nguyên nhân của hiện tượng này bắt nguồn từ bản chất phân bố tài nguyên IaaS. Với chiến lược OneClusterPerVM, khi số lượng cụm ít (như TripletVersion1), hệ thống chỉ khởi tạo 1 đến vài máy ảo cấu hình cao. Điều này giúp triệt tiêu chi phí truyền tải dữ liệu qua mạng đám mây, nhưng làm mất đi tính song song, khiến các tác vụ phải xếp hàng tuần tự. Ngược lại, phương pháp NoGraphCut xem mỗi tác vụ là một cụm riêng biệt, kích hoạt đồng thời hàng chục máy ảo phân tán. Phương pháp này tận dụng tối đa tính toán song song giúp giảm makespan xuống mức thấp nhất, nhưng đẩy chi phí thuê máy ảo và lưu lượng truyền thông lên mức cao nhất.

So sánh với các nghiên cứu lập lịch kinh điển như HSGA hay giải thuật bầy đàn S-CLPSO, giải pháp 3 giai đoạn tích hợp ràng buộc dung lượng lưu trữ phân tán của tác giả DAO Van Toan giải quyết triệt để bài toán thắt nút cổ chai băng thông. Việc đưa dung lượng bộ nhớ đệm và kích thước tệp trung gian vào hàm ràng buộc dừng totalPredit(C, k) giúp ngăn chặn tình trạng tràn bộ nhớ máy ảo cục bộ. Dữ liệu thực nghiệm qua các bảng so sánh chỉ ra rằng không có một thuật toán đơn lẻ nào tối ưu trong mọi tình huống, mà việc lựa chọn phải căn cứ trực tiếp vào cấu trúc topo của workflow và ưu tiên ngân sách của người dùng.

Đề xuất và khuyến nghị

Từ các kết quả nghiên cứu và thảo luận thực nghiệm, 4 khuyến nghị cụ thể được đưa ra nhằm nâng cao hiệu năng vận hành workflow trên môi trường đa đám mây:

Tích hợp thuật toán thích ứng theo cấu trúc topo dữ liệu: Các đơn vị nghiên cứu khoa học cần cấu hình hệ sinh thái tự động nhận diện dạng workflow. Áp dụng ngay thuật toán BCC-based hoặc DCC-based cho các luồng xử lý dạng ống dẫn tuyến tính (pipeline) như Epigenomics để giảm 99% thời gian lập lịch; đồng thời chuyển hướng sang TripletVersion2 cho các luồng dạng phân tán - hội tụ (Montage, Inspiral) nhằm cân bằng giữa số lượng máy ảo và thời gian tính toán.

Triển khai cơ chế lập lịch theo ngân sách động: Đội ngũ kỹ sư hệ thống cần thiết lập bộ quy tắc điều phối tài nguyên dựa trên chỉ số thương số giữa chi phí và thời gian ($Ratio = Cost / Time$). Khi người dùng ưu tiên tiết kiệm ngân sách, hệ thống kích hoạt tổ hợp TripletVersion1 + OneClusterPerVM để tiết kiệm đến khoảng 40% chi phí thuê máy ảo. Khi cần hoàn thành gấp trước hạn chót (deadline), hệ thống tự động chuyển sang cấu hình NoGraphCut + HighPerformance VMs.

Nâng cấp middleware quản lý lưu trữ đa tầng: Các nhà phát triển phần mềm trung gian cần tích hợp trực tiếp kết quả phân cụm đồ thị với các dịch vụ lưu trữ đám mây phân tán như Amazon S3 hoặc GlusterFS. Việc gán các tệp dữ liệu trung gian vào cùng một vùng lưu trữ cục bộ của cụm máy ảo giúp giảm ít nhất 30% lưu lượng truyền tải xuyên vùng trong vòng 6 tháng tới.

Chuẩn hóa quy trình gắn nhãn tự động cho luồng công việc: Các tổ chức học thuật nên xây dựng bộ công cụ phân tích tĩnh DAG để tự động sinh nhãn (auto-labeling) thay cho phương pháp thủ công, giúp khai thác triệt để ưu thế tốc độ xử lý dưới 30 ms của thuật toán Label-based trên các hệ thống quy mô lớn trên 10.000 tác vụ.

Đối tượng nên tham khảo luận văn

Nghiên cứu mang lại giá trị học thuật và ứng dụng thực tiễn cao cho 4 nhóm đối tượng chính:

Nhà nghiên cứu và nghiên cứu sinh ngành Khoa học Máy tính: Tài liệu cung cấp cơ sở toán học vững chắc về mô hình hóa đồ thị DAG, phân tích độ phức tạp thuật toán và tổng hợp chi tiết hơn 10 giải thuật lập lịch hiện đại (ACO, Bi-criteria, BOSS-extension, CTC, DBD-CTO, SHEFT).

Kỹ sư Kiến trúc Đám mây và DevOps: Cung cấp khung thiết kế thực tế để triển khai hệ thống quản trị luồng công việc khoa học trên môi trường đám mây lai (Hybrid Cloud) và đa đám mây (Multi-Cloud), tối ưu hóa bài toán chi phí tài nguyên IaaS của doanh nghiệp.

Các nhóm nghiên cứu dữ liệu lớn (Bioinformatics, Thiên văn học, Vật lý hạt nhân): Nhận được hướng dẫn cụ thể trong việc cấu hình và thực thi các bộ công cụ phân tích nổi tiếng như Montage, Epigenomics và LIGO trên hạ tầng tính toán phân tán.

Học viên cao học chuyên ngành Mạng và Hệ thống truyền thông: Bản luận văn là tài liệu mẫu mực về phương pháp nghiên cứu khoa học, từ tổng quan tài liệu, thiết kế mô hình thực nghiệm với SimGrid/SGCB đến kỹ thuật phân tích số liệu bằng ngôn ngữ R.

Câu hỏi thường gặp

Lập lịch luồng công việc trên Multi-Cloud khác gì so với trên Grid computing truyền thống? Môi trường Multi-Cloud có tính đàn hồi cao và cung cấp tài nguyên theo mô hình thương mại hóa IaaS với bảng giá linh hoạt theo giờ. Lập lịch trên Multi-Cloud đòi hỏi phải giải quyết đồng thời bài toán thời gian hoàn thành và chi phí thuê máy ảo thực tế, trong khi hệ thống Grid chủ yếu tập trung vào tận dụng tối đa công suất tài nguyên tĩnh có sẵn.

Tại sao cần thực hiện giai đoạn phân cụm đồ thị (Graph-cut) trước khi cấp phát máy ảo? Nếu gán trực tiếp mỗi tác vụ cho một máy ảo riêng lẻ, chi phí tài chính sẽ tăng vọt và lưu lượng truyền dữ liệu trung gian qua mạng sẽ làm nghẽn hệ thống. Phân cụm đồ thị giúp gom các tác vụ phụ thuộc dữ liệu chặt chẽ vào cùng một máy ảo, giảm thiểu thời gian truyền tệp và tối ưu hóa chi phí vận hành.

SimGrid Cloud Broker (SGCB) đóng vai trò gì trong nghiên cứu này? SGCB là công cụ mô phỏng chuẩn xác kiến trúc và hành vi của Amazon Web Services (gồm EC2, S3, EBS). SGCB cho phép giả lập các kịch bản thực thi phân tán quy mô hàng nghìn tác vụ trên môi trường đa vùng một cách khách quan, loại bỏ các sai số do biến động mạng Internet thực tế.

Khi nào nên ưu tiên sử dụng thuật toán Label-based? Thuật toán Label-based nên được sử dụng khi workflow đã được chuẩn hóa cấu trúc rõ ràng từ trước và hệ thống đòi hỏi tốc độ ra quyết định lập lịch tức thì trong vài mili-giây, đặc biệt hiệu quả với các hệ thống phân tích luồng dữ liệu thời gian thực.

Làm thế nào để kiểm soát tình trạng tràn dung lượng đĩa của máy ảo khi gom nhiều tác vụ? Luận văn đã tích hợp hàm kiểm tra ràng buộc dung lượng lưu trữ totalPredit(C, k) trong các thuật toán BCC-based và DCC-based. Thuật toán sẽ liên tục kiểm tra tổng kích thước tệp vào/ra của cụm, nếu vượt quá ngưỡng cấu hình lưu trữ của máy ảo mục tiêu, quá trình gom cụm sẽ lập tức dừng lại để chuyển sang cụm mới.

Kết luận

Luận văn đã giải quyết toàn diện bài toán tối ưu hóa luồng công việc khoa học trên môi trường đa đám mây IaaS thông qua 5 đóng góp học thuật và thực tiễn cốt lõi:

• Đề xuất thành công khung kiến trúc lập lịch 3 giai đoạn độc lập nhưng gắn kết chặt chẽ: Phân rã đồ thị (Graph-cut), Dự trù tài nguyên (Resource Provisioning) và Phân bổ tác vụ (Task Allocation).
• Phát triển các biến thể thuật toán phân cụm đồ thị cải tiến gồm BCC-based, DCC-based và TripletVersion2 tích hợp ràng buộc dung lượng dữ liệu lưu trữ động.
• Mở rộng thành công công cụ mô phỏng SimGrid Cloud Broker để kiểm thử toàn diện các cấu trúc workflow kinh điển với quy mô lên tới 1000 tác vụ.
• Xác lập và chứng minh thực nghiệm mô hình tương quan giữa 3 yếu tố: cấu trúc phân bổ cụm tác vụ, tổng thời gian hoàn thành (makespan) và tổng chi phí thuê máy ảo.
• Định hình giải pháp cân bằng QoS linh hoạt cho phép người dùng tùy biến chiến lược thực thi theo mức độ ưu tiên về thời gian hoặc ngân sách tài chính.

Trong giai đoạn tiếp theo, hướng nghiên cứu sẽ tiếp tục mở rộng mô hình để tích hợp thêm các ràng buộc đa mục tiêu phức tạp như mức độ an toàn bảo mật dữ liệu, độ tin cậy của nhà cung cấp dịch vụ đám mây, và thử nghiệm trên các bộ dữ liệu thiên văn học thế hệ mới quy mô cực lớn như LSST. Quý bạn đọc và các nhóm nghiên cứu quan tâm có thể ứng dụng ngay mô hình này để tối ưu hóa hạ tầng tính toán phân tán cho đơn vị của mình.

Trích đoạn nội dung tài liệu

Workflows scientifiques sur plusieurs clouds Mémoire de fin d’études Stage effectué à l’ENS de Lyon Laboratoire de l’Informatique du Parallélisme (LIP) pour l’obtention du diplôme de Master Informatique option Système et Réseaux Par DAO Van Toan [e-mail] [e-mail] Encadrants : Frédéric DESPREZ (INRIA - Avalon) frederic.fr Jonathan ROUZAUD-CORNABAS (CNRS - CC-IN2P3/LIP - Avalon) [e-mail] Lyon, Novembre 2013 LUAN VAN CHAT LUONG download : add [e-mail] LUAN VAN CHAT LUONG download : add [e-mail] Remerciements Je tiens à remercier tous ceux qui m’ont aidé à la réalisation de ce travail. Mes premiers remerciements vont à mes encadrants Fédéric DESPREZ et Jonathan ROUZAUD-CORNABAS à l’École Normale Supérieure de Lyon pour m’avoir donné de nombreux conseils ainsi que des orientations importantes dans l’approche académique et scientifique. J’ai obtenu des connaissances inestimables et de très bonnes compétences dans le domaine de la recherche. De plus, j’aimerais remercier Laurent LEFEVRE qui a présenté ce stage sur son site.

J’aimerais remercier tous les membres de l’équipe AVALON du LIP, pour leur amitié et leur soutien. Je tiens à remercier ensuite tout le personnel et enseignants de l’Institut de la Fran- cophonie pour l’Informatique (IFI) à Hanoi pour leur conseil et le suivi qu’ils m’ont accordé pendant mes études de master. Je tiens également à remercier mes camarades étudiants de l’IFI avec qui j’ai passé de bons moments pendant les périodes de stress et des cours. J’aimerais remercier mes amis de Lyon.

J’adresse un merci particulier à toute ma famille qui malgré la distance n’a cessé de me prêter main forte. LUAN VAN CHAT LUONG download : add [e-mail] Résumé Les calculs scientifiques sont compliqués et les données manipulées sont très grandes alors ils nécessitent un grand ensemble de ressources de calcul et de stockage ainsi qu’une méthode pour les utiliser efficacement. La technique dite workflow scientifique est devenue l’un des principaux choix dans la communauté scientifique pour formaliser et structurer les calculs scientifiques. Le but premier du workflow scientifique est de maximiser la performance.

De plus, le concept de cloud computing amène une nouvelle dimension dans la technologie de l’information, grâce à ses avantages, on peut augmen- ter les ressources disponibles avec celles provenent de clouds privés et publiques. De plus, le cloud privé peut facilement renforcer sa performance en tirant parti des clouds publiques, hybride cloud computing. Les workflows ont tout intérêt à tirer parti des environnements multi-clouds. Dans ce rapport, nous nous intéressons aux algorithmes d’ordonnancement pour les workflows scientifiques dans les environnements multi-clouds de type IaaS pour maximi- ser leurs performances d’exécution tout en minimisant son coût et son temps d’exécution.

Pour cela, nous proposons notre solution qui se compose de 3 phases : découpage d’un graphe en sous-graphes (cutting-graph), faire l’allocation des ressources, faire l’ordon- nancement des tâches et des données. Après, notre proposition est validé via simulateur grâce à SimGrid Cloud Broker du projet ANR INFRA SONGS 1 qui a été construit pour simuler Amazon Web Service 2. Les résultats expérimentaux montrent une corrélation entre le temps d’exécution, la distribution des tâches dans des clusters et le coût du workflow, révélant ainsi la néces- sité d’algorithmes qui s’adaptent aux demandes de l’utilisateur. Mots-clés : Le cloud computing, le modèle IaaS, l’environnement multi-clouds, le workflow scientifique, l’algorithme d’ordonnancement, le coût et le makespan, SimGrid Cloud Broker, le simulateur Amazon Web Service.

http ://infra-songs.com/fr/ LUAN VAN CHAT LUONG download : add [e-mail] Abstract The scientific applications are complex and manipulated very large datasets. So they require a large set of computing resources and storage as well as a method to use them effectively. The scientific workflow technique has become one of the main choice in the scientific community to formalize and structure scientific computations. The main goal of scientific workflow is to maximize performance.

Furthermore, the cloud computing is a new dimension in the information of technology, thank to its advantages, you can increase the available resources with those coming from private and public cloud compu- ting. In addition, the private cloud computing can easily enhance its performance or its infrastructure through the public cloud computing, hybrid cloud computing. Scientific workflows must take adavantage of multi-clouds environment.