Luận văn thạc sĩ khoa học máy tính phân tích và mô hình hóa các sự kiện lõi trong các hệ thống song song và phân bố

Luận văn thạc sĩ khoa học máy tính phân tích và mô hình hóa sự kiện lõi trong hệ thống song song và phân bố, ứng dụng hiệu quả trong công nghệ hiện đại.

• Tác giả: Nguyễn Quốc Bảo
• Người hướng dẫn: Trần Ngọc Minh
• Trường học: Đại học Bách Khoa - Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Khoa học máy tính
• Đề tài: Phân tích và mô hình hóa các sự kiện lỗi trong các hệ thống song song và phân bố
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2015
• Địa điểm: TP. Hồ Chí Minh

Tóm tắt

I. Phân tích sự kiện lõi

Phân tích sự kiện lõi là một phần quan trọng trong việc đánh giá hiệu suất của các hệ thống song song và hệ thống phân bố. Luận văn tập trung vào việc phân tích các sự kiện lỗi trong bốn hệ thống: Condor_cae, Condor_cs, Condor_glow và TeraGrid. Mục tiêu chính là xác định các đặc tính của duration (khoảng thời gian kéo dài của sự kiện lỗi) và xây dựng mô hình mô phỏng các sự kiện này. Phương pháp phân tích dựa trên dữ liệu thực tế từ các hệ thống, sử dụng công cụ Matlab để rút ra các tính chất chung của duration.

1.1. Tính chất của duration

Các duration được phân tích để xác định dạng phân bố chung và các ước chung của chúng. Kết quả cho thấy duration có xu hướng tuân theo một số dạng phân bố xác suất cụ thể, điều này giúp xây dựng mô hình chính xác hơn. Việc phân tích này cũng chỉ ra rằng các duration có thể được mô hình hóa dựa trên các đặc tính đồng thời, phụ thuộc và bội số của chúng.

1.2. Phân tích dữ liệu thực tế

Dữ liệu thực tế từ các hệ thống được sử dụng để phân tích các sự kiện lỗi. Các tập dữ liệu này được thu thập từ các hệ thống Condor và TeraGrid, bao gồm thông tin về thời điểm xảy ra lỗi, thời gian kéo dài và node nơi lỗi xảy ra. Phân tích này giúp xác định các mẫu lỗi và đặc tính chung của chúng, từ đó hỗ trợ việc xây dựng mô hình mô phỏng.

II. Mô hình hóa sự kiện lỗi

Mô hình hóa sự kiện lỗi là quá trình xây dựng các mô hình toán học để mô phỏng các sự kiện lỗi trong các hệ thống song song và phân bố. Luận văn đề xuất một mô hình chung cho duration của các sự kiện lỗi, kết hợp với mô hình TBF (Time Between Failures) đã được xây dựng trước đó. Mô hình này bao gồm thông tin về thời điểm xảy ra lỗi, thời gian kéo dài và node nơi lỗi xảy ra.

2.1. Xây dựng mô hình duration

Mô hình duration được xây dựng dựa trên các tính chất rút ra từ phân tích dữ liệu thực tế. Các duration được mô hình hóa bằng cách sử dụng các dạng phân bố xác suất phù hợp, như phân bố chuẩn, phân bố Pareto và phân bố mũ. Mô hình này được đánh giá thông qua các công cụ kiểm định thống kê trong Matlab.

2.2. Gán node cho sự kiện lỗi

Một phần quan trọng của mô hình là việc gán node cho các sự kiện lỗi. Node là nơi lỗi xảy ra trong hệ thống. Quá trình gán node được thực hiện dựa trên các thông tin từ mô hình TBF và các đặc tính của hệ thống. Điều này giúp mô hình phản ánh chính xác hơn thực tế hoạt động của các hệ thống.

III. Đánh giá mô hình

Đánh giá mô hình được thực hiện thông qua hai phương pháp chính: sử dụng các công cụ kiểm định thống kê trong Matlab và áp dụng lý thuyết hàng đợi. Kết quả đánh giá cho thấy mô hình có độ chính xác cao trong việc mô phỏng các sự kiện lỗi và phản ánh đúng các đặc tính của hệ thống.

3.1. Kiểm định thống kê

Các công cụ kiểm định thống kê như kstest và kstest2 được sử dụng để đánh giá độ chính xác của mô hình. Kết quả kiểm định cho thấy mô hình duration phù hợp với dữ liệu thực tế, với các giá trị p-value cao, chứng tỏ mô hình có độ tin cậy cao.

3.2. Lý thuyết hàng đợi

Lý thuyết hàng đợi được áp dụng để đánh giá hiệu suất của mô hình. Các thông số như thời gian chờ đợi và tỷ lệ sử dụng tài nguyên được tính toán để đánh giá mô hình. Kết quả cho thấy mô hình có khả năng mô phỏng chính xác các sự kiện lỗi và hiệu suất của hệ thống.

IV. Ứng dụng thực tế

Mô hình hóa sự kiện lỗi có nhiều ứng dụng thực tế trong việc cải thiện hiệu suất của các hệ thống song song và phân bố. Mô hình giúp dự đoán các sự kiện lỗi và đưa ra các giải pháp tối ưu hóa hệ thống. Điều này đặc biệt quan trọng trong các hệ thống lớn như TeraGrid, nơi việc duy trì hiệu suất cao là yếu tố then chốt.

4.1. Tối ưu hóa hệ thống

Mô hình giúp xác định các điểm yếu trong hệ thống và đề xuất các giải pháp tối ưu hóa. Việc dự đoán các sự kiện lỗi giúp giảm thiểu thời gian ngừng hoạt động của hệ thống, từ đó nâng cao hiệu suất tổng thể.

4.2. Phân tích hiệu suất

Mô hình cung cấp các công cụ để phân tích hiệu suất của hệ thống, bao gồm thời gian xử lý, tỷ lệ sử dụng tài nguyên và thời gian chờ đợi. Điều này giúp các nhà quản lý hệ thống đưa ra các quyết định chính xác hơn trong việc cải thiện hiệu suất.

Trích đoạn nội dung tài liệu

ĐẠI HỌC QUỐC GIA TP. HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA -------------------- NGUYỄN QUỐC BẢO PHÂN TÍCH VÀ MÔ HÌNH HÓA CÁC SỰ KIỆN LỖI TRONG CÁC HỆ THỐNG SONG SONG VÀ PHÂN BỐ Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số: D480101 LUẬN VĂN THẠC SĨ TP. HỒ CHÍ MINH, tháng 06 năm 2015 Luận văn thạc sĩ Khoa học máy tính 2015 CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐHQG – HCM Cán bộ hướng dẫn: Giảng viên TS Trần Ngọc Minh. Cán bộ chấm nhận xét 1: Cán bộ chấm nhận xét 2: Luận văn thạc sĩ được bảo vệ tại Trường Đại học Bách Khoa, ĐHQG Tp Hồ Chí Minh ngày 10 tháng 07 năm 2015.

Thành phần Hội đồng đánh giá luận văn thạc sĩ bao gồm: 1. Chủ tịch hội đồng: TS. Nguyễn Đức Thái 2. Nguyễn An Khương 3.

Phản biện 1: PGS. Phản biện 2: TS. Ủy viên: TS. Nguyễn Văn Minh Mẫn Nguyễn Quốc Bảo – MSHV:13070222 Luận văn thạc sĩ Khoa học máy tính 2015 ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự do - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Nguyễn Quốc Bảo MSSV : 13070222 Ngày, tháng, năm sinh : 07-03-1983 Nơi sinh : Cần Thơ Chuyên ngành : Khoa học máy tính Mã số : D480101 I.

TÊN ĐỀ TÀI: PHÂN TÍCH VÀ MÔ HÌNH HÓA CÁC SỰ KIỆN LỖI TRONG CÁC HỆ THỐNG SONG SONG VÀ PHÂN BỐ. NHIỆM VỤ LUẬN VĂN: Xây dựng được mô hình cho các khoảng thời gian kéo dài của sự kiện lỗi (gọi là duration) cho bốn hệ thống Condor_cae, Condor_cs, Condor_glow và Teragrid, gồm các phần chính : - Phân tích và rút ra các tính chất của tập dữ liệu thật là tập các duration của các sự kiện lỗi lấy từ bốn hệ thống. - Xây dựng mô hình cho tập các duration, bao gồm các việc: xây dựng lại mô hình cho Time between failers (TBF) là khoản thời gian giữa các lần xảy ra lỗi, gán node cho các sự kiện lỗi ( node là nơi sự kiện lỗi diễn ra) và xây dựng mô hình cho các duration tương ứng với các sự kiện lỗi đó. - Đánh giá mô hình theo hai phương pháp : dùng các công cụ kiểm định thống kê của Matlab và lý thuyết hàng đợi.

NGÀY GIAO NHIỆM VỤ: 19-01-2015. NGÀY HOÀN THÀNH NHIỆM VỤ : 14-06-2015. CÁN BỘ HƯỚNG DẪN : TIẾN SĨ TRẦN NGỌC MINH. HCM, ngày 15 tháng 06 năm 2015 CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO (Họ tên và chữ ký) (Họ tên và chữ ký) TRƯỞNG KHOA….……… (Họ tên và chữ ký) Nguyễn Quốc Bảo – MSHV:13070222 Luận văn thạc sĩ Khoa học máy tính 2015 LỜI CẢM ƠN Tôi xin chân thành cảm ơn các thầy cô giảng dạy sau Đại học – Trƣờng Đại học bách Khoa thành phố Hồ Chí Minh vì đã tận tình chỉ dạy, hƣớng dẫn và giúp đỡ tôi trong suốt quá trình học tập, nghiên cứu và rèn luyện tại trƣờng.

Tôi xin chân thành cảm ơn thầy TS Trần Ngọc Minh, giảng viên khoa Khoa học máy tính trƣờng Đại học Bạch Khoa thành phố Hồ Chí Minh, đã tận tình hƣớng dẫn và truyền đạt những kiến thức cũng nhƣ kinh nghiệm và những lời khuyên quí báu cho tôi. Đó là động lực rất lớn cho tôi trong suốt quá trình học tập và nghiên cứu của bản thân. Tôi cũng xin cảm ơn bạn bè và gia đình đã luôn luôn ủng hộ, động viên và tiếp thêm nghị lực cho tôi hoàn thành luận văn của mình. Dù đã rất cố gắng trong việc thực hiện luận văn nhƣng cũng không tránh khỏi những thiếu sót, rất mong nhận đƣợc sự đóng góp ý kiến của quí thầy cô và các bạn.HCM, ngày 15 tháng 06 năm 2015 Học viên Nguyễn Quốc Bảo Nguyễn Quốc Bảo – MSHV:13070222 Trang 1 Luận văn thạc sĩ Khoa học máy tính 2015 TÓM TẮT Đối với các hệ thống lớn nhƣ hệ thống song song và phân bố thì hiệu suất của hệ thống đƣợc đặt lên hàng đầu,do đó công tác đánh giá hiệu quả hoạt động của hệ thống là rất quan trọng.

Việc đánh giá sẽ đạt hiệu quả cao nếu dựa trên các dữ liệu thu đƣợc trong quá trình hoạt động của hệ thống. Tuy nhiên, các dữ liệu nhƣ vậy lại rất hạn chế vì cần có thời gian dài mới có thể có đƣợc, nên sẽ là một trở ngại lớn đối với công việc phân tích đánh giá. Một cách khắc phục là xây dựng mô hình mô phỏng lại hoạt động của hệ thống, và việc đánh giá sẽ đƣợc thực hiện trên các dữ liệu do mô hình này sinh ra. Luận văn này hƣớng đến mục tiêu là xây dựng một mô hình chung cho các duration là khoảng thời gian kéo dài của các sự kiện lỗi trên bốn hệ thống Condor_cae, Condor_cs, Condor_glow và TeraGrid.

Ngoài ra luận văn cũng kết hợp với mô hình các TBF đã đƣợc xây dựng trong [11] nhầm đƣa ra một mô hình mà trong đó có các thông tin nhƣ thời điểm xảy ra lỗi, thời gian kéo dài của các lỗi đó, và các node mà tại đó lỗi xảy ra. Khi thực hiện, mô hình này có thể tạo ra dữ liệu mô phỏng lại hoạt động của các hệ thống với số lƣợng nhƣ ta mong muốn. Nguyễn Quốc Bảo – MSHV:13070222 Trang 2 Luận văn thạc sĩ Khoa học máy tính 2015 ABSTRACT For large parallel and distributedsystems, the performance plays a very important role, so the evaluation of the performance of these systems is also important. The evaluation will be effective if it based on the data obtained during the operation of the system.

However, it takes a long time to get such data and will be a bigproblem for analysis and assessment. One way to overcome is to build a model to simulate the operation of the system, and the evaluation will be performed on the data generated by this model. The main objective of this thesis is to build a general model for the duration of failures offour systems: Condor_cae, Condor_cs, Condor_glow and TeraGrid. Beside that, this thesis also incorporates with TBF model built in [11]to create a model in which information such as the time, the duration, and the nodes at which the failures occurred.

When it is run, this model can generate data which simulatethe operation of above systems with the number as desired. Nguyễn Quốc Bảo – MSHV:13070222 Trang 3 Luận văn thạc sĩ Khoa học máy tính 2015 LỜI CAM ĐOAN Tôi xin cam đoan: - Luận văn này là sản phẩm nghiên cứu của tôi. - Các kết quả trong luận văn là trung thực. - Tôi xin chịu trách nhiệm về nghiên cứu của mình.

Nguyễn Quốc Bảo – MSHV:13070222 Trang 4 Luận văn thạc sĩ Khoa học máy tính 2015 MỤC LỤC LỜI CẢM ƠN. 2 LỜI CAM ĐOAN. Lý do chọn đề tài. Mục đích, đối tƣợng và phƣơng pháp nghiên cứu.

Đối tƣợng nghiên cứu. Phƣơng pháp nghiên cứu. 11 Chƣơng 1 TỔNG QUAN. Khái niệm mô hình hóa và các vấn đề liên quan.

Vì sao cần mô hình hóa?. Thông tin chính về bốn hệ thống sẽ tiến hành mô hình hóa. Các hệ thống Condor. Hệ thống TeraGrid.

Bài báo làm cơ sở chính cho luận văn [11]. Các công trình có liên quan. 14 CHƢƠNG 2 CƠ SỞ LÝ THUYẾT. Cơ sở Toán học.

Các khái niệm có liên quan. Một số dạng phân bố xác suất. Kiểm định giả thuyết thống kê. Lý thuyết hàng đợi.

Các khái niệm có liên quan và thông số hiệu suất thƣờng đƣợc dùng để đánh giá hệ thống. Các kết quả đã có từ bài báo “Failure Analysis and Modeling in Large Multi-Site Infrastructures”. Tính đồng thời (Simultaneity) của các sự kiện lỗi (Failures) và khôi phục lỗi (Recoveries). 28 Nguyễn Quốc Bảo – MSHV:13070222 Trang 5 Luận văn thạc sĩ Khoa học máy tính 2015 2.

Tính cấu trúc phụ thuộc (Dependence Structure) của các TBF-Time Between Failures. Tính bội (multiplication) của các TBF. Xây dựng mô hình từ 3 tính chất simultaneous, dependence và multiplication. 30 CHƢƠNG 3 MÔ HÌNH HÓA.

Các hàm Matlab tự viết dùng cho việc mô hình hóa. Các tính chất rút ra đƣợc từ các tập dữ liệu thật. Tính chất 1: Dạng phân bố chung của các tập cce(duration). Tính chất 2: Ứớc chung của các duration.

Tính chất 3: dạng phân bố chung của các tập duration. Xây dựng mô hình. Gán node cho các sự kiện lỗi. Xây dựng mô hình duration.

Hạn chế của mô hình. 44 Chƣơng 4 ĐÁNH GIÁ MÔ HÌNH. Đánh giá bằng các công cụ xác suất thống kê trong Matlab. Các công cụ kiểm định đƣợc dùng.

Các kết quả kiểm định. Đánh giá bằng cách dùng lý thuyết hàng đợi. Các giá trị sẽ đánh giá khi dùng hàng đợi trong luận văn. Cách thực hiện.

Kết quả đánh giá. 58 TÀI LIỆU THAM KHẢO. 60 Nguyễn Quốc Bảo – MSHV:13070222 Trang 6 Luận văn thạc sĩ Khoa học máy tính 2015 DANH MỤC BẢNG Bảng 2.1: Bảng các giá trị tới hạn .2: Tỷ lệ các SF và SR .3: Basic value và tỷ lệ PTBF là bội số của basic value .1: Thông tin về các ước chung của tập duration hệ thống Condor_cae .2: Thông tin về các ước chung của tập duration hệ thống Condor_cs .3: Thông tin về các ước chung của tập duration hệ thống Condor_glow .4: Thông tin về các ước chung của tập duration hệ thống TeraGrid .5: Dạng phân bố của tập duration của các hệ thống khi tiến hành chia cho ước chung 150 với thông số ước chung mở rộng là 0.6: Dạng phân bố của tập duration của các hệ thống khi không tiến hành chia cho ước chung.1: Kết quả kiểm định các mô hình Condor_cae bằng công cụ của Matlab .2: Kết quả kiểm định các mô hình Condor_cs bằng công cụ của Matlab .3: Kết quả kiểm định các mô hình Condor_glow bằng công cụ của Matlab .4: Kết quả kiểm định các mô hình TeraGrid bằng công cụ của Matlab .5: Kết quả đánh giá các mô hình Condor_cae dùng lý thuyết hàng đợi .6: Kết quả đánh giá các mô hình Condor_cs dùng lý thuyết hàng đợi .7: Kết quả đánh giá các mô hình Condor_glow dùng lý thuyết hàng đợi .8: Kết quả đánh giá các mô hình TeraGrid dùng lý thuyết hàng đợi. 56 Nguyễn Quốc Bảo – MSHV:13070222 Trang 7 Luận văn thạc sĩ Khoa học máy tính 2015 DANH MỤC HÌNH Hình 1.1: Các bước mô hình hóa .1: Xác suất để X nhận được giá trị trong khoảng (a,b) .2: Xác suất để X nhận giá trị nhỏ hơn a .3:Đồ thị hàm phân phối xác suất chuẩn với các tham số trung bình và phương sai lần lượt là 0 và 1 .4:Đồ thị hàm phân phối xác suất của phân bố Generalize Pareto với các tham số lần lượt là 1, 1 và 1 .5: Đồ thị hàm phân phối xác suất của phân bố t Location-scale với các tham số lần lượt là 0, 1 và 5 .