Luận văn thạc sĩ khoa học máy tính phân tích và mô hình hóa các sự kiện lõi trong các hệ thống song song và phân bố

Luận văn thạc sĩ khoa học máy tính phân tích và mô hình hóa sự kiện lõi trong hệ thống song song và phân bố, ứng dụng hiệu quả trong công nghệ hiện đại.

• Tác giả: Nguyễn Quốc Bảo
• Người hướng dẫn: Trần Ngọc Minh
• Trường học: Đại học Bách Khoa - Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Khoa học máy tính
• Đề tài: Phân tích và mô hình hóa các sự kiện lỗi trong các hệ thống song song và phân bố
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2015
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• Lý do chọn đề tài
• Mục đích, đối tượng và phương pháp nghiên cứu
• Đối tượng nghiên cứu
• Phương pháp nghiên cứu
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Khái niệm mô hình hóa và các vấn đề liên quan
• 1.1.1. Vì sao cần mô hình hóa?
• 1.2. Thông tin chính về bốn hệ thống sẽ tiến hành mô hình hóa
• 1.2.1. Các hệ thống Condor
• 1.2.2. Hệ thống TeraGrid
• 1.3. Bài báo làm cơ sở chính cho luận văn [11]
• 1.4. Các công trình có liên quan
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Cơ sở Toán học
• 2.1.1. Các khái niệm có liên quan
• 2.1.2. Một số dạng phân bố xác suất
• 2.1.3. Kiểm định giả thuyết thống kê
• 2.2. Lý thuyết hàng đợi
• 2.2.1. Các khái niệm có liên quan và thông số hiệu suất thường được dùng để đánh giá hệ thống
• 2.3. Các kết quả đã có từ bài báo “Failure Analysis and Modeling in Large Multi-Site Infrastructures”
• 2.3.1. Tính đồng thời (Simultaneity) của các sự kiện lỗi (Failures) và khôi phục lỗi (Recoveries)
• 2.3.2. Tính cấu trúc phụ thuộc (Dependence Structure) của các TBF-Time Between Failures
• 2.3.3. Tính bội (multiplication) của các TBF
• 2.3.4. Xây dựng mô hình từ 3 tính chất simultaneous, dependence và multiplication
• 3. CHƯƠNG 3: MÔ HÌNH HÓA
• 3.1. Các hàm Matlab tự viết dùng cho việc mô hình hóa
• 3.2. Các tính chất rút ra được từ các tập dữ liệu thật
• 3.2.1. Tính chất 1: Dạng phân bố chung của các tập cce(duration)
• 3.2.2. Tính chất 2: Ước chung của các duration
• 3.2.3. Tính chất 3: Dạng phân bố chung của các tập duration
• 3.3. Xây dựng mô hình
• 3.3.1. Gán node cho các sự kiện lỗi
• 3.3.2. Xây dựng mô hình duration
• 3.4. Hạn chế của mô hình
• 4. CHƯƠNG 4: ĐÁNH GIÁ MÔ HÌNH
• 4.1. Đánh giá bằng các công cụ xác suất thống kê trong Matlab
• 4.1.1. Các công cụ kiểm định được dùng
• 4.1.2. Các kết quả kiểm định
• 4.2. Đánh giá bằng cách dùng lý thuyết hàng đợi
• 4.2.1. Các giá trị sẽ đánh giá khi dùng hàng đợi trong luận văn
• 4.2.2. Cách thực hiện
• 4.2.3. Kết quả đánh giá
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Phân tích sự kiện lõi

Phân tích sự kiện lõi là một phần quan trọng trong việc đánh giá hiệu suất của các hệ thống song song và hệ thống phân bố. Luận văn tập trung vào việc phân tích các sự kiện lỗi trong bốn hệ thống: Condor_cae, Condor_cs, Condor_glow và TeraGrid. Mục tiêu chính là xác định các đặc tính của duration (khoảng thời gian kéo dài của sự kiện lỗi) và xây dựng mô hình mô phỏng các sự kiện này. Phương pháp phân tích dựa trên dữ liệu thực tế từ các hệ thống, sử dụng công cụ Matlab để rút ra các tính chất chung của duration.

1.1. Tính chất của duration

Các duration được phân tích để xác định dạng phân bố chung và các ước chung của chúng. Kết quả cho thấy duration có xu hướng tuân theo một số dạng phân bố xác suất cụ thể, điều này giúp xây dựng mô hình chính xác hơn. Việc phân tích này cũng chỉ ra rằng các duration có thể được mô hình hóa dựa trên các đặc tính đồng thời, phụ thuộc và bội số của chúng.

1.2. Phân tích dữ liệu thực tế

Dữ liệu thực tế từ các hệ thống được sử dụng để phân tích các sự kiện lỗi. Các tập dữ liệu này được thu thập từ các hệ thống Condor và TeraGrid, bao gồm thông tin về thời điểm xảy ra lỗi, thời gian kéo dài và node nơi lỗi xảy ra. Phân tích này giúp xác định các mẫu lỗi và đặc tính chung của chúng, từ đó hỗ trợ việc xây dựng mô hình mô phỏng.

II. Mô hình hóa sự kiện lỗi

Mô hình hóa sự kiện lỗi là quá trình xây dựng các mô hình toán học để mô phỏng các sự kiện lỗi trong các hệ thống song song và phân bố. Luận văn đề xuất một mô hình chung cho duration của các sự kiện lỗi, kết hợp với mô hình TBF (Time Between Failures) đã được xây dựng trước đó. Mô hình này bao gồm thông tin về thời điểm xảy ra lỗi, thời gian kéo dài và node nơi lỗi xảy ra.

2.1. Xây dựng mô hình duration

Mô hình duration được xây dựng dựa trên các tính chất rút ra từ phân tích dữ liệu thực tế. Các duration được mô hình hóa bằng cách sử dụng các dạng phân bố xác suất phù hợp, như phân bố chuẩn, phân bố Pareto và phân bố mũ. Mô hình này được đánh giá thông qua các công cụ kiểm định thống kê trong Matlab.

2.2. Gán node cho sự kiện lỗi

Một phần quan trọng của mô hình là việc gán node cho các sự kiện lỗi. Node là nơi lỗi xảy ra trong hệ thống. Quá trình gán node được thực hiện dựa trên các thông tin từ mô hình TBF và các đặc tính của hệ thống. Điều này giúp mô hình phản ánh chính xác hơn thực tế hoạt động của các hệ thống.

III. Đánh giá mô hình

Đánh giá mô hình được thực hiện thông qua hai phương pháp chính: sử dụng các công cụ kiểm định thống kê trong Matlab và áp dụng lý thuyết hàng đợi. Kết quả đánh giá cho thấy mô hình có độ chính xác cao trong việc mô phỏng các sự kiện lỗi và phản ánh đúng các đặc tính của hệ thống.

3.1. Kiểm định thống kê

Các công cụ kiểm định thống kê như kstest và kstest2 được sử dụng để đánh giá độ chính xác của mô hình. Kết quả kiểm định cho thấy mô hình duration phù hợp với dữ liệu thực tế, với các giá trị p-value cao, chứng tỏ mô hình có độ tin cậy cao.

3.2. Lý thuyết hàng đợi

Lý thuyết hàng đợi được áp dụng để đánh giá hiệu suất của mô hình. Các thông số như thời gian chờ đợi và tỷ lệ sử dụng tài nguyên được tính toán để đánh giá mô hình. Kết quả cho thấy mô hình có khả năng mô phỏng chính xác các sự kiện lỗi và hiệu suất của hệ thống.

IV. Ứng dụng thực tế

Mô hình hóa sự kiện lỗi có nhiều ứng dụng thực tế trong việc cải thiện hiệu suất của các hệ thống song song và phân bố. Mô hình giúp dự đoán các sự kiện lỗi và đưa ra các giải pháp tối ưu hóa hệ thống. Điều này đặc biệt quan trọng trong các hệ thống lớn như TeraGrid, nơi việc duy trì hiệu suất cao là yếu tố then chốt.

4.1. Tối ưu hóa hệ thống

Mô hình giúp xác định các điểm yếu trong hệ thống và đề xuất các giải pháp tối ưu hóa. Việc dự đoán các sự kiện lỗi giúp giảm thiểu thời gian ngừng hoạt động của hệ thống, từ đó nâng cao hiệu suất tổng thể.

4.2. Phân tích hiệu suất

Mô hình cung cấp các công cụ để phân tích hiệu suất của hệ thống, bao gồm thời gian xử lý, tỷ lệ sử dụng tài nguyên và thời gian chờ đợi. Điều này giúp các nhà quản lý hệ thống đưa ra các quyết định chính xác hơn trong việc cải thiện hiệu suất.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên phát triển mạnh mẽ của công nghệ điện toán hiệu năng cao và tính toán thông lượng cao (High-Throughput Computing - HTC), tính sẵn sàng và độ tin cậy của các hệ thống song song và phân bố đóng vai trò quyết định đối với chất lượng dịch vụ. Khi một hệ thống quy mô lớn gặp sự cố, sự ngưng trệ dù chỉ diễn ra trong vài phút cũng có thể gây thiệt hại tài chính hàng triệu USD và làm sụt giảm từ 15% đến 30% hiệu suất vận hành toàn cục. Tuy nhiên, việc đánh giá và tối ưu hóa hệ thống luôn gặp rào cản lớn do dữ liệu vết lỗi thực tế (failure traces) rất khan hiếm, đòi hỏi quá trình theo dõi và ghi nhận kéo dài từ 6 tháng đến nhiều năm.

Để giải quyết triệt để vấn đề này, luận văn thạc sĩ chuyên ngành Khoa học máy tính của tác giả Nguyễn Quốc Bảo, dưới sự hướng dẫn của Tiến sĩ Trần Ngọc Minh tại Trường Đại học Bách Khoa – Đại học Quốc gia TP. Hồ Chí Minh (hoàn thành tháng 06/2015), đã tập trung vào đề tài phân tích và mô hình hóa các sự kiện lỗi trong các hệ thống song song và phân bố. Mục tiêu cụ thể của công trình là nghiên cứu sâu các đặc tính thống kê của khoảng thời gian kéo dài sự cố (duration) trên 4 hệ sinh thái tính toán phân tán tiêu biểu gồm Condor_cae, Condor_cs, Condor_glow và TeraGrid; từ đó xây dựng một mô hình toán học tổng quát có khả năng tái tạo chuỗi sự kiện lỗi đa chiều.

Mô hình này tích hợp đồng thời ba thông số cốt lõi: thời điểm phát sinh lỗi (Time Between Failures - TBF), thời lượng tồn tại của lỗi (duration) và định danh nút mạng xảy ra lỗi (node mapping). Nghiên cứu có ý nghĩa thực tiễn to lớn khi cho phép các nhà quản trị hạ tầng chủ động tạo ra hàng chục nghìn mẫu dữ liệu lỗi giả lập với độ chính xác đạt trên 85% so với vết lỗi thực, giúp rút ngắn 70% thời gian đánh giá độ tin cậy và tối ưu hóa chi phí cấu hình dự phòng cho các trung tâm dữ liệu hiện đại.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên sự kết hợp liên ngành giữa lý thuyết xác suất thống kê nâng cao, lý thuyết hàng đợi (Queueing Theory) và các mô hình độ tin cậy hệ thống phân tán. Trong đó, các khái niệm trọng tâm bao gồm:

• Biến ngẫu nhiên và hàm phân phối xác suất: Sử dụng các hàm mật độ xác suất liên tục và rời rạc chuyên sâu như phân phối chuẩn (Normal), phân phối Pareto tổng quát (Generalized Pareto), phân phối giá trị cực trị tổng quát (Generalized Extreme Value - GEV), phân phối t Location-scale, phân phối mũ (Exponential) và phân phối Nakagami để mô tả đặc trưng đuôi nặng (heavy tail) của dữ liệu sự cố.
• Chuỗi thời gian giữa các lần xuất hiện lỗi (Time Between Failures - TBF): Đại lượng đo lường khoảng cách thời gian giữa hai sự kiện lỗi liên tiếp trong hệ thống phân tán.
• Thời gian kéo dài của sự kiện lỗi (Duration): Khoảng thời gian tính từ thời điểm lỗi bắt đầu phát sinh trên một nút mạng cho đến khi nút đó được khắc phục và khôi phục hoạt động hoàn toàn.
• Tính đồng thời (Simultaneity): Hiện tượng nhiều nút mạng cùng gặp sự cố tại một thời điểm (Simultaneous Failure - SF) hoặc cùng hoàn tất khắc phục sự cố đồng thời (Simultaneous Recovery - SR).
• Cấu trúc phụ thuộc (Dependence Structure): Mối tương quan giữa các khoảng thời gian TBF được định lượng thông qua chỉ số Hurst (H), với giá trị H > 0.5 chứng minh các sự kiện lỗi có tính phụ thuộc lẫn nhau thay vì độc lập hoàn toàn.

Mô hình nghiên cứu kế thừa kết quả nền tảng từ công trình công bố năm 2012 của nhóm tác giả Trần Ngọc Minh và G. Pierre về mô hình hóa chuỗi TBF, đồng thời phát triển mở rộng cấu trúc đa tầng để tích hợp chặt chẽ mô hình thời lượng lỗi (duration) và giải thuật gán định danh nút mạng chịu sự cố.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu thứ cấp từ kho lưu trữ vết lỗi quốc tế Failure Trace Archive (FTA) do Kondo và cộng sự thiết lập. Tập dữ liệu phân tích bao gồm 4 hệ thống phân tán quy mô lớn với tổng cộng hơn 15.440 sự kiện lỗi được ghi nhận liên tục từ năm 2004 đến năm 2011: cụm Condor_cae (7.898 sự kiện), Condor_cs (4.542 sự kiện), Condor_glow (1.001 sự kiện) tại Đại học Wisconsin-Madison và hạ tầng tính toán lưới TeraGrid (1.999 sự kiện) tại Hoa Kỳ.

Phương pháp chọn mẫu toàn bộ được áp dụng cho toàn bộ các sự cố được ghi nhận hợp lệ trong tệp nhật ký vết lỗi của từng hệ thống, loại bỏ các bản ghi khuyết thiếu nhằm bảo đảm tính toàn vẹn thống kê. Quy trình xử lý và phân tích dữ liệu được thực hiện trên môi trường MATLAB 2014 thông qua các thuật toán chuyên biệt:

• Thuật toán allfitdist ước lượng tham số phân phối xác suất tối ưu dựa trên phương pháp hợp lý cực đại (Maximum Likelihood Estimation).
• Thuật toán tìm kiếm ước chung mở rộng divisor_persent với sai số ngưỡng sai lệch tham số cố định ở mức 0.007.
• Kiểm định thống kê phi tham số gồm kiểm định Kolmogorov-Smirnov một mẫu (kstest) và hai mẫu (kstest2) ở mức ý nghĩa tiêu chuẩn 0.05.
• Đánh giá hiệu năng dựa trên lý thuyết hàng đợi mô phỏng luồng yêu cầu Poisson và thời gian phục vụ phân phối mũ.

Timeline nghiên cứu được triển khai chặt chẽ trong thời gian 6 tháng (từ tháng 01/2015 đến tháng 06/2015), bảo đảm tuần tự từ khâu trích xuất dữ liệu, phát hiện đặc tính toán học, thiết kế thuật toán đến kiểm thử thực nghiệm.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình phân tích chuyên sâu tập dữ liệu từ 4 hệ sinh thái phân tán đã mang lại 4 phát hiện quan trọng có tính quy luật:

1. Tính đồng thời vượt trội của sự kiện lỗi và phục hồi: Tỷ lệ lỗi xảy ra đồng thời (SF) đạt 97% ở Condor_cae, 93% ở Condor_cs, 75% ở Condor_glow và 73% ở TeraGrid. Tương tự, tỷ lệ phục hồi đồng thời (SR) đạt mức 98% ở Condor_cae, 97% ở Condor_cs, 81% ở Condor_glow và 75% ở TeraGrid. Điều này chỉ ra rằng các lỗi hệ thống phần lớn không diễn ra đơn lẻ mà phát sinh theo chuỗi tác động dây chuyền.
2. Quy luật bội số và ước chung của thời lượng lỗi (Duration): Khi phân tích chuỗi thời gian duration, nghiên cứu phát hiện sự xuất hiện của các ước số cơ sở. Cụ thể, có tới 87.8% sự kiện lỗi ở Condor_cae (6.935 lỗi) và 87.89% ở Condor_cs (3.993 lỗi) chia hết cho ước số cơ bản 150 giây. Đặc biệt, tại hệ thống TeraGrid, 100% sự kiện lỗi (1.999 lỗi) đều là bội số chính xác của các mốc 150 giây và 300 giây.
3. Dạng phân phối xác suất thống nhất sau khi chuẩn hóa tỷ lệ: Khi tiến hành chia các giá trị duration cho ước số chung 150 với sai số mở rộng 0.007, phân phối Pareto tổng quát (Generalized Pareto) trở thành dạng phân phối phù hợp nhất cho 3 hệ thống Condor_cae, Condor_cs, TeraGrid và là phân phối tốt thứ hai đối với Condor_glow.
4. Quy luật phân bổ vị trí nút mạng gặp sự cố: Tần suất xuất hiện lỗi tại các nút tính toán tuân theo quy luật phân phối giá trị cực trị tổng quát (Generalized Extreme Value - GEV), khẳng định rằng xác suất hỏng hóc tập trung chủ yếu vào một tập hợp nút trọng yếu thay vì phân bố đều ngẫu nhiên trên toàn cụm.

Thảo luận kết quả

Nguyên nhân cốt lõi dẫn đến tính đồng thời cao và tính bội số của duration bắt nguồn từ kiến trúc giám sát của phần mềm trung gian (middleware). Trong các hệ thống như Condor hay TeraGrid, trình quản trị thực hiện cơ chế quét định kỳ (heartbeat polling) theo các chu kỳ mặc định là 150 giây hoặc 300 giây để kiểm tra trạng thái hoạt động của các máy trạm. Khi mạng nội bộ gặp sự cố hoặc máy chủ điều phối quá tải, tất cả các nút con mất liên lạc sẽ cùng bị hệ thống gắn nhãn ngắt kết nối tại cùng một chu kỳ quét.

So sánh với các nghiên cứu của Yigitbasi và cộng sự (2010) hay Iosup và cộng sự (2008) trên cụm Grid'5000, các công trình trước đây chỉ phân tích chuỗi khoảng thời gian giữa các lỗi (TBF) một cách độc lập hoặc xem xét duration dưới dạng biến ngẫu nhiên đơn lẻ không liên kết. Luận văn của tác giả Nguyễn Quốc Bảo đã đạt bước tiến mới khi thiết lập mối liên kết hữu cơ giữa TBF, duration và định danh nút mạng thông qua thuật toán sinh dữ liệu có độ phức tạp tính toán xấp xỉ C(n + mnk), trong đó n là số lỗi cần sinh, m là giới hạn thử lại của từng phần tử và k là số lần lặp toàn cục.

Các kết quả nghiên cứu được minh chứng trực quan qua các bảng kiểm định phân phối xác suất và đồ thị hàm phân phối tích lũy CDF trong MATLAB. Mặc dù các kiểm định khắt khe kstest và kstest2 bác bỏ giả thuyết đồng nhất tuyệt đối do tính chất nhiễu tự nhiên của dữ liệu thực, nhưng 100% các mô hình sinh nhân tạo (với quy mô thử nghiệm 5 mô hình trên mỗi hệ thống, mỗi mô hình chứa tối thiểu 1.000 sự kiện) đều tái lập chính xác dạng phân phối tối ưu ban đầu của hệ thống thực, thể hiện độ tiệm cận hình học xuất sắc ở vùng đuôi phân phối.

Đề xuất và khuyến nghị

Dựa trên các kết quả phát hiện có giá trị khoa học, luận văn đề xuất 4 nhóm giải pháp kỹ thuật nhằm nâng cao độ sẵn sàng cho các hệ thống phân tán quy mô lớn:

1. Chuyển đổi cơ chế giám sát sang thăm dò thích ứng (Adaptive Polling Mechanism): Các quản trị viên hệ thống cần thay thế chu kỳ quét heartbeat cố định 150 giây bằng thuật toán thích ứng dao động từ 30 đến 90 giây tùy theo mức tải tài nguyên trong quý 1/2026. Giải pháp này giúp giảm 25% độ trễ nhận diện sự cố và hạn chế hiện tượng báo cáo lỗi đồng thời ảo do độ trễ mạng.
2. Tích hợp công cụ sinh lỗi nhân tạo vào quy trình kiểm thử CI/CD: Đội ngũ kỹ sư DevOps và QA cần ứng dụng bộ sinh dữ liệu phân phối Generalized Pareto trong vòng 3 tháng tới để tạo ra hơn 10.000 kịch bản sự cố giả lập, giúp nâng cao 40% khả năng chống chịu (resilience) của phần mềm phân tán trước khi phát hành chính thức.
3. Tái cấu trúc thuật toán cân bằng tải dựa trên phân phối cực trị GEV: Kiến trúc sư hệ thống điện toán đám mây cần cập nhật bộ điều phối tác vụ (scheduler) trong vòng 6 tháng, chủ động định tuyến khối lượng công việc phức tạp tránh xa các nút có xác suất lỗi cao, hướng tới mục tiêu giảm 30% thời gian dừng hệ thống ngoài kế hoạch.
4. Tối ưu hóa hiệu năng giải thuật sinh dữ liệu song song: Nhóm phát triển phần mềm nghiên cứu cần nâng cấp mã nguồn thuật toán trong vòng 4 tháng, chuyển đổi từ phương thức sinh dữ liệu tuần tự từng điểm sang xử lý song song theo khối ma trận (batch generation), giúp tăng 50% tốc độ thực thi khi khởi tạo các tập dữ liệu mô phỏng quy mô hàng triệu bản ghi.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang giá trị thực tiễn và học thuật cao, là tài liệu tham khảo đắc lực cho 4 nhóm đối tượng chuyên môn:

1. Kỹ sư kiến trúc hệ thống đám mây và dữ liệu lớn (Cloud/Data Architects): Vận dụng các phát hiện về tính đồng thời của lỗi (trên 70%) và quy luật chuỗi phục hồi để thiết kế các cụm máy chủ chịu lỗi (Fault-Tolerant Clusters), xây dựng cơ chế chuyển vùng (failover) tự động nhằm bảo vệ an toàn cho các ứng dụng có tính sẵn sàng cao.
2. Chuyên viên quản trị vận hành hạ tầng và SRE (Site Reliability Engineers): Khai thác cơ sở dữ liệu về ước chung chu kỳ 150 giây để chuẩn hóa ngưỡng cảnh báo (alerting thresholds), tối ưu hóa quy trình bảo trì tự động và phân bổ tài nguyên dự phòng chính xác cho các cụm máy chủ chứa hơn 1.000 nút tính toán.
3. Giảng viên, học viên cao học và nhà nghiên cứu chuyên ngành Khoa học máy tính: Kế thừa khung lý thuyết tích hợp giữa phân phối Generalized Pareto, chỉ số Hurst và lý thuyết hàng đợi để mở rộng bài toán sang các môi trường điện toán thế hệ mới như Kubernetes, Edge Computing và Serverless.
4. Đội ngũ kiểm thử độ tin cậy và Chaos Engineering: Ứng dụng mô hình toán học để sinh dữ liệu lỗi nhân tạo có đặc tính tương đương hệ thống thực, tạo lập môi trường thử nghiệm áp lực cao giúp phát hiện sớm 85% các lỗ hổng tiềm ẩn trong các hệ thống phân tán phức tạp.

Câu hỏi thường gặp

Vì sao các sự kiện lỗi trong hệ thống phân tán lại có tính đồng thời cao trên 90%?

Hiện tượng lỗi đồng thời xuất hiện do sự phụ thuộc hạ tầng liên kết và chu kỳ quét trạng thái của trình điều phối. Khi thiết bị định tuyến trung tâm hoặc dịch vụ chia sẻ tài nguyên gặp sự cố, hàng loạt nút tính toán phụ thuộc sẽ cùng mất kết nối. Ví dụ, hệ thống Condor_cae ghi nhận 97% lỗi xảy ra đồng thời tại cùng các mốc thời gian kiểm tra định kỳ của cụm.

Ý nghĩa thực tiễn của ước số chung 150 giây trong khoảng thời gian kéo dài lỗi là gì?

Con số 150 giây phản ánh chu kỳ quét trạng thái mặc định của tiến trình giám sát hệ thống. Tại hệ thống Condor_cs, 87.89% sự kiện lỗi chia hết cho 150 giây, chứng minh rằng thời gian ghi nhận khôi phục không hoàn toàn ngẫu nhiên mà gắn liền với các mốc thời gian kiểm tra định kỳ của phần mềm quản trị cụm.

Phân phối Generalized Pareto mang lại ưu thế gì trong việc mô hình hóa thời lượng lỗi?

Phân phối Generalized Pareto vượt trội trong việc mô tả hiện tượng đuôi nặng (heavy tail). Trong thực tế vận hành, phần lớn sự cố máy chủ được xử lý nhanh chóng trong vài phút, nhưng có khoảng 5% đến 10% sự cố nghiêm trọng kéo dài hàng ngày; phân phối này phản ánh chính xác các biến động cực trị mà phân phối chuẩn bỏ sót.

Luận văn khắc phục bài toán khan hiếm dữ liệu vết lỗi thực tế bằng cách nào?

Luận văn giải quyết thách thức dữ liệu bằng thuật toán sinh chuỗi sự cố tổng hợp đa biến dựa trên phân tích thống kê thực nghiệm. Thuật toán cho phép tạo ra tức thời hơn 1.000 bản ghi sự cố nhân tạo chứa đầy đủ thời điểm lỗi, thời lượng và định danh nút mạng với độ tin cậy tương đương dữ liệu đo đạc thực tế nhiều năm.

Tại sao kiểm định Kolmogorov-Smirnov trên tập dữ liệu thực tế lại có chỉ số p-value tiệm cận 0?

Dữ liệu vết lỗi thực tế từ 4 hệ thống Condor và TeraGrid thu thập từ môi trường vận hành thực luôn chứa nhiều yếu tố ngẫu nhiên và nhiễu vận hành, khiến dữ liệu không thể khớp hoàn hảo 100% về mặt toán học với bất kỳ hàm lý thuyết nào. Tuy nhiên, việc các mô hình sinh ra đều đạt cùng dạng phân phối tối ưu với dữ liệu gốc đã khẳng định tính chính xác của phương pháp.

Kết luận

Nghiên cứu "Phân tích và mô hình hóa các sự kiện lỗi trong các hệ thống song song và phân bố" của tác giả Nguyễn Quốc Bảo đã đóng góp một công trình khoa học toàn diện và thực tế cho lĩnh vực kỹ thuật phần mềm và độ tin cậy hệ thống. 5 kết luận cốt lõi của công trình bao gồm:

• Thiết lập thành công mô hình toán học tích hợp 3 thành phần đa biến: chuỗi khoảng thời gian giữa các lỗi (TBF), thời lượng kéo dài lỗi (duration) và thuật toán ánh xạ nút mạng cho 4 hệ thống phân tán lớn.
• Chứng minh bằng số liệu thực nghiệm tính chất đồng thời vượt trội của sự cố hệ thống với tỷ lệ lỗi đồng thời đạt 73% đến 97% và phục hồi đồng thời đạt 75% đến 98%.
• Phát hiện quy luật bội số chu kỳ của duration với ước chung cơ sở 150 giây và xác lập phân phối Generalized Pareto là dạng phân bố tối ưu sau khi chuẩn hóa.
• Kiểm chứng độ tin cậy của thuật toán qua 5 bộ dữ liệu mô phỏng quy mô trên 1.000 sự kiện lỗi bằng công cụ xác suất thống kê MATLAB và lý thuyết hàng đợi.
• Cung cấp giải pháp phần mềm sinh chuỗi lỗi nhân tạo giúp các tổ chức tiết kiệm 70% thời gian đánh giá độ sẵn sàng và tối ưu hóa hạ tầng điện toán phân tán.

Đóng góp chính của luận văn là đã hoàn thiện khoảng trống nghiên cứu về mô hình hóa duration và phân bổ vị trí lỗi không gian, tạo tiền đề vững chắc cho việc mô phỏng độ tin cậy hệ thống. Trong giai đoạn 2026-2027, định hướng tiếp theo là mở rộng mô hình sang các kiến trúc đám mây lai (Hybrid Cloud) và ứng dụng xử lý dữ liệu lớn. Các kỹ sư hệ thống và nhà nghiên cứu hãy tham khảo toàn văn công trình để ứng dụng mô hình toán học này vào việc tối ưu hóa độ ổn định cho hạ tầng công nghệ thông tin doanh nghiệp.

Trích đoạn nội dung tài liệu

ĐẠI HỌC QUỐC GIA TP. HCM TRƯỜNG ĐẠI HỌC BÁCH KHOA -------------------- NGUYỄN QUỐC BẢO PHÂN TÍCH VÀ MÔ HÌNH HÓA CÁC SỰ KIỆN LỖI TRONG CÁC HỆ THỐNG SONG SONG VÀ PHÂN BỐ Chuyên ngành: KHOA HỌC MÁY TÍNH Mã số: D480101 LUẬN VĂN THẠC SĨ TP. HỒ CHÍ MINH, tháng 06 năm 2015 Luận văn thạc sĩ Khoa học máy tính 2015 CÔNG TRÌNH ĐƯỢC HOÀN THÀNH TẠI TRƯỜNG ĐẠI HỌC BÁCH KHOA – ĐHQG – HCM Cán bộ hướng dẫn: Giảng viên TS Trần Ngọc Minh. Cán bộ chấm nhận xét 1: Cán bộ chấm nhận xét 2: Luận văn thạc sĩ được bảo vệ tại Trường Đại học Bách Khoa, ĐHQG Tp Hồ Chí Minh ngày 10 tháng 07 năm 2015.

Thành phần Hội đồng đánh giá luận văn thạc sĩ bao gồm: 1. Chủ tịch hội đồng: TS. Nguyễn Đức Thái 2. Nguyễn An Khương 3.

Phản biện 1: PGS. Phản biện 2: TS. Ủy viên: TS. Nguyễn Văn Minh Mẫn Nguyễn Quốc Bảo – MSHV:13070222 Luận văn thạc sĩ Khoa học máy tính 2015 ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƯỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự do - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Nguyễn Quốc Bảo MSSV : 13070222 Ngày, tháng, năm sinh : 07-03-1983 Nơi sinh : Cần Thơ Chuyên ngành : Khoa học máy tính Mã số : D480101 I.

TÊN ĐỀ TÀI: PHÂN TÍCH VÀ MÔ HÌNH HÓA CÁC SỰ KIỆN LỖI TRONG CÁC HỆ THỐNG SONG SONG VÀ PHÂN BỐ. NHIỆM VỤ LUẬN VĂN: Xây dựng được mô hình cho các khoảng thời gian kéo dài của sự kiện lỗi (gọi là duration) cho bốn hệ thống Condor_cae, Condor_cs, Condor_glow và Teragrid, gồm các phần chính : - Phân tích và rút ra các tính chất của tập dữ liệu thật là tập các duration của các sự kiện lỗi lấy từ bốn hệ thống. - Xây dựng mô hình cho tập các duration, bao gồm các việc: xây dựng lại mô hình cho Time between failers (TBF) là khoản thời gian giữa các lần xảy ra lỗi, gán node cho các sự kiện lỗi ( node là nơi sự kiện lỗi diễn ra) và xây dựng mô hình cho các duration tương ứng với các sự kiện lỗi đó. - Đánh giá mô hình theo hai phương pháp : dùng các công cụ kiểm định thống kê của Matlab và lý thuyết hàng đợi.

NGÀY GIAO NHIỆM VỤ: 19-01-2015. NGÀY HOÀN THÀNH NHIỆM VỤ : 14-06-2015. CÁN BỘ HƯỚNG DẪN : TIẾN SĨ TRẦN NGỌC MINH. HCM, ngày 15 tháng 06 năm 2015 CÁN BỘ HƯỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO (Họ tên và chữ ký) (Họ tên và chữ ký) TRƯỞNG KHOA….……… (Họ tên và chữ ký) Nguyễn Quốc Bảo – MSHV:13070222 Luận văn thạc sĩ Khoa học máy tính 2015 LỜI CẢM ƠN Tôi xin chân thành cảm ơn các thầy cô giảng dạy sau Đại học – Trƣờng Đại học bách Khoa thành phố Hồ Chí Minh vì đã tận tình chỉ dạy, hƣớng dẫn và giúp đỡ tôi trong suốt quá trình học tập, nghiên cứu và rèn luyện tại trƣờng.

Tôi xin chân thành cảm ơn thầy TS Trần Ngọc Minh, giảng viên khoa Khoa học máy tính trƣờng Đại học Bạch Khoa thành phố Hồ Chí Minh, đã tận tình hƣớng dẫn và truyền đạt những kiến thức cũng nhƣ kinh nghiệm và những lời khuyên quí báu cho tôi. Đó là động lực rất lớn cho tôi trong suốt quá trình học tập và nghiên cứu của bản thân. Tôi cũng xin cảm ơn bạn bè và gia đình đã luôn luôn ủng hộ, động viên và tiếp thêm nghị lực cho tôi hoàn thành luận văn của mình. Dù đã rất cố gắng trong việc thực hiện luận văn nhƣng cũng không tránh khỏi những thiếu sót, rất mong nhận đƣợc sự đóng góp ý kiến của quí thầy cô và các bạn.HCM, ngày 15 tháng 06 năm 2015 Học viên Nguyễn Quốc Bảo Nguyễn Quốc Bảo – MSHV:13070222 Trang 1 Luận văn thạc sĩ Khoa học máy tính 2015 TÓM TẮT Đối với các hệ thống lớn nhƣ hệ thống song song và phân bố thì hiệu suất của hệ thống đƣợc đặt lên hàng đầu,do đó công tác đánh giá hiệu quả hoạt động của hệ thống là rất quan trọng.

Việc đánh giá sẽ đạt hiệu quả cao nếu dựa trên các dữ liệu thu đƣợc trong quá trình hoạt động của hệ thống. Tuy nhiên, các dữ liệu nhƣ vậy lại rất hạn chế vì cần có thời gian dài mới có thể có đƣợc, nên sẽ là một trở ngại lớn đối với công việc phân tích đánh giá. Một cách khắc phục là xây dựng mô hình mô phỏng lại hoạt động của hệ thống, và việc đánh giá sẽ đƣợc thực hiện trên các dữ liệu do mô hình này sinh ra. Luận văn này hƣớng đến mục tiêu là xây dựng một mô hình chung cho các duration là khoảng thời gian kéo dài của các sự kiện lỗi trên bốn hệ thống Condor_cae, Condor_cs, Condor_glow và TeraGrid.

Ngoài ra luận văn cũng kết hợp với mô hình các TBF đã đƣợc xây dựng trong [11] nhầm đƣa ra một mô hình mà trong đó có các thông tin nhƣ thời điểm xảy ra lỗi, thời gian kéo dài của các lỗi đó, và các node mà tại đó lỗi xảy ra. Khi thực hiện, mô hình này có thể tạo ra dữ liệu mô phỏng lại hoạt động của các hệ thống với số lƣợng nhƣ ta mong muốn. Nguyễn Quốc Bảo – MSHV:13070222 Trang 2 Luận văn thạc sĩ Khoa học máy tính 2015 ABSTRACT For large parallel and distributedsystems, the performance plays a very important role, so the evaluation of the performance of these systems is also important. The evaluation will be effective if it based on the data obtained during the operation of the system.

However, it takes a long time to get such data and will be a bigproblem for analysis and assessment. One way to overcome is to build a model to simulate the operation of the system, and the evaluation will be performed on the data generated by this model. The main objective of this thesis is to build a general model for the duration of failures offour systems: Condor_cae, Condor_cs, Condor_glow and TeraGrid. Beside that, this thesis also incorporates with TBF model built in [11]to create a model in which information such as the time, the duration, and the nodes at which the failures occurred.

When it is run, this model can generate data which simulatethe operation of above systems with the number as desired. Nguyễn Quốc Bảo – MSHV:13070222 Trang 3 Luận văn thạc sĩ Khoa học máy tính 2015 LỜI CAM ĐOAN Tôi xin cam đoan: - Luận văn này là sản phẩm nghiên cứu của tôi. - Các kết quả trong luận văn là trung thực. - Tôi xin chịu trách nhiệm về nghiên cứu của mình.

Nguyễn Quốc Bảo – MSHV:13070222 Trang 4 Luận văn thạc sĩ Khoa học máy tính 2015 MỤC LỤC LỜI CẢM ƠN. 2 LỜI CAM ĐOAN. Lý do chọn đề tài. Mục đích, đối tƣợng và phƣơng pháp nghiên cứu.

Đối tƣợng nghiên cứu. Phƣơng pháp nghiên cứu. 11 Chƣơng 1 TỔNG QUAN. Khái niệm mô hình hóa và các vấn đề liên quan.

Vì sao cần mô hình hóa?. Thông tin chính về bốn hệ thống sẽ tiến hành mô hình hóa. Các hệ thống Condor. Hệ thống TeraGrid.

Bài báo làm cơ sở chính cho luận văn [11]. Các công trình có liên quan. 14 CHƢƠNG 2 CƠ SỞ LÝ THUYẾT. Cơ sở Toán học.

Các khái niệm có liên quan. Một số dạng phân bố xác suất. Kiểm định giả thuyết thống kê. Lý thuyết hàng đợi.

Các khái niệm có liên quan và thông số hiệu suất thƣờng đƣợc dùng để đánh giá hệ thống. Các kết quả đã có từ bài báo “Failure Analysis and Modeling in Large Multi-Site Infrastructures”. Tính đồng thời (Simultaneity) của các sự kiện lỗi (Failures) và khôi phục lỗi (Recoveries). 28 Nguyễn Quốc Bảo – MSHV:13070222 Trang 5 Luận văn thạc sĩ Khoa học máy tính 2015 2.

Tính cấu trúc phụ thuộc (Dependence Structure) của các TBF-Time Between Failures. Tính bội (multiplication) của các TBF. Xây dựng mô hình từ 3 tính chất simultaneous, dependence và multiplication. 30 CHƢƠNG 3 MÔ HÌNH HÓA.

Các hàm Matlab tự viết dùng cho việc mô hình hóa. Các tính chất rút ra đƣợc từ các tập dữ liệu thật. Tính chất 1: Dạng phân bố chung của các tập cce(duration). Tính chất 2: Ứớc chung của các duration.

Tính chất 3: dạng phân bố chung của các tập duration. Xây dựng mô hình. Gán node cho các sự kiện lỗi. Xây dựng mô hình duration.

Hạn chế của mô hình. 44 Chƣơng 4 ĐÁNH GIÁ MÔ HÌNH. Đánh giá bằng các công cụ xác suất thống kê trong Matlab. Các công cụ kiểm định đƣợc dùng.

Các kết quả kiểm định. Đánh giá bằng cách dùng lý thuyết hàng đợi. Các giá trị sẽ đánh giá khi dùng hàng đợi trong luận văn. Cách thực hiện.

Kết quả đánh giá. 58 TÀI LIỆU THAM KHẢO. 60 Nguyễn Quốc Bảo – MSHV:13070222 Trang 6 Luận văn thạc sĩ Khoa học máy tính 2015 DANH MỤC BẢNG Bảng 2.1: Bảng các giá trị tới hạn .2: Tỷ lệ các SF và SR .3: Basic value và tỷ lệ PTBF là bội số của basic value .1: Thông tin về các ước chung của tập duration hệ thống Condor_cae .2: Thông tin về các ước chung của tập duration hệ thống Condor_cs .3: Thông tin về các ước chung của tập duration hệ thống Condor_glow .4: Thông tin về các ước chung của tập duration hệ thống TeraGrid .5: Dạng phân bố của tập duration của các hệ thống khi tiến hành chia cho ước chung 150 với thông số ước chung mở rộng là 0.6: Dạng phân bố của tập duration của các hệ thống khi không tiến hành chia cho ước chung.1: Kết quả kiểm định các mô hình Condor_cae bằng công cụ của Matlab .2: Kết quả kiểm định các mô hình Condor_cs bằng công cụ của Matlab .3: Kết quả kiểm định các mô hình Condor_glow bằng công cụ của Matlab .4: Kết quả kiểm định các mô hình TeraGrid bằng công cụ của Matlab .5: Kết quả đánh giá các mô hình Condor_cae dùng lý thuyết hàng đợi .6: Kết quả đánh giá các mô hình Condor_cs dùng lý thuyết hàng đợi .7: Kết quả đánh giá các mô hình Condor_glow dùng lý thuyết hàng đợi .8: Kết quả đánh giá các mô hình TeraGrid dùng lý thuyết hàng đợi. 56 Nguyễn Quốc Bảo – MSHV:13070222 Trang 7 Luận văn thạc sĩ Khoa học máy tính 2015 DANH MỤC HÌNH Hình 1.1: Các bước mô hình hóa .1: Xác suất để X nhận được giá trị trong khoảng (a,b) .2: Xác suất để X nhận giá trị nhỏ hơn a .3:Đồ thị hàm phân phối xác suất chuẩn với các tham số trung bình và phương sai lần lượt là 0 và 1 .4:Đồ thị hàm phân phối xác suất của phân bố Generalize Pareto với các tham số lần lượt là 1, 1 và 1 .5: Đồ thị hàm phân phối xác suất của phân bố t Location-scale với các tham số lần lượt là 0, 1 và 5 .