Luận án tiến sĩ: Giải pháp nhận dạng và xử lý lỗi trong hạ tầng điện toán đám mây

Chuyên đề nghiên cứu Giải pháp nhận dạng và xử lý lỗi trong điện toán đám mây, cập nhật xu hướng mới, giá trị tham khảo cao cho chuyên gia chuyên

• Tác giả: Bùi Thanh Khiết
• Người hướng dẫn: PGS. Trần Công Hùng
• Trường học: Đại học Bách Khoa - Đại học Quốc Gia TP. Hồ Chí Minh
• Chuyên ngành: Khoa học máy tính
• Đề tài: Giải Pháp Nhận Dạng Và Xử Lý Lỗi Trong Điện Toán Đám Mây
• Loại tài liệu: luận án tiến sĩ
• Năm xuất bản: 2022
• Địa điểm: TP. Hồ Chí Minh

Tóm tắt

I. Tổng quan về giải pháp nhận dạng và xử lý lỗi trong điện toán đám mây

Điện toán đám mây đã trở thành một phần không thể thiếu trong hạ tầng công nghệ thông tin hiện đại. Tuy nhiên, việc phát hiện và xử lý lỗi trong hệ thống này là một thách thức lớn. Các lỗi có thể xảy ra ở nhiều tầng khác nhau, từ phần cứng đến phần mềm, ảnh hưởng đến hiệu suất và độ tin cậy của dịch vụ. Giải pháp nhận dạng và xử lý lỗi là cần thiết để đảm bảo tính liên tục và chất lượng dịch vụ.

1.1. Khái niệm về điện toán đám mây và tầm quan trọng của nó

Điện toán đám mây cung cấp khả năng lưu trữ và xử lý dữ liệu linh hoạt. Nó cho phép người dùng truy cập tài nguyên từ xa mà không cần đầu tư vào hạ tầng vật lý. Điều này giúp tiết kiệm chi phí và thời gian triển khai.

1.2. Các loại lỗi thường gặp trong điện toán đám mây

Lỗi trong điện toán đám mây có thể bao gồm lỗi phần cứng, lỗi phần mềm, và lỗi mạng. Mỗi loại lỗi đều có những ảnh hưởng khác nhau đến hiệu suất và độ tin cậy của dịch vụ.

II. Vấn đề và thách thức trong nhận dạng lỗi điện toán đám mây

Việc nhận dạng lỗi trong điện toán đám mây gặp nhiều thách thức do quy mô lớn và tính phức tạp của hệ thống. Các lỗi có thể xảy ra bất kỳ lúc nào và ở bất kỳ tầng nào, gây khó khăn trong việc phát hiện và xử lý kịp thời. Hệ thống cần có khả năng phản ứng nhanh chóng để giảm thiểu thiệt hại.

2.1. Tác động của lỗi đến hiệu suất hệ thống

Lỗi có thể dẫn đến gián đoạn dịch vụ, mất mát dữ liệu và giảm hiệu suất hệ thống. Điều này không chỉ ảnh hưởng đến người dùng mà còn đến uy tín của nhà cung cấp dịch vụ.

2.2. Khó khăn trong việc phát hiện lỗi

Với số lượng lớn máy chủ và dịch vụ, việc theo dõi và phát hiện lỗi trở nên phức tạp. Các phương pháp truyền thống thường không đủ hiệu quả trong môi trường điện toán đám mây.

III. Phương pháp kháng lỗi thụ động trong điện toán đám mây

Kháng lỗi thụ động là phương pháp phản ứng sau khi lỗi xảy ra. Mặc dù không thể ngăn chặn lỗi trước khi chúng xảy ra, nhưng các biện pháp này giúp giảm thiểu thiệt hại và khôi phục dịch vụ nhanh chóng.

3.1. Các kỹ thuật kháng lỗi thụ động

Các kỹ thuật như sao lưu dữ liệu, khôi phục hệ thống và bảo trì định kỳ là những phương pháp phổ biến trong kháng lỗi thụ động. Chúng giúp đảm bảo rằng dịch vụ có thể được khôi phục nhanh chóng sau khi xảy ra lỗi.

3.2. Hạn chế của kháng lỗi thụ động

Kháng lỗi thụ động không thể ngăn chặn lỗi xảy ra, do đó, thiệt hại có thể xảy ra trước khi hệ thống được khôi phục. Điều này có thể dẫn đến mất mát dữ liệu và gián đoạn dịch vụ.

IV. Giải pháp kháng lỗi chủ động trong điện toán đám mây

Kháng lỗi chủ động là phương pháp tiên tiến hơn, cho phép hệ thống dự đoán và ngăn chặn lỗi trước khi chúng xảy ra. Điều này giúp cải thiện độ tin cậy và hiệu suất của dịch vụ điện toán đám mây.

4.1. Các kỹ thuật kháng lỗi chủ động

Sử dụng học máy và trí tuệ nhân tạo để theo dõi và phân tích dữ liệu, từ đó dự đoán khả năng xảy ra lỗi. Các hệ thống này có thể tự động thực hiện các biện pháp ngăn chặn khi phát hiện dấu hiệu bất thường.

4.2. Lợi ích của kháng lỗi chủ động

Kháng lỗi chủ động giúp giảm thiểu thời gian gián đoạn dịch vụ và bảo vệ dữ liệu. Hệ thống có thể tự động điều chỉnh để duy trì hiệu suất tối ưu ngay cả khi có sự cố xảy ra.

V. Ứng dụng thực tiễn của giải pháp nhận dạng và xử lý lỗi

Các giải pháp nhận dạng và xử lý lỗi đã được áp dụng thành công trong nhiều tổ chức. Việc triển khai các hệ thống kháng lỗi chủ động đã giúp cải thiện đáng kể độ tin cậy và hiệu suất của dịch vụ điện toán đám mây.

5.1. Các trường hợp thành công trong ứng dụng

Nhiều công ty lớn đã áp dụng các giải pháp kháng lỗi chủ động và đạt được kết quả tích cực. Họ đã giảm thiểu thời gian gián đoạn dịch vụ và cải thiện trải nghiệm người dùng.

5.2. Kết quả nghiên cứu và phân tích

Nghiên cứu cho thấy rằng việc áp dụng các giải pháp kháng lỗi chủ động có thể giảm thiểu thiệt hại do lỗi gây ra và nâng cao hiệu suất hệ thống. Các số liệu thống kê cho thấy sự cải thiện rõ rệt trong thời gian hoạt động của dịch vụ.

VI. Kết luận và tương lai của giải pháp nhận dạng lỗi trong điện toán đám mây

Giải pháp nhận dạng và xử lý lỗi trong điện toán đám mây đang ngày càng trở nên quan trọng. Tương lai của công nghệ này hứa hẹn sẽ mang lại nhiều cải tiến, giúp nâng cao độ tin cậy và hiệu suất của dịch vụ.

6.1. Xu hướng phát triển trong lĩnh vực kháng lỗi

Công nghệ học máy và trí tuệ nhân tạo sẽ tiếp tục đóng vai trò quan trọng trong việc phát triển các giải pháp kháng lỗi. Các hệ thống ngày càng thông minh hơn sẽ giúp dự đoán và ngăn chặn lỗi hiệu quả hơn.

6.2. Tầm quan trọng của nghiên cứu và phát triển

Nghiên cứu và phát triển trong lĩnh vực này cần được đẩy mạnh để đáp ứng nhu cầu ngày càng cao về độ tin cậy và hiệu suất trong điện toán đám mây. Các giải pháp mới sẽ giúp cải thiện khả năng kháng lỗi và bảo vệ dữ liệu.

Trích đoạn nội dung tài liệu

CHƯƠNG 1 GIỚI THIỆU 1.1 Giới thiệu Điện toán đám mây (ĐTĐM) ngày càng trở nên phổ biến, mang lại sự tiện lợi thiết thực, giúp người dùng dễ dàng triển khai các ứng dụng một cách linh hoạt. Kiến trúc của ĐTĐM có thể chia thành hạ tầng vật lý bao gồm các thành phần vật lý như máy chủ, hệ thống lưu trữ, hệ thống mạng, v. và tầng trừu tượng tương ứng gồm dịch vụ hạ tầng (Infrastructure as a Service, viết tắt IaaS), dịch vụ nền tảng (Platform as a Service, viết tắt PaaS) dịch vụ phần mềm (Software as a Service, viết tắt SaaS) được triển khai trên hạ tầng vật lý [1]. Hiện nay, các dịch vụ công nghệ thông tin (CNTT) đa số dựa trên các nguồn tài nguyên, cơ cấu vận hành, lưu trữ, phân phối và xử lý thông tin trên ĐTĐM.

Thay vì người dùng sử dụng một hoặc nhiều máy chủ vật lý (Physical machine, viết tắt PM), người dùng có thể sử dụng các máy ảo (Virtual machine, viết tắt VM) của dịch vụ cơ sở hạ tầng từ IaaS. Thêm vào đó, tính co giãn cùng với mô hình tính phí thuê tài nguyên theo dạng sử-dụng-bao-nhiêu-trả-bấy-nhiêu (pay-as-you-go) đã góp phần cho ĐTĐM được sử dụng rộng rãi vì khách hàng chỉ trả phí trên tài nguyên, dịch vụ đã sử dụng. Năm 2018, Việt Nam đạt 41/100 điểm và trở thành nước đứng thứ 14 trong bảng xếp hạng “Chỉ số sẵn sàng cho Điện toán đám mây tại khu vực châu Á - Thái Bình Dương”. Trước đó, mức tăng chi tiêu cho ĐTĐM ở Việt Nam giai đoạn 2010- 2016 là 64,4% - cao nhất ASEAN.

Điều này cho thấy mô hình ĐTĐM đang trở nên phổ biến và bắt đầu chiếm ưu thế hơn so với mô hình CNTT truyền thống. Theo khảo sát và đánh giá của Viettel IDC, khi sử dụng dịch vụ ĐTĐM, doanh nghiệp có thể tiết kiệm tới 40% chi phí đầu tư ban đầu, rút ngắn thời gian triển khai từ 4 - 6 tuần triển khai và loại bỏ chi phí nhân sự vận hành bảo trì hệ thống so với việc tự đầu tư tại doanh nghiệp. Với quy mô lớn và kiến trúc phức tạp của trung tâm dữ liệu ĐTĐM lỗi xảy ra là điều khó tránh khỏi. Thêm vào đó, lỗi xảy ra trong môi trường ĐTĐM rất đa dạng về loại lỗi cùng với sự phức tạp của các nhân tố gây ra lỗi.

Với tính mở, linh hoạt và cấu trúc phức tạp của ĐTĐM dẫn đến nhiều loại lỗi khác nhau từ hệ thống cơ sở hạ tầng, nền tảng đến các ứng dụng trên đó. Lỗi ảnh hướng đến người dùng và gây thiệt hại lớn về kinh tế, ví dụ như tháng 8 năm 2013 Amazon ngừng hoạt động trong vòng 45 phút 1 do lỗi xảy ra đã gây thiệt hại lên đến 5 triệu đô la. Theo Tellme Networks việc phát hiện lỗi là công việc chiếm 75% thời gian khôi phục hệ thống và việc phát hiện lỗi ngăn chặn 65% lỗi xảy ra [2]. Thêm vào đó, việc gỡ lỗi và kiểm tra có thể không ngăn chặn hết tất cả các lỗi [3].

Trong khi đó, dịch vụ ĐTĐM đòi hỏi phải có khả năng nhận diện và hành xử hợp lý để đảm bảo thông suốt, sẵn sàng khi đối mặt với các lỗi [4, 5]. Các lỗi xảy ra trên trung tâm dữ liệu sẽ ảnh hưởng đến đến lượng dịch vụ cũng dẫn đến tổn thất rất lớn về kinh phí. Theo báo cáo của Viện Ponemon1 năm 2021, chi phí trung bình cho một phút ngừng cung cấp dịch ngoài kế hoạch là 7.900 đô la tăng 41% so với 2010. Thời gian trung bình cho một lần ngừng cung cung cấp dịch vụ ngoài kế hoạch là 86 phút, dẫn đến chi phí cho một lần sự cố là khoảng 690.

Theo đó, thời gian khôi phục trung bình là 119 phút, chi phí trung bình khoảng 901. Có tới 91% cá nhân/tổ chức tham gia khảo sát cho biết đã từng trải qua sự cố trung tâm dữ liệu ngoài kế hoạch trong 24 tháng. Từ đó, việc phát hiện và xác định nguyên nhân gây ra lỗi là công việc rất quan trọng nhằm đảm bảo tính sẵn sàng của dịch vụ. Hằng ngày hàng triệu tác vụ cần được thực thi trong môi trường đám mây, ví dụ, có khoảng 25 triệu tác vụ được xử lý trên đám mây của Google trong khoảng 29 ngày [6].

Độ sẵn sàng dịch vụ là một trong những yêu cầu quan trọng của ĐTĐM, nói một cách khác, tỉ lệ hoàn thành dịch vụ cần được xem xét. Theo [7], có khoảng 95% hoàn thành dịch vụ trên khối lượng công việc thực tế như vậy có khoảng tỉ lệ 5% lỗi của hàng ngàn tác vụ lỗi bị bỏ qua. ĐTĐM sở hữu một kiến trúc phân tán, do đó, lỗi của nó gần như tương tự với các mô hình điện toán phân tán [8]. Vì vậy, luôn cần có biện pháp đề phòng hầu hết các trường hợp bất thường.

Theo đó, dịch vụ ĐTĐM phải có khả năng nhận diện và hành xử hợp lý để đảm bảo tính thông suốt cũng như chất lượng dịch vụ [9, 10]. Điều đó đòi hỏi hệ thống phải có biện pháp phục hồi dữ liệu để tránh mất mát dữ liệu ngay cả khi lỗi 𝑀𝑇𝑇𝐹 đã xảy ra. Từ đó, để hệ thống đạt độ sẵn sàng cao thì 1 https://ponemonsullivanreport.com/2021/02/data-center-downtime-at-the-core-and-the-edge-a-survey-of- frequency-duration-and-attitudes/ 2 𝑀𝑇𝑇𝐹 phải lớn hơn 𝑀𝑇𝑇𝑅 hay nói cách khác là tăng 𝑀𝑇𝑇𝐹 và giảm 𝑀𝑇𝑇𝑅. Để tăng 𝑀𝑇𝑇𝐹 cần phải tăng sự hoàn hảo hoặc tăng khả năng chịu đựng lỗi của hệ thống.

Việc xây dựng hệ thống hoàn hảo được thực hiện thông qua thiết kế tốt cũng như các thành phần trong hệ thống được đảm bảo vận hành chính xác và nếu có dấu hiệu bất thường sẽ được thay thế ngay. Tuy nhiên, việc xây dựng hệ thống hoàn hảo đòi hỏi chi phí cao. Trong khi đó, xây dựng hệ thống có khả năng chịu đựng hậu quả của lỗi là đảm bảo các thành phần vẫn tiếp tục hoạt động dù lỗi có xảy ra. Đối với việc giảm 𝑀𝑇𝑇𝑅 đòi hỏi phải có hệ thống phát hiện lỗi nhanh kết hợp với duy trì yêu cầu hệ thống hoặc gỡ lỗi nhanh.

Từ đó, chiến lược kháng lỗi được chia thành hai hướng chính gồm chiến lược kháng lỗi thụ động và chiến lược kháng lỗi chủ động. Chiến lược kháng lỗi thụ động cố gắng giảm thiểu ảnh hưởng của lỗi lên quá trình thực thi ứng dụng một khi chúng xảy ra thông qua việc tăng khả năng chịu đựng lỗi hoặc gỡ lỗi nhanh. Trong khi đó, chiến lược kháng lỗi chủ động tránh phải phục hồi hệ thống từ sự cố do lỗi gây ra thông qua việc xây dựng hệ thống hoàn hảo hoặc phát hiện nhanh lỗi và thực hiện thay thế các thành phần nghi ngờ bằng các thành phần hoạt động ổn định. Lỗi có thể xảy ra ở bất kỳ một tầng cụ thể của ĐTĐM và nó sẽ ảnh hưởng lên tầng trên nó.

Ví dụ, nếu lỗi xảy ra ở hệ điều hành tại tầng PaaS có thể dẫn đến các ứng dụng trên SaaS có thể bị lỗi. Trong khi đó nếu lỗi xảy ra ở ổ cứng của máy chủ vật lý của hạ tầng ĐTĐM sẽ ảnh hưởng lên tầng IaaS và tiếp tục dẫn đến lỗi sẽ xảy ở hệ điều hành của tầng PaaS và tiếp tục ảnh hưởng đến lỗi xảy ra ở ứng dụng của tầng SaaS. Từ đó, phát hiện các lỗi phần cứng điển hình và phát triển các kỹ thuật kháng lỗi tương ứng là một vấn đề cấp thiết. Trong thực tế, vấn đề xây dựng hệ thống kháng lỗi trên hạ tầng ĐTĐM nhằm tăng độ sẵn sàng và giảm tổn thất có thể xảy ra do lỗi trong hệ thống là một trong những thách thức lớn.

Từ đó, luận án này tập trung vào nghiên cứu và đề xuất giải pháp kháng lỗi chủ động cho hạ tầng ĐTĐM.2 Tính cấp thiết của luận án Các khung kháng lỗi tập trung vào hai vấn đề chính là ngăn chặn lỗi và xử lý lỗi. Những phương pháp trong kháng lỗi thụ động phổ biến trong giới nghiên cứu cho đến nay. Tuy nhiên, do sự tiến bộ vượt bậc của học máy, trí tuệ nhân tạo, thiết bị ngày càng trở nên thông minh hơn làm gia tăng phạm vi nghiên cứu về kháng lỗi chủ động. Các 3 khung kháng lỗi ngày càng được mong đợi thông minh hơn để đưa ra các chiến lược khác nhau cho các ngữ cảnh khác nhau của lỗi trong hệ thống nhằm kháng được các dạng lỗi khác nhau.

Thêm vào đó, việc quản lý và khai thác tài nguyên hiệu quả hiện cũng là một trong các hướng nghiên cứu mở của ĐTĐM và cần được xem xét trong vấn đề kháng lỗi. Một cơ chế của điều phối dịch vụ linh hoạt trong ĐTĐM hướng đến kháng lỗi là rất cần thiết. Nói một cách khác, cần xây dựng một khung kháng lỗi đảm bảo cả độ sẵn sàng cao cũng như quản lý, khai thác tài nguyên hiệu quả. Ví dụ trong Hình 1.1 minh họa trường hợp máy chủ vật lý PM2 và PM4 trên hạ tầng ĐTĐM bị lỗi.

Điều đó dẫn đến Ứng dụng 2 và Ứng dụng 3 sẽ gặp lỗi vì các máy ảo chạy những ứng dụng này đang được triển khai trên PM2 và PM4. Theo đó, khách hàng – người thuê VM trên dịch vụ hạ tầng ĐTĐM để triển khai ứng dụng/dịch vụ phục vụ người dùng đầu cuối sẽ bị ảnh hưởng trực tiếp. Do vậy, nhà cung cấp dịch vụ cần phải có giải pháp phát hiện lỗi trên các PM cũng như đưa ra phương án di trú VM đến các PM an toàn khác nhằm tránh lỗi sắp xảy ra trên các PM đáng ngờ cũng như đảm bảo việc quản lý khai thác tài nguyên trên các PM một cách hiệu quả. Cụ thể như việc di trú các VM vào máy PM1 và PM3 có thể dẫn dến tình trạng không cân bằng về mức độ sử dụng giữa các tài nguyên trong PM và có thể gây ra phân mảnh tài nguyên.

Ví dụ, tài nguyên tại một thời điểm của PM1 được xem xét ở ba khía cạnh là CPU, MEMORY, DISK, nếu một PM có mức độ sử dụng của CPU là 90% trong khi đó lượng mức độ sử của MEMORY và DISK lần lượt là 50% và 10%. 4 việc thiết lập hàng ngàn thông số ngưỡng cho các thông số hạ tầng gặp khó khăn và phụ thuộc vào kinh nghiệm của người vận hành.  Trong các ứng dụng thực tế, việc thu thập tất cả dữ liệu lỗi rất khó vì rất tốn kém để làm cho hệ thống hoạt động trong điều kiện lỗi. Thêm vào đó, các dạng lỗi của hệ thống rất đa dạng nên khó có thể kết hợp tất cả các loại lỗi trong thực tế để tạo ra bộ dữ liệu huấn luyện chứa tất cả các mẫu của lỗi.