Tổng quan nghiên cứu

Sự bùng nổ của tính toán khoa học hiện đại đặt ra yêu cầu xử lý các bài toán có độ phức tạp cực lớn thuộc lớp NP-Hard. Điển hình như bài toán tối ưu vị trí nhà máy nug30 với không gian tìm kiếm lên tới 2.65 x 10^32 phép toán cơ bản, từng đòi hỏi 10 siêu máy tính 400 CPU vận hành liên tục trong 7 ngày mới có thể tìm ra lời giải. Để đáp ứng nhu cầu này, các hệ thống điện toán lưới quy mô lớn đã được xây dựng, tiêu biểu là dự án lưới EGEE của châu Âu với hơn 41.000 CPU và 5 triệu Gbytes dung lượng lưu trữ phục vụ phân tích dữ liệu hạt nhân tại máy gia tốc hạt LHC.

Tuy nhiên, hạ tầng điện toán lưới truyền thống đang bộc lộ nhiều hạn chế nghiêm trọng: chi phí đầu tư phần cứng chuyên dụng quá cao, tính không đồng nhất giữa các trung tâm dữ liệu, thiếu tính linh hoạt và tài nguyên cấp phát cho các tổ chức ảo thường bị cố định, không thể tự động co giãn theo tải thực tế.

Xuất phát từ thực tiễn đó, luận văn thạc sĩ chuyên ngành Truyền dữ liệu và mạng máy tính của tác giả Phạm Đức Hải, dưới sự hướng dẫn khoa học của TS. Nguyễn Hồng Quang tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội (bảo vệ tháng 9 năm 2011), tập trung giải quyết bài toán: Tăng cường hạ tầng tính toán lưới bằng công nghệ ảo hóa và điện toán đám mây. Nghiên cứu đi sâu khai thác mô hình Hạ tầng như một dịch vụ (IaaS) thông qua hai bộ công cụ nguồn mở tiên phong là OpenNebula và StratusLab. Đóng góp của đề tài giúp tối ưu hóa 100% hiệu suất khai thác phần cứng, cho phép tự động hóa khởi tạo các nút tính toán dạng máy ảo trong khoảng 3 đến 5 phút, cắt giảm đáng kể chi phí vận hành và nâng cao tính sẵn sàng cho toàn hệ thống.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu xây dựng trên nền tảng tích hợp giữa ba trụ cột công nghệ tính toán phân tán:

  • Lý thuyết Điện toán lưới (Grid Computing): Dựa trên định nghĩa chuẩn mực của Ian Foster và Carl Kesselman, xem lưới là cơ sở hạ tầng chia sẻ tài nguyên tính toán phân tán địa lý, không quản lý tập trung, sử dụng giao thức mở và đảm bảo chất lượng dịch vụ cao cho các Tổ chức ảo (Virtual Organization). Hệ thống ứng dụng các phần mềm trung gian tiêu biểu gồm Globus Toolkit phiên bản 5.4 và gLite của dự án EGEE/EGI.
  • Lý thuyết Điện toán đám mây (Cloud Computing): Áp dụng chuẩn định nghĩa của Viện Tiêu chuẩn và Công nghệ Quốc gia Hoa Kỳ (NIST), bao quát 5 đặc tính thiết yếu (tự phục vụ theo nhu cầu, truy cập mạng rộng rãi, dùng chung tài nguyên, co giãn nhanh chóng, dịch vụ đo đếm được), 3 mô hình dịch vụ (IaaS, PaaS, SaaS) và 4 mô hình triển khai (Private, Public, Community, Hybrid Cloud).
  • Công nghệ Ảo hóa (Virtualization): Khai thác cơ chế trừu tượng hóa phần cứng thông qua tầng giám sát máy ảo (VMM/Hypervisor) tại tầng phần cứng HAL và hệ điều hành. Mô hình bảo mật sandbox phân lập triệt để giữa các máy ảo chạy trên các nền tảng mã nguồn mở (KVM, Xen, OpenVZ) và thương mại (VMware ESXi, Microsoft Hyper-V).
  • Kiến trúc điều phối IaaS: Khảo sát chuyên sâu bộ điều phối OpenNebula 3.0 với dịch vụ lõi ONED và phân phối đám mây StratusLab 1.0/2.0 tích hợp trình quản lý dịch vụ Claudia, công cụ giám sát Ganglia cùng các chuẩn công nghiệp OCCI cho tính toán và CDMI cho lưu trữ.

Phương pháp nghiên cứu

Nghiên cứu áp dụng quy trình thực nghiệm và phân tích hệ thống chặt chẽ:

  • Cỡ mẫu và nguồn dữ liệu: Đề tài thu thập và phân tích dữ liệu cấu hình thực tế từ hạ tầng 41.000 CPU của dự án lưới EGEE/EGI, đồng thời đối sánh với bộ dữ liệu kiểm thử tải mở rộng lên đến 16.000 máy ảo của dự án OpenNebula. Mô hình thực nghiệm tại phòng lab được thiết lập trên cụm máy chủ gồm 10 nút tính toán ảo hóa.
  • Phương pháp chọn mẫu: Sử dụng phương pháp chọn mẫu có chủ đích (purposive sampling), tập trung vào các nền tảng ảo hóa mã nguồn mở phổ biến nhất (KVM và Xen) nhằm tối ưu hóa chi phí đầu tư bản quyền, kết hợp đánh giá kiểm chứng với nền tảng thương mại VMware.
  • Phương pháp phân tích: Sử dụng phương pháp so sánh định lượng về thời gian cấp phát máy ảo, thông lượng dữ liệu mạng và mức độ tiêu thụ CPU/RAM; kết hợp phân tích kiến trúc định tính về tính tương thích của API đám mây (Amazon EC2 API, OGF OCCI). Phương pháp này được lựa chọn vì cho phép đánh giá trực tiếp độ trễ và tính khả thi khi nhúng các máy thợ (Worker Node) vào hạ tầng điện toán đám mây mà không làm gián đoạn phần mềm trung gian gLite.
  • Timeline nghiên cứu: Toàn bộ quá trình nghiên cứu, thiết kế kiến trúc và triển khai mô phỏng thực nghiệm được thực hiện liên tục trong 9 tháng, từ tháng 1 năm 2011 đến tháng 9 năm 2011.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình mô phỏng và thực nghiệm trên OpenNebula và StratusLab mang lại 4 kết quả then chốt:

  • Thứ nhất, chứng minh năng lực mở rộng vượt bậc của OpenNebula với lõi C++ hiệu năng cao, hỗ trợ quản trị tập trung hàng ngàn lõi CPU và hơn 16.000 máy ảo phân tán, giúp giảm 85% thời gian quản trị và cấu hình thủ công so với hệ thống máy chủ vật lý.
  • Thứ hai, xác lập 3 mô hình kiến trúc tăng cường hạ tầng lưới thông qua StratusLab: mô hình ảo hóa site lưới trong suốt đối với người dùng cuối; mô hình cung cấp song song cả dịch vụ lưới và dịch vụ đám mây IaaS; mô hình mở rộng site lưới sang đám mây lai (Hybrid Cloud). Giải pháp đám mây lai giúp huy động tài nguyên tức thời từ các đám mây công cộng bên ngoài, tăng năng lực xử lý đột biến lên hơn 200%.
  • Thứ ba, chuẩn hóa thành công quy trình đóng gói ảnh máy thợ (Worker Node) dạng ISO/chữ ký số trên Chợ ứng dụng máy ảo (Image Marketplace) của StratusLab. Thời gian khởi tạo một nút tính toán mới cho lưới EGEE rút ngắn từ 120 phút trên máy vật lý xuống chỉ còn dưới 5 phút trên máy ảo, đồng thời mức độ an toàn dữ liệu đạt 100% nhờ cơ chế cách ly sandbox.
  • Thứ tư, giải quyết triệt để bài toán lưu trữ phân tán cho hơn 5 triệu Gbytes dữ liệu của lưới EGEE thông qua việc kết hợp hệ thống file chia sẻ (NFS, GlusterFS, Lustre) với cơ chế quản lý đĩa liên tục tương thích chuẩn CDMI và Amazon EBS.

Thảo luận kết quả

Nguyên nhân cốt lõi giúp giải pháp đạt hiệu quả cao là nhờ tầng trừu tượng hóa VMM đã xóa bỏ hoàn toàn rào cản về tính không đồng nhất của phần cứng – vấn đề nan giải nhất của điện toán lưới trong hơn 2 thập kỷ.

Khi thảo luận kết quả, các dữ liệu thực nghiệm có thể được biểu diễn trực quan qua biểu đồ cột thể hiện sự chênh lệch rõ rệt về thời gian triển khai một nút mạng: từ 120 phút cài đặt hệ điều hành và gói phần mềm gLite thủ công giảm xuống còn 3 đến 5 phút khi kích hoạt ảnh máy ảo đã cấu hình sẵn. Đồng thời, bảng đối sánh hiệu năng giữa 5 nền tảng ảo hóa (KVM, Xen, OpenVZ, VirtualBox, VMware) cho thấy KVM và Xen đạt hiệu suất tính toán xấp xỉ 96-98% so với máy vật lý thuần túy, trong khi chi phí bản quyền là 0 đồng.

So với các giải pháp thương mại hóa lưới thất bại trước đó như Legion hay Platform Computing LSF, kiến trúc StratusLab kết hợp OpenNebula và công cụ điều phối Claudia tạo ra bước nhảy vọt về tính mềm dẻo. Kết quả này mở đường cho các giải pháp nền tảng đám mây PaaS thực tế như SlipStream vận hành ổn định trên hạ tầng phân tán.

Đề xuất và khuyến nghị

Dựa trên các phát hiện thực nghiệm, luận văn đưa ra 4 nhóm giải pháp kỹ thuật cụ thể:

  • Chuyển đổi toàn diện các site lưới vật lý sang mô hình ảo hóa: Tiến hành cài đặt tầng giám sát máy ảo KVM hoặc Xen trên toàn bộ hệ thống máy chủ vật lý hiện hữu trong thời gian 12 tháng. Mục tiêu cắt giảm 40% chi phí điện năng tiêu thụ và giảm 50% số lượng máy chủ vật lý cần duy trì tại các trung tâm tính toán. Chủ thể thực hiện là các kỹ sư hạ tầng tại các trung tâm tính toán hiệu năng cao.
  • Xây dựng Chợ ứng dụng máy ảo (Image Marketplace) có chứng thực số: Triển khai kho lưu trữ ảnh đĩa có gắn chữ ký số X.509 và chính sách danh sách trắng/đen (whitelist/blacklist) trong vòng 6 tháng. Mục tiêu loại bỏ 100% rủi ro lây nhiễm mã độc và đảm bảo tính toàn vẹn cấu hình của các Worker Node cho các Tổ chức ảo. Chủ thể thực hiện là đội ngũ quản trị an ninh mạng và quản trị hệ thống.
  • Thiết lập cổng kết nối đám mây lai (Hybrid Cloud Gateway): Tích hợp chuẩn giao diện OGF OCCI và AWS EC2 API vào hệ thống quản phối OpenNebula trong thời hạn 9 tháng. Mục tiêu cho phép hệ thống tự động bùng nổ tải (cloud bursting) sang các nhà cung cấp IaaS công cộng khi lưu lượng tính toán vượt quá 80% công suất nội bộ. Chủ thể thực hiện là các kiến trúc sư giải pháp đám mây.
  • Tự động hóa giám sát và điều phối tài nguyên bằng Ganglia và Claudia: Hoàn thiện quy trình thu thập số liệu tải định kỳ hàng quý, giúp hệ thống tự động co giãn số lượng máy ảo theo thời gian thực mà không cần can thiệp thủ công. Chủ thể thực hiện là nhóm vận hành hệ thống tại các viện nghiên cứu và trường đại học.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang giá trị học thuật và ứng dụng cao cho 4 nhóm đối tượng:

  • Học viên cao học, nghiên cứu sinh và giảng viên ngành Công nghệ thông tin: Tài liệu cung cấp bức tranh toàn cảnh từ lịch sử phát triển của Grid Computing, Cloud Computing đến bản chất của công nghệ ảo hóa; là tài liệu tham khảo giá trị cho các hướng nghiên cứu về hệ thống phân tán và tính toán hiệu năng cao.
  • Kỹ sư hệ thống và chuyên viên quản trị trung tâm dữ liệu: Nắm bắt phương pháp cài đặt, cấu hình và làm chủ hai bộ công cụ IaaS hàng đầu là OpenNebula và StratusLab; áp dụng trực tiếp quy trình xây dựng hệ thống file chia sẻ NFS/GlusterFS/Lustre phục vụ lưu trữ dung lượng lớn.
  • Lãnh đạo viện nghiên cứu và giám đốc công nghệ (CTO) các cơ quan, doanh nghiệp: Tham khảo căn cứ khoa học và bài toán kinh tế để lập kế hoạch chuyển đổi số hạ tầng máy chủ cục bộ sang mô hình Private Cloud hoặc Hybrid Cloud, tối ưu hóa ngân sách đầu tư thiết bị.
  • Nhà phát triển phần mềm và kiến trúc sư giải pháp đám mây: Nắm vững quy trình đóng gói máy ảo theo chuẩn OCCI/CDMI, làm tiền đề phát triển các dịch vụ PaaS thương mại như giải pháp SlipStream trên nền hạ tầng ảo hóa.

Câu hỏi thường gặp

  • Điện toán lưới khác biệt căn bản như thế nào so với Điện toán đám mây? Điện toán lưới tập trung vào việc liên kết, chia sẻ các nguồn tài nguyên tính toán phân tán không đồng nhất thuộc nhiều tổ chức khác nhau để giải quyết bài toán khoa học quy mô lớn. Trong khi đó, điện toán đám mây chú trọng vào tính mềm dẻo, tự động hóa cấp phát tài nguyên ảo hóa theo nhu cầu với mô hình chi trả dùng bao nhiêu trả bấy nhiêu.

  • Vì sao công nghệ ảo hóa là chìa khóa để tăng cường hạ tầng điện toán lưới? Ảo hóa tạo ra lớp trừu tượng hóa phần cứng (HAL), cho phép nhiều hệ điều hành khác nhau cùng chạy trên một máy vật lý trong các môi trường sandbox cô lập an toàn. Nhờ đó, quản trị viên có thể triển khai môi trường máy thợ (Worker Node) cho lưới EGEE trong 5 phút thay vì mất nhiều giờ cấu hình phần cứng vật lý phức tạp.

  • Bộ công cụ OpenNebula đóng vai trò gì trong kiến trúc giải pháp? OpenNebula đóng vai trò là tầng điều phối IaaS trung tâm, quản lý toàn diện vòng đời máy ảo, tài nguyên mạng, lưu trữ và an ninh người dùng. Với khả năng hỗ trợ đa nền tảng (KVM, Xen, VMware) và mở rộng đến 16.000 máy ảo, OpenNebula giúp chuẩn hóa toàn bộ trung tâm dữ liệu phân tán thành một đám mây linh hoạt.

  • StratusLab bổ sung những tính năng gì vượt trội cho OpenNebula? StratusLab tích hợp thêm bộ quản lý dịch vụ Claudia, công cụ giám sát Ganglia và đặc biệt là Chợ máy ảo (Image Marketplace) có ký số bảo mật. Nhờ các chuẩn công nghiệp OCCI và CDMI, StratusLab cho phép chuyển đổi nhanh chóng một site lưới truyền thống sang đám mây IaaS và dễ dàng kết nối thành đám mây lai.

  • Giải pháp đề xuất có đảm bảo an toàn thông tin khi chạy nhiều máy ảo trên cùng một máy chủ vật lý không? Hệ thống đảm bảo an toàn tuyệt đối nhờ cơ chế phân lập sandbox của hypervisor, ngăn chặn 100% khả năng lây nhiễm mã độc giữa các máy ảo. Đồng thời, mọi ảnh đĩa trên Chợ máy ảo StratusLab đều được kiểm tra mã băm và ký số X.509 trước khi khởi tạo, đảm bảo không bị chỉnh sửa trái phép.

Kết luận

  • Luận văn đã hệ thống hóa toàn diện cơ sở lý thuyết về điện toán lưới, điện toán đám mây IaaS và các công nghệ ảo hóa then chốt từ tầng phần cứng đến tầng hệ điều hành.
  • Phân tích sâu sắc kiến trúc, nguyên lý vận hành và ưu thế vượt trội của hai bộ công cụ mã nguồn mở tiêu chuẩn công nghiệp là OpenNebula 3.0 và StratusLab 1.0/2.0.
  • Đề xuất thành công 3 mô hình kiến trúc tăng cường hạ tầng tính toán lưới linh hoạt, giúp giải quyết triệt để rào cản không đồng nhất phần cứng và thiếu hụt tài nguyên cục bộ.
  • Xây dựng hoàn chỉnh quy trình chuẩn tạo ảnh đĩa ISO cho máy thợ Worker Node, rút ngắn thời gian triển khai từ 120 phút xuống dưới 5 phút cho mỗi nút tính toán trên lưới EGEE.
  • Thực nghiệm mô phỏng khẳng định tính khả thi vượt trội của giải pháp, nâng cao hiệu suất khai thác phần cứng lên 100% và mở ra khả năng mở rộng đám mây lai không giới hạn.

Trong giai đoạn tiếp theo từ năm 2012 trở đi, hướng phát triển tự nhiên của đề tài là tiếp tục mở rộng thử nghiệm trên các môi trường đa đám mây (Multi-cloud) và tích hợp các chuẩn giao tiếp đám mây mới nổi. Quý độc giả, các nhà nghiên cứu và kỹ sư hạ tầng quan tâm có thể khai thác chi tiết các sơ đồ kiến trúc và mã kịch bản cấu hình trong toàn văn luận văn thạc sĩ của tác giả Phạm Đức Hải tại thư viện Đại học Quốc gia Hà Nội để ứng dụng vào thực tiễn triển khai hệ thống tính toán hiệu năng cao.