Luận văn thạc sĩ khoa học máy tính nghiên cứu phát triển công cụ trực quan hóa dữ liệu đánh giá hiệu suất máy tính cụm

Luận văn thạc sĩ khoa học máy tính tập trung nghiên cứu phát triển công cụ trực quan hóa dữ liệu đánh giá hiệu suất máy tính cụm hiệu quả.

• Tác giả: Huỳnh Vang
• Người hướng dẫn: PGS.TS Thoại Nam
• Trường học: Đại học Bách Khoa
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nghiên Cứu, Phát Triển Công Cụ Trực Quan Hóa Dữ Liệu Đánh Giá Hiệu Suất Máy Tính Cụm
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2016
• Địa điểm: Hồ Chí Minh

Tóm tắt

I. Giới thiệu

Hiệu suất của các hệ thống máy tính lớn, đặc biệt là máy tính cụm, là một vấn đề quan trọng trong lĩnh vực khoa học máy tính. Để đánh giá hiệu suất, các công cụ như HPL và Graph500 được sử dụng. Tuy nhiên, việc hiểu và phân tích kết quả từ các công cụ này đòi hỏi người dùng có kiến thức chuyên môn. Luận văn này tập trung vào việc phát triển một công cụ trực quan hóa dữ liệu nhằm giúp người dùng dễ dàng phân tích và hiểu rõ hơn về hiệu suất của máy tính cụm. Công cụ này không chỉ giúp trực quan hóa kết quả từ HPL và Graph500 mà còn cho phép phân tích hiệu suất khi triển khai máy ảo và Docker trên hệ thống máy tính cụm.

1.1. Lý do chọn đề tài

Với sự phát triển nhanh chóng của công nghệ máy tính, nhu cầu đánh giá hiệu suất của các hệ thống máy tính lớn ngày càng tăng. Các công cụ đánh giá hiệu suất như HPL và Graph500 đã trở thành tiêu chuẩn trong ngành. Tuy nhiên, kết quả từ các công cụ này thường ở dạng văn bản, khó hiểu đối với người dùng không có chuyên môn. Do đó, việc phát triển một công cụ trực quan hóa dữ liệu là cần thiết để giúp người dùng dễ dàng tiếp cận và hiểu rõ hơn về hiệu suất của hệ thống.

1.2. Mục tiêu và giới hạn đề tài

Mục tiêu của luận văn là phát triển một công cụ trực quan hóa dữ liệu từ kết quả đo đạc hiệu suất của máy tính cụm. Công cụ này sẽ giúp người dùng phân tích và đánh giá hiệu suất một cách trực quan, từ đó phát hiện các bất thường trong hiệu suất. Giới hạn của đề tài không bao gồm việc xây dựng công cụ đánh giá hiệu suất mà chỉ tập trung vào việc trực quan hóa và phân tích kết quả đã có.

II. Công cụ đánh giá hiệu suất và trực quan hóa dữ liệu

Các công cụ đánh giá hiệu suất máy tính cụm như HPL và Graph500 đóng vai trò quan trọng trong việc đo đạc hiệu suất. HPL tập trung vào khả năng tính toán, trong khi Graph500 đánh giá khả năng truy xuất dữ liệu. Việc sử dụng các công cụ này giúp người dùng có cái nhìn tổng quan về hiệu suất của hệ thống. Tuy nhiên, để hiểu rõ hơn về các kết quả này, cần có các kỹ thuật trực quan hóa dữ liệu. Trực quan hóa không chỉ giúp người dùng dễ dàng quan sát mà còn phát hiện các vấn đề về hiệu suất một cách nhanh chóng.

2.1. Công cụ đánh giá hiệu suất máy tính cụm

Công cụ HPL được sử dụng để đo đạc hiệu suất tính toán của máy tính cụm, trong khi Graph500 tập trung vào khả năng xử lý dữ liệu. Việc sử dụng các công cụ này giúp đánh giá hiệu suất một cách chính xác và hiệu quả. Tuy nhiên, việc trình bày kết quả từ các công cụ này thường gặp khó khăn, do đó, việc phát triển một công cụ trực quan hóa là cần thiết để giúp người dùng dễ dàng hiểu và phân tích các kết quả này.

2.2. Trực quan hóa dữ liệu

Trực quan hóa dữ liệu là một kỹ thuật quan trọng trong việc phân tích hiệu suất. Các biểu đồ và đồ thị giúp người dùng dễ dàng quan sát và phát hiện các vấn đề về hiệu suất. Việc áp dụng các thư viện JavaScript như D3, HighCharts trong việc trực quan hóa dữ liệu sẽ giúp nâng cao khả năng hiển thị và phân tích hiệu suất của hệ thống máy tính cụm. Điều này không chỉ giúp người dùng hiểu rõ hơn về hiệu suất mà còn hỗ trợ trong việc tối ưu hóa hệ thống.

III. Thiết kế và xây dựng công cụ

Quá trình thiết kế và xây dựng công cụ trực quan hóa dữ liệu bao gồm nhiều bước quan trọng. Đầu tiên, cần thu thập và lưu trữ dữ liệu từ các công cụ đánh giá hiệu suất như HPL và Graph500. Sau đó, dữ liệu này sẽ được phân tích và trực quan hóa thông qua các biểu đồ và đồ thị. Việc lựa chọn các biểu đồ phù hợp là rất quan trọng để đảm bảo rằng người dùng có thể dễ dàng hiểu và phân tích dữ liệu. Công cụ này sẽ được triển khai trên nền tảng web, giúp người dùng dễ dàng truy cập và sử dụng.

3.1. Thu thập và lưu trữ dữ liệu

Việc thu thập dữ liệu từ các công cụ HPL và Graph500 là bước đầu tiên trong quá trình xây dựng công cụ. Dữ liệu này sẽ được lưu trữ một cách có hệ thống để dễ dàng truy cập và phân tích sau này. Các thông số quan tâm sẽ được xác định để đảm bảo rằng dữ liệu thu thập được đầy đủ và chính xác. Điều này sẽ giúp người dùng có cái nhìn tổng quan về hiệu suất của hệ thống máy tính cụm.

3.2. Phân tích và trực quan hóa dữ liệu

Sau khi thu thập dữ liệu, bước tiếp theo là phân tích và trực quan hóa dữ liệu. Các phương pháp phân tích sẽ được áp dụng để hiểu rõ hơn về hiệu suất của hệ thống. Việc lựa chọn các biểu đồ trực quan hóa phù hợp sẽ giúp người dùng dễ dàng quan sát và phát hiện các bất thường trong hiệu suất. Công cụ sẽ cung cấp các tính năng tương tác để người dùng có thể tùy chỉnh và điều chỉnh các thông số theo nhu cầu của mình.

IV. Thực nghiệm đánh giá

Thực nghiệm và đánh giá công cụ là bước quan trọng để xác định hiệu quả của công cụ trực quan hóa dữ liệu. Các kịch bản đánh giá sẽ được thiết lập để kiểm tra khả năng của công cụ trong việc phân tích và trực quan hóa dữ liệu. So sánh với các công cụ hiện có sẽ giúp xác định những điểm mạnh và điểm yếu của công cụ mới. Việc thu thập phản hồi từ người dùng cũng sẽ giúp cải thiện và tối ưu hóa công cụ trong tương lai.

4.1. Cấu hình cụm máy tính và kịch bản đánh giá

Cấu hình cụm máy tính sẽ được thiết lập để thực hiện các kịch bản đánh giá hiệu suất. Các thông số như số lượng thực thể ảo hóa và kích thước bài toán sẽ được thay đổi để kiểm tra khả năng của công cụ trong việc phân tích và trực quan hóa dữ liệu. Việc thực hiện các kịch bản này sẽ giúp đánh giá chính xác hiệu suất của công cụ và khả năng đáp ứng nhu cầu của người dùng.

4.2. So sánh với các phần mềm khác

So sánh công cụ trực quan hóa dữ liệu với các phần mềm hiện có sẽ giúp xác định những ưu điểm và nhược điểm của công cụ mới. Việc này không chỉ giúp người dùng có cái nhìn tổng quan về hiệu suất mà còn hỗ trợ trong việc lựa chọn công cụ phù hợp với nhu cầu của mình. Các tiêu chí so sánh sẽ bao gồm tính năng, khả năng tương tác và độ chính xác của dữ liệu.

V. Tổng kết

Luận văn đã trình bày quá trình phát triển công cụ trực quan hóa dữ liệu nhằm đánh giá hiệu suất của máy tính cụm. Công cụ này không chỉ giúp người dùng dễ dàng phân tích và hiểu rõ hơn về hiệu suất mà còn hỗ trợ trong việc phát hiện các bất thường. Kết quả đạt được cho thấy công cụ có khả năng đáp ứng nhu cầu của người dùng trong việc đánh giá hiệu suất. Hướng phát triển trong tương lai sẽ tập trung vào việc cải thiện tính năng và mở rộng khả năng tương tác của công cụ.

5.1. Kết quả đạt được

Công cụ đã được phát triển thành công và cho thấy khả năng trực quan hóa dữ liệu hiệu quả. Người dùng có thể dễ dàng phân tích và hiểu rõ hơn về hiệu suất của hệ thống máy tính cụm. Các tính năng tương tác cũng giúp người dùng tùy chỉnh và điều chỉnh các thông số theo nhu cầu của mình.

5.2. Hướng phát triển

Trong tương lai, công cụ sẽ được cải thiện để hỗ trợ nhiều tính năng hơn, bao gồm khả năng phân tích dữ liệu theo thời gian thực và tích hợp với các công cụ đánh giá hiệu suất khác. Việc mở rộng khả năng tương tác sẽ giúp người dùng có trải nghiệm tốt hơn khi sử dụng công cụ.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu. Giới thiệu vấn đề trực quan hóa dữ liệu trong đánh giá hiệu suất hệ thống, lý do chọn đề tài, mục tiêu, giới hạn đề tài, phương pháp thực hiện và đóng góp của đề tài. Chương 2: Công cụ đánh giá hiệu suất và trực quan hóa dữ liệu. Giới thiệu các công cụ đo đạc hiệu năng máy tính cụm, các kĩ thuật trực quan hóa dữ liệu và trực quan hóa dữ liệu đánh giá hiệu suất.

Khảo sát các công cụ trực quan hóa hiệu suất máy tính cụm đã có và rút ra kết luận. Chương 3: Thiết kế và xây dựng công cụ. Trình bày cách thu thập và lưu trữ dữ liệu, phân tích dữ liệu, trực quan hóa dữ liệu và hiện thực công cụ. Chương 4: Thực nghiệm, đánh giá.

Thực nghiệm công cụ và đánh giá mục tiêu đề ra, so sánh với các công cụ đã có. Chương 5: Tổng kết. Nêu ra kết quả đạc được, hạn chế và hướng phát triển của đề tài. 4 CHƯƠNG 2: CÔNG CỤ ĐÁNH GIÁ HIỆU SUẤT VÀ TRỰC QUAN HÓA DỮ LIỆU 2.

Công cụ đánh giá hiệu suất máy tính cụm Các công cụ đo đạc khác nhau được sử dụng vào các mục đích đánh giá hiệu suất hệ thống khác nhau. Một số công cụ tập trung vào việc đánh giá hiệu suất của CPU. Một số công cụ khác tập trung vào đánh giá hiệu suất truy xuất file server. Một số công cụ tập trung vào hiệu suất của các thiết bị nhập xuất (I/O).

Một số công cụ tập trung đánh giá tốc độ của mạng. Có một số danh sách dùng để xếp hạng của hiệu suất của các hệ thống máy tính. Linpack TOP500 là danh sách xếp hạng các hệ thống máy tính quan tâm đến hiệu suất của CPU về thực hiện các phép tính động (floating point). Graph500 là danh sách xếp hạng của các hệ thống máy tính quan tâm đến khả năng xử lí dữ liệu.

Vì thế việc đánh giá hiệu suất hệ thống máy tính cụm là việc rất phức tạp. Trong đó danh sách xếp hạng TOP500 có ảnh hưởng nhất đến công nghiệp. Danh sách TOP500 liên tục được cập nhập, là một gợi ý cho việc thiết kế hệ thống máy tính tính toán hiệu năng cao và cũng là một gợi ý cho yêu cầu của các ứng dụng tính toán hiệu năng cao [24]. Máy tính cụm gồm nhiều máy vật lý kết nối với nhau.

Trên cụm máy tính này ta triển khai các các công nghệ ảo hóa như máy ảo và Docker. Các thực thể ảo hóa được triển khai trên máy vật lý với số lượng thực thể tăng dần. Để đánh giá hiệu suất của cụm máy tính, các công cụ đo đạc hiệu năng HPL và Graph500 được sử dụng để đo đạc hiệu suất của cụm máy tính. Các kịch bản dùng để đánh giá hiệu suất bao gồm khảo sát sự thay đổi số lượng thực thể ảo hóa và kích thước bài toán ứng với mỗi công cụ.

Công cụ đánh giá khả năng tính toán (HPL) 2. Mục đích của công cụ HPL 5 Để chọn và mua một hệ thống tính toán hiệu năng cao (HPC) không dễ dàng như việc mua một chiếc máy tính cá nhân (PC). Bởi vì hệ thống HPC rất đắt, người dùng muốn đánh giá hệ thống một cách kĩ lưỡng trước khi quyết định mua hệ thống đắt tiền đó [24]. Với sự phát triển của kiến trúc máy tính, nó trở nên rất phức tạp khi so sánh hiệu suất của nhiều hệ thống máy tính khác nhau dựa trên thông số kỹ thuật của nhà sản xuất.

Vì thế ta cần có một công cụ đo đạc để so sánh hiệu năng tính toán của các hệ thống khác nhau, tìm ra điểm yếu của hệ thống và đánh giá các kịch bản sử dụng hệ thống với các kiểu cấu hình khác nhau. Yêu cầu cơ bản của các công cụ đo đạc hiệu năng tính toán thông dụng là phải hỗ trợ việc đánh giá hiệu suất của hệ thống với nhiều kiểu tính toán, thuật toán tính toán khác nhau, hỗ trợ tập dữ liệu kiểm thử với nhiều tình huống đo đạc khác nhau [24]. Các công cụ đo đạc được sử dụng để mô phỏng khả năng hoạt động của cả hệ thống máy tính bao gồm từng thành phần của hệ thống và của cả hệ thống. Việc đo đạc hiệu suất hệ thống thường không dễ dàng và liên quan đến nhiều lần đo đạc để đưa ra dự đoán và kết luận hữu ích cho hiệu suất hệ thống.

Việc xử lý dữ liệu đo đạc cũng rất phức tạp đòi hỏi việc hiểu các thông số đo đạc, thông số của hệ thống và các kịch bản đo đạc khác nhau. Linpack [9] là công cụ phổ biến để đánh giá khả năng thực hiện phép tính động của hệ thống tính toán hiệu năng cao. Linpack dùng để xếp hạng TOP500 các hệ thống siêu máy tính trên thế giới bằng cách đo khả năng thực hiện phép tính động bằng cách giải hệ phương trình đại số tuyến tính sử dụng phương pháp khử Gauss. HPL là một công cụ phổ biến để đánh giá khả năng tính toán của hệ thống máy tính tính toán song song, nó là một chuẩn để đánh giá khả năng thực hiện các phép tính động của CPU.

Xác định các thông số quan tâm cho việc khảo sát hiệu suất máy tính cụm Các thông số cần quan tâm cho mỗi phép đo của HPL trên cụm máy tính mà ta cần quan tâm để khảo sát là: - Lượng RAM sử dụng cho mỗi node tính toán (ram) - Công nghệ ảo hóa (VM, Docker) - Số lượng thực thể ảo hóa (instances/node) - Hiệu suất tối đa trên lý thuyết (Ppeak) 2. Công cụ đánh giá khả năng truy xuất dữ liệu 2. Giới thiệu Graph 500 Benchmark 1(Graph500) Hiệu năng tính toán của các hệ thống siêu máy tính không ngừng tăng lên. Bởi vì tốc độ tính toán của CPU tuân theo định luật Moore, và nhanh hơn so với tốc độ tăng của dung lượng bộ nhớ, đĩa cứng, tốc độ của mạng và thông lượng của các thiết bị nhập xuất, cho nên nó là thắt cổ chai cho hệ thống máy tính lớn.

Đó là lý do ra đời Graph500 Benchmark. Việc phân tích và tính toán trên đồ thị lớn trở thành chủ đề được quan tâm như phân tích mạng xã hội, nghiên cứu cấu trúc protein, và kết nối trên mạng WEB [11]. Số lượng các đỉnh và cạnh trong đồ thị cần phân tích không ngừng tăng lên. TOP500 [8] là một công cụ phổ biến để xếp hạng khả năng tính toán của máy tính cụm, dựa trên việc giải hệ phương trình đại số tuyến tính.

Graph500 là một công cụ đo đạc khác dùng để đo đạc khả năng truy xuất dữ liệu của hệ thống máy tính cụm. Top500 là bảng xếp hạng các siêu máy tính dựa trên tiêu chí về khả năng tính toán, ngược lại Graph500 là bảng xếp hạng các siêu máy tính dựa trên khả năng truy xuất dữ 7 liệu. Graph500 Benchmark sử dụng thuật toán BFS (Breadth-First Search) để đo đạc khả năng truy xuất dữ liệu của hệ thống máy tính cụm [13]. Graph500 Benchmark cung cấp một chương trình kiểm tra và đo thời gian để xác định chính xác khả năng truy xuất dữ liệu của hệ thống.

Xác định các thông số quan tâm cho việc khảo sát hiệu suất máy tính cụm Các thông số cần quan tâm cho mỗi phép đo của Graph500 Benchmark 1 trên cụm máy tính mà ta cần quan tâm để khảo sát là: - Kích thước bài toán sử dụng cho mỗi phép đo - Công nghệ ảo hóa (VM, Docker) - Số lượng thực thể ảo hóa (instances/node) - Hiệu suất tối đa trên thực tế đã đo đạc được 2. Trực quan hóa dữ liệu 2. Khái niệm trực quan hóa 2. Mục đích trực quan hóa Mục đích chính của trực quan hóa là thể hiện thông tin ẩn chứa bên trong dữ liệu dưới dạng trực quan cho người dùng.

Các kỹ thuật trực quan hóa dữ liệu khác nhau được sử dụng cho các tình huống trực quan hóa khác nhau để chuyển tải các mức hiểu biết khác nhau cho người dùng. Nhiệm vụ của trực quan hóa dữ liệu là rút trích các thông tin hữu ích từ dữ liệu đã có hoặc đã được thu thập [25]. Trực quan hóa là một dạng biểu diễn trực quan cung cấp thông tin ẩn chứa bên trong cho người dùng. Mục đích cơ bản của trực quan hóa là tạo dạng tương tác trực quan để biểu diễn thông tin tận dụng khả năng giải quyết vấn đề bằng tri giác và hiểu biết của 8 con người.

Mục đích cuối cùng là người dùng có thể dễ dàng hiểu và làm sáng tỏ lượng lớn và phức tạp của thông tin. “Trực quan hóa là sử dụng sự hỗ trợ của máy tính, tương tác, biểu diễn trực quan của dữ liệu để mở rộng nhận thức, trong đó nhận thức là khả năng thu nhận hay sử dụng tri thức. Trực quan hóa là một biểu diễn dạng hình ảnh mà truyền đạt các ý tưởng phức tạp một cách chính xác, rõ ràng và hiệu quả”. Hình ảnh miêu tả này phải dễ hiểu và giải thích hiệu quả.

Mục đích chính của trực quan hóa là tìm ra các thông tin ẩn chứa bên trong dữ liệu. Mục đích của trực quan hóa là phân tích, thăm dò, khám phá, làm sáng tỏ và truyền đạt thông tin dưới dạng có thể hiểu được. Trực quan hóa được sử dụng để biểu diễn một lượng lớn thông tin một cách súc tích, chặc chẽ từ nhiều góc nhìn, và cung cấp chi tiết ở nhiều mức độ khác nhau. Quá trình trực quan hóa Quá trình thiết kế trực quan hóa có thể được chia thành các bước như sau: Hình 2.1: Các bước trực quan hóa Ta có thể xem quá trình trực quan hóa là một hàm Vis ánh xạ giữa tập DI , là tập dữ liệu thô gồm nhiều kiểu dữ liệu khác nhau, vào tập I là tập các ảnh được tạo ra để hiển thị cho người dùng: Vis: DI  I (2.1) 9 Quá trình tương tác (thay đổi hình ảnh) giúp người dùng nhận được thông tin nhiều hơn từ tập dữ liệu thô và trả lời các câu hỏi mà người dùng quan tâm từ hình ảnh nhận được.

Ta có thể xem quá trình tương tác là một hàm Insight ánh xạ từ ảnh đầu ra vào tập dữ liệu thô ban đầu, là một hàm ngược của hàm Vis: Insight: I  DI (2.2) Ta có thể xem hàm Insight là một hàm ánh xạ từ tập ảnh sang tập dữ liệu thô, hay cụ thể hơn, hàm Insight ánh xạ từ ảnh được tạo ra sang câu hỏi mà người dùng muốn biết về tập dữ liệu thô. Quá trình trực quan hóa có thể được xem như là một hàm hợp của các hàm như hình trên.