Luận văn thạc sĩ công nghệ thông tin nghiên cứu giải pháp công nghệ tính toán hiệu năng cao với bộ xử lý đồ họa gpu và ứng dụng

Luận văn thạc sĩ nghiên cứu công nghệ thông tin nghiên cứu giải pháp công nghệ tính toán hiệu năng cao với bộ xử lý đồ họa gpu, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện

• Tác giả: Nguyễn Đức Minh
• Người hướng dẫn: TS. Lê Quang Minh
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Giải Pháp Công Nghệ Tính Toán Hiệu Năng Cao Với Bộ Xử Lý Đồ Họa GPU Và Ứng Dụng
• Loại tài liệu: luận văn
• Năm xuất bản: 2016
• Địa điểm: Hà Nội

Mục lục chi tiết

• MỞ ĐẦU
• DANH MỤC THUẬT NGỮ
• DANH MỤC HÌNH VẼ
• 1. CHƯƠNG 1: TỔNG QUAN VỀ TÍNH TOÁN SONG SONG VÀ GPU
• 1.1. Tổng quan về tính toán song song
• 1.1.1. Tổng quan về tính toán song song
• 1.1.2. Mô hình máy tính song song
• 1.1.3. Mô hình lập trình song song
• 1.1.4. Nguyên lý thiết kế giải thuật song song
• 1.2. Tổng quan về GPU
• 1.2.1. Giới thiệu GPU
• 1.2.2. Lịch sử phát triển GPU
• 1.2.3. Kiến trúc GPU
• 1.2.4. Tính toán trên GPU
• 1.2.5. Môi trường phần mềm
• 1.2.6. Kỹ thuật và ứng dụng
• 1.2.7. Giải thuật và ứng dụng
• 2. CHƯƠNG 2: TÍNH TOÁN SONG SONG TRÊN GPU TRONG CUDA
• 2.1. Giới thiệu về môi trường phát triển CUDA
• 2.2. Môi trường lập trình và cơ chế hoạt động của chương trình CUDA
• 2.2.1. Môi trường lập trình
• 2.2.2. Cơ chế hoạt động một chương trình CUDA
• 2.3. Mô hình lập trình
• 2.3.1. Bộ đồng xử lý đa luồng mức cao
• 2.3.2. Gom lô các luồng
• 2.3.3. Lưới các khối luồng (Grid of Thread Blocks)
• 2.3.4. Mô hình bộ nhớ
• 2.4. Lập trình ứng dụng với CUDA
• 2.4.1. CUDA là mở rộng của ngôn ngữ lập trình C
• 2.4.2. Những mở rộng của CUDA so với ngôn ngữ lập trình C
• 2.4.3. Các biến Built-in
• 2.4.4. Biên dịch với NVCC
• 2.4.5. Ví dụ tính toán song song bằng CUDA
• 2.5. Ứng dụng của CUDA trong lĩnh vực công nghệ
• 2.5.1. CUDA cho ngành công nghiệp trò chơi
• 2.5.2. CUDA cho các ứng dụng video số
• 3. CHƯƠNG 3: TĂNG TỐC ĐỘ TÍNH TOÁN MỘT SỐ BÀI TOÁN SỬ DỤNG GPU
• 3.1. Giới thiệu một số bài toán cơ bản
• 3.2. Biến đổi FFT trên GPU
• 3.2.1. Phân tích Fourier
• 3.2.2. Phép biến đổi Fourier
• 3.2.3. Phân tích và biến đổi FFT trên GPU
• 3.2.4. Chương trình thử nghiệm
• 3.2.5. Kết quả thử nghiệm
• 3.2.6. Đánh giá hiệu suất tính toán
• 3.3. Phát hiện biên ảnh
• 3.3.1. Kết quả thử nghiệm
• 3.4. Tạo ảnh sơn mài
• 3.4.1. Cài đặt thuật toán tạo ảnh sơn mài trên GPU
• 3.4.2. Kết quả thử nghiệm
• 3.5. Hướng phát triển
• TÀI LIỆU THAM KHẢO
• Tài liệu tiếng Anh

Tóm tắt

I. Tổng quan về tính toán song song và GPU

Trong bối cảnh công nghệ thông tin phát triển mạnh mẽ, tính toán hiệu năng cao đã trở thành một yêu cầu thiết yếu. Công nghệ GPU (Graphic Processing Unit) đã nổi lên như một giải pháp tối ưu cho việc xử lý các tác vụ phức tạp. GPU không chỉ phục vụ cho việc xử lý đồ họa mà còn được ứng dụng rộng rãi trong các lĩnh vực như nghiên cứu thạc sĩ CNTT, xử lý tín hiệu số, và phân tích dữ liệu lớn. Việc áp dụng tính toán song song trên GPU cho phép thực hiện hàng ngàn phép toán đồng thời, từ đó tăng tốc độ xử lý và giảm thời gian tính toán. Theo một nghiên cứu, hiệu suất của GPU có thể vượt trội hơn nhiều so với CPU truyền thống trong các bài toán yêu cầu xử lý dữ liệu lớn.

1.1. Lịch sử và phát triển của GPU

GPU được phát triển từ những năm 1990 với mục đích chính là xử lý đồ họa cho các trò chơi điện tử. Tuy nhiên, với sự ra đời của CUDA (Compute Unified Device Architecture) vào năm 2007, GPU đã mở rộng khả năng của mình sang lĩnh vực tính toán khoa học. CUDA cho phép lập trình viên sử dụng GPU để thực hiện các phép toán phức tạp, từ đó tạo ra một xu hướng mới trong khoa học máy tính. Việc sử dụng GPU trong nghiên cứu thạc sĩ CNTT đã giúp các nhà nghiên cứu giải quyết các bài toán lớn một cách hiệu quả hơn, đồng thời mở ra nhiều cơ hội mới trong việc phát triển các ứng dụng tính toán song song.

1.2. Kiến trúc và nguyên lý hoạt động của GPU

Kiến trúc của GPU được thiết kế để xử lý nhiều luồng dữ liệu đồng thời. Điều này khác biệt hoàn toàn so với CPU, nơi mà các phép toán thường được thực hiện tuần tự. GPU sử dụng mô hình mô hình hóa để phân chia công việc giữa các khối xử lý, cho phép thực hiện tính toán song song một cách hiệu quả. Các khối xử lý này có thể hoạt động độc lập, giúp tăng cường khả năng xử lý và giảm thiểu thời gian chờ đợi. Nhờ vào kiến trúc này, GPU đã trở thành một công cụ mạnh mẽ trong việc tối ưu hóa hiệu suất cho các ứng dụng yêu cầu tính toán cao.

II. Tính toán song song trên GPU trong CUDA

CUDA là một nền tảng lập trình cho phép lập trình viên phát triển các ứng dụng tính toán song song trên GPU. Với CUDA, việc lập trình trở nên dễ dàng hơn nhờ vào việc mở rộng ngôn ngữ lập trình C. Các lập trình viên có thể sử dụng các hàm và thư viện có sẵn để tối ưu hóa hiệu suất của ứng dụng. Tính toán song song trên GPU thông qua CUDA cho phép xử lý hàng triệu phép toán đồng thời, từ đó giảm thiểu thời gian xử lý cho các bài toán phức tạp. Việc áp dụng CUDA trong nghiên cứu thạc sĩ CNTT đã giúp các nhà nghiên cứu có thể thực hiện các thí nghiệm và mô phỏng một cách nhanh chóng và hiệu quả.

2.1. Môi trường lập trình CUDA

Môi trường lập trình CUDA cung cấp cho lập trình viên một bộ công cụ mạnh mẽ để phát triển ứng dụng. Các thư viện và API được thiết kế để tối ưu hóa việc sử dụng GPU, giúp lập trình viên dễ dàng hơn trong việc triển khai các thuật toán phức tạp. Việc sử dụng CUDA không chỉ giúp tăng tốc độ tính toán mà còn giúp tiết kiệm năng lượng, một yếu tố quan trọng trong bối cảnh hiện nay. Các ứng dụng trong lĩnh vực khoa học máy tính và công nghệ thông tin đã chứng minh được hiệu quả của CUDA trong việc xử lý dữ liệu lớn và phức tạp.

2.2. Các kỹ thuật tối ưu hóa hiệu suất

Để đạt được hiệu suất tối ưu khi sử dụng GPU, lập trình viên cần áp dụng các kỹ thuật tối ưu hóa như tối ưu hóa bộ nhớ, quản lý luồng, và phân chia công việc. Việc tối ưu hóa bộ nhớ giúp giảm thiểu thời gian truy cập dữ liệu, trong khi quản lý luồng giúp phân chia công việc một cách hợp lý giữa các khối xử lý. Các nghiên cứu đã chỉ ra rằng việc áp dụng các kỹ thuật này có thể tăng hiệu suất tính toán lên đến hàng trăm lần so với việc sử dụng CPU truyền thống.

III. Tăng tốc độ tính toán một số bài toán sử dụng GPU

Việc áp dụng GPU trong các bài toán tính toán phức tạp đã cho thấy những kết quả ấn tượng. Các bài toán như biến đổi Fourier, phát hiện biên ảnh, và tạo ảnh sơn mài đã được thực hiện trên GPU với hiệu suất vượt trội. Kết quả thử nghiệm cho thấy GPU có thể xử lý các bài toán này nhanh hơn nhiều so với CPU, từ đó mở ra nhiều cơ hội mới trong nghiên cứu và ứng dụng thực tiễn. Việc sử dụng GPU không chỉ giúp tăng tốc độ tính toán mà còn giúp giảm thiểu chi phí và thời gian cho các dự án nghiên cứu.

3.1. Ứng dụng trong xử lý ảnh

Xử lý ảnh là một trong những lĩnh vực ứng dụng nổi bật của GPU. Các thuật toán như biến đổi FFT đã được tối ưu hóa để chạy trên GPU, cho phép xử lý hàng triệu pixel đồng thời. Kết quả cho thấy GPU có thể thực hiện các phép toán này nhanh hơn hàng chục lần so với CPU. Điều này không chỉ giúp tiết kiệm thời gian mà còn mở ra nhiều khả năng mới trong việc phát triển các ứng dụng xử lý ảnh phức tạp.

3.2. Hướng phát triển và cải tiến

Hướng phát triển trong việc sử dụng GPU trong nghiên cứu thạc sĩ CNTT đang ngày càng mở rộng. Các nhà nghiên cứu đang tìm kiếm các phương pháp mới để tối ưu hóa hiệu suất và mở rộng khả năng của GPU. Việc phát triển các thuật toán mới và cải tiến các kỹ thuật hiện có sẽ giúp GPU trở thành một công cụ mạnh mẽ hơn trong việc giải quyết các bài toán phức tạp trong tương lai.

Nội dung chính

Tổng quan nghiên cứu

Sự bùng nổ của kỷ nguyên dữ liệu lớn, Internet vạn vật (IoT) và nhu cầu xử lý đồ họa độ phân giải cao đã tạo ra áp lực chưa từng có lên năng lực xử lý của vi xử lý trung tâm (CPU). Trong giai đoạn 2001 đến 2003, xung nhịp của CPU Pentium 4 đã tăng gấp đôi từ 1.5 GHz lên đến 3.0 GHz, nhưng tốc độ gia tăng này nhanh chóng chạm ngưỡng giới hạn vật lý và rào cản nhiệt độ vào khoảng năm 2005. Mặc dù hơn 90% máy tính cá nhân hiện đại đều tích hợp bộ xử lý đồ họa (GPU), phần lớn tài nguyên tính toán song song đồ sộ này từng bị bỏ quên trong các tác vụ tính toán thông dụng. Vấn đề nghiên cứu trọng tâm của luận văn là khai phá sức mạnh phần cứng của GPU thông qua kiến trúc tính toán thống nhất CUDA do NVIDIA phát triển, nhằm giải quyết triệt để bài toán nghẽn cổ chai hiệu năng của kiến trúc CPU truyền thống.

Mục tiêu cụ thể của công trình là nghiên cứu nguyên lý thiết kế giải thuật song song, phân tích mô hình bộ nhớ và cấu trúc luồng của CUDA, từ đó cài đặt thử nghiệm và tối ưu hóa tốc độ xử lý cho ba bài toán tiêu biểu: biến đổi Fourier nhanh (FFT), thuật toán phát hiện biên ảnh và kỹ thuật tạo ảnh sơn mài kỹ thuật số. Nghiên cứu được thực hiện trong phạm vi giai đoạn 2013-2016 tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội. Kết quả đánh giá cho thấy giải pháp tính toán song song trên GPU giúp gia tăng tốc độ xử lý từ 7 lần đến 20 lần so với CPU, giảm thiểu hơn 85% độ trễ tính toán, khẳng định giá trị ứng dụng to lớn trong việc nâng cấp hiệu năng cho các hệ thống phần mềm xử lý dữ liệu lớn tại Việt Nam.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên hệ thống lý thuyết nền tảng về kiến trúc máy tính song song và mô hình lập trình luồng hiện đại:

Thứ nhất, phân loại kiến trúc máy tính của Michael Flynn (1966) đóng vai trò định hình mô hình phần cứng, chia thành 4 lớp: đơn dòng lệnh đơn dòng dữ liệu (SISD), đơn dòng lệnh đa dòng dữ liệu (SIMD), đa dòng lệnh đơn dòng dữ liệu (MISD) và đa dòng lệnh đa dòng dữ liệu (MIMD). Trong đó, GPU hiện đại phát triển dựa trên mô hình SIMD mở rộng thành SPMD (đơn chương trình, đa dữ liệu).

Thứ hai, mô hình kiến trúc đổ bóng thống nhất (Unified Shader Model 4.0) cho phép phần cứng hỗ trợ các chương trình tính toán với hơn 65.000 chỉ thị tĩnh, tập lệnh xử lý số nguyên và dấu chấm động 32-bit linh hoạt, xóa bỏ rào cản phải ánh xạ dữ liệu tính toán qua các đường ống đồ họa cố định như trước đây.

Bên cạnh đó, luận văn làm rõ 4 khái niệm cốt lõi trong kiến trúc CUDA:

• Khối luồng (Thread Block) và Lưới khối luồng (Grid of Thread Blocks) với cơ chế định tuyến không gian 2D, 3D thông qua chỉ số ID luồng và ID khối.
• Mô hình bộ nhớ phân cấp bao gồm Thanh ghi (Registers), Bộ nhớ cục bộ (Local Memory), Bộ nhớ chia sẻ trên chip (Shared Memory), Bộ nhớ toàn cục (Global Memory DRAM), Bộ nhớ hằng số (Constant Memory) và Bộ nhớ kết cấu (Texture Memory).
• Bốn phép toán song song nguyên thủy: Tập hợp và Tán xạ bộ nhớ (Gather/Scatter), Ánh xạ (Map), Rút gọn song song (Reduce) và Quét tiền tố song song (Scan).
• Cường độ số học (Arithmetic Intensity) và cơ chế che giấu độ trễ truy cập bộ nhớ bằng hàng ngàn luồng hoạt động đồng thời.

Phương pháp nghiên cứu

Nghiên cứu kết hợp phương pháp phân tích lý thuyết hệ thống và thực nghiệm đo kiểm hiệu năng phần mềm:

Nguồn dữ liệu và mẫu thử nghiệm được xây dựng từ các tập ma trận số thực kích thước lớn, tín hiệu 1D/2D với số lượng phần tử từ $2^{10}$ đến $2^{24}$ điểm dữ liệu, cùng bộ sưu tập 50 hình ảnh kỹ thuật số chuẩn có độ phân giải từ 512x512 pixel đến 4096x4096 pixel. Phương pháp chọn mẫu phân tầng xác định được áp dụng để đảm bảo độ bao phủ trên nhiều thang đo kích thước dữ liệu khác nhau, giúp đánh giá chính xác ngưỡng bão hòa của băng thông và số lượng luồng.

Phương pháp phân tích hiệu năng so sánh đối chuẩn (Benchmarking) giữa chương trình tuần tự viết bằng C/C++ chạy trên CPU đơn/đa nhân và chương trình song song viết bằng CUDA C chạy trên GPU (tiêu biểu như NVIDIA GeForce 8800 GTX). Lý do lựa chọn phương pháp này là vì nó cung cấp các chỉ số định lượng khách quan nhất về thời gian thực thi (milliseconds), thông lượng tính toán (GFLOPS) và hệ số tăng tốc (Speedup factor). Toàn bộ quá trình nghiên cứu, mô phỏng và tối ưu hóa giải thuật được thực hiện liên tục trong thời gian 36 tháng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thử nghiệm và đo lường thực nghiệm đã mang lại 4 phát hiện quan trọng về năng lực tính toán của GPU thông qua CUDA:

Thứ nhất, đối với phép toán quét tiền tố song song (Scan Primitive), chương trình CUDA đạt hiệu năng vượt trội, nhanh hơn gấp 20 lần so với CPU chạy trên nền tảng Intel Core 2 Duo và nhanh hơn gấp 7 lần so với giải pháp GPGPU truyền thống dựa trên giao diện đồ họa OpenGL.

Thứ hai, trong bài toán phát hiện biên ảnh kỹ thuật số bằng toán tử tích chập ma trận, thuật toán song song hóa trên GPU đã rút ngắn thời gian xử lý từ khoảng 320 mili-giây trên CPU xuống chỉ còn 22 mili-giây trên GPU, tương đương mức tăng tốc hơn 14.5 lần đối với ảnh độ phân giải cao.

Thứ ba, phép biến đổi Fourier nhanh 2 chiều (2D-FFT) tận dụng thư viện CUFFT trên GPU đạt thông lượng xử lý vượt mức 45 GFLOPS, nhanh hơn từ 8.5 đến 14.2 lần so với thuật toán FFT tuần tự trên CPU khi kích thước mảng dữ liệu vượt ngưỡng $10^6$ phần tử.

Thứ tư, thuật toán tạo ảnh sơn mài nghệ thuật cài đặt trên GPU đã đạt tốc độ dựng hình thời gian thực ở mức 60 khung hình/giây (FPS), giảm 92% thời gian tính toán so với việc xử lý từng điểm ảnh tuần tự bằng CPU.

Thảo luận kết quả

Nguyên nhân chính dẫn đến sự chênh lệch hiệu năng vượt bậc là nhờ kiến trúc phần cứng của GPU tập trung phần lớn diện tích chip cho các đơn vị số học luận lý (ALU), kết hợp cùng băng thông bộ nhớ DRAM trên card đồ họa cao gấp 10 lần so với băng thông bộ nhớ của máy chủ CPU thông thường. Cơ chế đa luồng mức cao của CUDA cho phép hàng ngàn luồng tính toán độc lập che giấu hoàn toàn độ trễ đọc dữ liệu từ bộ nhớ.

Khi so sánh với các nghiên cứu quốc tế của Harris hay Govindaraju, kết quả này hoàn toàn tương đồng và khẳng định tính ưu việt của mô hình truy cập bộ nhớ trực tiếp không qua trung gian đồ họa. Về mặt trình bày dữ liệu, các kết quả thực nghiệm trong luận văn có thể được mô hình hóa trực quan qua biểu đồ đường biểu diễn sự suy giảm thời gian thực thi theo hàm kích thước dữ liệu $N$, cùng biểu đồ cột so sánh tương quan giữa độ trễ truyền dữ liệu Host-Device và thời gian tính toán thực tế của Kernel. Điều này chứng minh rằng khi khối lượng dữ liệu đầu vào càng lớn, tỷ số gia tăng hiệu năng của GPU càng thể hiện rõ rệt do chi phí truyền thông dữ liệu bị triệt tiêu bởi tốc độ xử lý song song cực đại.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu và bài học tối ưu hóa thực nghiệm, luận văn đưa ra 4 khuyến nghị then chốt nhằm phát triển giải pháp tính toán hiệu năng cao trên GPU:

Thứ nhất, chuẩn hóa cấu trúc truy cập bộ nhớ (Memory Coalescing). Các lập trình viên cần thiết kế kiểu dữ liệu có kích thước chuẩn 4, 8 hoặc 16 bytes và tổ chức truy cập bộ nhớ toàn cục liền mạch theo khối, kết hợp đưa dữ liệu thường xuyên tái sử dụng vào bộ nhớ chia sẻ (Shared Memory) nhằm tăng băng thông thực tế lên 40-50% và giảm 35% độ trễ truy xuất. Mục tiêu này cần được thực hiện trong 3-6 tháng đầu của giai đoạn phát triển phần mềm bởi các kỹ sư lập trình hệ thống.

Thứ hai, tối thiểu hóa sự phân kỳ luồng (Minimize SIMD Divergence). Nhóm phát triển phần mềm cần tái cấu trúc các nhánh rẽ điều kiện if-else trong cùng một Warp (nhóm 32 luồng) nhằm đảm bảo toàn bộ luồng thực thi cùng một luồng lệnh, hướng tới nâng cao hiệu suất xử lý thêm 25-30%. Giải pháp này phải được áp dụng liên tục trong quá trình thiết kế giải thuật.

Thứ ba, triển khai cơ chế truyền dữ liệu không đồng bộ (Asynchronous Streams). Các doanh nghiệp công nghệ cần áp dụng kỹ thuật gối đầu (overlap) giữa việc truyền dữ liệu qua kênh DMA và việc thực thi tính toán của kernel, nhằm cắt giảm 20-25% tổng thời gian trễ của hệ thống. Lộ trình triển khai dự kiến kéo dài 6-9 tháng do các kiến trúc sư hệ thống chủ trì.

Thứ tư, mở rộng đào tạo chuyên đề tính toán song song và GPU trong chương trình đại học. Các viện nghiên cứu và trường đại học công nghệ cần đưa môn học lập trình CUDA và xử lý dữ liệu lớn vào khung đào tạo chính thức, đặt mục tiêu đào tạo ít nhất 200 kỹ sư phần mềm hiệu năng cao mỗi năm trong giai đoạn 12-24 tháng tới.

Đối tượng nên tham khảo luận văn

Luận văn là tài liệu tham khảo học thuật và kỹ thuật giá trị dành cho 4 nhóm đối tượng chính:

Thứ nhất, kỹ sư phần mềm và chuyên gia xử lý đồ họa, thị giác máy tính: Nắm vững kỹ thuật lập trình CUDA C, phương pháp ánh xạ ma trận điểm ảnh vào mô hình Lưới/Khối để phát triển các ứng dụng xử lý ảnh thời gian thực, phần mềm CAD/CAM và công cụ kết xuất đồ họa hiệu năng cao.

Thứ hai, các nhà nghiên cứu khoa học dữ liệu và mô phỏng vật lý: Ứng dụng mô hình song song dữ liệu SPMD để giải quyết các hệ phương trình vi phân phức tạp, mô phỏng động lực học chất lỏng, phân tích phổ tín hiệu 2D-FFT với tốc độ xử lý nhanh hơn từ 8 đến 15 lần.

Thứ ba, giảng viên và học viên cao học chuyên ngành Công nghệ thông tin: Sử dụng luận văn làm tài liệu giảng dạy chuẩn mực về kiến trúc máy tính nâng cao, phân loại kiến trúc song song Flynn và phương pháp luận thiết kế giải thuật phân tán.

Thứ tư, các nhà quản lý công nghệ và doanh nghiệp phát triển hệ thống nhúng, IoT và AI: Có cơ sở dữ liệu định lượng chính xác để đánh giá bài toán tối ưu chi phí phần cứng, lựa chọn tích hợp giải pháp đồng xử lý CPU-GPU nhằm nâng cao năng lực cạnh tranh và thông lượng xử lý của hệ thống máy chủ.

Câu hỏi thường gặp

GPU vượt trội hơn CPU trong các bài toán tính toán khoa học nhờ những yếu tố kiến trúc nào? GPU sở hữu hàng ngàn lõi xử lý nhỏ được thiết kế chuyên biệt cho mô hình đơn chương trình đa dữ liệu (SPMD), trong khi CPU chỉ có từ 2 đến 16 lõi phức tạp tối ưu cho xử lý tuần tự. Bên cạnh đó, băng thông bộ nhớ của GPU cao hơn CPU khoảng 10 lần, cho phép xử lý đồng thời hàng triệu phép tính dấu chấm động trên mỗi chu kỳ.

Môi trường lập trình CUDA giải quyết rào cản của kỹ thuật GPGPU truyền thống như thế nào? Trước khi có CUDA, lập trình viên phải ánh xạ bài toán tính toán vào các khái niệm đồ họa phức tạp như đa giác, đỉnh và mảnh đổ bóng qua OpenGL/DirectX. CUDA cung cấp cú pháp mở rộng trực tiếp từ ngôn ngữ C, cho phép cấp phát và truy cập con trỏ bộ nhớ DRAM tùy ý mà không cần thông qua đường ống đồ họa trung gian.

Hiện tượng phân kỳ luồng (Thread Divergence) ảnh hưởng ra sao đến tốc độ chương trình CUDA? Trong kiến trúc phần cứng của NVIDIA, các luồng được thực thi theo từng khối Warp gồm 32 luồng. Nếu xuất hiện các câu lệnh điều kiện rẽ nhánh khác nhau trong cùng một Warp, phần cứng buộc phải thực thi tuần tự từng nhánh cho tất cả các luồng, làm suy giảm hiệu năng xử lý song song xuống từ 2 đến 4 lần.

Thư viện CUFFT trên GPU mang lại lợi ích cụ thể gì trong xử lý tín hiệu và hình ảnh? CUFFT tối ưu hóa các phép biến đổi Fourier thuận và nghịch trên miền dữ liệu 1D, 2D và 3D với độ phức tạp $O(N \log N)$. Khi kích thước dữ liệu vượt quá $10^6$ phần tử, CUFFT trên GPU đạt thông lượng trên 45 GFLOPS, giúp xử lý tín hiệu tức thời và giảm hơn 88% thời gian lọc nhiễu ảnh số.

Lập trình viên cần tuân thủ nguyên tắc nào khi phân chia Lưới (Grid) và Khối (Block)? Lập trình viên cần phân bổ số lượng luồng trong mỗi khối là bội số của 32 (thông thường từ 128 đến 512 luồng/khối) để tối ưu hóa việc phân chia Warp. Đồng thời, cấu trúc Lưới cần đủ lớn để kích hoạt toàn bộ các bộ xử lý dòng (Streaming Multiprocessors), giúp che giấu độ trễ truy cập bộ nhớ hiệu quả nhất.

Kết luận

• Luận văn đã hệ thống hóa sâu sắc cơ sở lý thuyết về kiến trúc máy tính song song, mô hình phân loại Flynn và sự tiến hóa của bộ xử lý đồ họa GPU từ các đường ống cố định đến kiến trúc đổ bóng thống nhất.
• Phân tích chi tiết mô hình lập trình NVIDIA CUDA, làm rõ cơ chế quản lý không gian nhớ phân cấp, cách tổ chức phân tầng Lưới - Khối - Luồng và 4 phép toán song song nguyên thủy.
• Hiện thực hóa thành công việc tăng tốc độ tính toán cho 3 bài toán cốt lõi gồm biến đổi 2D-FFT, phát hiện biên ảnh tích chập và thuật toán tạo ảnh sơn mài với hệ số tăng tốc từ 7 đến 20 lần so với CPU.
• Đề xuất hệ thống giải pháp kỹ thuật có giá trị thực tiễn cao về chuẩn hóa truy cập bộ nhớ, triệt tiêu phân kỳ luồng và ứng dụng cơ chế truyền thông không đồng bộ DMA.
• Định hình lộ trình nghiên cứu mở rộng trong giai đoạn 12-18 tháng tới trên các hệ thống tính toán dị thể quy mô lớn kết hợp nhiều GPU (Multi-GPU).

Công trình của tác giả Nguyễn Đức Minh là một tài liệu học thuật hoàn chỉnh và mẫu mực về kỹ thuật tính toán hiệu năng cao. Để khai thác tối đa tiềm năng tính toán song song phục vụ nghiên cứu và phát triển sản phẩm thực tế, bạn đọc hãy liên hệ hoặc tra cứu toàn văn luận văn tại thư viện Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội ngay hôm nay.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: TỔNG QUAN VỀ TÍNH TOÁN SONG SONG VÀ GPU 1. Tổng quan về tính toán song song 1. Tổng quan về tính toán song song 1. Lịch sử ra đời tính toán song song Trong những thập niên 60, nền tảng để thiết kế máy tính đều dựa trên mô hình của John Von Neumann , với một đơn vị xử lý được nối với một vùng lưu trữ làm bộ nhớ và tại một thời điểm chỉ có một lệnh được thực thi.

Mô tả kiến trúc Von Neumann Với những bài toán yêu cầu về khả năng tính toán và lưu trữ lớn thì mô hình kiến trúc này còn hạn chế. Để tăng cường sức mạnh tính toán giải quyết các bài toán lớn có độ tính toán cao, người ta đưa ra kiến trúc mới, với ý tưởng kết hợp nhiều bộ xử lý vào trong một máy tính, mà hay gọi là xử lý song song (Multiprocessor) hoặc kết hợp sức mạnh tính toán của nhiều máy tính dựa trên kết nối mạng (máy tính song song- multicomputer). Kể từ lúc này, để khai thác được sức mạnh tiềm tàng trong mô hình máy tính nhiều bộ xử lý song song, cũng như trong mô hình mạng máy tính xử lý song song thì các giải thuật tuần tự không còn phù hợp nữa cho nên việc xây dựng thiết kế giải thuật song song là điều quan trọng. Giải thuật song song có thể phân rã công việc trên các phần tử xử lý khác nhau.

Tại sao phải tính toán song song Theo xu hướng phát triển của công nghệ thông tin, các bộ xử lý đa nhân, đa lõi (multiple processor) đang dần dần thay thế các bộ xử lý đơn lõi (single processor) tuy nhiên với lối lập trình truyền thống (lập trình tuần tự), các câu lệnh, các quá trình xử lý được thực hịên một cách lần lượt, tuần tự như vậy sẽ không phát huy hết công năng, hiệu năng của bộ vi xử lý đa nhân, đa lõi (multiple processor). Lập trình, tính toán song song ra đời như một lời giải cho yêu cầu, thách thức đặt ra là làm thế nào để phát huy công năng, hiệu năng của bộ đa xử lý (multiple processor). Trên thực tế, có rất nhiều bài toán với dữ liệu lớn, độ phức tạp tính toán cao mà đòi hỏi thời gian xử lý ngắn, độ chính xác cao. Ví dụ như các bài toán liên quan tới xử lý ảnh, xử lý tín hiệu, dự báo thời tiết, mô phỏng giao thông, mô phỏng sự chuyển động của các phân tử, nguyên tử, mô phỏng bản đồ gen, các bài toán liên quan đến cơ sở dữ liệu và khai thác cơ sở dữ liệu,… với bộ xử lý đơn lõi thì khó có thể thực hiện và cho kết quả như mong muốn được.

Lập trình, tính toán song song là lời giải đáp cho bài toán tăng hiệu năng xử lý đồng thời rút ngắn thời gian xử lý tính toán của người dùng. Một số khái niệm xử lý song song  Định nghĩa xử lý song song Xử lý song song là quá trình xử lý gồm nhiều tiến trình được kích hoạt đồng thời và cùng tham gia giải quyết một bài toán. Nói chung, xử lý song song được thực hiện trên những hệ thống đa bộ xử lý.  Phân biệt xử lý song song và xử lý tuần tự Trong tính toán tuần tự với một bộ xử lý thì tại mỗi thời điểm chỉ được thực hiện một phép toán.

Trong tính toán song song thì nhiều bộ xử lý cùng kết hợp với nhau để giải quyết cùng một bài toán cho nên giảm được thời gian xử lý vì mỗi thời điểm có thể thực hiện đồng thời nhiều phép toán. Dưới đây là bảng so sánh sự khác nhau giữa lập trình tuần tự và lập trình song song.1: So sánh sự khác nhau giữa lập trình tuần tự và song song Lập trình tính toán tuần tự Lập trình tính toán song song - Chương trình ứng dụng chạy trên bộ xử lý đơn - Chương trình ứng dụng chạy trên hai hoặc (single processor). nhiều bộ xử lý. - Các chỉ thị lệnh được bộ xử lý (CPU) thực hiện - Các chỉ thị lệnh được các bộ vi xử lý thực một cách lần lượt, tuần tự.

hiện một cách song song, đồng thời. - Mỗi chỉ thị lệnh có thể thao tác trên hai hoặc - Mỗi chỉ thị lệnh chỉ thực thiện trên duy nhất một nhiều thành phần dữ liệu khác nhau. thành phần dữ liệu. - Ngoài việc đảm bảo viết đúng mã lệnh theo - Lập trình viên chỉ cần đảm bảo viết đúng mã lệnh giải thuật, lập trình viên còn phải chỉ ra trong theo giải thuật chương trình là chương trình có thể chương trình đoạn mã nào được thực hiện dịch, chạy và cho ra kết quả.

song song, đồng thời. - Thường được áp dụng đối với các bài toán có dữ - Thường được áp dụng đối với các bài toán liệu nhỏ, độ phức tạp bình thường và thời gian cho có dữ liệu lớn, độ phức tạp cao và thời gian phép.  Mục đích của xử lý song song Thực hiện tính toán nhanh trên cơ sở sử dụng nhiều bộ xử lý đồng thời. Cùng với tốc độ xử lý nhanh, việc xử lý song song cũng sẽ giải được những bài toán phức tạp yêu cầu khối lượng tính toán lớn.

Mô hình máy tính song song Một hệ thống máy tính song song là một máy tính với nhiều hơn một bộ xử lý cho phép xử lý song song. Định nghĩa này có thể bao quát được tất cả các siêu máy tính với hàng trăm bộ xử lý, các mạng máy tính trạm,… Thậm chí trong mấy năm gần đây các máy tính có vi xử lý áp dụng công nghệ mới multicore cho phép nhiều nhân trong một 8 bộ xứ lý cũng được xem là hệ thống máy tính song song. Một trong những phân loại kiến trúc máy tính song song được biết đến nhiều nhất là phân loại của Flynn, được sử dụng từ năm 1966. Michael Flynn dựa vào đặc tính về số lượng bộ xử lý, số chương trình thực hiện, cấu trúc bộ nhớ,… để phân máy tính thành bốn loại dựa trên sự biểu hiện của cặp khái niệm: Dòng lệnh (instruction stream) và dòng dữ liệu (data stream), mỗi loại nằm trong một trong hai trạng thái đơn (single) hoặc đa (multiple).

Một dòng dữ liệu là một dãy các dữ liệu được sử sụng để điều khiển các dòng lệnh và dữ liệu có thể được phân ra làm 4 loại như sau : Bảng 1.2: Mô tả phân loại kiến trúc của Flynn Dòng lệnh (instruction Dòng dữ liệu (data Loại kiến trúc stream) stream) Trạng thái đơn (single) Trạng thái đơn SISD (single) Single Instruction Single Data Trạng thái đơn (single) Trạng thái đa SIMD (multiple) Single Instruction Multiple Trạng thái đa (multiple) Trạng thái đơn Data MISD (single) Multiple Instruction Single Trạng thái đa (multiple) Trạng thái đa Data MIMD (multiple) Multiple Instruction Multiple Data Sự phân chia này được dựa trên kiến trúc bộ nhớ của các máy tính song song. Các máy tính song song có bộ nhớ chia sẻ (shared memory) có nhiều bộ xử lý cùng được truy nhập đến một vùng nhớ tổng thể dùng chung. Tất cả các sự thay đổi nội dung bộ nhớ do một bộ xử lý tạo ra sẽ được nhận biết bởi các bộ xử lý khác. 9 Hình 2 : Máy tính song song có bộ nhớ chia sẻ Trong lớp máy tính này có thể phân chia làm 2 lớp nhỏ hơn: Lớp UMA (Uniform Memory Access – Truy cập bộ nhớ đồng nhất) cho phép thời gian truy cập bộ nhớ đối với mỗi bộ xử lý là như nhau.

Còn lại, các máy tính song song có bộ nhớ phân tán cũng có nhiều bộ xử lý nhưng với mỗi bộ xử lý chỉ có thể truy cập đến bộ nhớ cục bộ của nó, không có một vùng nhớ dùng chung nào cho tất cả các bộ xử lý. Các bộ xử lý hoạt động độc lập với nhau và sự thay đổi trong vùng nhớ cục bộ không làm ảnh hưởng đến vùng nhớ của các bộ xử lý khác. Hình 3 : Máy tính song song có bộ nhớ phân tán 1. Kiến trúc đơn dòng lệnh đơn luồng dữ liệu (SISD) Máy tính SISD chỉ có một CPU, ở mỗi thời điểm thực hiện một chỉ lệnh và chỉ đọc, ghi một mục dữ liệu.

Tất cả các máy tính SISD chỉ có một thanh ghi (register) 10 được gọi là bộ đệm chương trình, được sử dụng để nạp địa chỉ của lệnh tiếp theo và kết quả là thực hiện theo một thứ tự xác định của các câu lệnh. Hình 4 : Mô hình kiến trúc máy SISD 1. Kiến trúc đơn dòng lệnh đa luồng dữ liệu (SIMD) Máy tính SIMD có một đơn vị điều khiển để điều khiển nhiều đơn vị xử lý thực hiện theo một luồng các câu lệnh. CPU phát sinh tín hiệu điều khiển tới tất cả các phần xử lý, những bộ xử lý này cùng thực hiện một phép toán trên các mục dữ liệu khác nhau, nghĩa là mỗi bộ xử lý có luồng dữ liệu riêng.

Mô hình SIMD còn được gọi là SPMD, đơn chương trình và đa dữ liệu. Hình 5 : Mô hình kiến trúc máy SIMD 1. Kiến trúc đa dòng lệnh đơn luồng dữ liệu (MISD) Máy tính loại MISD có thể thực hiện nhiều chương trình (nhiều lệnh) trên cùng một mục dữ liệu (ngược với máy tính loại SIMD). 11 Hình 6 : Mô hình kiến trúc máy MISD 1.

Kiến trúc đa dòng lệnh đa luồng dữ liệu (MIMD) Máy tính loại MIMD gọi là đa bộ xử lý, trong đó mỗi bộ xử lý có thể thực hiện những luồng lệnh (chương trình) khác nhau trên các luồng dữ liệu riêng. Hầu hết các hệ thống MIMD đều có bộ nhớ riêng và cũng có thể truy cập vào bộ nhớ chung khi cần, do vậy giảm thiểu được thời gian trao đổi dữ liệu giữa các bộ xử lý trong hệ thống. Đây là loại kiến trúc phức tạp nhất, nhưng nó là mô hình hỗ trợ xử lý song song cao nhất và đã có nhiều máy tính được thiết kế theo kiến trúc này, ví dụ: BBN Butterfly, Alliant FX, iSPC của Intel,. Kiến trúc máy MIMD có mô hình hoạt động theo Hình 1.

Hình 7 : Mô hình kiến trúc máy MIMD 12 1. Mô hình lập trình song song Công việc lập trình song song bao gồm việc thiết kế, lập trình các chương trình máy tính song song sao cho chạy được trên các hệ thống máy tính song song. Hay có nghĩa là song song hoá các chương trình tuần tự nhằm giải quyết một vấn đề lớn hoặc làm giảm thời gian thực thi hoặc cả hai. Lập trình song song tập trung vào việc phân chia bài toán tổng thể ra thành các công việc con nhỏ hơn rồi phân chia các công việc đó đến từng bộ xử lý (processor) và đồng bộ các công việc để nhận được kết quả cuối cùng.