Tối Ưu Hóa Và Đánh Giá Hiệu Năng Của Tổ Chức Cache Trong Hệ Thống Vi Xử Lý

Trong bối cảnh công nghệ bán dẫn phát triển vượt bậc, việc tích hợp ngày càng nhiều transistor trên một… 153 trang · Trường Đại Học Bách Khoa Hà Nội · 2014.

• Tác giả: Hồ Văn Phi
• Người hướng dẫn: TS. Hồ Khánh Lâm
• Trường học: Trường Đại Học Bách Khoa Hà Nội
• Chuyên ngành: Kỹ thuật Viễn thông
• Đề tài: Tối Ưu Hóa Hiệu Năng Tổ Chức Cache Trong Hệ Thống Vi Xử Lý
• Loại tài liệu: luận án tiến sĩ
• Năm xuất bản: 2014
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT
• DANH MỤC CÁC BẢNG
• DANH MỤC CÁC HÌNH, ẢNH VÀ ĐỒ THỊ
• MỞ ĐẦU
• Tính cấp thiết của luận án
• Mục đích nghiên cứu của luận án
• Đối tượng và phạm vi nghiên cứu của luận án
• Phương pháp nghiên cứu của luận án
• Ý nghĩa khoa học và thực tiễn của luận án
• Cấu trúc của luận án
• 1. CHƯƠNG 1: TỔNG QUAN VỀ KIẾN TRÚC CHIP ĐA XỬ LÝ, ĐA LUỒNG
• 1.1. Kiến trúc của chip đa xử lý, đa luồng
• 1.1.1. Kiến trúc chung của chip đa xử lý, đa luồng
• 1.1.2. Kiến trúc chip đa xử lý, đa luồng đồng thời
• 1.2. Mạng liên kết trên chip
• 1.3. Phân cấp hệ thống nhớ
• 1.4. Kết luận chương 1
• 2. CHƯƠNG 2: NGHIÊN CỨU TỔ CHỨC CACHE, CHÍNH SÁCH THAY THẾ CACHE TRONG KIẾN TRÚC CHIP ĐA XỬ LÝ, ĐA LUỒNG
• 2.1. Tổ chức cache trong kiến trúc chip đa xử lý, đa luồng
• 2.1.1. Cache và các nguyên tắc làm việc của cache
• 2.1.1.1. Vị trí tạm thời
• 2.1.1.2. Vị trí không gian
• 2.1.1.3. Vị trí tuần tự
• 2.1.2. Các thành phần của cache
• 2.1.3. Các tổ chức cache
• 2.1.3.1. Cache liên kết đầy đủ
• 2.1.3.2. Cache sắp xếp trực tiếp
• 2.1.3.3. Cache liên kết tập hợp
• 2.1.4. Các đặc tính hiệu năng của cache
• 2.1.4.1. Các tỷ số trúng cache và trượt cache
• 2.1.4.2. Trúng cache
• 2.1.4.3. Trượt cache
• 2.1.4.4. Tỷ số trúng cache, trượt cache và trượt penalty
• 2.1.4.5. Bus bộ nhớ, kích thước từ nhớ, kích thước khối và trượt penalty
• 2.1.4.6. Trượt cache cục bộ và toàn cục
• 2.1.4.7. Ảnh hưởng của tổ chức cache đến trượt penalty
• 2.1.4.8. Kích thước khối cache và tỷ số trượt
• 2.1.4.9. Các loại trượt cache
• 2.1.4.10. Tổ chức cache ảnh hưởng đến tốc độ của CPU
• 2.2. Các giải pháp tăng hiệu năng của cache
• 2.2.1. Các chính sách thay thế dòng cache
• 2.2.1.1. Chính sách thay thế cache LRU
• 2.2.1.2. Chính sách thay thế cache LFU
• 2.2.1.3. Chính sách thay thế cache FIFO
• 2.2.1.4. Chính sách thay thế cache Random
• 2.2.1.5. Chính sách thay thế cache NRU
• 2.2.1.6. Chính sách thay thế cache SRRIP
• 2.2.1.7. Chính sách thay thế cache DRRIP
• 2.2.2. Ghi và đọc cache
• 2.2.2.1. Ghi thông qua
• 2.2.2.2. Ghi trở lại
• 2.2.2.3. Đọc bên cạnh
• 2.2.2.4. Đọc thông suốt
• 2.2.3. Cache chia sẻ thông minh
• 2.2.3.1. Tổ chức phân cấp cache trong các chip đa xử lý
• 2.2.3.2. Cache chia sẻ thông minh
• 2.2.4. Tính nhất quán cache trong các chip đa xử lý, đa luồng
• 2.2.4.1. Thế nào là nhất quán cache
• 2.2.4.2. Các giao thức nhất quán cache
• 2.3. Kết luận chương 2
• 3. CHƯƠNG 3: PHÂN TÍCH ĐÁNH GIÁ HIỆU NĂNG CỦA TỔ CHỨC CACHE TRONG KIẾN TRÚC CHIP ĐA XỬ LÝ, ĐA LUỒNG
• 3.1. Cơ sở lý thuyết để phân tích đánh giá hiệu năng của tổ chức cache
• 3.1.1. Kiến trúc chip đa xử lý, đa luồng là mạng xếp hàng đóng đa lớp có dạng tích các xác suất (MCPFQN)
• 3.1.1.1. Khái quát mạng xếp hàng đóng
• 3.1.1.2. Khái quát mạng xếp hàng đóng có dạng tích các xác suất
• 3.1.1.3. Kiến trúc chip đa xử lý, đa luồng là mạng xếp hàng đóng đa lớp có dạng tích các xác suất (MCPFQN)
• 3.1.2. Thuật toán phân tích giá trị trung bình (MVA) đánh giá hiệu năng cho các mạng xếp hàng đóng có dạng tích các xác suất
• 3.1.2.1. Mạng xếp hàng đóng đơn lớp có dạng tích các xác suất
• 3.1.2.2. Mạng xếp hàng đóng đa lớp có dạng tích các xác suất
• 3.2. Mô hình tổ chức cache trong kiến trúc chip đa xử lý, đa luồng
• 3.2.1. Mô hình tổ chức cache trong kiến trúc chip đa xử lý, đa luồng
• 3.3. Phân tích đánh giá hiệu năng của tổ chức cache trong kiến trúc chip đa xử lý, đa luồng
• 3.3.1. Mô hình thực hiện phân tích hiệu năng của kiến trúc chip đa xử lý, đa luồng
• 3.3.1.1. Mô hình tổng quát
• 3.3.1.2. Mô hình rút gọn
• 3.3.2. Kết quả mô phỏng và đánh giá hiệu năng cho kiến trúc CMP đa luồng
• 3.3.2.1. Kết quả mô phỏng cho các kiến trúc CMP đa luồng
• 3.3.2.2. Đánh giá hiệu năng các chip đa xử lý, đa luồng
• 3.4. Kết luận chương 3
• 4. CHƯƠNG 4: GIẢI PHÁP TỐI ƯU HÓA HIỆU NĂNG CỦA TỔ CHỨC CACHE TRONG KIẾN TRÚC CHIP ĐA XỬ LÝ, ĐA LUỒNG
• 4.1. Kiến trúc cụm lõi cho chip đa xử lý, đa luồng
• 4.1.1. Mô hình MCPFQN cho kiến trúc cụm lõi
• 4.1.1.1. Mô hình MCPFQN tổng quát của kiến trúc cụm lõi
• 4.1.1.2. Mô hình MCPFQN rút gọn của kiến trúc cụm lõi
• 4.1.2. Kết quả mô phỏng và đánh giá hiệu năng cho kiến trúc cụm lõi
• 4.1.2.1. Kết quả mô phỏng cho kiến trúc cụm lõi
• 4.1.2.2. Đánh giá hiệu năng cho kiến trúc cụm lõi
• 4.2. Lựa chọn cấu hình mạng liên kết trên chip
• 4.2.1. Đề xuất công thức tính trễ truyền thông trung bình cho mạng liên kết trên chip
• 4.2.2. Lựa chọn cấu hình mạng liên kết trên chip
• 4.2.3. Kết quả mô phỏng
• 4.2.4. Đánh giá kết quả
• 4.3. Kết luận chương 4
• TÀI LIỆU THAM KHẢO
• DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ CỦA LUẬN ÁN
• Kịch bản mô phỏng đánh giá hiệu năng của tổ chức cache trong kiến trúc CMP đa luồng có 2 cấp cache và 3 cấp cache
• Kịch bản mô phỏng đánh giá hiệu năng của tổ chức cache trong kiến trúc cụm lõi 3 cấp cache

Tóm tắt

I. Tổng Quan Về Cache Trong Hệ Thống Vi Xử Lý Hiện Đại

Trong bối cảnh công nghệ bán dẫn phát triển vượt bậc, việc tích hợp ngày càng nhiều transistor trên một chip đã mở ra kỷ nguyên của các hệ thống trên chip (SoC). Từ máy tính cá nhân đến thiết bị di động, vi xử lý đa lõi với hệ thống bộ nhớ cache phức tạp đã trở thành tiêu chuẩn. Định luật Moore dự đoán số lượng transistor trên chip tăng gấp đôi sau mỗi 18 tháng, thúc đẩy sự đổi mới trong kiến trúc vi xử lý. Các nhà sản xuất đã thương mại hóa chip đa xử lý với số lõi tăng lên, sử dụng cache L1 riêng cho mỗi lõi và cache L2 chia sẻ. Điều này đặt ra yêu cầu cấp thiết về việc tối ưu hóa hiệu năng của tổ chức cache để khai thác tối đa tiềm năng của phần cứng.

1.1. Lịch Sử Phát Triển của Bộ Nhớ Cache trong Vi Kiến Trúc

Từ những ngày đầu của vi xử lý, bộ nhớ cache đã đóng vai trò quan trọng trong việc giảm độ trễ truy cập bộ nhớ chính. Các hệ thống ban đầu sử dụng cache đơn cấp, nhưng khi vi kiến trúc trở nên phức tạp hơn, cache đa cấp (L1, L2, L3) đã ra đời. Mỗi cấp cache có kích thước và tốc độ khác nhau, tạo thành một hệ thống phân cấp để cân bằng giữa chi phí và hiệu năng. Sự phát triển của cache gắn liền với sự tiến bộ của công nghệ bán dẫn và nhu cầu ngày càng tăng về hiệu năng tính toán.

1.2. Vai Trò Của Cache Trong Nâng Cao Hiệu Năng Vi Xử Lý

Bộ nhớ cache hoạt động như một bộ nhớ đệm tốc độ cao, lưu trữ dữ liệu và lệnh thường xuyên được sử dụng bởi CPU. Khi CPU cần truy cập dữ liệu, nó sẽ kiểm tra cache trước. Nếu dữ liệu có trong cache (cache hit), CPU có thể truy cập nó nhanh chóng. Nếu dữ liệu không có trong cache (cache miss), CPU phải truy cập bộ nhớ chính, chậm hơn nhiều. Do đó, tỷ lệ cache hit cao là yếu tố then chốt để cải thiện hiệu năng vi xử lý.

II. Thách Thức Trong Tối Ưu Hóa Cache Cho Vi Xử Lý Đa Lõi

Trong môi trường đa xử lý và đa luồng, việc tối ưu hóa cache trở nên phức tạp hơn. Các lõi xử lý cạnh tranh để truy cập cache, dẫn đến tình trạng cache coherence và cache contention. Việc duy trì tính nhất quán của dữ liệu giữa các cache khác nhau là một thách thức lớn. Ngoài ra, kích thước cache có hạn cũng là một yếu tố cần cân nhắc. Việc tăng kích thước cache có thể cải thiện tỷ lệ cache hit, nhưng cũng làm tăng chi phí và độ trễ truy cập. Do đó, cần có các giải pháp tối ưu hóa cache thông minh để giải quyết những thách thức này.

2.1. Vấn Đề Cache Coherence Trong Hệ Thống Đa Xử Lý

Cache coherence là vấn đề đảm bảo rằng tất cả các cache trong hệ thống đa xử lý đều có bản sao mới nhất của dữ liệu. Khi một lõi xử lý ghi vào một vị trí bộ nhớ, các cache khác có bản sao của vị trí đó phải được cập nhật hoặc vô hiệu hóa. Các giao thức cache coherence như MESI (Modified, Exclusive, Shared, Invalid) được sử dụng để giải quyết vấn đề này. Tuy nhiên, việc triển khai các giao thức này có thể gây ra độ trễ và tiêu tốn tài nguyên.

2.2. Ảnh Hưởng Của Cache Miss Đến Hiệu Năng Hệ Thống

Cache miss xảy ra khi CPU cần truy cập dữ liệu không có trong cache. Khi cache miss xảy ra, CPU phải truy cập bộ nhớ chính, chậm hơn nhiều so với truy cập cache. Tỷ lệ cache miss cao có thể làm giảm đáng kể hiệu năng hệ thống. Các yếu tố ảnh hưởng đến tỷ lệ cache miss bao gồm kích thước cache, tổ chức cache, và thuật toán thay thế cache.

2.3. Cache Contention Sự Cạnh Tranh Tài Nguyên Giữa Các Lõi

Trong hệ thống đa lõi, nhiều lõi có thể cùng truy cập vào bộ nhớ cache cùng một lúc, gây ra hiện tượng cache contention. Điều này có thể làm chậm quá trình truy cập cache của các lõi, ảnh hưởng đến hiệu năng tổng thể của hệ thống. Các kỹ thuật như cache partitioning và cache allocation có thể được sử dụng để giảm thiểu cache contention.

III. Các Phương Pháp Tối Ưu Hóa Cache Phổ Biến Hiện Nay

Để giải quyết các thách thức trên, nhiều phương pháp tối ưu hóa cache đã được phát triển. Các phương pháp này tập trung vào việc cải thiện tỷ lệ cache hit, giảm tỷ lệ cache miss, và giảm thiểu cache contention. Một số phương pháp phổ biến bao gồm tăng kích thước cache, sử dụng cache đa cấp, cải thiện thuật toán thay thế cache, và sử dụng các kỹ thuật prefetching. Việc lựa chọn phương pháp tối ưu hóa cache phù hợp phụ thuộc vào đặc điểm của ứng dụng và kiến trúc vi xử lý.

3.1. Thuật Toán Thay Thế Cache LRU FIFO và Các Biến Thể

Thuật toán thay thế cache quyết định dòng cache nào sẽ bị loại bỏ khi cache đầy. LRU (Least Recently Used) là một thuật toán phổ biến, loại bỏ dòng cache ít được sử dụng nhất gần đây. FIFO (First In First Out) loại bỏ dòng cache được đưa vào cache đầu tiên. Các biến thể của LRU và FIFO cũng được sử dụng để cải thiện hiệu năng.

3.2. Kỹ Thuật Prefetching Dự Đoán và Tải Dữ Liệu Trước

Prefetching là kỹ thuật dự đoán dữ liệu nào sẽ được sử dụng trong tương lai và tải dữ liệu đó vào cache trước khi CPU yêu cầu. Prefetching có thể cải thiện tỷ lệ cache hit và giảm độ trễ truy cập bộ nhớ. Tuy nhiên, prefetching không chính xác có thể làm lãng phí băng thông bộ nhớ và làm giảm hiệu năng.

3.3. Cache Partitioning Phân Chia Cache Cho Các Lõi Xử Lý

Cache partitioning là kỹ thuật phân chia cache thành các phần riêng biệt cho các lõi xử lý khác nhau. Cache partitioning có thể giảm cache contention và cải thiện hiệu năng của các ứng dụng đa luồng. Có hai loại cache partitioning: tĩnh và động. Cache partitioning tĩnh phân chia cache một lần duy nhất, trong khi cache partitioning động điều chỉnh phân chia cache theo thời gian.

IV. Nghiên Cứu Ứng Dụng Tối Ưu Hóa Cache Trong Vi Xử Lý Đa Luồng

Nhiều nghiên cứu đã tập trung vào việc tối ưu hóa cache cho vi xử lý đa luồng. Các nghiên cứu này đã đề xuất các kiến trúc cache mới, các thuật toán thay thế cache cải tiến, và các kỹ thuật prefetching thông minh. Một số nghiên cứu đã sử dụng mô phỏng cache để đánh giá hiệu năng của các giải pháp tối ưu hóa cache khác nhau. Các kết quả nghiên cứu này đã được ứng dụng trong thiết kế vi xử lý thực tế, giúp cải thiện đáng kể hiệu năng của các ứng dụng đa luồng.

4.1. Đánh Giá Hiệu Năng Các Kiến Trúc Cache Mới Bằng Mô Phỏng

Mô phỏng cache là một công cụ quan trọng để đánh giá hiệu năng của các kiến trúc cache mới. Các công cụ mô phỏng cache cho phép các nhà nghiên cứu mô phỏng hoạt động của cache và thu thập các số liệu thống kê về tỷ lệ cache hit, tỷ lệ cache miss, và độ trễ truy cập bộ nhớ. Các số liệu này được sử dụng để so sánh hiệu năng của các kiến trúc cache khác nhau.

4.2. Ứng Dụng Thuật Toán Học Máy Trong Tối Ưu Hóa Cache

Học máy đang được sử dụng ngày càng nhiều trong tối ưu hóa cache. Các thuật toán học máy có thể được sử dụng để dự đoán hành vi truy cập bộ nhớ của ứng dụng và điều chỉnh các tham số cache một cách động để cải thiện hiệu năng. Ví dụ, học máy có thể được sử dụng để điều chỉnh kích thước cache, thuật toán thay thế cache, và các tham số prefetching.

4.3. Phân Tích Bottleneck Hiệu Năng Liên Quan Đến Cache

Việc phân tích bottleneck hiệu năng liên quan đến cache là rất quan trọng để xác định các khu vực cần tối ưu hóa. Các công cụ profiling có thể được sử dụng để thu thập thông tin về hành vi truy cập bộ nhớ của ứng dụng và xác định các điểm nóng cache. Sau khi xác định được các điểm nóng cache, các nhà phát triển có thể áp dụng các kỹ thuật tối ưu hóa cache để cải thiện hiệu năng.

V. Giải Pháp Tối Ưu Hóa Hiệu Năng Cache Trong Kiến Trúc Cụm Lõi

Kiến trúc cụm lõi (cluster-based architecture) là một giải pháp hiệu quả để tối ưu hóa hiệu năng cache trong các chip đa xử lý. Trong kiến trúc này, các lõi xử lý được nhóm thành các cụm, mỗi cụm có cache L3 riêng. Các cụm này có thể chia sẻ cache L3 chung hoặc truy cập bộ nhớ chính thông qua mạng liên kết trên chip (NoC). Kiến trúc cụm lõi giúp giảm độ trễ truy cập bộ nhớ và cải thiện khả năng mở rộng của hệ thống.

5.1. Mô Hình MCPFQN Đánh Giá Hiệu Năng Kiến Trúc Cụm Lõi

Mô hình MCPFQN (Multiclass Closed Product-Form Queuing Network) là một công cụ mạnh mẽ để đánh giá hiệu năng của kiến trúc cụm lõi. Mô hình này cho phép các nhà nghiên cứu mô hình hóa hệ thống cache và mạng liên kết trên chip (NoC) và dự đoán hiệu năng của hệ thống dưới các tải khác nhau. Mô hình MCPFQN có thể được sử dụng để tối ưu hóa cấu hình của kiến trúc cụm lõi.

5.2. Lựa Chọn Cấu Hình Mạng Liên Kết Trên Chip NoC Phù Hợp

Mạng liên kết trên chip (NoC) đóng vai trò quan trọng trong việc kết nối các cụm lõi và bộ nhớ chính. Việc lựa chọn cấu hình NoC phù hợp có thể ảnh hưởng lớn đến hiệu năng của hệ thống. Các cấu hình NoC phổ biến bao gồm Ring, Mesh, và Torus. Mỗi cấu hình có ưu và nhược điểm riêng, và việc lựa chọn cấu hình phù hợp phụ thuộc vào đặc điểm của ứng dụng và kiến trúc vi xử lý.

5.3. Đề Xuất Công Thức Tính Trễ Truyền Thông Trung Bình Cho NoC

Việc đề xuất công thức tính trễ truyền thông trung bình cho NoC là rất quan trọng để đánh giá hiệu năng của các cấu hình NoC khác nhau. Công thức này cho phép các nhà nghiên cứu dự đoán độ trễ truyền thông giữa các lõi xử lý và bộ nhớ chính. Công thức này có thể được sử dụng để tối ưu hóa cấu hình NoC và cải thiện hiệu năng của hệ thống.

VI. Kết Luận Hướng Phát Triển Tối Ưu Hóa Cache Tương Lai

Việc tối ưu hóa cache là một lĩnh vực nghiên cứu quan trọng trong thiết kế vi xử lý. Các kỹ thuật tối ưu hóa cache có thể cải thiện đáng kể hiệu năng của các ứng dụng, đặc biệt là các ứng dụng đa luồng. Trong tương lai, các kỹ thuật tối ưu hóa cache sẽ tiếp tục phát triển để đáp ứng nhu cầu ngày càng tăng về hiệu năng tính toán. Các hướng phát triển tiềm năng bao gồm sử dụng học máy để tối ưu hóa cache một cách động, phát triển các kiến trúc cache mới, và tối ưu hóa tương tác giữa cache và bộ nhớ chính.

6.1. Tổng Kết Các Phương Pháp Tối Ưu Hóa Cache Đã Nghiên Cứu

Bài viết đã trình bày tổng quan về các phương pháp tối ưu hóa cache phổ biến hiện nay, bao gồm tăng kích thước cache, sử dụng cache đa cấp, cải thiện thuật toán thay thế cache, và sử dụng các kỹ thuật prefetching. Bài viết cũng đã thảo luận về các thách thức trong tối ưu hóa cache cho vi xử lý đa lõi và đa luồng, và đề xuất các giải pháp để giải quyết những thách thức này.

6.2. Hướng Nghiên Cứu Mới Về Cache Trong Kỷ Nguyên AI và Big Data

Trong kỷ nguyên AI và Big Data, các ứng dụng đòi hỏi hiệu năng tính toán rất cao. Các ứng dụng này thường xuyên truy cập lượng lớn dữ liệu, gây ra áp lực lớn lên hệ thống cache. Do đó, cần có các kỹ thuật tối ưu hóa cache mới để đáp ứng nhu cầu của các ứng dụng này. Các hướng nghiên cứu tiềm năng bao gồm sử dụng học máy để dự đoán hành vi truy cập bộ nhớ của ứng dụng và điều chỉnh các tham số cache một cách động, phát triển các kiến trúc cache mới, và tối ưu hóa tương tác giữa cache và bộ nhớ chính.

6.3. Tầm Quan Trọng Của Tối Ưu Hóa Cache Trong Thiết Kế Vi Xử Lý Tương Lai

Tối ưu hóa cache sẽ tiếp tục đóng vai trò quan trọng trong thiết kế vi xử lý tương lai. Khi số lượng transistor trên chip tiếp tục tăng lên, các nhà thiết kế sẽ có nhiều không gian hơn để triển khai các kiến trúc cache phức tạp hơn. Các kiến trúc cache này sẽ cần phải được tối ưu hóa để đáp ứng nhu cầu ngày càng tăng về hiệu năng tính toán.

Nội dung chính

Tổng quan luận án

Luận án tiến sĩ "Tối ưu hóa và đánh giá hiệu năng của tổ chức cache trong hệ thống vi xử lý thế hệ sau" do nghiên cứu sinh Hồ Văn Phi thực hiện tại Trường Đại học Bách khoa Hà Nội năm 2014, dưới sự hướng dẫn khoa học của TS. Hồ Khánh Lâm và TS. Nguyễn Viết Nguyên, thuộc chuyên ngành Kỹ thuật Viễn thông (mã số: 62520208).

Về tính cấp thiết, sự phát triển của công nghệ bán dẫn theo định luật Moore cho phép số lượng transistor trên một inch vuông tăng gấp đôi sau mỗi 18 tháng, thúc đẩy quá trình chuyển dịch cấu trúc vi xử lý từ đơn lõi sang đa xử lý trên một chip (CMP) và đa luồng đồng thời (SMT). Các nhà sản xuất vi xử lý thương mại như Sun, Intel, AMD và IBM đã chế tạo các dòng chip có 2, 4, 6, 8 đến hàng chục lõi, tích hợp hệ thống bộ nhớ cache phân cấp 2 hoặc 3 cấp và mạng liên kết trên chip (OCIN). Tuy nhiên, khi số lượng lõi gia tăng, các cấu hình mạng liên kết truyền thống như Bus chia sẻ, Ring, Crossbar và 2DMesh bộc lộ hạn chế về độ trễ truyền thông, suy giảm băng thông và phát sinh điểm nghẽn cổ chai. Tại Việt Nam, quá trình nghiên cứu và chế tạo vi xử lý đã ghi nhận các kết quả bước đầu từ Trung tâm ICDREC với chip 8-bit SigmaK3 (năm 2008), chip 32-bit VN1632 trên công nghệ 0,13 µm (năm 2010), cùng thỏa thuận hợp tác chế tạo chip MPW công nghệ 65 nm với Công ty RADRIX năm 2013. Khoảng trống nghiên cứu đặt ra là xác định quy mô số lõi, số cấp cache, dung lượng, kích thước dòng cache và cấu hình mạng liên kết phù hợp nhằm tối ưu hóa hiệu năng tổng thể của chip đa xử lý, đa luồng.

Mục tiêu nghiên cứu của luận án được xác định gồm 3 nội dung:

1. Nghiên cứu phân tích ảnh hưởng của tổ chức cache đa cấp và các chính sách thay thế cache đến hiệu năng của chip đa xử lý, đa luồng.
2. Xây dựng các mô hình kiến trúc chip đa xử lý, đa luồng, đa cấp cache. Tiến hành phân tích và đánh giá hiệu năng của các kiến trúc để lựa chọn tổ chức cache tối ưu nhằm nâng cao hiệu năng của chip đa xử lý, đa luồng.
3. Nghiên cứu ảnh hưởng của các mạng liên kết giữa các lõi trên chip đến hiệu năng của chip đa xử lý, đa luồng để từ đó lựa chọn mạng liên kết trên chip phù hợp với kiến trúc chip đa xử lý, đa luồng.

Đối tượng nghiên cứu là tổ chức cache đa cấp trong kiến trúc chip đa xử lý, đa luồng. Phạm vi nghiên cứu tập trung vào các tổ chức cache 2 cấp (L1 riêng cho mỗi lõi, L2 chia sẻ) và 3 cấp (L1, L2 riêng cho mỗi lõi, L3 chia sẻ) trên kiến trúc CMP có 2-lõi, 4-lõi và 8-lõi (mỗi lõi xử lý 8-luồng); áp dụng mô hình mạng xếp hàng đóng đa lớp dạng tích các xác suất (MCPFQN) và thuật toán phân tích giá trị trung bình (MVA); đồng thời khảo sát các cấu hình mạng liên kết trên chip (Ring, 2DMesh, 2DTorus, 3DMesh, 3DTorus) với quy mô từ 8 đến 128 lõi.

Tổng quan tài liệu và vị trí của luận án

Luận án tổng thuật các công trình nghiên cứu về kiến trúc vi xử lý và hệ thống nhớ phân cấp. Tác giả điểm lại phân loại kiến trúc xử lý song song của Flynn (SISD, SIMD, MISD, MIMD), luật Amdahl mở rộng và các mô hình chip đa lõi gồm: chip đa lõi đối xứng (SMC), chip đa lõi bất đối xứng (AMC) và chip đa lõi linh hoạt (DMC) dựa trên đơn vị tương đương lõi cơ sở (BCE). Luận án khảo sát kỹ thuật đa luồng đồng thời (SMT) do Intel phát triển, cho phép nhân bản trạng thái kiến trúc để tạo ra các CPU logic cùng chia sẻ tài nguyên thực thi.

Về cấu trúc phần cứng thương mại, tác giả phân tích các hệ thống vi xử lý tiêu biểu: Sun UltraSPARC T1, T2 (8-lõi), T3 (16-lõi) và Rock (16-lõi); IBM Power4, Power5, Power6 (2-lõi), Power7 (8-lõi) và Cell; AMD Opteron các dòng 2, 4, 6 và 8-lõi; Intel Core 2 Duo, Core 2 Quad, Dunnington (6-lõi), Nehalem Core i5, Core i7 và kiến trúc thử nghiệm Tera-Scale (80-lõi); cùng Tilera Tile64 (64-lõi). Về mạng liên kết trên chip (OCIN), các công trình nghiên cứu trước đã đề cập đến các cấu hình Crossbar, Ring, 2DMesh, Fat Tree, Butterfly, Hypercube, 2DTorus, 3DMesh và 3DTorus. Về cơ chế duy trì tính nhất quán cache trong hệ thống đa lõi, luận án tổng hợp các giao thức chuẩn như MESI và MESIF.

Tại Việt Nam, cơ sở thực tiễn được ghi nhận qua các công bố của Trung tâm ICDREC (Đại học Quốc gia Thành phố Hồ Chí Minh) về chip SigmaK3 và VN1632, việc tiếp cận công nghệ ASIC, các thiết bị logic khả trình PLD, FPGA cùng các ngôn ngữ mô tả phần cứng VHDL và Verilog. Khoảng trống mà luận án lựa chọn giải quyết là thiết lập mô hình toán học giải tích định lượng để đánh giá hiệu năng hệ thống cache phân cấp trong chip đa xử lý, đa luồng; giải quyết hiện tượng nghẽn nút cổ chai tại cache chia sẻ cấp cuối khi số lõi tăng thông qua giải pháp kiến trúc cụm lõi; và xây dựng công thức tính toán trễ truyền thông trung bình nhằm lựa chọn cấu hình mạng liên kết tối ưu khi mở rộng quy mô hệ thống.

Cơ sở lý thuyết và phương pháp nghiên cứu

Luận án sử dụng nền tảng lý thuyết mạng xếp hàng đóng đa lớp có dạng tích các xác suất (Multiclass Closed Product-Form Queuing Network - MCPFQN) dựa trên chuỗi Markov thời gian rời rạc và liên tục (DTMC, CTMC). Để giải mô hình mạng xếp hàng, tác giả áp dụng thuật toán phân tích giá trị trung bình (Mean Value Analysis - MVA), tính toán các chỉ số hiệu năng bao gồm: thời gian chờ đợi tại các nút, thời gian đáp ứng, mức độ sử dụng và thông lượng (throughput) của từng nút cũng như toàn hệ thống.

Về mặt lý thuyết kiến trúc vi xử lý, luận án vận dụng luật Amdahl để biểu diễn tổng mức tăng tốc ($SP$) cho các dạng kiến trúc đa lõi:

• Chip đa lõi đối xứng: $$SP_{SMC}(f, n, r) = \frac{1}{\frac{1-f}{perf(r)} + \frac{f \cdot r}{perf(r) \cdot n}}$$
• Chip đa lõi bất đối xứng: $$SP_{AMC}(f, n, r) = \frac{1}{\frac{1-f}{perf(r)} + \frac{f}{perf(r) + n - r}}$$
• Chip đa lõi linh hoạt: $$SP_{DMC}(f, n, r) = \frac{1}{\frac{1-f}{perf(r)} + \frac{f}{n}}$$ Trong đó, $f$ là tỷ trọng phần công việc có thể thực hiện song song, $n$ là tổng số BCE, và $r$ là số lượng BCE được tích hợp trong một lõi.

Hệ thống nhớ phân cấp được xây dựng trên ba nguyên tắc định vị: vị trí tạm thời, vị trí không gian và vị trí tuần tự. Thời gian trung bình truy nhập bộ nhớ (AMAT) và mức tăng tốc ($SP = MAT / AMAT$) được xác định thông qua thời gian trúng cache (Hit time), tỷ số trượt cache ($M$), và thời gian trượt penalty ($MAT$):

• Hệ thống 1 cấp cache: $$AMAT_{L1} = L1_{hit_time} + (L1_{miss_rate}) \times MAT$$
• Hệ thống 2 cấp cache: $$AMAT_{L1L2} = L1_{hit_time} + (L1_{miss_rate}) \times (L2_{hit_time} + L2_{miss_rate} \times MAT)$$
• Hệ thống 3 cấp cache: $$AMAT_{L1L2L3} = L1_{hit_time} + (L1_{miss_rate}) \times [L2_{hit_time} + L2_{miss_rate} \times (L3_{hit_time} + L3_{miss_rate} \times MAT)]$$

Phương pháp nghiên cứu thực tế là phương pháp định lượng kết hợp mô hình hóa giải tích và mô phỏng trên máy tính. Tác giả xây dựng mô hình mạng xếp hàng tổng quát và mô hình rút gọn cho các kiến trúc CMP đa luồng, sau đó sử dụng công cụ phần mềm chuyên dụng JMT v.0 (Java Modelling Tools) để chạy các kịch bản mô phỏng kiểm chứng. Nguồn tư liệu và dữ liệu đầu vào dựa trên các thông số kỹ thuật thực tế của chip RISC (tần suất thực hiện lệnh và chỉ số CPI), kiến trúc bộ nhớ cache của các họ chip Intel Xeon, Core i7, và các tham số tô pô mạng liên kết trên chip.

Nội dung chính theo từng chương

Chương 1: Tổng quan về kiến trúc chip đa xử lý, đa luồng

Chương 1 trình bày tổng quan cấu trúc của chip CMP đa luồng, mạng liên kết trên chip và tổ chức bộ nhớ phân cấp. Tác giả phân tích lý do phát triển CMP: đặt nhiều lõi trên cùng vi mạch giúp thu nhỏ diện tích bản mạch chính, tăng cường phối hợp giữa các lõi, rút ngắn đường truyền xung tín hiệu, giảm trễ và tiết kiệm điện năng do công suất tiêu thụ tín hiệu trên dây dẫn tỷ lệ với bình phương điện áp chia cho điện trở ($P = V^2 / R$). Luận án giới thiệu xu hướng kiến trúc phân mảnh dạng ma trận ngói lợp (tiled architecture) tiêu biểu như Tile64 (64-lõi) và Tera-Scale (80-lõi).

Chương này trình bày mô hình kiến trúc SMC, AMC, DMC dựa trên đơn vị lõi cơ sở BCE và luật Amdahl tương ứng; phân loại Flynn gồm SISD, SIMD, MISD và MIMD; cùng công nghệ siêu luồng (SMT). Kỹ thuật SMT cho phép mỗi CPU vật lý sở hữu nhiều CPU logic với tập thanh ghi và bộ đếm chương trình (PC) riêng biệt, giúp luân phiên thực thi các chuỗi lệnh độc lập và khai thác các đơn vị chức năng nhàn rỗi.

Về mạng liên kết trên chip (OCIN), chương 1 hệ thống hóa các tham số đánh giá mạng: số liên kết ($L$), cấp độ nút ($d$), cấp độ lớn nhất ($d_{max}$), đường kính mạng ($D$), khoảng cách trung bình ($H$), độ rộng chia đôi ($B$), độ phức tạp sinh trưởng ($G$), độ trễ, băng thông liên kết và băng thông độ rộng chia đôi. Các công thức xác định tham số cho mạng $n$DMesh và $n$DTorus có $N$ nút ($k_i = k$ trên $n$ hướng) được tổng hợp cụ thể: đường kính $D \approx n(N^{1/n}-1)$ đối với Mesh và $D \approx (n/2)N^{1/n}$ đối với Torus; khoảng cách trung bình $H \approx (n/3)N^{1/n}$ đối với Mesh và $H \approx (n/4)N^{1/n}$ đối với Torus.

Về phân cấp hệ thống nhớ, chương 1 phân loại 7 cấp nhớ trong hệ thống đa xử lý:

Cấp nhớ	Loại bộ nhớ	Công nghệ chế tạo	Dung lượng điển hình	Thời gian truy nhập
L0	Thanh ghi CPU (Registers)	SRAM tích hợp trong lõi	Tập thanh ghi bên trong	0,3 - 0,5 ns
L1	Cache sơ cấp (L1I, L1D)	SRAM trên chip	8 - 128 KB	1 - 3 ns
L2	Cache thứ cấp	SRAM trên chip	256 KB - 3 MB	3 - 10 ns
L3	Cache cấp ba	SRAM trên hoặc ngoài chip	2 - 12 MB	10 - 20 ns
L4	Bộ nhớ chính	DRAM	4 - 16 GB	50 - 100 ns
L5	Thiết bị nhớ đĩa cứng	Từ tính / Ổ đĩa cứng	1 - 16 TB	5 - 10 ms
L6	Thiết bị nhớ trên mạng	Hệ thống RAID / LAN	Phân tán trên mạng	10 Mb/s - 10 Gb/s

Chương 2: Nghiên cứu tổ chức cache, chính sách thay thế cache trong kiến trúc chip đa xử lý, đa luồng

Chương 2 tập trung phân tích nguyên tắc hoạt động, cấu trúc phần cứng, các tổ chức cache và thuật toán thay thế dòng cache. Cache bao gồm ba thành phần chức năng: khối nhớ dữ liệu (SRAM), thẻ nhớ (TRAM) lưu trữ địa chỉ và bộ điều khiển cache (chịu trách nhiệm thực thi snoop, snarf, cập nhật thẻ, ghi dữ liệu và xác định trạng thái trúng/trượt).

Tác giả so sánh chi tiết ba tổ chức cache:

• Cache liên kết đầy đủ: Khối nhớ từ bộ nhớ chính có thể nạp vào dòng bất kỳ; trường thẻ $S$ bit được so sánh đồng thời với tất cả các thẻ trong cache. Cấu hình này cho tỷ số trúng cache cao nhất nhưng mạch so sánh phức tạp, thời gian tìm kiếm lâu khi dung lượng tăng, thường chỉ áp dụng cho dung lượng nhỏ dưới 4 KB.
• Cache sắp xếp trực tiếp: Mỗi khối nhớ chỉ được ánh xạ vào một dòng cố định theo công thức $i = j \bmod C$ (với $j$ là địa chỉ khối, $C$ là số dòng cache). Địa chỉ nhớ chia thành 3 trường: trường thẻ ($S - R$ bit), trường dòng ($R$ bit) và trường từ ($W$ bit). Sơ đồ này có chi phí thấp, tìm kiếm nhanh nhưng dễ phát sinh xung đột hoán đổi liên tục giữa các khối cùng dòng, làm giảm hiệu năng trong môi trường đa nhiệm.
• Cache liên kết tập hợp: Cache chia thành $S$ tập hợp, mỗi tập có $K$ dòng; ánh xạ khối vào tập theo công thức $s = b \bmod S$. Đây là tổ chức dung hòa ưu điểm của hai dạng trên, giảm xung đột và kiểm soát độ phức tạp mạch điện. Luận án dẫn chứng thực tế: Intel Pentium dùng cache liên kết tập hợp 2-dòng (dòng 32 B); Pentium 4 dùng L2 và L3 liên kết tập hợp 8-dòng (dòng 128 B); Intel Nehalem Xeon và Core i7 sử dụng L1I/L1D 32 KB liên kết tập hợp 4-dòng, L2 256 KB liên kết tập hợp 8-dòng và L3 (8-12 MB) liên kết tập hợp 16-dòng.

Về quy trình thay thế dòng cache khi xảy ra trượt và cache bị đầy, chương 2 khảo sát các chính sách: LRU (Least Recently Used), LFU (Least Frequently Used), FIFO, Random, NRU (Not Recently Used), SRRIP (gồm SRRIP-FP ưu tiên tần suất và SRRIP-HP ưu tiên trúng cache), DRRIP, BIP và BRRIP. Về cơ chế đọc và ghi dữ liệu, luận án phân tích quy tắc ghi thông qua (Write-through), ghi trở lại (Write-back kèm bộ đệm ghi), đọc bên cạnh (Read-aside) và đọc thông suốt (Read-through), cùng các giao thức duy trì tính nhất quán cache MESI và MESIF trong hệ thống đa lõi có cache chia sẻ.

Chương 3: Phân tích đánh giá hiệu năng của tổ chức cache trong kiến trúc chip đa xử lý, đa luồng

Chương 3 xây dựng mô hình toán học giải tích để đánh giá hiệu năng tổ chức cache. Tác giả mô hình hóa kiến trúc CMP đa luồng thành mạng xếp hàng đóng đa lớp có dạng tích các xác suất (MCPFQN) và áp dụng thuật toán phân tích giá trị trung bình (MVA). Mô hình giải tích được triển khai qua hai bước: mô hình tổng quát (chi tiết hóa từng nút xử lý, từng bus và từng khối cache) và mô hình rút gọn (nhóm các nút xử lý và cấp cache có tính chất đối xứng để tối ưu hóa quá trình tính toán).

Luận án khảo sát hai cấu trúc phân cấp:

• Hệ thống 2 cấp cache: L1 cache riêng cho từng lõi, L2 cache chia sẻ chung cho toàn bộ các lõi.
• Hệ thống 3 cấp cache: L1 cache và L2 cache riêng cho từng lõi, L3 cache chia sẻ chung cho toàn bộ các lõi.

Các thực nghiệm mô phỏng được thực hiện trên phần mềm JMT v.0 cho các cấu hình vi xử lý 2-lõi, 4-lõi và 8-lõi, với mỗi lõi xử lý đồng thời 8 luồng (tương ứng 16, 32 và 64 luồng trong toàn hệ thống). Bốn thông số hiệu năng chính được đo đạc tại các nút bao gồm: thời gian chờ đợi trung bình, thời gian đáp ứng trung bình, mức độ sử dụng tài nguyên và thông lượng trung bình (thể hiện qua các bảng 3.1, 3.2, 3.3 trong văn bản).

Kết quả mô phỏng cho thấy:

• Khi số lượng lõi tăng từ 2 lên 4 và 8 lõi, áp lực truy cập lên bộ nhớ chia sẻ cấp cuối gia tăng, làm tăng thời gian chờ đợi và thời gian đáp ứng tại bus điều khiển và bộ nhớ chính.
• Trong cấu hình 2 cấp cache, L2 cache chia sẻ nhanh chóng đạt ngưỡng bão hòa mức độ sử dụng khi số lõi tăng, dẫn đến hiện tượng trễ hàng đợi tăng cao.
• Cấu hình 3 cấp cache (với L2 riêng cho từng lõi) giúp lọc phần lớn các yêu cầu truy cập cục bộ, giảm tải lưu lượng gửi tới L3 cache chia sẻ. Do đó, hệ thống 3 cấp cache duy trì thời gian đáp ứng thấp hơn, mức độ sử dụng tại các khối nhớ phân phối đồng đều hơn và thông lượng tổng thể của hệ thống cao hơn đáng kể so với hệ thống 2 cấp cache trên cùng quy mô lõi.

Chương 4: Giải pháp tối ưu hóa hiệu năng của tổ chức cache trong kiến trúc chip đa xử lý, đa luồng

Chương 4 đề xuất hai nhóm giải pháp tối ưu hóa hiệu năng: kiến trúc phân cụm lõi (core cluster) và lựa chọn cấu hình mạng liên kết trên chip (OCIN).

Nhằm khắc phục hiện tượng nghẽn nút cổ chai tại L3 cache chia sẻ tập trung trong các chip 8-lõi, tác giả đề xuất giải pháp kiến trúc cụm lõi: phân chia 8 lõi xử lý thành 2 cụm lõi độc lập, mỗi cụm gồm 4 lõi (mỗi lõi xử lý 8 luồng). Thay vì dùng chung một khối L3 cache duy nhất, mỗi cụm được trang bị một khối L3 cache riêng biệt. Tác giả xây dựng mô hình MCPFQN tổng quát và mô hình rút gọn cho kiến trúc cụm lõi, sau đó mô phỏng trên phần mềm JMT v.0 để so sánh với kiến trúc L3 cache dùng chung truyền thống (Bảng 4.1 trong luận án).

Kết quả mô phỏng cho thấy kiến trúc cụm lõi với L3 cache riêng giúp phân tán lưu lượng truy cập bộ nhớ, giảm áp lực tranh chấp hàng đợi, rút ngắn thời gian chờ đợi và thời gian đáp ứng tại các nút L3 cache, qua đó nâng cao mức độ sử dụng hữu ích và cải thiện thông lượng xử lý của toàn bộ chip 8-lõi.

Ở nội dung thứ hai, luận án nghiên cứu ảnh hưởng của mạng liên kết trên chip đến hiệu năng khi số lượng lõi tăng cao. Tác giả đề xuất công thức tính trễ truyền thông trung bình cho mạng liên kết trên chip dựa trên khoảng cách định tuyến trung bình, chu kỳ xung nhịp và tải lưu lượng truyền thông. Trên cơ sở đó, luận án tiến hành mô phỏng và so sánh 5 cấu hình mạng liên kết: Ring, 2DMesh, 2DTorus, 3DMesh và 3DTorus khi quy mô số lõi thay đổi theo các mức $n = 8, 16, 32, 64, 128$ lõi (Bảng 4.2 trong văn bản).

Kết quả phân tích trễ truyền thông trung bình và mức tăng tốc xử lý ($SP$) chỉ ra:

• Cấu hình mạng Ring có trễ truyền thông tăng rất nhanh khi số lõi vượt quá 8 lõi, không phù hợp cho các hệ thống quy mô lớn do băng thông chia đôi thấp.
• Cấu hình 2DMesh cải thiện đáng kể độ trễ so với Ring ở quy mô 16 và 32 lõi, nhưng bắt đầu bộc lộ độ trễ cao ở quy mô 64 và 128 lõi do đường kính mạng lớn.
• Các cấu hình mạng liên kết 2DTorus, 3DMesh và 3DTorus duy trì khoảng cách định tuyến trung bình ngắn, độ trễ truyền thông thấp và mức tăng tốc xử lý cao ổn định khi số lõi tăng lên 64 và 128 lõi. Trong đó, mạng 3DTorus đạt các chỉ số hiệu năng tối ưu nhất về độ trễ và khả năng mở rộng quy mô.

Kết quả và những đóng góp mới

Luận án tự xác định các đóng góp mới về mặt lý luận khoa học và thực tiễn kỹ thuật như sau:

1. Về mặt lý luận:
   • Xây dựng thành công khung phân tích giải tích dựa trên lý thuyết mạng xếp hàng đóng đa lớp dạng tích các xác suất (MCPFQN) kết hợp thuật toán phân tích giá trị trung bình (MVA) để mô hình hóa và đánh giá định lượng các thông số hiệu năng (thời gian chờ, thời gian đáp ứng, độ sử dụng, thông lượng) của hệ thống cache phân cấp trong vi xử lý CMP đa luồng.
   • Đề xuất mô hình kiến trúc cụm lõi (core cluster) tích hợp L3 cache riêng biệt cho từng cụm nhằm giảm thiểu tắc nghẽn truy cập tại cache cấp cuối.
   • Đề xuất công thức tính toán trễ truyền thông trung bình cho các cấu hình mạng liên kết trên chip (OCIN), hỗ trợ việc đánh giá mức tăng tốc xử lý của hệ thống đa lõi.
2. Về mặt thực tiễn:
   • Cung cấp kết quả so sánh định lượng chi tiết khẳng định tính ưu việt của cấu hình 3 cấp cache so với 2 cấp cache, và hiệu quả giảm trễ, tăng thông lượng của kiến trúc cụm lõi trên hệ thống 8-lõi xử lý 8-luồng/lõi.
   • Xác định quy luật biến thiên hiệu năng của các cấu hình mạng liên kết trên chip theo quy mô số lõi, đưa ra khuyến nghị kỹ thuật chuyển đổi từ cấu hình Ring, 2DMesh sang 2DTorus, 3DMesh và 3DTorus khi chế tạo các chip đa xử lý có số lõi lớn từ 16 đến 128 lõi.
   • Xây dựng bộ kịch bản mô phỏng chi tiết trên công cụ JMT v.0, tạo cơ sở phương pháp luận cho việc phân tích, thiết kế và tối ưu hóa hệ thống nhớ vi xử lý.

Về kiến nghị và giải pháp, luận án đề xuất áp dụng giải pháp phân cụm lõi kết hợp tổ chức cache 3 cấp trong thiết kế vi xử lý thế hệ mới; áp dụng các cấu trúc mạng liên kết 2D/3D Torus khi phát triển hệ thống nhiều lõi; và tiếp tục khai thác các công cụ ASIC, FPGA, ngôn ngữ VHDL/Verilog để phục vụ nghiên cứu, đào tạo thiết kế vi mạch tại Việt Nam.

Hạn chế và hướng nghiên cứu tiếp

Về mặt hạn chế, các khảo sát mô phỏng hiệu năng tổ chức cache trong luận án tập trung chủ yếu vào quy mô 2-lõi, 4-lõi và 8-lõi (mỗi lõi 8 luồng); kết quả nghiên cứu dựa trên mô hình hóa toán học giải tích và mô phỏng trên phần mềm JMT v.0, chưa tiến hành chế tạo vật lý trên vi mạch thực tế để kiểm chứng thực nghiệm đo đạc phần cứng; đồng thời các khảo sát mạng liên kết điện tử truyền thống bằng kim loại vẫn chịu hạn chế về mặt công suất tiêu thụ và giới hạn băng thông vật lý.

Hướng nghiên cứu tiếp theo được luận án chỉ ra bao gồm:

• Mở rộng mô hình MCPFQN và giải thuật MVA để đánh giá hiệu năng cho các chip đa xử lý có quy mô lớn hơn 8 lõi với số luồng xử lý cao hơn.
• Nghiên cứu khảo sát sâu hơn các giải pháp mạng liên kết trên chip thế hệ mới nhằm thay thế mạng dây kim loại truyền thống, đáp ứng yêu cầu băng thông cao và công suất thấp.
• Tích hợp và đánh giá thực nghiệm các chính sách thay thế cache động tiên tiến như DRRIP, SRRIP-FP, SRRIP-HP trong kiến trúc cụm lõi.
• Hiện thực hóa và kiểm tra các thiết kế kiến trúc đề xuất thông qua việc lập trình trên các nền tảng phần cứng mẫu FPGA hoặc chế tạo chip thử nghiệm ASIC.

Giá trị tham khảo

Luận án là tài liệu tham khảo hữu ích cho các nhóm đối tượng:

• Nghiên cứu sinh, học viên cao học và sinh viên các ngành Kỹ thuật Viễn thông, Điện tử, Kỹ thuật Máy tính và Công nghệ Thông tin nghiên cứu về kiến trúc máy tính, lý thuyết mạng xếp hàng và mô hình hóa hiệu năng vi xử lý.
• Giảng viên các trường đại học khối kỹ thuật sử dụng làm tài liệu giảng dạy chuyên đề về kiến trúc vi xử lý đa lõi, phân cấp bộ nhớ và mạng liên kết trên chip (OCIN).
• Các kỹ sư thiết kế phần cứng, chuyên gia phát triển vi mạch tại các viện nghiên cứu và trung tâm thiết kế (như Trung tâm ICDREC) tham khảo trong việc lựa chọn cấu hình cache, chính sách thay thế và tô pô mạng liên kết.

Các phần có giá trị tham khảo chuyên sâu nhất của luận án gồm: phương pháp ánh xạ kiến trúc phần cứng vào mô hình mạng xếp hàng MCPFQN và thuật toán MVA tại Chương 3; bộ kịch bản mô phỏng chi tiết trên công cụ JMT v.0 (trình bày tại phần Phụ lục); và công thức tính toán trễ truyền thông trung bình cho mạng liên kết OCIN tại Chương 4.

Câu hỏi thường gặp

1. Luận án sử dụng công cụ và phương pháp toán học nào để phân tích, đánh giá hiệu năng hệ thống cache?

Tác giả sử dụng lý thuyết mạng xếp hàng đóng đa lớp có dạng tích các xác suất (MCPFQN) kết hợp thuật toán phân tích giá trị trung bình (MVA). Mô hình toán học này được chia thành mô hình tổng quát và mô hình rút gọn, sau đó được hiện thực hóa và mô phỏng kiểm chứng trên máy tính bằng phần mềm chuyên dụng JMT v.0 (Java Modelling Tools).

2. Sự khác biệt về hiệu năng giữa tổ chức 2 cấp cache và 3 cấp cache trong chip 8-lõi (8 luồng/lõi) được thể hiện như thế nào?

Trong cấu hình 2 cấp cache (L1 riêng, L2 chia sẻ), toàn bộ các yêu cầu trượt cache từ 8 lõi đều đổ dồn trực tiếp về L2 cache dùng chung, khiến mức độ sử dụng của L2 tăng vọt, gây nghẽn hàng đợi và làm tăng thời gian chờ đợi cũng như thời gian đáp ứng trung bình. Trong cấu hình 3 cấp cache (L1 riêng, L2 riêng, L3 chia sẻ), L2 riêng của từng lõi đóng vai trò lọc lưu lượng cục bộ, giúp giảm tải đáng kể số lần truy xuất tới L3 cache chia sẻ, từ đó giảm thời gian đáp ứng trung bình và nâng cao thông lượng tổng thể của hệ thống.

3. Kiến trúc cụm lõi (core cluster) do tác giả đề xuất ở Chương 4 có nguyên lý hoạt động ra sao?

Kiến trúc cụm lõi phân chia 8 lõi xử lý thành 2 cụm độc lập, mỗi cụm gồm 4 lõi (mỗi lõi xử lý 8 luồng). Thay vì toàn bộ 8 lõi cùng tranh chấp một khối L3 cache chia sẻ chung duy nhất, mỗi cụm 4 lõi được trang bị một khối L3 cache riêng biệt. Thiết kế này giúp phân tán luồng dữ liệu, giảm thiểu sự tranh chấp trên đường truyền bus nội bộ, hạ thấp thời gian chờ đợi tại cache cấp cuối và tăng thông lượng hoạt động của hệ thống.

4. Khi quy mô vi xử lý tăng từ 16 lên 128 lõi, cấu hình mạng liên kết trên chip nào được khuyến nghị sử dụng?

Kết quả mô phỏng tại Chương 4 chỉ ra rằng mạng dạng Ring và 2DMesh bộc lộ nhược điểm trễ truyền thông tăng rất nhanh khi số lõi tăng cao. Do đó, tác giả khuyến nghị chuyển sang sử dụng các cấu hình mạng 2DTorus, 3DMesh và đặc biệt là 3DTorus. Các mạng này có khoảng cách định tuyến trung bình ngắn và băng thông độ rộng chia đôi lớn, giúp giữ độ trễ ở mức thấp và bảo đảm mức tăng tốc xử lý ($SP$) ổn định khi mở rộng quy mô lên 64 và 128 lõi.

5. Ba nguyên tắc tham chiếu dữ liệu chi phối hoạt động dự đoán của cache trong luận án là gì?

Hoạt động nạp dữ liệu đón đầu của cache dựa trên 3 nguyên tắc tham chiếu:

• Vị trí tạm thời: Một vị trí nhớ vừa được CPU tham chiếu sẽ có khả năng cao tiếp tục được tham chiếu lại trong tương lai gần.
• Vị trí không gian: Một vị trí nhớ được CPU tham chiếu thì các vị trí nhớ lân cận với nó có xu hướng sẽ được tham chiếu tiếp theo.
• Vị trí tuần tự: Các lệnh và dữ liệu của chương trình thường được CPU truy xuất theo trình tự liên tiếp trong không gian bộ nhớ.

Kết luận

Luận án tiến sĩ của tác giả Hồ Văn Phi đã giải quyết bài toán đánh giá và tối ưu hóa hiệu năng hệ thống cache trong vi xử lý đa xử lý, đa luồng bằng phương pháp giải tích mạng xếp hàng đóng đa lớp MCPFQN kết hợp thuật toán MVA và mô phỏng trên phần mềm JMT v.0. Nghiên cứu đã chứng minh định lượng tính ưu việt của cấu hình 3 cấp cache, đồng thời đề xuất thành công giải pháp kiến trúc cụm lõi với L3 cache riêng giúp giảm tắc nghẽn truy cập bộ nhớ. Bên cạnh đó, luận án xây dựng công thức tính trễ truyền thông trung bình cho mạng liên kết trên chip, đưa ra cơ sở kỹ thuật cho việc lựa chọn cấu hình mạng 2D/3D Torus khi mở rộng số lõi từ 16 đến 128 lõi. Các kết quả này cung cấp cơ sở khoa học và dữ liệu thực nghiệm phục vụ công tác nghiên cứu, đào tạo và định hướng thiết kế phần cứng vi mạch tại Việt Nam.

Trích đoạn nội dung tài liệu

chương 1. NGHIÊN CỨU TỔ CHỨC CACHE, CHÍNH SÁCH THAY THẾ CACHE TRONG KIẾN TRÚC CHIP ĐA XỬ LÝ, ĐA LUỒNG. Tổ chức cache trong kiến trúc chip đa xử lý, đa luồng. Cache và các nguyên tắc làm việc của cache.

Vị trí tạm thời. Vị trí không gian. Vị trí tuần tự. Các thành phần của cache.

Các tổ chức cache. Cache liên kết đầy đủ. Cache sắp xếp trực tiếp. Cache liên kết tập hợp.

Các đặc tính hiệu năng của cache. Các tỷ số trúng cache và trượt cache. Trúng cache. Trượt cache.

Tỷ số trúng cache, trượt cache và trượt penalty. Bus bộ nhớ, kích thước từ nhớ, kích thước khối và trượt penalty. Trượt cache cục bộ và toàn cục. Ảnh hưởng của tổ chức cache đến trượt penalty.

Kích thước khối cache và tỷ số trượt. Các loại trượt cache. Tổ chức cache ảnh hưởng đến tốc độ của CPU. Các giải pháp tăng hiệu năng của cache.

Các chính sách thay thế dòng cache. Chính sách thay thế cache LRU. Chính sách thay thế cache LFU. Chính sách thay thế cache FIFO.

Chính sách thay thế cache Random. Chính sách thay thế cache NRU. Chính sách thay thế cache SRRIP. Chính sách thay thế cache DRRIP.

Ghi và đọc cache. Ghi thông qua. Ghi trở lại. Đọc bên cạnh.

Đọc thông suốt. Cache chia sẻ thông minh. Tổ chức phân cấp cache trong các chip đa xử lý. Cache chia sẻ thông minh.

Tính nhất quán cache trong các chip đa xử lý, đa luồng. Thế nào là nhất quán cache. Các giao thức nhất quán cache. Kết luận chương 2.

PHÂN TÍCH ĐÁNH GIÁ HIỆU NĂNG CỦA TỔ CHỨC CACHE TRONG KIẾN TRÚC CHIP ĐA XỬ LÝ, ĐA LUỒNG. Cơ sở lý thuyết để phân tích đánh giá hiệu năng của tổ chức cache. Kiến trúc chip đa xử lý, đa luồng là mạng xếp hàng đóng đa lớp có dạng tích các xác suất (MCPFQN). Khái quát mạng xếp hàng đóng.

Khái quát mạng xếp hàng đóng có dạng tích các xác suất. Kiến trúc chip đa xử lý, đa luồng là mạng xếp hàng đóng đa lớp có dạng tích các xác suất (MCPFQN). Thuật toán phân tích giá trị trung bình (MVA) đánh giá hiệu năng cho các mạng xếp hàng đóng có dạng tích các xác suất. Mạng xếp hàng đóng đơn lớp có dạng tích các xác suất.

Mạng xếp hàng đóng đa lớp có dạng tích các xác suất. Mô hình tổ chức cache trong kiến trúc chip đa xử lý, đa luồng. Mô hình tổ chức cache trong kiến trúc chip đa xử lý, đa luồng. Phân tích đánh giá hiệu năng của tổ chức cache trong kiến trúc chip đa xử lý, đa luồng.

Mô hình thực hiện phân tích hiệu năng của kiến trúc chip đa xử lý, đa luồng. Mô hình tổng quát. Mô hình rút gọn. Kết quả mô phỏng và đánh giá hiệu năng cho kiến trúc CMP đa luồng.

Kết quả mô phỏng cho các kiến trúc CMP đa luồng. Đánh giá hiệu năng các chip đa xử lý, đa luồng. Kết luận chương 3. GIẢI PHÁP TỐI ƯU HÓA HIỆU NĂNG CỦA TỔ CHỨC CACHE TRONG KIẾN TRÚC CHIP ĐA XỬ LÝ, ĐA LUỒNG.

Kiến trúc cụm lõi cho chip đa xử lý, đa luồng. Mô hình MCPFQN cho kiến trúc cụm lõi. Mô hình MCPFQN tổng quát của kiến trúc cụm lõi. Mô hình MCPFQN rút gọn của kiến trúc cụm lõi.

Kết quả mô phỏng và đánh giá hiệu năng cho kiến trúc cụm lõi. Kết quả mô phỏng cho kiến trúc cụm lõi. Đánh giá hiệu năng cho kiến trúc cụm lõi. Lựa chọn cấu hình mạng liên kết trên chip.

Đề xuất công thức tính trễ truyền thông trung bình cho mạng liên kết trên chip. Lựa chọn cấu hình mạng liên kết trên chip. Kết quả mô phỏng. Đánh giá kết quả.

Kết luận chương 4. 106 TÀI LIỆU THAM KHẢO. 107 DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ CỦA LUẬN ÁN. Kịch bản mô phỏng đánh giá hiệu năng của tổ chức cache trong kiến trúc CMP đa luồng có 2 cấp cache và 3 cấp cache.

Kịch bản mô phỏng đánh giá hiệu năng của tổ chức cache trong kiến trúc cụm lõi 3 cấp cache. 130 DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT Ký hiệu Tên tiếng Anh Tên tiếng Việt A ACM Association for Computing Hiệp hội kỹ thuật tính toán Hoa Machinery Kỳ ALU Arithmetic Logic Unit Đơn vị số học và logic AMAT Average Memory Access Time Thời gian trung bình truy nhập bộ nhớ AMC Asymmetric Multi-core Chip Chip đa lõi bất đối xứng ANSI American National Standards Viện tiêu chuẩn quốc gia Hoa Institute Kỳ ASCII American Standards Code for Chuẩn mã trao đổi thông tin Information Interchange Hoa Kỳ ASIC Application-Specific Integrate Mạch tích hợp ứng dụng Circuit chuyên biệt B BCE Base Core Equivalents Tương đương lõi cơ sở BIP Bimodal Insertion Policy Chính sách chèn hai phương thức BRRIP Bimodal Re-Reference Interval Hai phương thức dự báo Prediction (Bimodal RRIP) khoảng tham chiếu lại C CAD Computer Aided Design Thiết kế bằng máy tính ccNUMA cache-coherent Non-Uniform Truy cập bộ nhớ không đồng Memory Access nhất tương quan cache CD Compact Disk Đĩa compact CISC Complex Instruction Set Computer Máy tính có tập lệnh phức CMP Chip Multi-Processors Chip đa xử lý CPI Cycles per Instruction Chu kỳ cho một lệnh CPU Central Processing Unit Đơn vị xử lý trung tâm CSM Centralised Shared Memory Bộ nhớ chia sẻ tập trung CTMC Continuous-Time Markov Chain Chuỗi Markov có thời gian liên tục D DIMM Dual In-line Memory Modules Module bộ nhớ hai hàng chân DMA Direct Memory Access Truy cập bộ nhớ trực tiếp DMC Dynamic Multi-core Chip Chip đa lõi linh hoạt DRAM Dynamic Random-Access Memory RAM động DRRIP Dynamic Re-Reference Interval Dự đoán khoảng tham chiếu lại Prediction (Dynamic RRIP) động DSM Distributed Shared Memory Bộ nhớ chia sẻ phân tán DSR Dynamic Spill Receive Nhận dữ liệu tràn tự động DTMC Discrete-Time Markov Chain Chuỗi Markov có thời gian rời rạc DVD Digital Versatile Disk Đĩa kỹ thuật số đa năng F FCFS First Come, First Served Đến trước được phục vụ trước FIFO First In First Out Vào trước ra trước FPGA Field Programmable Gate Array Mảng cổng lập trình được dạng trường G GALS Globally Asynchronous, Locally Dị bộ toàn cục, đồng bộ cục bộ Synchronous H HLL High-Level Language Ngôn ngữ cấp cao HPC High Performance Computing Tính toán hiệu năng cao I IAR Instruction Address Register Thanh ghi địa chỉ lệnh IC Integrated Circuit Mạch tích hợp IEEE Institute of Electrical and Electronics Viện kỹ sư điện và điện tử Engineers ILP Instruction Level Parallelism Song song mức lệnh IMC Integrated Memory Controller Bộ điều khiển bộ nhớ tích hợp I/O Input/Output Vào/ra IP Internet Protocol Giao thức Internet IR Instruction Register Thanh ghi lệnh J JMT Java Modelling Tools Công cụ mô phỏng Java L LAN Local Area Network Mạng cục bộ LFU Least Frequently Used Tần suất sử dụng ít nhất LLC Last Level Cache Cache cấp cuối LRU Least Recently Used Sử dụng gần đây ít nhất LSI Large-Scale Integration Tích hợp cỡ lớn M MAPI Memory Accesses clock cycles Per Số chu kỳ đồng hồ truy cập bộ Instruction nhớ/lệnh MAR Memory Address Register Thanh ghi địa chỉ bộ nhớ MAT Memory Access Time Thời gian truy nhập bộ nhớ MCPFQN Multiclass Closed Product-Form Mạng xếp hàng đóng đa lớp có Queuing Network dạng tích các xác suất MESI Modified, Exclusive, Shared or Sửa đổi, loại trừ, chia sẻ hoặc Invalid (Cache-Protocol) vô hiệu (giao thức cache) MESIF Modified, Exclusive, Shared, Sửa đổi, loại trừ, chia sẻ hoặc Invalid, Forward vô hiệu; chuyển tiếp MIMD Multiple Instruction Multiple Data Nhiều lệnh nhiều dữ liệu MISD Multiple Instruction Single Data Nhiều lệnh một dữ liệu MMU Memory Management Unit Đơn vị quản lý bộ nhớ MRU Most Recently Used Sử dụng gần đây nhiều nhất MSI Medium-Scale Integration Tích hợp cỡ trung bình MSPI Memory Stalls clock cycles Per Số chu kỳ đồng hồ trì hoãn bộ Instruction nhớ/lệnh MSPMA Memory Stalls clock cycles Per Số chu kỳ đồng hồ trì hoãn bộ Memory Access nhớ/truy cập bộ nhớ MVA Mean Value Analysis Phân tích giá trị trung bình N NoC Network on Chip Mạng trên chip NRU Not Recently Used Không sử dụng gần đây NUCA Non-Uniform Cache Architecture Kiến trúc cache không đồng nhất NUMA Non-Uniform Memory Access Truy nhập bộ nhớ không đều O OCIN On-Chip Interconnection Network Mạng liên kết trên chip OS Operating System Hệ điều hành P PC Program Counter Bộ đếm chương trình PCB Process Control Block Khối điều khiển quá trình PLD Programmable Logic Device Thiết bị logic lập trình được PMF Probability mass function Hàm khối lượng xác suất PS Processor Sharing Chia sẻ xử lý PSELC Policy Selection Counter Bộ đếm lựa chọn chính sách PSW Processor Status Word Từ trạng thái của bộ xử lý Q QPI Quick Path Interconnect Liên kết đường dẫn nhanh R RAID Redundant Array of Independent Hệ thống đĩa dự phòng Disks RAM Random Access Memory Bộ nhớ truy cập ngẫu nhiên RISC Reduced Instruction Set Computer Máy tính với tập lệnh đơn giản hóa ROM Read-Only Memory Bộ nhớ chỉ đọc RRIP Re-Reference Interval Prediction Dự đoán khoảng tham chiếu lại RRPV Re-reference Prediction Values Giá trị dự đoán tham chiếu lại S SD Set Dueling Tranh chấp tay đôi tập hợp SDM Set Dueling Monitor Bộ giám sát tranh chấp tay đôi tập hợp SDRAM Synchronous Dynamic RAM DRAM đồng bộ SIMD Single Instruction Multiple Data Một lệnh nhiều dữ liệu SMC Symmetric Multi-core Chip Chip đa lõi đối xứng SMP Symmetric Multiprocessors Đa xử lý đối xứng SMT Simultaneous Multi-Threading Đa luồng đồng thời SoC System on a Chip Hệ thống trên một chip SP Speed Up Mức tăng tốc SRAM Static Random-Access Memory RAM tĩnh SRRIP Static Re-reference Interval Dự đoán khoảng tham chiếu lại Prediction (Static RRIP) tĩnh SRRIP- SRRIP-Frequency Priority SRRIP ưu tiên tần xuất FP SRRIP- SRRIP-Hit Priority SRRIP ưu tiên trúng cache HP SSI Small-Scale Integration Tích hợp cỡ nhỏ T TLB Translation Look-aside Buffer Bộ đệm chuyển đổi TLP Thread Level Parallelism Song song mức luồng TP Thread Processors Luồng xử lý TRAM Tag RAM Thẻ RAM TSC Time Stamp Counter Bộ đếm dấu thời gian U ULSI Ultra Large-Scale Integration Tích hợp cỡ siêu lớn V VHDL Very-High speed integrated circuit Ngôn ngữ mô tả phần cứng hardware Description Language VHSIC VHSIC Very High Speed Integrated Circuit Mạch tích hợp tốc độ rất cao VLIW Very Long Instruction Word Từ lệnh rất dài VLSI Very Large-Scale Integration Tích hợp có quy mô rất lớn DANH MỤC CÁC BẢNG Bảng 2.1: Tần suất thực hiện các loại lệnh và CPI trong chip kiến trúc RISC.1: Giá trị trung bình của các thông số hiệu năng khi chip có 2-lõi với 8- luồng/lõi.2: Giá trị trung bình của các thông số hiệu năng khi chip có 4-lõi với 8- luồng/lõi.3: Giá trị trung bình của các thông số hiệu năng khi chip có 8-lõi với 8- luồng/lõi.