Phân loại bề mặt đất bằng mạng nơ-ron tích chập trên FPGA sử dụng kiến trúc DeepLabV3+

Luận văn tốt nghiệp kỹ thuật nghiên cứu tốt nghiệp kỹ thuật máy tính phân loại bề mặt đất bằng mạng nơ ron tích chập hiện thực trên fpga, điều tra thực trạng, phân tích số liệu,

• Tác giả: Trần Cao Khải
• Người hướng dẫn: Thạc Sĩ Phạm Thanh Hùng
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Kỹ sư ngành Kỹ thuật máy tính
• Đề tài: Phân loại bề mặt đất bằng mạng nơ-ron tích chập trên FPGA
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2023
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI
• 1.1. Lý do chọn đề tài
• 1.2. Mục tiêu đề tài
• 1.3. Bố cục báo cáo
• 2. CHƯƠNG 2: NGHIÊN CỨU MẠNG NƠ RON TÍCH CHẬP
• 2.1. Tổng quan
• 2.2. Lớp Tích Chập — Convolutional Layer
• 2.2.1. Bước trượt (Stride)
• 2.2.2. Tích chập giãn nở (Dilated Convolution)
• 2.3. Lớp Tổng Hợp — Pooling Layer
• 2.3.1. Lớp tổng hợp giá trị lớn nhất (Max Pooling)
• 2.3.2. Lớp tổng hợp giá trị trung bình (Average Pooling)
• 2.4. Các lớp thành phần khác
• 3. CHƯƠNG 3: THIẾT KẾ VÀ HIỆN THỰC
• 3.1. Mô hình thiết kế tổng quát
• 3.2. Interface IP Core
• 3.3. Thiết kế phần cứng chi tiết
• 3.3.1. Khối Tích chập 3D
• 3.3.2. Khối Lap lại dữ liệu đầu vào (conv_loop_data_in)
• 3.3.3. Khối Tích chập 2D (conv_top)
• 3.3.4. Khối tích chập 2D dành cho bộ lọc 3x3 với bước trượt là 1
• 3.3.5. Khối Xử lý ma trận ảnh
• 3.3.6. Khối Xử lý ma trận trọng số
• 3.3.7. Khối Tính toán tích chập
• 3.3.8. Khối tích chập 2D dành cho bộ lọc 3x3 và 7x7 với bước trượt là 2
• 3.3.9. Khối tích chập 2D dành cho bộ lọc 1x1
• 3.3.9.1. Bước trượt
• 3.3.9.2. Khối Xử lý ma trận ảnh 1x1
• 3.3.9.3. Khối Xử lý ma trận trọng số 1x1
• 3.3.9.4. Bước trượt 2
• 3.3.10. Khối Cộng kênh ảnh đầu vào (conv_channel_in_adder)
• 3.3.11. Khối Tổng hợp
• 3.3.11.1. Khối tổng hợp giá trị lớn nhất
• 3.3.11.2. Khối Tìm giá trị lớn nhất (maxp_core)
• 3.3.11.3. Khối tổng hợp giá trị trung bình
• 3.3.11.4. Khối Tính giá trị trung bình (avgp_core)
• 3.3.12. Các khối thành phần khác
• 3.3.12.1. Khối Tăng lấy mẫu
• 3.3.12.2. Khối Kết nối
• 3.3.12.2.1. Khối Kết nối 2 đầu vào (concat_2in)
• 3.3.12.2.2. Khối Kết nối 5 đầu vào (concat_5in)
• 3.3.12.3. Khối Cộng ma trận
• 3.3.12.4. Khối Hàm đơn vị tuyến tính chỉnh lưu
• 3.3.12.5. Khối Hàm Sigmoid
• 4. CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ
• 4.1. Kết quả mô phỏng
• 4.1.1. Kết quả dạng sóng
• 4.2. Kết quả sai số
• 4.2.1. Kết quả tổng hợp
• 4.3. So sánh kết quả với các mô hình khác
• 4.4. Đánh giá kết quả và độ chính xác
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.1. Kết quả đạt được
• 5.2. Khó khăn gặp phải
• 5.3. Hướng phát triển
• DANH MỤC HÌNH
• DANH MỤC BẢNG
• DANH MỤC TỪ VIẾT TẮT
• TÓM TẮT KHÓA LUẬN
• MỞ ĐẦU

Tóm tắt

I. Tổng quan về phân loại bề mặt đất bằng mạng nơ ron tích chập

Phân loại bề mặt đất là một lĩnh vực quan trọng trong nghiên cứu môi trường và quản lý tài nguyên. Việc áp dụng mạng nơ-ron tích chập (CNN) trên FPGA đã mở ra nhiều cơ hội mới cho việc phân tích và xử lý dữ liệu hình ảnh. Mô hình CNN có khả năng trích xuất đặc trưng từ hình ảnh một cách hiệu quả, giúp cải thiện độ chính xác trong việc phân loại bề mặt đất.

1.1. Khái niệm về mạng nơ ron tích chập

Mạng nơ-ron tích chập (CNN) là một loại mạng nơ-ron nhân tạo được thiết kế đặc biệt cho việc xử lý dữ liệu hình ảnh. CNN sử dụng các lớp tích chập để trích xuất đặc trưng từ hình ảnh, giúp cải thiện khả năng phân loại và nhận diện.

1.2. Tầm quan trọng của phân loại bề mặt đất

Phân loại bề mặt đất có vai trò quan trọng trong việc quản lý tài nguyên thiên nhiên, bảo vệ môi trường và phát triển bền vững. Việc xác định loại bề mặt đất giúp đưa ra các quyết định chính xác trong quy hoạch và phát triển đô thị.

II. Thách thức trong phân loại bề mặt đất bằng mạng nơ ron

Mặc dù mạng nơ-ron tích chập mang lại nhiều lợi ích, nhưng vẫn tồn tại một số thách thức trong việc phân loại bề mặt đất. Các vấn đề như độ chính xác, tốc độ xử lý và khả năng tổng quát của mô hình cần được giải quyết để đạt được kết quả tốt nhất.

2.1. Độ chính xác trong phân loại

Độ chính xác là một trong những yếu tố quan trọng nhất trong phân loại bề mặt đất. Các mô hình cần được huấn luyện với dữ liệu phong phú và đa dạng để đảm bảo khả năng phân loại chính xác.

2.2. Tốc độ xử lý dữ liệu

Tốc độ xử lý là một yếu tố quan trọng khi triển khai mô hình trên FPGA. Cần tối ưu hóa thiết kế phần cứng để đạt được tần số hoạt động cao mà không làm giảm độ chính xác của mô hình.

III. Phương pháp thiết kế mạng nơ ron tích chập trên FPGA

Thiết kế mạng nơ-ron tích chập trên FPGA yêu cầu một quy trình chặt chẽ từ việc lựa chọn kiến trúc đến việc tối ưu hóa mã nguồn. Kiến trúc DeepLabV3+ được sử dụng để cải thiện khả năng phân loại bề mặt đất.

3.1. Kiến trúc DeepLabV3

Kiến trúc DeepLabV3+ sử dụng các lớp tích chập giãn nở để cải thiện khả năng nhận diện các đối tượng trong hình ảnh. Điều này giúp tăng cường độ chính xác trong việc phân loại bề mặt đất.

3.2. Tối ưu hóa mã nguồn trên FPGA

Tối ưu hóa mã nguồn là bước quan trọng để đảm bảo mô hình hoạt động hiệu quả trên FPGA. Việc sử dụng ngôn ngữ Verilog giúp triển khai các thuật toán một cách hiệu quả và tiết kiệm tài nguyên.

IV. Ứng dụng thực tiễn của phân loại bề mặt đất

Phân loại bề mặt đất bằng mạng nơ-ron tích chập có nhiều ứng dụng thực tiễn trong các lĩnh vực như nông nghiệp, quy hoạch đô thị và bảo vệ môi trường. Kết quả từ mô hình có thể hỗ trợ các quyết định quan trọng trong quản lý tài nguyên.

4.1. Ứng dụng trong nông nghiệp

Phân loại bề mặt đất giúp nông dân xác định loại đất và điều kiện môi trường, từ đó đưa ra các quyết định phù hợp trong việc trồng trọt và chăm sóc cây trồng.

4.2. Ứng dụng trong quy hoạch đô thị

Kết quả phân loại bề mặt đất hỗ trợ các nhà quy hoạch trong việc phát triển hạ tầng và quản lý tài nguyên thiên nhiên một cách hiệu quả.

V. Kết luận và hướng phát triển tương lai

Phân loại bề mặt đất bằng mạng nơ-ron tích chập trên FPGA là một lĩnh vực đầy tiềm năng. Các nghiên cứu tiếp theo có thể tập trung vào việc cải thiện độ chính xác và tốc độ xử lý của mô hình, cũng như mở rộng ứng dụng trong các lĩnh vực khác.

5.1. Kết quả đạt được

Kết quả từ nghiên cứu cho thấy mô hình có khả năng phân loại bề mặt đất với độ chính xác trên 70%, đáp ứng yêu cầu thực tiễn.

5.2. Hướng phát triển trong tương lai

Nghiên cứu có thể mở rộng sang các mô hình học sâu khác và cải tiến thuật toán để nâng cao hiệu quả trong việc phân loại bề mặt đất.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong lĩnh vực quản lý tài nguyên và công nghệ viễn thám (Remote Sensing - RS), việc phân loại bề mặt đất giữ vai trò then chốt đối với công tác đánh giá tiềm năng nước ngầm và giám sát sự biến đổi địa chất môi trường. Đặc tính bề mặt đất ảnh hưởng trực tiếp đến khả năng thẩm thấu và lưu trữ nước; trong khi các khu vực đô thị hóa với bề mặt bê tông hóa làm suy giảm nghiêm trọng khả năng thấm nước, thì thảm thực vật và đất rừng lại duy trì khả năng tích trữ nước ngầm ở mức cao. Do đó, việc thiết lập mối liên kết chính xác giữa dữ liệu ảnh viễn thám và phân loại lớp phủ mặt đất là cơ sở khoa học để hoạch định chiến lược quản lý tài nguyên nước, tự động hóa nông nghiệp và quy hoạch đô thị.

Sự phát triển của thị giác máy tính và học sâu (Deep Learning) đã nâng cao hiệu suất phân tích ảnh vệ tinh. Tuy nhiên, việc vận hành các mô hình mạng nơ-ron tích chập (CNN) phức tạp trên hệ thống máy chủ đòi hỏi năng lực tính toán lớn, gây áp lực về băng thông và độ trễ khi xử lý khối lượng dữ liệu khổng lồ. Để giải quyết nút thắt này, xu hướng phát triển các vi mạch chuyên dụng (AI chips) tích hợp kiến trúc CNN trên nền tảng phần cứng tái cấu hình FPGA (Field-Programmable Gate Array) trở thành giải pháp tối ưu hóa tài nguyên tính toán và tốc độ xử lý.

Đề tài đặt ra các mục tiêu và nhiệm vụ nghiên cứu cụ thể sau:

1. Thiết kế mô hình mạng nơ-ron tích chập DeepLabV3+ có khả năng phân loại bề mặt đất từ dữ liệu ảnh vệ tinh quang học đầu vào.
2. Hiện thực và mô phỏng hoàn chỉnh kiến trúc phần cứng của mô hình DeepLabV3+ bằng ngôn ngữ mô tả phần cứng (Verilog HDL) trên nền tảng chip FPGA Xilinx Virtex-7.
3. Đánh giá độ chính xác chức năng và sai số của thiết kế phần cứng thông qua việc so sánh đối chiếu kết quả phân đoạn ảnh đầu ra với ảnh mặt nạ chuẩn (mask ground-truth), hướng tới mục tiêu độ chính xác phân loại đạt trên 70%.

Đối tượng nghiên cứu của khóa luận là kiến trúc mạng phân đoạn ngữ nghĩa DeepLabV3+ kết hợp mô hình trích xuất đặc trưng ResNet18, cùng phương pháp thiết kế vi mạch số cho các phép toán học sâu. Phạm vi dữ liệu thực nghiệm được giới hạn trong tập dữ liệu ảnh vệ tinh DeepGlobe Land Cover Classification với kích thước ảnh đầu vào $256 \times 256 \times 3$.

Cơ sở lý thuyết và phương pháp

Khóa luận xây dựng trên nền tảng lý thuyết mạng nơ-ron tích chập (CNN) và kiến trúc phân đoạn ngữ nghĩa chuyên sâu (Semantic Segmentation):

• Nguyên lý mạng nơ-ron tích chập: Tận dụng 3 đặc tính cơ bản gồm tương tác rời rạc (sparse interaction), chia sẻ trọng số (parameter sharing) và biểu diễn bất biến tương đương (equivariant representation). Mạng mô phỏng trường tiếp nhận (receptive field) của hệ thống thị giác sinh học, giúp giảm thiểu đáng kể số lượng tham số so với mạng kết nối đầy đủ (Fully Connected Networks).
• Tích chập giãn nở (Dilated Convolution / Atrous Convolution): Kỹ thuật mở rộng trường tiếp nhận của bộ lọc bằng cách chèn thêm các khoảng trống (hệ số giãn nở $l$) giữa các phần tử mà không làm gia tăng số lượng trọng số tính toán hay làm giảm độ phân giải không gian của đặc trưng.
• Lớp tổng hợp (Pooling): Cơ chế giảm lấy mẫu không gian nhằm tạo tính bất biến đối với các dịch chuyển nhỏ, bao gồm tổng hợp giá trị lớn nhất (Max Pooling) để trích xuất biên cạnh/đặc trưng nổi bật và tổng hợp giá trị trung bình (Average Pooling) để làm mịn đặc trưng.
• Lớp tăng lấy mẫu (Upsampling): Sử dụng giải thuật nội suy không tương thích để khôi phục kích thước không gian của ma trận đặc trưng ở bộ giải mã về kích thước ảnh ban đầu. Khóa luận phân tích các phương pháp nội suy (tuyến tính, bậc hai, song tuyến tính, lân cận gần nhất) và chọn giải thuật nội suy điểm ảnh lân cận (Nearest Neighbor) để tối ưu hóa việc thực thi trên phần cứng.
• Hàm kích hoạt phi tuyến: Sử dụng hàm chỉnh lưu tuyến tính (ReLU) trong các tầng ẩn và hàm Sigmoid ở tầng phân loại cuối cùng. Giá trị hàm Sigmoid được tính toán trên phần cứng thông qua việc khai triển chuỗi Taylor cho hàm mũ số tự nhiên $e^x$.

Phương pháp nghiên cứu thực tế bao gồm việc xây dựng mô hình tham chiếu (Reference Model) trên phần mềm bằng Python và thư viện PyTorch để huấn luyện mạng, tối ưu hóa siêu tham số và trích xuất ma trận trọng số dưới dạng tệp văn bản (text file). Tiếp đó, nhóm nghiên cứu tiến hành phân rã kiến trúc mạng thành các khối xử lý phần cứng mức truyền thanh ghi (RTL) độc lập bằng ngôn ngữ Verilog HDL.

Nguồn dữ liệu sử dụng là bộ dữ liệu công chuẩn DeepGlobe Land Cover Classification. Tập dữ liệu bao gồm các ảnh vệ tinh quang học độ phân giải không gian 50 cm/pixel do vệ tinh DigitalGlobe thu thập, bao gồm 171 ảnh phục vụ việc xác minh (validation) và 172 ảnh phục vụ thử nghiệm (testing). Ảnh chú thích (mask) phân loại 7 lớp bề mặt đất theo quy chuẩn mã màu RGB được trình bày trong bảng dưới đây:

Lớp nhãn phân loại	Mã màu (R, G, B)	Định nghĩa đối tượng bề mặt
Đất đô thị (Urban)	(0, 255, 255)	Nhà cửa, công trình xây dựng nhân tạo (chưa bao gồm đường sá)
Đất nông nghiệp (Agriculture)	(255, 255, 0)	Nông trại, đất canh tác, thảm thực vật nông nghiệp
Đồng cỏ (Rangeland)	(255, 0, 255)	Đồng cỏ tự nhiên, khu vực không phải rừng hay nông trại
Đất rừng (Forest)	(0, 255, 0)	Khu vực có mật độ che phủ cây xanh cao
Thủy vực (Water)	(0, 0, 255)	Sông ngòi, đại dương, hồ nước, ao, đầm lầy
Đất bỏ hoang (Barren)	(255, 255, 255)	Vùng núi đá, sa mạc, bờ biển, khu vực không có thực vật
Không thể nhận diện (Unknown)	(0, 0, 0)	Mây, bóng mây và các vùng dữ liệu nhiễu

Thiết kế và triển khai hệ thống phần cứng

Mô hình hệ thống tổng thể hiện thực kiến trúc DeepLabV3+ trên FPGA với cấu trúc gồm hai phần chính: bộ mã hóa (Encoder) và bộ giải mã (Decoder). Toàn bộ dữ liệu tính toán và trọng số bên trong các khối chức năng được biểu diễn theo chuẩn số thực dấu phẩy động 32-bit độ chính xác đơn (IEEE 754 Floating Point 32-bit Single Precision). Hệ thống phần cứng hướng đến mục tiêu hoạt động ở tần số xung nhịp tối đa 50 MHz trên kit FPGA Xilinx Virtex-7.

Cấu trúc khối Mã hóa (Encoder)

Bộ mã hóa sử dụng mạng ResNet18 làm mạng xương sống (backbone) thay vì các biến thể sâu hơn như ResNet50 hay ResNet101 nhằm tiết kiệm tài nguyên logic logic slices và DSP block. Kiến trúc gồm:

• Tầng tích chập khởi tạo (Conv2d-1): Nhận ảnh đầu vào $256 \times 256 \times 3$, áp dụng bộ lọc kích thước $7 \times 7$, bước trượt (stride) $s = 2$, viền đệm (padding) $p = 3$ để tạo ngõ ra kích thước $128 \times 128 \times 64$.
• Khối Max Pooling (MaxPool2d-4): Kích thước bộ lọc $3 \times 3$, bước trượt $s = 2$, viền đệm $p = 1$, đưa kích thước đặc trưng về $64 \times 64 \times 64$.
• 4 tầng phần dư ResNet18 (Layer 1 đến Layer 4): Bao gồm chuỗi các lớp tích chập $3 \times 3$ và $1 \times 1$ có bước trượt $s = 1$ hoặc $s = 2$. Đặc trưng cuối cùng được trích xuất từ Layer 4 có kích thước $16 \times 16 \times 512$.

Cấu trúc khối Giải mã (Decoder) và Bộ lọc kim tự tháp Atrous (ASPP)

• Khối ASPP (Atrous Spatial Pyramid Pooling): Xử lý ma trận đặc trưng $16 \times 16 \times 512$ song song qua 5 nhánh: 1 nhánh tích chập $1 \times 1$ ($s = 1$), 3 nhánh tích chập Atrous $3 \times 3$ với các tỷ lệ giãn nở (dilation rate) khác nhau, và 1 nhánh Average Pooling $3 \times 3$ kết hợp Conv $1 \times 1$. Kết quả từ 5 nhánh được ghép nối thông qua khối concat_5in để tạo ra ma trận kích thước $16 \times 16 \times 1280$, sau đó nén về $16 \times 16 \times 256$ bằng Conv $1 \times 1$.
• Khối tăng lấy mẫu và kết hợp đặc trưng tầng thấp: Đặc trưng sau ASPP được tăng kích thước không gian lên $64 \times 64 \times 256$ bằng khối Upsampling-96 (nội suy lân cận gần nhất). Đồng thời, đặc trưng mức thấp $64 \times 64 \times 64$ từ bộ mã hóa được nén về $64 \times 64 \times 48$ bằng Conv $1 \times 1$ (Conv2d-97). Hai nhánh được ghép nối bằng khối concat_2in thành ma trận $64 \times 64 \times 304$.
• Khối đầu ra phân loại: Ma trận được xử lý qua các lớp Conv $3 \times 3$ và Conv $1 \times 1$ để trích xuất 7 kênh đặc trưng ($64 \times 64 \times 7$), sau đó qua khối Upsampling-106 để khôi phục độ phân giải về $256 \times 256 \times 7$. Cuối cùng, khối Sigmoid-107 tính toán giá trị xác suất cho từng điểm ảnh trên từng nhãn phân loại.

Phân hệ chức năng	Tên module RTL tiêu biểu	Chức năng kỹ thuật chi tiết
Tích chập 3D/2D	conv_top, conv_core, conv_buffer, conv_buffer_weights	Quản lý việc đọc ma trận ảnh, nạp trọng số, trượt cửa sổ $1 \times 1, 3 \times 3, 7 \times 7$ với stride 1 hoặc 2, hỗ trợ chèn viền đệm padding và tính tích vô hướng dấu phẩy động 32-bit
Cộng kênh đầu vào	conv_channel_in_adder	Thực hiện phép cộng dồn giá trị tích chập từ tất cả các kênh ảnh đầu vào để hình thành một kênh ngõ ra hoàn chỉnh
Lấy mẫu (Pooling)	maxp_core, avgp_core	Quét cửa sổ kích thước xác định để trích xuất giá trị cực đại hoặc tính trung bình cộng của vùng dữ liệu
Tăng lấy mẫu	upsampling_core	Thực thi giải thuật nội suy lân cận gần nhất (Nearest Neighbor) để mở rộng kích thước ma trận không gian gấp 2 hoặc 4 lần
Ghép nối ma trận	concat_2in, concat_5in	Ghép nối dữ liệu từ 2 hoặc 5 luồng ma trận đặc trưng khác nhau theo chiều sâu kênh (channels)
Hàm phi tuyến	relu_core, sigmoid_core	Module ReLU kiểm tra bit dấu; module Sigmoid vận hành theo máy trạng thái hữu hạn (FSM) giải thuật Taylor cho $e^x$

Nội dung chính theo từng chương

Chương 1: Giới thiệu đề tài

Trình bày tính cấp thiết của bài toán tự động phân loại lớp phủ bề mặt đất từ ảnh viễn thám trong bối cảnh phát triển thị giác máy tính và ứng dụng công nghiệp tài nguyên nước. Phân tích sự cần thiết của việc chuyển dịch các mô hình học sâu từ nền tảng máy chủ sang chip phần cứng chuyên dụng (FPGA) nhằm tối ưu hóa tài nguyên và nâng cao tốc độ tính toán. Xác định 3 mục tiêu cụ thể của đề tài và bố cục tài liệu gồm 5 chương.

Chương 2: Nghiên cứu mạng nơ ron tích chập

Cung cấp hệ thống lý thuyết về mạng nơ-ron tích chập (CNN). Phân tích chi tiết cơ chế hoạt động của các lớp cốt lõi:

• Lớp tích chập (Convolutional Layer) với các tham số kích thước bộ lọc ($F$), bước trượt ($S$), kích thước viền đệm ($P$) và công thức xác định chiều ma trận ngõ ra: $$W_{out} = \frac{W - F + 2P}{S} + 1$$
• Tích chập giãn nở (Dilated Convolution) và vai trò mở rộng trường tiếp nhận với hệ số giãn nở $l$.
• Các lớp tổng hợp Max Pooling và Average Pooling nhằm giảm kích thước không gian đặc trưng.
• Lớp tăng lấy mẫu (Upsampling) trong kiến trúc Encoder-Decoder: phân biệt các giải thuật nội suy tuyến tính, bậc hai, song tuyến tính và lân cận gần nhất (Nearest Neighbor).
• Hàm kích hoạt Sigmoid và mô hình toán học: $$S(x) = \frac{1}{1 + e^{-x}}$$

Chương 3: Thiết kế và hiện thực

Mô tả chi tiết kiến trúc phần cứng của hệ thống phân loại bề mặt đất DeepLabV3+:

• Đặc tả thông số 21 tầng trong bộ mã hóa (ResNet18) và 18 tầng trong bộ giải mã (ASPP kết hợp Decoder).
• Thiết kế giao tiếp tổng quan CNN IP Core (Interface IP Core).
• Thiết kế mức thanh ghi chi tiết cho từng khối phần cứng: Khối tích chập 3D, khối vòng lặp dữ liệu đầu vào (conv_loop_data_in), khối tích chập 2D (conv_top) hỗ trợ các kích thước $1 \times 1, 3 \times 3, 7 \times 7$ với stride 1 và 2.
• Thiết kế các khối phụ trợ: bộ đệm ma trận ảnh (conv_buffer), bộ đệm viền đệm (padding), bộ đệm trọng số (conv_buffer_weights), bộ tính toán tích chập dấu phẩy động (conv_core), bộ cộng kênh (conv_channel_in_adder), khối tìm giá trị lớn nhất (maxp_core), khối tính giá trị trung bình (avgp_core), khối ghép nối (concat_2in, concat_5in), khối cộng ma trận Residual Block, khối ReLU và khối Sigmoid điều khiển bằng FSM dựa trên khai triển Taylor.

Chương 4: Thực nghiệm và đánh giá kết quả

Trình bày kết quả kiểm thử chức năng và đánh giá hiệu năng phần cứng:

• Kết quả mô phỏng dạng sóng (waveform) trên phần mềm mô phỏng cho từng khối riêng lẻ: khối Sigmoid, khối tích chập 3D kích thước $3 \times 3, 7 \times 7, 1 \times 1$, khối Max Pooling $3 \times 3$, khối Average Pooling $3 \times 3$ và khối Upsampling.
• Đánh giá sai số tính toán: Khảo sát sai số của khối Sigmoid theo số lượng vòng lặp khai triển Taylor ($N = 20, 25, 30, 32$). Tổng hợp sai số tính toán lớn nhất và nhỏ nhất của các khối phần cứng so với mô hình toán phần mềm.
• Kết quả tổng hợp mạch (Synthesis) trên nền tảng FPGA Virtex-7, đánh giá mức độ chiếm dụng tài nguyên logic và tần số làm việc.
• Đánh giá độ chính xác phân loại bằng cách đối chiếu trực quan ảnh kết quả ngõ ra với ảnh nhãn gốc trên các mẫu kiểm thử điển hình (như ảnh số 119 và ảnh số 911457).

Chương 5: Kết luận và hướng phát triển

Tổng kết toàn bộ các kết quả đạt được về mặt thiết kế kiến trúc phần cứng, mức độ hoàn thành các mục tiêu đã đề ra ban đầu; chỉ ra các khó khăn kỹ thuật trong quá trình hiện thực định dạng số thực dấu phẩy động trên FPGA và đề xuất các giải pháp nâng cấp, mở rộng hệ thống trong tương lai.

Kết quả và đóng góp

Khóa luận đã hoàn thành các mục tiêu kỹ thuật đặt ra với các kết quả cụ thể sau:

• Thiết kế hoàn chỉnh phần cứng IP Core cho DeepLabV3+: Hiện thực thành công toàn bộ luồng tính toán của mô hình phân đoạn ngữ nghĩa DeepLabV3+ kết hợp ResNet18 bằng ngôn ngữ Verilog HDL.
• Tính toán dấu phẩy động 32-bit chính xác: Các khối tính toán số học (Conv, Pooling, Upsampling, Sigmoid) đều vận hành ổn định trên chuẩn IEEE 754 32-bit, đảm bảo sai số giữa phần cứng và mô hình tham chiếu Python ở mức tối thiểu.
• Tối ưu hóa giải thuật phi tuyến và nội suy: Khối hàm Sigmoid được hiện thực thành công bằng thuật toán FSM kết hợp khai triển Taylor cho $e^x$, được khảo sát chi tiết với các mức vòng lặp 20, 25, 30 và 32 chu kỳ để cân bằng giữa độ chính xác và độ trễ xử lý. Lớp tăng lấy mẫu được tối ưu hóa sang giải thuật Nearest Neighbor, giúp tiết kiệm diện tích logic mà vẫn duy trì tính toàn vẹn của ảnh phân loại.
• Thực nghiệm phân loại ảnh viễn thám: Thiết kế phần cứng đã thực hiện phân loại thành công các vùng bề mặt đất trên tập dữ liệu DeepGlobe, thể hiện rõ khả năng phân tách trực quan giữa các lớp đất nông nghiệp, đất rừng, thủy vực, đất đô thị và đất bỏ hoang trên các mẫu ảnh kiểm thử số 119 và số 911457.

Đóng góp của khóa luận nằm ở việc đề xuất kiến trúc phần cứng chi tiết, có tính module hóa cao (IP Core) cho một mô hình phân đoạn ngữ nghĩa phức tạp (DeepLabV3+), chứng minh tính khả thi của việc triển khai các mạng CNN kích thước lớn trên chip FPGA với định dạng dấu phẩy động độ chính xác cao.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận ghi nhận các khó khăn và hạn chế kỹ thuật trong quá trình thực hiện:

• Việc sử dụng toàn bộ kiểu dữ liệu số thực dấu phẩy động 32-bit (Single Precision Floating Point) chiếm dụng lượng lớn tài nguyên phần cứng (đặc biệt là các khối DSP và thanh ghi) trên chip FPGA, gây khó khăn cho việc tối ưu diện tích và nâng cao xung nhịp hoạt động.
• Giải thuật nội suy lân cận gần nhất (Nearest Neighbor) tuy tiết kiệm tài nguyên tính toán nhưng tạo ra các đường biên đặc trưng dạng khối (pixelated), độ mịn của biên phân đoạn thấp hơn so với giải thuật nội suy song tuyến tính (Bilinear Interpolation).
• Tập dữ liệu kiểm thử DeepGlobe chưa thể dán nhãn được đối tượng đường sá do độ phân giải và đặc tính nhận diện phức tạp của các tuyến giao thông hẹp.

Hướng phát triển tiếp theo được tác giả đề xuất:

• Nghiên cứu chuyển đổi kiểu dữ liệu từ số thực dấu phẩy động 32-bit sang dạng số nguyên/dấu phẩy tĩnh (Fixed-Point Quantization - INT8 hoặc INT16) nhằm giảm mạnh tài nguyên phần cứng, tiết kiệm năng lượng và tăng tần số hoạt động.
• Cải tiến kiến trúc đường ống (pipelining) bên trong các khối tích chập 3D và bộ đệm ma trận để nâng cao thông lượng xử lý.
• Tích hợp thêm các bộ dữ liệu viễn thám có độ phân giải cao hơn để mở rộng khả năng phân loại chi tiết các đối tượng hạ tầng giao thông.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo cho sinh viên, học viên cao học và kỹ sư thuộc các chuyên ngành Kỹ thuật Máy tính, Điện tử - Viễn thông, Công nghệ Thông tin và Hệ thống Nhúng:

• Tài liệu tham khảo về thiết kế phần cứng cho AI: Cung cấp tài liệu chi tiết về sơ đồ khối, giao tiếp tín hiệu RTL và phương pháp thiết kế các khối chức năng CNN tiêu chuẩn (Conv 2D/3D, Stride, Viền đệm Padding, Max/Avg Pooling, Concatenation) bằng Verilog.
• Thiết kế phần cứng cho các hàm toán học phức tạp: Cung cấp giải pháp triển khai máy trạng thái FSM để tính toán chuỗi Taylor của hàm Sigmoid và giải thuật nội suy điểm ảnh lân cận trên FPGA.
• Ứng dụng học sâu trong xử lý ảnh viễn thám: Cung cấp phương pháp xây dựng pipeline phân đoạn ngữ nghĩa từ dữ liệu ảnh vệ tinh quang học cho bài toán phân loại lớp phủ bề mặt đất.

Câu hỏi thường gặp

1. Vì sao nhóm tác giả lựa chọn giải thuật nội suy lân cận gần nhất (Nearest Neighbor) thay vì song tuyến tính (Bilinear) trong khối Tăng lấy mẫu?

Trong mô hình gốc DeepLabV3+ trên phần mềm, giải thuật nội suy song tuyến tính được sử dụng để làm mịn ảnh đầu ra. Tuy nhiên, khi hiện thực trên phần cứng FPGA, việc tính toán nội suy song tuyến tính đòi hỏi nhiều phép nhân/chia dấu phẩy động phức tạp và logic điều khiển vị trí lớn, làm tăng đáng kể diện tích vi mạch và thời gian trễ. Nhóm tác giả đã chuyển sang giải thuật lân cận gần nhất (Nearest Neighbor) nhằm đơn giản hóa cấu trúc phần cứng, giảm thiểu tài nguyên logic và rút ngắn thời gian xử lý mà vẫn giữ được cấu trúc đặc trưng cơ bản của ảnh.

2. Mô hình DeepLabV3+ trong khóa luận sử dụng backbone nào ở khối mã hóa (Encoder) và lý do lựa chọn?

Khóa luận sử dụng mạng ResNet18 làm backbone cho bộ mã hóa (Encoder). Mặc dù các mô hình sâu hơn như ResNet34, ResNet50 hay ResNet101 có thể mang lại độ chính xác phân loại cao hơn, nhưng số lượng tầng tích chập lớn của chúng sẽ làm tăng đột biến dung lượng bộ nhớ lưu trữ trọng số và vượt quá giới hạn tài nguyên tính toán của kit FPGA. ResNet18 với 18 tầng được lựa chọn nhằm tối ưu hóa sự cân bằng giữa độ chính xác và dung lượng tài nguyên phần cứng.

3. Định dạng dữ liệu tính toán và tần số xung nhịp mục tiêu của thiết kế phần cứng là bao nhiêu?

Toàn bộ dữ liệu xử lý, ma trận điểm ảnh và tập trọng số của mô hình được thiết kế dựa trên kiểu số thực dấu phẩy động 32-bit độ chính xác đơn (Floating Point 32-bit Single Precision). Tần số hoạt động tối đa mong muốn của thiết kế khi tổng hợp trên board FPGA Xilinx Virtex-7 là 50 MHz.

4. Bảy lớp nhãn phân loại bề mặt đất trong bộ dữ liệu DeepGlobe được mã hóa bằng những giá trị màu RGB nào?

Bảy lớp nhãn bao gồm: Đất đô thị (Urban) mã màu $(0, 255, 255)$; Đất nông nghiệp (Agriculture) mã màu $(255, 255, 0)$; Đồng cỏ (Rangeland) mã màu $(255, 0, 255)$; Đất rừng (Forest) mã màu $(0, 255, 0)$; Thủy vực (Water) mã màu $(0, 0, 255)$; Đất bỏ hoang (Barren) mã màu $(255, 255, 255)$; và Không thể nhận diện (Unknown/Mây) mã màu $(0, 0, 0)$.

5. Khối tính toán hàm kích hoạt Sigmoid trên phần cứng được thiết kế theo nguyên lý nào?

Khối Sigmoid được thiết kế phần cứng dựa trên việc khai triển chuỗi Taylor để tính xấp xỉ hàm mũ $e^x$ cho công thức $S(x) = \frac{1}{1 + e^{-x}}$. Module vận hành thông qua một máy trạng thái hữu hạn (FSM) điều khiển các chu kỳ lặp tính toán (được khảo sát ở các mức 20, 25, 30 và 32 vòng lặp) kết hợp với các bộ tính toán số học dấu phẩy động 32-bit.

Kết luận

Khóa luận tốt nghiệp kỹ sư ngành Kỹ thuật Máy tính của tác giả Trần Cao Khải và Nguyễn Hoàng Nghĩa đã nghiên cứu, thiết kế và hiện thực thành công kiến trúc mạng phân đoạn ngữ nghĩa DeepLabV3+ trên nền tảng FPGA Virtex-7 phục vụ bài toán phân loại bề mặt đất từ dữ liệu viễn thám DeepGlobe. Công trình đã chuẩn hóa toàn bộ luồng tính toán số học số thực dấu phẩy động 32-bit bằng Verilog HDL, tối ưu hóa các khối chức năng tích chập đa kích thước, bộ lọc Atrous ASPP, khối nội suy lân cận gần nhất và hàm kích hoạt Sigmoid dựa trên chuỗi Taylor. Kết quả thực nghiệm mô phỏng và tổng hợp mạch đã chứng minh tính đúng đắn về mặt chức năng và khả năng phân đoạn hiệu quả các lớp phủ bề mặt đất, đóng góp một giải pháp tham khảo có giá trị cao cho hướng nghiên cứu thiết kế vi mạch chuyên dụng tăng tốc trí tuệ nhân tạo.

Trích đoạn nội dung tài liệu

Chương 1: GIỚI THIỆU ĐÈ TÀI Chương | sẽ giới thiệu đề tài nhóm đang thực hiện. Chương 2: NGHIÊN CỨU MẠNG NƠ RON TÍCH CHẬP Chương 2 sẽ trình bày các kiến thức, nghiến cứu tổng quan về mạng nơ ron tích chập. Chương 3: THIẾT KE VÀ HIỆN THUC Chương 3 trình bày phương pháp thiết kế, xây dựng mô hình mạng và các khối thành phần chỉ tiết, cách hoạt động. Chương 4: THUC NGHIỆM VA ĐÁNH GIÁ KET QUÁ Chương 4 sẽ trình bày kết quả và phương pháp đánh giá của thiết kế Chương 5: KET LUẬN VÀ HƯỚNG PHÁT TRIEN Chương 5 sẽ tom tắt toàn bộ công việc và kết quả đạt được.

Đồng thời đề ra phương hướng phát triển cho đề tài trong tương lai cũng được trình bày ở chương này. NGHIÊN CỨU MẠNG NO RON TÍCH CHAP 2.1 Tong quan Trong lĩnh vực học sâu (Deep Learning), một mô hình mạng nơ ron tích chập (CNN) được xem như là một tập tính của mạng nơ ron nhân tạo (ANN). Mô hình CNN được áp dụng phổ biến nhất trong việc phân tích hình ảnh. Mô hình CNN cũng được biết đến như là mạng nơ ron nhân tạo không gian bắt biến dựa trên kiến trúc chia sẻ trọng số của các bộ lọc tích chập.

Các bộ lọc này sẽ trượt đi trên những bức ảnh đữ liệu đầu vào và cung cấp ở đầu ra sẽ là các đặc tính được dịch và trích xuất ra từ bức ảnh đó. Mô hình CNN được ứng dụng trong nhận diện ảnh và video, phân loại ảnh, phân tầng ảnh, phân tích hình ảnh y khoa, xử lý ngôn ngữ tự nhiên. CNN được xem như là một phiên bản chính quy của mạng nơ ron truyền thắng nhiều lớp (Multilayer Perceptrons). Có thể hiểu một cách đơn giản mang no ron truyền thang nhiều lớp là mạng kết nói day đủ (Fully Connected Networks) — mỗi nơ ron của một lớp hình ảnh sẽ có liên kết với tất cả các nơ ron của lớp phía sau nó.

Đặc tính kết nối đầy đủ của các mạng này sẽ giúp chúng không gặp phải hiện tượng “quá khớp dữ liệu”. Các cách dé chính quy hóa, hoặc tránh sự quá khớp gồm: giảm bớt trọng số trong quá trình huấn luyện hoặc cắt giảm kết nối (skipped connections, dropout,. Tuy nhiên, mang CNN sẽ có một cách tiếp cận khác đối với quá trình chính quy hóa này, đó là: tận dụng đữ liệu khuôn mẫu có cấp bậc, tổng hợp các khuôn mẫu có độ phức tạp tăng dần bằng cách sử dụng các khuôn mẫu nhỏ và đơn giản hơn được tích hợp sẵn trong bộ lọc. Vì vậy, xét đến khía cạnh độ liên kết và tính phức tạp thì mô hình CNN được đánh giá là đơn giản hơn.

— CAR — TRUCK — VAN oO H — BICYCLE INPUT CONVOLUTION + RELU POOLING CONVOLUTION + RELU POOLING FLATTEN FULLY SOFTMAX \ CONNECTED FEATURE LEARNING CLASSIFICATION Hình 2. 1: Ví dụ khát quát mô hình CNN. Kĩ thuật tích chập được truyền cảm hứng bởi cách mà các nơ ron được liên kết với nhau, hoạt động này giống với cách hoạt động của mắt người. Từng tế bào thần kinh nơ ron chỉ phản ứng với một vùng nhất định trong trường thị giác, đây được gọi là trường tiếp nhận.

Các trường tiếp nhận này khi tiếp nhận nhiều các nơ ron khác nhau sẽ xếp chồng lan lên nhau cho đến khi bao phủ hết cả trường thị giác của mắt người. Từ đó sẽ hình thành nên hình ảnh, giúp mắt người có thê nhận biết được môi trường xung quanh. Cell's receptive field Hình 2. 2: Trường thị giác và trường tiếp nhận của mắt người.

Mô hình CNN bao gồm lớp đầu vào, lớp ân và cuối cùng là lớp đầu ra. Lớp ấn chính là lớp thực hiện việc tích chập, đầu ra của lớp tích chập này sẽ là tích vô hướng ma trận chập của khói tích chập với ma trận dữ liệu đầu vào của lớp. Khi ma trận chập này trượt đi trên ma trận dữ liệu đầu vào sẽ tạo ra những đặc trưng (feature map), đây cũng chính là đữ liệu đầu vào cho lớp tiếp theo. Theo sau lớp tích chập sẽ là các lớp như lớp pooling, lớp kết nói đầy đủ, lớp chuẩn hóa,.

Tất cả các lớp trên đây sẽ được trình bày một cách chỉ tiết ở phần bên dưới.2 Lớp Tích Chap — Convolutional Layer Tích chập làm nỗi bật 3 tính chat quan trọng trong việc thúc day sự phát triển của thị giác máy tính: tương tác rời rạc (sparse interaction), chia sẻ trọng số (parameter sharing), và ánh xạ (equivariant representation). Những mạng nơ ron thông thường sử dụng phép nhân ma trận ảnh với một ma trận khác được cấu thành bởi các trọng SỐ, các trọng SỐ này mô tả sự tương tác giữa dữ liệu đầu vào và đầu ra. Điều này có nghĩa là mỗi đơn vị dữ liệu đầu ra đều sẽ tương tác với các đữ liệu đầu vào. Tuy nhiên, mạng nơ ron tích chập có tính chất tương tác rời rạc.

Phương pháp này sử dụng ma trận chập với kích thước nhỏ hơn nhiều so với ảnh đầu vào. Một bức ảnh đầu vào có thé có hàng nghìn đến hàng triệu điểm ảnh, và với nhiều ma trận chập có kích thước nhỏ sẽ giúp chúng ta phát hiện nhiều những thông tin hơn so với phép nhân ma trận ảnh của các mang nơ ron thông thường. Phương pháp nay cũng giúp giảm bớt số lượng các trọng số cần được lưu, từ đó giảm đi dung lượng bộ nhớ cần có và đồng thời còn giúp cải thiện hơn về mặt hiệu năng của mạng. Nếu như việc tính toán một điểm ảnh ở một vị trí nhất định (x0, y0) mang lại lợi ích thì chắc chắn rằng việc tính toán này ở vị trí điểm ảnh khác (x1, yl) cũng sẽ có anh hưởng tích cực tương tự.

Điều này có nghĩa là đối với ma trận chập 2 chiều sẽ tạo ra nơ ron đầu ra được ràng buộc sử dụng chung tập trọng số. Với mạng nơ ron truyền thống trước đây, mỗi giá trị trong ma trận chập chỉ được sử dụng một lần duy nhất. Trong khi đó, mạng nơ ron tích chập có tính chất chia sẻ trọng số, để có được điểm ảnh ở đầu ra thì trọng số được sử dụng ở một điểm ảnh đầu vao sẽ được sử dụng ở các điểm ảnh đầu vào khác. Và vì mạng nơ ron tích chập mang tính chất chia sẻ trọng số, cho nên khi chúng ta thay đổi ảnh đầu vào theo một cách nhất định (tăng/giảm kích thước, tăng/giảm chiều sâu) thì ảnh đầu ra cũng sẽ thay đổi tương tự.

Tính chất này chính là ánh xạ trong mạng nơ ron tích chập. Lớp tích chập đóng vai trò quan trọng nhất và cũng chính là lớp căn bản nhất của một mô hình CNN. Lớp này sẽ đảm nhận hầu hết trọng trách trong việc tính toán của mô hình mạng băng cách thực hiện tích vô hướng giữa hai ma trận, trong đó, một ma trận sẽ là phan giới hạn của trường tiếp nhận (Phan 2. Ma trận chập (Kernel) sẽ có kích thước nhỏ hơn nhưng lại có chiều sâu lớn hơn so với bức ảnh dữ liệu.

Trong quá trình lan truyền xuôi, ma trận chập sẽ trượt đi trên chiều dài và chiều rộng của bức ảnh dir liệu, từ đó tao ra một dạng biểu diễn ảnh của trường tiếp nhận là một ma trận điểm ảnh hai chiều. Ma trận trên là kết quả của tích vô hướng giữa ma trận chập và vị trí nhất định trên bức ảnh dữ liệu. Kích thước khi trượt đi của ma trận trượt được gọi là bước trượt (Stride). Ma trận điểm ảnh đầu ra này sẽ cho chúng ta biết được những thông tin như là những góc hoặc cạnh của bức ảnh dữ liệu đầu vảo.

Tiếp đó, ma trận này sẽ trở thành dir liệu đầu vào cho cách lớp khác nhăm trích xuất thêm những đặc tính từ ảnh đầu vào. Lớp tích chập trong mạng CNN sẽ truyền kết quả tính toán đầu ra của mình cho các lớp khác sau khi đã xử lý xong dữ liệu đầu vào. Lớp tích chập mang lại rất nhiều lợi ích cho mạng CNN nhờ vào khả năng bảo toàn tính nguyên vẹn trong mối liên kết giữa các điểm ảnh. Lớp tích chập trong CNN thực hiện hoạt động tích chập của mình với hình ảnh ở chế độ 3D vì dữ liệu ảnh đầu vào sẽ luôn có kích thước với chiều dài, chiều rộng và chiều sâu (Thông thường, chiều dài và chiều rộng sẽ bằng nhau).

Chiều sâu đại diện cho các kênh màu của anh và thường sẽ có định dạng là RGB (Red — Do, Green — Xanh Lá, Blue — Xanh Dương): height aa: —|Olc rP1O o|F x > 1|0|0|1|0 O24 | 0) 2 1/0 1|0|1|0|1|x 1|1 1|0|0|1|0 1|0|1 0|1|1|0|1 Hình 2. 5: Ví dụ cho cách hoạt động của lớp tích chập. Đề có thê hiểu rõ hơn về cách hoạt động của lớp tích chập, hình ảnh dưới đây sẽ là một ví dụ trực quan hơn về những bước tính toán và xử lý của các điểm ảnh khi được cho đi qua lớp tích chập: Ma trận chập aaa bw+cx cw+dx +fy+gz +gy+hz ew+fx fw+gx gw+hx +iy+jz +jy+kz +ky+lz iw+jx+ jw+kx+ kw+lx+ my+nz ny+oz oy+pz Hình 2. 6: Vi du cho bước tính toán của lớp tích chap.

Chúng ta di chuyên các diém anh của ma trận đầu vào từ trai qua phải va từ trên xuống dưới. Sau đó lấy giá trị của điểm ảnh nhân với ma trận chập sẽ thu được ma trận đầu ra có kích thước tương đương. Tùy vào bước trượt được qui định là bao nhiêu ma ta sẽ di chuyển kết quả của mỗi lần nhân các điểm ảnh với bộ lọc sang bấy nhiêu đơn vi. Sau cùng là tính tổng các vị trí tương ứng của các ma trận kết quả dé thu được ma trận chuyển VỊ.

10 Giả sử, một bức ảnh đầu vào có kích thước là W x W x D (W: Width — chiều rộng bức ảnh, D: Dimension — Chiều sâu bức ảnh), sỐ lượng ma trận chập là Dout có kích thước là F, bước trượt là S và viền đệm là P thì ta sẽ có được công thức tính kích thước ma trận đâu ra dựa trên công thức sau đây: W-F+d+2P Weuy=————e————T+1 (2. 7: Công thức tính kích thước ma trận đầu ra sau khi đi qua lớp tích chập. Có 2 giá tri được đề cập đến ở công thức trên đóng vai trò rat cần thiết trong hoạt động tính toán của lớp tích chập, đó chính là bước trượt (stride) và viền đệm (padding). Bước trượt và viền đệm sẽ giúp chúng ta dễ kiêm soát kích thước của ma trận dau ra.

Nguyên do là vì những ma trận chập thường được sử dụng sẽ có chiều dai và rộng lớn hơn 1, sau khi ma trận ảnh đầu vào đi qua nhiều lớp tích chập, kích thước ma trận đầu ra sẽ nhỏ hơn so với đầu vào.