Nghiên Cứu Cải Tiến Khối Nhận Dạng YOLOV2 Tích Hợp Trên Board Ultra96V2 Cho Camera Thông Minh

Khóa luận nghiên cứu cải tiến khối nhận dạng yolov2 trên board ultra96v2 cho smart camera, nâng cao hiệu suất và ứng dụng trong thực tiễn.

• Tác giả: Lê Hữu Kiên
• Người hướng dẫn: Tiến Sĩ Nguyễn Minh Sơn
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Kỹ sư ngành Kỹ thuật máy tính
• Đề tài: Nghiên Cứu Cải Tiến Khối Nhận Dạng YOLOV2 Tích Hợp Trên Board Ultra96V2 Cho Camera Thông Minh
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2023
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI
• 1.1. Lý do chọn đề tài
• 1.2. Một số nghiên cứu liên quan
• 1.2.1. Nghiên cứu ngoài nước
• 1.2.2. Nghiên cứu trong nước
• 1.3. Mục tiêu đề tài
• 1.4. Giới hạn đề tài
• 1.5. Kết quả mong muốn
• 1.6. Bố cục luận văn
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Field Programmable Gate Array (FPGA)
• 2.2. Kiến trúc tổng quát
• 2.3. Ưu và nhược điểm của FPGA
• 2.4. Hệ thống SoC (System on Chip)
• 2.4.1. Định nghĩa hệ thống SoC
• 2.4.2. Cấu trúc phần cứng của một SoC
• 2.4.3. Ưu và nhược điểm của hệ thống SoC
• 2.5. Hệ thống nhúng
• 2.5.1. Phần mềm của một hệ thống nhúng
• 2.5.2. Phần cứng của một hệ thống nhúng
• 2.5.3. Đặc điểm của một hệ thống nhúng
• 2.5.4. Ưu và nhược điểm của hệ thống nhúng
• 2.6. Thuật toán YOLOV2
• 2.6.1. High resolution classifier
• 2.6.2. Kiến trúc Anchor BOX
• 2.6.3. K-means clustering
• 2.6.4. Direction location prediction
• 2.6.5. Fine-grained feature
• 2.6.6. Multi-scale training
• 2.6.7. Light-weight backbone
• 2.7. Các công cụ xử lý audio, video của FFmpeg
• 2.8. Các gói thư viện của FFmpeg
• 3. CHƯƠNG 3: THIẾT KẾ HỆ THỐNG VÀ HIỆN THỰC SMART CAMERA
• 3.1. Hệ thống Zynq UltraScale+ MPSoC
• 3.2. Thiết kế tổng quát của hệ thống
• 3.3. Tích hợp IP DPU trên Vivado 2019
• 3.4. Hiện thực Smart camera
• 3.5. Xây dựng hệ điều hành Linux để boot lên board Ultra96-V2
• 3.6. Xây dựng chương trình thực thi bằng công cụ Vitis 2019
• 3.7. Xây dựng luồng streaming cho Smart Camera
• 3.7.1. Streaming với camera hình ảnh thường
• 3.7.2. Streaming camera hình ảnh xử lý YOLOV2
• 3.7.3. Sử dụng ZoneMinder để theo dõi camera
• 4. CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ
• 4.1. Kịch bản thực nghiệm và phương pháp đánh giá
• 4.1.1. Kịch bản thực nghiệm
• 4.1.2. Phương pháp đánh giá
• 4.2. Kết quả thực nghiệm
• 4.2.1. Kết quả nhận diện
• 4.2.2. Kết quả thực nghiệm khi streaming trong phạm vi Internet
• 4.2.3. Kết quả thực nghiệm kết nối Ethernet
• 4.3. Đánh giá hệ thống
• 4.4. Đóng gói sản phẩm
• 4.4.1. Những linh kiện cần dùng
• 4.4.2. Đóng gói smart camera
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.1. Kết quả đạt được
• 5.2. Hướng phát triển của đề tài
• DANH MỤC HÌNH ẢNH
• DANH MỤC BẢNG BIỂU
• DANH MỤC TỪ VIẾT TẮT
• TÓM TẮT KHÓA LUẬN

Tóm tắt

I. Giới thiệu về Nghiên Cứu Cải Tiến Khối Nhận Dạng YOLOV2

Nghiên cứu này tập trung vào việc cải tiến khối nhận dạng YOLOV2 tích hợp trên board Ultra96V2 cho camera thông minh. Sự phát triển của công nghệ vi điện tử đã mở ra nhiều cơ hội cho việc tích hợp các hệ thống phức tạp trong một thiết bị nhỏ gọn. Smart camera không chỉ đơn thuần là một thiết bị chụp ảnh mà còn có khả năng phân tích hình ảnh và nhận diện đối tượng. Đề tài này nhằm nâng cao hiệu suất nhận diện và giảm độ trễ trong quá trình xử lý hình ảnh.

1.1. Lý do chọn đề tài nghiên cứu

Sự phát triển nhanh chóng của camera thông minh đã thu hút sự quan tâm từ nhiều lĩnh vực. Việc áp dụng các thuật toán học sâu như YOLOV2 vào smart camera giúp cải thiện khả năng nhận diện và phân tích hình ảnh. Đề tài này được chọn nhằm giải quyết các vấn đề về độ trễ và hiệu suất trong nhận diện đối tượng.

1.2. Mục tiêu nghiên cứu

Mục tiêu chính của nghiên cứu là cải tiến tốc độ nhận diện của smart camera từ 1.4 giây xuống còn 0.8-1 giây cho mỗi hình ảnh. Đồng thời, nghiên cứu cũng hướng đến việc tối ưu hóa tốc độ streaming hình ảnh xử lý YOLOV2 với độ phân giải cao.

II. Thách thức trong việc cải tiến khối nhận dạng YOLOV2

Việc cải tiến khối nhận dạng YOLOV2 trên board Ultra96V2 gặp phải nhiều thách thức. Đầu tiên là vấn đề về hiệu suất xử lý, khi mà các thuật toán học sâu yêu cầu tài nguyên tính toán lớn. Thứ hai là độ trễ trong quá trình truyền tải hình ảnh qua mạng, điều này ảnh hưởng đến trải nghiệm người dùng. Cuối cùng, việc tích hợp các công nghệ mới vào hệ thống cũng đòi hỏi sự nghiên cứu và thử nghiệm kỹ lưỡng.

2.1. Vấn đề hiệu suất xử lý

Khối nhận dạng YOLOV2 yêu cầu một lượng lớn tài nguyên tính toán, điều này có thể gây ra tình trạng quá tải cho board Ultra96V2. Cần có các phương pháp tối ưu hóa để giảm thiểu tài nguyên sử dụng mà vẫn đảm bảo hiệu suất cao.

2.2. Độ trễ trong truyền tải hình ảnh

Độ trễ trong quá trình streaming hình ảnh là một vấn đề lớn. Việc truyền tải qua mạng không dây có thể gây ra độ trễ không mong muốn, ảnh hưởng đến khả năng nhận diện thời gian thực của smart camera.

III. Phương pháp cải tiến khối nhận dạng YOLOV2

Để cải tiến khối nhận dạng YOLOV2, nhóm nghiên cứu đã áp dụng nhiều phương pháp khác nhau. Sử dụng IP DPU (Deep Learning Processing Unit) là một trong những giải pháp chính. IP DPU giúp tối ưu hóa quá trình xử lý các mô hình học sâu, từ đó nâng cao tốc độ nhận diện. Bên cạnh đó, việc sử dụng các thư viện hỗ trợ như GStreamer và OpenCV cũng đóng vai trò quan trọng trong việc cải thiện hiệu suất.

3.1. Sử dụng IP DPU để tối ưu hóa

IP DPU là một khối xử lý được tối ưu hóa cho các tác vụ học sâu, giúp tăng tốc độ nhận diện của YOLOV2. Việc tích hợp IP DPU vào hệ thống giúp giảm thiểu thời gian xử lý và nâng cao hiệu suất tổng thể.

3.2. Tích hợp các thư viện hỗ trợ

Sử dụng các thư viện như GStreamer và OpenCV giúp cải thiện khả năng xử lý hình ảnh và truyền tải video. Những thư viện này cung cấp các công cụ mạnh mẽ để xử lý và phân tích hình ảnh, từ đó nâng cao hiệu suất của smart camera.

IV. Ứng dụng thực tiễn và kết quả nghiên cứu

Nghiên cứu đã cho thấy những kết quả khả quan trong việc cải tiến khối nhận dạng YOLOV2. Hệ thống smart camera đã đạt được tốc độ nhận diện dưới 1 giây cho mỗi hình ảnh và tốc độ streaming ổn định ở độ phân giải cao. Những kết quả này không chỉ chứng minh tính khả thi của giải pháp mà còn mở ra hướng đi mới cho các nghiên cứu tiếp theo trong lĩnh vực này.

4.1. Kết quả thực nghiệm

Kết quả thực nghiệm cho thấy hệ thống có thể nhận diện đối tượng với độ chính xác cao, đạt từ 64% đến 96% ở độ phân giải 1280x960. Điều này cho thấy sự cải tiến đáng kể so với các nghiên cứu trước đó.

4.2. Ứng dụng trong thực tế

Hệ thống smart camera có thể được ứng dụng trong nhiều lĩnh vực như giám sát an ninh, tự động hóa trong sản xuất và các ứng dụng IoT. Việc cải tiến khối nhận dạng sẽ giúp nâng cao hiệu quả và độ tin cậy của các hệ thống này.

V. Kết luận và hướng phát triển tương lai

Nghiên cứu đã đạt được những kết quả tích cực trong việc cải tiến khối nhận dạng YOLOV2 trên board Ultra96V2. Tuy nhiên, vẫn còn nhiều thách thức cần phải giải quyết trong tương lai. Việc tiếp tục nghiên cứu và phát triển các công nghệ mới sẽ giúp nâng cao hiệu suất và khả năng ứng dụng của smart camera.

5.1. Kết luận về nghiên cứu

Nghiên cứu đã chứng minh rằng việc cải tiến khối nhận dạng YOLOV2 có thể nâng cao hiệu suất nhận diện và giảm độ trễ. Những kết quả đạt được mở ra hướng đi mới cho các nghiên cứu tiếp theo.

5.2. Hướng phát triển trong tương lai

Trong tương lai, cần tiếp tục nghiên cứu các phương pháp tối ưu hóa mới và tích hợp các công nghệ tiên tiến để nâng cao hiệu suất của smart camera. Việc áp dụng trí tuệ nhân tạo và học sâu sẽ là xu hướng chính trong lĩnh vực này.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Kể từ những năm 1990, thiết bị camera thông minh (smart camera) đã thu hút sự quan tâm nghiên cứu và phát triển mạnh mẽ từ các trường đại học, viện nghiên cứu và các ngành công nghiệp, đặc biệt trong các lĩnh vực giám sát an ninh, thị giác máy trong công nghiệp, robot và hệ thống nhà thông minh. Điểm khác biệt cốt lõi giữa smart camera và máy ảnh thông thường là khả năng tích hợp cảm biến thu nhận hình ảnh cùng khối xử lý tính toán chuyên dụng (CPU, DSP, FPGA hoặc SoC) trên một hệ thống phần cứng nhỏ gọn, cho phép thiết bị trực tiếp phân tích, nhận dạng và đưa ra quyết định hoặc thông tin đối tượng mà không cần phụ thuộc vào máy tính ngoại vi. Sự phát triển này bắt nguồn từ các tiến bộ trong công nghệ vi điện tử bán dẫn và kỹ thuật thị giác máy tính, đáp ứng yêu cầu nâng cao mức độ an toàn, bảo mật và tự động hóa.

Tuy nhiên, việc tích hợp các mô hình trí tuệ nhân tạo (AI) học sâu vào hệ thống smart camera nhằm thu nhận hình ảnh độ phân giải cao và truyền tải dữ liệu streaming từ xa với độ trễ thấp là bài toán kỹ thuật phức tạp. Nghiên cứu tiền nhiệm của Võ Phúc Vinh Khang và Lê Hoài (2023) trên nền tảng Ultra96-V2 áp dụng mô hình YOLOv2 ghi nhận thời gian nhận diện vật thể mất khoảng 1,4 giây cho một khung hình; độ trễ truyền luồng (streaming) trên thiết bị nhận đạt từ 3 đến 5 giây đối với camera thông thường và lên tới khoảng 22,7 giây đối với camera xử lý YOLOv2 ở độ phân giải Full HD (1920 x 1080). Do đó, yêu cầu đặt ra là phải tối ưu hóa phần cứng và kiến trúc truyền dữ liệu để rút ngắn thời gian xử lý và giảm thiểu độ trễ đường truyền.

Mục tiêu nghiên cứu của đề tài được xác định qua 5 nhiệm vụ cụ thể:

1. Nghiên cứu và ứng dụng IP DPU (Deep Learning Processing Unit) do Xilinx cung cấp — một khối xử lý phần cứng chuyên dụng được tối ưu hóa cho các tác vụ học sâu — nhằm tăng tốc độ tính toán cho mô hình nhận diện YOLOv2.
2. Khảo sát bo mạch Ultra96-V2 do Avnet phân phối (dựa trên chip Zynq UltraScale+ MPSoC của Xilinx), sử dụng bộ công cụ Xilinx Vivado phiên bản 2019.2 để tổng hợp và tích hợp IP DPU vào hệ thống SoC, kết nối với USB Camera và module Wi-Fi ở tần số hoạt động mục tiêu 100 MHz.
3. Xây dựng, cấu hình và nạp hệ điều hành nhúng Linux lên bo mạch Ultra96-V2 bằng nền tảng PetaLinux 2019.2 để quản lý và điều khiển toàn bộ tài nguyên hệ thống.
4. Tìm hiểu và tích hợp các thư viện xử lý đa phương tiện và thị giác máy tính gồm FFmpeg, OpenCV, GStreamer, kết hợp các phương thức lập trình mạng để thiết lập luồng video streaming cho cả chế độ camera thường và camera nhận dạng vật thể YOLOv2 thông qua giao thức RTSP qua mạng Wi-Fi Access Point lên web server.
5. Phát triển chương trình điều khiển hệ thống bằng công cụ Vitis 2019.2, thực hiện đo đạc, kiểm thử thực nghiệm, so sánh hiệu năng với các nghiên cứu trước đó và tiến hành đóng gói hoàn thiện sản phẩm.

Về phạm vi và giới hạn đề tài:

• Không gian và cơ sở thực nghiệm: Khóa luận kỹ sư ngành Kỹ thuật Máy tính được thực hiện tại Trường Đại học Công nghệ Thông tin – Đại học Quốc gia TP. Hồ Chí Minh năm 2023.
• Giới hạn kỹ thuật: Tập trung tối ưu hóa hệ thống smart camera trên bo mạch Ultra96-V2 nhằm giảm thời gian nhận diện vật thể từ mức 1,4 giây của nghiên cứu tiền nhiệm xuống khoảng 0,8 – 1,0 giây cho một hình ảnh; thực nghiệm kiểm tra truyền luồng video ở các mức độ phân giải 1080p, 720p, 480p và 360p lên web server ZoneMinder qua mạng không dây Wi-Fi và mạng cáp Ethernet; kỳ vọng tốc độ streaming camera thường đạt 25 FPS và camera xử lý YOLOv2 đạt 1 FPS ở độ phân giải Full HD.

Cơ sở lý thuyết và phương pháp

Đề tài vận dụng tổng hợp các cơ sở lý thuyết về vi điện tử, hệ thống nhúng và mạng nơ-ron tích chập (CNN):

• Nền tảng phần cứng: Lý thuyết về mạch tích hợp logic khả trình FPGA (Field Programmable Gate Array) với các khối logic cấu hình (CLB), khối vào/ra (I/O) và mạng liên kết lập trình được; kiến trúc hệ thống trên một vi mạch SoC (System on Chip) tích hợp CPU, bộ nhớ, bus kết nối và các khối ngoại vi; kiến trúc Zynq UltraScale+ MPSoC (ZU3EG) bao gồm phân hệ xử lý PS (Application Processing Unit với 4 lõi ARM Cortex-A53, GPU Mali-400) kết hợp với vùng logic khả trình PL (FPGA fabric) và chuẩn giao tiếp bus AXI (Advanced eXtensible Interface).
• Mô hình nhận diện đối tượng YOLOv2 (YOLO9000): Thuật toán do Joseph Redmon và Ali Farhadi công bố năm 2017, sử dụng kiến trúc mạng Darknet-19 (gồm 19 lớp tích chập và 5 lớp max pooling). Các kỹ thuật cải tiến cốt lõi được phân tích gồm: Batch Normalization đưa vào sau các lớp tích chập giúp tăng mAP thêm khoảng 2%; High-resolution classifier huấn luyện phân loại với kích thước 448 x 448 giúp tăng mAP thêm khoảng 4%; kiến trúc Anchor Box xác định kích thước khung neo tối ưu thông qua thuật toán phân cụm K-means; Direction location prediction sử dụng hàm kích hoạt Sigmoid giới hạn tọa độ tương đối từ 0 đến 1 quanh ô lưới (grid cell) giúp tăng thêm 5% mAP; Fine-grained features sử dụng lớp Reorg để biến đổi feature map 26 x 26 thành 13 x 13 ghép nối (concatenate) với feature map 13 x 13 ở tầng cuối; Multi-scale training với kích thước đầu vào 416 x 416; kỹ thuật WordTree xây dựng đồ thị có hướng để kết hợp nhãn giữa tập dữ liệu ImageNet và COCO/PASCAL.
• Công cụ phần mềm và giao thức: Bộ thư viện thị giác máy tính OpenCV (các module core, imgproc, video, videoio...); framework xử lý đa phương tiện FFmpeg cùng các thư viện thành phần (libavutil, libavcodec, libavformat, libavdevice, libavfilter, libswscale, libswresample); cơ chế bảo mật kết nối SSH Tunneling; giao thức truyền thông video thời gian thực RTSP; phần mềm quản lý camera giám sát mã nguồn mở ZoneMinder.

Phương pháp nghiên cứu thực tế được triển khai theo quy trình đồng thiết kế phần cứng và phần mềm (Hardware/Software Co-design):

• Phương pháp phân tích và kế thừa: Kế thừa và cải tiến mô hình kiến trúc từ các nghiên cứu trước tại Khoa Kỹ thuật Máy tính, đặc biệt là các luận văn tốt nghiệp về triển khai YOLOv2 trên Zynq-7000 và Ultra96-V2.
• Phương pháp tích hợp hệ thống phần cứng: Sử dụng Vivado 2019.2 tạo block design, tích hợp lõi IP DPU vào vùng PL, kết nối liên lạc với PS qua bus AXI HP FPD (giao thức truyền hiệu năng cao hỗ trợ độ rộng bus 512-bit) thay cho bus AXI4 64-bit truyền thống, tiến hành phân bổ địa chỉ và tổng hợp bitstream.
• Phương pháp phát triển phần mềm nhúng: Tùy biến kernel Linux trên PetaLinux 2019.2, tích hợp driver thiết bị, cấu hình vùng nhớ dành riêng (reserved memory) cho DPU và xây dựng ứng dụng C/C++ bằng Vitis 2019.2.
• Phương pháp thực nghiệm định lượng: Thiết lập môi trường thử nghiệm thực tế để thu thập dữ liệu về độ chính xác nhận diện người, thời gian xử lý một khung hình (inference latency), tốc độ khung hình (FPS) và độ trễ truyền luồng (streaming latency) ở các độ phân giải 1920 x 1080, 1280 x 720, 640 x 480 thông qua kết nối Wi-Fi (khảo sát theo khoảng cách vật lý) và kết nối Ethernet; đồng thời sử dụng công cụ Vivado Report Power để đo đạc và phân tích mức tiêu thụ năng lượng on-chip.

Thiết kế và triển khai hệ thống

Hệ thống smart camera được xây dựng dựa trên sự phối hợp đồng bộ giữa phần cứng SoC, khối tăng tốc AI trên FPGA và phân hệ phần mềm nhúng Linux:

Thành phần hệ thống	Chi tiết kỹ thuật và giải pháp triển khai
Nền tảng phần cứng chính	Bo mạch Ultra96-V2 trang bị vi mạch Xilinx Zynq UltraScale+ MPSoC ZU3EG SBVA484, bộ nhớ 2 GB LPDDR4 (512M x 32), module không dây Microchip ATWILC3000 (Wi-Fi/Bluetooth), mạch tạo xung Renesas VersaClock 6E, giao tiếp USB 3.0 kết nối USB Camera.
Khối tăng tốc phần cứng (PL)	Tích hợp khối xử lý IP DPU (tên khối trong thiết kế Vivado: ULTRA96V2_YOLO2_FPGA_0_0) cùng các khối bổ trợ: Clocking Wizard (tần số 100 MHz), Processor System Reset, AXI Interconnect, AXI BRAM Controller, PWM w/ Interrupt và AXI GPIO.
Giao tiếp Bus dữ liệu	Nâng cấp liên kết từ Bus AXI4 (64-bit) lên Bus AXI HP FPD (High Performance Fast Path to DRAM, 512-bit) giữa khối DPU và bộ điều khiển bộ nhớ DDR4, tối ưu hóa băng thông truyền dữ liệu hình ảnh trực tiếp.
Hệ điều hành nhúng	Nền tảng PetaLinux 2019.2 xây dựng hệ điều hành nhúng Linux. Các cấu hình then chốt: nạp file mô tả phần cứng (.xsa), kích hoạt USB Gadget Support, cấu hình WILC module bitbake cho Wi-Fi driver, khai báo vùng nhớ dành riêng (Reserved Memory) cho DPU, đóng gói thành các tệp BOOT.BIN và image.ub nạp vào thẻ nhớ microSD.
Tầng ứng dụng và điều khiển	Xây dựng chương trình thực thi bằng công cụ Xilinx Vitis 2019.2, tạo file nhị phân smart_camera.elf. Kết hợp thư viện DNNDK để điều khiển DPU và OpenCV để xử lý tiền/hậu kỳ khung hình.
Kiến trúc luồng streaming	Cải tiến quy trình luồng dữ liệu: Khung hình từ USB Camera được chuyển trực tiếp qua DPU xử lý nhận diện, lưu kết quả vào bộ nhớ RAM, sau đó framework FFmpeg trực tiếp mã hóa luồng thành video và truyền qua giao thức RTSP lên web server ZoneMinder, loại bỏ hoàn toàn khâu lưu trữ trung gian lên thẻ microSD (SD_Card) vốn gây nghẽn cổ chai trong nghiên cứu trước.
Phân hệ máy chủ giám sát	Triển khai web server ZoneMinder, tiến hành cấu hình việt hóa giao diện quản trị sang tiếng Việt, thiết lập màn hình theo dõi và tích hợp hiển thị luồng video nhận dạng trực tiếp trên trình duyệt.
Đóng gói phần cứng	Chế tạo vỏ hộp bảo vệ hoàn chỉnh cho smart camera, bố trí chắc chắn các thành phần: bo mạch Ultra96-V2, USB Camera, quạt tản nhiệt (Radiator fan), nguồn cấp 12V và các cổng kết nối ngoại vi.

Nội dung chính theo từng chương

Chương 1. Giới thiệu đề tài

Chương mở đầu trình bày bối cảnh lịch sử phát triển của smart camera từ thập niên 1990 đến nay cùng tầm quan trọng của việc kết hợp trí tuệ nhân tạo vào thiết bị biên (edge devices). Tác giả tổng hợp, phân tích các nghiên cứu liên quan trong và ngoài nước, bao gồm hệ thống bám vết trên Virtex-5 (Ehsan Norouznezhad et al., 2010), kiến trúc DreamCam trên Cyclone III (Merwan Birem et al., 2014), cùng các công trình nghiên cứu tiền nhiệm tại Khoa Kỹ thuật Máy tính như triển khai CNN trên ZedBoard Zynq-7000 (2020), IP camera trên Zynq-7000 (2019), nhận diện khuôn mặt trên DE10-Nano (2020), smart camera trên Ultra96-V2 (2021) và nghiên cứu tối ưu streaming trên Ultra96-V2 (Võ Phúc Vinh Khang và Lê Hoài, 2023). Từ đó, chương xác lập mục tiêu nghiên cứu cụ thể, giới hạn phạm vi đề tài, các kết quả kỳ vọng và phác thảo bố cục 5 chương của khóa luận.

Chương 2. Cơ sở lý thuyết

Chương này cung cấp hệ thống kiến thức nền tảng phục vụ cho quá trình thiết kế:

• Định nghĩa, kiến trúc cấu tạo (CLB, I/O, mạng liên kết), ưu điểm (xử lý song song, tái lập trình) và nhược điểm của công nghệ FPGA.
• Khái niệm và cấu trúc phần cứng của hệ thống SoC gồm CPU (ARM, RISC-V), bus liên kết nội (AMBA, CoreConnect), bộ nhớ (ROM, RAM), các khối điều khiển nội và ngoại vi.
• Đặc điểm kiến trúc phần cứng và phần mềm của hệ thống nhúng.
• Chi tiết toán học và cấu trúc của thuật toán nhận diện đối tượng YOLOv2, bao gồm mạng Darknet-19, cơ chế chuẩn hóa theo lô, kỹ thuật phân cụm K-means chọn anchor box, hàm sigmoid dự đoán tọa độ, kỹ thuật biến đổi Reorg và phân cấp ngữ nghĩa WordTree.
• Khái niệm, tiêu chuẩn cấu thành và đặc tính kỹ thuật của thiết bị smart camera, liên hệ với sản phẩm thực tế HANET AI Camera.
• Cấu trúc các module trong thư viện OpenCV, tổng quan framework FFmpeg cùng các gói thư viện (libavcodec, libavformat, libswscale...), nguyên lý tạo đường hầm SSH (SSH Tunneling) và kiến trúc cơ bản của hệ thống streaming video qua môi trường mạng.

Chương 3. Thiết kế hệ thống và hiện thực smart camera

Nội dung chương tập trung vào giải pháp kỹ thuật chi tiết:

• Giới thiệu cấu trúc chip Xilinx Zynq UltraScale+ MPSoC (phân vùng APU Cortex-A53, GPU Mali-400, bộ kết nối CCI, vùng logic PL, chuẩn bus AXI) và sơ đồ nguyên lý bo mạch Ultra96-V2.
• Trình bày kiến trúc tổng quát của hệ thống smart camera đề xuất, phân tích điểm cải tiến khi thay thế bus AXI4 bằng bus AXI HP FPD 512-bit để truyền dữ liệu trực tiếp tới DRAM.
• Quy trình tích hợp lõi IP DPU trên Vivado 2019.2, tổng hợp thiết kế và tạo tệp cấu hình bitstream (.bit).
• Quy trình triển khai phần mềm nhúng: xuất file mô tả phần cứng (.xsa), cấu hình kernel PetaLinux, kích hoạt driver Wi-Fi (wilc), phân bổ vùng nhớ dành riêng cho DPU, build hệ điều hành ra thẻ nhớ microSD.
• Lập trình ứng dụng điều khiển trên Vitis 2019.2 tạo file thực thi smart_camera.elf.
• Thiết lập quy trình streaming mới bằng FFmpeg và giao thức RTSP loại bỏ khâu ghi đệm thẻ SD_Card; cài đặt, cấu hình và việt hóa giao diện phần mềm quản trị camera giám sát ZoneMinder.

Chương 4. Thực nghiệm và đánh giá kết quả

Chương này trình bày các kịch bản thực nghiệm và phương pháp kiểm thử hệ thống:

• Đo lường và đánh giá kết quả nhận diện đối tượng ở các độ phân giải khác nhau về thời gian nhận diện và độ chính xác.
• Đánh giá hiệu năng truyền luồng video (FPS và độ trễ trung bình) đối với hai chế độ: camera hình ảnh thường và camera xử lý nhận dạng YOLOv2 qua môi trường mạng Internet.
• Đánh giá thực nghiệm so sánh tính ổn định giữa kết nối không dây Wi-Fi (khảo sát theo các cự ly khoảng cách khác nhau) và kết nối có dây Ethernet.
• Đánh giá tổng hợp hệ thống, đối chiếu với các mục tiêu ban đầu và so sánh trực tiếp với kết quả nghiên cứu tiền nhiệm của Võ Phúc Vinh Khang và Lê Hoài (2023).
• Trình bày danh mục linh kiện sử dụng và quy trình đóng gói hoàn thiện phần cứng smart camera vào vỏ hộp bảo vệ.

Chương 5. Kết luận và hướng phát triển

Chương cuối tóm tắt toàn bộ khối lượng công việc và những kết quả kỹ thuật đã hoàn thành của đề tài; thẳng thắn chỉ ra các giới hạn tồn tại và đề xuất các định hướng nghiên cứu tiếp theo nhằm nâng cấp hệ thống trong tương lai.

Kết quả và đóng góp

Khóa luận đã hiện thực thành công hệ thống smart camera tích hợp thuật toán YOLOv2 trên bo mạch Ultra96-V2 với các số liệu kỹ thuật được ghi nhận:

1. Hiệu năng tiêu thụ năng lượng và tài nguyên phần cứng:

   • Tổng công suất tiêu thụ on-chip đo được qua công cụ Vivado Report Power là 5,293 W; trong đó công suất động (Dynamic power) chiếm 4,945 W (tương đương 93%) và công suất tĩnh chiếm 7%.
   • Phân bổ công suất động chi tiết gồm: Mạng xung nhịp (Clocks) tiêu thụ 0,633 W (13%); Đường tín hiệu (Signals) tiêu thụ 0,574 W (12%); Tài nguyên logic (Logic) tiêu thụ 0,611 W (12%); Khối nhân số học DSP tiêu thụ 0,094 W (2%); Khối quản lý xung MMCM tiêu thụ 0,094 W (2%); Khối I/O tiêu thụ 0,042 W.
   • Tài nguyên logic FPGA sử dụng riêng cho khối xử lý ULTRA96V2_YOLO2_FPGA_0_0 đạt mức: 25.760 Look-Up Tables (LUT), 22.742 Flip-Flops (FF), 132 Block RAM (BRAM) và 150 lát cắt DSP (DSP slice).

2. So sánh cải tiến kỹ thuật với nghiên cứu tiền nhiệm [7]:

Tiêu chí kỹ thuật	Nghiên cứu của Võ Phúc Vinh Khang & Lê Hoài (2023) [7]	Hệ thống đề xuất trong khóa luận (2023)
Khối tăng tốc học sâu	Khối xử lý YOLOv2 thông thường tích hợp trên PL	IP DPU (Deep Learning Processing Unit) tối ưu hóa của Xilinx
Chuẩn giao tiếp Bus	Bus AXI4 (độ rộng dữ liệu song song 64-bit)	Bus AXI HP FPD (độ rộng dữ liệu song song 512-bit, Fast Path to DRAM)
Chuỗi xử lý luồng (Pipeline)	Chụp ảnh -> Memory -> Nhận diện -> Lưu file thẻ SD -> Stream ảnh	Chụp ảnh -> Nhận diện DPU -> Memory -> Mã hóa FFmpeg -> Stream video trực tiếp
Hình thức truyền luồng	Stream từng ảnh tĩnh rời rạc lên web	Stream trực tiếp luồng video liên tục qua giao thức RTSP
Nút thắt cổ chai hệ thống	Bị nghẽn tốc độ I/O do phải đọc/ghi liên tục trên thẻ nhớ microSD	Loại bỏ khâu ghi thẻ SD, xử lý trực tiếp trên RAM giúp giảm trễ đáng kể
Nền tảng hiển thị giám sát	Hiển thị cơ bản trên giao diện web	Tích hợp hệ thống ZoneMinder hoàn chỉnh đã được việt hóa ngôn ngữ

Các đóng góp chính của đề tài bao gồm việc hiện thực hóa thành công quy trình nhúng IP DPU lên nền tảng Zynq UltraScale+ MPSoC ở tần số 100 MHz; tối ưu hóa đường truyền dữ liệu băng thông rộng 512-bit kết nối thẳng với bộ nhớ DDR4; loại bỏ hoàn toàn độ trễ thắt nút cổ chai của thẻ nhớ microSD bằng cách kết hợp thư viện FFmpeg truyền trực tiếp luồng RTSP; và xây dựng thành công thiết bị smart camera hoàn chỉnh có khả năng hoạt động độc lập và đóng gói cơ khí an toàn.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của đề tài:

• Khóa luận mới tập trung triển khai và tối ưu cho kiến trúc mạng YOLOv2, chưa nâng cấp lên các kiến trúc mạng nơ-ron nhận dạng đối tượng thế hệ mới hơn.
• Tốc độ truyền luồng khi sử dụng kết nối không dây Wi-Fi vẫn còn hiện tượng dao động không ổn định, chịu ảnh hưởng đáng kể bởi khoảng cách truyền và vật cản môi trường so với tính ổn định cao của kết nối có dây Ethernet.
• Tần số hoạt động của khối xử lý DPU trên vùng PL đang giới hạn ở mức 100 MHz nhằm đảm bảo tính ổn định và kiểm soát giới hạn công suất tiêu thụ trên bo mạch Ultra96-V2.

Hướng nghiên cứu tiếp:

• Nghiên cứu tích hợp các phiên bản mạng nơ-ron học sâu tiên tiến hơn (như YOLOv3, YOLOv4 hoặc các biến thể nhẹ) lên khối DPU nhằm nâng cao độ chính xác nhận diện đối với các đối tượng kích thước nhỏ hoặc bị che khuất.
• Tiếp tục nghiên cứu các phương pháp tối ưu hóa phần cứng và thuật toán nén mô hình (pruning, quantization) để nâng cao tốc độ suy luận của luồng xử lý YOLOv2 vượt trên mức 1 FPS ở độ phân giải Full HD 1080p.
• Tích hợp thêm các thuật toán theo dõi đối tượng (object tracking) liên tục qua các khung hình để mở rộng chức năng giám sát tự động.
• Cải tiến thiết kế cơ khí của vỏ hộp, tối ưu hóa giải pháp tản nhiệt chủ động cho chip Zynq UltraScale+ khi hoạt động liên tục trong môi trường công nghiệp hoặc ngoài trời.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo kỹ thuật chuyên sâu đối với sinh viên, học viên cao học và kỹ sư thuộc các chuyên ngành Kỹ thuật Máy tính, Điện tử – Viễn thông, Công nghệ Thông tin, Hệ thống Nhúng và IoT, cũng như các nhóm nghiên cứu phát triển thiết bị AI tại biên (Edge AI).

Các nội dung có giá trị tham khảo ứng dụng cao trong tài liệu bao gồm:

• Toàn bộ quy trình tích hợp lõi IP DPU trên công cụ Vivado 2019.2 và cấu hình không gian bộ nhớ dành riêng (Reserved Memory) trong PetaLinux để vi xử lý ARM giao tiếp mượt mà với phần cứng tăng tốc AI.
• Giải pháp thiết kế bus dữ liệu AXI HP FPD 512-bit để giải quyết triệt để bài toán thắt nút cổ chai băng thông giữa bộ nhớ DRAM và các khối xử lý logic trên FPGA.
• Kỹ thuật xây dựng pipeline xử lý streaming video thời gian thực từ camera USB qua bộ nhớ RAM và xuất trực tiếp bằng FFmpeg qua giao thức RTSP mà không cần ghi đệm vào thẻ nhớ flash.
• Phương pháp luận thực nghiệm đo đạc công suất, tài nguyên phần cứng (LUT, FF, BRAM, DSP) và đánh giá độ trễ streaming trên các cấu hình mạng và cự ly khác nhau.

Câu hỏi thường gặp

1. Hệ thống smart camera trong đề tài sử dụng nền tảng phần cứng nào và tần số hoạt động của khối logic là bao nhiêu?

Hệ thống sử dụng bo mạch Ultra96-V2 do Avnet phát hành, mang chip vi xử lý tích hợp Xilinx Zynq UltraScale+ MPSoC ZU3EG SBVA484, kết hợp bộ nhớ 2 GB LPDDR4 và module kết nối Microchip Wi-Fi/Bluetooth. Tần số hoạt động thiết kế cho khối logic DPU trên vùng PL là 100 MHz.

2. Điểm cải tiến cốt lõi trong kiến trúc phần cứng và truyền dữ liệu của đề tài so với nghiên cứu tiền nhiệm năm 2023 là gì?

Đề tài cải tiến hai điểm mấu chốt: thứ nhất, thay thế bus liên kết AXI4 64-bit bằng bus AXI HP FPD với độ rộng dữ liệu song song 512-bit kết nối trực tiếp với DRAM; thứ hai, thay đổi hoàn toàn chuỗi xử lý streaming bằng cách đưa ảnh sau nhận diện lưu tạm trên RAM rồi dùng FFmpeg truyền video trực tiếp qua RTSP, loại bỏ bước ghi file trung gian vào thẻ nhớ microSD vốn gây trễ nghiêm trọng ở nghiên cứu trước.

3. Mức tiêu thụ công suất và tài nguyên phần cứng trên FPGA của khối xử lý YOLOv2 được ghi nhận như thế nào?

Theo báo cáo năng lượng từ Vivado, tổng công suất on-chip của hệ thống là 5,293 W (công suất động chiếm 4,945 W, tương đương 93%). Riêng khối tăng tốc YOLOv2 DPU (ULTRA96V2_YOLO2_FPGA_0_0) chiếm dụng 25.760 LUT, 22.742 FF, 132 BRAM và 150 lát cắt DSP trên vi mạch khả trình.

4. Thuật toán YOLOv2 áp dụng các kỹ thuật nào để gia tăng độ chính xác so với phiên bản YOLOv1?

YOLOv2 áp dụng kỹ thuật chuẩn hóa theo lô (Batch Normalization) sau các lớp tích chập (+2% mAP), huấn luyện mạng phân loại ở độ phân giải cao 448 x 448 (+4% mAP), phân cụm K-means để tối ưu kích thước Anchor Box, sử dụng hàm sigmoid giới hạn vị trí dự đoán bounding box (+5% mAP), kết hợp lớp Reorg để ghép nối feature map chi tiết 26 x 26 với 13 x 13, và mạng trích xuất đặc trưng mới Darknet-19.

5. Phân hệ máy chủ giám sát của hệ thống sử dụng phần mềm nào và có điểm gì đặc biệt?

Hệ thống sử dụng phần mềm giám sát mã nguồn mở ZoneMinder để thu nhận và quản lý luồng streaming RTSP từ smart camera. Đặc biệt, nhóm tác giả đã tiến hành cấu hình và việt hóa hoàn chỉnh giao diện quản trị của ZoneMinder sang tiếng Việt để người dùng dễ dàng theo dõi và vận hành.

Kết luận

Khóa luận đã nghiên cứu và hiện thực thành công hệ thống smart camera tích hợp khối tăng tốc học sâu YOLOv2 trên bo mạch Ultra96-V2 dựa trên nền tảng Zynq UltraScale+ MPSoC. Bằng việc tích hợp lõi IP DPU, ứng dụng bus AXI HP FPD 512-bit và tái cấu trúc pipeline truyền dữ liệu qua FFmpeg và RTSP loại bỏ khâu ghi thẻ nhớ, hệ thống đã giải quyết hiệu quả nút thắt cổ chai về độ trễ so với các nghiên cứu trước đó. Toàn bộ thiết kế phần cứng, hệ điều hành nhúng PetaLinux, phần mềm ứng dụng Vitis và giao diện web ZoneMinder việt hóa đã được tích hợp đồng bộ và đóng gói hoàn chỉnh, cung cấp tài liệu kỹ thuật có giá trị thực tiễn cao cho hướng phát triển các thiết bị thị giác máy tính tại biên.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu đề tài Chương đầu tiên sẽ giới thiệu tổng quan về đề tài khóa luận, lý do nhóm chọn đề tài này, mục tiêu đề ra của nhóm, những giới hạn của đề tài và kết quả mà nhóm mong muốn đạt được. Chương 2: Cơ sở lý thuyết Chương nay trình bày những cơ sở lý thuyết được sử dụng có liên quan đến nội dung nghiên cứu của đề tài, những thông tin này dựa vào các nguồn tài liệu nhóm tìm kiếm được trên Internet, tham khảo các tài liệu có sẵn trên website của khoa KTMT cũng như những góp ý của các thầy cô, anh chị bao gồm: kiến thức chung về Field Programmable Gate Array (FPGA), Hệ thống SoC (System on Chip), Hệ thống nhúng, Thuật toán YOLOv2, OpenCV, SSH Tunnel, Streaming video. Chương 3: Thiết kế hệ thống và hiện thực smart camera Dựa vào những kiến thức về cơ sở lý thuyết đã tìm hiểu được ở Chương 2 thì ở Chương 3 này nhóm sẽ đề xuất một mô hình hệ thống một cách chỉ tiết của khóa luận. Giải thích nguyên lý hoạt động của cả hệ thống.

Chương 4: Thực nghiệm và đánh giá kết quả Sau khi đã xây dựng được hệ thống, nhóm tiến hành các bước chạy thử, thực nghiệm thu được các kết quả sau đó thực hiện việc đánh giá, so sánh với mục tiêu ban đầu của đề tài cũng như so sánh với kết quả thực nghiệm của đề tài trước. Chương 5: Kết luận và hướng phát triển Chương cuối sẽ tổng kết lại khóa luận, tóm tắt toàn bộ những công việc mà nhóm đã hoàn thành, những kết quả và thành tích đạt được. Đồng thời chương này nhóm sẽ đưa ra đề xuất cho những hướng phát triển tiếp theo của đề tài trong tương lai. Field Programmable Gate Array (FPGA) 2.

Dinh nghĩa FPGA là một loại mạch tích hợp cỡ lớn dùng cấu trúc mảng phan tử logic mà người dùng có thể lập trình được. Chữ field ở đây muốn nói đến khả năng tái lập trình "bên ngoài" của người sử dụng, không phụ thuộc vào dây chuyền sản xuất phức tạp của nhà máy bán dẫn. Vi mạch FPGA được cấu thành từ các bộ phận: e Các khối logic cơ bản lập trình được (logic block) e Hệ thống mạch liên kết lập trình được e Khối vào ra (I/O Pads) e Phan tử thiết kế san khác như DSP slice, RAM, ROM, nhân vi xử lý. FPGA cũng được xem như một loại vi mạch bán dẫn chuyên dung ASIC, nhưng nếu so sánh FPGA với những ASIC đặc chế hoàn toàn hay ASIC thiết kế trên thư viện logic thì FPGA không đạt được mức độ tối ưu như những loại này và còn hạn chế trong khả năng thực hiện những tác vụ đặc biệt phức tạp.

Tuy vậy FPGA ưu việt hơn ở chỗ có thé tái cau trúc lại khi đang sử dụng, công đoạn thiết kế đơn giản do vậy chi phí giảm, rút ngắn thời gian đưa sản phâm vào sử dụng. Thiết kế hay lập trình cho FPGA được thực hiện chủ yếu bằng các ngôn ngữ mô tả phần cứng HDL như VHDL, Verilog, AHDL. Các hãng sản xuất FPGA lớn như Xilinx, Altera thường cung cấp các gói phần mềm và thiết bị phụ trợ cho quá trình thiết kế. Ngoài ra cũng có một số hãng thứ ba cung cấp các gói phần mềm kiêu này như Synopsys, Synplify.

Các gói phần mềm này có khả năng thực hiện tất cả các bước của toàn bộ quy trình thiết kế IC chuẩn với đầu vào là mã thiết kế trên HDL (còn gọi là mã RTL). Kiến trúc tổng quát Kiến trúc cơ bản của FPGA gồm 3 thành phan chính sau: Khối I/O (hay gọi là các pin FPGA), khối kết nối (Interconnection), các khối logic cấu hình (Logic Blocks hoặc Configurable Logic Blocks - CLB). Các khối CLB được tổ chức sắp xếp theo mảng với 2 hướng doc và ngang như Hình 2. Input/Output Blocks Logic Blocks | EE a | + Programmable Interconnect ia Hình 2.1 Kiến trúc cơ ban của FPGA Khối CLB: thực thi các chức năng logic, cung cấp các tính toán và phần tử nhớ cơ bản được sử dụng trong hệ thống số.

CLBs là phần tử cơ bản cau thành FPGA, là nguồn tài nguyên logic chính tạo nên các mạch logic đồng bộ lẫn không đồng bộ. Một CLB cơ bản gồm một mạch tổ hợp có thê lập trình (còn gọi là LUT), một Flip- Flop hoặc một chốt (latch). Kết quả của hàm này tùy vào mục đích mà gửi ra ngoài khối logic trực tiếp hay thông qua phần tử nhớ flip-flop. Ngoài khối logic cơ bản đó, nhiều chip FPGA hiện nay còn có một hỗn hợp các khối khác nhau, một số trong đó chỉ được dùng cho các chức năng cụ thé, chang hạn như các khối bộ nhớ chuyên dụng, các bộ nhân (multipliers) hoặc các bộ ghép kênh (multiplexers).

Tắt nhiên, cấu hình bộ nhớ được sử dụng trên tat cả các khối logic được dùng dé điều khiển các chức năng cụ thé của mỗi phân tử bên trong khối đó. 10 Khối kết nối (Interconnections): dùng để liên kết các khối logic và I/O lại với nhau dé tạo thành một thiết kế hoàn chỉnh. Mạng liên kết trong FPGA được cau thành từ các đường kết nối theo hai phương ngang và đứng. Tùy theo từng loại FPGA mà các đường kết nối được chia thành các nhóm khác nhau.

Các đường kết nỗi được nối với nhau thông qua các khối chuyển mạch lập trình được (programmable switch). Trong mỗi khối chuyền mạch chứa một số lượng nút chuyền lập trình được đảm bảo cho các dạng liên kết phức tạp khác nhau. Khối I/O: cung cấp giao tiếp giữa các khối logic và kiến trúc định tuyến đến các thành phần bên ngoài. Một trong những vấn đề quan trọng nhất trong thiết kế kiến trúc I/O là việc lựa chọn các tiêu chuẩn điện áp cung cấp và điện áp tham chiếu sẽ được hỗ trợ.

Số lượng Pin (I/O) của FPGA tương đối lớn, thường được chia ra làm 2 loại: User Pin (chân người dùng), Dedicated Pin (chân chuyên dung). User Pin: người dùng có thé lập trình như đầu vào, đầu ra hoặc cả đầu vào — ra. Mỗi pin được kết nối với một “I/O Cell” bên trong FPGA, được cấp bởi các chân Vcc I/O (I/O power pin). Dedicated Pin: được mã hóa cứng với một chức năng cụ thể như: e Power Pin ¢ Configuration Pin: các pin dé cấu hình FPGA.

¢ Dedicated Input hay Clock Pin: điều khién mạng lưới clock trong FPGA. e Voltage IO: cấp nguồn cho các công logic va flip-flops bên trong FPGA Theo thời gian, các kiến trúc FPGA co ban đã được phát triển nhiều hơn thông qua việc bố sung các khối chức năng đặc biệt có thể lập trình như bộ nhớ Block RAMs, logic số hoc (ALU), bộ nhân, DSP-48 và thậm chí là bộ vi xử lý nhúng được thêm vào do nhu cầu của các nguồn tài nguyên cho một ứng dụng. Kết quả là nhiều FPGA ngày nay có nhiều nguồn tài nguyên hơn so với các FPGA trước đó.3 Ưu và nhược điểm của FPGA ¢ Uu điểm: e_ FPGA có thể được lập trình ở mức logic. Do đó, nó có thể thực hiện xử lý tín hiệu song song và nhanh hơn hệ thống nhúng.

11 e FPGA có thé được lập trình lại hoặc sử dụng lại bat kỳ lúc nào. FPGA cũng có thê được lập trình từ xa. e Phat triển FPGA rẻ hơn do các công cụ ít tốn kém hơn. Nhược điểm: e Việc lập trình FPGA đòi hỏi kiến thức về ngôn ngữ lập trình VHDL/Verilog cũng như các nguyên tắc cơ bản về hệ thống kỹ thuật số.

Việc lập trình không đơn giản như lập trình ngôn ngữ bậc cao C hay Python được điều khiển dựa trên bộ xử lý. Hơn nữa, các kỹ sư cần học cách sử dụng các công cụ mô phỏng đa dạng. e Khi bất kỳ FPGA cụ thé nào được sử dụng, các kỹ sư cần sử dụng tài nguyên có san trên FPGA. Điều này sẽ hạn chế về kích thước thiết kế cũng như tài nguyên hao tốn.

Dé tránh tình huống như vậy, FPGA thích hợp cần được chọn ngay từ đầu 2. Hệ thống SoC (System on Chip) 2. Định nghĩa hệ thống SoC System on Chip là hệ thống mạch tích hợp bao gồm tat cả các thành phan cần thiết được tích hợp trên 1 chip duy nhất. Thiết kế của một hệ thống SoC thường bao gồm bộ xử lý trung tâm, memory, các port cho input va output, thiết bị lưu trữ thứ cấp và các ngoại vi như I2C, SPI, UART, CAN, Timers, v.

Các thiết kế SoC thường tiêu tốn ít năng lượng và có giá thành thấp hơn các hệ thống đa chip nếu so sánh cùng một thiết kế. Ngoài ra, hệ thống don chip cũng có tính ồn định cao hơn. Các ứng dụng xây dựng trên cơ sở sử dụng các hệ thống đơn chip cũng cho giá thành thấp hơn, không gian chiếm chỗ ít hơn. Một SoC ngày nay thường có khả năng xử lý chạy rất nhiều ứng dụng xử lý âm thanh, hình ảnh, giải mã tín hiệu,.

Cấu trúc phần cứng của một SoC Mỗi chip SoC có mật độ tích hợp chức năng khác nhau nhưng hầu hết các SoC đều có các thành phần cơ bản sau đây: 12 s* CPU (Central Processing Unit): Lõi vi xử lý là thành phần không thé thiếu trong một SoC làm nhiệm vụ quan lý toàn bộ hoạt động chính của một SoC. CPU đảm nhiệm luéng xử lý chính trong SoC, điều phối các hoạt động giữa các thành phần khác trong SoC, thực thi các tính toán chính. Một SoC có thể có một hoặc nhiều lõi CPU. Một số lõi CPU: ¢ Lõi CPU ARM dùng tập lệnh ARM và là sản phẩm của hãng ARM.

e RISC-V là các lõi CPU phát triển trên tập lệnh mở và miễn phí RISC-V. e SH (SuperH) dùng tập lệnh RISC được triển bởi Hitachi và nay là sản phẩm của Renesas. D> > ~ Bus hệ thong (System BUS): Bus hé thong là có nhiệm vụ kết nối thông suốt các thành phần chức năng khác nhau trong vi xử lý. Bus hệ thống giống như những con đường đề vận chuyền dữ liệu giữa các thành phần trong SoC.

Một số cau trúc bus hệ thống: e AMBA (AXL AHB, APB) là chuẩn bus phát triển bởi ARM. e CoreConnect là chuan bus phát triển bởi IBM. e Avalon là chuẩn bus phát triển bởi Altera, hiện nay đã thuộc Intel. e STBus là chuẩn bus phát triển bởi STMicroelectronic.

e Wishbone là chuân bus phát triển bởi Silicore Corporation, hiện nay đã được công bố miễn phí trên OpenCores. > > ~ Bộ nhớ (Memory): Bộ nhớ trong một SoC gọi là bộ nhớ nội dé phan biét voi bộ nhớ nằm ngoài SoC và giao tiếp với SoC thông qua các chân (pin) điều khiển của SoC. Bộ nhớ nội này có thé là: ¢ ROM: lưu cấu hình hoặc chương trình ban đầu của SoC.