Giới thiệu dự án

Trong kỷ nguyên vạn vật kết nối (IoT) và trí tuệ nhân tạo biên (Edge AI), các hệ thống camera giám sát truyền thống đang đối mặt với những thách thức nghiêm trọng về băng thông truyền tải, độ trễ xử lý và bảo mật dữ liệu. Theo các báo cáo công nghiệp về thị giác máy tính nhúng, việc truyền tải luồng video độ phân giải cao liên tục về máy chủ đám mây (Cloud Server) gây tiêu tốn tới 70% băng thông mạng cục bộ và phát sinh độ trễ từ 300ms đến hơn 1000ms. Điều này hoàn toàn không đáp ứng được yêu cầu phản hồi thời gian thực trong các môi trường công nghiệp, giao thông thông minh hay giám sát an ninh nghiêm ngặt.

Hạn chế cốt lõi của các thiết bị camera thông thường nằm ở việc thiếu khả năng tính toán thông minh tại chỗ:

  • Nút thắt đường truyền (Bandwidth Bottleneck): Việc truyền dữ liệu hình ảnh liên tục gây nghẽn mạng cục bộ.
  • Độ trễ xử lý (High Latency): Phụ thuộc hoàn toàn vào đường truyền mạng và máy chủ trung tâm.
  • Chi phí hạ tầng và tiêu thụ năng lượng: Các thiết bị xử lý bằng GPU truyền thống tiêu tốn từ 50W đến hơn 200W, không phù hợp cho các nút biên (Edge nodes) hoạt động độc lập.
+--------------------------------------------------------------------------------+
| TÊN ĐỀ TÀI: ỨNG DỤNG MOBILENETV2 TRÊN ULTRA96-V2 CHO SMART CAMERA              |
| Nhóm tác giả: Lê Huy Hoàng, Tô Quốc Nguyễn | GVHD: TS. Nguyễn Hoài Nhân       |
| Đơn vị: Khoa Kỹ thuật Máy tính - Trường Đại học Công nghệ Thông tin (ĐHQG-HCM) |
| Năm hoàn thành: 2022 | Nền tảng: Xilinx Zynq UltraScale+ MPSoC (Ultra96-V2)    |
+--------------------------------------------------------------------------------+

Đề tài tập trung giải quyết bài toán trên bằng cách phát triển một hệ thống Smart Camera hoàn chỉnh dựa trên kiến trúc System-on-Chip (SoC) và Field-Programmable Gate Array (FPGA). Hệ thống có khả năng thu nhận video qua cổng USB UVC, tăng tốc suy luận mạng nơ-ron tích chập (CNN) MobileNetV2 trực tiếp trên phần cứng khả trình (PL), đồng thời phát luồng video (streaming) không dây qua Wi-Fi Access Point với độ trễ thấp tiệm cận thời gian thực.

Mục tiêu cụ thể của dự án

  1. Nghiên cứu kiến trúc phần cứng: Phân tích vi kiến trúc Zynq UltraScale+ MPSoC trên kit Ultra96-V2 của Avnet, khai thác hệ thống xử lý (Processing System - PS) kết hợp logic khả trình (Programmable Logic - PL).
  2. Tổng hợp IP Core MobileNetV2: Tối ưu hóa giải thuật MobileNetV2 và tổng hợp thành khối IP phần cứng (Intellectual Property Core) bằng công cụ Vivado High-Level Synthesis (HLS) 2019.2 đạt tần số hoạt động mục tiêu.
  3. Thiết kế phần cứng hệ thống (Block Design): Tích hợp IP MobileNetV2 với hệ vi xử lý đa lõi ARM Cortex-A53 qua các chuẩn bus giao tiếp tốc độ cao AMBA AXI4 (AXI Interconnect, AXI SmartConnect, S_AXI_HP).
  4. Xây dựng hệ điều hành nhúng PetaLinux 2019.2: Tùy biến Linux Kernel, tích hợp trình điều khiển driver phần cứng cho module Wi-Fi Microchip ATWILC3000, USB Webcam UVC, và xây dựng rootfs hỗ trợ OpenCV cùng GStreamer.
  5. Thực thi và đánh giá hệ thống: Phát triển ứng dụng điều khiển bằng Vitis 2019.2, thực nghiệm nhận diện đối tượng thực tế và đo lường tài nguyên, công suất tiêu thụ và độ chính xác.

Phạm vi và giới hạn

  • Phạm vi: Nhận diện và phân loại các đối tượng tĩnh/động trong nhà (sách, chai nước, ly, máy tính, chuột), truyền luồng ảnh qua mạng cục bộ không dây (Wi-Fi 802.11 b/g/n).
  • Giới hạn: Tập trung vào kiến trúc phân loại đối tượng cơ bản; dữ liệu đầu vào sử dụng chuẩn webcam phổ thông (Rapoo C200, độ phân giải 720p).

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Trước khi xây dựng giải pháp trên Zynq UltraScale+, nhóm nghiên cứu đã tiến hành đánh giá so sánh các kiến trúc triển khai thị giác máy tính nhúng hiện nay:

Tiêu chí Cloud AI Camera Vi xử lý nhúng (Raspberry Pi/CPU) Edge GPU (Jetson Nano) Đề tài: Ultra96-V2 (FPGA MPSoC)
Vị trí xử lý Đám mây (Cloud) Tại biên (Edge CPU) Tại biên (Edge GPU) Tại biên (Edge HW Acceleration)
Độ trễ suy luận Rất cao (>300ms) Chậm (150 - 500ms) Trung bình (30 - 60ms) Thấp / Song song hóa cao
Tiêu thụ năng lượng Phụ thuộc Server Thấp (3W - 5W) Trung bình (5W - 10W) Cực thấp (3.7W - 4.1W)
Bảo mật dữ liệu Rủi ro đường truyền Cục bộ Cục bộ Cục bộ, bảo mật phần cứng
Khả năng tùy biến Kém Cố định kiến trúc Cố định kiến trúc Rất cao (Tái cấu hình logic phần cứng)

Đồng thời, đồ án đối sánh với các công trình nghiên cứu thị giác máy tính trên FPGA trong nước:

Đề tài tham chiếu Nền tảng phần cứng Thuật toán AI Tốc độ nhận dạng / FPS Độ chính xác
Phan Trương Khang (2020) DE10-Nano (Cyclone V) Viola-Jones (Haar-like) 105 - 887 ms 20.5% - 89% (ảnh xám)
Phan Tuấn Thành (2021) Zedboard (Zynq-7000) YOLOv2 (CNN) 2.0 fps 53% - 92%
Chung Vĩnh Kiện (2019) Zynq-7000 IP Camera streaming 5.5 - 6.0 fps (Chỉ truyền luồng, không có AI)
Giải pháp đề tài Ultra96-V2 (Zynq UltraScale+) MobileNetV2 (CNN) Tăng tốc phần cứng PL Ổn định đa đối tượng

Yêu cầu hệ thống theo mô hình MoSCoW

  • Must Have: Khối IP MobileNetV2 chạy trên PL; hệ điều hành PetaLinux nhận diện USB Camera; truyền hình ảnh qua Wi-Fi bằng GStreamer/OpenCV.
  • Should Have: Đồng bộ bộ nhớ DDR4 thông qua cổng High Performance AXI (S_AXI_HP) với cơ chế zero-copy.
  • Could Have: Tối ưu hóa lượng tài nguyên DSP48E và BRAM để hạ mức tiêu thụ công suất dưới 4W.
  • Won't Have (Giai đoạn này): Huấn luyện trực tiếp trên chip (On-chip training); tích hợp cụm cảm biến hồng ngoại chuyên dụng.

Thiết kế hệ thống

Kiến trúc hệ thống tận dụng mô hình Đồng thiết kế Phần cứng/Phần mềm (Hardware/Software Co-design):

graph TD
    subgraph "Thiết bị ngoại vi"
        Cam[USB Webcam Rapoo C200] -->|USB 3.0 / V4L2| IOU[IOU: USB Controller]
        Client[Màn hình quan sát / Web Client] <---|Wi-Fi 802.11 b/g/n| WILC[Microchip ATWILC3000 Module]
    end

    subgraph "Processing System (PS) - ARM Cortex-A53"
        IOU --> APU[Application Processing Unit - PetaLinux OS]
        APU -->|Core SW / OpenCV / GStreamer| DDR[DDR4 RAM Controller 2GB LPDDR4]
        APU -->|AXI Lite Control| SmartConn[AXI SmartConnect / Interconnect]
        APU -->|TCP/IP Socket| WILC
    end

    subgraph "Programmable Logic (PL) - FPGA Fabric"
        SmartConn -->|Control Signals| IP_MN[IP MobileNetV2 Accelerator]
        IP_MN -->|S_AXI_HP: Direct DMA Frame Access| DDR
        IP_MN --- BRAM[Block RAM IP]
        IP_MN --- DSP[DSP48E Multipliers]
    end

Tech Stack và phiên bản công nghệ

  • Phần cứng: Avnet Ultra96-V2 Single Board Computer (SoC: Xilinx Zynq UltraScale+ MPSoC XCZU3EG-SBVA484-1-e, RAM: 2GB LPDDR4 Micron 512Mx32).
  • Môi trường thiết kế EDA: Xilinx Vivado Design Suite 2019.2, Vivado HLS 2019.2.
  • Phát triển phần mềm & OS: Xilinx Vitis 2019.2, PetaLinux 2019.2 (Yocto Project-based Embedded Linux, Kernel v4.19).
  • Thư viện xử lý hình ảnh & truyền thông: OpenCV 3.4/4.x, GStreamer 1.0, Video4Linux2 (v4l-utils).
  • Giao tiếp bus nội bộ: AMBA AXI4, AXI4-Lite, AXI4-Stream.

Danh mục các khối IP Core trong Vivado Block Design

  1. Zynq UltraScale+ MPSoC IP: Khối kết nối trung tâm, cấu hình giao tiếp DDR4, cấu hình kênh DMA, clock và ngắt hệ thống.
  2. MobileNetV2 Accelerator IP: Khối tăng tốc tích chập được sinh ra từ Vivado HLS.
  3. AXI SmartConnect & AXI Interconnect: Phân xử địa chỉ, đồng bộ xung clock giữa miền tần số PS và PL.
  4. Clocking Wizard: Tạo xung clock $200\text{ MHz}$ và $100\text{ MHz}$ có độ trôi pha thấp cho các khối chức năng.
  5. Processor System Reset: Quản lý tín hiệu reset đồng bộ cho toàn bộ hệ thống logic.
  6. AXI Interrupt Controller & Concat: Ghép và quản lý các ngắt (Interrupts) từ PL phản hồi về CPU khi IP xử lý xong khung hình (ap_done).
  7. Block Memory Generator: Cung cấp bộ đệm nội bộ tốc độ cao lưu trữ trọng số và đặc trưng trung gian.

Implementation và kết quả

Quy trình phát triển (Development Process)

Quá trình hiện thực hệ thống trải qua 4 giai đoạn kỹ thuật chính:

[ Giai đoạn 1: HLS C/C++ ] ──> [ Giai đoạn 2: Vivado Block Design ] 
                                           │
[ Giai đoạn 4: Vitis SW Pipeline ] <── [ Giai đoạn 3: PetaLinux OS Build ]

1. Vi kiến trúc khối MobileNetV2 Inverted Residual Block

Mạng MobileNetV2 sử dụng khối Inverted Residual với Linear Bottleneck nhằm giảm thiểu số lượng tham số tính toán nhưng vẫn duy trì độ chính xác cao. Thay vì nén kênh rồi mới mở rộng như khối Residual truyền thống, MobileNetV2 thực hiện: $$\text{Input } (h \times w \times k) \xrightarrow{1\times1 \text{ Conv, ReLU6}} (h \times w \times tk) \xrightarrow{3\times3 \text{ Dwise, ReLU6}} (h' \times w' \times tk) \xrightarrow{1\times1 \text{ Linear Conv}} \text{Output } (h' \times w' \times k')$$

Khối IP HLS được thiết kế tối ưu hóa vòng lặp (Loop Unrolling và Pipelining) với chỉ thị Pragmas:

// Cấu trúc mô phỏng tối ưu hóa trong Vivado HLS cho khối Inverted Residual
void mobilenet_v2_layer(
    data_t *input_feature, 
    data_t *output_feature, 
    weight_t *weights, 
    int channels_in, 
    int channels_out
) {
    #pragma HLS INTERFACE m_axi port=input_feature offset=slave bundle=DATA_BUS
    #pragma HLS INTERFACE m_axi port=output_feature offset=slave bundle=DATA_BUS1
    #pragma HLS INTERFACE s_axilite port=return bundle=CTRL_BUS

    #pragma HLS PIPELINE II=1
    // Thực thi tính toán tích chập tách biệt chiều sâu (Depthwise Separable Convolution)
    // Tận dụng tài nguyên DSP48E trên phần cứng PL
}

2. Cấu hình Driver Wi-Fi Microchip WILC3000 trên PetaLinux

Để kích hoạt module Wi-Fi trên Ultra96-V2, một Bitbake recipe tùy chỉnh được tích hợp vào luồng PetaLinux (u96v2-wilc-driver.bb):

inherit module
SRC_URI = "git://github.com/avnet/u96v2-wilc-driver;protocol=http;branch=v15_2"
SRCREV = "01ab7484e0e6b2191c69d7ec7c6e89da5ca51f0f"
DEPENDS += "virtual/kernel"
S = "${WORKDIR}/git/wilc"

EXTRA_OEMAKE = 'CONFIG_WILC=y \
                WLAN_VENDOR_MCHP=y \
                CONFIG_WILC_SDIO=m \
                CONFIG_WILC_SPI=n \
                CONFIG_WILC1000_HW_OOB_INTR=n \
                KERNEL_SRC="${STAGING_KERNEL_DIR}" \
                O="${STAGING_KERNEL_BUILDDIR}"'

Đồng thời, cấu hình Kernel PetaLinux hỗ trợ driver UVC Webcam và cấu hình nạp hệ điều hành từ thẻ nhớ SD (/dev/mmcblk0p2):

# Lệnh cấu hình và build PetaLinux
petalinux-create -t project -n ultra96_cam --template zynqMP
petalinux-config --get-hw-description=./hardware_export/
petalinux-config -c kernel      # Bật CONFIG_USB_VIDEO_CLASS và CONFIG_USB_G_WEBCAM
petalinux-config -c rootfs      # Kích hoạt packagegroup-petalinux-opencv, gstreamer1.0
petalinux-build
petalinux-package --boot --fsbl zynqmp_fsbl.elf --u-boot u-boot.elf --pmufw pmufw.elf --fpga system.bit

Kiểm thử và Đánh giá hiệu năng

1. Đánh giá tần số xung clock và phân bổ tài nguyên phần cứng (Resource Utilization)

Kết quả tổng hợp IP và triển khai (Implementation) trên chip Zynq UltraScale+ MPSoC (XCZU3EG):

Thành phần tài nguyên Đã sử dụng (Used) Khả dụng (Available) Tỷ lệ sử dụng (%)
LUT (Look-Up Table) 57,628 70,560 81.67%
DSP48E (Digital Signal Processor) 266 360 73.89%
FF (Flip-Flop) 63,998 141,120 45.35%
BRAM_18K (Block RAM) 182 432 42.13%
  • Thông số Clock:
    • Xung nhịp mục tiêu: $5.000\text{ ns}$ ($200.0\text{ MHz}$).
    • Xung nhịp ước lượng đạt được sau tổng hợp: $5.947\text{ ns}$ ($\approx 168.15\text{ MHz}$).
    • Độ bất định (Clock Uncertainty): $0.625\text{ ns}$.
Tài nguyên sử dụng trên Zynq UltraScale+ XCZU3EG:
LUT      [████████████████████████████████░░░░] 81.67%
DSP48E   [█████████████████████████████░░░░░░░] 73.89%
FF       [██████████████████░░░░░░░░░░░░░░░░░░] 45.35%
BRAM     [█████████████████░░░░░░░░░░░░░░░░░░░] 42.13%

2. Phân tích tiêu thụ công suất (Power Analysis)

Dữ liệu phân tích công suất thực tế trích xuất từ Vivado Power Analysis Report:

+-------------------------------------------------------------------------------+
| NĂNG LƯỢNG TIÊU THỤ TRÊN CHIP (ON-CHIP TOTAL POWER): 4.101 W                  |
+------------------------------------+--------------------------+---------------+
| Thành phần logic/hệ thống          | Công suất tiêu thụ (W)   | Tỷ lệ (%)     |
+------------------------------------+--------------------------+---------------+
| Processing System (PS UltraScale+) | 1.636 W                  | 40.0%         |
| Routing Signals                    | 0.678 W                  | 18.0%         |
| Configurable Logic (LUT/Registers) | 0.294 W                  | 8.5%          |
| Clock Tree Distribution            | 0.273 W                  | 7.5%          |
| Block RAM (BRAM_18K)               | 0.088 W                  | 3.0%          |
| Input / Output Pins (I/O)          | 0.022 W                  | 1.0%          |
| System Monitor (SYSMON)            | 0.005 W                  | < 0.2%        |
+------------------------------------+--------------------------+---------------+
| TỔNG CÔNG SUẤT LOGIC KHẢ TRÌNH (PL)| 3.788 W                  | 92.0%         |
+------------------------------------+--------------------------+---------------+

3. Kết quả thực nghiệm độ chính xác nhận diện đối tượng

Đối tượng thử nghiệm Môi trường thực nghiệm Kết quả nhận dạng Đánh giá độ tin cậy
Sách vở (Book) Góc nghiêng, đủ sáng Nhận diện chính xác nhãn Rất tốt
Chai nước (Water bottle) Khoảng cách 0.5m - 1.5m Nhận diện chính xác vị trí Rất tốt
Cái ly (Cup/Glass) Nền phức tạp Phân loại đúng đối tượng Tốt
Laptop / Máy tính xách tay Đặt trên bàn làm việc Nhận diện tức thì Xuất sắc
Chuột máy tính (Mouse) Góc khuất hoặc ánh sáng yếu Có trường hợp nhận diện nhầm Cần cải thiện tập dữ liệu

Đổi mới và đóng góp

  1. Kiến trúc đồng thiết kế PS-PL tối ưu: Tận dụng triệt để sức mạnh của bộ 4 lõi ARM Cortex-A53 cho tác vụ mạng, streaming, và giao tiếp camera trong khi giải phóng hoàn toàn gánh nặng xử lý ma trận tích chập cho khối PL (FPGA Fabric).
  2. Khai thác hiệu quả bus truyền thông AXI-HP: Dữ liệu hình ảnh từ Camera được lưu trữ trên bộ nhớ DDR4 và đọc trực tiếp bởi IP MobileNetV2 thông qua cổng Slave AXI High-Performance (S_AXI_HP), giảm thiểu độ trễ sao chép dữ liệu (Zero-Copy Architecture).
  3. Tối ưu hóa năng lượng vượt trội: Với tổng công suất chỉ 4.101W, hệ thống tiết kiệm hơn 60% năng lượng so với các giải pháp nhúng dùng GPU di động (như Jetson TX2 hay Jetson Nano ở chế độ full load) và hơn 90% so với máy tính công nghiệp x86.
  4. Hệ thống nhúng độc lập hoàn chỉnh: Đóng gói toàn bộ Linux stack, driver mạng không dây, thư viện xử lý ảnh và thuật toán suy luận AI vào một thiết bị kích thước nhỏ gọn $85\text{ mm} \times 54\text{ mm}$, sẵn sàng triển khai thực địa.

Ứng dụng thực tế và triển khai

Kịch bản ứng dụng thực tế

  • Hệ thống giám sát nhà xưởng thông minh (Smart Factory): Nhận diện công nhân không đội mũ bảo hộ, phát hiện sự xuất hiện của người trong khu vực vận hành robot tự động mà không cần đi dây mạng phức tạp.
  • Bán lẻ tự động (Smart Retail): Phân tích luồng khách hàng và nhận diện sản phẩm trên quầy kệ theo thời gian thực tại các cửa hàng tiện lợi không người bán.
  • Robot tự hành (AGV/AMR Navigation): Đóng vai trò làm mắt thần nhận diện chướng ngại vật với mức tiêu thụ điện năng tối thiểu, kéo dài thời lượng pin cho robot.

Hướng dẫn triển khai hệ thống (Deployment Pipeline)

  1. Chuẩn bị phần cứng:
    • Cắm thẻ MicroSD (đã phân vùng BOOT FAT32 và RootFS EXT4) vào khe cắm thẻ của Ultra96-V2.
    • Kết nối USB Camera Rapoo C200 vào cổng USB 3.0 Type-A downstream.
    • Cấp nguồn $12\text{V}-2\text{A}$ qua cổng nguồn DC jack.
  2. Khởi động và phát luồng:
    • Gạt switch cấu hình boot mode sang chế độ SD Card Boot.
    • Hệ thống tự động khởi động PetaLinux Kernel, nạp file system.bit vào FPGA logic, khởi tạo driver Wi-Fi WILC3000 ở chế độ SoftAP.
    • Người dùng kết nối thiết bị quan sát vào mạng Wi-Fi của Smart Camera và mở trình duyệt/VLC stream theo địa chỉ IP cục bộ để xem kết quả nhận diện.

Hạn chế và hướng phát triển

Hạn chế kỹ thuật

  • Tần số xung nhịp: Xung nhịp thực tế sau khi đặt dây (Routing) đạt xấp xỉ $168\text{ MHz}$, chưa đạt mức mục tiêu tuyệt đối $200\text{ MHz}$ do đường trễ tín hiệu trên tài nguyên LUT (chiếm tới 81%).
  • Bộ dữ liệu nhận diện: Mô hình hiện tại hoạt động nhạy cảm với các vật thể nhỏ (như chuột máy tính) trong điều kiện ánh sáng thay đổi đột ngột hoặc góc nghiêng lớn.

Hướng phát triển tiếp theo

  • Lượng tử hóa mô hình (Quantization): Chuyển đổi mô hình MobileNetV2 sang dạng số học dấu chấm tĩnh (INT8/INT4) hoặc mạng nơ-ron nhị phân (BNN) thông qua bộ công cụ Vitis-AI để giảm tải tài nguyên LUT/BRAM và đẩy xung nhịp lên trên $250\text{ MHz}$.
  • Nâng cấp giải thuật Object Detection: Tích hợp mô hình YOLOv4-Tiny hoặc MobileNet-SSDLite để vừa phân loại vừa vẽ khung bao đối tượng (Bounding Box) thời gian thực.
  • Giao tiếp Camera MIPI-CSI: Thay thế cổng USB UVC bằng module camera chuẩn giao tiếp MIPI-CSI để loại bỏ hoàn toàn độ trễ của giao thức USB, nâng tốc độ khung hình lên trên 30 FPS.

Đối tượng hưởng lợi

+-----------------------------------------------------------------------------------+
|                            ĐỐI TƯỢNG HƯỞNG LỢI                                    |
+-------------------+---------------------------------------------------------------+
| Sinh viên         | Tài liệu tham khảo toàn diện về luồng thiết kế SoC/FPGA, cách |
| Kỹ thuật          | build PetaLinux Kernel và ứng dụng Vivado HLS thực tế.        |
+-------------------+---------------------------------------------------------------+
| Kỹ sư phần cứng   | Kiến trúc mẫu tích hợp AXI Bus Master/Slave tốc độ cao và kỹ  |
| & Kỹ sư nhúng     | thuật điều khiển DMA chia sẻ bộ nhớ zero-copy trên ZynqMP.    |
+-------------------+---------------------------------------------------------------+
| Doanh nghiệp      | Thiết kế tham chiếu khả thi, tiết kiệm chi phí để sản xuất    |
| IoT / Smart City  | thiết bị Smart Camera chuyên dụng với công suất dưới 5W.       |
+-------------------+---------------------------------------------------------------+
| Nhà nghiên cứu    | Nền tảng thực nghiệm để đánh giá các giải thuật nén mô hình   |
| AI phần cứng      | Deep Learning trên phần cứng khả trình thế hệ mới.            |
+-------------------+---------------------------------------------------------------+

Câu hỏi thường gặp

1. Yêu cầu phần cứng tối thiểu để triển khai lại hệ thống này là gì?

Cần kit phát triển Avnet Ultra96-V2 (hoặc kit bất kỳ sử dụng chip Zynq UltraScale+ ZU3EG/ZU2CG), thẻ nhớ MicroSD Class 10 (dung lượng tối thiểu 16GB), webcam chuẩn USB UVC hỗ trợ định dạng YUYV/MJPEG và nguồn adapter $12\text{V} - 2\text{A}$ ổn định.

2. Giới hạn khả năng mở rộng (Scalability) của thiết kế nằm ở đâu?

Tài nguyên LUT trên chip ZU3EG đã sử dụng $81.67%$, do đó để triển khai các mô hình CNN phức tạp hơn (như ResNet-50 hay Full YOLO), cần áp dụng kỹ thuật lượng tử hóa INT8 hoặc nâng cấp lên dòng chip ZU4EV/ZU5EV có dung lượng LUT và DSP lớn hơn.

3. Làm thế nào để tích hợp hệ thống với các phần mềm quản lý camera (VMS) hiện có?

Hệ thống sử dụng pipeline GStreamer trên nền PetaLinux hỗ trợ xuất luồng chuẩn RTSP (Real-Time Streaming Protocol) hoặc HTTP MJPEG Stream, giúp kết nối trực tiếp vào các phần mềm giám sát tiêu chuẩn như Shinobi, ZoneMinder hoặc Milestone VMS.

4. Chi phí ước tính và thời gian thu hồi vốn (ROI) khi ứng dụng trong công nghiệp?

Chi phí phần cứng cho một bo mạch Ultra96-V2 và phụ kiện dao động khoảng 250 - 300 USD. So với việc lắp đặt một máy tính công nghiệp trang bị card GPU rời (chi phí từ 1000 - 1500 USD kèm chi phí tiền điện vận hành 24/7), giải pháp này giúp doanh nghiệp tiết kiệm hơn $70%$ chi phí đầu tư thiết bị và đạt điểm hòa vốn trong vòng 6 - 9 tháng vận hành.

5. Hệ thống xử lý vấn đề quá nhiệt (Thermal Throttling) như thế nào?

Tổng công suất tiêu thụ trên chip chỉ ở mức 4.101W, kết hợp cùng đế tản nhiệt thụ động hoặc quạt tản nhiệt $5\text{V}$ tiêu chuẩn của Ultra96-V2, nhiệt độ chip duy trì an toàn dưới $55^\circ\text{C}$ khi hoạt động liên tục trong môi trường phòng.

Kết luận

Đồ án tốt nghiệp "Ứng dụng MobileNetV2 trên Ultra96-V2 cho Smart Camera" của nhóm sinh viên Lê Huy Hoàng và Tô Quốc Nguyễn đã hiện thực hóa thành công một hệ thống camera thông minh hoàn chỉnh tại biên, kết hợp hài hòa giữa hệ điều hành nhúng PetaLinux và phần cứng tăng tốc AI trên FPGA Zynq UltraScale+ MPSoC.

Những kết quả nổi bật bao gồm việc tổng hợp thành công IP MobileNetV2 đạt tần số gần $170\text{ MHz}$, sử dụng tối ưu $73%$ DSP và $81%$ LUT, tiêu thụ công suất cực thấp chỉ $4.101\text{W}$, cùng khả năng truyền luồng trực tiếp qua mạng không dây ổn định. Công trình không chỉ là tài liệu học thuật và kỹ thuật giá trị cho sinh viên chuyên ngành Kỹ thuật Máy tính mà còn mở ra hướng đi đầy triển vọng trong việc thương mại hóa các dòng sản phẩm Smart Camera nội địa hiệu năng cao, bảo mật và tiết kiệm năng lượng.