Hệ Thống Phát Hiện và Theo Dõi Người Trên SOC-FPGA

Luận văn tốt nghiệp kỹ thuật nghiên cứu tốt nghiệp kỹ thuật máy tính hệ thống phát hiện theo dõi người trên soc fpga, điều tra thực trạng, phân tích số liệu, đề xuất biện pháp cải

• Tác giả: Le Ngoc Long
• Người hướng dẫn: ThS. Ngo Hieu Truong
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Kỹ thuật máy tính
• Đề tài: Hệ Thống Phát Hiện và Theo Dõi Người Trên SOC-FPGA
• Loại tài liệu: Khóa luận
• Năm xuất bản: 2024
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• MỞ ĐẦU
• 1. CHƯƠNG 1: GIỚI THIỆU TỔNG QUAN ĐỀ TÀI
• 1.1. Các nghiên cứu liên quan
• 1.2. Mục tiêu của đề tài
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Kria KV260 Vision AI Starter Kit
• 2.2. Deep-learning Processing Unit
• 2.3. Mạng nơ-ron tích chập (Convolutional Neural Network - CNN)
• 2.4. Lớp tích chập
• 2.5. Hàm kích hoạt
• 2.6. Qui trình
• 3. CHƯƠNG 3: PHƯƠNG PHÁP ĐỀ XUẤT VÀ QUÁ TRÌNH HIỆN THỰC ĐỀ TÀI
• 3.1. Phương pháp đề xuất
• 3.2. Mô hình đề xuất
• 3.3. Tập dữ liệu huấn luyện và tăng cường dữ liệu
• 3.4. Vitis Video Analytics SDK
• 3.5. Hiện thực và hoàn thiện đề tài
• 3.5.1. Chuyển đổi mô hình sang TensorFlow
• 3.5.2. Lượng tử hóa mô hình
• 3.5.3. Biên dịch mô hình và hiện thực xuống Kria KV260
• 3.5.4. Gửi dữ liệu lên máy chủ
• 3.6. Siamese Network và thuật toán tương đồng
• 3.6.1. Kết quả huấn luyện trên phần mềm
• 3.6.2. Mô hình YOLOv3-Tiny
• 3.6.3. Mô hình Siamese Network
• 3.6.4. Kết quả hiện thực trên Kria KV260
• 4. CHƯƠNG 4: KẾT QUẢ
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN TIẾP THEO
• 5.1. Những khó khăn gặp phải
• 5.2. Hướng phát triển tiếp theo
• DANH MỤC HÌNH
• DANH MỤC BẢNG
• DANH MỤC TỪ VIẾT TẮT

Tóm tắt

I. Giới thiệu tổng quan về Hệ Thống Phát Hiện và Theo Dõi Người Trên SOC FPGA

Hệ thống phát hiện và theo dõi người trên SOC-FPGA đang trở thành một trong những giải pháp tiên tiến trong lĩnh vực giám sát an ninh. Với sự phát triển của công nghệ FPGA và các mô hình học sâu, hệ thống này không chỉ giúp nâng cao độ chính xác trong việc nhận diện mà còn tối ưu hóa hiệu suất xử lý. Việc tích hợp các công nghệ mới vào hệ thống giúp giải quyết nhiều vấn đề trong việc theo dõi và quản lý an ninh.

1.1. Tổng quan về công nghệ SOC FPGA trong giám sát

Công nghệ SOC-FPGA cho phép tích hợp nhiều chức năng trong một thiết bị duy nhất, giúp giảm thiểu chi phí và tăng hiệu suất. Hệ thống này có khả năng xử lý dữ liệu video từ nhiều nguồn khác nhau, mang lại giải pháp giám sát hiệu quả.

1.2. Lợi ích của việc phát hiện và theo dõi người

Việc phát hiện và theo dõi người giúp nâng cao an ninh, giảm thiểu rủi ro và tăng cường khả năng phản ứng nhanh chóng trong các tình huống khẩn cấp. Hệ thống này còn hỗ trợ trong việc phân tích hành vi và quản lý đám đông.

II. Vấn đề và thách thức trong phát hiện người trên SOC FPGA

Mặc dù hệ thống phát hiện và theo dõi người trên SOC-FPGA mang lại nhiều lợi ích, nhưng vẫn tồn tại một số thách thức lớn. Các vấn đề như độ chính xác trong điều kiện ánh sáng khác nhau, sự đa dạng của đối tượng và tốc độ xử lý là những yếu tố cần được giải quyết.

2.1. Độ chính xác trong điều kiện thực tế

Độ chính xác của hệ thống phụ thuộc vào nhiều yếu tố như ánh sáng, góc quay và sự hiện diện của nhiều người. Việc cải thiện độ chính xác trong các điều kiện này là một thách thức lớn.

2.2. Tốc độ xử lý và hiệu suất hệ thống

Hệ thống cần có khả năng xử lý nhanh chóng để đáp ứng yêu cầu giám sát thời gian thực. Việc tối ưu hóa hiệu suất trên SOC-FPGA là điều cần thiết để đảm bảo hệ thống hoạt động hiệu quả.

III. Phương pháp phát hiện và theo dõi người trên SOC FPGA

Để giải quyết các thách thức trong việc phát hiện và theo dõi người, nhiều phương pháp đã được đề xuất. Các mô hình học sâu như YOLO và SSD được sử dụng để cải thiện độ chính xác và tốc độ xử lý của hệ thống.

3.1. Sử dụng mô hình YOLO cho phát hiện người

Mô hình YOLO (You Only Look Once) cho phép phát hiện đối tượng trong thời gian thực với độ chính xác cao. Việc áp dụng YOLO trên SOC-FPGA giúp tối ưu hóa hiệu suất và giảm thiểu độ trễ.

3.2. Ứng dụng SSD trong theo dõi người

Mô hình SSD (Single Shot MultiBox Detector) cung cấp khả năng phát hiện đối tượng nhanh chóng và hiệu quả. Việc kết hợp SSD với SOC-FPGA giúp cải thiện khả năng theo dõi trong các tình huống phức tạp.

IV. Ứng dụng thực tiễn của hệ thống phát hiện và theo dõi người

Hệ thống phát hiện và theo dõi người trên SOC-FPGA đã được áp dụng trong nhiều lĩnh vực khác nhau, từ an ninh công cộng đến quản lý giao thông. Những ứng dụng này không chỉ giúp nâng cao hiệu quả giám sát mà còn tiết kiệm chi phí.

4.1. Ứng dụng trong an ninh công cộng

Hệ thống giám sát an ninh công cộng sử dụng công nghệ SOC-FPGA giúp phát hiện và theo dõi người trong các khu vực đông đúc, từ đó nâng cao an ninh và giảm thiểu tội phạm.

4.2. Quản lý giao thông thông minh

Hệ thống phát hiện người có thể được áp dụng trong quản lý giao thông, giúp theo dõi và điều phối lưu lượng giao thông một cách hiệu quả, giảm thiểu ùn tắc và tai nạn.

V. Kết luận và hướng phát triển tương lai của hệ thống

Hệ thống phát hiện và theo dõi người trên SOC-FPGA đã chứng minh được tính khả thi và hiệu quả trong nhiều ứng dụng thực tiễn. Tuy nhiên, vẫn còn nhiều cơ hội để cải tiến và phát triển hệ thống trong tương lai.

5.1. Đánh giá hiệu suất và cải tiến

Việc đánh giá hiệu suất của hệ thống là cần thiết để xác định các điểm yếu và cải tiến. Các nghiên cứu tiếp theo có thể tập trung vào việc tối ưu hóa thuật toán và phần cứng.

5.2. Hướng phát triển công nghệ mới

Công nghệ mới như trí tuệ nhân tạo và học máy có thể được tích hợp vào hệ thống để nâng cao khả năng phát hiện và theo dõi, mở ra nhiều cơ hội ứng dụng trong tương lai.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh chuyển đổi số và tự động hóa giám sát an ninh, các giải pháp phân tích video thông minh đang dần thay thế phương thức giám sát truyền thống vốn đòi hỏi nhân sự túc trực liên tục trước màn hình quan sát. Khi triển khai các hệ thống giám sát quy mô lớn cần xử lý đồng thời luồng video từ nhiều camera ở các góc quay khác nhau, thách thức lớn đặt ra là hệ thống phải đảm bảo tốc độ xử lý nhanh, đáp ứng thời gian thực trong điều kiện ánh sáng thay đổi, nhiễu hình ảnh và đối tượng di chuyển phức tạp. Mặc dù các mạng nơ-ron tích chập (Convolutional Neural Networks - CNNs) mang lại khả năng trích xuất đặc trưng và nhận diện chính xác, việc thực thi các mô hình học sâu này thường đòi hỏi chi phí tính toán cao, tiêu thụ nhiều năng lượng và tỏa nhiệt lớn, phụ thuộc vào các hạ tầng máy chủ hoặc GPU đắt đỏ.

Để giải quyết bài toán cân bằng giữa hiệu năng tính toán, độ trễ và mức tiêu thụ năng lượng tại biên, đề tài tập trung vào việc nghiên cứu, thiết kế và hiện thực hóa hệ thống phát hiện và theo dõi người trên nền tảng phần cứng SoC-FPGA Kria KV260 Vision AI Starter Kit thông qua bộ xử lý học sâu chuyên dụng Deep-learning Processing Unit (DPU). Khóa luận xác định 3 mục tiêu nghiên cứu cụ thể:

1. Lựa chọn, huấn luyện và lượng tử hóa mô hình máy học có kích thước nhẹ, phù hợp để triển khai lên DPU của Kria KV260 Vision AI Starter Kit với tập dữ liệu tùy chỉnh bao quát các trường hợp về góc quay, ánh sáng, thời tiết và tư thế người đa dạng, đạt mục tiêu độ chính xác (accuracy) $\ge 90%$.
2. Biên dịch mô hình và hiện thực xuống Kria KV260, đánh giá hiệu suất mô hình trên KV260 so với trên phần mềm; tối ưu hóa hiệu suất bằng công nghệ của Xilinx và các thư viện mã nguồn mở; gửi khung hình và thông tin khung bao (bounding box) của đối tượng lên máy chủ để thiết lập cơ sở dữ liệu sau quá trình xử lý tại KV260.
3. Sử dụng giải thuật tương đồng (Siamese Network) để định danh từng người và phân loại cơ sở dữ liệu; thiết kế giao diện web cơ bản bằng HTML phục vụ việc theo dõi và quản lý của người dùng.

Đối tượng nghiên cứu của đề tài là luồng dữ liệu video giám sát người từ các camera IP truyền qua giao thức RTSP, các mô hình học sâu nhận diện đối tượng (YOLOv3-Tiny), mô hình so khớp tương đồng (Siamese Network) và kiến trúc phần cứng nhúng trên nền tảng Zynq UltraScale+ MPSoC. Phạm vi nghiên cứu tập trung vào việc xử lý đồng thời 2 luồng camera IP trên bo mạch Kria KV260 kết nối với máy chủ quản lý dữ liệu qua mạng cục bộ (TCP).

---

Cơ sở lý thuyết và phương pháp

Khóa luận xây dựng trên nền tảng lý thuyết mạng nơ-ron tích chập (CNN), kiến trúc phát hiện đối tượng một giai đoạn YOLO (You Only Look Once), mạng so khớp Siamese Network và các công nghệ tăng tốc phần cứng của AMD/Xilinx:

• Kiến trúc CNN và mô hình phát hiện đối tượng: Mạng CNN sử dụng các lớp tích chập (Convolutional Layer) với các bộ lọc (filter/kernel), tham số bước nhảy (stride), kỹ thuật đệm (padding) để trích xuất bản đồ đặc trưng (feature map); lớp gộp (Pooling Layer) giúp giảm chiều dữ liệu và ngăn ngừa quá khớp; các hàm kích hoạt phi tuyến tính giúp mạng học các quan hệ phức tạp. Mô hình YOLO chia khung hình thành lưới $S \times S$, dự đoán trực tiếp tọa độ hộp giới hạn (bounding box), điểm tin cậy (confidence score) và xác suất lớp đối tượng trong một lượt suy luận duy nhất, kết hợp thuật toán triệt tiêu phi cực đại (Non-Maximum Suppression - NMS) để loại bỏ các hộp trùng lặp.
• Nền tảng phần cứng SoC-FPGA và DPU: Bo mạch Kria KV260 Vision AI Starter Kit xây dựng trên nền tảng Xilinx Zynq UltraScale+ MPSoC, tích hợp hệ thống xử lý (PS) gồm vi xử lý ARM Cortex-A53, ARM Cortex-R5 cùng logic khả trình (PL). Thành phần trung tâm là nhân DPU (Deep-learning Processing Unit, cụ thể là phiên bản DPUCZDX8G), một động cơ tính toán phần cứng có thể cấu hình, tối ưu hóa riêng cho các phép toán tích chập dựa trên các khối phần cứng DSP, BRAM, UltraRAM, LUTs và Flip-Flops.
• Framework đa phương tiện và SDK phần mềm: Hệ thống ứng dụng framework GStreamer với cấu trúc pipeline, elements, pads, caps và bins để quản lý luồng dữ liệu truyền thông đa phương tiện. Bộ công cụ Vitis Video Analytics SDK (VVAS) cung cấp các plugin GStreamer chuyên dụng (vvas_xmultisrc, vvas_xfilter) kết nối trực tiếp với nhân tăng tốc phần cứng VCU (Video Codec Unit), Multiscaler và DPU. Bộ công cụ Vitis AI (bao gồm Vitis AI Quantizer, Vitis AI Compiler, Vitis AI Runtime - VART) chịu trách nhiệm tối ưu hóa và thực thi mô hình trên phần cứng.
• Phương pháp nghiên cứu thực nghiệm và thu thập dữ liệu: Đề tài sử dụng phương pháp thực nghiệm kết hợp thiết kế đồng bộ phần cứng - phần mềm (Hardware/Software Co-design). Dữ liệu huấn luyện được trích xuất và lọc đối tượng người từ các tập dữ liệu chuẩn bao gồm Common Objects in Context (COCO), Pascal Visual Object Classes (VOC) và Pedestrian Detection Dataset. Tập dữ liệu gốc gồm 9.536 ảnh, sau đó được áp dụng kỹ thuật tăng cường dữ liệu tự động qua nền tảng Roboflow bằng cách kéo biến dạng hình học (kéo ngang hệ số $10^\circ$, kéo dọc hệ số $30^\circ$) và xoay ảnh (hệ số xoay $20^\circ$).

Thông số tập dữ liệu	Số lượng ảnh
Tập dữ liệu gốc ban đầu	9.536
Tập dữ liệu sau khi tăng cường (Total)	28.608
Tập dữ liệu huấn luyện (Train set)	26.108
Tập dữ liệu kiểm định (Validation set)	2.500

---

Thiết kế và triển khai hệ thống

Hệ thống được thiết kế theo cấu trúc phân tầng kết hợp giữa thiết bị biên SoC-FPGA (Kria KV260) và máy chủ quản trị trung tâm (Server):

Kiến trúc phần cứng và Pipeline xử lý tại thiết bị biên (Kria KV260)

Kiến trúc mức cao của hệ thống tại Kria KV260 gồm 4 pipeline chính:

1. Capture/Input Pipeline: Thu nhận các luồng video mã hóa H.264 độ phân giải 1080p từ 2 camera IP thông qua giao thức truyền phát thời gian thực RTSP (rtspsrc).
2. Video Processing Pipeline: Sử dụng khối phần cứng VCU (Video Codec Unit) tích hợp sẵn trên Zynq UltraScale+ MPSoC để giải mã luồng H.264 sang định dạng điểm ảnh NV12 nhằm giảm tải hoàn toàn cho CPU ARM.
3. Accelerator Pipeline: Thực hiện xử lý theo 2 giai đoạn:
   • Tiền xử lý (Preprocessing): Sử dụng plugin vvas_xmultisrc cấu hình cho khối IP gia tốc phần cứng Multiscaler để chuyển đổi không gian màu từ NV12 sang BGR và thay đổi kích thước khung hình về chuẩn $416 \times 416$.
   • Suy luận học sâu (Inference): Sử dụng plugin vvas_xfilter giao tiếp qua thư viện Vitis AI Runtime (VART) để nạp mô hình vào nhân DPUCZDX8G, thực hiện phát hiện đối tượng người bằng mô hình YOLOv3-Tiny.
4. Display/Output & Communication Pipeline: Khối Draw vẽ bounding box lên khung hình xuất ra màn hình qua cổng HDMI; đồng thời khối ImaBbox Sender đóng gói ảnh khung hình cùng tọa độ bounding box gửi về máy chủ qua kết nối mạng TCP.

Chuỗi công cụ chuyển đổi, lượng tử hóa và biên dịch mô hình

Do công cụ Vitis AI không hỗ trợ trực tiếp framework Darknet, quy trình đóng gói mô hình được thực hiện qua các bước chuẩn hóa:

• Huấn luyện: Huấn luyện mô hình YOLOv3-Tiny trên nền tảng Google Colab sử dụng framework Darknet, xuất ra các tệp trọng số *.weights và cấu hình *.cfg.
• Chuyển đổi: Sử dụng công cụ chuyển đổi để ánh xạ cấu trúc mạng và trọng số từ Darknet sang dạng đồ thị đóng băng TensorFlow (Frozen_graph.pb).
• Lượng tử hóa (Quantization): Sử dụng Vitis AI Quantizer thực hiện kỹ thuật lượng tử hóa sau huấn luyện (Post Training Quantization - PTQ), chuyển đổi các trọng số từ dấu phẩy động 32-bit (FP32) sang số nguyên 8-bit (INT8). Nhằm hạn chế suy giảm độ chính xác, quy trình tích hợp:
  • Thuật toán cân bằng chéo (Cross-Layer Equalization - CLE): Tự động điều chỉnh tỷ lệ trọng số giữa các lớp liên tiếp để cân bằng dải giá trị, giảm thiểu biến động lớn.
  • Thuật toán AdaQuant: Tự động tối ưu hóa và hiệu chỉnh các tham số lượng tử hóa cho từng lớp dựa trên tập dữ liệu hiệu chuẩn (calibration dataset gồm 100–1000 ảnh không nhãn).
• Biên dịch (Compilation): Ánh xạ mô hình qua cấu trúc biểu diễn trung gian AMD Intermediate Representation (XIR) gồm xir::Graph, xir::Op, xir::Tensor, và xir::Subgraph. Trình biên dịch Vitis AI Compiler áp dụng các tối ưu hóa hướng kiến trúc (Architecture-aware optimizations), gộp toán tử Batch Normalization vào phép tích chập và tạo luồng vi lệnh đóng gói thành tệp *.xmodel thực thi trực tiếp trên DPU.

Kiến trúc xử lý và định danh tại máy chủ (Server)

Máy chủ tiếp nhận luồng dữ liệu qua khối Receiver, sau đó chuyển tiếp qua các khối xử lý phần mềm:

• Khối Crop Image: Cắt các vùng ảnh chứa người dựa trên tọa độ bounding box nhận được từ KV260.
• Khối Siamese Network: Trích xuất vector đặc trưng từ ảnh cắt và so sánh độ tương đồng với các vector ảnh mẫu lưu trữ trong cơ sở dữ liệu.
• Khối Database & Web Interface: Cập nhật ID, trạng thái của từng người theo thời gian thực và hiển thị kết quả giám sát lên giao diện web HTML.

---

Nội dung chính theo từng chương

Chương 1. Giới thiệu tổng quan đề tài

Chương này phân tích bối cảnh an ninh giám sát hiện đại, chỉ ra sự cần thiết của hệ thống phân tích video thông minh tự động thay thế con người. Tác giả tiến hành tổng quan và phân tích các công trình nghiên cứu liên quan về mô hình học sâu:

• Mô hình YOLOv3 cải tiến với cấu trúc Darknet Residual và Spatial Pyramid Pooling (SPP) đạt độ chính xác 79,54% trên tập dữ liệu VOC.
• Mô hình YOLOv4-Tiny ứng dụng theo dõi người đi bộ trong đám đông trên tập UCSD Pedestrian đạt mAP 73% (cao hơn 4% so với YOLOv3 và 10% so với YOLOv2).
• Mô hình SSD cải tiến dựa trên thông tin ngữ cảnh và cấu trúc Pre-selection boxes trên tập INRIA đạt tỷ lệ sai số (missing rate) 9,8% (cải thiện 2,3% so với SSD tiêu chuẩn).
• Kiến trúc mạng YOLO-R bổ sung 3 lớp Passthrough (Route và Reorg layer) trên tập INRIA đạt tốc độ nhận diện 25 fps với độ mất mát trung bình bằng 0.

Từ việc đánh giá các công trình trước, chương 1 xác lập tính cấp thiết của việc khai thác DPU trên phần cứng Kria KV260 và đề ra 3 mục tiêu nghiên cứu cụ thể của khóa luận.

Chương 2. Cơ sở lý thuyết

Chương 2 trình bày toàn diện các nền tảng lý thuyết và công nghệ được sử dụng trong đề tài:

• Kria KV260 Vision AI Starter Kit: Cấu trúc phần cứng nền tảng Zynq UltraScale+ MPSoC (APU Cortex-A53, RPU Cortex-R5, logic khả trình PL) cùng các cổng kết nối ngoại vi (Micro-USB, UART/JTAG, MicroSD, Ethernet, HDMI, MIPI CSI-2).
• Động cơ tính toán DPU: Phân tích kiến trúc nhân DPUCZDX8G gồm Scheduler hiệu suất cao, mảng tính toán lai (Hybrid Computing Array), bộ nạp lệnh (Instruction Fetch Unit), bộ nhớ đệm On-chip (BRAM/UltraRAM) và bộ điều khiển giao tiếp bộ nhớ ngoài DDR; tổng hợp bảng phân loại các dòng DPU của Xilinx (DPUCZDX8G cho Zynq UltraScale+, DPUCVDX8G/DPUCVDX8H/DPUCV2DX8G cho dòng Versal).
• Mạng nơ-ron tích chập (CNN) & YOLO: Cơ chế toán học của phép tích chập 2D, kích thước bộ lọc (3x3, 5x5, 7x7), bước nhảy stride, lớp đệm padding, các lớp Pooling giảm chiều không gian và vai trò phi tuyến của hàm kích hoạt; phương pháp luận phân vùng ảnh $S \times S$ và hàm mất mát của YOLO.
• Framework GStreamer: Phân tích cấu trúc đường ống dữ liệu (pipeline), các phần tử (elements: source, decoder, filter, sink), cổng kết nối (pads), khả năng thương lượng định dạng dữ liệu (caps), cấu trúc chứa (bins) và phân loại 4 nhóm plugin (gst-plugins-base, good, ugly, bad).

Chương 3. Phương pháp đề xuất và quá trình hiện thực đề tài

Chương 3 trình bày chi tiết giải pháp kỹ thuật và quy trình thực nghiệm:

• Lựa chọn mô hình YOLOv3-Tiny kích thước đầu vào $416 \times 416$ (chuẩn tương thích tối ưu của DPU Xilinx); quy trình lọc và tăng cường tập dữ liệu lên 28.608 ảnh qua Roboflow.
• Khảo sát hệ sinh thái AMD Vitis AI (Model Zoo, Inspector, Optimizer, Quantizer, Compiler, VART, Profiler) và Vitis Video Analytics SDK (VVAS).
• Quy trình chuyển đổi mô hình từ Darknet sang TensorFlow; áp dụng Vitis AI Quantizer với 2 thuật toán CLE và AdaQuant trên tập hiệu chuẩn 1000 ảnh để chuyển đổi mô hình sang định dạng INT8.
• Quy trình biên dịch đồ thị XIR thành tệp thực thi *.xmodel tương thích kiến trúc DPUCZDX8G.
• Thiết lập môi trường nhúng Kria Ubuntu Desktop 22.04 LTS, triển khai Docker container, cấu hình pipeline GStreamer tích hợp plugin vvas_xmultisrc và vvas_xfilter, xây dựng giao thức gửi dữ liệu TCP lên máy chủ và áp dụng mạng Siamese để định danh, quản lý cơ sở dữ liệu.

Chương 4. Kết quả và đánh giá

Chương 4 tổng hợp các kết quả thực nghiệm và đánh giá hệ thống:

• Kết quả huấn luyện mô hình YOLOv3-Tiny trên phần mềm đạt chỉ số mAP 93% trên tập dữ liệu tùy chỉnh.
• Kết quả lượng tử hóa INT8 qua công cụ Vitis AI Quantizer với sự hỗ trợ của thuật toán CLE và AdaQuant duy trì được độ chính xác AP đạt mức 91,x% (đáp ứng tiêu chí ban đầu đặt ra $\ge 90%$).
• Kết quả thực thi thực tế trên bo mạch Kria KV260: đánh giá độ tin cậy khi nhận diện, tốc độ khung hình (FPS), mức độ sử dụng tài nguyên phần cứng logic (LUTs, Flip-Flops, BRAM, DSP), công suất tiêu thụ điện năng và nhiệt độ hoạt động ổn định của chip SoC.
• Đánh giá khả năng định danh và theo dõi đối tượng của mạng Siamese trên máy chủ, xác minh tính ổn định của luồng dữ liệu truyền qua TCP từ 2 camera IP.

Chương 5. Kết luận và hướng phát triển tiếp theo

Chương này tổng kết toàn bộ các kết quả đạt được đối chiếu với 3 mục tiêu ban đầu; đồng thời chỉ ra các khó khăn kỹ thuật gặp phải và đề xuất các định hướng mở rộng hệ thống trong tương lai.

---

Kết quả và đóng góp

Kết quả thực nghiệm chính

Hạng mục / Chỉ số	Giá trị trong nghiên cứu	Ghi chú kỹ thuật
Kích thước đầu vào mô hình	$416 \times 416$ pixel	Chuẩn tối ưu hóa cho DPU của Xilinx
Quy mô tập dữ liệu huấn luyện	28.608 ảnh	26.108 ảnh train, 2.500 ảnh validation
Độ chính xác mô hình phần mềm	$\text{mAP} = 93%$	Huấn luyện trên Colab (Darknet/TensorFlow)
Độ chính xác sau lượng tử hóa	$\text{AP} \approx 91%$ ($\ge 90%$)	Định dạng INT8 qua Vitis AI (CLE + AdaQuant)
Nền tảng phần cứng biên	Kria KV260 Starter Kit	SoC Zynq UltraScale+, nhân DPUCZDX8G
Phần cứng giải mã & tiền xử lý	VCU + Multiscaler IP	Giải mã H.264 1080p, đổi màu NV12 sang BGR
Hệ điều hành & Môi trường chạy	Kria Ubuntu 22.04 LTS	VVAS SDK, GStreamer, VART, Docker
Số lượng camera xử lý đồng thời	2 Camera IP	Luồng truyền RTSP, truyền dữ liệu qua TCP

Đóng góp của đề tài

• Xây dựng thành công chuỗi công cụ (toolchain) hoàn chỉnh từ khâu chuẩn bị dữ liệu, huấn luyện, chuyển đổi mô hình đa framework (Darknet $\rightarrow$ TensorFlow), lượng tử hóa INT8 bảo toàn độ chính xác (sử dụng CLE và AdaQuant) đến biên dịch và thực thi trên nhân DPU của FPGA.
• Thiết kế kiến trúc phần cứng lai (HW/SW pipeline) tối ưu trên SoC-FPGA, tận dụng tối đa các khối IP phần cứng chuyên dụng (VCU để giải mã video, Multiscaler để tiền xử lý hình ảnh và DPU để suy luận AI), giúp giảm tải hoàn toàn cho CPU và đảm bảo hiệu suất xử lý thời gian thực mà không cần GPU rời.
• Hiện thực hóa hệ thống phân tán biên - máy chủ: xử lý phát hiện đối tượng cục bộ tại KV260 và truyền dữ liệu bounding box/khung hình về máy chủ để định danh lại đối tượng (Re-ID) qua mạng Siamese Network kết hợp giao diện theo dõi HTML.

---

Hạn chế và hướng nghiên cứu tiếp

Những khó khăn và hạn chế

• Chuyển đổi chuỗi công cụ: Vitis AI không hỗ trợ trực tiếp framework Darknet, đòi hỏi quy trình chuyển đổi trung gian phức tạp sang TensorFlow trước khi lượng tử hóa, đòi hỏi kiểm soát chặt chẽ tính toàn vẹn của trọng số.
• Tài nguyên và băng thông: Việc xử lý đồng thời nhiều luồng video độ phân giải cao đòi hỏi cân bằng tối ưu giữa băng thông bộ nhớ DDR ngoài, dung lượng bộ nhớ đệm On-chip (BRAM/UltraRAM) và khả năng lập lịch của DPU.
• Độ phức tạp trong theo dõi: Mạng Siamese trên máy chủ vẫn đối mặt với thách thức khi nhận diện đối tượng trong điều kiện người bị che khuất một phần hoặc thay đổi góc quan sát lớn giữa các camera.

Hướng phát triển tiếp theo

• Mở rộng hệ thống để tiếp nhận và xử lý đồng thời nhiều hơn 2 luồng camera IP trên cùng một nền tảng phần cứng.
• Nâng cấp các phiên bản mô hình phát hiện đối tượng và kiến trúc mạng trích xuất đặc trưng định danh (Re-ID) có độ chính xác cao hơn.
• Tối ưu hóa sâu hơn các kernel phần cứng tùy biến trên FPGA để tăng tốc toàn bộ pipeline từ tiền xử lý đến hậu xử lý.
• Nâng cấp giao diện người dùng web, bổ sung các tính năng quản trị và cảnh báo tự động.

---

Giá trị tham khảo

Tài liệu khóa luận này mang lại giá trị tham khảo thực tiễn cao cho:

• Sinh viên và kỹ sư ngành Kỹ thuật Máy tính, Hệ thống nhúng, Khoa học Máy tính, Điện tử - Viễn thông: Là tài liệu tham khảo chi tiết về quy trình triển khai mạng nơ-ron tích chập lên nền tảng phần cứng SoC-FPGA của AMD/Xilinx.
• Nhà phát triển ứng dụng Edge AI và Thị giác máy tính: Cung cấp hướng dẫn cụ thể về việc xây dựng pipeline phân tích video thời gian thực sử dụng framework GStreamer kết hợp bộ công cụ Vitis Video Analytics SDK (VVAS).
• Các nghiên cứu về tối ưu hóa mô hình: Phần phương pháp lượng tử hóa sau huấn luyện (PTQ) sử dụng thuật toán Cân bằng chéo (Cross-Layer Equalization - CLE) và thuật toán điều chỉnh thích ứng AdaQuant trong Vitis AI Quantizer là tài liệu tham khảo giá trị cho các bài toán nén mô hình từ FP32 xuống INT8.

---

Câu hỏi thường gặp

1. Khóa luận lựa chọn mô hình học sâu nào cho tác vụ phát hiện người và kích thước đầu vào được thiết lập là bao nhiêu?
Khóa luận lựa chọn mô hình YOLOv3-Tiny với kích thước ảnh đầu vào là $416 \times 416$ pixel. Đây là kích thước chuẩn được Xilinx đề xuất nhằm tối ưu hóa tốc độ suy luận và mức độ song song hóa trên nhân DPU của bo mạch Kria KV260.

2. Kỹ thuật lượng tử hóa mô hình sang số nguyên 8-bit (INT8) sử dụng các thuật toán bổ trợ nào để không làm suy giảm nhiều độ chính xác?
Quá trình lượng tử hóa bằng công cụ Vitis AI Quantizer sử dụng kỹ thuật Lượng tử hóa sau huấn luyện (Post Training Quantization - PTQ) kết hợp 2 thuật toán: Thuật toán cân bằng chéo (Cross-Layer Equalization - CLE) để điều chỉnh dải giá trị trọng số giữa các lớp liên tiếp và thuật toán AdaQuant để tự động điều chỉnh, tối ưu hóa các tham số lượng tử hóa cho từng lớp dựa trên tập dữ liệu hiệu chuẩn.

3. Các khối IP phần cứng chuyên dụng nào trên Kria KV260 được sử dụng trong pipeline xử lý video?
Hệ thống sử dụng 3 khối IP phần cứng chính:

• VCU (Video Codec Unit): Giải nén luồng video H.264 từ camera IP sang định dạng NV12.
• Multiscaler IP: Thực hiện tiền xử lý chuyển đổi không gian màu sang BGR và thay đổi kích thước khung hình về $416 \times 416$.
• DPUCZDX8G (Deep-learning Processing Unit): Động cơ phần cứng chuyên dụng trên phần logic khả trình (PL) để thực thi suy luận mô hình YOLOv3-Tiny.

4. Tập dữ liệu huấn luyện được xây dựng và tăng cường như thế nào?
Dữ liệu được lọc đối tượng người từ các tập COCO, Pascal VOC và Pedestrian Detection Dataset thu được 9.536 ảnh gốc. Sau đó, nhóm sử dụng Roboflow để tăng cường dữ liệu tự động bằng các phép biến đổi: kéo ảnh ngang hệ số $10^\circ$, kéo ảnh dọc hệ số $30^\circ$ và xoay ảnh hệ số $20^\circ$, mở rộng tập dữ liệu lên 28.608 ảnh (gồm 26.108 ảnh huấn luyện và 2.500 ảnh kiểm định).

5. Cơ chế theo dõi và định danh lại đối tượng người giữa các camera được thực hiện ở đâu và bằng phương pháp gì?
Cơ chế theo dõi và định danh lại đối tượng được thực hiện trên máy chủ (Server). Sau khi KV260 phát hiện người và gửi ảnh khung hình cùng thông tin bounding box qua mạng TCP, máy chủ sẽ cắt ảnh đối tượng và đưa vào mạng Siamese Network để trích xuất đặc trưng, so sánh độ tương đồng và quản lý định danh (ID) trong cơ sở dữ liệu.

---

Kết luận

Khóa luận tốt nghiệp "Hệ thống phát hiện và theo dõi người trên SoC-FPGA" của nhóm tác giả Lê Ngọc Long và Phan Mạnh Khương đã hiện thực hóa thành công một giải pháp giám sát video thông minh hoàn chỉnh tại biên. Bằng việc kết hợp mô hình YOLOv3-Tiny lượng tử hóa INT8 (đạt độ chính xác $\ge 90%$) với nhân tăng tốc phần cứng DPUCZDX8G trên bo mạch Kria KV260, hệ thống đã giải quyết hiệu quả bài toán xử lý video thời gian thực từ 2 camera IP với mức tiêu thụ tài nguyên và năng lượng tối ưu. Nghiên cứu đã chứng minh tính khả thi và hiệu quả vượt trội của phương pháp đồng thiết kế phần cứng - phần mềm trên nền tảng SoC-FPGA, mở ra hướng ứng dụng thiết thực cho các hệ thống an ninh giám sát phân tán hiện đại.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu tổng quan đề tài Cung cấp cái nhìn tong quát về dé tai, các giải pháp nghiên cứu trước đây, và đánh giá điểm mạnh, điểm yếu của những giải pháp đó. Qua đó giúp định vị vấn đề và cơ sở lý luận của nghiên cứu. ¢ Chương 2: Cơ sở lý thuyết Tập trung các nên tảng lý thuyết áp dụng trong dé tài, bao gồm các mô hình học sâu và các công nghệ liên quan với các khái niệm, phương pháp và hình ảnh minh họa nhằm cung cấp kiến thức cơ bản và nền tảng cho việc hiểu và triển khai các phương pháp trong đề tài. e_ Chương 3: Phương pháp đề xuất và thực hiện đề tài Mô tả chỉ tiết mô hình đề xuất cho hệ thống phát hiện và theo dõi người.

Bao gồm lý do lựa chọn mô hình và các bước cụ thé dé hiện thực mô hình trên Kria KV260 Vision AI Starter Kit. Trình bày chỉ tiết quá trình hiện thực xuống KV260, cách thức lay luéng RTSP từ các IP Camera, lượng tử hóa, biên dich mô hình, chuyên đôi và gửi dữ liệu sau khi xử lý từ board lên máy chủ cũng như giải thuật tương đồng để nhận diện từng người. e Chương 4: Kết qua Tổng kết và đánh giá kết quả thực nghiệm của hệ thống. Kết quả khi huấn luyện trên Google Colab sẽ được soi sánh với kết quả khi triển khai trên Kria KV260 Vision AI Starter Kit.

Ngoài ra, chương này còn đánh giá hiệu suất hệ thống dựa trên các yếu tố như tài nguyên sử dụng, năng lượng tiêu thụ, và nhiệt độ hoạt động, qua đó chứng minh tính kha thi và hiệu quả của giải pháp. e _ Chương 5: Kết luận và hướng phát triển Đưa ra kết luận chung về những đóng góp của đề tài, đánh giá những việc đã làm và những thách thức còn tổn tại. Định hướng cho các nghiên cứu tiếp theo, đề xuât các cải tiên và mở rộng khả năng ứng dụng của hệ thông trong tương lai. Giới thiệu tổng quan đề tài 1.

Giới thiệu Trong bối cảnh tiến bộ nhanh chóng của trí tuệ nhân tạo, mạng nơ-ron tích chập (Convolutional Neural Networks - CNNs) đã trở thành công cụ cốt lõi cho nhiều ứng dụng nhận diện đối tượng, đặc biệt trong các hệ thống xử lý hình ảnh và video. Đề tài khóa luận này tập trung vào hiện thực hóa mạng nơ-ron tích chập trên nền tảng phần cứng KV260, nhằm phát triển một hệ thống nhận diện và theo dõi người theo một hướng tiếp cận mới. KV260 Vision AI Starter Kit, với kha năng tích hợp Deep-learning Processing Unit (DPU) cua Xilinx, mang dén tiém năng xử lý vượt trội cho các tac vụ học sâu. Đề tài này tận dụng sức mạnh của DPU dé triển khai và chạy CNN trực tiếp trên thiết bị, điều này không chỉ nâng cao khả năng xử lý các mô hình học sâu, mà còn giải quyết những hạn chế về tài nguyên và năng lượng mà các hệ thống truyền thong phải đối mặt.

KV260 cho phép tích hợp các mô hình AI trực tiếp vào quy trình xử lý, cung cấp khả năng nhận diện đối tượng nhanh chóng mà không cần đến các cơ sở hạ tầng máy chủ mạnh mẽ. Các thách thức của dự án bao gồm tối ưu hóa hiệu năng của CNN để hoạt động hiệu quả trên DPU, đồng thời duy trì độ chính xác cao trong nhận diện người khi thay đổi ánh sáng, góc quay, và sự hiện diện của nhiều người trong cùng một khung hình. Việc tối ưu này không những được thực hiện trên phần cứng của KV260 mà còn các điều chỉnh phần mềm ở máy chủ quản ly cơ sở dit liệu dé hệ thống có thể hoạt động én định. Các nghiên cứu liên quan Có nhiều mô hình phổ biến để tiếp cận đến hệ thống phát hiện người như YOLOv3 được tác giả [7] nghiên cứu và cải thiện mô hình YOLOv3 bằng cách sử dụng cấu trúc Darknet Residual kết hợp các đặc trưng nông và sâu trên các đặc trưng của quá trình mẫu hóa (sampling) dé có được lớp nhận diện đa quy mô (multi-scale 4 detection layer).

Theo cách này, một lớp tổng hợp của các kích thước khác nhau của thông tin vi trí mục tiêu và thông tin ngữ cảnh được trích xuất. Độ nhận diện chính xác (prediction accuracy) của đối tượng có kích thước khác nhau đã được cải thiện khi tăng số lượng multi-scale fusion layer lên. Đồng thời mô-đun Spatial Pyramid Pooling (SPP) sẽ được sử dụng dé dung hợp các đặc trưng đạt được ở các quy mô khác nhau để cải thiện độ nhận diện chính xác (detection accuracy). Kết quả khi sử dụng mô hình lên tập VOC dataset thì YOLOv3 đạt được 79.54% so với mô hình YOLOv3-Multi được tác giả cải tiến.

Trong một công trình [8], tác giả đã ứng dụng mô hình YOLOv4-Tiny vào hệ thống tự động theo dõi người đi bộ trong đám đông. Tác giả đã hiện thực mô hình trên phần mềm và so sánh với các mô hình YOLO khác đề so sánh hiệu suất của các mô hình. Sau khi huấn luyện các mô hình bằng tập đữ liệu UCSD Pedestrian và so sánh các mô hình thì thấy mAP của mô hình YOLOv4-Tiny là 73% lớn hơn 4% so với mô hình YOLOv3 và lớn hơn 10% so với mô hình YOLOv2. Ở một bài báo khác, tác giả Shu-an Liu và các cộng sự [9] nghiên cứu và tiếp cận việc nhận diện người qua việc ứng dụng mô hình SSD.

Sau khi tác giả khảo sát các mô hình và so sánh các mô hình thì thấy khi so sánh với mô hình Faster-RCNN thì thấy SSD có tốc độ tốt hơn và khi so sánh với mô hình YOLO thì thấy mô hình SSD có độ chính xác mAP lớn hơn đáng kể. Nhưng khi hiện thực nhận diện người thì độ chính xác của SSD lại không được tốt đặc biệt là những đối tượng nhỏ. Dé giải quyết việc đó tác giả đã cải thiện mô hình SSD dựa trên thông tin ngữ cảnh (context information) bằng cách trích xuất đặc trưng nông (shallow features) trong mạng SSD, hợp nhất các ý nghĩa của các đặc trưng trong lớp tích chập với ý nghĩa sâu của các đặc trưng và sau đó nhận diện kích thước của người đi bộ trong tam ảnh. Tinh năng Pre-selection boxes được thiết kế lại với kích thước khung hình khác nhau, cải thiện kết quả kiểm tra mô hình SSD vượt trội hơn so với mô hình SSD tiêu chuẩn.

Kết quả sau khi ứng dụng mô hình trên tập dataset INRIA cho thấy mô hình của tác giả có tỉ lệ sai số (missing rate) khi nhận diện là 9,8% cao hơn 2.3% so với mô hình SSD tiêu chuân. Trong một công trình khác, tác giả và các cộng sự [10] đã cải tiến kiến trúc mạng của mô hình YOLO và đề xuất kiến trúc mạng YOLO-R. Ba lớp Passthrough (bao gồm Route layer và Reorg layer) được thêm vào mô hình YOLO tiêu chuẩn. Vai trò của chúng là kết nối các đặc trưng của người đi bộ lớp nông với các đặc trưng của người đi bộ lớp sâu và liên kết độ phân giải lớn và bé đặc trưng của người đi bộ.

Công trình này còn thay đối số lớp của lớp Passthrough kết ni trong mô hình YOLO tiêu chuẩn từ layer 16 đến layer 12 đề tăng khả năng trích xuất thông tin của các đặc trưng nông. Mô hình cải thiện này được thử trên tập dataset INRIA, kết quả cho thay công trình nay cải thiện được độ nhận diện chính xác (detection accuracy) của người di bộ, giảm FDR (False Detection Rate) va MDR (Missed Detection Rate), tốc độ nhận diện là 25 fps và độ mat mát trung bình (Average Loss) là 0. Mục tiêu của dé tài Dé giải quyết bài toán nhận diện và theo dõi người được quay từ nhiêu camera khác nhau, trong khóa luận này, nhóm đưa ra 3 mục tiêu chính: 1. Lựa chọn, huấn luyện, lượng tử hóa mô hình máy học có kích thước nhẹ, phù hợp dé triển khai lên DPU của Kria KV260 Vision AI Starter Kit với tập dữ liệu tùy chỉnh với tiêu chí có thể bao quát cụ thể các trường hợp dựa vào góc quay, ánh sáng, thời tiết và tư thế người đa dạng, mục tiêu accuracy >= 90% 2.

Biên dịch mô hình và hiện thực xuống Kria KV260, đánh giá hiệu suất mô hình trên KV260 so với trên phần mềm. Tối ưu hiệu suất bằng các công nghệ từ Xilinx và các thư viện mã nguôn mở. Gửi các khung hình và thông tin bounding box của đối tượng lên máy chủ dé thiết lập cơ sở đữ liệu sau quá trình xử lý ở KV260. Sử dụng giải thuật tương đồng dé định danh từng người và phân loại cơ sở dữ liệu.

Cuối cùng sẽ là thiết kế một trang web cơ bản bằng HTML cho người dùng sử dụng. Kria KV260 Vision AI Starter Kit Kria KV260 Vision AI Starter Kit là một sản phẩm phan cứng đột phá được phát triển bởi Xilinx, dành riêng cho các ứng dụng trí tuệ nhân tạo (AI) và thị giác máy tính. Được tích hợp các tính năng tiên tiến và tích hợp chặt chẽ với các giải pháp phát triển ứng dụng, KV260 đem đến một nền tảng mạnh mẽ cho phép triển khai và thử nghiệm các ứng dụng AI một cách dễ dàng và nhanh chóng [11]. J4 Micro-USB J11 Connector UART/JTAG MicroSD DS1-DS6 Power Status LEDs TER J8 Ắ | IAS Connector SOM Module h with Fansinl‹ SW2 Reset Button gi cm oy SWT1 Firmware = Update Button mm.

J7 _ _—_" IAS Connec tor DS36 les oO = _ L—Ì Ệ PS Status LED J13 = Fan Power DS35 jo Heartbeat LED DS34 PS Done LED XaKTS0072221 Hình 2. Kria KV260 Vision AI Starter Kit Kria KV260 Vision AI Starter Kit được xây dựng trên nền tảng FPGA Xilinx Zynq UltraScale+, tích hợp nhiều khối phần cứng (Hình 2.1) và phần mềm dé hỗ trợ các tác vụ AI: + SoC (System on Chip): KV260 sử dụng Zynq UltraScale+ MPSoC, kết hop giữa các thành phần xử lý hệ thống như CPU ARM Cortex-A53, bộ xử lý thời gian thực ARM Cortex-R5, và các đơn vị xử ly FPGA có thé cấu hình lại. Kiến trúc SoC này mang lại sự linh hoạt và hiệu suất cao cho các ứng dụng AI. + Deep-learning Processing Unit (DPU): là thành phần chuyên biệt, tăng tốc các tác vụ học sâu với hiệu suất cao và tiêu thụ năng lượng thấp.

DPU giúp xử lý các mạng nơ-ron tích chập (CNN) và các mô hình học sâu khác hiệu quả. + Bộ nhớ: Hỗ trợ nhiều loại bộ nhớ bao gồm DDR4, LPDDR4, và bộ nhớ ngoài đề tối ưu hóa khả năng lưu trữ và truy cập dữ liệu trong các tác vụ học sâu và xử lý video. + Giao diện kết kối: Hỗ trợ nhiều giao diện kết nối như USB, Ethernet, HDMI, MIPI CSI-2, giúp dé dàng tích hợp với các thiết bị ngoại vi và cảm biến hình ảnh.