Chương 1: Giới thiệu tổng quan đề tài Cung cấp cái nhìn tong quát về dé tai, các giải pháp nghiên cứu trước đây, và đánh giá điểm mạnh, điểm yếu của những giải pháp đó. Qua đó giúp định vị vấn đề và cơ sở lý luận của nghiên cứu. ¢ Chương 2: Cơ sở lý thuyết Tập trung các nên tảng lý thuyết áp dụng trong dé tài, bao gồm các mô hình học sâu và các công nghệ liên quan với các khái niệm, phương pháp và hình ảnh minh họa nhằm cung cấp kiến thức cơ bản và nền tảng cho việc hiểu và triển khai các phương pháp trong đề tài. e_ Chương 3: Phương pháp đề xuất và thực hiện đề tài Mô tả chỉ tiết mô hình đề xuất cho hệ thống phát hiện và theo dõi người.
Bao gồm lý do lựa chọn mô hình và các bước cụ thé dé hiện thực mô hình trên Kria KV260 Vision AI Starter Kit. Trình bày chỉ tiết quá trình hiện thực xuống KV260, cách thức lay luéng RTSP từ các IP Camera, lượng tử hóa, biên dich mô hình, chuyên đôi và gửi dữ liệu sau khi xử lý từ board lên máy chủ cũng như giải thuật tương đồng để nhận diện từng người. e Chương 4: Kết qua Tổng kết và đánh giá kết quả thực nghiệm của hệ thống. Kết quả khi huấn luyện trên Google Colab sẽ được soi sánh với kết quả khi triển khai trên Kria KV260 Vision AI Starter Kit.
Ngoài ra, chương này còn đánh giá hiệu suất hệ thống dựa trên các yếu tố như tài nguyên sử dụng, năng lượng tiêu thụ, và nhiệt độ hoạt động, qua đó chứng minh tính kha thi và hiệu quả của giải pháp. e _ Chương 5: Kết luận và hướng phát triển Đưa ra kết luận chung về những đóng góp của đề tài, đánh giá những việc đã làm và những thách thức còn tổn tại. Định hướng cho các nghiên cứu tiếp theo, đề xuât các cải tiên và mở rộng khả năng ứng dụng của hệ thông trong tương lai. Giới thiệu tổng quan đề tài 1.
Giới thiệu Trong bối cảnh tiến bộ nhanh chóng của trí tuệ nhân tạo, mạng nơ-ron tích chập (Convolutional Neural Networks - CNNs) đã trở thành công cụ cốt lõi cho nhiều ứng dụng nhận diện đối tượng, đặc biệt trong các hệ thống xử lý hình ảnh và video. Đề tài khóa luận này tập trung vào hiện thực hóa mạng nơ-ron tích chập trên nền tảng phần cứng KV260, nhằm phát triển một hệ thống nhận diện và theo dõi người theo một hướng tiếp cận mới. KV260 Vision AI Starter Kit, với kha năng tích hợp Deep-learning Processing Unit (DPU) cua Xilinx, mang dén tiém năng xử lý vượt trội cho các tac vụ học sâu. Đề tài này tận dụng sức mạnh của DPU dé triển khai và chạy CNN trực tiếp trên thiết bị, điều này không chỉ nâng cao khả năng xử lý các mô hình học sâu, mà còn giải quyết những hạn chế về tài nguyên và năng lượng mà các hệ thống truyền thong phải đối mặt.
KV260 cho phép tích hợp các mô hình AI trực tiếp vào quy trình xử lý, cung cấp khả năng nhận diện đối tượng nhanh chóng mà không cần đến các cơ sở hạ tầng máy chủ mạnh mẽ. Các thách thức của dự án bao gồm tối ưu hóa hiệu năng của CNN để hoạt động hiệu quả trên DPU, đồng thời duy trì độ chính xác cao trong nhận diện người khi thay đổi ánh sáng, góc quay, và sự hiện diện của nhiều người trong cùng một khung hình. Việc tối ưu này không những được thực hiện trên phần cứng của KV260 mà còn các điều chỉnh phần mềm ở máy chủ quản ly cơ sở dit liệu dé hệ thống có thể hoạt động én định. Các nghiên cứu liên quan Có nhiều mô hình phổ biến để tiếp cận đến hệ thống phát hiện người như YOLOv3 được tác giả [7] nghiên cứu và cải thiện mô hình YOLOv3 bằng cách sử dụng cấu trúc Darknet Residual kết hợp các đặc trưng nông và sâu trên các đặc trưng của quá trình mẫu hóa (sampling) dé có được lớp nhận diện đa quy mô (multi-scale 4 detection layer).
Theo cách này, một lớp tổng hợp của các kích thước khác nhau của thông tin vi trí mục tiêu và thông tin ngữ cảnh được trích xuất. Độ nhận diện chính xác (prediction accuracy) của đối tượng có kích thước khác nhau đã được cải thiện khi tăng số lượng multi-scale fusion layer lên. Đồng thời mô-đun Spatial Pyramid Pooling (SPP) sẽ được sử dụng dé dung hợp các đặc trưng đạt được ở các quy mô khác nhau để cải thiện độ nhận diện chính xác (detection accuracy). Kết quả khi sử dụng mô hình lên tập VOC dataset thì YOLOv3 đạt được 79.54% so với mô hình YOLOv3-Multi được tác giả cải tiến.
Trong một công trình [8], tác giả đã ứng dụng mô hình YOLOv4-Tiny vào hệ thống tự động theo dõi người đi bộ trong đám đông. Tác giả đã hiện thực mô hình trên phần mềm và so sánh với các mô hình YOLO khác đề so sánh hiệu suất của các mô hình. Sau khi huấn luyện các mô hình bằng tập đữ liệu UCSD Pedestrian và so sánh các mô hình thì thấy mAP của mô hình YOLOv4-Tiny là 73% lớn hơn 4% so với mô hình YOLOv3 và lớn hơn 10% so với mô hình YOLOv2. Ở một bài báo khác, tác giả Shu-an Liu và các cộng sự [9] nghiên cứu và tiếp cận việc nhận diện người qua việc ứng dụng mô hình SSD.
Sau khi tác giả khảo sát các mô hình và so sánh các mô hình thì thấy khi so sánh với mô hình Faster-RCNN thì thấy SSD có tốc độ tốt hơn và khi so sánh với mô hình YOLO thì thấy mô hình SSD có độ chính xác mAP lớn hơn đáng kể. Nhưng khi hiện thực nhận diện người thì độ chính xác của SSD lại không được tốt đặc biệt là những đối tượng nhỏ. Dé giải quyết việc đó tác giả đã cải thiện mô hình SSD dựa trên thông tin ngữ cảnh (context information) bằng cách trích xuất đặc trưng nông (shallow features) trong mạng SSD, hợp nhất các ý nghĩa của các đặc trưng trong lớp tích chập với ý nghĩa sâu của các đặc trưng và sau đó nhận diện kích thước của người đi bộ trong tam ảnh. Tinh năng Pre-selection boxes được thiết kế lại với kích thước khung hình khác nhau, cải thiện kết quả kiểm tra mô hình SSD vượt trội hơn so với mô hình SSD tiêu chuẩn.
Kết quả sau khi ứng dụng mô hình trên tập dataset INRIA cho thấy mô hình của tác giả có tỉ lệ sai số (missing rate) khi nhận diện là 9,8% cao hơn 2.3% so với mô hình SSD tiêu chuân. Trong một công trình khác, tác giả và các cộng sự [10] đã cải tiến kiến trúc mạng của mô hình YOLO và đề xuất kiến trúc mạng YOLO-R. Ba lớp Passthrough (bao gồm Route layer và Reorg layer) được thêm vào mô hình YOLO tiêu chuẩn. Vai trò của chúng là kết nối các đặc trưng của người đi bộ lớp nông với các đặc trưng của người đi bộ lớp sâu và liên kết độ phân giải lớn và bé đặc trưng của người đi bộ.
Công trình này còn thay đối số lớp của lớp Passthrough kết ni trong mô hình YOLO tiêu chuẩn từ layer 16 đến layer 12 đề tăng khả năng trích xuất thông tin của các đặc trưng nông. Mô hình cải thiện này được thử trên tập dataset INRIA, kết quả cho thay công trình nay cải thiện được độ nhận diện chính xác (detection accuracy) của người di bộ, giảm FDR (False Detection Rate) va MDR (Missed Detection Rate), tốc độ nhận diện là 25 fps và độ mat mát trung bình (Average Loss) là 0. Mục tiêu của dé tài Dé giải quyết bài toán nhận diện và theo dõi người được quay từ nhiêu camera khác nhau, trong khóa luận này, nhóm đưa ra 3 mục tiêu chính: 1. Lựa chọn, huấn luyện, lượng tử hóa mô hình máy học có kích thước nhẹ, phù hợp dé triển khai lên DPU của Kria KV260 Vision AI Starter Kit với tập dữ liệu tùy chỉnh với tiêu chí có thể bao quát cụ thể các trường hợp dựa vào góc quay, ánh sáng, thời tiết và tư thế người đa dạng, mục tiêu accuracy >= 90% 2.
Biên dịch mô hình và hiện thực xuống Kria KV260, đánh giá hiệu suất mô hình trên KV260 so với trên phần mềm. Tối ưu hiệu suất bằng các công nghệ từ Xilinx và các thư viện mã nguôn mở. Gửi các khung hình và thông tin bounding box của đối tượng lên máy chủ dé thiết lập cơ sở đữ liệu sau quá trình xử lý ở KV260. Sử dụng giải thuật tương đồng dé định danh từng người và phân loại cơ sở dữ liệu.
Cuối cùng sẽ là thiết kế một trang web cơ bản bằng HTML cho người dùng sử dụng. Kria KV260 Vision AI Starter Kit Kria KV260 Vision AI Starter Kit là một sản phẩm phan cứng đột phá được phát triển bởi Xilinx, dành riêng cho các ứng dụng trí tuệ nhân tạo (AI) và thị giác máy tính. Được tích hợp các tính năng tiên tiến và tích hợp chặt chẽ với các giải pháp phát triển ứng dụng, KV260 đem đến một nền tảng mạnh mẽ cho phép triển khai và thử nghiệm các ứng dụng AI một cách dễ dàng và nhanh chóng [11]. J4 Micro-USB J11 Connector UART/JTAG MicroSD DS1-DS6 Power Status LEDs TER J8 Ắ | IAS Connector SOM Module h with Fansinl‹ SW2 Reset Button gi cm oy SWT1 Firmware = Update Button mm.
J7 _ _—_" IAS Connec tor DS36 les oO = _ L—Ì Ệ PS Status LED J13 = Fan Power DS35 jo Heartbeat LED DS34 PS Done LED XaKTS0072221 Hình 2. Kria KV260 Vision AI Starter Kit Kria KV260 Vision AI Starter Kit được xây dựng trên nền tảng FPGA Xilinx Zynq UltraScale+, tích hợp nhiều khối phần cứng (Hình 2.1) và phần mềm dé hỗ trợ các tác vụ AI: + SoC (System on Chip): KV260 sử dụng Zynq UltraScale+ MPSoC, kết hop giữa các thành phần xử lý hệ thống như CPU ARM Cortex-A53, bộ xử lý thời gian thực ARM Cortex-R5, và các đơn vị xử ly FPGA có thé cấu hình lại. Kiến trúc SoC này mang lại sự linh hoạt và hiệu suất cao cho các ứng dụng AI. + Deep-learning Processing Unit (DPU): là thành phần chuyên biệt, tăng tốc các tác vụ học sâu với hiệu suất cao và tiêu thụ năng lượng thấp.
DPU giúp xử lý các mạng nơ-ron tích chập (CNN) và các mô hình học sâu khác hiệu quả. + Bộ nhớ: Hỗ trợ nhiều loại bộ nhớ bao gồm DDR4, LPDDR4, và bộ nhớ ngoài đề tối ưu hóa khả năng lưu trữ và truy cập dữ liệu trong các tác vụ học sâu và xử lý video. + Giao diện kết kối: Hỗ trợ nhiều giao diện kết nối như USB, Ethernet, HDMI, MIPI CSI-2, giúp dé dàng tích hợp với các thiết bị ngoại vi và cảm biến hình ảnh.