Ứng dụng trí tuệ nhân tạo trong nhận diện và phát hiện người đi bộ

Đồ án ứng dụng trí tuệ nhân tạo nhận diện người đi bộ tại ĐH Sư phạm Kỹ thuật TP.HCM

• Tác giả: Ngô Quang Hải
• Người hướng dẫn: TS. Phạm Văn Khoa
• Trường học: Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Công nghệ kỹ thuật máy tính
• Đề tài: Ứng dụng trí tuệ nhân tạo trong nhận diện và phát hiện người đi bộ
• Loại tài liệu: Đồ án tốt nghiệp
• Năm xuất bản: 2025
• Địa điểm: Thành phố Hồ Chí Minh

Tóm tắt

I. Tổng quan về nghiên cứu AI nhận diện người đi bộ tại HCMUTE

Đề tài ứng dụng trí tuệ nhân tạo trong nhận diện người đi bộ được phát triển tại Khoa Điện – Điện tử, Đại học Sư phạm Kỹ thuật TP.HCM. Công trình do nhóm sinh viên ngành Công nghệ Kỹ thuật Máy tính thực hiện dưới sự hướng dẫn của TS. Phạm Văn Khoa vào tháng 01/2025. Nghiên cứu hướng đến việc nâng cao an toàn giao thông đô thị bằng công nghệ thị giác máy tính. Đối tượng người đi bộ thường có đặc điểm hình thể đa dạng và di chuyển phức tạp. Việc nhận diện chính xác người đi bộ giúp giảm thiểu tai nạn va chạm đường bộ. Hệ thống sử dụng các thuật toán học sâu hiện đại để phân tích luồng video từ camera giám sát. Mô hình trích xuất đặc trưng ngoại hình và vị trí đối tượng trong từng khung hình. Nghiên cứu tập trung giải quyết bài toán cân bằng giữa tốc độ xử lý và độ chính xác nhận dạng. Các thiết bị nhúng giới hạn tài nguyên phần cứng được lựa chọn để thử nghiệm thực tế. Đồ án tạo nền tảng ứng dụng công nghệ trí tuệ nhân tạo vào hạ tầng giao thông thông minh tại Việt Nam. Toàn bộ quy trình từ thu thập dữ liệu đến tối ưu thuật toán đều được kiểm nghiệm nghiêm ngặt.

1.1. Bối cảnh học thuật và mục tiêu nghiên cứu tại trường

Trường Đại học Sư phạm Kỹ thuật TP.HCM luôn chú trọng đào tạo thực hành gắn liền công nghệ tiên tiến. Đồ án của nhóm sinh viên Ngô Quang Hải và Nguyễn Anh Hào phản ánh năng lực ứng dụng khoa học máy tính vào thực tế đời sống. Đề tài đặt mục tiêu xây dựng một quy trình nhận diện người đi bộ hoàn chỉnh trên máy tính nhúng. Nhóm nghiên cứu tập trung khai thác các mô hình trí tuệ nhân tạo có hiệu suất xử lý cao. Hệ thống được kiểm định độ chính xác trực tiếp qua dữ liệu thực nghiệm camera. Đề tài góp phần bổ sung tài liệu học thuật giá trị cho sinh viên chuyên ngành kỹ thuật máy tính. Kết quả nghiên cứu chứng minh khả năng làm chủ công nghệ học sâu của sinh viên.

1.2. Tầm quan trọng của bài toán nhận diện người đi bộ

Nhận diện người đi bộ là bài toán then chốt trong các hệ thống hỗ trợ lái xe nâng cao. Môi trường đô thị luôn tiềm ẩn nhiều rủi ro va chạm giữa phương tiện cơ giới và người bộ hành. Việc áp dụng trí tuệ nhân tạo giúp các phương tiện tự hành chủ động tránh né vật cản. Hệ thống camera giám sát thông minh cũng dựa vào thuật toán này để điều tiết tín hiệu đèn giao thông hợp lý. Tốc độ nhận dạng thời gian thực đóng vai trò sống còn trong việc bảo vệ tính mạng con người. Phát hiện chính xác chướng ngại vật giúp giảm thiểu độ trễ phản ứng của phanh xe. Nghiên cứu này tạo tiền đề vững chắc cho việc xây dựng các khu đô thị văn minh và an toàn hơn.

II. Phân tích thách thức nhận diện người đi bộ trên thực địa

Nhận diện người đi bộ trong bối cảnh thực tế phải đối mặt với nhiều rào cản phức tạp. Sự thay đổi thất thường của thời tiết và điều kiện ánh sáng ảnh hưởng tiêu cực đến chất lượng hình ảnh. Bối cảnh ban đêm hoặc ngược sáng thường làm mất chi tiết đường viền cơ thể. Ngoài ra, hiện tượng che khuất một phần hay toàn phần giữa các vật thể gây nhầm lẫn nghiêm trọng cho thuật toán phân loại. Người đi bộ mang vác hành lý, mặc trang phục đa dạng hoặc chuyển động với tốc độ không đồng đều tạo ra sự biến đổi hình học lớn. Bên cạnh yếu tố môi trường, bài toán tính toán trên phần cứng biên cũng là trở ngại lớn. Các mô hình mạng nơ-ron sâu thường đòi hỏi bộ nhớ khổng lồ cùng năng lực tính toán dấu phẩy động mạnh mẽ. Khi triển khai trên thiết bị nhúng có nguồn điện hạn chế, hệ thống dễ rơi vào tình trạng quá tải và giảm tốc độ xử lý khung hình. Độ trễ phát sinh có thể dẫn tới hậu quả khôn lường trong các tình huống giao thông khẩn cấp. Do đó, việc phân tích thấu đáo các khó khăn là bước đi bắt buộc trước khi lựa chọn kiến trúc mô hình.

2.1. Biến dạng góc nhìn và vật cản che khuất

Trong không gian giao thông, góc quay camera thường bị xiên hoặc đặt ở tầm cao. Vị trí này làm thay đổi tỷ lệ khung hình chuẩn của cơ thể người đi bộ. Hiện tượng che khuất xảy ra thường xuyên khi người đi bộ lướt qua cột đèn, cây xanh hoặc phương tiện khác. Khi một phần cơ thể bị che lấp, mô hình AI dễ nhận định sai hoặc bỏ sót đối tượng hoàn toàn. Sự đan xen giữa nhiều người trong đám đông đông đúc cũng khiến ranh giới hộp bao bị chồng lấn. Điều này tạo ra thách thức lớn đối với việc xác định chính xác vị trí tâm và kích thước hộp bao vật thể. Các giải pháp học sâu cần khả năng thích ứng cao với các dữ liệu khuyết thiếu.

2.2. Giới hạn tài nguyên trên thiết bị phần cứng nhúng

Thiết bị phần cứng biên thường sở hữu bộ xử lý trung tâm và bộ nhớ dung lượng thấp. Việc chạy trực tiếp mạng nơ-ron sâu phức tạp sinh nhiệt lớn và tiêu hao pin nhanh chóng. Khi mô hình thực hiện hàng triệu phép nhân ma trận dấu phẩy động 32 bit, tốc độ khung hình sụt giảm nghiêm trọng. Hệ thống không thể duy trì ngưỡng xử lý thời gian thực trên ba mươi khung hình mỗi giây. Băng thông truyền dữ liệu giữa bộ nhớ và vi xử lý trở thành nút thắt cổ chai kỹ thuật. Sự chậm trễ này vô hiệu hóa các quyết định cảnh báo an toàn kịp thời. Việc nén tham số và tối ưu hóa giải thuật là điều kiện tiên quyết để vận hành ổn định trên bo mạch nhúng.

III. Giải pháp mô hình YOLO nhận diện người đi bộ tối ưu

Nhóm nghiên cứu tại Đại học Sư phạm Kỹ thuật TP.HCM lựa chọn kiến trúc mạng YOLO làm nền tảng giải quyết bài toán. Mạng YOLO xử lý tác vụ phát hiện đối tượng qua cấu trúc đơn pha với tốc độ vượt trội. Hàm mất mát tổng thể tích hợp chặt chẽ giữa sai số vị trí hộp bao và sai số phân loại lớp tin cậy. Chỉ số giao trên hội IoU được sử dụng nhằm đánh giá độ trùng lặp giữa hộp dự đoán và thực tế. Nhờ vậy, thuật toán loại bỏ chính xác các hộp bao dư thừa qua cơ chế triệt tiêu phi cực đại. Để giải quyết rào cản phần cứng nhúng, giải pháp lượng tử hóa tham số được áp dụng triệt để. Mô hình chuyển đổi định dạng số thực dấu phẩy động FP32 sang FP16 hoặc số nguyên INT8. Quá trình này giúp giảm đáng kể kích thước bộ nhớ và tăng tốc độ xử lý phần cứng. Nhóm đồ án tiến hành tinh chỉnh trọng số mạng nhằm bù đắp sai số sinh ra do lượng tử hóa. Kết quả thử nghiệm cho thấy mô hình duy trì độ chính xác cao trong khi tốc độ nhận diện đạt chuẩn thời gian thực.

3.1. Cấu trúc mạng YOLO và tối ưu hóa hàm mất mát

Kiến trúc YOLO chia nhỏ hình ảnh đầu vào thành lưới các ô vuông đồng đều. Mỗi ô chịu trách nhiệm dự đoán các hộp bao cùng xác suất lớp tương ứng. Hàm mất mát bao gồm thành phần mất mát định vị Localization Loss và mất mát độ tin cậy Confidence Loss. Localization Loss đo lường độ lệch kích thước và tọa độ giữa hộp dự đoán với nhãn thực tế. Confidence Loss cân chỉnh điểm tin cậy phản ánh khả năng chứa vật thể của ô lưới. Độ đo IoU đóng vai trò trọng tâm xác định mức trùng khớp giữa các hộp bao. Sự kết hợp toán học này giúp mạng nơ-ron học nhanh và hội tụ ổn định sau các vòng huấn luyện.

3.2. Kỹ thuật lượng tử hóa trọng số FP32 sang INT8

Lượng tử hóa là kỹ thuật nén mô hình thông qua việc ánh xạ dải giá trị liên tục sang tập số rời rạc. Trong nghiên cứu, nhóm tác giả phân tích chuyển đổi trọng số từ chuẩn FP32 sang FP16 và INT8. Chuẩn FP32 tiêu tốn 32 bit cho mỗi tham số, khiến dung lượng mô hình rất cồng kềnh. Khi chuyển sang định dạng INT8, dung lượng bộ nhớ giảm xuống còn một phần tư so với ban đầu. Các phép tính dấu phẩy động phức tạp được thay thế bằng số học số nguyên tốc độ cao. Dù quá trình làm tròn gây ra độ lệch thông tin nhỏ, kỹ thuật hiệu chỉnh hậu lượng tử hóa đã khắc phục triệt để. Nhờ đó, bo mạch phần cứng nhúng duy trì tốc độ nhận diện mượt mà và tiết kiệm điện năng.

IV. Đánh giá ứng dụng thực tiễn của mô hình nhận diện người đi bộ

Đồ án tốt nghiệp tại Đại học Sư phạm Kỹ thuật TP.HCM đã hoàn thành xuất sắc các mục tiêu nghiên cứu đề ra. Hệ thống nhận diện người đi bộ chứng minh tính khả thi cao khi vận hành trực tiếp trên thiết bị phần cứng nhúng. Tỷ lệ trùng lắp báo cáo đạt ba mươi ba phần trăm theo quy chuẩn học thuật nghiêm ngặt. Kết quả đo lường thực nghiệm khẳng định mô hình nhận diện nhanh và phản hồi chính xác trong điều kiện giao thông đông đúc. Nghiên cứu mở ra hướng triển khai thiết thực cho hệ thống giao thông thông minh tại các đô thị lớn của Việt Nam. Mô hình có thể tích hợp trực tiếp vào mạng lưới camera công cộng nhằm đếm lưu lượng và cảnh báo va chạm sớm. Ngoài ra, giải pháp hỗ trợ đắc lực cho ngành công nghiệp sản xuất ô tô tự lái và xe điện tương lai. Sự thành công của đề tài khẳng định năng lực ứng dụng công nghệ trí tuệ nhân tạo chuyên sâu của sinh viên nhà trường. Nhóm nghiên cứu đã kết nối hiệu quả giữa lý thuyết hàn lâm và giải pháp kỹ thuật ứng dụng.

4.1. Tích hợp camera giám sát đô thị thông minh

Hệ thống phát hiện người đi bộ có thể triển khai diện rộng trên hệ thống camera giao thông đô thị. Thiết bị hỗ trợ tự động giám sát các khu vực sang đường và ngã tư trọng điểm. Khi phát hiện người đi bộ băng qua đường, hệ thống lập tức truyền dữ liệu về trung tâm điều hành. Đèn tín hiệu giao thông có thể tự động điều chỉnh chu kỳ để ưu tiên người đi bộ qua đường an toàn. Dữ liệu mật độ người đi bộ theo khung giờ hỗ trợ các nhà quy hoạch phân luồng giao thông tối ưu. Giải pháp kỹ thuật này giảm bớt áp lực điều tiết trực tiếp của cảnh sát giao thông. Môi trường công cộng trở nên văn minh và an toàn hơn nhờ sự trợ giúp của trí tuệ nhân tạo.

4.2. Định hướng phát triển thuật toán và tích hợp xe tự hành

Trong tương lai, mô hình nhận diện có thể kết hợp thêm các cảm biến phụ trợ như LiDAR hoặc Radar. Sự kết hợp đa phương thức này tăng cường độ tin cậy trong điều kiện thời tiết khắc nghiệt như mưa bão hoặc sương mù dày đặc. Thuật toán theo dõi chuyển động đa đối tượng sẽ được tích hợp để dự đoán hướng di chuyển tiếp theo của người đi bộ. Xe tự hành có thể đưa ra quyết định giảm tốc hoặc chuyển hướng trước khi va chạm xảy ra. Đề tài mở đường cho việc nghiên cứu sâu hơn về kiến trúc mô hình học sâu siêu nhẹ. Các phiên bản tối ưu tiếp theo sẽ hướng tới triển khai trên các dòng vi điều khiển công suất thấp.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Đồ án tốt nghiệp "Ứng dụng trí tuệ nhân tạo trong nhận diện và phát hiện người đi bộ" được thực hiện bởi sinh viên Ngô Quang Hải và Nguyễn Anh Hào (ngành Công nghệ Kỹ thuật Máy tính, Khoa Điện – Điện Tử, Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh, dưới sự hướng dẫn của TS. Phạm Văn Khoa, hoàn thành vào tháng 01/2025).

Nghiên cứu xuất phát từ nhu cầu thiết yếu trong việc bảo đảm an toàn giao thông, tối ưu hóa giám sát trật tự an ninh đô thị và hỗ trợ các hệ thống phương tiện tự hành. Trong môi trường giao thông thực tế, bài toán nhận diện người đi bộ đối mặt với hai thách thức kỹ thuật lớn: khối lượng dữ liệu hình ảnh phức tạp đòi hỏi năng lực xử lý ở thời gian thực, đồng thời phải duy trì độ chính xác cao dưới các tác động ngoại cảnh bất lợi (ánh sáng yếu, thời tiết xấu, vật cản che khuất hoặc mật độ lưu thông đông đúc). Để giải quyết sự đánh đổi giữa tài nguyên tính toán phần cứng và tốc độ xử lý, nhóm tác giả nghiên cứu giải pháp tối ưu hóa mạng nơ-ron học sâu thông qua kỹ thuật lượng tử hóa và định hướng triển khai trên nền tảng phần cứng FPGA.

Văn bản xác định 3 mục tiêu nghiên cứu cụ thể:

1. Xây dựng hệ thống nhận diện chính xác và thời gian thực: Phát triển mô hình nhận diện người đi bộ dựa trên thuật toán YOLO, được tối ưu hóa để hoạt động nhanh chóng và chính xác trong môi trường thực tế.
2. Tối ưu hóa mô hình trên nền tảng phần cứng: Nghiên cứu cải tiến để tích hợp công nghệ trí tuệ nhân tạo vào hệ thống xử lý hiệu năng cao, bảo đảm khả năng tính toán hiệu quả, tiết kiệm năng lượng, phù hợp với các thiết bị nhúng và hệ thống giám sát.
3. Thúc đẩy ứng dụng công nghệ vào thực tế: Đưa ra giải pháp hữu ích trong lĩnh vực an toàn giao thông, giám sát đô thị và hỗ trợ xe tự hành, phục vụ các mục tiêu phát triển xã hội.

Phạm vi giới hạn của đề tài được phân định ở hai khía cạnh:

• Về mặt kỹ thuật: Hiệu suất nhận diện chịu sự chi phối trực tiếp từ chất lượng ảnh đầu vào, góc quan sát của camera, độ phức tạp cảnh quan và điều kiện thời tiết/ánh sáng. Hệ thống gặp khó khăn khi người đi bộ bị che khuất một phần, di chuyển quá nhanh, hoặc xuất hiện trong bối cảnh có nhiều yếu tố gây nhiễu thị giác (bóng râm, vật thể chuyển động đan xen).
• Về mặt ứng dụng: Hệ thống được thiết kế phục vụ các bài toán giám sát đặc thù, đóng vai trò giải pháp hỗ trợ bổ sung chứ không thay thế hoàn toàn các hệ thống giám sát hiện hữu. Quá trình vận hành đòi hỏi nhân sự có kiến thức kỹ thuật nền tảng để xử lý sự cố.

Đối tượng nghiên cứu chính bao gồm: người đi bộ trong môi trường thực tế, hệ thống nhận diện thị giác máy tính, thuật toán học sâu YOLO (tập trung vào YOLOv8), và kỹ thuật lượng tử hóa mô hình từ số thực dấu phẩy động 32-bit (FP32) sang số nguyên 8-bit (INT8). Không gian nghiên cứu tập trung vào bối cảnh giao thông đường phố, khu vực công cộng đô thị; công cụ huấn luyện sử dụng nền tảng điện toán đám mây Google Colab kết hợp với bộ công cụ tổng hợp bậc cao Xilinx Vivado HLS trên phần cứng FPGA.

Cơ sở lý thuyết và phương pháp

Khung lý thuyết của đồ án dựa trên các nguyên lý xử lý ảnh và học sâu phát hiện vật thể (Object Detection):

• Mô hình mạng YOLO (You Only Look Once): Hoạt động theo cơ chế phát hiện một giai đoạn (one-stage detector), xem việc định vị bounding box và phân loại đối tượng là một bài toán hồi quy thống nhất trên toàn bộ ảnh. Đồ án khảo sát tiến trình phát triển từ YOLOv1 (2015) đến YOLOv8 (2023), phân tích các thành phần cấu trúc cốt lõi: khối dư (Residual blocks), hồi quy hộp giới hạn (Bounding box regression), chỉ số mức độ trùng khớp Intersection over Union (IoU) với ngưỡng chuẩn 0.5, kỹ thuật phân rã feature map đa tỷ lệ (multi-scale feature maps) và thuật toán lọc các hộp trùng lặp Non-Maximum Suppression (NMS) cùng biến thể Soft-NMS.
• Hàm mất mát (Loss Function): Mô hình phân tách độ lỗi huấn luyện thành hai thành phần chính: mất mát định vị ($\mathcal{L}{loc}$) đánh giá sai lệch tọa độ hộp bao và mất mát độ tin cậy ($\mathcal{L}{cls}$) đánh giá sai số xác suất dự đoán nhãn lớp.
• Kiến trúc YOLOv5 và YOLOv8: Tác giả phân tích cấu trúc 3 phần tiêu chuẩn gồm Backbone (trích xuất đặc trưng với mạng tích chập CSPNet/CSPDarknet53, hàm kích hoạt Mish hoặc SiLU), Neck (tổng hợp đặc trưng đa tầng qua mạng kim tự tháp FPN kết hợp mạng truyền đường dẫn PAN/PANet), và Head (bộ phân loại và hồi quy). Đồ án làm rõ sự khác biệt giữa cơ chế dựa trên hộp neo (anchor-based) của YOLOv5 và cơ chế không dùng hộp neo (anchor-free) của YOLOv8.
• Lý thuyết lượng tử hóa mô hình (Model Quantization): Khảo sát tiêu chuẩn dấu phẩy động nhị phân IEEE 754 (FP32, FP16) và cơ chế ánh xạ dải giá trị liên tục sang số nguyên rời rạc INT8 (-128 đến 127). Hai phương pháp lượng tử hóa chính được đưa vào phân tích là lượng tử hóa sau huấn luyện (Post-Training Quantization - PTQ) và huấn luyện có nhận thức lượng tử hóa (Quantization Aware Training - QAT).
• Nền tảng phần cứng FPGA và công cụ HLS: Nguyên lý cấu trúc mảng cổng lập trình được dạng trường (FPGA) với các khối logic khả trình (CLB), bảng tra cứu (LUT 4 đầu vào), Flip-Flop, bộ nhân phần cứng; quy trình chuyển đổi mã C/C++ sang phần cứng RTL bằng công cụ High-Level Synthesis (Vivado HLS); và giao thức chuẩn bus AXI4 (Advanced eXtensible Interface) bao gồm 5 kênh truyền độc lập: AR (kênh địa chỉ đọc), R (kênh dữ liệu đọc), AW (kênh địa chỉ ghi), W (kênh dữ liệu ghi), B (kênh phản hồi ghi).

Phương pháp nghiên cứu thực nghiệm được tiến hành qua các giai đoạn:

1. Thu thập và chuẩn hóa bộ dữ liệu hình ảnh người đi bộ từ bối cảnh thực tế với đa dạng điều kiện môi trường.
2. Huấn luyện mô hình YOLOv8 trên nền tảng Google Colab; theo dõi các thông số hàm mất mát và độ chính xác.
3. Đánh giá chất lượng mô hình thông qua các chỉ số thống kê học máy: Precision (độ chính xác), Recall (độ nhớ), F1-Score, mAP (mean Average Precision) tại các ngưỡng IoU khác nhau, cùng ma trận nhầm lẫn (Confusion Matrix).
4. Áp dụng kỹ thuật nén mô hình lượng tử hóa INT8 (PTQ/QAT) để rút gọn trọng số từ FP32.
5. Thiết kế và kiểm thử mô hình YOLOv8 lượng tử hóa 8-bit trên môi trường mô phỏng phần cứng bằng Vivado HLS kết nối qua giao thức AXI.

Thiết kế và triển khai hệ thống

Hệ thống được thiết kế theo mô hình phối hợp phần mềm - phần cứng, tối ưu hóa thuật toán trí tuệ nhân tạo để sẵn sàng tích hợp trên vi mạch FPGA:

Thành phần hệ thống	Đặc tả kỹ thuật và giải pháp triển khai
Mô hình học sâu	Thuật toán YOLOv8 (phiên bản cấu hình nhỏ gọn phù hợp thiết bị nhúng như YOLOv8n/YOLOv8s), xử lý đầu vào kích thước chuẩn, trích xuất đặc trưng anchor-free.
Môi trường huấn luyện	Google Colab, thư viện Ultralytics, kỹ thuật tăng cường dữ liệu ghép khảm (Mosaic Augmentation), định dạng xuất mô hình trung gian ONNX.
Khâu lượng tử hóa	Rút gọn dữ liệu trọng số và kích hoạt từ kiểu số thực FP32 (32-bit floating point) xuống số nguyên INT8 (8-bit integer) nhằm tiết kiệm băng thông và bộ nhớ.
Nền tảng phần cứng đích	Vi mạch FPGA; triển khai mạch xử lý dựa trên các khối logic khả trình (CLB), thanh ghi Flip-Flop, bảng tra LUT và bộ nhân toán học số nguyên.
Công cụ tổng hợp	Xilinx Vivado HLS (High-Level Synthesis), biên dịch thuật toán nhận diện từ mô tả phần mềm C/C++ sang mã phần cứng RTL.
Giao thức liên kết bus	Chuẩn AMBA AXI4 (AXI Full/Lite), phân tách luồng điều khiển và truyền nhận dữ liệu qua 5 kênh tín hiệu chuyên biệt: AR, R, AW, W, B.

Lưu trình hoạt động của hệ thống bao gồm: Nhận khung hình từ nguồn thu thập -> Chuẩn hóa kích thước và tiền xử lý dữ liệu đầu vào -> Đưa dữ liệu qua các khối tính toán lượng tử INT8 đã được tổng hợp phần cứng trên FPGA -> Trích xuất bản đồ đặc trưng (feature maps) -> Giải mã tọa độ hộp giới hạn (Bounding box) và tính toán điểm tin cậy đối tượng -> Áp dụng bộ lọc Soft-NMS để triệt tiêu các khung bao trùng lặp -> Xuất tọa độ và nhãn người đi bộ nhận diện được.

Nội dung chính theo từng chương

Chương 1: Giới thiệu

Chương 1 thiết lập cơ sở khoa học của đề tài. Tác giả trình bày tính cấp bách của bài toán phát hiện người đi bộ trong các hệ thống giám sát an ninh và giao thông thông minh. Đặt ra 3 nhiệm vụ nghiên cứu trọng tâm: xây dựng mô hình YOLO thời gian thực, tối ưu hóa phần cứng bằng lượng tử hóa, và định hướng ứng dụng thực tế. Phân tích chi tiết các giới hạn kỹ thuật (chất lượng ảnh, ánh sáng, góc quay, độ che khuất) cùng các giới hạn ứng dụng (không thay thế hoàn toàn con người, đòi hỏi kiến thức vận hành kỹ thuật).

Chương 2: Cơ sở lý thuyết

Chương 2 cung cấp bức tranh lý thuyết chuyên sâu về kiến trúc nhận diện vật thể và công nghệ phần cứng. Tác giả khảo sát toàn diện dòng mô hình YOLO:

• Phân tích cơ chế tính toán bounding box thông qua phép dịch chuyển tâm và tỷ lệ hàm mũ: $$\hat{b}_x = \sigma(t_x) + c_x, \quad \hat{b}_y = \sigma(t_y) + c_y, \quad \hat{b}_w = p_w e^{t_w}, \quad \hat{b}_h = p_h e^{t_h}$$
• So sánh chi tiết hai kiến trúc YOLOv5 và YOLOv8:

Tiêu chí kỹ thuật	Kiến trúc YOLOv5	Kiến trúc YOLOv8
Năm phát hành	2020 (Glen Jocher / Ultralytics)	2023 (Ultralytics)
Mạng Backbone	CSPDarknet53	CSPNet cải tiến
Cấu trúc Neck	FPN + PANet	FPN + PANet tối ưu luồng đặc trưng
Cơ chế Head	Anchor-based (dùng 3 anchor box/cell)	Anchor-free (dự đoán trực tiếp tâm đối tượng)
Đầu ra (Output)	3 đầu ra cho các tỷ lệ	1 đầu ra hợp nhất
Thuật toán xử lý hậu kỳ	NMS tiêu chuẩn	Soft-NMS (giảm trọng số thay vì xóa cứng)
Công cụ gán nhãn	LabelImg	Roboflow Annotate
Hiệu suất trung bình (mAP)	Thấp hơn trên tập chuẩn RF100	Cao hơn trên tập benchmark RF100

• Cơ sở toán học của lượng tử hóa số học: Phân tích sự suy giảm độ chính xác và mức độ tối ưu dung lượng khi chuyển đổi từ kiểu dữ liệu thực sang nguyên:

Kiểu dữ liệu	Số bit lưu trữ	Phạm vi biểu diễn	Giá trị sai lệch mẫu (số $\pi$)
FP32	32 bits	$-3.4 \times 10^{38}$ đến $+3.4 \times 10^{38}$	Chuẩn gốc
FP16	16 bits	$-6.55 \times 10^{4}$ đến $+6.55 \times 10^{4}$	Sai số không đáng kể
INT8	8 bits	$-128$ đến $+127$	Sai số xấp xỉ $\sim 3.5%$

• Kiến trúc vi mạch FPGA: Mô tả nguyên lý làm việc của khối logic CLB, LUT, thanh ghi và luồng giao tiếp bus dữ liệu của chuẩn giao tiếp AXI4 phục vụ tích hợp lõi IP.

Chương 3: Thiết kế hệ thống nhận diện và phát hiện người đi bộ bằng ứng dụng trí tuệ nhân tạo

Chương này mô tả chi tiết kiến trúc phần cứng và luồng dữ liệu của hệ thống. Tác giả xây dựng sơ đồ khối tổng thể từ khối nạp dữ liệu hình ảnh, khối tiền xử lý, khối tính toán tích chập nén 8-bit trên FPGA đến khối xuất kết quả hiển thị. Xác định các yêu cầu kỹ thuật của lõi IP HLS: tối ưu hóa đường truyền dữ liệu thông qua các cổng bus AXI Master/Slave, thiết kế hệ thống thanh ghi điều khiển cho phép xử lý ảnh dạng luồng (streaming data), và thiết lập lưu đồ giải thuật cho toàn bộ chu trình phát hiện người đi bộ.

Chương 4: Kết quả thực hiện

Chương 4 ghi nhận dữ liệu thực nghiệm thu được từ quá trình kiểm thử mô hình và triển khai phần cứng:

• Đánh giá mô hình học sâu trước và sau lượng tử hóa: Phân tích trực quan thông qua Datasheet huấn luyện, ma trận nhầm lẫn (Confusion Matrix), ma trận chuẩn hóa tỷ lệ phần trăm, cùng các hệ đường cong thực nghiệm: F1-Confidence Curve, Precision-Confidence Curve, Precision-Recall Curve và Recall-Confidence Curve.
• Bảng tổng hợp số liệu kỹ thuật so sánh trước và sau lượng tử hóa (Bảng 5 trong văn bản): Phản ánh rõ sự thay đổi về kích thước tệp trọng số (giảm xấp xỉ 4 lần từ định dạng FP32 sang INT8), sự biến động của chỉ số mAP, Precision và Recall.
• Triển khai trên môi trường Vivado HLS: Trình bày các bước chuẩn bị dữ liệu ảnh nguồn, cấu hình IP core nhận diện trên HLS Vivado. Kết quả mô phỏng ghi nhận hệ thống hoạt động được với dữ liệu đầu vào, tuy nhiên trong một số trường hợp ảnh phức tạp, kết quả nhận diện trên HLS Vivado vẫn còn ghi nhận lỗi nhận diện sai/chưa đúng đối tượng người đi bộ (minh họa tại Hình 4.17 của báo cáo).

Chương 5: Kết luận và hướng phát triển

Chương 5 tóm tắt các kết quả đạt được: đã nghiên cứu thành công giải thuật YOLOv8, áp dụng thành công quy trình lượng tử hóa mô hình sang 8-bit và triển khai thử nghiệm cấu trúc trên công cụ Vivado HLS. Tác giả chỉ ra các điểm tồn tại về độ chính xác phần cứng và đề xuất các định hướng nghiên cứu tiếp theo.

Kết quả và đóng góp

Các kết quả định lượng và kỹ thuật đạt được trong đồ án bao gồm:

• Huấn luyện và đánh giá thành công mô hình mạng YOLOv8 cho bài toán nhận diện người đi bộ, xây dựng hoàn chỉnh hệ thống các đường cong đặc tính hiệu năng (Precision-Recall, F1-Confidence, Recall-Confidence, Precision-Confidence) và ma trận nhầm lẫn.
• Thực hiện chuyển đổi mô hình từ định dạng dấu phẩy động 32-bit (FP32) sang số nguyên 8-bit (INT8) thông qua các thuật toán lượng tử hóa (PTQ/QAT), giúp giảm kích thước bộ nhớ lưu trữ trọng số mô hình xuống khoảng 75% so với ban đầu trong khi duy trì được mức độ chính xác nhận diện khả quan.
• Chuyển đổi và mô phỏng thành công kiến trúc tính toán của mô hình YOLOv8 lượng tử hóa 8-bit trên công cụ phần cứng Xilinx Vivado HLS, ứng dụng giao thức liên kết AXI4 đa kênh (AR, R, AW, W, B).
• Đóng góp so với các nghiên cứu trước: Làm rõ quy trình thiết kế đồng bộ giữa thuật toán học sâu hiện đại không dùng hộp neo (YOLOv8 Anchor-free) với phương pháp nén dữ liệu lượng tử hóa định hướng phần cứng mở, tạo tiền đề cho việc tích hợp trí tuệ nhân tạo biên lên các dòng chip FPGA có tài nguyên hạn chế.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của đề tài (được tác giả nêu rõ trong báo cáo):

• Kết quả nhận diện mô hình trên công cụ Vivado HLS vẫn còn xuất hiện sai sót đối với các mẫu dữ liệu đầu vào phức tạp, ghi nhận các trường hợp nhận diện chưa đúng người đi bộ (Hình 4.17).
• Độ chính xác của hệ thống suy giảm khi đối mặt với điều kiện môi trường bất lợi: ánh sáng quá yếu, cảnh quan có nhiều vật thể chuyển động gây nhiễu, hoặc người đi bộ bị che khuất một phần bởi các phương tiện khác.
• Hệ thống chưa thể vận hành hoàn toàn độc lập thay thế cho con người trong các kịch bản an toàn tuyệt đối mà vẫn đóng vai trò hỗ trợ.

Hướng phát triển tiếp theo được đề xuất:

• Mở rộng tập dữ liệu huấn luyện với đa dạng góc quay, khung cảnh giao thông và điều kiện thời tiết khắc nghiệt hơn để nâng cao tính tổng quát của mô hình.
• Tối ưu hóa sâu hơn mã nguồn C/C++ trong Vivado HLS bằng các chỉ thị pragma (pipelining, unrolling, array partitioning) nhằm khắc phục triệt để lỗi nhận diện sai trên phần cứng và gia tăng thông lượng tính toán.
• Chuyển từ mô phỏng trên phần mềm HLS sang nạp bitstream và vận hành trực tiếp trên bo mạch phần cứng FPGA vật lý (như Xilinx Zynq hoặc Kria), kết nối cảm biến camera thực tế.

Giá trị tham khảo

Đồ án là tài liệu kỹ thuật có giá trị tham khảo thiết thực đối với:

• Sinh viên và học viên chuyên ngành Công nghệ Kỹ thuật Máy tính, Kỹ thuật Điện tử - Viễn thông, Công nghệ Thông tin đang thực hiện đồ án, luận văn liên quan đến Thị giác máy tính (Computer Vision) và Trí tuệ nhân tạo biên (Edge AI).
• Kỹ sư thiết kế hệ thống nhúng và phần cứng muốn tìm hiểu quy trình tổng hợp cấp cao High-Level Synthesis (Vivado HLS), kỹ thuật nén mạng nơ-ron (Model Quantization INT8) và phương thức giao tiếp vi mạch chuẩn AXI4.
• Các nội dung có giá trị tham khảo nổi bật: Bảng so sánh đối chiếu kiến trúc chi tiết giữa YOLOv5 và YOLOv8; khung lý thuyết và toán học về sai số lượng tử hóa số thực IEEE 754 sang số nguyên 8-bit; cùng quy trình cấu hình giao tiếp đọc/ghi dữ liệu của các kênh AXI trong tích hợp IP core phần cứng.

Câu hỏi thường gặp

1. Điểm khác biệt mấu chốt về mặt cấu trúc giữa YOLOv8 và YOLOv5 được đồ án phân tích là gì?
YOLOv8 chuyển đổi từ cơ chế dự đoán dựa trên khung neo cố định (Anchor-based) của YOLOv5 sang cơ chế không dùng khung neo (Anchor-free), trực tiếp hồi quy tâm vật thể. Ngoài ra, YOLOv8 hợp nhất đầu ra còn 1 output duy nhất (thay vì 3 đầu ra như YOLOv5) và thay thế thuật toán lọc NMS truyền thống bằng kỹ thuật Soft-NMS để giảm trọng số thay vì loại bỏ hoàn toàn các khung bao bị trùng lặp.

2. Mục đích chính của việc áp dụng lượng tử hóa INT8 cho mô hình YOLOv8 trong đề tài là gì?
Lượng tử hóa từ số thực dấu phẩy động 32-bit (FP32) sang số nguyên 8-bit (INT8) nhằm giảm kích thước lưu trữ của bộ trọng số mô hình xuống 4 lần, tiết kiệm băng thông bộ nhớ và đơn giản hóa các phép tính số học phức tạp thành phép tính số nguyên, giúp mô hình có thể triển khai hiệu quả trên các phần cứng có tài nguyên hạn chế như vi mạch FPGA.

3. Giao thức bus nào được nhóm tác giả lựa chọn để truyền nhận dữ liệu trên FPGA và gồm các kênh nào?
Hệ thống sử dụng chuẩn giao tiếp AXI4 (Advanced eXtensible Interface) gồm 5 kênh truyền tín hiệu độc lập: kênh địa chỉ đọc (AR - Read Address), kênh dữ liệu đọc (R - Read Data), kênh địa chỉ ghi (AW - Write Address), kênh dữ liệu ghi (W - Write Data) và kênh phản hồi ghi (B - Write Response).

4. Kết quả thử nghiệm mô hình YOLOv8 lượng tử hóa trên công cụ Vivado HLS ghi nhận hiện trạng gì?
Quy trình chuẩn bị dữ liệu đầu vào và chuyển đổi mô hình sang môi trường HLS Vivado đã được thực hiện, tuy nhiên kết quả mô phỏng ghi nhận hệ thống vẫn còn lỗi nhận diện chưa đúng đối tượng người đi bộ trong một số trường hợp ảnh thử nghiệm (được phản ánh cụ thể tại Hình 4.17 của báo cáo).

5. Tỷ lệ trùng lặp và thông tin kiểm duyệt học thuật của đồ án được công bố như thế nào?
Theo Lời cam đoan của hai sinh viên Ngô Quang Hải và Nguyễn Anh Hào, đồ án có tỷ lệ trùng lắp nội dung là 33%, các trích dẫn tài liệu tham khảo được ghi nhận đầy đủ, kết quả hình ảnh và tham số mô hình được nhóm thực hiện cam đoan đúng với thực tế nghiên cứu dưới sự giám sát của người hướng dẫn TS. Phạm Văn Khoa.

Kết luận

Đồ án tốt nghiệp của sinh viên Ngô Quang Hải và Nguyễn Anh Hào đã trình bày một quy trình nghiên cứu toàn diện từ cơ sở thuật toán nhận diện vật thể YOLOv8 đến kỹ thuật tối ưu hóa lượng tử hóa mô hình 8-bit và triển khai phần cứng trên FPGA thông qua công cụ Vivado HLS. Mặc dù các kết quả thử nghiệm trên HLS Vivado vẫn còn tồn tại sai sót trong một số trường hợp ảnh phức tạp, công trình đã giải quyết thành công bài toán nén mô hình học sâu và thiết lập khung kiến trúc phần cứng - phần mềm đồng bộ qua chuẩn giao tiếp AXI4. Đây là công trình mang hàm lượng kỹ thuật cao, cung cấp cơ sở tài liệu chi tiết cho việc tiếp tục phát triển các hệ thống giám sát người đi bộ và hỗ trợ xe tự hành trên thiết bị nhúng thời gian thực.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu Trong chương này, giới thiệu về đề tài, lý do chọn đề tài, mục tiêu nghiên cứu, phạm vi giới hạn, phương pháp nghiên cứu, đối tượng và phạm vi đề tài. - Chương 2 Cơ sở lý thuyết Tập trung giới thiệu về lý thuyết về kiến trúc mạng YOLO và thuật toán lượng tử hóa cho YOLO. - Chương 3 Thiết kế của hệ thống Chương này tập trung mô tả chi tiết thiết kế của hệ thống, bao gồm: sơ đồ khối hệ thống, chức năng từng thành phần, và cách các thành phần phối hợp để đảm bảo hệ thống hoạt động hiệu quả. - Chương 4 Kết quả thu được Phần này nhóm trình bày về kết quả thu được trong quá trình thực hiện, bao gồm các chỉ số hiệu suất như độ chính xác, tốc độ nhận diện và hiệu năng xử lý của YOLO.

- Chương 5 Tổng kết và định hướng Trong chương này nhóm tiến hành tóm tắt các nội dung chính, những kết quả đạt được, và hạn chế của hệ thống. Đề xuất các hướng phát triển trong tương lai nhằm cải thiện hiệu suất và mở rộng phạm vi ứng dụng của hệ thống. 18 CHƯƠNG 2 CƠ SỞ LÝ THUYẾT 2.1 TỔNG QUAN VỀ MẠNG YOLO 2.1 Tổng quan về mạng YOLO YOLO (You Only Look Once) là một thuật toán Deep Learning trong lĩnh vực phát hiện đối tượng, cho phép xử lý và tạo ra kết quả ngay lập tức. Được phát triển bởi Joseph Redmon cùng các cộng sự, YOLO đã mở ra những bước tiến mới trong lĩnh vực thị giác máy tính.

Kể từ khi được giới thiệu, nhiều phiên bản cải tiến đã lần lượt ra đời, để giải quyết những hạn chế và nâng cao hiệu suất cũng như tính ứng dụng của thuật toán. YOLO có thể không là thuật toán tốt nhất nhưng nó là thuật toán nhanh nhất trong các mô hình Object Detection, có thể đạt tốc độ xử lý gần như real time mà độ chính xác không quá giảm so với những model cùng thời [1]. Tên gọi "You Only Look Once" phản ánh đặc điểm nổi bật trong cách hoạt động của thuật toán này, đó là mô hình chỉ cần nhìn một lần là có thể phát hiện ra vật thể. Khác với các hệ thống phát hiện đối tượng truyền thống, vốn dựa trên việc sử dụng mô hình phân loại để nhận diện đối tượng tại từng vị trí trong ảnh, YOLO tiếp cận vấn đề theo hướng toàn diện hơn.

Các phương pháp như Mô hình Bộ phận Biến dạng (DPM) thường áp dụng kỹ thuật cửa sổ trượt để dò tìm vị trí đối tượng bằng cách quét qua toàn bộ hình ảnh. Ngược lại, YOLO xử lý toàn bộ hình ảnh trong một lần, coi phát hiện đối tượng là một bài toán hồi quy đơn giản và đưa ra dự đoán tổng thể [1]. 1 Sơ đồ minh họa thời gian ra mắt các đời YOLO Một trong những đặc điểm mang đến sự thành công của YOLO cũng như là sự khác biệt của nó so với các mô hình Object Detection vào thời điểm đó là YOLO sử dụng một mạng neural tích chập CNN duy nhất để dữ đoán vị trí và lớp các đối tượng trong ảnh, YOLO có thể đồng thời dự đoán các hộp giới hạn và xác suất lớp của đối tượng trong ảnh. Thuật toán này được huấn luyện trực tiếp trên toàn bộ hình ảnh và tập trung vào việc giải quyết bài toán hồi quy, giúp loại bỏ các bước xử lý phức tạp và tối ưu hóa tốc độ xử lý [1].

❖ Lịch sử của YOLO − YOLOv1: Xuất hiện vào năm 2015, phiên bản đầu tiên của YOLO đã được giới thiệu như một mô hình phát hiện đối tượng một giai đoạn.