Tổng quan nghiên cứu
Trong kỷ nguyên số hóa và tự động hóa, các hệ thống camera giám sát hiện trường đóng vai trò then chốt trong công tác an ninh, quản lý giao thông và vận hành đô thị thông minh. Một thách thức kỹ thuật lớn là lưu lượng dữ liệu video thu nhận từ camera có dung lượng khổng lồ, đòi hỏi băng thông truyền dẫn rất cao và chiếm tới hơn 70% tài nguyên mạng nếu không qua xử lý nén. Nếu xử lý truyền trực tiếp dữ liệu thô, chi phí hạ tầng đường truyền sẽ tăng vọt, đồng thời gây quá tải cho các trung tâm điều khiển khi phải vận hành liên tục 24/7.
Nghiên cứu này giải quyết bài toán cấp bách trên bằng cách tập trung thiết kế mô-đun tái tạo hình ảnh trong hệ thống nén ảnh thông minh, ứng dụng thuật toán nhận biết chuyển động Sigma-Delta trên nền tảng phần cứng tái cấu trúc FPGA. Mục tiêu cụ thể của luận văn là hiện thực hóa kiến trúc phần cứng và phần mềm tích hợp, đảm bảo khả năng xử lý chuỗi hình ảnh liên tiếp với tốc độ tối thiểu 25 khung hình trên giây (fps), đáp ứng chuẩn xác các yêu cầu nghiêm ngặt về độ trễ thời gian thực.
Phạm vi nghiên cứu được thực hiện thực nghiệm tại Phòng thí nghiệm mục tiêu Hệ thống tích hợp thông minh (SIS), Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội vào năm 2013. Luận văn đã xây dựng thành công giải pháp đồng thiết kế phần cứng kết hợp phần mềm trên vi xử lý nhúng MicroBlaze của hãng Xilinx và chuẩn nén JPEG phổ biến. Kết quả này mang lại ý nghĩa kinh tế và kỹ thuật to lớn, giúp giảm khoảng 60% băng thông đường truyền Ethernet, đồng thời cho phép triển khai hàng chục cụm camera giám sát hoạt động độc lập mà không cần trang bị máy tính xử lý cồng kềnh tại từng vị trí lắp đặt.
Cơ sở lý thuyết và phương pháp nghiên cứu
Khung lý thuyết áp dụng
Nghiên cứu được xây dựng trên hai nền tảng lý thuyết cốt lõi là lý thuyết phát hiện chuyển động trong chuỗi video và lý thuyết nén dữ liệu hình ảnh kỹ thuật số theo tiêu chuẩn quốc tế:
Thứ nhất, mô hình ước lượng chuyển động phi tuyến Sigma-Delta là biến thể nâng cao của phương pháp trừ nền. Khác với các phương pháp trừ nền tĩnh đơn giản, thuật toán Sigma-Delta hoạt động dựa trên nguyên lý tích phân tăng giảm từng đơn vị. Mô hình xác định sự sai khác tuyệt đối giữa điểm ảnh hiện tại và điểm ảnh ước lượng, đồng thời liên tục cập nhật tham số phân tán động trong phạm vi từ 1 đến 4 để thiết lập ngưỡng thích nghi theo thời gian. Ngưỡng này dao động trong biên độ giá trị từ 2 đến 255 đối với định dạng dữ liệu 8-bit, giúp hệ thống lọc bỏ hiệu quả các biến động chiếu sáng nhẹ từ môi trường bên ngoài.
Thứ hai, khung lý thuyết nén ảnh tiêu chuẩn JPEG (dựa trên khuyến nghị ITU-T81 công bố vào tháng 9 năm 1992) với các giai đoạn biến đổi toán học chặt chẽ. Hệ thống sử dụng không gian màu YCbCr thay thế cho không gian RGB truyền thống, tận dụng đặc tính thị giác con người nhạy cảm với độ chói Y hơn độ màu Cb và Cr. Tiếp đó, phép biến đổi Cosine rời rạc (DCT) trên các khối ma trận 8x8 điểm ảnh (được đề xuất bởi Ahmed, Natarajan và Rao năm 1974) chuyển đổi dữ liệu từ miền không gian sang miền tần số, tập trung năng lượng vào hệ số một chiều DC và các hệ số xoay chiều AC tần số thấp. Cuối cùng, dữ liệu được lượng tử hóa ma trận 64 phần tử, quét zigzag và nén entropy bằng kết hợp mã hóa độ dài chạy (RLC) cùng mã hóa Huffman.
Phương pháp nghiên cứu
Nghiên cứu sử dụng phương pháp mô hình hóa toán học kết hợp thiết kế thử nghiệm thực chứng trên phần cứng chuyên dụng:
Nguồn dữ liệu thực nghiệm được thu thập từ hơn 500 chuỗi khung hình video camera giám sát thực tế trong các điều kiện môi trường trong nhà và ngoài trời. Phương pháp chọn mẫu áp dụng là chọn mẫu xác suất phân tầng, chia đều thành hai nhóm: nhóm cảnh nền tĩnh có biến động ánh sáng và nhóm cảnh có vật thể chuyển động liên tục với mật độ từ 2 đến 5 đối tượng trong khung hình. Cỡ mẫu này đảm bảo tính đại diện cao để kiểm tra độ tin cậy của thuật toán.
Lý do lựa chọn phương pháp phân tích đồng thiết kế phần cứng và phần mềm là nhằm tối ưu hóa hiệu năng tính toán. Khối giải mã JPEG đòi hỏi tính linh hoạt cao được lập trình bằng phần mềm chạy trên hệ điều hành của vi xử lý nhúng 32-bit MicroBlaze. Ngược lại, khối nhận dạng chuyển động Sigma-Delta và khối tổng hợp tái tạo hình ảnh Invert đòi hỏi xử lý song song tốc độ cao được thiết kế trực tiếp bằng ngôn ngữ mô tả phần cứng trên chip FPGA. Toàn bộ quá trình nghiên cứu, mô phỏng thuật toán trên máy tính và tổng hợp mạch thực tế được thực hiện liên tục trong thời gian 12 tháng từ tháng 9 năm 2012 đến tháng 9 năm 2013.
Kết quả nghiên cứu và thảo luận
Những phát hiện chính
Quá trình mô phỏng và thực thi thực tế mô-đun tái tạo hình ảnh mang lại những kết quả kỹ thuật nổi bật:
Thứ nhất, thuật toán nhận biết chuyển động Sigma-Delta đạt độ chính xác phân vùng đối tượng trên 95% ở tốc độ xử lý ổn định 30 fps, vượt mức tiêu chuẩn thời gian thực 25 fps. Mức tiêu thụ tài nguyên bộ nhớ đệm của thuật toán giảm hơn 50% so với phương pháp thống kê Gaussian Mixture truyền thống.
Thứ hai, mô-đun nén ảnh JPEG với cấu hình lấy mẫu màu 4:2:0 đã cắt giảm 50% dữ liệu thành phần sắc độ mà không làm suy giảm chất lượng cảm nhận thị giác. Dung lượng tệp tin sau khi qua các bước biến đổi DCT ma trận 8x8, lượng tử hóa và mã hóa Huffman giảm trung bình từ 10 đến 15 lần so với kích thước tệp ảnh thô ban đầu.
Thứ ba, khối giải mã Decode trên nền vi xử lý MicroBlaze và khối tổng hợp hình ảnh Invert trên FPGA hoạt động ăn khớp với tần số hoạt động 100 MHz. Khi đầu vào khung hình không có chuyển động, hệ thống tự động giữ nguyên dữ liệu nền cũ, giúp tiết kiệm tới 80% lưu lượng băng thông truyền tải trên mạng Ethernet.
Thứ tư, thời gian trễ xử lý tái tạo toàn bộ một khung hình kích thước chuẩn chỉ mất khoảng 33 mili-giây, hoàn toàn tương thích với việc hiển thị trực tiếp lên các màn hình giám sát trung tâm mà không xuất hiện hiện tượng giật hoặc rách hình.
Thảo luận kết quả
Hiệu năng ấn tượng của hệ thống xuất phát từ bản chất tính toán tối giản của thuật toán Sigma-Delta. Thay vì phải thực hiện hàng loạt phép tính nhân ma trận phức tạp và tính hàm mũ phân phối xác suất như mô hình thống kê Gaussian của Stauffer và Grimson, thuật toán Sigma-Delta chỉ sử dụng các phép toán so sánh, cộng 1 hoặc trừ 1 trên từng điểm ảnh. Điều này giúp mạch phần cứng tiết kiệm tối đa các khối nhân logic chuyên dụng DSP trên chip FPGA.
Khi so sánh với thuật toán Frame Differencing, thuật toán Sigma-Delta giải quyết triệt để hiện tượng mất thông tin ở phần lòng của đối tượng chuyển động có màu sắc đồng nhất. Đồng thời, cơ chế tự động cập nhật tham số phân tán giúp hệ thống loại bỏ các nhiễu rung lắc nhỏ của camera và chuyển động nền vô nghĩa như lá cây đung đưa trước gió.
Các kết quả thực nghiệm có thể được biểu diễn trực quan qua bảng tổng hợp sử dụng tài nguyên phần cứng FPGA (chiếm dưới 35% số lượng bảng tra LUT và thanh ghi Flip-Flop của dòng chip kiểm thử) và biểu đồ đường thể hiện chỉ số chất lượng hình ảnh đỉnh trên nhiễu (PSNR) luôn duy trì ở mức cao trên 36 dB, khẳng định chất lượng hình ảnh sau giải mã tái tạo hoàn toàn đạt tiêu chuẩn quan sát thực tế.
Đề xuất và khuyến nghị
Dựa trên các kết quả đạt được, luận văn đưa ra 4 giải pháp công nghệ cụ thể nhằm hoàn thiện và thương mại hóa hệ thống:
Thứ nhất, nâng cấp tần số xung nhịp hoạt động của khối biến đổi IDCT trên FPGA từ 100 MHz lên 150 MHz bằng kỹ thuật phân luồng đường ống (pipelining), hướng tới mục tiêu nâng tốc độ xử lý đạt 45 fps cho các định dạng video độ nét cao, dự kiến hoàn thành trong lộ trình 6 tháng.
Thứ hai, bổ sung thuật toán lọc nhiễu không gian 2 chiều (bộ lọc trung vị 3x3) trực tiếp vào trước khối tạo nhãn chuyển động để triệt tiêu trên 90% nhiễu hạt trong điều kiện ánh sáng yếu, do đội ngũ kỹ sư phần cứng của phòng thí nghiệm thực hiện trong quý tới.
Thứ ba, chuẩn hóa giao tiếp mạng Ethernet trên bo mạch thành giao thức truyền phát video trực tuyến RTP/RTSP, đảm bảo hệ thống có thể kết nối đồng bộ với hơn 32 camera giám sát phân tán về một máy chủ trung tâm duy nhất trong vòng 12 tháng.
Thứ tư, các cơ quan quản lý giao thông và ban quản lý khu công nghiệp nên sớm ứng dụng thử nghiệm mô hình camera giám sát biên thông minh này nhằm cắt giảm 50% chi phí đầu tư máy chủ tại chỗ, đồng thời giảm áp lực băng thông cho hạ tầng mạng công cộng.
Đối tượng nên tham khảo luận văn
Nội dung luận văn mang lại giá trị thực tiễn và học thuật sâu sắc cho 4 nhóm đối tượng chính:
Nhóm thứ nhất là các kỹ sư thiết kế hệ thống nhúng và vi mạch viễn thông. Luận văn cung cấp bản thiết kế chi tiết về việc kết hợp vi xử lý mềm MicroBlaze với các khối IP phần cứng chuyên dụng trên nền tảng FPGA của hãng Xilinx.
Nhóm thứ hai là các nhà phát triển phần mềm thị giác máy tính và trí tuệ nhân tạo. Tài liệu là cẩm nang hữu ích về việc tối ưu hóa thuật toán phát hiện chuyển động thời gian thực với chi phí tính toán cực thấp.
Nhóm thứ ba là học viên cao học và nghiên cứu sinh chuyên ngành Kỹ thuật Điện tử - Viễn thông. Công trình cung cấp phương pháp luận nghiên cứu hoàn chỉnh, từ tổng quan lý thuyết, khảo sát các biến thể thuật toán đến thiết kế thực nghiệm và đánh giá số liệu khoa học.
Nhóm thứ tư là các đơn vị tích hợp giải pháp an ninh và giao thông thông minh. Tài liệu cung cấp cơ sở kỹ thuật tin cậy để xây dựng các trạm giám sát phân tán chi phí thấp, tiêu thụ điện năng dưới 5 W và vận hành độc lập không cần máy tính hỗ trợ.
Câu hỏi thường gặp
Thuật toán Sigma-Delta có ưu điểm gì vượt trội so với phương pháp trừ nền cổ điển? Thuật toán Sigma-Delta vượt trội nhờ khả năng tự động cập nhật cảnh nền theo thời gian thực chỉ bằng các phép toán cộng trừ đơn vị đơn giản. Thuật toán thích nghi nhanh với sự thay đổi độ sáng môi trường, duy trì ổn định tốc độ trên 25 fps và tiêu tốn rất ít bộ nhớ tạm so với các phương pháp trừ nền tĩnh.
Tại sao luận văn lại lựa chọn chuẩn nén JPEG mà không sử dụng các chuẩn nén video khác? Chuẩn JPEG dựa trên biến đổi DCT 8x8 là giải pháp nén ảnh tĩnh tối ưu, cấu trúc đơn giản, ít chiếm tài nguyên phần cứng và rất phổ biến trên các thiết bị số. Thiết kế bộ giải mã JPEG trên vi xử lý MicroBlaze giúp đơn giản hóa mạch phần cứng mà vẫn đảm bảo tỷ lệ nén cao từ 10 đến 15 lần.
Cấu hình lấy mẫu màu 4:2:0 trong hệ thống có làm giảm độ rõ nét của hình ảnh không? Cấu hình 4:2:0 chỉ giảm 50% độ phân giải ở hai kênh màu Cb và Cr theo cả chiều ngang và chiều dọc trong khi giữ nguyên 100% kênh độ chói Y. Do mắt người rất nhạy với độ sáng và kém nhạy với màu sắc, chất lượng hình ảnh quan sát được vẫn đạt chỉ số PSNR trên 36 dB mà mắt thường không thể phân biệt được sự suy hao.
Hệ thống có thể hoạt động độc lập mà không cần máy tính tại trạm quan sát không? Có, hệ thống được thiết kế hoàn chỉnh trên một chip FPGA duy nhất tích hợp cả vi xử lý MicroBlaze điều khiển và các khối logic tái tạo hình ảnh. Dữ liệu sau khi giải mã và tổng hợp có thể truyền thẳng tới màn hình hiển thị hoặc gửi qua cổng Ethernet về trung tâm mà không cần bất kỳ máy tính hỗ trợ nào tại hiện trường.
Làm thế nào để hệ thống loại bỏ các chuyển động giả như lá cây rung rinh hay dao động của camera? Thuật toán Sigma-Delta tích hợp tham số phân tán động Vt với hệ số khuếch đại thích ứng từ 1 đến 4. Khi xuất hiện các dao động nhỏ liên tục từ nền như lá cây hoặc rung nhẹ của camera, giá trị phân tán Vt tự động tăng lên để nâng ngưỡng nhận diện, từ đó loại trừ chính xác các báo động giả.
Kết luận
- Luận văn đã làm chủ và hiện thực hóa thành công thuật toán nhận biết chuyển động Sigma-Delta kết hợp chuẩn nén JPEG trên nền tảng FPGA.
- Mô-đun tái tạo hình ảnh đạt tốc độ xử lý ổn định 30 fps, đáp ứng hoàn hảo yêu cầu khắt khe về thời gian thực cho hệ thống giám sát.
- Kiến trúc đồng thiết kế phần cứng và phần mềm giúp giảm hơn 50% mức tiêu thụ tài nguyên logic so với các thiết kế thuần phần cứng truyền thống.
- Hệ thống hỗ trợ vận hành phân tán độc lập, giúp tiết kiệm khoảng 60% lưu lượng băng thông truyền dẫn qua mạng Ethernet.
- Lộ trình phát triển tiếp theo tập trung vào việc tích hợp bộ lọc trung vị 3x3 và nâng tần số hoạt động lên 150 MHz trong vòng 6 đến 12 tháng tới.
Các tổ chức, doanh nghiệp và nhà nghiên cứu quan tâm đến giải pháp xử lý hình ảnh nhúng hiệu năng cao nên tham khảo và khai thác ngay kiến trúc hệ thống này để tối ưu hóa chi phí cho các dự án giám sát an ninh và giao thông thông minh.