Tổng quan nghiên cứu

Sự bùng nổ của hơn 1 tỷ camera giám sát an ninh trên toàn cầu đang tạo ra lượng dữ liệu thị giác khổng lồ mỗi ngày. Tuy nhiên, các giải pháp truyền thống dựa trên việc truyền toàn bộ luồng video thô về máy chủ đám mây để xử lý tập trung đang gặp phải thách thức lớn về băng thông mạng, với lưu lượng tiêu thụ lên tới hàng chục Gbps và độ trễ truyền dẫn thường vượt quá 2 đến 3 giây. Điều này làm giảm đáng kể khả năng phản ứng theo thời gian thực đối với các tình huống khẩn cấp, đồng thời làm phát sinh chi phí hạ tầng lưu trữ và dấy lên lo ngại về an toàn thông tin cá nhân.

Luận văn thạc sĩ chuyên ngành Mạng máy tính và An toàn thông tin tại Đại học Bách Khoa Hà Nội tập trung giải quyết bài toán cốt lõi: Thiết kế và hiện thực hóa giải pháp trao đổi dữ liệu hai chiều hiệu năng cao giữa thiết bị biên và đám mây trong hệ thống phân tích video thông minh thông qua cơ chế Publish/Subscribe (Pub/Sub) trên nền tảng Apache Kafka. Đề tài hướng tới việc chỉ trích xuất và truyền tải siêu dữ liệu (metadata) dạng văn bản có cấu trúc thay vì video thô, đồng thời cung cấp khả năng điều khiển, cấu hình và giám sát thiết bị từ xa.

Nghiên cứu được triển khai thử nghiệm trong khung thời gian 6 tháng (từ cuối năm 2021 đến tháng 04/2022) tại Trung tâm An toàn an ninh thông tin, Trường Công nghệ Thông tin và Truyền thông. Về mặt giá trị ứng dụng, mô hình đề xuất đã chứng minh khả năng cắt giảm hơn 90% nhu cầu băng thông mạng đường truyền, đồng thời duy trì độ trễ truyền dữ liệu ổn định ở mức dưới 1 giây. Đây là nền tảng kỹ thuật quan trọng phục vụ các bài toán quy mô lớn như thành phố thông minh, giám sát giao thông tự động và kiểm soát an ninh khu vực trọng yếu.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên sự giao thoa của ba trụ cột lý thuyết công nghệ hiện đại:

Thứ nhất, mô hình kiến trúc lai kết hợp giữa Điện toán biên (Edge Computing) và Điện toán đám mây (Cloud Computing). Mô hình này phân định rõ ràng ranh giới xử lý: các máy tính nhúng tại biên thực hiện suy luận học sâu (Deep Learning Inference) để phát hiện và bám vết đối tượng trực tiếp từ luồng RTSP của camera, trong khi hệ thống đám mây đảm nhận việc tổng hợp sự kiện nghiệp vụ phức tạp và lưu trữ lâu dài.

Thứ hai, mô hình truyền thông điệp Publish/Subscribe (Pub/Sub) so với Message Queue truyền thống. Khác với Message Queue vốn chỉ cho phép một consumer duy nhất xử lý mỗi bản tin rồi xóa bỏ, mô hình Pub/Sub cho phép phân phối đồng thời một thông điệp tới nhiều ứng dụng độc lập (multi-subscribers) mà vẫn bảo toàn tuyệt đối thứ tự thời gian của dữ liệu thông qua cơ chế log phân tán.

Thứ ba, nền tảng phân tán Apache Kafka với kiến trúc gồm Kafka Broker, Topic, Partition, Producer và Consumer. Kafka hoạt động như một hệ thống streaming bền vững nhờ cơ chế ghi đĩa tuần tự (sequential I/O) và tái phân bổ tải linh hoạt, cho phép xử lý hàng trăm nghìn thông điệp mỗi giây với khả năng chịu lỗi cao.

Bên cạnh đó, nghiên cứu tích hợp bộ công cụ NVIDIA DeepStream SDK để tối ưu hóa pipeline xử lý video thời gian thực trên GPU và áp dụng các cơ chế an toàn thông tin như mã hóa kênh truyền TLS 2 chiều, xác thực SASL và phân quyền truy cập thông qua ACL.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp kết hợp giữa phân tích mô hình hóa lý thuyết và thực nghiệm xây dựng hệ thống hoàn chỉnh.

Nguồn dữ liệu thử nghiệm bao gồm luồng video thời gian thực từ 2 camera giám sát vật lý: camera Hikvision DS-2CD2121G0-I (độ phân giải Full HD 1080p, chuẩn nén H.264/H.265+) và camera Dahua C15 (độ phân giải 1.3MP 960p, tốc độ 25 đến 30 khung hình/giây). Cỡ mẫu dữ liệu bao gồm hàng chục nghìn khung hình video thực tế ghi nhận các hoạt động di chuyển của con người trong điều kiện ánh sáng đa dạng.

Phương pháp chọn mẫu có chủ đích được áp dụng nhằm đánh giá khả năng tương thích của hệ thống với các chủng loại camera IP phổ biến trên thị trường, được kết nối qua giao thức RTSP trong mạng cục bộ LAN và liên kết tới hạ tầng đám mây Google Cloud Platform qua mạng Internet thông thường.

Lý do lựa chọn Apache Kafka làm hạt nhân truyền tin thay vì HTTP REST hay RabbitMQ xuất phát từ yêu cầu hệ thống phải hỗ trợ thông lượng lớn, lưu trữ đệm tin cậy khi xảy ra sự cố gián đoạn đường truyền và khả năng mở rộng phân vùng (partition) độc lập cho từng luồng dữ liệu camera mà không gây nghẽn cổ chai hệ thống.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm trên hệ thống kết hợp giữa máy tính nhúng NVIDIA Jetson AGX Xavier và cụm máy chủ Google Cloud Platform đã ghi nhận 4 kết quả nổi bật:

Thứ nhất, độ trễ truyền dữ liệu siêu dữ liệu (metadata) từ thiết bị biên về trung tâm phân tích đạt mức trung bình dưới 1 giây, dao động trong khoảng 150ms đến 400ms. Mức trễ này hoàn toàn đáp ứng tiêu chuẩn xử lý thời gian thực cho các kịch bản cảnh báo xâm nhập khu vực cấm.

Thứ hai, việc tổ chức kênh truyền thông điệp theo mô hình Topic và Partition đạt độ tin cậy và khả năng cách ly 100%. Luận văn đã khởi tạo thành công 4 topic cho một thiết bị biên mang mã định danh 1420220024735. Trong đó, topic metadata được phân chia thành 2 partition riêng biệt để xử lý song song luồng dữ liệu của 2 camera, giúp ngăn chặn triệt để tình trạng tranh chấp tài nguyên đọc/ghi.

Thứ ba, cơ chế giám sát từ xa hoạt động chính xác với chu kỳ gửi báo cáo telemetry đều đặn 5 giây một lần. Phân hệ quản lý trung tâm (CMS) liên tục cập nhật được các chỉ số vận hành trọng yếu của thiết bị biên như tỷ lệ chiếm dụng RAM, CPU, xung nhịp GPU, nhiệt độ bo mạch và thời gian hoạt động liên tục (uptime).

Thứ tư, tối ưu hóa không gian lưu trữ đệm trên Kafka Broker hiệu quả với chính sách dọn dẹp dung lượng cố định: topic log lưu trữ 7 ngày (giới hạn 1 GB), topic monitor lưu trữ 1 ngày (giới hạn 1 GB), topic metadata lưu trữ 1 ngày (giới hạn 2 GB) và topic control lưu trữ 1 ngày (giới hạn 1 GB). Thiết lập này giúp tiết kiệm 85% dung lượng đĩa so với cơ chế lưu log không kiểm soát.

Thảo luận kết quả

Khi phân tích dữ liệu hiệu năng, kết quả vận hành có thể được trình bày rõ nét qua các bảng phân bổ partition và biểu đồ thông lượng truyền tải. Biểu đồ đường thể hiện rằng khi số lượng đối tượng xuất hiện trong khung hình tăng từ 1 lên 10 người, thông lượng tin nhắn dạng JSON tăng tương ứng từ 25 msg/s lên 250 msg/s nhưng độ trễ truyền nhận của Kafka Broker vẫn duy trì ổn định dưới 0,5 giây nhờ cơ chế zero-copy và phân vùng dữ liệu tối ưu.

Khả năng điều khiển hai chiều được chứng minh khi người quản trị kích hoạt lệnh chạy mô-đun DeepStream từ giao diện Web của CMS. Lệnh điều khiển được gửi qua topic control và Agent phía biên đã tiếp nhận, khởi chạy ứng dụng thành công chỉ sau 350ms.

So với các giải pháp truyền video tập trung truyền thống, việc chuyển đổi luồng dữ liệu thô thành siêu dữ liệu chứa tọa độ hộp bao (bounding box), mã định danh theo vết và nhãn phân loại đã giúp giảm tải hơn 95% áp lực đường truyền Internet. Đồng thời, cấu trúc này cho phép nhiều ứng dụng nghiệp vụ khác nhau cùng đăng ký đọc một nguồn metadata để thực hiện phân tích song song mà không làm gia tăng tải xử lý trên thiết bị biên.

Đề xuất và khuyến nghị

Dựa trên các kết quả đạt được, luận văn đưa ra 4 khuyến nghị then chốt nhằm hoàn thiện và nhân rộng giải pháp:

Thứ nhất, tích hợp hoàn chỉnh hệ thống bảo mật đa lớp cho toàn bộ các kênh truyền thông điệp. Cần kích hoạt xác thực hai chiều TLS/SSL giữa Kafka Client và Broker, đồng thời áp dụng cơ chế xác thực SASL/SCRAM kết hợp danh sách kiểm soát quyền truy cập ACL để đảm bảo 100% các kết nối qua mạng Internet công cộng không bị nghe lén hoặc giả mạo. Mục tiêu triển khai trong 3 tháng, do đội ngũ kỹ sư an toàn thông tin phụ trách.

Thứ hai, mở rộng quy mô thử nghiệm thực tế lên cụm 50 đến 100 camera giám sát tại các hạ tầng giao thông quy mô lớn, ví dụ như Cảng hàng không quốc tế Nội Bài. Đích ngắm là kiểm thử thông lượng hệ thống đạt ngưỡng trên 10.000 thông điệp/giây với độ sẵn sàng 99,99% trong vòng 6 đến 12 tháng, do nhóm nghiên cứu phối hợp cùng doanh nghiệp công nghệ thực hiện.

Thứ ba, xây dựng tính năng tự động co giãn (auto-scaling) cho các phân vùng Kafka Topic và Consumer Group. Khi lưu lượng khung hình hoặc số lượng camera tại biên gia tăng đột biến, hệ thống cần tự động cấp phát tài nguyên để giữ mức tải CPU của thiết bị Jetson luôn dưới ngưỡng an toàn 75%, do kỹ sư hệ thống hoàn thiện trong thời gian 4 tháng.

Thứ tư, chuẩn hóa giao diện lập trình ứng dụng (RESTful API và gRPC) nhằm kết nối liền mạch với các hệ thống quản lý video (VMS) và nền tảng điều hành đô thị thông minh (IOC) của bên thứ ba, rút ngắn thời gian tích hợp hệ thống xuống dưới 2 tuần cho mỗi dự án mới, do nhóm phát triển phần mềm đảm trách.

Đối tượng nên tham khảo luận văn

Luận văn là tài liệu tham khảo giá trị cho 4 nhóm đối tượng cụ thể:

Nhóm thứ nhất là các Kỹ sư AI và Hệ thống nhúng (Edge AI Engineers). Luận văn cung cấp hướng dẫn chi tiết về cách xây dựng pipeline phân tích video bằng NVIDIA DeepStream SDK trên dòng vi xử lý Jetson Xavier, cũng như kỹ thuật đóng gói và đồng bộ siêu dữ liệu suy luận theo thời gian thực.

Nhóm thứ hai là các Kiến trúc sư Dữ liệu và Đám mây (Cloud & Data Architects). Nhóm đối tượng này có thể tham khảo phương pháp thiết kế hệ thống truyền thông điệp phân tán hiệu năng cao với Apache Kafka, cách cấu hình phân chia Topic/Partition và chính sách lưu trữ đệm cho dữ liệu IoT.

Nhóm thứ ba là các Đơn vị tích hợp hệ thống giám sát an ninh và Đô thị thông minh (System Integrators). Luận văn mang đến giải pháp thực tiễn giúp nâng cấp hệ thống camera IP sẵn có thành hệ thống giám sát thông minh mà không cần thay thế phần cứng camera, giúp tiết kiệm tới 90% chi phí băng thông mạng.

Nhóm thứ tư là các Học viên cao học và Nghiên cứu sinh ngành Mạng máy tính, An toàn thông tin và Khoa học máy tính. Đây là tài liệu mẫu mực về việc kết hợp giữa lý thuyết truyền tin phân tán, bảo mật dữ liệu và triển khai thực nghiệm trên nền tảng đám mây Google Cloud Platform.

Câu hỏi thường gặp

Hệ thống có ưu điểm gì vượt trội so với giải pháp truyền video thô về đám mây truyền thống?

Giải pháp giúp giảm hơn 90% dung lượng băng thông mạng nhờ việc xử lý suy luận AI trực tiếp tại biên và chỉ truyền tải siêu dữ liệu dạng text có cấu trúc. Độ trễ truyền nhận đạt dưới 1 giây, khắc phục triệt để tình trạng nghẽn mạng và bảo vệ quyền riêng tư hình ảnh.

Tại sao luận văn lại lựa chọn Apache Kafka thay vì RabbitMQ hay các giải pháp Message Queue khác?

Apache Kafka được thiết kế chuyên biệt cho việc xử lý luồng dữ liệu liên tục với thông lượng cực lớn và khả năng lưu trữ đệm bền vững trên đĩa. Cơ chế Pub/Sub của Kafka cho phép nhiều dịch vụ phân tích cùng đăng ký nhận một luồng dữ liệu từ một camera mà không làm mất thông điệp.

Khi mất kết nối Internet giữa thiết bị Edge AI và Cloud, dữ liệu có bị mất mát không?

Dữ liệu không bị mất nhờ cơ chế đệm tin cậy của Agent và khả năng lưu trữ cục bộ tạm thời trên bộ nhớ eMMC 32GB của Jetson Xavier. Ngay khi đường truyền Internet được khôi phục, các thông điệp metadata và telemetry sẽ tự động được gửi bù về Kafka Broker theo đúng thứ tự thời gian.

Cần thực hiện những bước nào khi muốn bổ sung thêm một camera giám sát mới vào hệ thống?

Người quản trị chỉ cần cấu hình luồng RTSP của camera mới vào tệp cấu hình DeepStream trên thiết bị biên, sau đó khởi tạo thêm một partition mới trên topic metadata tương ứng thông qua công cụ quản trị CMAK mà không cần phải tái cấu trúc toàn bộ hệ thống đang chạy.

Thiết bị biên được quản lý và cập nhật cấu hình từ xa như thế nào?

Mỗi thiết bị biên được cài đặt một chương trình Agent nền tảng Python chạy dưới dạng systemd service. Agent lắng nghe các lệnh từ topic control để thực hiện các thao tác từ xa như khởi động lại, xóa bộ nhớ đệm, cập nhật tệp cấu hình hoặc bật tắt ứng dụng DeepStream theo lệnh từ CMS.

Kết luận

Nghiên cứu đã giải quyết thành công bài toán truyền tải và quản trị dữ liệu trong hệ thống phân tích video thông minh thông qua 5 đóng góp trọng tâm:

  • Thiết kế hoàn chỉnh kiến trúc trao đổi dữ liệu hai chiều tối ưu giữa thiết bị biên và đám mây dựa trên nền tảng phân tán Apache Kafka.
  • Hiện thực hóa thành công việc trích xuất và truyền tải siêu dữ liệu metadata thời gian thực từ NVIDIA DeepStream với độ trễ dưới 1 giây.
  • Xây dựng giải pháp giám sát và điều khiển tập trung thiết bị biên từ xa thông qua các kênh thông điệp chuyên biệt với chu kỳ 5 giây.
  • Chứng minh khả năng tương thích cao với hạ tầng camera giám sát IP sẵn có, giúp tiết kiệm hơn 90% chi phí băng thông đường truyền.
  • Định hình lộ trình mở rộng quy mô rõ ràng hướng tới triển khai tại các sân bay, nhà máy và đô thị thông minh trong 6 đến 12 tháng tới.

Các tổ chức, doanh nghiệp và nhà nghiên cứu quan tâm đến việc tối ưu hóa hạ tầng giám sát an ninh thông minh nên áp dụng ngay mô hình kiến trúc này để nâng cao hiệu suất vận hành và tối ưu chi phí đầu tư.