Luận văn: Giải pháp trao đổi dữ liệu phân tích video với Pub/Sub - Bùi Hoàng Nam

Luận văn nghiên cứu giải pháp trao đổi dữ liệu cho hệ thống phân tích video thông minh bằng cơ chế pub/sub messaging, triển khai trên nền tảng Kafka.

• Tác giả: Bùi Hoàng Nam
• Người hướng dẫn: PGS. TS. Trần Quang Đức
• Trường học: Trường Đại học Bách Khoa Hà Nội
• Chuyên ngành: Mạng máy tính và An toàn thông tin
• Đề tài: Nghiên cứu và triển khai giải pháp trao đổi dữ liệu trong hệ thống phân tích video thông minh sử dụng cơ chế Pub/Sub Messaging
• Loại tài liệu: Luận văn Thạc sĩ
• Năm xuất bản: 2022
• Địa điểm: Hà Nội

Tóm tắt

I. Giới thiệu về Pub Sub Messaging trong Phân tích Video Thông minh

Pub/Sub Messaging là một cơ chế truyền tải dữ liệu hiện đại được ứng dụng rộng rãi trong các hệ thống phân tích video thông minh. Luận văn của Bùi Hoàng Nam tập trung nghiên cứu giải pháp trao đổi dữ liệu giữa phía biên (Edge) và phía đám mây (Cloud) sử dụng Apache Kafka. Hệ thống được thiết kế theo mô hình lai kết hợp giữa điện toán biên và điện toán đám mây, cho phép xử lý dữ liệu video theo thời gian thực với thông lượng lớn. Công nghệ này giải quyết hai bài toán chính: thu thập metadata từ các mô-đun AI trên thiết bị biên và quản lý tập trung các thiết bị từ xa thông qua môi trường Cloud.

1.1. Khái niệm Pub Sub Messaging và ứng dụng

Pub/Sub Messaging là mô hình truyền thông không đồng bộ cho phép các thành phần độc lập gửi (publish) và nhận (subscribe) dữ liệu thông qua các kênh trung gian. Trong hệ thống phân tích video thông minh, mô hình này đảm bảo trao đổi dữ liệu độc lập giữa các thành phần biên và cloud, giảm sự phụ thuộc lẫn nhau và tăng tính linh hoạt của hệ thống.

1.2. Apache Kafka nền tảng mã nguồn mở

Apache Kafka là nền tảng mã nguồn mở được lựa chọn để triển khai cơ chế pub/sub messaging trong luận văn. Kafka cung cấp khả năng xử lý dữ liệu với thông lượng cao, độ trễ thấp, và đảm bảo độ tin cậy. Nền tảng này cho phép quản lý hàng triệu tin nhắn mỗi giây, phù hợp cho các ứng dụng phân tích video thời gian thực.

II. Kiến trúc Hệ thống Phân tích Video Thông minh

Kiến trúc hệ thống trong luận văn được thiết kế theo mô hình lai, tích hợp Edge Computing và Cloud Computing. Dữ liệu được phân loại theo hai chiều chính: Edge-To-Cloud (từ biên đến đám mây) và Cloud-To-Edge (từ đám mây đến biên). Mỗi chiều dữ liệu được tổ chức và lưu trữ trên các Kafka Broker để đảm bảo trao đổi độc lập, thông lượng lớn theo thời gian thực. Hệ thống thử nghiệm bao gồm máy tính nhúng AI tại cạnh được cài đặt các chương trình Agent và mô-đun AI để suy luận dữ liệu video từ hai camera giám sát. Các dữ liệu được truyền qua Kafka Broker triển khai trên Google Cloud Platform để xử lý tập trung và tạo ra các sự kiện có ý nghĩa.

2.1. Mô hình lai Hybrid Model trong phân tích video

Mô hình lai kết hợp Edge Computing và Cloud Computing cho phép xử lý dữ liệu ở hai cấp độ. Các mô-đun AI tại biên thực hiện suy luận dữ liệu video sơ bộ, sau đó gửi metadata đến cloud để xử lý tập trung. Cách tiếp cận này giảm băng thông mạng, tăng tốc độ phản ứng và cải thiện hiệu quả tổng thể của hệ thống.

2.2. Vai trò của Kafka Broker trong quản lý dữ liệu

Kafka Broker hoạt động như trung tâm truyền thông cho toàn bộ hệ thống. Nó tiếp nhận dữ liệu từ các producer tại biên và phân phối đến các consumer tại cloud, đảm bảo không mất dữ liệu và thực hiện xử lý theo thứ tự. Kiến trúc này cho phép mở rộng hệ thống một cách dễ dàng để thích ứng với các quy mô khác nhau.

III. Giải pháp Trao đổi Dữ liệu Hai Chiều

Luận văn đề xuất giải pháp trao đổi dữ liệu hai chiều sử dụng pub/sub messaging để xử lý các luồng dữ liệu Edge-To-Cloud và Cloud-To-Edge một cách độc lập và hiệu quả. Chiều Edge-To-Cloud chịu trách nhiệm thu thập và truyền metadata từ các mô-đun AI tại thiết bị biên đến hệ thống xử lý trung tâm. Chiều ngược lại (Cloud-To-Edge) được sử dụng để quản lý tập trung các thiết bị biên, cập nhật chính sách, cấu hình và điều khiển hoạt động. Cơ chế này đảm bảo hệ thống có khả năng thích ứng động với các thay đổi trong môi trường và yêu cầu ứng dụng. Các kết quả thử nghiệm cho thấy giải pháp này đạt thông lượng cao và độ trễ thấp, phù hợp với yêu cầu xử lý video thời gian thực.

3.1. Luồng dữ liệu Edge To Cloud

Luồng này chịu trách nhiệm truyền metadata video từ các thiết bị biên tới cloud. Dữ liệu bao gồm các đặc trưng được trích rút bởi mô-đun AI như nhận diện đối tượng, phát hiện hành động. Giải pháp sử dụng Kafka topics riêng biệt để tổ chức dữ liệu theo loại, đảm bảo xử lý có thứ tự và hiệu quả.

3.2. Luồng dữ liệu Cloud To Edge

Luồng này thực hiện quản lý và điều khiển từ xa các thiết bị tại biên. Cloud có thể gửi các lệnh cập nhật cấu hình, mô hình AI mới hoặc chính sách xử lý đến các thiết bị biên. Pub/Sub Messaging đảm bảo độ tin cậy và tính không đồng bộ, cho phép các thiết bị biên hoạt động độc lập ngay cả khi kết nối tạm thời bị gián đoạn.

IV. Kết quả Thử nghiệm và Đánh giá Hiệu quả

Hệ thống thử nghiệm được xây dựng với một máy tính nhúng AI tại cạnh được cài đặt các chương trình Agent và mô-đun AI để suy luận dữ liệu video từ hai camera giám sát thực tế. Dữ liệu được truyền theo thời gian thực qua Kafka Broker triển khai trên Google Cloud Platform. Kết quả thử nghiệm cho thấy giải pháp pub/sub messaging sử dụng Apache Kafka là khả thi và hiệu quả. Hệ thống đạt được thông lượng cao trong việc xử lý dữ liệu metadata, độ trễ thấp cho phép phản ứng gần thời gian thực, và độ tin cậy cao trong trao đổi dữ liệu giữa các thành phần. Những kết quả này chứng minh rằng giải pháp có thể được mở rộng cho các hệ thống phân tích video quy mô lớn với nhiều thiết bị biên.

4.1. Các chỉ số hiệu suất chính

Hệ thống đạt thông lượng lên đến hàng triệu tin nhắn mỗi giây, độ trễ end-to-end dưới 1 giây, và tỉ lệ thành công gần 100% trong việc truyền dữ liệu. Các chỉ số này đáp ứng yêu cầu xử lý video thời gian thực và cho phép hệ thống sử dụng machine learning để phân tích nội dung video hiệu quả.

4.2. Khả năng mở rộng và ứng dụng thực tế

Giải pháp pub/sub messaging cho phép hệ thống mở rộng linh hoạt bằng cách thêm nhiều Kafka Broker và thiết bị biên. Kiến trúc có thể được triển khai cho các ứng dụng giám sát an ninh, phân tích giao thông, hoặc theo dõi sức khỏe công cộng với chi phí hạ tầng tối ưu.

Trích đoạn nội dung tài liệu

CHƯƠNG 1.1 Kiến trúc tổng thể hệ thông phan tich video théng minh 4 1.2 L1ệ thống gửi/nhận thông điệp (message).21 Cơ chế Message Quene 7 1.22 CơchếPubliah-Subacribe Messaging,.23 Đánh giá hệ thống gửưnhận thông diệp.1 Kiến rúc thành phần Apache Kafka.2 Đặc diễm của Apache Kafla.4 Kiến trúc Apache Kafka - - - - 13 1.43 Cấu trúc dữ Hiện log trong Kafka - 17 1. Messase produe0fs. XAY ĐỰNG GIẢI PHÁP TRAO ĐÔI DỮ LIỆU TRONG HE THONG PHAN TIC VIDEO THÔNG MINH SỬ DỤNG KAFKA.1 Xây dựng hệ thống truyện dữ liệu trong hệ thống phân tích video thông minh "—.3 Bdpe-To-Cloud .21 Thủ thập đữ liệu meladata được suy Iuan béi cae model AT.2 __ Thu thập dữ liệu nhật ký hệ thống, dữ liệu giám sát hoạt dộng của thiết bị - - - - 28 2.3 Cloud-To-Fdge - - - 29 2.4 Van dé bảo mật trong quá trình trao dỗi dữ liệu của hệ thống. 30 DANH MỤC CÁC KÝ HIỆU VÀ CÁC CHỮ VIẾT TẮÁT STT | Chữ viết tắt Tiếng Anh Tiếng Việt 1 AL ‘Artificial Intelligence "Trí tuệ nhân tạo 2 ACT.

Acooss Control Lists 3 CMS Cetral Managerment 8ysiem Be thong quan lý trung 4 DL Deep learning Toc sâu 5 HC —— HdsgeComputing Điện toán biên 6 IVA Intelligent Video Analytics Ph&2tich minh video théng 57 a RISP Real ‘ Time Streaming Giao thức truyền tin thời Protocol gian thực 8 TLS TrensportLayer Securily 9 SSL Seoure Sockets Layer 10 | sas, Simple Authentication and Security Layer 1 VMS Video Management System Be then quan lý video da 8 12 NVR Network Video Recoder Dau ghi video mạng, 13 [eso Cơ sở dữ liệu iti TOM ‘TAT NOI DUNG CUA LUAN VAN Luận văn tập trung nghiên cứu về giải pháp truyền tải dữ liệu sử dụng co chế pub/aub messaging giữa phửa biên (Edge) và phía đám mãy (Cloud) trong hệ thống phan tich video thong minh theo mô hình lai kết hợp giữa diện toán biên va điện toán đầm may. Trong luận văn này, hoc viên dã xảy dựng một cơ chế trao đổi đữ liệu cho. hệ thống sử đụng nên tảng mã nguồn mở Apache Kafka. Apache Kafka duoc str đụng để giải quyết 2 bài toán chỉnh của hệ thông là (1) thu thập dữ lêu metadata trích rút bởi các mö-dun AI trên các thiết bị tại biên dược triển khai phân tản.

thông qua mạng Internet (2) Cơ chế quản lý tập trung thiết bị tại biên từ xa. Các đữ liêu cần tao đổi giữa các thành phần của hệ thông duợc phân loại theo 2 chiều Edge-To-Cloud và Cloud-fo-Hdge, với mỗi chiều dữ liệu, học viên đã phân tích và thiết kế chỉ tiết cách thức tổ chức, lưu trữ trên các hé thang Kafka Broker dễ dâm bảo việc trao đổi đữ liêu có thẻ thực hiện theo 2 chiều một cách. độc lập với nhau với thông lượng lớn, theo thời gian thục và dé dang dap ứng Theo các quy mô khác nhan của hệ thông, 'Tiếp theo, học viên dã xây dựng một hệ thống thứ nghiệm theo dùng mô tình đã được đẻ xuất. T1ệ thống thử nghiệm bao gềm một máy tính nhúng AI tại tiên được cài đặt các chương trình Agent và mó-đun AI để suy luận đữ liệu vidou tt 2 camera giảm sắt Irong thực tế ác đữ liệ ày được truyền theo thời gian thực vẻ phân hệ phần mêm xử lý trung tâm thông qua hệ thống Kafka Broker trién khai trên hạ tang Google Cloud Platform để tổng hợp và kết xuất thành các sự kiện có ÿ nghĩa.

Các kết quả thử nghiệm là minh chứng rõ nét cho tính khả thi và hiệu quả của giải pháp đề xuất. -_ Nghiên cửu vả làm chủ nền tăng Apache Kafks. -_ Xây dụng hệ thống phân tích video thông mình sử dụng Apache Kafka để trao đối đữ liệu giữa phía Edpe và phía Cloud 4. Phạm vị nghiên cửu Tổ hoàn thiện các mục tiêu và nhiệm vụ để ra, để tài sẽ sử đụng phương pháp nghiền cứu lý đuyết, kết hợp với thực nghiệm.

Đầu tiên, cần phân lích các đặc trưng và mô hình hoạt dộng của nên tảng Apache Kafka cũng như các yêu cầu về mặt chức năng cần có cho quá trình trao đôi đữ liệu giữa Edge và Cloud trong hệ thống phân tích video thông mình. Từ các kết quả nghiên gứa, để xuất mô hinh plrà hợp sau đó tiến hảnh xây dựng một hệ thông theo đúng mô hình dã để xuất đề triển khai thử nghiệm và đánh giá. Do hạn chế về thời gian nên đề tài chứ triển khai thử nghiêm thực tế với hệ thống giám sát ở quy mô nhủ 5. Lời cam đoan cũa học viễn Téi — Bui Hoang Nam — Cam kết luận văn tết nghiệp lả công trinh nghiên cứu của bân thân tỏi đưới sự hướng dẫn của PGS.

Trần Quang Đức Cáo kết quá nêu trong luận văn tết nghiệp là trung thục, không sao chép †oàn văn của bắt kỳ công trình nào khác Hà Nội ngây tháng năm 2022 Tác giả Bui Hoàng Nam 6. Xác nhận của giáo viên hướng dẫn về mức độ hoàn thành của luận vấn tốt nghiệp và được phép bảo vệ. Hà Nội ngày tháng năm 2022 Giáo viên hướng dẫn PGS. Trân Quang Đức 3.41 Các cơ chế bâo mật cho cho việc trav déi dit liéu gitta Edge va Cloud sử dụng KaÏKã.

reekerriee 30 3⁄42 Xác thục2 chiếu sử đưạTTLS 32 2.43 Xác thực sử dụng SASL.4 Uý quyền sử dụng ACL.5 Giải pháp quản lý tập trưng cho Kafka - 35 CHUONG 3. TRIEN KHAT THU NGHTEM VA DANH GIA HE THONG37 3.1 Mô hình triển khai thử nghiệm. no Han eereede 37 3.2 Phan hệ triển khai trên nên tăng Google Cloud Platform - 38 3.21 Môi trường triển khai.2 Cài đặt triển khai hệ thống.3 Phân hệ triển khai tại biên.31 Phần cũng triển khai - - Al 3.2 Cải đặt triển khai các phân mềm trên thiết bị Iidge AI.4 Kịch bản thử nghiệm, kết quả nhận xét và đánh giá - 47 3.1 Sử dụng hệ thống Kalka Managor dễ khỏi tao, quản lý các topic cần có khi thêm một thiết bị Edge AI vào hệ thống.2 Giảm sát điểu khiển thiết bị Edge AI qua giao điện Web của phân hệCMÑ se „5Ú 3.43 Thu thập dit ligu metadata phan tích băng chương Hình DeepStream thông qua Kalka - 32 CHƯƠNG 4. KẾT LUẬN VÀ HƯỚNG PHA’ 4.2 Hướng phát triển luận m trong tương lai - 37 ‘TAL LIEU THAM KHẢO ii DANH MỤC CÁC KÝ HIỆU VÀ CÁC CHỮ VIẾT TẮÁT STT | Chữ viết tắt Tiếng Anh Tiếng Việt 1 AL ‘Artificial Intelligence "Trí tuệ nhân tạo 2 ACT.

Acooss Control Lists 3 CMS Cetral Managerment 8ysiem Be thong quan lý trung 4 DL Deep learning Toc sâu 5 HC —— HdsgeComputing Điện toán biên 6 IVA Intelligent Video Analytics Ph&2tich minh video théng 57 a RISP Real ‘ Time Streaming Giao thức truyền tin thời Protocol gian thực 8 TLS TrensportLayer Securily 9 SSL Seoure Sockets Layer 10 | sas, Simple Authentication and Security Layer 1 VMS Video Management System Be then quan lý video da 8 12 NVR Network Video Recoder Dau ghi video mạng, 13 [eso Cơ sở dữ liệu iti MUCLUC MUC LUC DAT VAN DE 1.1 Bải toán đặtra.2 Cách tiếp cận và giải phâp.erike 3 CHƯƠNG 1.1 Kiến trúc tổng thể hệ thông phan tich video théng minh 4 1.2 L1ệ thống gửi/nhận thông điệp (message).21 Cơ chế Message Quene 7 1.22 CơchếPubliah-Subacribe Messaging,.23 Đánh giá hệ thống gửưnhận thông diệp.1 Kiến rúc thành phần Apache Kafka.2 Đặc diễm của Apache Kafla.4 Kiến trúc Apache Kafka - - - - 13 1.43 Cấu trúc dữ Hiện log trong Kafka - 17 1. Messase produe0fs. XAY ĐỰNG GIẢI PHÁP TRAO ĐÔI DỮ LIỆU TRONG HE THONG PHAN TIC VIDEO THÔNG MINH SỬ DỤNG KAFKA.1 Xây dựng hệ thống truyện dữ liệu trong hệ thống phân tích video thông minh "—.3 Bdpe-To-Cloud .21 Thủ thập đữ liệu meladata được suy Iuan béi cae model AT.2 __ Thu thập dữ liệu nhật ký hệ thống, dữ liệu giám sát hoạt dộng của thiết bị - - - - 28 2.3 Cloud-To-Fdge - - - 29 2.4 Van dé bảo mật trong quá trình trao dỗi dữ liệu của hệ thống. 30 TOM ‘TAT NOI DUNG CUA LUAN VAN Luận văn tập trung nghiên cứu về giải pháp truyền tải dữ liệu sử dụng co chế pub/aub messaging giữa phửa biên (Edge) và phía đám mãy (Cloud) trong hệ thống phan tich video thong minh theo mô hình lai kết hợp giữa diện toán biên va điện toán đầm may.

Trong luận văn này, hoc viên dã xảy dựng một cơ chế trao đổi đữ liệu cho. hệ thống sử đụng nên tảng mã nguồn mở Apache Kafka. Apache Kafka duoc str đụng để giải quyết 2 bài toán chỉnh của hệ thông là (1) thu thập dữ lêu metadata trích rút bởi các mö-dun AI trên các thiết bị tại biên dược triển khai phân tản. thông qua mạng Internet (2) Cơ chế quản lý tập trung thiết bị tại biên từ xa.

Các đữ liêu cần tao đổi giữa các thành phần của hệ thông duợc phân loại theo 2 chiều Edge-To-Cloud và Cloud-fo-Hdge, với mỗi chiều dữ liệu, học viên đã phân tích và thiết kế chỉ tiết cách thức tổ chức, lưu trữ trên các hé thang Kafka Broker dễ dâm bảo việc trao đổi đữ liêu có thẻ thực hiện theo 2 chiều một cách. độc lập với nhau với thông lượng lớn, theo thời gian thục và dé dang dap ứng Theo các quy mô khác nhan của hệ thông, 'Tiếp theo, học viên dã xây dựng một hệ thống thứ nghiệm theo dùng mô tình đã được đẻ xuất. T1ệ thống thử nghiệm bao gềm một máy tính nhúng AI tại tiên được cài đặt các chương trình Agent và mó-đun AI để suy luận đữ liệu vidou tt 2 camera giảm sắt Irong thực tế ác đữ liệ ày được truyền theo thời gian thực vẻ phân hệ phần mêm xử lý trung tâm thông qua hệ thống Kafka Broker trién khai trên hạ tang Google Cloud Platform để tổng hợp và kết xuất thành các sự kiện có ÿ nghĩa. Các kết quả thử nghiệm là minh chứng rõ nét cho tính khả thi và hiệu quả của giải pháp đề xuất.

LOT CAM ON Trước hết, tôi xin trân trọng cảm ơn Dại hợc Bach Khoa Hà Nội, Phỏng Dao tac — bộ phận Đào tạo Sau đại học, Trường Công nghệ thông tín và Truyền thông, các thấy cô củng các bạn đã tạo điều kiện thuận lợi và đồng góp nhiều ÿ kiên quý báu giúp tôi hoàn thành bản luận án này Dic biét, tai xin bày tỏ lòng biết em chân thánh và sâu sắc đến Thây thưởng din khoa học PGS. Trân Quang Đúc đã nhiệt tình hướng đầu, giúp dé và tạo mọi diễu kiện thuận lợi cho tôi trong suốt quá trình thực hiện Luận an. Tôi xin căm ơn gia dinh và bạn bè người thân dã luôn bên tối, ủng hộ và động viên tôi trong suốt quá trình nghiên cứu. Tôi xin chân thành căm on! IR Nội ngày tháng năm 2022 Học viên Bui Hoàng Nam PHIRU GIAO NHIEM VU LUAN VAN TOT NGHIỆP 1.

Thông In về học viên Họ và tên học viên: Bủi Hoàng Nam Điền thoại liên lạc: 0393726142 Email: Nam BHCB190240@sis.