Chương 1. GIỚI THIỆU DE TÀI. Giới thiệu đề tài. Một số nghiên cứu liên quan.
Mục tiêu dé tài 1. Giới han đề tài Chương 2. Hệ thống nhúng.-22-+2++22EE++2EEEEE22221122271112227111 222112 cv. Me narra snes Merssssnenenee Mh secssesesessscscesesssssesessseseaceee 2.- 1h HH HH HH 2.1 Các công cụ xử lý của FFmpeg.
Các gói thư viện của FFmpeg.----:- + + St 2tr 1g re 2. Các hàm thường sử dụng. Socket Programing với giao thức TCP. Giao thức MQTTT và thư viện MOSQuItWO.
Giao thức MQÏTT. Ứng dụng di động Flutter.-----++++222EE2vv+++rtttrvrvvrrrrrrrrrrr 2. Giới thiệu về Flutter. Ưu điểm của Flutter.
Nhược điểm. Ngôn ngữ DarL. SƠ DO HOAT ĐỘNG CUA HE THÓNG. Chế độ tìm kiếm người theo yêu cầu.
Chế độ phát trực tiếp. Thêm đối tượng nhận diện để tăng khả năng tìm kiếm. THIẾT KE HE THONG. Chương trình ở thiết bị Smart Camera.
_ Lung xử lý dữ liệu hình ảnh. Luồng nhận và thêm thông tin đối tượng mới vào Database. Chương trình ở Cloud SeTVer. Ludng gửi danh sách tên đối tượng về ứng dụng di động.
_ Tiến trình kết nối với Smart Camera. Tiến trình kết nối với Scam Camera. Chương trình ở thiết bị Scan Camera. Xây dựng thuật toán gửi và nhận ảnh sử dung Socket.
_ Thuật toán gửi anh thông qua Socket. _ Thuật toán nhận anh thông qua Socket. Chương trình ứng dụng di động FÏut(er. Nhận tên các đối tượng có thé tìm kiếm.
Gửi lệnh tìm kiếm đối tượng từ danh sách tên các đối tượng. Hiển thị và cập nhật lại ảnh khi tìm được đối tượng. Chuyên màn hình chế độ tìm kiếm sang phát trực tiếp và ngược lại 59 4. Hiển thị phát trực tiếp và chuyên đổi độ phân giải.
KET QUA THUC HIỆN 5. Nhận yêu cầu tìm kiếm va gửi hình ảnh tim kiếm lên Cloud Server. Nhận yêu cầu phát trực tiếp và xây dựng luồng stream. Thêm thông tin đối tượng mới vào Database.
Gửi danh sách tên các đối tượng và màn hình hiền thị chế độ tìm kiếm trên ứng dụng di động. Màn hình hiền thị phát trực tiếp trên ứng dụng di động. Màn hình hiển thị đồng thời phát trực tiếp va phát hiện đối tượng. Lưu lại những yêu cầu và cập nhật cho người dùng.
Tạo service để chạy ngầm chương trình ở Server. Tạo Service chạy ngầm chương trình ở Smart Camera. Đóng gói sản phẩm. Thiết bị Smart Camera.
Thiết bị Scam Camera.-----2:2222++222++++t2E2E+rttrrrrerrrrrrrree 71 Chương 6. THUC NGHIỆM VÀ DANH GIÁ HE THÓNG. Đánh giá thuật toán gửi ảnh trên ba thiết bị khác nhau. Kịch bản đánh giá thuật toán gửi ảnh trên ba thiết bị khác nhau.
Kết quả đánh giá thuật toán gửi ảnh trên ba thiết bị khác nhau. Đánh giá tốc độ gửi ảnh của Smart Camera khi kết nói Wifi hoặc 4G. Kịch bản đánh giá tốc độ gửi ảnh trên Smart Camera. Kết quả đánh giá tốc độ gửi ảnh trên Smart Camera.
Đánh giá tốc độ và độ trễ ở chế độ phát trực tiếp trên Smart Camera. Kịch bản đánh giá chế độ phát trực tiếp trên Smart Cămera. Kết quả đánh giá chế độ phat trực tiếp trên Smart Camera. Đánh giá thiết bị Smart Camera hoạt động trong thời gian dài 6.
Kịch bản đánh giá Smart Camera sử dụng trong thời gian dài 6. Kết quả Smart Camera ở chế độ phát trực tiếp trong thời gian dai. Kết quả Smart Camera ở chế độ tìm kiếm trong thời gian dài. Đánh giá độ chính xác của hệ théng.
Kết quả khi đo độ chính xác. Đánh giá hệ thống. KET LUẬN VA HƯỚNG PHAT TRIỄN. Kết qua dat dQ.
Hướng phát triển của đề tài.--¿-2222++s222ExerrErrtrrrrrrkrrerrrrecrre 91 DANH MỤC HÌNH Hình 1. Sơ đồ tổng quát của đề tài. Mô hình cơ bản của một hệ thống nhúng. Sơ đồ khối của một smart CaIm€Ta.- 2-55 S2 E2EE2EE2EEEEEEEEerExrrrrerr 7 Hình 4.
Smart camera HANET AI CAMERRA.-- SH iey 8 Hình 5. Một số cong kết nối trên smart camera. Kiến trúc cơ bản của streaming video. Quy trình xử lý video bang FFmpeg.
Ludng hoạt động của TCP Socket. Mô hình giao tiếp MQTT. Ngôn ngữ Dart và nền tảng Flutter. Mô hình hoạt động chế độ tìm kiếm theo yêu cầu.
Mô hình hoạt động chế độ phát trực tiẾp.-----¿--cz+c5sc+2 22 Hình 13. Mô hình hoạt động thêm đối tượng mới có thê nhận diện. Lưu dé tổng chương trình Smart Camera.-- 2+2szz222scez 24 Hình 15. Lưu đồ luồng xử lý dữ liệu hình ảnh.-:--222cc++2222vvvvecccez 25 Hình 16.
Lưu đồ luồng nhận và thêm đối tượng. Lưu đồ tổng chương trình Cloud Server.---¿©2cz2225ssczzz 34 Hình 18. Lưu đồ luồng gửi danh sách tên đối tượng và trạng thái Camera. Tiến trình quản lý kết nối với Smart Camera.
Lưu đồ luồng thêm đối tượng mới về Smart Camera và App. Lưu đồ luồng nhận hình ảnh Smart Camera tìm kiếm được. Lưu đồ tiến trình kết nối với Scam Camera. Lưu đồ thuật toán tiến trình nhận thông tin từ Scan Camera.
Lưu đồ thuật toán chương trình thiết bị Scan Camera. Lưu đồ thuật toán gửi ảnh thông qua Socket. Lưu đồ thuật toán nhận ảnh thông qua Socket. Nhận yêu cầu tìm kiếm và gửi hình ảnh lên Cloud Server.
Hình ảnh kết quả thực hiện phát trực tiế Hình 29. Thêm thông tin đối tượng mới vào Database. Màn hình hiển thị chế độ tìm kiếm trên ứng dụng di động. Màn hình hiền thị chế độ phát trực tiếp trên ứng dụng di động.
Màn hình hiền thị phát trực tiếp toàn màn hình. Màn hình hiển thị đồng thời hai chế độ. Các thông báo được lưu lại và hiền thị .---©cc++ccc+zcrccrsscee 67 Hình 35. Tao service và chạy chương trình thành công.
Script dé khởi động chương trình Smart Camera. Service ở Smart Camera khởi chạy thành công. Hộp Smart Camera có bố trí thêm quạt tản nhiỆt. Các thiết bị đi kèm với Smart Camera.-- 22 5z+2s2+EE£+EE£2EEc2EEesrxerre 70 Hình 40.
Smart Camera được đóng gói hoàn chỉnh. Hộp Scan Camera và các thiết bị kết nói. Tốc độ gửi ảnh trên Smart Camera 72 Hình 43. Tốc độ gửi ảnh trên Scan Camera.
Tốc độ gửi anh trên Cloud Server. Tốc độ gửi anh với độ phân giải SD và kết nói mạng 4G. Tốc độ gửi anh với độ phân giải HD và kết nối mang 4G. Tốc độ gửi ảnh với độ phân giải HD và kết nối mang Wifi.
Tốc độ gửi ảnh với độ phân giải SD và kết nối mang Wifi. Kết qua phát trực tiếp ở chế độ SD và kết nối với mang Wifi. Kết quả phát trực tiếp ở chế độ HD và kết nối với mang Wifi. Kết quả phát trực tiếp ở chế độ HD và kết nối với mạng 4G.
Kết quả phát trực tiếp ở chế độ SD và kết nối với mạng 4G. Camera phát trực tiếp thời gian dài ở độ phân giải HD. Tốc độ gửi ảnh khi đã hoạt động 6 giờ.-----czz+cccsse+ 83 Hình 55. Tốc độ gửi ảnh khi đã hoạt động 12 giờ.
Tốc độ gửi ảnh khi đã hoạt động 19 giờ.-cccc+cccccveeeccee 84 Hình 57. Tốc độ gửi ảnh khi đã hoạt động 24 giờ.----¿-cc+cc5sccerz 84 Hình 58. Góc bên trái so với hướng đối tượng. Góc bên phải so với hướng đối tượng.
Góc thang so với hướng đối tượng DANH MỤC BANG Bang 1. Các thư viện của Ffmpeg.----‹- + cà té HH rrc 13 Bang 2. Đánh giá thuật toán gửi ảnh bang Socket với ba thiết bị. Đánh giá tốc độ gửi ảnh của Smart Camera với hai loại mạng.
Đánh giá phát trực tiếp của Smart Camera với hai loại mạng. Đánh giá chế độ phát trực tiếp trong thời gian dài. Thời gian gửi ảnh ở chế độ tìm kiếm trong thời gian dài. Đánh giá độ chính Xác .-- ¿+ tt ng Hư88 DANH MỤC TU VIET TAT Từ viết tắt Tên đầy đủ AI Artificial Intelligence CCTV Closed-circuit television CPU Central Processing Unit DSP Digital Signal Processor FPGA Field-Programmable Gate Array FPS Frame Per Second GPU Graphics Processing Unit HD High Definition HTTP Hyper Text Transfer Protocol loT Internet of Things IP Internet Protocol OpenCV.
Open source Computer Vision library MQTT Message Queuing Telemetry Transport RAM Random Access Memory RTSP Real Time Streaming Protocol SD Standard Definition SoC System on Chip TCP Transmission Control Protocol URL Uniform Resource Locator USB Universal Serial Bus TÓM TÁT KHÓA LUẬN Ngày nay, những tiễn bộ trong công nghệ đã giúp con người có thể tích hợp được nhiều hệ thống phức tạp trong một thiết bị duy nhất. Smart camera cũng là một phần của quá trình phát triển này và có thể được định nghĩa là một hệ thống được tích hợp thêm nhiều chức năng: truyền tải hình ảnh qua kết nối không dây, tích hợp thuật toán xử lý ảnh. Việc xây dựng smart camera có thé dựa trên nhiều nền tảng như: FPGA, Embedded system, SoC, Edge Computing, Cloud Server. Mỗi công nghệ đều có ưu nhược điểm đặc trưng của chúng, đã và đang được nhiều nhóm tác giả, trường học, các công ty lớn cả trong và ngoài nước nghiên cứu, phát triển.
Các yếu tố cần lưu ý khi thiết kế smart camera đó là độ chính xác, tốc độ thu nhận và truyền dữ liệu, năng lượng tiêu tốn và giá thành sản phẩm. Trong dé tài này, nhóm sẽ tập trung pháp trién giải pháp giao tiếp giữa thiết bị Smart Camera đã tích hợp sẵn công nghệ tính toán biên nhận dạng khuôn mặt, Cloud Server và phần mềm di động. Nhờ đó người dùng có thể yêu cầu Smart Camera thực hiện tìm kiếm và gửi hình ảnh có chứa khuôn mặt theo ý muốn hoặc bật tắt chế độ streaming. Ngoài ra, người dùng có thé tự thêm thông tin bao gồm tên và hình ảnh khuôn mặt mới vào Database trên thiết bị Smart Canera để tăng số lượng đối tượng có thể nhận dạng.
Nhóm sẽ thiết kế chương trình kết nối giữa thiết bị Smart Camera Jetson Nano đã tích hợp sẵn công nghệ tính toán biên nhận dạng khuôn mặt và Cloud Server sử dụng thư viện lập trình Socket. Từ đó, khi nhận dạng được khuôn mặt mà người dùng muốn tìm, Smart Camera sẽ gửi hình ảnh đó thông qua Socket đã kết nối và lưu lại trên Server. Ngoài ra, nhóm sẽ sử dụng thêm một thiết bị Camera khác là Raspberry Pi 3b kết nối với Smart Camera thông qua Cloud Server dé gửi hình ảnh khuôn mặt và tên người mới vào Database. Sau đó, nhóm sẽ thiết kế phần mềm Flutter dé hiển thị hình ảnh và video streaming.
Ngoài ra, ứng dụng di động có thể gửi yêu cầu thực hiện công việc về Smart Camera thông qua MQTT. GIỚI THIỆU DE TÀI 1. Giới thiệu đề tài Trong xã hội hiện đại, hệ thống giám sát và bảo vệ an toàn ngày càng đóng vai trò quan trọng đối với tính mạng con người cũng như sự an toàn của cá nhân và tài sản. Thu thập và lưu trữ hình ảnh là phương pháp trực tiếp, hiệu quả và đáng tin cậy nhất của hệ thống giám sát và bảo vệ an ninh hiện đại.
Như câu nói "thấy là tin", có lượng thông tin trong hình ảnh lớn hơn nhiều so với ngôn ngữ và văn bản và chúng rất đễ hiểu.