Chương 1. Tổng quan đề tài. Tổng quan về xu hướng IØT.--- 2-2 2E£+EE+2EE£EEt£EEEEtrEezrkerxerrxee 2 1. Vai trò của Điện toán đám mây với IoÏTÏ.
Tuyên bố vấn đề. Phat biểu vấn G6. Mục tiêu hướng déne. _ Phạm vi và giới hạn đề tài.
Phạm vi và đối tượng nghiên ứu.--- 2 2 s+£+E++EE+EE+EEeEEerxerxerxees 9 1. Giới hạn của đề tải. Cau trúc Khóa luận.----c+ccccccrrrtrrrrrttrrrrrtrirrrrrrrrrrrrrrree 10 Chương2. CÁC NGHIÊN CUU KHOA HỌC VÀ CÔNG NGHỆ LIÊN QUAN.
Tổng quan về hệ thống tính toán cận biên. Các dự án tính toán cận BIEN. Dur án Span Edge.- Sc 1 n1 1211 HT TH TH Hy HH key 13 2.- cv n TH TH HH nh HH 14 2. Xu hướng nghiên cứu hién nay.
Các sản phâm hỗ trợ phòng chống Covid-19 trên thi trường. COVID19 Mask Detection của Pinnacle SolutIons. Hanwha Techwin’s COVID-19 Solution .- ---- SĐĐSSS SE 55311111111 kkrer 17 2. Cơ sở lí thuyết và hướng tiếp cận đề tài.
Nền tảng trí tuệ nhân {ạO. Nền tảng máy hỌc. Nền tảng Ứng dụng học sâu vào Thị giác máy tính. Camera Calibrate và Birdview transformation.
FaceMask Detection và Face RecogTfIon.- -- 5-5 sssss+ss+sxssss 30 2. Infrastructure as a Service (ÍaaS). Nền tảng công nghệ ảo hóa. Công nghệ điều phối ảo hóa.
Kiến trúc MicrOS€TViC€S. Cơ sở đữ liệu NoSQL — MongolDB.- - -- ScS+ + se ret 42 2. Cơ sở dit liệu quan hệ - MySQL. Cơ sở hạ tầng dạng mã.
Continuous Integration/Continuous Deployment - CI/CD — GitOps (Gitlab CŨ 44 2. Machine learning OperafIOT. c2 St k*S SH n g te, 45 2. May tính nhúng Jetson NanO.- Ăn TT HH TH HH ngư 50 2.
May tính nhúng Raspberry Pi 3.- --- -- 2c St ng ey 51 Chuong 3. | PHUONG PHÁP LUẬN, NGHIÊN CUU. Phan tích thiết kế hệ thong oo. ccc ccs ccs essessessssscscsssecssessssecsessesseseaneanease 54 3.
Mô hình phân rã hệ thống. -- + ©+£+E+E+E2EEEE2E2E2EE2E22222222Excer 55 3. _ Thành phần trung tâm dif liệu đám mây. Thành phan cận biên.
Phân rã thành phan thiết bị đầu cuối. Kiến trúc Cluster tại phần cận DIEM. Phan r& Chic Nang 0 1. Ứng dụng ở Cloud oi.
Ung dụng ở Edge. Đặc tả thiết kế mô hình ngữ cảnh.-¿- 2: 525E2E2EE£EE2EEEEEEExerkrrrrerkeee 64 3. Đặc tả ngữ cảnh. LH HT TT HT TH HH hư, 64 3.
Thiết kế mô hình trong ngữ cảnh để xuất. Mô hình ngữ cảnh giao tiếp giữa các thành phần. Phân tích thiết kế hệ thống tự động hóa. __ Phân tích thiết kế hệ thống MILOps.---- 2 2+5++E2+EE+E++EE+E+Ezrzrx 67 3.
Phân tích thành phan Machine learning Development. Phân tích thiết kế thành phan Training operationalization. Phân tích thiết kế thành phần Model Deployment. __ Phân tích thiết kế thành phần Continuous Monitoring.
Phân tích thiết kế thành phan triển khai cơ sở hạ tang dạng mã (IaC). HIỆN THUC, THU NGHIỆM VÀ KET QUẢ. -- ---- 1011112311111 1 n9 11g 1kg kg kg 1kg 74 4. Hiện thực SDNode (Social Distances Detection).
Tổng quan mô hình.- -- + 2+ +E£+E£+E++EE+EE2E2E2EE2EE2EE2E2EEzExrrrrex 77 4. | Hiện thực FMNode (Face mask detection and recognition). SH HH HH HH TT Tre 78 2 Chic nang. Các tham số đánh gia.
Tổng quan mô hình.- ¿2 s£+s£+E£+E£+E£2E££E£EEEE2EE2EE2EE2E222222x2rxcer 83 4. Hiện thực phần Cloud. Cơ sở hạ tầng cho AI Engineer:. Tự động hóa Central Dashboard trên Cloud.
Central Backend S€TV©T. tt HH Hi, 88 4. Xây dựng Kubernetes CÏUSf€T. _ Hiện thực phan cạnh biên.
_ Hiện thực hệ thống MLOps. Xây dựng mô hình máy học máy học (Scikit Learn). ML Model Monitoring (Weight and Blases). ML Model Configuration (Hyda).
Data version control (DVC). — Kịch bản thử nghiệm đánh giá. Kich ban tht nghiém 0T. Đặc tả phần cứng.
Kết quả thử nghiệm. Kết quả huấn luyện mô hình gan nhãn khuôn mặt. Kết quả thử nghiệm SDNodđe. Kết quả thử nghiệm FMNode.
Cac thông số thu được tai Cluster K8S v. Jetson Nano khi chạy mô hình Face Recognifion. Jetson Nano khi chạy mô hình Social Distancing. Đo độ trễ phan hồi trên dịch vụ Facemask tại Edge.
Các thông số đánh giá mô hình AI tại phần IoT Device. Nhận xét kết quả và đánh giá.--- 2 2+1 ESE12E12EEEEEEEEEEEEEEErkrrrrrrrrrees 115 Chương 5. KẾT LUẬN VA HƯỚNG PHÁT TRIÊN. — Kết quả dat được.Q25CS TT re 117 5.
Một số hạn chế.cccrt th HH HH rêu 118 5. _ Hướng phát triỀn. _ Hoạt động không gián đoạn khi cách ly Edge va Cloud. Vận dụng cơ sở hạ tầng mạnh mẽ của AWS.ccScccseese, 119 DANH MỤC HÌNH Hinh 1.2: Biéu đồ dự báo tổng thiết bị được kết nối đến năm 2025 [ 1].3: Biểu đồ dự đoán thị trường IoT đến năm 2025 [I].----2- 5 2 s+cs+rszcseẻ 4 Hình 1.4 Vai trò của điện toán đấm mây,.5 Hình minh họa cho Điện toán cận biên .1: Mô hình tính toán cận biên.2: Mô hình dự án SpanEdge [6 | .3: Mô hình dự án Cloud Path .4: Demo sản pham nhận diện đeo khẩu trang của Pinnacle Solutions [7].5: Demo sản phâm nhận diện không đeo khẩu trang của Pinnacle Solutions [7].6: Mô hình phát hiện đeo khẩu trang sai của Hanwha Techwin [§].7: Mô hình phát hiện đeo khâu trang của Hanwha Techwin [§].8: Mô hình xác định giãn cách xã hội cua Hanwha Techwin [8].9: Demo xác định giãn cách của giải pháp COVID-19 Countermeasure [9].10: Vi dụ về Ma trận nhằm lẫn (Confusion Matrix) [1 I].11: Các bước phân đoạn hình ảnh.-- --- 2 2c 322 * 323 £+2EE+EE+eEEeexetrseereersss 23 Hình 2.12: Các lớp trong mô hình mạng YOlLO.13: Các bước nhận diện vật thể.---ccc:222vtttExxtrttttrtrrrttrrrrrrtrrrrrrrrre 24 pin) 0600,1.15: Minh họa PR-Curve .--- 2E 2220111111122331 1111119331 1111119531 11kg 1kg 28 Hình 2.16: Vi dụ về PR-curve của các lớp với IoU khác nhau.17: Cách tính COCO MAP [17] .18: Minh họa về Perspective transform sang Bird's view.19: Minh họa về Face Recognition loss function.----2s22sz+sz+zz+z++zzzse+z 31 Hình 2.20: Minh họa về sigmoid-constrained hypersphere loss (SFace).21: Minh họa dịch vụ EC2 trên AWS.- -LQQ Q2 HH SH HH TH TT 34 Hình 2.22: Kiến trúc công nghệ ảo hóa.23: Kiến trúc công nghệ ảo hóa máy ảoO.-- 2-2 2+Ss+SE+EE+EE+EE£EEEEESEEerxerxees 35 Hình 2.24: Các thành phan cơ bản của Kubernetes .25: Mô hình MICTOS€TVIC€S.
G0 SH TH ng ng ng nàn 40 Hình 2.26 Minh họa ReactJS.--- - --- 2E 1221111223111 1231 1119111192111 901111101 kg kg re 42 Hình 2.27: Minh họa hệ thống GitOps.28: Vòng đời của mô hình MLO .- --- 6 E032 k 39 ng như 48 Hình 2.29: Máy tính nhúng Jetson Nano.30: Raspberry Pi Camera V2.31: May tính nhúng Raspberry Pi 3 oo.1: Mô hình hệ thống Edge Computing giám sát con người trong tinh hình dịch bệnh COVId-19 1.2: Mô hình phân rã thành phần kiến trúc hệ thống.3: Mô hình phân rã thành phan kiến trúc tại thành phần điện toán đám mây .4: Mô hình phân rã thành phần kiến trúc tại cận biên.5: Mô hình phân rã thành phan kiến trúc các thiết bị cận biên .6: Thành phần trung tâm dit liệu đám mây .--- 2-2 +252+x+zxzzx+rxzzed 57 Hình 3.7: K3S Cluster tại cận biên.8: Service tại cận ĐIÊ¡.9: Thành phan thiết bị đầu cuối.--- 2-2 12E+2E‡EE£EE£EEEEEEEEEEEE2E22222E xe, 60 Hình 3.10: Phân rã chức năng bản điều khiển trên Cloud.----2¿©s¿25sz2zx+25s+2 62 Hình 3.11: Mô hình xây dựng bản điều khiển trên Cloud.---- 2-2 s22 s+zs+csze: 62 Hình 3.12: Sơ đồ phân rã chức năng cho ứng dụng tại Edge.------¿22sz+cz+se+- 63 Hình 3.13: Mô hình chức năng điểm danh.- 2-5 2 E2EE£EE£2EE£EEtEEE2EEvEEzerxerreer 63 Hình 3.14: Mô hình chức năng giám sát vi phạm luật giãn cách.15: Sơ đồ tổng thể hệ thống MLOps.- 2-22 2£ E£+EE£EE£2EE£EEZEESEErrErrrrrres 67 Hình 3.16: Thành phan lớp ML Development trong MLODps.17: Bảng điều khiển Weight and Biases.19: Thanh phan lớp Training Operationalization trong MLOps.20: Thành phần lớp Model Deployment trong MLOps .21: Thanh phần lớp Monitoring trong MLOps .--- 2-252+sz+5++s++£zzce+2 72 Hình 3.22: Mô hình triển khai cơ sở hạ tang dạng mã cho đề tài .1: Minh họa về COCO đatasSet. St SE SE SEEEEEEEEEEEEEEEEEESEEEErkrrrrrrrrrrrree 76 Hình 4.2: YOLOX-nano mAP huấn luyện và đánh giá trên dataset COCO.3: Sơ đồ tổng quan SDNOde.4: Minh họa SDNode khi triển khai thực tẾ.5: Tổng quan về Wider MAFA balanced.------s-+s+x++E+2Et2EtE2ErEzrxrrerreee 79 Hình 4.6: Minh họa WiderFace dafaset. - - ---- c 1 221111221111 2931 111931 1119 111g ng rec 80 Hình 4.7: Minh họa về MAFA dataset .8: Minh hoạ LFW dafaset. Q TT HS SH 11101 1111211 1n k1 kg kg kg 82 Hình 4.9: Hiệu suất của SFace so với các mô hình khác .10: Sơ đồ mô hình tổng quan .-- 2: 2c 2 E2E£2EE£EE£2EE£EEEEEEEEEEESEErrkrrrkrres 83 Hình 4.11: Mô hình triển khai thực tế của EMNode.12: Module Terraform Jupyter .13: Jupyter Lab sau khi được triển khai bằng Terraform.14: Ma HCL dé xây dung EC2 Instance cho WebApp (Jupyter Lab cũng tương tự) —.15: Ansible playbook triển khai cấu hình cài đặt Docker và khởi chạy Dashboard ¬—.16: Mã nguồn nhận request từ Edge gửi đến và lưu vào database.17: Mã nguồn đăng nhập vào hệ thong .18: Mã nguồn lay thông tin người đùng.- 2-22 2 +x2£z£EEt2EzeExerEerrxerrxee 91 Hình 4.19: Cấu trúc thư mục Central Frontend.----- + x+x+Et+E+EeEx+Eerxzxrrrrrrersrxee 92 Hinh 4.21: Trang theo dõi thông tin.22: Thông tin bang attendees được cập nhật từ Edge .23: Kết quả lệnh Docker ps.-- 2: 2 5£ ©5£+SE+EE£2EE£EE2EE2EE2E1221211221722222 2x2 94 Hình 4.24: Ansible Role dé xây dựng K3S clusfer.25: thông tin K3S cluster sau khi chạy ansible .-----+S-cc++ccxsserssereses 95 Hình 4.26: Các file cau hình yaml cho Edge Services .27: Mã nguồn nhận request tir Al-camera va gửi lên central-api.28: Mã nguồn nhận request từ ai-api và gửi lên Cloud.29: Thông tin Pod sau khi DepÏOy.30: Cac stage trên Gitlab CI cho Central Dashboard ở Cloud.31: Giao diện pipeline Gitlab CÌ,.32: Cac stage Gitlab CI cho Edge API và Edge Models.33: Giao diện Pipeline Gitlab C|Ì,.34: Huấn luyện mô hình SVM.
- 2c SE EEEEEEEEEEEEEEEEEEEEEEEEErrrrrrrer 101 Hình 4.35: Khởi tao weight and biases dé ghi nhận log khi huấn luyện.36: Ghi nhận thông s6 aCCUTACyy. 2-2-2 SE2SE‡2E9EE£2E£EEEEEEEEEEEEEEEEErrkrrkrrreee 101 Hình 4.37: Cấu hình config cho FMNOde.38: Cấu hình config cho SDNOođe. 2: 2-52 SS22E22E‡EE£EEEEEEEEeEEerErrkrrrerreee 102 Hình 4.39: Ave file track các Video €IO.-- - óc th nh HH ngàn nh ưệt 103 Hình 4.40: dvc file track dataset khuôn mặt.41: dve file track model cho FMNode .42: dvc file track model cho SDNOde.43: File Dockerfile đóng gói mô hình .-- ¿+22 + +22 + E+eEE+eEserseeseerseees 104 Hình 4. ác ng HH HH HH HH HH HH HH HH 105 Hình 4.45: Config Deployment dé Keel có thé tự động Deploy Container Image mới vào ¬—.46: Log cho thay SDNODE được tự động deploy image mới bang Keel.47: Các thông số phần cứng trên EC2 .49: Thông số kỹ thuật các thiết bị, máy chủ được thử nghiệm .50: Giao điện Weight and Biases ghi nhận kết quả sau khi huấn luyện .51: Độ chính xác (Accuracy) của mô hình đánh giá trên tập test .52: Biểu đồ hiền thi các chỉ số đánh giá của mô hình.53: Đường cong ROC của mô hình.-- - c5 3+2 E +2 E + EE+eEEsxekrrrsreerrreree 110 Hình 4.54: Cấu hình toa độ các điểm biên cho việc chuyền đôi sang birdview .55: Màn hình giao diện web của SDNode khi thử nghiệm với video có sẵn.56: Màn hình giao điện web cua FMNode phát hiện gương mặt deo khẩu trang111 Hình 4.57: Màn hình giao điện web của FMNode khi phát hiện gương mặt không đeo khẩu trang và tiến hành nhận diện.--- + 2 + +kÉEk‡EEEEEESEEEKEEESEEEEEEESEEEEEEEEEEEEEEESEtkerkrei 112 Hình 4.58: Bang so sánh FPS trung bình khi chạy các ứng dung mô hình máy học trên Jetson Namo.