MỞ ĐẦU « Chương 4: Thực nghiệm và đánh giá. Tiến hành chạy thử nghiệm và tổng hợp các kết quả đạt được. * Chương 5: Kết luận và hướng phát triển. Kết luận dựa trên các đánh giá ở chương 4, đề xuất ý kiến và các công việc trong tương lai.
CƠ SỞ LÝ THUYET Federated Learning (FL) là một phương pháp máy học cho phép huấn luyện mô hình trên dữ liệu phân tán ma không cần chuyển dif liệu về một mô hình tập trung. Thay vì gửi dữ liệu về trung tâm để huấn luyện mô hình, thiết bị hoặc nguồn dữ liệu tại các điểm cuối (như thiết bị di động, cảm biến IơT) thực hiện việc huấn luyện mô hình trên dữ liệu của chính mình. Sau đó, các tham số được cập nhật và kết hợp để tao ra một mô hình toàn cầu. Khi kết hợp với AIoT (Artificial Intelligence of Things), FL trở thành một công cụ mạnh mẽ cho các lĩnh vực chăm sóc sức khỏe thông minh.1 Federated Learning Federated Learning (thường được gọi là hoc liên kết) là một phương pháp phi tập trung để dao tạo các mô hình học máy.
Nó không yêu cầu trao đổi dữ liệu từ các thiết bị khách hàng (client) đến các máy chủ toàn cầu. Thay vào đó, đữ liệu nguyên gốc trên các thiết bị biên được sử dụng để đào tạo mô hình cục bộ, từ đó nâng cao quyên riêng tư dữ liệu. Cuối cùng, mô hình được hình thành bằng cách tổng hợp các ban cập nhật cục bộ. Được minh họa trong hình 2.
FL Clients Ela Bees Local Training x [=Ð me Private Data Local Model à FL Server ED a Local — a | Private Data Local Model : Global Model Aggregation lÌm seo Local Training Private Data Local Model [=Ð Hình 2. Hình minh họa cách hoạt động của Federated Learning.io/en/main/fl_introduction.html (Truy cập ngày: 10/05/2024) CHƯƠNG 2.1 Federated Learning quan trọng bởi những lí do sau: * Quyên riêng tư: Khác với các phương pháp truyền thống, trong đó dữ liệu được gửi đến máy chủ tập trung để đào tạo, Federated Learning cho phép đào tạo cục bộ trên thiết bị biên, ngăn chặn lỗ hổng dữ liệu tiềm năng. ¢ An toàn, bao mật dữ liệu: Chi các bản cập nhật mô hình được mã hóa được chia sẻ với máy chủ tập trung, đảm bảo bảo mật dữ liệu. Ngoài ra, các kỹ thuật tổng hợp an toàn như Secure Aggregation Principle cho phép giải mã chỉ các kết quả được tổng hợp.
* Truy cập vào dữ liệu không đồng nhất: Federated learning đảm bảo truy cập vào dữ liệu được phân tán trên nhiều thiết bi, địa điểm và tổ chức. Nó cho phép đào tạo các mô hình trên dt liệu nhạy cảm, chẳng hạn như đữ liệu tài chính hoặc chăm sóc sức khỏe trong khi vẫn duy trì bảo mật và quyển riêng tư. Và nhờ sự đa dạng dif liệu lớn hơn, các mô hình có thể mang tính tổng quát hơn.2 Cách Federated Learning hoạt động ¢ Một mô hình cơ bản được lưu trữ trên máy chủ tập trung. Các bản sao của mô hình này được chia sẻ với các thiết bị khách hàng, sau đó các thiết bị này sẽ đào tạo các mô hình dựa trên các dữ liệu cục bộ mà chúng tạo ra.
Theo thời gian, các mô hình trên các thiết bị riêng lẻ trở nên cá nhân hóa và cung cấp trải nghiệm người dùng tốt hơn. To giai đoạn tiếp theo, các bản cập nhật (tham số mô hình) được đào tạo cục bộ được chia sẻ với mô hình chính nằm ở máy chủ tập trung bằng cách sử dụng các kỹ thuật tổng hợp an toàn (secure aggregation techniques). Mô hình này kết hợp và trung bình hóa các đầu vào khác nhau để tạo ra các bài học mới. Vì dữ liệu được thu thập từ các nguồn đa dạng, nên có phạm vi lớn hơn và mô hình trở nên tổng quát hơn.
« Khi mô hình trung tâm đã được đào tạo lại trên các tham số mới, nó lại được chia sẻ với các thiết bị khách hàng cho lần lặp tiếp theo. Với mỗi chu kỳ, các 10 CHƯƠNG 2. CƠ SỞ LÝ THUYẾT mô hình thu thập một lượng thông tin đa dạng và tiếp tục cải thiện mà không tạo ra các lỗ hổng về quyền riêng tư. Được minh hoa ở hình 2.
‘Step 1: Server sharing initial Learnings (L1) TF vy Ya I learned : delta1 “Elephant” User 1 a Cloud Server My New Learning L2 = avg(delta1+delta2) ® Step 2 : Updating local models and generating se .Ss new learnings using private data eo 0! ) J ®e @ Step 3: Averaging the new learning ai O | learned : delta2 \ User 2 Step 1: Server sharing initial Learning(L1) Hình 2. Cơ chế của Federated Learning. Nhược điểm Mặc dù học phân tán mang đến nhiều lợi ích, nó cũng đi kèm với một số thách thức đáng kể: * Quan lý đồng bộ: Việc đảm bảo sự đồng bộ giữa các mô hình va dữ liệu phân tán trên nhiều thiết bị hoặc máy tính có thể trở nên phức tạp, đặc biệt khi cần truyền tải dữ liệu và trọng số giữa chúng. Điều này có thể dẫn đến tình trạng tac nghẽn và giảm hiệu suất.
» Giao tiếp: Việc giao tiếp liên tục giữa các nút phân tán có thể tạo ra chi phí mạng va độ trễ đáng kể, nhất là khi mô hình và dif liệu có kích thước lớn. Việc này có thể ảnh hưởng đến hiệu suất tổng thể của hệ thống và trải nghiệm người dùng.com/kham-pha/federated-learning-trong-thi-giac-may-tinh-huong-dan-chi- tiet-tung-buoc.html (Truy cap ngay: 20/01/2024) II CHƯƠNG 2. CƠ SỞ LÝ THUYẾT « Bảo mật: Bảo mật dữ liệu mô hình là một trong các van dé quan trọng cần được quan tâm khi quản lý nhiều nút và thiết bị phân tán. Nguy cơ vi phạm dữ liệu và tấn công mạng có thể cao hơn trong môi trường phân tán.
« Chi phí: Việc quản lý và duy trì cơ sở hạ tầng mạng và hệ thống phân tán phức tạp có thể dẫn đến chi phí triển khai và vận hành cao hơn so với các mô hình học tập truyền thống. Nhìn chung, học phân tán mang đến nhiều tiềm năng cho việc cải thiện hiệu suất và khả năng mở rộng của các mô hình học máy. Tuy nhiên, cần phải giải quyết những thách thức về đồng bộ, giao tiếp, bảo mật và chi phí để đảm bảo triển khai thành công các hệ thống học phân tán.2 Học sau (Deep Learning) Học sâu (Deep Learning) là một nhánh con của hoc máy (Machine Learning) sử dụng các mạng nơ-ron nhân tao (Convolutional Neural Networks - CNN) có cấu trúc sâu để học hỏi từ dữ liệu hình ảnh. Mạng nơ-ron nhân tạo được lấy cảm hứng từ cấu trúc và hoạt động của não bộ con người, bao gồm nhiều lớp nơ-ron được kết nối với nhau bằng các khớp nối (Synapse), hình 2.
Artificial Intelligence Machine Learning Deep Data Learning Science Hình 2. Kiến trúc Deep Learning.org/introduction-deep-learning/ (Truy cập ngày: 20/01/2024) 12 CHƯƠNG 2.1 Cách thức hoạt động của học sâu ° Một mạng nơ-ron bao gồm nhiều lớp khác nhau, càng nhiều lớp thì mạng sé càng “sâu”. Trong mỗi lớp là các nút mạng và được liên kết với các lớp khác bên cạnh. * Mỗi kết nối giữa các nút sẽ có một trọng số tương ứng, trọng số càng cao thì mức độ ảnh hưởng của kết nỗi này đến mạng no-ron sẽ càng lớn.
° Mỗi nơ-ron có một chức năng kích hoạt, về cơ bản sẽ chịu trách nhiệm "chuẩn hóa” dau ra từ nơ-ron này. * Dữ liệu được người dùng nhập vào mang thần kinh di qua tat cả các lớp va trả về kết quả ở lớp cuối cùng, được gọi là lớp đầu ra. « Trong quá trình đào tạo mô hình mạng nơ-ron, các trọng số sẽ được thay đổi và nhiệm vụ của mô hình là tìm tập giá trị của các trọng số sao cho phán đoán đúng nhất. Ưu và nhược điểm của học sâu.1 Ưu điểm: « Cấu trúc Neural Networks (NN) dễ dàng thay đổi linh hoạt để phù hợp với nhiều thuật toán và bài toán khác nhau.
* Có khả năng giải nhiều van đề phức tạp với độ chính xác cao. * Có khả năng thực hiện tính toán song song với hiệu năng tốt và xử lý lượng dữ liệu lớn.2 Nhược điểm: * Deep Learning thường doi hỏi một lượng lớn tài nguyên tính toán và bộ nhớ, đặc biệt khi làm việc với các mô hình lớn và phức tạp. Việc huấn luyện các mô hình này đòi hỏi phần cứng mạnh mẽ như GPU hoặc TPU, dẫn đến chi phí cao. CƠ SỞ LÝ THUYẾT * Quá trình huấn luyện các mô hình deep learning có thể mất rất nhiều thời gian, đặc biệt với các bộ dữ liệu lớn và các mô hình phức tạp.
Điều này có thể làm chậm quá trình phát triển và triển khai các ứng dụng.3 Ứng dụng * Học sâu có các đóng góp đáng kể cho lĩnh vực y tế, trong đó các mô hình phổ biến bao gồm mô hình dự đoán bệnh, chẩn đoán ung thư, phân tích kết quả chụp MRI, X-quang. * Doanh nghiệp có thé ứng dung Deep Learning để hiểu và phán đoán cảm xúc của khách hàng dựa trên các đánh giá, bình luận, feedback. từ đó đưa ra các chiến lược kinh doanh, marketing phù hợp với từng phân khúc khách hàng. s Nhận dạng hình ảnh (Image Recognition): Các mô hình deep learning như CNN (Convolutional Neural Networks) được sử dung để nhận dạng và phân loại hình ảnh trong các ứng dụng như phân loại đối tượng, nhận diện khuôn mặt, và phát hiện vật thể.
Mạng Nơ-ron Tích chap (CNN) 2.1 Giới thiệu: Mạng Nơ-ron Tích chập (Convolutional Neural Network - CNN) là một kiến trúc mạng nơ-ron nhân tạo (Artificial Neural Network) được sử dụng phổ biến trong lĩnh vực học sâu (Deep Learning) cho các nhiệm vụ xử lý ảnh (Image Processing) và nhận dạng hình ảnh (Computer Vision). CNN được lấy cảm hứng từ cấu trúc thị giác của sinh vật học, với khả năng trích xuất các đặc trưng (Feature) từ dữ liệu hình ảnh một cách hiệu quả, hình 2. CƠ SỞ LÝ THUYET Input n1 channels n1 channels n2 channels n2 channels n3units Output Hình 2. Hình minh hoa cách hoạt động của CNN.2 Cau trúc: Một mạng CNN cơ bản bao gồm các lớp sau: ¢ Lớp đầu vào (Input Layer:) Đây là lớp nhận dữ liệu đầu vào, chẳng hạn như hình ảnh, và chuẩn bị dữ liệu cho các lớp tiếp theo.
Dữ liệu thường được biểu diễn dưới dạng ma trận. » Lớp tích chập (Convolutional Layer): Lớp này thực hiện phép tích chập (convolution) giữa dữ liệu đầu vào và các bộ lọc (filters) để tạo ra các đặc trưng (feature maps). Mỗi bộ lọc thường là một ma trận nhỏ trượt qua toàn bộ dữ liệu đầu vào, áp dụng các phép nhân và cộng để trích xuất các đặc trưng. ¢ Lớp kích hoạt (Activation Layer): Lớp này áp dụng một hàm kích hoạt, chẳng hạn như Rectified Linear Unit (ReLU), để giới thiệu tính phi tuyến tính vào mô hình.