Cải thiện hiệu quả giao tiếp của các hệ thống Học Tập Liên Bang

• Tác giả: Dinh Thi Quynh Khanh
• Người hướng dẫn: Assoc. Le Thi Lan
• Trường học: Hanoi University of Science and Technology
• Chuyên ngành: Computer Science
• Đề tài: Nâng cao hiệu quả giao tiếp trong hệ thống Học Tập Liên Bang
• Loại tài liệu: Thesis
• Năm xuất bản: 2023
• Địa điểm: Hanoi

• Acknowledgements
• Abstract
• 1. CHƯƠNG 1: INTRODUCTION
• 1.1. Motivation
• 1.2. Problem definition
• 1.3. Outline of the thesis
• 2. CHƯƠNG 2: COMMUNICATION-EFFICIENT FEDERATED LEARNING
• 2.1. Video-based human action recognition (HAR) and federated learning for HAR
• 2.1.1. Deep learning models for HAR
• 2.1.2. Federated learning for HAR
• 2.1.3. Federated learning frameworks
• 3. CHƯƠNG 3: COMMUNICATION COST REDUCTION USING SPARSE TERNARY COMPRESSION AND ENCODING FOR FEDAVG
• 3.1. Layer-wise sparse ternary compression
• 3.2. Model weight encoding
• 4. CHƯƠNG 4: FLOWERACTION - A FEDERATED LEARNING FRAMEWORK FOR HUMAN ACTION RECOGNITION
• 4.1. Workflow of FlowerAction framework
• 4.2. Deep learning models for human action recognition
• 4.2.1. Inflated 3D ConvNet - I3D
• 4.2.2. Data pre-processing
• 4.3. Characteristics of FlowerAction
• 4.4. Human action recognition datasets
• 4.5. Implementation and setup
• 5. CHƯƠNG 5: CONCLUSIONS
• 5.1. Summary of achievement and limitations
• References
• List of Acronymtypes
• List of Figures
• List of Tables

I. Tổng quan Cách Nâng Cao Giao Tiếp Hiệu Quả trong Học Tập Liên Bang

Học tập liên bang (Federated Learning - FL) đang trở thành một lĩnh vực quan trọng trong bối cảnh trí tuệ nhân tạo (AI) phát triển mạnh mẽ. FL cho phép huấn luyện mô hình trên dữ liệu phân tán, bảo vệ quyền riêng tư của người dùng, thay vì tập trung dữ liệu về một máy chủ duy nhất. Điều này mở ra cơ hội ứng dụng AI rộng rãi hơn, đặc biệt trong các lĩnh vực nhạy cảm như y tế, tài chính. Tuy nhiên, FL cũng đặt ra nhiều thách thức, trong đó có vấn đề giao tiếp hiệu quả. Việc trao đổi thông tin giữa các thiết bị (clients) và máy chủ (server) cần được tối ưu để giảm thiểu chi phí, đảm bảo tốc độ huấn luyện và duy trì độ chính xác của mô hình. Bài viết này sẽ đi sâu vào các phương pháp nâng cao hiệu quả giao tiếp trong hệ thống Học Tập Liên Bang.

1.1. Giới thiệu về Học Tập Liên Bang và các Ưu điểm Chính

Học tập liên bang (FL), được giới thiệu lần đầu bởi Google năm 2017, là một phương pháp học máy cho phép dữ liệu vẫn nằm trên thiết bị cục bộ trong khi một mô hình toàn cầu được huấn luyện. Đây là một cách tiếp cận phi tập trung để học máy, nơi nhiều thiết bị hợp tác để huấn luyện một mô hình chung mà không trao đổi trực tiếp dữ liệu thô. FL có nhiều ưu điểm so với các phương pháp học máy tập trung truyền thống và các phương pháp FL đóng vai trò quan trọng trong việc hỗ trợ các ứng dụng nhạy cảm về quyền riêng tư, nơi dữ liệu huấn luyện được phân phối tại các thiết bị biên.Theo nghiên cứu, FL có tiềm năng cho phép các tính năng dự đoán trên điện thoại thông minh mà không làm giảm trải nghiệm người dùng hoặc làm rò rỉ thông tin riêng tư. Các tổ chức hoặc cơ sở cũng có thể được xem là 'thiết bị' trong bối cảnh FL.Ví dụ, các bệnh viện là những tổ chức chứa rất nhiều dữ liệu bệnh nhân cho chăm sóc sức khỏe dự đoán. Tuy nhiên, các bệnh viện hoạt động theo các quy tắc bảo mật nghiêm ngặt và có thể phải đối mặt với các ràng buộc pháp lý, hành chính hoặc đạo đức yêu cầu dữ liệu phải được giữ tại địa phương. FL là một giải pháp đầy hứa hẹn cho những ứng dụng này.

1.2. Tầm quan trọng của Giao Tiếp Hiệu Quả trong Môi trường FL

Trong Học Tập Liên Bang, giao tiếp là yếu tố then chốt quyết định hiệu suất tổng thể của hệ thống. Việc truyền tải các bản cập nhật mô hình (model updates) giữa các thiết bị và máy chủ, đặc biệt trong mạng lưới có băng thông hạn chế, có thể gây ra tình trạng nghẽn cổ chai, kéo dài thời gian huấn luyện và ảnh hưởng đến độ chính xác của mô hình. Do đó, việc tối ưu hóa giao tiếp không chỉ giúp tiết kiệm tài nguyên mạng mà còn góp phần nâng cao tính khả thi của FL trong các ứng dụng thực tế. Việc này đòi hỏi các giải pháp nén dữ liệu hiệu quả, các giao thức truyền tin tối ưu và các chiến lược phân bổ tài nguyên thông minh. Theo Dinh Thi Quynh Khanh, một lượng đáng kể chi phí liên lạc lớn hơn học tập tập trung, vì các tham số mô hình được yêu cầu phải được trao đổi giữa máy khách và máy chủ trung tâm trong quá trình huấn luyện. Do đó, các phương pháp giảm chi phí giao tiếp là vô cùng quan trọng trong FL.

II. Thách Thức Chi Phí Giao Tiếp Cao trong Hệ Thống Học Tập Liên Bang

Một trong những thách thức lớn nhất của Học Tập Liên Bang là chi phí giao tiếp. Các mô hình deep learning, thường được sử dụng trong FL, có số lượng tham số lớn, đòi hỏi băng thông cao để truyền tải. Trong môi trường với số lượng lớn thiết bị và mạng lưới không ổn định, việc truyền tải liên tục các bản cập nhật mô hình có thể tiêu tốn nhiều tài nguyên và làm chậm quá trình huấn luyện. Thêm vào đó, sự không đồng nhất về dữ liệu (non-IID data) giữa các thiết bị càng làm tăng thêm sự phức tạp, đòi hỏi các phương pháp tối ưu giao tiếp phù hợp với từng tình huống cụ thể.

2.1. Ảnh hưởng của Kích Thước Mô Hình Đến Chi Phí Giao Tiếp

Trong FL, chi phí giao tiếp là một thách thức đáng kể, đặc biệt đối với các thiết bị có băng thông hoặc kết nối hạn chế. Trong FL, các thiết bị hoặc máy chủ cục bộ tính toán độ dốc của hàm mất mát so với các tham số mô hình cục bộ của chúng và gửi chúng đến máy chủ trung tâm để tổng hợp. Tuy nhiên, quá trình này có thể tốn kém về mặt tính toán và có thể dẫn đến chi phí giao tiếp cao.

2.2. Tác Động của Mạng Lưới Không Ổn Định đến Hiệu Quả Giao Tiếp

Chi phí giao tiếp là một thách thức đáng kể trong FL, đặc biệt đối với các thiết bị có băng thông hoặc kết nối hạn chế. Trong FL, các thiết bị hoặc máy chủ cục bộ tính toán độ dốc của hàm mất mát so với các tham số mô hình cục bộ của chúng và gửi chúng đến máy chủ trung tâm để tổng hợp. Tuy nhiên, quá trình này có thể tốn kém về mặt tính toán và có thể dẫn đến chi phí giao tiếp cao.

III. Giải Pháp Nén và Mã Hóa Trọng Số để Giảm Chi Phí Giao Tiếp FL

Để giải quyết vấn đề chi phí giao tiếp, một phương pháp hiệu quả là nén trọng số mô hình và mã hóa dữ liệu trước khi truyền tải. Các kỹ thuật nén như Sparse Ternary Compression (STC) có thể giảm đáng kể kích thước dữ liệu, giúp tiết kiệm băng thông và giảm thời gian truyền tải. Bên cạnh đó, việc mã hóa dữ liệu không chỉ giúp giảm kích thước mà còn tăng cường tính bảo mật cho dữ liệu trong quá trình truyền tải, bảo vệ thông tin nhạy cảm khỏi các cuộc tấn công mạng.

3.1. Áp Dụng Nén Thưa Ba Ngôi Sparse Ternary Compression STC

Việc nén trọng số lấy cảm hứng từ thuật toán Nén thưa ba ngôi với một sửa đổi để có thể áp dụng cho FedAvg. Nhóm nghiên cứu cũng sử dụng các đặc điểm của trọng số nén để mã hóa chúng do đó có thể giảm chi phí liên lạc.

3.2. Mã Hóa Trọng Số Mô Hình Sau Khi Nén để Tối Ưu Hóa

Nhóm nghiên cứu cũng sử dụng các đặc điểm của trọng số nén để mã hóa chúng do đó có thể giảm chi phí liên lạc.

IV. Ứng Dụng Framework FlowerAction cho Nhận Diện Hành Động trong FL

Để thúc đẩy nghiên cứu và ứng dụng Học Tập Liên Bang trong lĩnh vực Computer Vision, một framework mới, FlowerAction, đã được giới thiệu. FlowerAction cho phép nghiên cứu các kỹ thuật nhận diện hành động dựa trên video trong môi trường FL. Framework này tích hợp nhiều kỹ thuật tiên tiến, bao gồm tải dữ liệu, phân vùng dữ liệu, các kiến trúc mạng phổ biến cho HAR (Human Action Recognition) và các thuật toán tổng hợp FL. FlowerAction giúp các nhà nghiên cứu dễ dàng tiếp cận FL và thực hiện các thử nghiệm một cách nhanh chóng.

4.1. Giới thiệu về FlowerAction và các Tính năng Chính

FlowerAction được xây dựng dựa trên khung Flower hiện có để giao tiếp với các thành phần bên ngoài (bộ nạp dữ liệu, mô hình sâu) và các thành phần bên trong của Flower (giao tiếp mô hình và các thuật toán tổng hợp).

4.2. Kết Quả Thử Nghiệm và Đánh Giá Hiệu Suất của FlowerAction

Kết quả thử nghiệm cho thấy khung FlowerAction hoạt động đúng, giúp các nhà nghiên cứu tiếp cận FL ít nỗ lực hơn và tiến hành các tiêu chuẩn huấn luyện liên kết một cách nhanh chóng.

V. Kết luận Tối ưu Giao Tiếp là Chìa Khóa Thành Công của Học FL

Trong bối cảnh Học Tập Liên Bang ngày càng phát triển, việc tối ưu giao tiếp đóng vai trò then chốt để đảm bảo tính khả thi và hiệu quả của hệ thống. Các kỹ thuật nén dữ liệu, mã hóa thông tin và các framework như FlowerAction đang mở ra những hướng đi mới để giải quyết vấn đề chi phí giao tiếp. Trong tương lai, việc nghiên cứu và phát triển các giải pháp giao tiếp thông minh và thích ứng sẽ tiếp tục là một lĩnh vực quan trọng, góp phần thúc đẩy sự phát triển của Học Tập Liên Bang và ứng dụng của nó trong nhiều lĩnh vực khác nhau.

5.1. Tóm Tắt các Giải Pháp và Hướng Phát Triển Tiềm Năng

Để giải quyết vấn đề chi phí giao tiếp, nhóm nghiên cứu đề xuất một phương pháp nén trọng số mô hình và mã hóa trong quá trình tải lên mô hình cho Federated Averaging (FedAvg) - một thuật toán được sử dụng rộng rãi trong FL. Việc nén trọng số lấy cảm hứng từ thuật toán Nén thưa ba ngôi với một sửa đổi để có thể áp dụng cho FedAvg. Nhóm nghiên cứu cũng sử dụng các đặc điểm của trọng số nén để mã hóa chúng do đó có thể giảm chi phí liên lạc.

5.2. Tương Lai của Giao Tiếp Hiệu Quả trong Học Tập Liên Bang

Hơn nữa, kết quả phân tích cho thấy hiệu suất về độ chính xác hàng đầu và chi phí giao tiếp của các thuật toán FL khác nhau có thể đưa ra các đề xuất mang tính hướng dẫn cho việc lựa chọn và triển khai một mô hình sâu để nhận dạng hành động dựa trên FL trong tương lai.

Tổng quan nghiên cứu

Trong những năm gần đây, lĩnh vực học máy phân tán (Federated Learning - FL) đã trở thành xu hướng nghiên cứu nổi bật nhằm giải quyết bài toán bảo mật dữ liệu trong đào tạo mô hình học sâu. Theo ước tính, việc thu thập và xử lý dữ liệu tập trung đang gặp nhiều thách thức về quyền riêng tư và chi phí truyền tải dữ liệu lớn, đặc biệt trong các ứng dụng thị giác máy tính như nhận dạng hành động con người từ video. FL cho phép các thiết bị đầu cuối hợp tác đào tạo mô hình mà không cần chia sẻ dữ liệu gốc, chỉ truyền tải các cập nhật trọng số mô hình, từ đó bảo vệ quyền riêng tư và tận dụng sức mạnh tính toán phân tán. Tuy nhiên, các mô hình học sâu cho thị giác máy tính thường có hàng triệu tham số, dẫn đến chi phí truyền thông rất lớn trong FL, gây ra tắc nghẽn băng thông và làm giảm hiệu quả đào tạo. Bên cạnh đó, việc phát triển các công cụ và khung phần mềm hỗ trợ FL cho các tác vụ phức tạp như nhận dạng hành động con người còn rất hạn chế, đặc biệt là các framework hiện tại chủ yếu tập trung vào các bài toán phân loại ảnh đơn giản. Mục tiêu nghiên cứu của luận văn là cải thiện hiệu quả truyền thông trong hệ thống FL, đồng thời xây dựng một framework FL chuyên biệt cho bài toán nhận dạng hành động con người từ video, giúp cộng đồng nghiên cứu và thực hành dễ dàng triển khai và đánh giá các thuật toán FL trong lĩnh vực này. Phạm vi nghiên cứu tập trung vào các thuật toán nén trọng số mô hình, mã hóa dữ liệu truyền tải, và phát triển framework FlowerAction dựa trên nền tảng Flower, áp dụng cho các bộ dữ liệu benchmark phổ biến như MNIST, HMDB51 và EgoGesture. Nghiên cứu có ý nghĩa quan trọng trong việc thúc đẩy ứng dụng FL trong các hệ thống thị giác máy tính phân tán, giảm thiểu chi phí truyền thông, đồng thời bảo vệ quyền riêng tư dữ liệu người dùng.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình chính sau:

• Federated Learning (FL): Phương pháp học máy phân tán, cho phép nhiều thiết bị hoặc máy chủ hợp tác đào tạo mô hình chung mà không cần chia sẻ dữ liệu gốc, chỉ truyền tải các cập nhật trọng số hoặc gradient. Thuật toán phổ biến là Federated Averaging (FedAvg), trong đó các client cập nhật mô hình cục bộ và gửi trọng số về server để tổng hợp.

• Sparse Ternary Compression (STC): Kỹ thuật nén trọng số hoặc gradient bằng cách giữ lại một phần trọng số có độ lớn lớn nhất (top-k), sau đó lượng tử hóa thành ba giá trị {-μ, 0, μ}, giúp giảm đáng kể kích thước dữ liệu truyền tải mà vẫn giữ được độ chính xác mô hình.

• Deep Learning cho nhận dạng hành động (HAR): Sử dụng các kiến trúc mạng nơ-ron tích chập 3D (3D CNN), SlowFast, I3D, R3D để trích xuất đặc trưng không gian - thời gian từ video, phục vụ cho việc phân loại hành động.

• Framework Flower: Một framework FL mã nguồn mở, hỗ trợ triển khai các thuật toán FL với khả năng mở rộng, dễ dàng tùy biến và hỗ trợ cả mô phỏng và triển khai thực tế.

Các khái niệm chính bao gồm: nén trọng số mô hình, mã hóa dữ liệu truyền tải, phân phối dữ liệu không độc lập và đồng phân phối (Non-IID và IID), các thuật toán tổng hợp trọng số (FedAvg, FedBN, FedPNS), và các chỉ số đánh giá như độ chính xác top-k, chi phí truyền thông.

Phương pháp nghiên cứu

• Nguồn dữ liệu: Sử dụng các bộ dữ liệu benchmark phổ biến trong lĩnh vực nhận dạng hành động và phân loại ảnh như MNIST (phân loại chữ số viết tay), HMDB51 và EgoGesture (video nhận dạng hành động con người).

• Phương pháp phân tích:

  • Phát triển thuật toán nén trọng số mô hình dựa trên STC, áp dụng nén từng lớp trọng số riêng biệt với hệ số nén p, kết hợp mã hóa chỉ số trọng số không bằng 0 với dấu hiệu của chúng để giảm chi phí truyền thông.

  • Xây dựng framework FlowerAction mở rộng từ Flower, tích hợp các mô hình deep learning cho HAR, các thuật toán FL khác nhau, và các công cụ đánh giá hiệu năng, chi phí truyền thông.

  • Thực hiện các thí nghiệm mô phỏng và triển khai thực tế để đánh giá độ chính xác mô hình, chi phí truyền thông, ảnh hưởng của phân phối dữ liệu IID và Non-IID, tỷ lệ client tham gia, và chiến lược lựa chọn client.

• Timeline nghiên cứu: Nghiên cứu được thực hiện trong khoảng thời gian học thạc sĩ, với các giai đoạn phát triển thuật toán nén, xây dựng framework, thực hiện thí nghiệm và phân tích kết quả.

• Cỡ mẫu và chọn mẫu: Sử dụng 100 client trong mô phỏng với dữ liệu phân phối IID và Non-IID, mỗi client có tập dữ liệu cục bộ riêng biệt. Các mô hình deep learning được huấn luyện trên các bộ dữ liệu chuẩn.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Giảm chi phí truyền thông hiệu quả: Thuật toán nén trọng số và mã hóa được đề xuất giúp giảm chi phí truyền thông từ client lên server tới khoảng 20-25% so với FedAvg truyền thống, ví dụ với hệ số nén p = 73% trên MNIST, chi phí truyền thông giảm từ 499.3 MB xuống còn khoảng 399.2 MB.

2. Độ chính xác mô hình duy trì tốt: Trên bộ dữ liệu MNIST, độ chính xác mô hình đạt khoảng 82.22% với dữ liệu phân phối Non-IID và 94% với dữ liệu IID khi áp dụng thuật toán nén, chỉ giảm nhẹ so với FedAvg gốc (89.21% với IID), cho thấy thuật toán nén không làm suy giảm đáng kể hiệu năng.

3. Ảnh hưởng của phân phối dữ liệu: Dữ liệu phân phối Non-IID làm giảm độ chính xác mô hình so với IID, đồng thời làm tăng sự phân bố không đồng đều của các lớp dữ liệu trên client, ảnh hưởng đến khả năng học chung của mô hình.

4. Hiệu quả framework FlowerAction: Framework FlowerAction hỗ trợ triển khai các mô hình deep learning phức tạp cho HAR, tích hợp nhiều thuật toán FL (FedAvg, FedBN, FedPNS, STC), cho phép thực hiện các thí nghiệm mô phỏng và thực tế trên các bộ dữ liệu HMDB51 và EgoGesture với độ chính xác top-1 đạt mức cạnh tranh, đồng thời cung cấp công cụ đo lường chi phí truyền thông và trực quan hóa kết quả.

Thảo luận kết quả

Nguyên nhân chính của việc giảm chi phí truyền thông là do thuật toán nén trọng số theo lớp giúp loại bỏ các trọng số có độ lớn nhỏ, đồng thời mã hóa chỉ số trọng số không bằng 0 với dấu hiệu của chúng giúp giảm kích thước dữ liệu truyền tải. Kết quả này phù hợp với các nghiên cứu trước đây về Sparse Ternary Compression nhưng được mở rộng áp dụng cho FedAvg và các mô hình deep learning phức tạp hơn.

Việc duy trì độ chính xác mô hình trong khi giảm chi phí truyền thông cho thấy sự cân bằng hiệu quả giữa nén dữ liệu và bảo toàn thông tin mô hình. Tuy nhiên, độ chính xác giảm nhẹ khi hệ số nén tăng cao do mất thông tin chi tiết trong trọng số mô hình.

Phân phối dữ liệu Non-IID gây khó khăn cho việc tổng hợp mô hình chung do sự khác biệt lớn giữa các client, dẫn đến hiệu năng giảm so với IID. Điều này nhấn mạnh tầm quan trọng của các chiến lược lựa chọn client và cá nhân hóa mô hình trong FL.

Framework FlowerAction cung cấp môi trường thực nghiệm linh hoạt, hỗ trợ các mô hình và thuật toán đa dạng, giúp nghiên cứu và ứng dụng FL trong nhận dạng hành động trở nên khả thi và hiệu quả hơn. Các biểu đồ so sánh độ chính xác và chi phí truyền thông, ma trận nhầm lẫn, và trực quan hóa t-SNE được sử dụng để minh họa kết quả.

Đề xuất và khuyến nghị

1. Tối ưu hóa hệ số nén trọng số theo lớp: Áp dụng kỹ thuật học siêu tham số (Meta-Learning) để điều chỉnh hệ số nén p cho từng lớp trọng số riêng biệt, nhằm cân bằng tối ưu giữa độ chính xác và chi phí truyền thông.

2. Phát triển chiến lược lựa chọn client thông minh: Thiết kế các thuật toán lựa chọn client dựa trên chất lượng dữ liệu, khả năng tính toán và băng thông để cải thiện hiệu quả đào tạo và giảm chi phí truyền thông không cần thiết.

3. Mở rộng framework FlowerAction: Tích hợp thêm các mô hình deep learning mới như Transformer cho video, hỗ trợ thêm các bộ dữ liệu đa dạng và các thuật toán FL tiên tiến để tăng tính ứng dụng và khả năng mở rộng.

4. Triển khai thực tế và đo lường chi phí truyền thông: Sử dụng các công cụ giám sát mạng thực tế (ví dụ Wireshark, Netstat) để đánh giá chính xác chi phí truyền thông trong môi trường phân tán, từ đó điều chỉnh thuật toán và framework phù hợp với điều kiện thực tế.

5. Khuyến nghị thực hiện trong vòng 6-12 tháng: Triển khai các giải pháp tối ưu hóa thuật toán nén, phát triển chiến lược client, và mở rộng framework để chuẩn bị cho các ứng dụng thực tế trong lĩnh vực y tế, giám sát an ninh, và tương tác người-máy.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành học máy phân tán và thị giác máy tính: Luận văn cung cấp kiến thức chuyên sâu về FL, thuật toán nén trọng số, và ứng dụng trong nhận dạng hành động, hỗ trợ phát triển nghiên cứu và đề tài luận văn.

2. Kỹ sư phát triển phần mềm và hệ thống FL: Framework FlowerAction và các thuật toán được trình bày giúp kỹ sư xây dựng, triển khai và tối ưu hệ thống FL thực tế cho các ứng dụng video và thị giác máy tính.

3. Chuyên gia bảo mật và quản lý dữ liệu: Hiểu rõ về cách FL bảo vệ quyền riêng tư dữ liệu trong đào tạo mô hình phân tán, đồng thời đánh giá các thách thức và giải pháp giảm chi phí truyền thông.

4. Doanh nghiệp và tổ chức ứng dụng AI trong lĩnh vực y tế, an ninh, IoT: Tham khảo để áp dụng FL trong các hệ thống phân tán, bảo vệ dữ liệu nhạy cảm, đồng thời tối ưu chi phí truyền thông và hiệu năng mô hình.

Câu hỏi thường gặp

1. Federated Learning là gì và tại sao cần thiết trong thị giác máy tính?
   FL là phương pháp học máy phân tán cho phép đào tạo mô hình mà không cần chia sẻ dữ liệu gốc, giúp bảo vệ quyền riêng tư và tận dụng sức mạnh tính toán phân tán. Trong thị giác máy tính, dữ liệu video lớn và nhạy cảm, FL giúp giảm chi phí truyền tải và bảo mật dữ liệu.

2. Thuật toán Sparse Ternary Compression hoạt động như thế nào?
   STC giữ lại một phần trọng số có độ lớn lớn nhất (top-k), lượng tử hóa thành ba giá trị {-μ, 0, μ}, giúp giảm kích thước dữ liệu truyền tải mà vẫn giữ được độ chính xác mô hình. Luận văn áp dụng nén theo lớp trọng số riêng biệt để tối ưu hiệu quả.

3. Phân phối dữ liệu Non-IID ảnh hưởng thế nào đến FL?
   Dữ liệu Non-IID có phân phối khác nhau giữa các client, gây khó khăn cho việc tổng hợp mô hình chung, làm giảm độ chính xác và hiệu quả đào tạo so với dữ liệu IID. Cần có các chiến lược cá nhân hóa và lựa chọn client phù hợp để khắc phục.

4. Framework FlowerAction có điểm gì nổi bật?
   FlowerAction mở rộng từ Flower, hỗ trợ các mô hình deep learning phức tạp cho nhận dạng hành động video, tích hợp nhiều thuật toán FL, cung cấp công cụ đánh giá hiệu năng và chi phí truyền thông, giúp nghiên cứu và triển khai FL dễ dàng hơn.

5. Làm thế nào để giảm chi phí truyền thông trong FL?
   Ngoài nén trọng số và mã hóa, có thể áp dụng các kỹ thuật như giảm tần suất truyền tải, tổng hợp cục bộ, lựa chọn client thông minh, và sử dụng kiến trúc phân cấp hoặc phi tập trung để tối ưu chi phí truyền thông.

Kết luận

• Đã phát triển thành công thuật toán nén trọng số và mã hóa giúp giảm chi phí truyền thông trong FL mà vẫn duy trì độ chính xác mô hình cao.
• Xây dựng framework FlowerAction hỗ trợ nghiên cứu và triển khai FL cho bài toán nhận dạng hành động từ video với khả năng mở rộng và tùy biến cao.
• Thực nghiệm trên các bộ dữ liệu MNIST, HMDB51, EgoGesture cho thấy hiệu quả của phương pháp trong cả môi trường mô phỏng và triển khai thực tế.
• Phân phối dữ liệu Non-IID là thách thức lớn, cần các chiến lược cá nhân hóa và lựa chọn client phù hợp để nâng cao hiệu quả FL.
• Đề xuất các hướng phát triển tiếp theo bao gồm tối ưu hóa hệ số nén theo lớp, mở rộng framework, và triển khai thực tế với đo lường chi phí truyền thông chính xác.

Hành động tiếp theo: Khuyến khích các nhà nghiên cứu và kỹ sư ứng dụng thử nghiệm FlowerAction trong các dự án FL thực tế, đồng thời phát triển thêm các thuật toán tối ưu hóa chi phí truyền thông và cá nhân hóa mô hình để nâng cao hiệu quả và tính ứng dụng của FL trong thị giác máy tính.