Chương 1: TONG QUAN ĐỀ TÀI Khái quát về đề tài khoá luận mà chúng tôi thực hiện. « Chương 2: CƠ SỞ LÝ THUYET Cung cấp cơ sở lý thuyết, định nghĩa và những kiến thức liên quan đến các hái niệm cần dùng trong bài nghiên cứu. Đồng thời trình bày sơ lược về những bài báo nghiên cứu liên quan. eC hương 3: PHƯƠNG PHÁP THUC HIỆN Đây là phần trọng tâm của bài.
Bao gồm đề xuất mô hình và giải thích phương pháp thực hiện. eC ương 4: THỰC NGHIỆM VÀ DÁNH GIÁ Trinh bày cách thực hiện theo phương pháp được đề xuất ở chương trước, mô tả kết quả và đưa ra đánh giá dựa trên những gì đã thực hiện. eC ương 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIEN N in nhận kết qua thực hiện được, cũng như cung cấp hướng phát triển cho các bài nghiên cứu tiếp theo. ot CHƯƠNG 2.
CƠ SỞ LÝ THUYẾT Tóm tắt chương Đây là phần nhóm chúng tôi sẽ giải thích các khái niệm cần thiết của khoá luận. Dầu tiên là giới thiệu tổng quan về học liên kết, cách hoạt động và những khái niệm cần dùng cho bài khoá luận này. Học liên kết 2. Tổng quan vé học liên kết Đây là một mô hình học máy phi tập trung cho phép đào tạo mô hình hợp tác trên nhiều thiết bị hoặc thực thể mà vẫn đảm bảo quyền riêng tư của dữ liệu.
Theo cách tiếp cận này, thay vì gửi dữ liệu thô đến một máy chủ tập trung, các thiết bị riêng lẻ sẽ đào tạo mô hình và chỉ trao đổi qua lại các bản cập nhật hoặc độ dốc của nhau trong suốt quá trình học. Máy chủ trung tâm sẽ là nơi tổng hợp các bản cập nhật này để tạo nên một mô hình toàn cục từ thông số chung của tất cả các thiết bị tham gia.1 minh hoạ cách hoạt động của mô hình học may này.1: Kiến trúc mô hành học liên kết điển hành [26] Lần đầu tiên, từ khoá "hoc liên kết" được các nhà nghiên cứu của Google giới thiệu trong một bài báo chuyên đề ở [18]. Theo đó, họ đã nhận ra cơ hội của việc tận dụng dữ liệu phân tán từ thiết bị di động để đào tạo các mô hình máy học mà vẫn dam bảo quyền riêng tư của dữ liệu. Dé xuất này đã đặt ra một khuôn khổ cho phép các thiết bị cùng học một mô hình dùng chung mà không cần cung cấp dữ liệu thô của chúng.
Trong thời đại công nghệ trí tuệ nhân tao đang là nhân tố được chú trọng, học liên kết đang giải quyết những khó khăn chính của các nút thắt cổ chai trong ứng dụng AI thương mại bằng cách giữ vững quyền riêng tư dữ liệu và giải quyết tình trạng thiếu dữ liệu, đồng thời học liên kết cũng được áp dụng và có hiệu quả đáng kể trong các lĩnh vực tiếp thị, tài chính, sức khoẻ, giáo dục và nhiều hơn nữa [7, 22, 33, 28]. Dong lực chính đằng sau việc nghiên cứu về học liên kết là để xử lý những vấn đề tồn đọng đến việc lưu trữ và xử lý dit liệu tập trung. Những phương thức học truyền thống yêu cầu phải thu thập, tổng hợp và lưu trữ ở cùng một nơi, đây là vấn đề các tổ chức không mong muốn vì nguy cơ tiết lộ dữ liệu nhạy cảm. Tuy nhiên, đối với học liên kết, dữ liệu vẫn được phân cấp và lưu trữ cục bộ trên các thiết bị tham gia, giúp hạn chế vấn đề về quyền riêng tư và giảm nhu cầu chuyển dữ liệu nhạy cảm sang máy chủ trung tâm.
Có thể mô tả về cách hoạt động của học liên kết như sau: Đầu tiên, máy chủ trung tâm hoặc đám mây sẽ khởi tạo ngẫu nhiên một mô hình toàn cầu. Sau đó, các thiết bị tham gia, chẳng hạn như thiết bị cạnh, sẽ nhận được một bản sao của mô hình toàn cầu. Mỗi thiết bị huấn luyện cục bộ mô hình trên dữ liệu của chính nó, sử dụng các kỹ thuật như giảm dần độ dốc ngẫu nhiên và tính toán độ dốc hoặc cập nhật mô hình. Những cập nhật này sau đó được truyền an toàn đến máy chủ trung tâm, máy chủ này sẽ tổng hợp và kết hợp chúng vào mô hình toàn cầu.
Quá trình đào tạo và tổng hợp cục bộ này được thực hiện lặp đi lặp lại qua nhiều vòng, cho phép mô hình toàn cầu cải thiện theo thời gian trong khi vẫn giữ vững yêu cầu về quyền riêng tư của dữ liệu. Mô hình học liên kết đầu tiên được đề xuất bởi [18] đã đặt nền móng cho các nghiên cứu và tiến bộ sau này trong lĩnh vực này. Kể từ đó, nhiều nghiên cứu đã tìm hiểu nhiều khía cạnh của học liên kết, chẳng hạn như bảo mật, quyền riêng tư, hiệu quả giao tiếp và khả năng mở rộng. Vi du, [5] đã giới thiệu khái niệm tổng hợp an toàn dé bảo vệ quyền riêng tư của người tham gia trong giai đoạn tổng hợp mô hình.
Họ đã đề xuất một giao thức mật mã cho phép máy chủ trung tâm tổng hợp các bản cập nhật mô hình mà không cần truy cập vào các bản cập nhật riêng lẻ, đảm bảo rằng thông tin nhạy cảm vẫn ở chế độ riêng tư. Để giải quyết thách thức về dữ liệu Non-IID, trường hợp phân phối dữ liệu không giống nhau giữa các thiết bị, [15] đã đề xuất FedProx. Dây là một giải pháp được kết hợp từ thuật ngữ lan cận (proximity) vào chức năng mục tiêu của học liên kết, khuyến khích các mô hình cục bộ trở nên gần giống như mô hình toàn cầu. FedProx giúp giảm thiểu tác động của dữ liệu Non-IID lên hiệu suất mô hình và tạo điều kiện cộng tác hiệu quả hơn giữa các bên có phân phối đữ liệu khác nhau.
Hơn nữa, những tiến bộ đã được aps dụng để nâng cao hiệu quả khi giao tiếp của học liên kết. Các nghiên cứu [27] và [34] đã đề xuất các kỹ thuật để lượng giao tiếp cần thiết giữa các thiết bị và máy chủ trung tâm, do đó yêu cầu băng thông và nâng cao hiệu suất tổng thể của mô hình học liên kết. Các thành phần chính trong m6 hinh học liên kết Học liên kết bao gồm một số thành phần chính cho phép đào tạo hợp tác và bảo vệ quyền riêng tư của các mô hình học máy trên một mạng phân tán như sau: e Máy chủ trung tâm: May chủ trung tâm đóng vai trò là người điều phối trong học liên kết. Vai trò chính của nó là điều phối quá trình học tập giữa các thiết bị tham gia (máy khách).
No bắt đầu quy trình đào tạo bằng cách gửi một mô hình ban đầu cho khách hàng, nhận các mô hình được cập nhật sau khi đào tạo cục bộ và tổng hợp chúng để tạo ra một mô hình toàn cầu được cải thiện. Máy chủ trung tâm đảm bảo đồng bộ hóa và cộng tác của các máy khách trong khi cỗ gắng đảm bảo quyền riêng tư của dit liệu. e Thiết bị tham gia (Máy khách): Các bên tham gia, thường được gọi là khách hàng, là những thiết bị đóng góp trực tiếp trong quá trình học liên kết diễn ra. Các thiết bị này có thể là thiết bị cạnh hoặc các nút phân tán khác.
Mỗi khách hàng sở hữu tập dữ liệu cục bộ của mình, tập dữ liệu này thường không được chia sẻ với các khách hàng khác hoặc máy chủ trung tâm do lo ngại về quyền riêng tư. Khách hàng thực hiện đào tạo mô hình cục bộ bằng cách sử dụng đữ liệu riêng của họ và sau đó gửi các thông số mô hình hoặc độ đốc được cập nhật đến máy chủ trung tâm để tổng hợp. Hoạt động cục bộ của khách hàng có thể thay đổi phụ thuộc vào sức mạnh tính toán, kết nối mạng và dữ liệu có sẵn. e Khởi tạo mô hình: Khởi tạo mô hình là việc đầu tiên cần làm để bắt đầu quá trình học liên kết, trong đó máy chủ trung tâm cung cấp mô hình ban đầu cho các máy khách tham gia.
Mô hình ban đầu đóng vai trò là điểm bắt đầu cho quá trình đào tạo, thường được dựa trên tập dữ liệu quy mô lớn hoặc thu được từ một mô hình đã tồn tại trước đó. Việc khởi tạo này đảm bảo rằng quá trình học tập bắt đầu từ một điểm xuất phát hợp lý, giúp hội tụ hiệu quả đến một mô hình toàn cầu hữu ích. e Đào tạo tại địa phương: Dao tạo cục bộ là khi mỗi thiết bị khách đào tạo mô hình bằng tập dữ liệu cục bộ của nó. Bước này được thực hiện riêng 9 lề ở phía khách hang bang bộ dữ liệu riêng của mình.
Công việc đào bạo cục bộ có thể bao gồm một số lần lặp lại, trong đó thiết bị khách cập nhật các tham số bằng cách sử dụng kỹ thuật giảm dần độ dốc hoặc các kỹ thuật tối ưu hóa khác. Quá trình này nhằm tăng hiệu suất của mô hình dựa trên dữ liệu cục bộ của khách hàng trong khi vẫn đảm bảo dữ liệu không được chia sẻ rộng rãi. e Tổng hợp mô hình: Tổng hợp mô hình là bước quan trọng trong học liên ết, trong đó máy chủ trung tâm thu thập các mô hình cập nhật hoặc độ dốc mô hình từ các máy khách tham gia và tổng hợp thành một mô hình toàn cầu được tỉnh chỉnh. Các phương pháp tổng hợp có thể khác nhau, với cách tiếp cận phổ biến nhất là FedAvg [18].
FedAvg tổng hợp bằng cách ấy trung bình tham số các bản cập nhật mô hình hoặc độ dốc nhận được từ máy khách, tạo ra một mô hình đồng thuận phản ánh kiến thức chung của các thiết bị tham gia. Mô hình tổng hợp sau đó được phân phối lại cho hách hàng cho các vòng tổng hợp và đào tạo cuc bộ tiếp theo. Các thành phần chính này hoạt động cùng nhau để thiết lập một khuôn khổ học tập hợp tác và bảo vệ quyền riêng tư trong học liên kết. Máy chủ trung tâm điều phối quá trình đào tạo, khách hàng sẽ huấn luyện mô hình cục bộ trên dit liệu riêng tư của họ và việc tổng hợp mô hình đảm bảo sự hội tụ thành một mô hình toàn cầu có lợi từ kiến thức tập thể trong khi vẫn duy trì quyền riêng tư của dữ liệu.
Hiểu các thành phần này là điều cần thiết để hiểu được dòng chảy và động lực học của các thuật toán học liên kết. Phân loại học liên kết Học liên kết có thể được chia thành nhiều loại tuỳ theo khía cạnh được xét, bài khoá luận này sẽ đề cập đến 2 khía cạnh phổ biến và liên quan đến đề tài của nhóm: dựa vào cấu trúc mạng và đặc điểm phân phối dữ liệu.