Chương 1: Giới thiệu o Nội dung chính là giới thiệu về dé tài của luận văn, trình bày mục đích lựa chọn đề tài, phạm vi nghiên cứu của khóa luận. © _ Chương 2: Các nghiên cứu và hướng tiếp cận liên quan o_ Các nghiên cứu và hướng tiếp cận liên quan đến đối tượng nghiên cứu và các thách thức hiện tại. © Chương 3: Cơ sở lý thuyết o Nội dung trình bày các khái niệm cơ bản trong công nghệ học máy, kiến trúc của mô hình học máy liên kết và các khái niệm trong chuỗi khối Ethereum. e _ Chương 4: Mô hình đề xuất o_ Trong chương này, tác giả trình bày lý thuyết của framework và phân tích về framework đó.
© Chương 5: Kết quả thực nghiệm o_ Cài đặt framework và chạy thử nghiệm, đưa ra các thông số đo lường kết quả của framework và so sánh với kết quả của khi sử dụng mô hình học máy cụ bộ dé giải quyết cùng bài toán © _ Chương 6: Kết luận và hướng phát triển o_ Trong chương cuối, tác giả nêu ra kết luận về đề tài cũng như các hướng phát triển, cải tiến của dé tài này trong tương lai Chương 2. CÁC NGHIÊN CỨU VÀ HƯỚNG TIẾP CẬN LIÊN QUAN 2. So sánh học cục bộ, học phân tán và học liên kết Trong nghiên cứu của Asad, Moustafa và Ito so sánh về ba loại hình học máy gồm (1) học máy cục bộ, (2) học máy phân tán và (3) học máy liên kết [3]. Cụ thé, nghiên cứu chỉ ra sự khác biệt về cách thức vận hành của ba loại hình trên, sau đó đo lường kết quả của các loại hình trên khi áp dụng vào bài toán phân loại.
Hoc máy cục bộ Ở mô hình này, các bên tham gia sẽ kết nói với server tập trung và upload dữ liệu của mình lên server, và server sẽ thực hiện dùng data đó để thực hiện tính toán dao tạo mô hình. Ưu điểm của mô hình này là các máy tham gia sẽ không tốn tài nguyên cho việc thực hiện đảo tạo vì đây hoàn toàn là công việc của máy server. Tuy nhiên, tính riêng tư và bảo mật của data bị đe dọa ở mức cao vì server có thể bị tấn công và rò rỉ data. Ngoài ra, trong trường hợp lượng dữ liệu là rất lớn, sẽ có khả năng gây ra tắc nghẽn đường truyền giữa các bên tham gia và máy chủ server 2.
Hoc máy phan tán Học máy phân tán được thiết kế để giải quyết các bài toán phức tạp trên dataset lớn, do đó học máy phân tán có tính hiệu quả và khả năng mở rộng quy mô tốt hơn so với học máy cục bộ. Học máy phân tán cũng thực hiện các thuật toán máy học tương tự như ở học máy cục bộ, tuy nhiên việc này được thực hiện riêng lẻ và độc lập trên máy của những người tham gia. Ban đầu, server sẽ cung cấp cho các clients mô hình được đào tạo trước, sau khi clients thực hiện việc tính toán đào tạo mô hình bằng dataset của mình, các máy tham gia sẽ gửi tham số của mô hình w! lên máy chủ server.Sau một lượng trao đổi tham số được định trước, máy chủ sẽ tính toán tham số của mô hình toàn cục w thực hiện kiểm thử và cập nhật mô hình toàn cục. Trong khoảng thời gian trước khi nhận được mô hình toàn cục, các clients sẽ không tận dụng được các kết quả từ clients khác [4].
Học máy liên kết Học máy liên kết vận hành tương tự học máy phân tán, một số nghiên cứu xem học máy liên kết là một hình thức của học máy phân tán [5] [6]. Tuy nhiên điểm khác biệt so với học máy phân tán, client trong học máy liên kết sẽ khởi chạy việc đào tạo mô hình độc lập với các clients khác trong mạng lưới. Cụ thể, mỗi client sẽ khai báo tham số local epochs khi tham gia đào tạo mô hình. Sau khi đào tạo hoàn thành lượng local epochs, mô hình cục bộ sẽ gửi tham số của mô hình w!.
Sau khi nhận được tham số của các clients tham gia trong lượt (round) đó, server thực hiện tính toán cập nhật thông số và chuyền mô hình toàn cục đã được cập nhật cho các clients để thực hiện round tiếp theo. Quy trình này được lặp đến khi hoàn thành đến khi mô hình đạt được mức chính xác đề ra hoặc quy trình lặp hết số rounds được định trước. So sánh hiệu năng các phương thức học may Cũng trong nghiên cứu trên [3], Asad thực nghiệm bằng các đào tạo mô hình phân loại hình ảnh dựa trên bộ dữ liệu MNIST với thông số cầu hình của máy tính như sau: Intel(R) Core(TM) i9-9980HK CPU @ 2.40GHz and 32 GB of RAM. Bài nghiên cứu chia theo ba kịch bản: ¢ Kich bản 1: số lượng clients tham gia là 50 clients, mỗi clients có local dataset chiếm 20% dataset toàn cục.
Số rounds định trước cho học máy phân tán và học máy liên kết là 100 rounds e Kịch bản 2: cùng tham số như kịch bản 1, nhưng tăng lên 200 rounds cho học máy phân tán và học máy liên kết e Kịch bản 3: số lượng clients thuộc tệp p = {20, 40, 60, 80, 100}, số rounds cho học máy phân tán và học máy liên kết là 100 rounds (ATce%usr)tay 'Centalized ML Disthbuted ML ~Federated Learning ÂU 20 0 40 mm 1Ú 2U A0 88 80 1G TÀI 0 960 TU 200 ‘Communication Rounds ‘Communication Rounds Number of Participants (a) Scenario one (b) Scenario two (©) Scenario three (Nguén: Federated Learning Versus Classical Machine Learning [3]) Hình 2-1: So sánh kết quả học máy trên dataset MNIST Kết quả cho thấy học máy cục bộ cho kết quả thấp nhất trong ba loại hình học máy với độ chính xác đạt trong khoảng 65% và 75% qua ba kịch bản. Tiếp đến là học máy phân tán cho ra độ chính xác tốt hơn học máy cục bộ khoảng 10 điểm phần trăm. Cuối cùng, học máy liên kết cho ra kết quả cao nhất trong cả ba kịch bản (đạt 85% và 94%). Sự chênh lệch giữa học máy phân tán và học máy liên kết là do việc tận dụng được "kinh nghiệm" của các máy clients khác trong quá trình huấn luyện của học máy liên kết, mỗi round mô hình đều được cập nhật tham số mới và huấn luyện tiếp chứ không cần chờ đến hết số lượng rounds nhất định mới cập nhật thông số toàn cục như học máy phân tán.
Kết hợp công nghệ chuỗi khối với học máy liên kết Bài nghiên cứu của H. Kim chỉ ra trên mô hình học máy liên kết, hiệu quả của việc bảo vệ tính riêng tư của dữ liệu phụ thuộc rất lớn vào server. Nếu trên server có chứa mã độc, nó có thể ảnh hướng đến tính chính xác của mô hình toàn cục và thậm chí có thé tan công đến dữ liệu của máy clients trong quá trình máy client trao đổi tham số mô hình cục bộ của mình [7]. Ngoài ra, Feng Yu và Hui Lin chỉ ra trên thực tế áp dụng, các máy clients trong mạng lưới học máy liên kết sẽ có các cầu hình khác nhau cũng như dataset khác nhau dẫn đến việc đóng góp vào mô hình toàn cục cũng sẽ khác nhau.
Vì vậy, nếu các clients này không tham gia vào học máy liên kết sẽ ảnh hưởng tiêu cực đến độ chính xác của mô hình toàn cục. Do đó, việc tạo cơ chế khuyến khích các clients tham gia tích cực vào hoạt động học máy liên kết là phù hợp và đem lại tác động tích cực cho toàn hệ thống [8]. Cũng theo Feng Yu và Hui Lin, trong quá trình vận hành học máy liên kết, một số clients có thể vô tình hoặc cé tình chèn mã độc vào tấn công hệ thống dẫn đến sự thất bại của toàn hệ thống [8]. Lợi dụng quá trình trao đổi thông số mô hình cục bộ đến server, mã độc có thể được tải lên và lan ra trong hệ thống.
Do đó, các cập nhật từ mô hình cục bộ cần được lưu lại để có thể truy vết trong trường hợp bị tấn công. Tình huống khác dẫn đến sự thất bại của hệ thống một cách khách quang có thể là do tính thiêu ôn định của đường truyên giữa các clients và Server. Tuu chung lai, mô hình học máy liên kết theo mô hình clients — server hiện tại có ba thách thức cần giải quyết sau: (1) kiến trúc của hệ thống phụ thuộc lớn vào máy server dẫn đến vấn đề Single Failure Point, cả hệ thống sẽ tê liệt néu server bị tấn công hoặc trục trặc; (2) tính tín nhiệm của các máy clients tham gia, việc các clients không được tín nhiệm tham gia và tai mã độc trong quá trình trao đổi tham số mô hình có thé tan công và khai thác dữ liệu của máy server hoặc các peer clients; (3) dù học máy liên kết không yêu cầu chia sẻ data cá nhân, nhưng toàn hệ thống đều được lợi từ data đó và doanh nghiệp tìm kiếm lợi nhuận từ tính chính xác của mô hình, vì vậy việc chia sẻ lợi nhuận để khuyến khích các clients tham gia đào tạo hệ thống là phù hợp và cần thiết. Để giải quyết các vẫn đề trên, công nghệ chuỗi khối blockchain được cho là có khả năng khắc phục điểm yếu của việc sử dụng central server truyền thống.
Với các đặc tinh của công nghệ blockchain như hoạt động trên nên tang peer-to-peer dé truyền tải data, tao và cập nhật data dựa trên thuật toán đồng thuận phân tán, các data được lưu trữ trên số cái phân tán được dam bảo không bị thay đôi. Trong mô hình BlockFL được giới thiệu bởi H. Kim, Jihong Park, mô hình được tóm tắt như sau: (1) các clients sẽ tính toán và cập nhật mô hình cục bộ của mình lên các thợ đào (miner) trong main blockchain, (2) các thợ đào có nhiệm vụ trao đổi và xác thực các mô hình cục bộ được đăng tải lên và sau đó chạy thuật toán đồng thuận. (3) Khi thuật toán đồng thuận hoàn thành, một block mới được tạo ra để xác thực các mô hình cục bộ đã được lưu vết.
Cuối cùng, trong block vừa tạo thêm chứa mô hình toàn cục đã được cập nhật, đưa block đó vào số cái phân tán và các máy trong hệ thống sẽ dùng mô hình đó tính toán cho round tiếp theo [7]. ⁄ Blockchain / I | block | mining I \ : AV AVIA AY AV AV)~ Hình 2-2: Mô tả kiến trúc BlockFL Mô hình trên thu về kết quả thực nghiệm như sau, về độ chính xác BlockFL cho ra kết quả tương tự với mô hình học liên kết thường, tuy nhiên BlockFL có thời gian hoàn thành lâu hơn.