Luận Văn Thạc Sĩ: Nâng Cao Hiệu Quả Bảo Mật Mạng Truyền Tin UAV Ứng Dụng Học Tăng Cường

Luận văn thạc sĩ nghiên cứu cải thiện kết quả bảo mật của mạng truyền tin uav ứng dụng học tăng cường, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện pháp hoàn thiện trong

• Tác giả: Nguyên Quy Tôn
• Trường học: Đại học Công nghiệp Hà Nội
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Nâng cao hiệu quả bảo mật mạng truyền tin UAV ứng dụng học tăng cường
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2024
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• DANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TẮT
• DANH MỤC BẢNG BIỂU
• DANH MỤC HÌNH ẢNH
• 1. CHƯƠNG 1: TỔNG QUAN BÀI TOÁN
• 1.1. TỔNG QUAN VÀ HỆ THỐNG MẠNG TRUYỀN DẪN UAV
• 1.1.1. Giới thiệu về UAV
• 1.1.2. Giới thiệu về mạng truyền thông di động
• 1.1.3. Xác định vấn đề hiệu suất bảo mật của mạng truyền tin UAV
• 1.1.3.1. Tình hình nghiên cứu trong nước
• 1.1.3.2. Tình hình nghiên cứu nước ngoài
• 1.2. KẾT LUẬN CHƯƠNG
• 2. CHƯƠNG 2: GIẢI PHÁP NÂNG CAO HIỆU QUẢ BẢO MẬT CỦA MẠNG TRUYỀN TIN UAV
• 2.1. MÔ HÌNH HỆ THỐNG MẠNG TRUYỀN TIN UAV
• 2.1.1. Mô hình hệ thống
• 2.1.2. Mô hình truyền dẫn tín hiệu
• 2.1.3. Markov Decision Process
• 2.2. KẾT LUẬN CHƯƠNG
• 3. CHƯƠNG 3: THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 3.1. TỔNG QUAN VÀ PHƯƠNG PHÁP THỰC HIỆN
• 3.1.1. Giới thiệu phương pháp mô phỏng
• 3.1.2. Ưu điểm của phương pháp mô phỏng
• 3.1.3. Nhược điểm của phương pháp mô phỏng
• 3.2. KỊCH BẢN THỰC NGHIỆM
• 3.2.1. Thiết kế môi trường
• 3.2.2. Thiết lập phần thưởng
• 3.2.3. Tham số mô phỏng
• 3.3. QUY TRÌNH THỰC NGHIỆM
• 3.3.1. Khởi tạo tham số hệ thống
• 3.3.2. Xây dựng thuật toán
• 3.3.3. Đánh giá và phân tích kết quả
• 3.4. KẾT QUẢ THỰC NGHIỆM
• 3.4.1. Tính khả thi của thuật toán
• 3.4.2. Đánh giá dung lượng bảo mật theo số lượng nghe lén
• 3.4.3. Đánh giá dung lượng bảo mật theo độ cao bay của UAV
• 3.4.4. KẾT LUẬN CHƯƠNG
• KẾT LUẬN VÀ KIẾN NGHỊ
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về hệ thống mạng UAV

Phần này giới thiệu tổng quan về hệ thống UAV và mạng truyền tin UAV, tập trung vào các ứng dụng và thách thức trong việc bảo mật thông tin. UAV (Unmanned Aerial Vehicle) đang trở thành công cụ quan trọng trong nhiều lĩnh vực, đặc biệt là truyền thông không dây. Tuy nhiên, việc triển khai hệ thống UAV đòi hỏi giải quyết các vấn đề an ninh mạng phức tạp, đặc biệt là khi có sự can thiệp từ các thiết bị nghe lén hoặc UAV khác.

1.1. Giới thiệu về UAV

UAV là thiết bị bay không người lái, được sử dụng rộng rãi trong các lĩnh vực như quân sự, nông nghiệp, và truyền thông. Với khả năng di chuyển linh hoạt, UAV có thể cung cấp kết nối không dây hiệu quả, đặc biệt trong các khu vực khó tiếp cận. Tuy nhiên, việc triển khai hệ thống UAV đòi hỏi giải quyết các vấn đề bảo mật mạng để đảm bảo thông tin không bị xâm phạm.

1.2. Giới thiệu về mạng truyền thông di động

Mạng truyền thông di động là hệ thống phức tạp, bao gồm các trạm cơ sở và thiết bị di động. UAV được sử dụng như trạm phát sóng di động trên không, giúp mở rộng phạm vi phủ sóng và tối ưu hóa kết nối. Tuy nhiên, việc triển khai mạng truyền tin UAV đòi hỏi giải quyết các vấn đề an ninh mạng, đặc biệt là khi có sự can thiệp từ các thiết bị nghe lén.

II. Giải pháp nâng cao hiệu quả bảo mật mạng UAV

Phần này tập trung vào các giải pháp bảo mật cho hệ thống UAV, đặc biệt là việc ứng dụng học tăng cường (Reinforcement Learning) để tối ưu hóa hiệu quả bảo mật. Học tăng cường là phương pháp hiệu quả để giải quyết các bài toán phức tạp trong bảo mật mạng, đặc biệt là khi có sự thay đổi liên tục của vị trí UAV và thiết bị nghe lén.

2.1. Mô hình hệ thống mạng truyền tin UAV

Mô hình hệ thống mạng truyền tin UAV bao gồm các thành phần như trạm phát sóng, thiết bị người dùng, và UAV. Học tăng cường được áp dụng để tối ưu hóa quỹ đạo di chuyển của UAV, đảm bảo kết nối an toàn và hiệu quả. Phương pháp này giúp giảm thiểu tín hiệu bị nghe lén và tăng cường tính năng bảo mật UAV.

2.2. Ứng dụng học tăng cường trong bảo mật mạng UAV

Học tăng cường được sử dụng để huấn luyện UAV tự động điều chỉnh quỹ đạo dựa trên vị trí của thiết bị người dùng và nghe lén. Phương pháp này giúp tối ưu hóa hiệu quả bảo mật và giảm thiểu rủi ro bị tấn công. Các thuật toán như DQN (Deep Q-Network) được áp dụng để đạt được kết quả tốt nhất.

III. Thực nghiệm và đánh giá

Phần này trình bày các kết quả thực nghiệm và đánh giá hiệu quả của các giải pháp bảo mật được đề xuất. Các thử nghiệm được thực hiện trong môi trường mô phỏng, với các tham số như số lượng nghe lén, độ cao bay của UAV, và vị trí thiết bị người dùng. Kết quả cho thấy việc áp dụng học tăng cường giúp cải thiện đáng kể hiệu quả bảo mật mạng UAV.

3.1. Kết quả thực nghiệm

Các thử nghiệm cho thấy học tăng cường giúp UAV tự động điều chỉnh quỹ đạo để tối ưu hóa kết nối và giảm thiểu tín hiệu bị nghe lén. Kết quả mô phỏng cho thấy dung lượng bảo mật của hệ thống tăng lên đáng kể khi áp dụng các thuật toán học tăng cường.

3.2. Đánh giá hiệu quả bảo mật

Việc áp dụng học tăng cường giúp cải thiện hiệu quả bảo mật của hệ thống UAV, đặc biệt là trong các tình huống có nhiều thiết bị nghe lén. Kết quả đánh giá cho thấy tính năng bảo mật UAV được nâng cao, đảm bảo an toàn thông tin trong môi trường thực tế.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển nhanh chóng của công nghệ truyền thông không dây, việc ứng dụng máy bay không người lái (UAV) trong mạng truyền tin di động ngày càng trở nên phổ biến và quan trọng. Theo ước tính, UAV có thể hoạt động ở độ cao trên 100m, cung cấp khả năng truyền tín hiệu linh hoạt, nhanh chóng và hiệu quả cho các khu vực khó tiếp cận hoặc bị ảnh hưởng bởi điều kiện thời tiết, địa hình. Tuy nhiên, việc triển khai mạng truyền tin UAV cũng đặt ra nhiều thách thức về bảo mật thông tin, đặc biệt là nguy cơ nghe lén và tấn công từ các đối tượng xấu. Mục tiêu nghiên cứu của luận văn là nâng cao hiệu quả bảo mật của mạng truyền tin UAV bằng cách ứng dụng các thuật toán học tăng cường (reinforcement learning), nhằm tối ưu hóa kế hoạch di chuyển và truyền tín hiệu của UAV trong môi trường có sự xuất hiện của các đối tượng nghe lén.

Phạm vi nghiên cứu tập trung vào mô hình mạng truyền tin UAV hỗ trợ bởi các trạm phát sóng mặt đất (GBS) và các UAV đóng vai trò như trạm phát sóng di động (UAV-BS). Nghiên cứu được thực hiện trong môi trường mô phỏng với các tham số về vị trí, công suất phát, số lượng người dùng và đối tượng nghe lén, nhằm đánh giá hiệu quả bảo mật qua các chỉ số như tỷ lệ tín hiệu trên nhiễu và nhiễu (SINR), dung lượng bảo mật và tỷ lệ ngừng hoạt động (outage probability). Ý nghĩa của nghiên cứu thể hiện qua việc cung cấp giải pháp nâng cao an toàn thông tin trong mạng truyền tin UAV, góp phần phát triển các ứng dụng UAV trong viễn thông, quân sự, cứu hộ và các lĩnh vực khác.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai khung lý thuyết chính: mô hình truyền thông UAV và học tăng cường (reinforcement learning).

1. Mô hình truyền thông UAV: Mạng truyền tin UAV được mô hình hóa với các thành phần gồm trạm phát sóng mặt đất (GBS), UAV làm trạm phát sóng di động (UAV-BS), người dùng (UE) và đối tượng nghe lén (E). Kênh truyền tín hiệu được phân thành hai loại: LoS (Line of Sight) và NLoS (Non-Line of Sight), với các mô hình fading Rician và Rayleigh tương ứng. Các tham số như công suất phát, khoảng cách, góc nâng và tán hao đường truyền được tính toán chi tiết để đánh giá chất lượng kênh và hiệu suất truyền thông.

2. Học tăng cường (Reinforcement Learning - RL): Đây là phương pháp học máy cho phép tác nhân (agent) học cách hành động tối ưu trong môi trường thông qua phản hồi phần thưởng (reward). Luận văn sử dụng mô hình Markov Decision Process (MDP) để mô hình hóa quá trình ra quyết định của UAV trong việc điều chỉnh vị trí và công suất phát nhằm tối đa hóa dung lượng bảo mật. Thuật toán Q-learning và Deep Q-Network (DQN) được áp dụng để huấn luyện mô hình, giúp UAV tự động điều chỉnh chiến lược truyền thông trong môi trường động có sự xuất hiện của các đối tượng nghe lén.

Các khái niệm chính bao gồm: SINR (Signal-to-Interference-plus-Noise Ratio), dung lượng bảo mật (secrecy capacity), tỷ lệ ngừng hoạt động (outage probability), chính sách (policy), trạng thái (state), hành động (action) và phần thưởng (reward).

Phương pháp nghiên cứu

Nguồn dữ liệu nghiên cứu chủ yếu là dữ liệu mô phỏng dựa trên các tham số thực tế và giả định trong môi trường mạng truyền tin UAV. Cỡ mẫu mô phỏng bao gồm nhiều UAV, người dùng và đối tượng nghe lén với vị trí và hành vi di chuyển ngẫu nhiên theo phân phối xác suất.

Phương pháp phân tích sử dụng mô hình hóa kênh truyền tín hiệu, tính toán SINR và dung lượng bảo mật dựa trên các công thức toán học chi tiết. Thuật toán học tăng cường được huấn luyện qua nhiều vòng lặp, sử dụng Q-learning và DQN để tối ưu hóa chính sách điều khiển UAV.

Timeline nghiên cứu gồm các bước: khảo sát lý thuyết và nghiên cứu trước, xây dựng mô hình truyền thông, thiết kế môi trường mô phỏng, huấn luyện thuật toán RL, đánh giá kết quả qua các chỉ số hiệu suất và bảo mật, cuối cùng là triển khai thử nghiệm và điều chỉnh mô hình.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả bảo mật được nâng cao rõ rệt khi áp dụng học tăng cường: Mô phỏng cho thấy dung lượng bảo mật của mạng truyền tin UAV tăng trung bình khoảng 20-30% so với các phương pháp truyền thống không sử dụng RL, đặc biệt trong môi trường có nhiều đối tượng nghe lén.

2. Tỷ lệ ngừng hoạt động (outage probability) giảm đáng kể: Khi sử dụng thuật toán Q-learning và DQN để điều chỉnh vị trí và công suất phát của UAV, tỷ lệ ngừng hoạt động giảm từ khoảng 15% xuống còn dưới 5%, giúp duy trì kết nối ổn định cho người dùng.

3. Ảnh hưởng của các tham số môi trường: Kết quả phân tích cho thấy việc tăng độ cao bay của UAV lên trên 100m làm tăng xác suất xuất hiện kênh LoS, từ đó cải thiện SINR trung bình lên khoảng 10 dB. Đồng thời, việc tăng khoảng cách giữa UAV và đối tượng nghe lén làm giảm đáng kể dung lượng nghe lén, góp phần nâng cao bảo mật.

4. So sánh các thuật toán học tăng cường: DQN thể hiện khả năng hội tụ nhanh hơn và đạt hiệu suất bảo mật cao hơn so với Q-learning truyền thống, với mức tăng dung lượng bảo mật thêm khoảng 5-7% trong các thử nghiệm mô phỏng.

Thảo luận kết quả

Nguyên nhân chính của việc nâng cao hiệu quả bảo mật là do thuật toán học tăng cường cho phép UAV tự động điều chỉnh chiến lược truyền thông dựa trên phản hồi môi trường, tối ưu hóa vị trí và công suất phát để giảm thiểu khả năng nghe lén. So với các nghiên cứu trước đây, kết quả này phù hợp với báo cáo của ngành về việc ứng dụng RL trong mạng UAV giúp cải thiện đáng kể chất lượng và an toàn truyền thông.

Việc giảm tỷ lệ ngừng hoạt động cũng góp phần duy trì kết nối liên tục cho người dùng, đặc biệt trong các tình huống khẩn cấp hoặc vùng sâu vùng xa. Các biểu đồ SINR và dung lượng bảo mật theo thời gian cho thấy xu hướng tăng ổn định khi thuật toán được huấn luyện, minh chứng cho tính khả thi của phương pháp.

Ngoài ra, việc phân tích ảnh hưởng của các tham số môi trường giúp xác định các điều kiện tối ưu cho hoạt động của UAV, từ đó đề xuất các chính sách vận hành phù hợp trong thực tế. Kết quả cũng cho thấy DQN là lựa chọn ưu việt hơn trong các ứng dụng phức tạp, nhờ khả năng xử lý dữ liệu lớn và học sâu.

Đề xuất và khuyến nghị

1. Triển khai hệ thống học tăng cường trong quản lý UAV: Các nhà quản lý mạng nên áp dụng thuật toán RL như DQN để tự động hóa việc điều khiển UAV, nhằm nâng cao hiệu quả bảo mật và chất lượng dịch vụ trong các mạng truyền tin UAV. Thời gian triển khai dự kiến trong vòng 12 tháng.

2. Tăng cường đào tạo và nghiên cứu về AI trong truyền thông UAV: Các tổ chức nghiên cứu và doanh nghiệp cần đầu tư đào tạo chuyên sâu về học máy và học tăng cường cho đội ngũ kỹ sư, nhằm phát triển các giải pháp tối ưu cho mạng UAV. Khuyến nghị thực hiện trong 6-18 tháng.

3. Xây dựng môi trường mô phỏng thực tế cao: Để đánh giá và tối ưu các thuật toán, cần phát triển các mô hình mô phỏng mạng UAV với dữ liệu thực tế về địa hình, thời tiết và hành vi người dùng. Chủ thể thực hiện là các viện nghiên cứu và doanh nghiệp công nghệ, trong vòng 12 tháng.

4. Phát triển chính sách bảo mật và quy định pháp lý cho UAV: Cơ quan quản lý nhà nước cần xây dựng các quy định về an ninh mạng và bảo mật thông tin trong hoạt động UAV, đảm bảo an toàn cho người dùng và doanh nghiệp. Thời gian đề xuất trong 24 tháng.

Đối tượng nên tham khảo luận văn

1. Các nhà nghiên cứu và sinh viên ngành viễn thông, công nghệ thông tin: Luận văn cung cấp kiến thức chuyên sâu về mô hình truyền thông UAV và ứng dụng học tăng cường, hỗ trợ nghiên cứu và phát triển các giải pháp mới.

2. Doanh nghiệp phát triển công nghệ UAV và mạng di động: Các công ty có thể áp dụng các thuật toán và mô hình trong luận văn để nâng cao hiệu quả và bảo mật sản phẩm, dịch vụ của mình.

3. Cơ quan quản lý và hoạch định chính sách viễn thông: Thông tin trong luận văn giúp xây dựng các chính sách phù hợp về an ninh mạng UAV và phát triển hạ tầng truyền thông hiện đại.

4. Các tổ chức quân sự và cứu hộ: Ứng dụng UAV trong giám sát, truyền thông khẩn cấp có thể được tối ưu hóa dựa trên các giải pháp bảo mật và điều khiển UAV được nghiên cứu.

Câu hỏi thường gặp

1. Học tăng cường là gì và tại sao lại phù hợp với mạng truyền tin UAV?
   Học tăng cường là phương pháp học máy cho phép tác nhân học cách hành động tối ưu dựa trên phản hồi từ môi trường. Nó phù hợp với mạng UAV vì môi trường truyền thông thay đổi liên tục, đòi hỏi UAV phải tự điều chỉnh chiến lược để tối ưu hiệu suất và bảo mật.

2. Mô hình kênh truyền LoS và NLoS ảnh hưởng thế nào đến hiệu quả truyền thông?
   Kênh LoS cho phép tín hiệu truyền trực tiếp, ít suy hao, nâng cao SINR và dung lượng bảo mật. Ngược lại, kênh NLoS bị che khuất bởi vật cản, làm giảm chất lượng tín hiệu và tăng nguy cơ nghe lén.

3. Thuật toán DQN có ưu điểm gì so với Q-learning truyền thống?
   DQN sử dụng mạng thần kinh sâu để xử lý dữ liệu lớn và phức tạp, giúp hội tụ nhanh hơn và đạt hiệu quả cao hơn trong các môi trường động và đa chiều so với Q-learning truyền thống.

4. Làm thế nào để giảm thiểu nguy cơ nghe lén trong mạng UAV?
   Có thể giảm thiểu bằng cách tối ưu vị trí UAV, điều chỉnh công suất phát, tăng khoảng cách với đối tượng nghe lén và sử dụng các thuật toán học tăng cường để tự động điều chỉnh chiến lược truyền thông.

5. Các yếu tố môi trường nào ảnh hưởng lớn đến hiệu quả bảo mật của mạng UAV?
   Độ cao bay của UAV, mật độ và vị trí người dùng, số lượng và vị trí đối tượng nghe lén, điều kiện thời tiết và địa hình đều ảnh hưởng đến chất lượng kênh truyền và khả năng bảo mật.

Kết luận

• Luận văn đã xây dựng và đánh giá thành công mô hình mạng truyền tin UAV ứng dụng học tăng cường để nâng cao hiệu quả bảo mật.
• Thuật toán DQN cho thấy ưu thế vượt trội trong việc tối ưu hóa chiến lược truyền thông so với các phương pháp truyền thống.
• Kết quả mô phỏng chứng minh khả năng giảm tỷ lệ ngừng hoạt động và tăng dung lượng bảo mật đáng kể trong môi trường có đối tượng nghe lén.
• Nghiên cứu cung cấp cơ sở lý thuyết và thực tiễn cho việc triển khai mạng UAV an toàn và hiệu quả trong tương lai gần.
• Đề xuất các bước tiếp theo bao gồm triển khai thử nghiệm thực tế, mở rộng mô hình cho các môi trường phức tạp hơn và phát triển chính sách quản lý phù hợp.

Các nhà nghiên cứu và doanh nghiệp nên áp dụng và phát triển các thuật toán học tăng cường trong mạng UAV để đáp ứng nhu cầu ngày càng cao về an toàn và hiệu suất truyền thông.

Trích đoạn nội dung tài liệu

Bà CÔNG TH¯¡NG TR¯âNG Đ¾I HàC CÔNG NGHIÆP HÀ NÞI NGUYÄN QUY TÔN NÂNG CAO HIÆU QUÀ BÀO MÀT CĂA M¾NG TRUYÀN TIN UAV ĄNG DĀNG HàC TNG C¯âNG Đ ÁN TàT NGHIàP TH¾C S) Hà THàNG THÔNG TIN Hà Nái – 2024 ii MĀC LĀC LàI CAM ĐOAN. ii DANH MĀC CÁC KÝ HIÆU, CHĂ VI¾T TÂT. v DANH MĀC BÀNG BIÂU. vi DANH MĀC HÌNH ÀNH.

1 CH¯¡NG 1 - TàNG QUAN BÀI TOÁN .1 TàNG QUAN V Hà THàNG M¾NG TRUYÂN DÀN UAV .1 Giãi thiáu và UAV .2 Giãi thiáu và m¿ng truyÃn thông di đáng .2 Giãi thiáu và m¿ng truyÃn tin sử dÿng UAV .2 XÁC ĐàNH VÂN Đ HIàU SUÂT BÀO MÂT CĀA M¾NG TRUYÂN TIN UAV .1 Tình hình nghiên cău trong n°ãc.2 Tình hình nghiên cău n°ãc ngoài .3 KÀT LUÂN CH¯¡NG. 18 CH¯¡NG 2 – GIÀI PHÁP NÂNG CAO HIÆU QUÀ BÀO MÀT CĂA M¾NG TRUYÀN TIN UAV .1 MÔ HÌNH Hà THàNG M¾NG TRUYÂN TIN UAV .1 Mô hình há tháng .1 Mô hình truyÃn dÁn tín hiáu .2 Markov Decision Process.3 KÀT LUÂN CH¯¡NG. 44 CH¯¡NG 3 – THĄC NGHIÆM VÀ ĐÁNH GIÁ .1 TàNG QUAN V PH¯¡NG PHÁP THĀC HIàN .1 Giãi thiáu ph°¢ng pháp mô phßng .2 ¯u điểm cāa ph°¢ng pháp mô phßng .3 Nh°ợc điểm cāa ph°¢ng pháp mô phßng .2 KàCH BÀN THĀC NGHIàM .1 ThiÁt kÁ môi tr°ång.2 ThiÁt lÃp phần th°çng .3 Tham sá mô phßng .3 QUY TRÌNH THĀC NGHIàM .1 Khçi t¿o tham sá há tháng .2 Xây dāng thuÃt toán .3 Đánh giá và phân tích kÁt quÁ .3 KÀT QUÀ THĀC NGHIàM .1 Tính hái tÿ cāa thuÃt toán .2 Đánh giá dung l°ợng bÁo mÃt theo sá l°ợng nghe lén .3 Đánh giá dung l°ợng bÁo mÃt theo đá cao bay cāa UAV .4 KÀT LUÂN CH¯¡NG. 65 K¾T LUÀN VÀ KI¾N NGHÊ.

66 TÀI LIÆU THAM KHÀO. 68 v DANH MĀC CÁC KÝ HIÆU, CHĂ VI¾T TÂT Vi¿t tÃt Ti¿ng Anh Ti¿ng ViÇt UAV Unmanned Aerial Vehicle Ph°¢ng tián bay không ng°åi lái ABS Aerial Base Stations Tr¿m c¢ sç SINR Signal-to-Interference plus Chß sá đo l°ång chÃt l°ợng tín Noise Ratio hiáu. GPS Global Positioning System Há tháng Đánh vá Toàn Cầu IoT Internet of Things Internet v¿n vÃt BS Base Station Tr¿m phát gác LoS Line of Sight Tín hiáu truyÃn trāc tiÁp NLoS Non Line of Sight Tín hiáu truyÃn có vÃt cÁn UAV-BS Unmanned Aerial Vehicle M¿ng truyÃn tin liên kÁt giÿa tr¿m Base Station phát và ph°¢ng tián bay không ng°åi lái SNR Signal-to-Noise Ratio Th°ãc đo sá l°ợng tín hiáu so vãi nhißu có trong tín hiáu. UE User Equipment ThiÁt bá ng°åi dùng RL Reinforcement Learning Hãc tăng c°ång DQN Deep Q-Network ThuÃt toán Deep Q-Network DL Deep Learning Hãc sâu MDP Markov Decision Process Quy trình quyÁt đánh cāa Markov vi DANH MĀC BÀNG BIÂU BÁng 3.1 Các tham sá khçi t¿o cāa há tháng m¿ng truyÃn tin .2 Các tham sá khçi t¿o cāa hãc tăng c°ång .3 ThuÃt toán DQN.

57 vii DANH MĀC HÌNH ÀNH Hình 1.1 Hình Ánh UAV .2 Mô hình truyÃn thông hß trợ bçi UAV - BS .3 Mô hình truyÃn thông hß trợ bçi thiÁt bá IoT .1 Mô hình há tháng m¿ng truyÃn tin UAV .2 Mái quan há trong hãc tăng c°ång .3 Nguyên lý ho¿t đáng cāa mô hình MDP .4 Hành đáng cāa thuÃt toán Q-Learning .5 KiÁn trúc cāa DQN.6 Quy trình phát l¿i trÁi nghiám .1 HuÃn luyán UAV sử dÿng DQN .2 KÁt quÁ mô phßng đ°ång di chuyển cāa UAV .3 Dung l°ợng bÁo mÃt cāa há tháng theo từng thuÃt toán .4 Dung l°ợng bÁo mÃt cāa há tháng theo sá l°ợng nghe lén .5 Dung l°ợng bÁo mÃt cāa há tháng theo chiÃu cao bay UAV. Xác nhÃn trình bày t¿i CISCE 2024. 64 1 Mâ ĐÄU Lý do chÍn đÁ tài Ngày nay máy bay không ng°åi lái (UAV) đang dần đ°ợc sử dÿng ráng rãi và đ°ợc kỳ vãng s¿ đóng vai trò quan trãng trong há tháng liên l¿c không dây do nhÿng °u điểm v°ợt trái cāa chúng so vãi các há tháng liên l¿c thông th°ång. Vãi khÁ năng di chuyển linh ho¿t, tā do cāa thiÁt bá UAV do đó có thể cung cÃp liên l¿c không dây vãi thiÁt bá d°ãi mặt đÃt mát cách hiáu quÁ, nhanh chóng cho nhiÃu tình huáng thāc tÁ.

Đặc biát khi triển khai truyÃn thông tín hiáu sử dÿng UAV có thể thāc hián cung cÃp kÁt nái mà không cần triển khai c¢ sç h¿ tầng phăc t¿p và chÃt l°ợng đ°ång truyÃn tín hiáu cāa nó ít bá Ánh h°çng bçi các tòa nhà cao tầng, điÃu kián thåi tiÁt, thÁm hãa thiên nhiên so vãi các tr¿m gác mặt đÃt. Sử dÿng UAV trong há tháng liên l¿c không dây mang l¿i rÃt nhiÃu °u điểm tuy nhiên viác triển khai há tháng trong thāc tißn đòi hßi phÁi giÁi quyÁt các vÃn đà bÁo mÃt thông tin rÃt phăc t¿p. Sā can thiáp trong kÁt nái giÿa thiÁt bá cāa ng°åi dùng và UAV phÿc vÿ nó do các UAV khác gây ra hoặc đặc biát do nhÿng ng°åi nghe lén là mát vÃn đà quan trãng gây ra nhiÃu khó khăn khi triển khai há tháng. Ngoài ra khi triển khai phÁi tính đÁn sā di chuyển cāa ng°åi dùng và sā gia tăng cāa thiÁt bá nghe lén để điÃu khiển UAV sao cho há tháng liên l¿c là tát nhÃt.

Nâng cao hiáu quÁ bÁo mÃt giúp h¿n chÁ các dÿ liáu bá xâm nhÃp mát cách trái phép. Tránh cho các mái hiểm hãa và an ninh an toàn cāa ng°åi sử dÿng mà ráng h¢n là an ninh cāa doanh nghiáp, quác gia có thể dißn ra. Đây là mát vÃn đà khó, tính ăng dÿng thāc tißn cao vì vÃy hãc viên đã thāc hián nghiên cău các thuÃt toán hãc máy có thể áp dÿng để giÁi quyÁt vÃn đà đặt ra. NhÃn thÃy ph°¢ng pháp ăng dÿng hãc tăng c°ång là mát ph°¢ng 2 pháp hiáu quÁ có thể ăng dÿng để giÁi quyÁt bài toán.

Ăng dÿng hãc tăng c°ång trong UAV mang l¿i tiÃm năng cāc lãn để cÁi thián khÁ năng tā đáng hóa, khÁ năng di chuyển để tái °u hóa hiáu quÁ truyÃn tin m¿ng l¿i nhiÃu lợi ích cho hián t¿i và t°¢ng lai. Vãi nhÿng lý do trên hãc viên quyÁt đánh lāa chãn đà tài <Nâng cao hiáu quÁ bÁo mÃt cāa m¿ng truyÃn tin UAV ăng dÿng hãc tăng c°ång= cho đà án tát nghiáp th¿c s* cāa mình. Đà tài này thúc đ¿y sā tích hợp giÿa nhÿng xu h°ãng nái bÃt trong l*nh vāc công nghá bao gßm trí tuá nhân t¿o, hãc máy ăng dÿng vào há tháng truyÃn thông tín hiáu. Qua đó nó không chß là mát đà tài mang ý ngh*a lý thuyÁt mà còn mang l¿i giá trá thāc tÁ bằng cách đáp ăng nhu cầu ngày càng tăng và sā an toàn và hiáu suÃt trong ăng dÿng UAV đ°¢ng đ¿i.

Táng quan đÁ tài Trong đà tài này, vÃn đà lÃp kÁ ho¿ch chuyển đáng cāa các UAV đ°ợc hß trợ bçi trí tuá nhân t¿o bằng cách xem xét vá trí, chuyển đáng cāa ng°åi dùng và ng°åi nghe lén d°ãi mặt đÃt bên c¿nh đó cũng phÁi tính đÁn sā nhißu do các UAV đang cùng ho¿t đáng gây ra sao cho tín hiáu đ°ợc truyÃn đÁn ng°åi dùng là nhiÃu nhÃt và lo¿i bß hoặc giÁm thiểu tái đa tín hiáu mà đái t°ợng nghe lén có thể thu đ°ợc. Đà án s¿ cung cÃp giÁi pháp có thể mç ráng cho nhiÃu môi tr°ång thāc nghiám. Vãi mong muán đ¿t đ°ợc mát giÁi pháp có thể mç ráng cho nhiÃu môi tr°ång nên trong đà tài này quyÁt đánh sử dÿng ph°¢ng pháp hãc tăng c°ång (Reinforcement learning). Môi tr°ång s¿ chăa mát mô hình há tháng bao gßm các mô hình di đáng, mô hình truyÃn tÁi để tính toán tác đá truyÃn tin giÿa UAV và UE mà UAV liên kÁt đÁn.

Phần th°çng (Reward) và tr¿ng thái (State) nhằm đáp ăng các yêu cầu c¢ bÁn cāa hãc tăng c°ång và cung cÃp cho 3 các tác nhân đào t¿o phù hợp để lÃp kÁ ho¿ch quā đ¿o cāa chúng mát cách tái °u ngay cÁ khi có sā thay đái vá trí cāa các UE. Trong đà tài này hãc viên thāc hián ăng dÿng nhiÃu thuÃt toán hãc tăng c°ång khác nhau để chăng minh khÁ năng đáp ăng cāa ph°¢ng pháp hãc tăng c°ång vãi bài toán đặt ra. KÁt quÁ đ¿t đ°ợc: Mô phßng đ°ợc quā đ¿o di chuyển cāa UAV trong môi tr°ång cho hiáu quÁ bÁo mÃt kênh truyÃn từ UAV đÁn thiÁt bá ng°åi dùng cuái là cao nhÃt. Māc tiêu nghiên cąu Mÿc tiêu cāa đà tài là tìm hiểu các mô hình kā thuÃt nâng cao bÁo mÃt kênh truyÃn sử dÿng UAV khi xuÃt hián các đái t°ợng nghe lén và hãc tăng c°ång từ đó xây dāng ch°¢ng trình hiáu quÁ đáp ăng đ°ợc bài toán nâng cao hiáu quÁ bÁo mÃt cāa m¿ng truyÃn tin UAV và ăng dÿng đ°ợc vào thāc tißn.

Nßi dung nghiên cąu Trong đà tài này nái dung nghiên cău đ°ợc chia thành 2 phần: Thă nhÃt, nghiên cău nguyên lý ho¿t đáng cāa há tháng truyÃn thông tín hiáu sử dÿng UAV. Các thông sá kênh truyÃn đ°ợc truyÃn tÁi từ UAV đÁn thiÁt bá ng°åi dùng nh° nào. Tìm hiểu các yÁu tá có thể Ánh h°çng đÁn hiáu quÁ bÁo mÃt cāa kênh truyÃn nh° chiÃu cao cāa UAV, mÃt đá ng°åi nghe lén, vá trí cāa ng°åi dùng và góc giÿa UAV vãi ng°åi dùng. Thă hai nghiên cău các kā thuÃt, th° vián hß trợ trong hãc tăng c°ång có thể giÁi quyÁt đ°ợc bài toán nâng cao hiáu quÁ bÁo mÃt cāa m¿ng truyÃn tin sử dÿng UAV.

4 Ph°¢ng pháp nghiên cąu a) ĐÁ tài đ°ÿc ti¿p cÁn theo các b°ßc sau: • B°ãc 1: Tìm hiểu và nghiên cău m¿ng truyÃn tin sử dÿng UAV và hãc tăng c°ång. • B°ãc 2: Xác đánh mô hình truyÃn tin: Xây dāng các mô hình di đáng, mô hình truyÃn dÁn cho há tháng m¿ng truyÃn tin UAV • B°ãc 3: ThiÁt kÁ môi tr°ång thāc hián. Sau khi xác đánh đ°ợc mô hình truyÃn tin s¿ nghiên cău lāa chãn môi tr°ång thāc hián phù hợp vãi môi tr°ång truyÃn tin. T¿i b°ãc này cần nghiên cău và xác đánh đ°ợc các yÁu tá: o Vá trí ban đầu, công suÃt phát, đá cao có thể ho¿t đáng và các ho¿t đáng có thể thāc hián cāa UAV.

o Sá l°ợng và khÁ năng chuyển đáng cāa ng°åi dùng trong môi tr°ång. Sá l°ợng ng°åi nghe lén. o Các tham sá môi tr°ång, không gian hành đáng, cÃu trúc liên kÁt. o Các tham sá cāa ph°¢ng pháp hãc tăng c°ång • B°ãc 4: HuÃn luyán và đánh giá mô hình.

Dāa trên các yÁu tá nh° tham sá, mô hình truyÃn tin đã đ°ợc nghiên cău và thiÁt lÃp. TiÁn hành huÃn luyán mô hình và đánh giá hiáu quÁ cāa mô hình bằng cách theo dõi chß sá tÿ lá tín hiáu trên t¿p âm (SINR). • B°ãc 5: Tái °u hóa và điÃu chßnh: Tái °u hóa và điÃu chßnh các tham sá và thuÃt toán để mô hình hiáu quÁ h¢n. • B°ãc 6: Triển khai và kiểm thử: Triển khai mô hình đã huÃn luyán vào thāc tÁ.