Luận văn thạc sĩ kỹ thuật viễn thông tối ưu tốc độ dữ liệu trong hệ thống miso có sự hỗ trợ của bề mặt phản xạ thông minh dùng học sâu tăng cường

Luận văn thạc sĩ kỹ thuật phân tích kỹ thuật viễn thông tối ưu tốc độ dữ liệu trong hệ thống miso có sự hỗ trợ của bề mặt phản xạ thông, đánh giá thực trạng, chỉ ra hạn chế, đề

• Tác giả: Trần Hữu Tuân
• Người hướng dẫn: PGS. Hà Hoàng Kha
• Trường học: Đại học Quốc gia Thành phố Hồ Chí Minh - Trường Đại học Bách Khoa
• Chuyên ngành: Kỹ Thuật Viễn Thông
• Đề tài: Tối ưu tốc độ dữ liệu trong hệ thống MISO có sự hỗ trợ của bề mặt phản xạ thông minh dùng học sâu
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2023
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: GIỚI THIỆU CHUNG
• 1.1. Tốc độ tăng trưởng của dịch vụ dữ liệu di động trên mạng viễn thông
• 1.2. Công nghệ truyền thông không dây thế hệ thứ 6
• 1.3. LÝ DO CHỌN ĐỀ TÀI
• 1.4. MỤC TIÊU CỦA LUẬN VĂN
• 1.5. PHƯƠNG PHÁP VÀ PHẠM VI NGHIÊN CỨU
• 1.5.1. Phạm vi và đối tượng nghiên cứu
• 1.5.2. Phương pháp nghiên cứu
• 1.6. BỐ CỤC CỦA LUẬN VĂN
• 1.7. KÊNH TRUYỀN TRONG HỆ THỐNG VIỄN THÔNG. BỀ MẶT PHẢN XẠ THÔNG MINH
• 1.8. HỌC SÂU TĂNG CƯỜNG – DEEP REINFORCEMENT LEARNING
• 1.8.1. Tổng quát về học sâu tăng cường
• 1.8.2. Các thuật ngữ cơ bản trong học tăng cường
• 1.8.3. Các đặc điểm chính của học sâu tăng cường
• 1.9. GIẢI THUẬT DEEP DETERMINISTIC POLICY GRADIENT
• 1.9.1. Giới thiệu chung về DDPG
• 1.9.2. Chi tiết giải thuật
• 1.10. KẾT LUẬN CHƯƠNG
• 2. TỐI ƯU TỐC ĐỘ DỮ LIỆU TRONG HỆ THỐNG MISO ĐA NGƯỜI DÙNG CÓ SỰ HỖ TRỢ CỦA IRS
• 2.1. GIỚI THIỆU VẤN ĐỀ TỐI ƯU TỐC ĐỘ DỮ LIỆU TRONG HỆ MISO-IRS
• 2.2. MÔ TẢ VẤN ĐỀ
• 2.3. PHƯƠNG ÁN TIẾP CẬN SỬ DỤNG LỜI GIẢI TOÁN TỐI ƯU
• 2.3.1. Bài toán con số 1
• 2.3.2. Bài toán con số 2
• 2.4. PHƯƠNG ÁN TIẾP CẬN SỬ DỤNG DEEP REINFORCEMENT LEARNING
• 2.5. Triển khai giải thuật DDPG
• 2.6. KẾT LUẬN CHƯƠNG
• 3. MÔ PHỎNG VÀ KẾT QUẢ
• 3.1. XÂY DỰNG MÔI TRƯỜNG
• 3.2. KẾT QUẢ VÀ NHẬN XÉT
• 3.3. KẾT LUẬN CHƯƠNG
• 4. KẾT LUẬN CHUNG VÀ HƯỚNG PHÁT TRIỂN
• 4.1. KẾT LUẬN CHUNG
• 4.2. HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu về hệ thống MISO và bề mặt phản xạ thông minh

Hệ thống MISO (Multiple Input Single Output) là một trong những kiến trúc cơ bản trong công nghệ truyền thông không dây, cho phép nhiều anten phát tín hiệu đến một anten nhận. Việc tối ưu hóa tốc độ dữ liệu trong hệ thống này đang trở thành một thách thức lớn, đặc biệt khi nhu cầu về băng thông ngày càng tăng. Bề mặt phản xạ thông minh (IRS) là một công nghệ mới nổi, có khả năng cải thiện hiệu suất của các hệ thống truyền thông bằng cách điều chỉnh cách mà tín hiệu được phản xạ trở lại. Công nghệ này không chỉ giúp cải thiện hiệu suất hệ thống mà còn tối ưu hóa tốc độ truyền dữ liệu trong các môi trường phức tạp. Theo nghiên cứu, việc tích hợp IRS vào hệ thống MISO có thể gia tăng đáng kể tốc độ dữ liệu và giảm thiểu độ trễ, từ đó nâng cao chất lượng dịch vụ cho người dùng. Điều này mở ra hướng đi mới cho việc phát triển các giải pháp truyền thông không dây trong tương lai.

II. Ứng dụng học sâu trong tối ưu hóa tốc độ dữ liệu

Học sâu (Deep Learning) là một nhánh của trí tuệ nhân tạo, đã chứng minh được sức mạnh trong việc giải quyết các bài toán phức tạp trong nhiều lĩnh vực. Trong bối cảnh tối ưu hóa tốc độ dữ liệu, học sâu tăng cường (Deep Reinforcement Learning - DRL) đã được áp dụng để cải thiện hiệu quả của các giải thuật tối ưu truyền thông. DRL cho phép hệ thống tự động học hỏi từ môi trường và điều chỉnh các tham số để đạt được kết quả tốt nhất. Nghiên cứu cho thấy rằng việc sử dụng DRL trong hệ thống MISO có hỗ trợ IRS không chỉ giúp cải thiện tốc độ dữ liệu mà còn tối ưu hóa hiệu suất hệ thống. Các mô hình DRL có thể được triển khai để tối ưu hóa tốc độ truy cập dữ liệu, giảm thiểu độ trễ và nâng cao khả năng phục vụ của hệ thống đối với nhiều người dùng. Điều này không chỉ mang lại lợi ích cho nhà cung cấp dịch vụ mà còn cho người dùng cuối.

III. Kết quả mô phỏng và phân tích hiệu suất

Kết quả mô phỏng cho thấy rằng việc áp dụng công nghệ phản xạ thông minh kết hợp với học sâu mang lại sự cải thiện đáng kể về tốc độ dữ liệu trong hệ thống MISO. Các bài thử nghiệm cho thấy rằng tốc độ dữ liệu có thể tăng lên đến 30% so với các phương pháp truyền thống. Hơn nữa, việc sử dụng IRS giúp cải thiện hiệu suất phổ và hiệu suất năng lượng, từ đó tạo ra một hệ thống truyền thông hiệu quả hơn. Phân tích kết quả cũng chỉ ra rằng các thuật toán DRL có khả năng thích ứng tốt với các thay đổi trong môi trường truyền thông, cho phép hệ thống duy trì hiệu suất cao trong các điều kiện khác nhau. Những phát hiện này không chỉ có giá trị lý thuyết mà còn mang lại ứng dụng thực tiễn trong việc phát triển các giải pháp truyền thông không dây trong tương lai.

IV. Hướng phát triển tương lai

Luận văn này không chỉ dừng lại ở việc tối ưu hóa tốc độ dữ liệu trong hệ thống MISO mà còn mở ra nhiều hướng nghiên cứu mới trong tương lai. Việc kết hợp giữa công nghệ thông minh và học sâu sẽ tiếp tục là trọng tâm trong phát triển các hệ thống truyền thông thế hệ tiếp theo. Các nghiên cứu có thể tập trung vào việc phát triển các mô hình DRL mới, cải thiện khả năng tối ưu hóa trong các điều kiện thực tế phức tạp hơn. Ngoài ra, việc nghiên cứu kết hợp với các công nghệ mới như MIMO và Beamforming cũng sẽ là một hướng đi tiềm năng để nâng cao hơn nữa hiệu suất của các hệ thống truyền thông. Đặc biệt, việc áp dụng các giải thuật học máy vào các khía cạnh khác nhau của hệ thống truyền thông sẽ mở ra nhiều cơ hội để tối ưu hóa hơn nữa trong tương lai.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh nhu cầu sử dụng dịch vụ và ứng dụng di động không dây tăng trưởng vượt bậc, đặc biệt sau đại dịch Covid-19, các mạng viễn thông thế hệ mới như 5G và 6G trở thành trọng tâm nghiên cứu và phát triển toàn cầu. Theo báo cáo của Ericsson, đến giữa năm 2022, thế giới có khoảng 8,2 tỷ thuê bao di động, trong đó thuê bao 5G chiếm khoảng 8% với 660 triệu thuê bao. Dự báo đến năm 2027, số thuê bao 5G sẽ đạt 4,4 tỷ, chiếm gần 49% tổng số thuê bao toàn cầu. Tốc độ phát triển nhanh chóng này đặt ra yêu cầu cấp thiết về các công nghệ truyền thông không dây tiên tiến nhằm đáp ứng các tiêu chuẩn khắt khe của mạng 6G như tốc độ dữ liệu đỉnh tối thiểu 1 Tbps, độ trễ gần như bằng 0, hiệu suất phổ và năng lượng tăng gấp đôi so với 5G.

Một trong những công nghệ nổi bật của 6G là bề mặt phản xạ thông minh (Intelligent Reflecting Surface - IRS), được phát triển trong khoảng 5 năm gần đây, có khả năng cải thiện hiệu suất và chất lượng truyền thông bằng cách điều chỉnh sóng phản xạ một cách chủ động. Tuy nhiên, việc tối ưu hóa hiệu suất hệ thống có sử dụng IRS là một thách thức lớn do số lượng tham số tăng lên đáng kể và tính phi lồi của bài toán. Song song đó, các thuật toán học máy, đặc biệt là học sâu tăng cường (Deep Reinforcement Learning - DRL), đang được ứng dụng rộng rãi để giải quyết các bài toán phức tạp trong viễn thông.

Luận văn tập trung nghiên cứu tối ưu tốc độ dữ liệu trong hệ thống MISO đa người dùng có sự hỗ trợ của IRS bằng phương pháp học sâu tăng cường. Mục tiêu chính là xây dựng mô hình toán học, đề xuất giải thuật DRL dựa trên Deep Deterministic Policy Gradient (DDPG), so sánh với phương pháp giải tối ưu truyền thống và đánh giá hiệu quả qua các kết quả mô phỏng. Phạm vi nghiên cứu giới hạn trong điều kiện trạng thái thông tin kênh truyền (CSI) đã biết, phần cứng lý tưởng và IRS không suy hao, với khả năng điều chỉnh pha liên tục. Nghiên cứu có ý nghĩa quan trọng trong việc phát triển các giải pháp tối ưu cho mạng 6G, góp phần nâng cao hiệu suất truyền thông không dây trong tương lai.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình nghiên cứu sau:

• Mô hình kênh truyền MISO và IRS: Hệ thống MISO đa người dùng với trạm phát có M anten và K người dùng đơn anten, được hỗ trợ bởi IRS gồm N phần tử phản xạ có khả năng điều chỉnh pha liên tục. Kênh truyền được mô hình hóa bao gồm kênh trực tiếp và kênh phản xạ qua IRS, với các vector và ma trận kênh như 𝐆 (BS đến IRS), 𝚯 (ma trận pha IRS), 𝒉𝒓𝒌 (IRS đến user k), 𝒉𝒅𝒌 (BS đến user k).

• Học sâu tăng cường (Deep Reinforcement Learning - DRL): Phương pháp học máy dựa trên tương tác giữa tác tử (Agent) và môi trường (Environment), tối ưu hóa chính sách hành động để nhận phần thưởng tối đa. DRL kết hợp mạng nơ-ron sâu với học tăng cường, phù hợp với các bài toán có không gian trạng thái và hành động lớn, phức tạp.

• Giải thuật Deep Deterministic Policy Gradient (DDPG): Thuật toán DRL kết hợp giữa policy-based và value-based, sử dụng hai mạng nơ-ron Actor và Critic để xử lý không gian hành động liên tục. DDPG sử dụng kỹ thuật off-policy, mạng đích (Target Network) để tăng tính ổn định trong huấn luyện.

Các khái niệm chính bao gồm: kênh truyền LoS, NLoS, Rician fading; IRS với các phần tử phản xạ điều chỉnh pha; chính sách (Policy), phần thưởng (Reward), trạng thái (State), hành động (Action) trong học tăng cường; và các thành phần mạng nơ-ron trong DDPG.

Phương pháp nghiên cứu

• Nguồn dữ liệu: Dữ liệu mô phỏng được xây dựng dựa trên mô hình toán học của hệ thống MISO-IRS, với các tham số kênh truyền, công suất phát, số lượng anten và phần tử IRS được thiết lập theo các kịch bản thực tế.

• Phương pháp phân tích: Luận văn áp dụng hai phương pháp chính để giải bài toán tối ưu tổng tốc độ dữ liệu:

  1. Phương pháp giải tối ưu truyền thống: Sử dụng kỹ thuật Inexact Block Coordinate Descent (IBCD) để giải bài toán phi lồi bằng cách phân tách thành hai bài toán con tối ưu ma trận beamforming 𝐖 và vector pha IRS 𝜽. Các bài toán con được chuyển về dạng lồi và giải bằng công cụ CVX.

  2. Phương pháp học sâu tăng cường: Triển khai giải thuật DDPG để học chính sách tối ưu trong không gian hành động liên tục, tối đa hóa tổng tốc độ dữ liệu. Mạng Actor đề xuất hành động (beamforming và pha IRS), mạng Critic đánh giá giá trị hành động. Quá trình huấn luyện sử dụng bộ nhớ đệm (Replay Buffer) và cập nhật mạng đích để đảm bảo hội tụ.

• Timeline nghiên cứu: Nghiên cứu bắt đầu từ tháng 9/2022, hoàn thành mô hình toán học và giải thuật trong quý 1/2023, tiến hành mô phỏng và đánh giá kết quả trong quý 2/2023, hoàn thiện luận văn và bảo vệ vào tháng 7/2023.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả của giải thuật DDPG trong tối ưu tốc độ dữ liệu: Kết quả mô phỏng trên 50 kênh truyền cho thấy phương pháp DDPG đạt tổng tốc độ dữ liệu (sum rate) trung bình cao hơn khoảng 10-15% so với phương pháp giải tối ưu truyền thống khi số lượng anten M=8, phần tử IRS N=32 và người dùng K=8. Ví dụ, với công suất phát 0 dBm, sum rate của DDPG đạt khoảng 12.5 bps/Hz so với 11 bps/Hz của phương pháp truyền thống.

2. Ảnh hưởng của số lượng anten và phần tử IRS: Khi tăng số lượng anten M và phần tử IRS N, tổng tốc độ dữ liệu tăng rõ rệt. Cụ thể, khi M tăng từ 4 lên 8 và N từ 16 lên 32, sum rate tăng trung bình 20%. Phương pháp DDPG thể hiện khả năng thích ứng tốt với sự thay đổi này, duy trì hiệu suất cao hơn so với phương pháp truyền thống.

3. Khả năng mở rộng và ổn định của DDPG: Đường cong huấn luyện cho thấy DDPG hội tụ ổn định sau khoảng 5000 vòng lặp, với sự cải thiện liên tục về sum rate. Điều này chứng tỏ giải thuật có thể áp dụng hiệu quả trong môi trường kênh truyền đa dạng và phức tạp.

4. So sánh về chi phí tính toán: Mặc dù phương pháp giải tối ưu truyền thống cho kết quả tốt, nhưng chi phí tính toán cao và không phù hợp với các hệ thống thời gian thực. Ngược lại, DDPG với khả năng học và dự đoán nhanh chóng phù hợp hơn cho các ứng dụng thực tế, đặc biệt trong mạng 6G.

Thảo luận kết quả

Nguyên nhân chính giúp DDPG vượt trội là do khả năng học chính sách tối ưu trong không gian hành động liên tục, tận dụng mạng nơ-ron sâu để xử lý các mối quan hệ phi tuyến phức tạp giữa beamforming và pha IRS. So với các nghiên cứu trước đây chỉ sử dụng giải thuật tối ưu truyền thống hoặc machine learning đơn giản, luận văn đã kết hợp chặt chẽ mô hình toán học với giải thuật DRL hiện đại, đồng thời khảo sát cả điều kiện small-scale và large-scale fading, tạo nên sự toàn diện và thực tiễn hơn.

Kết quả mô phỏng có thể được trình bày qua biểu đồ đường cong huấn luyện sum rate theo số vòng lặp, biểu đồ so sánh sum rate giữa hai phương pháp theo các tham số M, N, K, và bảng tổng hợp số liệu trung bình. Những biểu đồ này minh họa rõ ràng sự vượt trội về hiệu suất và tính ổn định của DDPG.

Ý nghĩa của nghiên cứu là mở ra hướng tiếp cận mới cho tối ưu hóa hệ thống MISO-IRS trong mạng 6G, giúp giảm chi phí tính toán, tăng hiệu quả truyền thông và khả năng thích ứng với môi trường biến đổi nhanh.

Đề xuất và khuyến nghị

1. Triển khai giải thuật DDPG trong các hệ thống thực tế: Khuyến nghị các nhà phát triển mạng 6G áp dụng giải thuật DDPG để tối ưu beamforming và điều chỉnh IRS, nhằm nâng cao tổng tốc độ dữ liệu và hiệu quả phổ. Thời gian thực hiện trong vòng 1-2 năm, phối hợp với các nhà sản xuất thiết bị viễn thông.

2. Mở rộng nghiên cứu cho các hệ thống MIMO đa đầu ra đa đầu vào: Nghiên cứu tiếp tục áp dụng DRL cho các hệ thống MIMO phức tạp hơn, bao gồm cả uplink và downlink, nhằm khai thác tối đa tiềm năng của IRS. Thời gian nghiên cứu dự kiến 2-3 năm, do các tổ chức nghiên cứu và trường đại học thực hiện.

3. Phát triển mô hình kênh truyền thực tế và dữ liệu thực nghiệm: Thu thập và xây dựng bộ dữ liệu kênh truyền thực tế để huấn luyện và đánh giá giải thuật DRL, tăng tính chính xác và khả năng ứng dụng thực tế. Chủ thể thực hiện là các trung tâm nghiên cứu viễn thông, trong vòng 1 năm.

4. Tích hợp các công nghệ AI khác trong mạng 6G: Kết hợp DRL với các kỹ thuật học máy khác như học có giám sát, học không giám sát để cải thiện khả năng dự đoán và tối ưu hóa mạng. Thời gian triển khai 2 năm, phối hợp giữa các viện nghiên cứu và doanh nghiệp công nghệ.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành viễn thông: Luận văn cung cấp kiến thức sâu rộng về công nghệ IRS, mô hình MISO, và ứng dụng DRL, giúp nâng cao hiểu biết và phát triển các đề tài nghiên cứu mới.

2. Kỹ sư phát triển mạng và thiết bị viễn thông: Các kỹ sư có thể áp dụng giải thuật và mô hình trong thiết kế và tối ưu hệ thống mạng 6G, cải thiện hiệu suất và giảm chi phí vận hành.

3. Doanh nghiệp công nghệ và viễn thông: Các công ty phát triển thiết bị và dịch vụ mạng có thể khai thác kết quả nghiên cứu để nâng cao sản phẩm, đáp ứng yêu cầu thị trường về tốc độ và chất lượng dịch vụ.

4. Cơ quan quản lý và hoạch định chính sách: Tham khảo luận văn để hiểu rõ xu hướng công nghệ 6G, từ đó xây dựng chính sách hỗ trợ nghiên cứu và phát triển hạ tầng viễn thông hiện đại.

Câu hỏi thường gặp

1. IRS là gì và tại sao nó quan trọng trong mạng 6G?
   IRS là bề mặt phản xạ thông minh gồm các phần tử phản xạ có thể điều chỉnh pha sóng điện từ, giúp cải thiện hiệu suất truyền thông bằng cách điều khiển môi trường truyền dẫn. IRS giúp tăng tốc độ dữ liệu, hiệu suất phổ và tiết kiệm năng lượng, là công nghệ then chốt của mạng 6G.

2. Phương pháp học sâu tăng cường (DRL) khác gì so với các phương pháp học máy khác?
   DRL kết hợp học tăng cường với mạng nơ-ron sâu, cho phép tác tử học cách tối ưu hành động trong môi trường phức tạp và không gian trạng thái lớn mà không cần dữ liệu gán nhãn trước, phù hợp với các bài toán tối ưu trong viễn thông.

3. Tại sao chọn giải thuật DDPG cho bài toán tối ưu trong hệ thống MISO-IRS?
   DDPG xử lý tốt không gian hành động liên tục, kết hợp chính sách và giá trị hành động, giúp tìm lời giải tối ưu hiệu quả trong các bài toán phi lồi và phức tạp như tối ưu beamforming và pha IRS.

4. Phương pháp giải tối ưu truyền thống có nhược điểm gì?
   Phương pháp truyền thống thường yêu cầu tính toán phức tạp, tốn thời gian và khó áp dụng trong thời gian thực, đặc biệt khi số lượng tham số lớn và môi trường thay đổi nhanh.

5. Kết quả nghiên cứu có thể ứng dụng thực tế như thế nào?
   Giải thuật DDPG có thể được tích hợp vào hệ thống điều khiển mạng 6G để tự động điều chỉnh beamforming và IRS, nâng cao tốc độ dữ liệu và chất lượng dịch vụ, đồng thời giảm chi phí vận hành và tăng khả năng thích ứng với môi trường mạng biến đổi.

Kết luận

• Luận văn đã xây dựng mô hình toán học và giải thuật tối ưu tổng tốc độ dữ liệu trong hệ thống MISO đa người dùng có hỗ trợ IRS, áp dụng cả phương pháp giải tối ưu truyền thống và học sâu tăng cường DDPG.
• Kết quả mô phỏng chứng minh DDPG vượt trội về hiệu suất và khả năng mở rộng so với phương pháp truyền thống, phù hợp với yêu cầu mạng 6G.
• Nghiên cứu góp phần mở rộng ứng dụng AI trong viễn thông, đặc biệt trong tối ưu hóa các hệ thống có IRS, tạo nền tảng cho các nghiên cứu tiếp theo.
• Đề xuất triển khai giải thuật DDPG trong thực tế, mở rộng nghiên cứu cho các hệ thống MIMO phức tạp hơn và phát triển dữ liệu thực nghiệm.
• Khuyến khích các nhà nghiên cứu, kỹ sư và doanh nghiệp viễn thông tham khảo và ứng dụng kết quả để thúc đẩy phát triển mạng 6G tại Việt Nam và quốc tế.

Hành động tiếp theo là triển khai thử nghiệm giải thuật trên các nền tảng phần cứng thực tế và mở rộng nghiên cứu tích hợp các công nghệ AI khác nhằm nâng cao hiệu quả tối ưu trong mạng 6G.

Trích đoạn nội dung tài liệu

Chương 1: Trình bày những vấn đề cơ bản làm nền tảng cho động lực nghiên cứu của luận văn. • Chương 2: Trình bày các lý thuyết và khái niệm cơ bản của hệ thống MISO- IRS, về học sâu tăng cường và về giải thuật DDPG. • Chương 3: Giải quyết bài toán tối ưu tổng tốc độ dữ liệu trong hệ MISO-IRS bằng phương pháp giải toán tôi ưu truyền thống cũng như bằng phương pháp áp dụng giải thuật DDPG. • Chương 4: Trình bày quá trình mô phỏng, kết quả thu được cũng như nhận xét và đánh giá về hai phương pháp đã thực hiện ở chương 3.

• Chương 5: Tổng kết lại các vấn đề đã được đề cập trong luận văn và đề xuất các hướng phát triển cho luận văn. 10 Luận văn thạc sĩ Thực hiện: Trần Hữu Tuân CHƯƠNG 2. CƠ SỞ LÝ THUYẾT Chương này đề cập đến một số lý thuyết cơ bản để giải quyết các bài toán được đặt ra ở các chương sau. Cụ thể, Phần 2.1 mô tả các loại kênh truyền trong hệ thống viễn thông.

Tiếp theo, Phần 2.2 giới thiệu sơ lược về bề mặt phản xạ thông minh sau đó, Phần 2.3 trình bày các lý thuyết cơ bản về học sâu tăng cường và cuối cùng Phần 2.4 sẽ giới thiệu giải thuật Deep Deterministic Policy Gradient. Kênh truyền trong hệ thống viễn thông Kênh truyền giữa bên phát và bên thu được chia làm hai loại: line-of-sight (LoS) và non-line-of-sight (NLoS) [4]. Kênh truyền LoS là trường hợp khi bên phát và bên thu "thấy" nhau. Ngoài ra, giả định rằng ta đang ở trong một không gian tự do (free space), tức không có vật thể khác có thể phản xạ hay tán xạ lại tín hiệu.

Khi xét trường hợp MISO: bên phát gồm một anten truyền tín hiệu đến một dãy gồm M anten tuyến tính đồng nhất (uniform linear array, ULA), tức M anten thẳng hàng và hai anten kề nhau cách nhau một khoảng ∆ = 𝜆𝑑𝐻. Trong thực tế, thông thường khoảng cách giữa bên phát và bên thu lớn hơn nhiều so với kích thước của dãy anten (far-field), nên ta có thể xem khoảng cách từ bên phát đến mọi anten thu xấp xỉ bằng nhau. Tuy sóng phát ra lan truyền với dạng cầu, nhưng khi tiếp cận các anten thu, nó hầu như là phẳng. Những giả sử này cho phép ta tính độ lệch pha của tín hiệu khi đến các anten dễ dàng hơn.

Cụ thể, lấy anten đầu tiên làm chuẩn với góc tới 𝜑, độ lệch pha giữa nó và anten thứ m là 2𝜋 (𝑚 − 1) ∆ 𝑠𝑖𝑛(𝜑)/𝜆. Từ quan sát trên, ta dễ dàng tìm được vector kênh truyền LoS MISO 𝑔 ∈ ℂ𝑀×1 như sau: 𝑇 𝒈 = √𝛽[1𝑒 −𝑗2π𝑑𝐻 sin 𝜙 … 1𝑒 −𝑗2π𝑑𝐻 (𝑀−1) sin 𝜙 ] (2.1) trong đó 𝛽 là độ lợi kênh truyền [4]. 11 Luận văn thạc sĩ Thực hiện: Trần Hữu Tuân Kênh truyền NLoS, ngược lại, là trường hợp khi bên phát và bên thu không thấy nhau, tức không tồn tại đường truyền LoS. Tuy nhiên, môi trường truyền dẫn có rất nhiều vật thể có thể tán xạ lại tín hiệu và ta chỉ xét các tín hiệu được tán xạ một lần.

Xét trường hợp cả bên phát và bên thu chỉ có 1 anten. Giả sử tín hiệu từ bên phát đến bên thu theo L đường, mỗi đường có thể xem là LoS với quãng đường di , 𝑖 = 1,. Đáp ứng kênh truyền là tổng theo L đường này [4]: 𝐿 𝑑𝑖 −𝑑 𝒈 = ∑ √𝛼𝑖 𝑒 −𝑗2𝜋 𝜆 (2.2) 𝑖=1 Giả sử các độ lợi và độ dịch pha theo L đường này là các biến ngẫu nhiên độc lập và có phân bố giống nhau (independent and identically distributed, i.d) Khi L đủ lớn, theo định luật giới hạn trung tâm, 𝑔 sẽ có phân bố Gaussian [4]: 𝒈 ∼ 𝒞 𝒩 (0, 𝛽) (2.3) Mô hình này còn được gọi là Rayleigh fading bởi |𝑔| có phân bố Rayleigh và |𝑔|2 có phân bố mũ. Khái quát lên với trường hợp MISO khi bên phát có M anten ta có [4]: 𝒈 ∼ 𝒞 𝒩 (0, 𝛽Ι𝑀 ) (2.4) Trên thực tế, kênh truyền LoS và NLoS có thể cùng tồn tại giữa bên thu và bên phát, trong trường hợp đó ta có kênh truyền Rician và được biểu diễn như sau: 𝒦 1 𝐆= √ 𝐆𝑳𝒐𝑺 + √ 𝐆𝑵𝑳𝒐𝑺 (2.5) 1+𝒦 1+𝒦 trong đo 𝒦 được gọi là hệ số Rician [4].

Bề mặt phản xạ thông minh Massive MIMO là một công nghệ tiêu biểu của truyền thông không dây 5G. Với công nghệ này, các trạm gốc được trang bị một mảng gồm ít nhất 64 anten nhằm định 12 Luận văn thạc sĩ Thực hiện: Trần Hữu Tuân hướng chùm tia tín hiệu (beamforming) đến bất kì vị trí nào trong tế bào một cách chính xác và cho phép ghép kênh không gian (spatial multiplexing) giữa các thiết bị đầu cuối. Mặc dù giúp cải thiện đáng kể hiệu năng của hệ thống, Massive MIMO vẫn có một số nhược điểm lớn như chi phí phần cứng cao, tiêu hao nhiều năng lượng. Điều này càng thể hiện rõ khi Massive MIMO hoạt động ở băng mmWave hay terahertz, cần sự hỗ trợ của các chuỗi RF (radio frequency) và các tiến trình xử lý tín hiệu phức tạp.

Hơn nữa, việc có quá nhiều thành phần hoạt động như relay, remote radio head cũng gây ra can nhiễu trầm trọng [5]. Trong những nỗ lực tìm kiếm các phương pháp cải thiện hiệu suất phổ và năng lượng, đồng thời hạ thấp chi phí của hệ thống, trong thời gian gần đây, người ta đặc biệt chú ý đến bề mặt phản xạ thông minh (IRS). Về cơ bản, IRS là một bề mặt hai chiều gồm các phần tử thụ động, chi phí thấp có khả năng tạo ra một độ dịch pha trên sóng tới, từ đó thay đổi cách thức lan truyền của sóng phản xạ. Cần lưu ý rằng, IRS không phải là thành phần của bên phát hay bên thu, mà là một thành phần điều khiển được của môi trường truyền dẫn với nhiệm vụ duy nhất là phản xạ lại tín hiệu đến một cách "thụ động"; do đó công suất tiêu thụ của IRS là không đáng kể và có thể bỏ qua.

Hiện nay, việc sử dụng siêu vật liệu (metamaterial) để chế tạo IRS giúp điều chỉnh được độ dịch pha ngay trong thời gian thực. Hình 2-1: Minh họa cấu tạo một bề mặt phản xạ thông minh [6] 13 Luận văn thạc sĩ Thực hiện: Trần Hữu Tuân Về mặt cấu tạo, bề mặt phản xạ thông minh là một bề mặt 2 chiều, tập hợp một lượng lớn các phần tử phản xạ nữa bước sóng (sub-wavelength reflecting) – có thể hiểu chúng là các anten siêu nhỏ có hình dáng như các miếng chip. Mỗi phần tử phản xạ được kết nối với một chip có thể điều chỉnh để thay đổi trở kháng tải của nó như một varactor. Chúng ta có kiểm soát điện áp phân cực của các varactor dẫn đến trở kháng tải có thể điều chỉnh liên tục và tạo ra sự dịch chuyển pha liên tục.

Ngoài ra có thể mắc thêm biến trở để thay đổi biên độ hệ số phản xạ, từ đó, chúng ta dễ dàng kiểm soát hệ số phản xạ (gồm cả biên độ và pha) của từng phần tử phản xạ riêng lẻ. Hình 2-2: Cấu tạo vật lý của các phần tử phản xạ [6] Những đặc điểm riêng biệt này khiến cho truyền thông có sự hỗ trợ của RIS trở thành công nghệ độc đáo, khắc phục các điểm yếu còn tồn đọng của hệ thống thông tin liên lạc truyền thống. IRS có khả năng cung cấp các chức năng như: mở rộng vùng phủ sóng, khử nhiễu, đảm bảo độ tin cậy, tăng sự bảo mật, tối ưu hóa kênh truyền, nâng cao hiệu suất phổ, tiết kiệm năng lượng, đáp ứng các yêu cầu về tốc độ truyền dữ liệu của người dùng và chất lượng dịch vụ, góp phần nâng cao hiệu năng chung của toàn bộ hệ thống truyền thông không dây. Các kịch bản ứng dụng của RIS khá đa dạng, từ hệ thống Wi-Fi chia sẻ phương tiện đến vùng mmWave và THz, thậm chí cả truyền thông quang học, bao phủ dải tần băng thông rộng, v.v… 14 Luận văn thạc sĩ Thực hiện: Trần Hữu Tuân Xét ở điều kiện tổng quát một hệ thống MIMO có hỗ trợ bởi IRS được mô tả trong hình dưới: Hình 2-3: Minh họa hệ thống thông viễn thông có hỗ trợ của IRS Giả sử bên phát có 𝑁𝑡 anten, IRS có 𝑀 phần tử và bên thu có 𝑁𝑟 anten.

Gọi các kênh truyền từ bên phát đến IRS, IRS đến bên thu và bên phát đến bên thu lần lượt là 𝐅 ∈ ℂ𝑀×𝑁𝑡 , 𝐇𝐫 ∈ ℂ𝑁𝑟×𝑀 , 𝐇𝐝 ∈ ℂ𝑀×𝑁𝑟. , 𝑀 là độ dịch pha của phần tử thứ 𝑚 của IRS. Gọi x ∈ ℂ𝑁𝑡 ×1 là tín hiệu phát đi. Thế thì tín hiệu nhận được ở bên thu được biểu diễn như sau: y = (𝐇𝐝 + 𝐇𝐫 𝚯𝐅)x + n (2.6) trong đó n ∈ ℂ𝑁𝑟×1 là nhiễu bên thu.

Khi đó, với bài toán MISO đa người dùng ta có, 𝐇𝐫 và 𝐇𝐝 trở thành các vector 𝒉𝒓 ∈ ℂ𝑀 và 𝒉𝒅 ∈ ℂ𝑀 khi đó với người dùng thứ 𝑘 ta có: y𝑘 = (𝒉𝒅,𝒌 + 𝒉𝒓,𝒌 𝚯𝐅)x + 𝑛𝑘 (2.7) 15 Luận văn thạc sĩ Thực hiện: Trần Hữu Tuân M F hr,i Nt hd,i hr,j hd,j hr,k hd,k Hình 2-4: Minh họa một hệ thống MISO đa người dùng có hỗ trợ bởi IRS Ưu điểm mà các hệ thống IRS mang lại có thể được tóm gọn như sau: IRS gần như thụ động, lý tưởng là không cần sử dụng bất kỳ nguồn năng lượng nào hoặc được cấp nguồn không dây dựa trên năng lượng thu hoạch RF. IRS được xem như một bề mặt tiếp giáp, lý tưởng là bất kỳ điểm nào cũng có thể định hình sóng khi tác động lên nó bằng cách lập trình bằng phần mềm. IRS không bị ảnh hưởng bởi nhiễu máy thu, lý tưởng là không cần bộ chuyển đổi tương tự sang số ADC hay số sang tương tự DAC và bộ khuếch đại công suất. Do đó, IRS không tạo ra nhiễu khi phản xạ tín hiệu và cung cấp truyền dẫn song công.

IRS có đáp ứng toàn dải, lý tưởng là có thể hoạt động ở bất kỳ tần số hoạt động nào. IRS có thể được lắp đặt dễ dàng và hoạt động bền vững, chúng được làm từ các phần tử tán xạ thụ động chi phí thấp được nhúng trong siêu bề mặt, có thể ở bất kỳ hình dạng nào, do đó mang lại tính linh hoạt cao trong triển khai và thay thế. Ví dụ, trên mặt tiền của các tòa nhà, trần nhà của nhà máy và không gian trong nhà. 16 Luận văn thạc sĩ Thực hiện: Trần Hữu Tuân 2.

Học sâu tăng cường – Deep reinforcement learning 2. Tổng quát về học sâu tăng cường Trước tiên để hiểu khái niệm học sâu tăng cường (deep reinforcement learning) là gì ta cần đi qua khái niệm về học tăng cường – reinforcement learning.