Luận văn thạc sĩ: Tối ưu công suất cho mạng Massive MIMO ứng dụng học sâu tăng cường

Luận văn thạc sĩ kỹ thuật phân tích kỹ thuật điện tử phân bổ công suất tối ưu cho mạng massive mimo ứng dụng học sâu tăng cường, đánh giá thực trạng, chỉ ra hạn chế, đề xuất giải

• Tác giả: Huỳnh Vũ Hoàng Phúc
• Người hướng dẫn: PGS. Hà Hoàng Kha
• Trường học: Đại học Bách Khoa - ĐHQG-HCM
• Chuyên ngành: Kỹ Thuật Điện Tử
• Đề tài: Phân Bổ Công Suất Tối Ưu Cho Mạng Massive MIMO Ứng Dụng Học Sâu Tăng Cường
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2023
• Địa điểm: Hồ Chí Minh

Mục lục chi tiết

• LỜI CÁM ƠN
• TÓM TẮT
• ABSTRACT
• LỜI CAM ĐOAN
• Danh sách hình vẽ
• Danh sách giải thuật
• Từ viết tắt
• 1. CHƯƠNG 1: MỞ ĐẦU
• 1.1. Đặt vấn đề nghiên cứu
• 1.1.1. Xu hướng phát triển của truyền thông vô tuyến
• 1.1.2. Massive MIMO là kỹ thuật quan trọng đối với 5G-6G
• 1.1.3. Trí tuệ nhân tạo giúp giải quyết các bài toán viễn thông
• 1.2. Lý do thực hiện đề tài
• 1.3. Mục tiêu và nhiệm vụ của luận văn
• 1.4. Đối tượng và phạm vi nghiên cứu
• 1.4.1. Đối tượng nghiên cứu
• 1.4.2. Phạm vi nghiên cứu
• 1.5. Phương pháp nghiên cứu
• 1.6. Bố cục của luận văn
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT VỀ MẠNG MASSIVE MIMO
• 2.1. Định nghĩa mạng Massive MIMO
• 2.2. Kênh truyền trong mạng Massive MIMO
• 2.3. Hiệu suất phổ
• 2.4. Kết luận chương
• 3. CHƯƠNG 3: LÝ THUYẾT VỀ HỌC SÂU TĂNG CƯỜNG
• 3.1. Lý thuyết học tăng cường
• 3.2. Học sâu tăng cường
• 3.3. Kết luận chương
• 4. CHƯƠNG 4: TỐI ƯU HIỆU SUẤT PHỔ CHO MẠNG MASSIVE MIMO ỨNG DỤNG HỌC SÂU TĂNG CƯỜNG
• 4.1. Mô hình mạng Massive MIMO
• 4.1.1. Ước lượng kênh truyền
• 4.1.2. Hiệu suất phổ của mô hình mạng Massive MIMO fading Rayleigh
• 4.2. Xây dựng bài toán tối ưu hiệu suất phổ
• 4.3. Phương pháp tối ưu hiệu suất phổ dùng học sâu tăng cường
• 4.3.3. Điểm thưởng
• 4.3.4. Trạng thái kế tiếp
• 4.3.5. Huấn luyện và triển khai mô hình học sâu tăng cường
• 4.4. Kết luận chương
• 5. CHƯƠNG 5: CHƯƠNG TRÌNH MÔ PHỎNG VÀ KẾT QUẢ
• 5.1. Chương trình mô phỏng
• 5.1.1. Mô phỏng mạng Massive MIMO
• 5.1.2. Mô hình tác nhân học sâu tăng cường
• 5.2. Kết quả mô phỏng
• 5.3. Kết luận chương
• 6. CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG NGHIÊN CỨU TIẾP THEO
• 6.2. Hướng phát triển
• Tài liệu tham khảo

Tóm tắt

I. TỔNG QUAN VỀ MASSIVE MIMO VÀ HỌC SÂU TĂNG CƯỜNG

Trong bối cảnh phát triển của mạng di động, Massive MIMO được coi là một công nghệ chủ chốt cho các thế hệ mạng viễn thông như 5G và 6G. Công nghệ này cho phép sử dụng một số lượng lớn antena ở cả trạm gốc và thiết bị người dùng, từ đó tăng cường khả năng truyền tải dữ liệu và cải thiện hiệu suất phổ. Học sâu là một nhánh của trí tuệ nhân tạo, cho phép máy tính học từ dữ liệu và cải thiện hiệu suất qua thời gian. Việc kết hợp giữa học sâu và Massive MIMO mở ra những hướng đi mới trong việc tối ưu hóa công suất mạng. Mô hình học sâu tăng cường được áp dụng nhằm tối ưu hóa việc phân bổ công suất, từ đó nâng cao hiệu suất truyền tải và giảm thiểu độ trễ. Những nghiên cứu gần đây đã chỉ ra rằng, việc ứng dụng học sâu tăng cường không chỉ giúp cải thiện hiệu suất mạng mà còn tối ưu hóa quá trình quản lý tài nguyên trong mạng di động.

1.1. Công Nghệ Massive MIMO

Công nghệ Massive MIMO (Đa ngõ vào đa ngõ ra số lượng lớn) đã trở thành một phần không thể thiếu trong việc phát triển mạng viễn thông hiện đại. Với khả năng sử dụng hàng trăm antena, Massive MIMO giúp tăng cường khả năng thu phát tín hiệu, từ đó nâng cao hiệu suất phổ và giảm thiểu can nhiễu. Kỹ thuật này không chỉ cải thiện tốc độ truyền tải mà còn hỗ trợ nhiều người dùng cùng lúc, điều này đặc biệt quan trọng trong bối cảnh số lượng thiết bị kết nối ngày càng tăng. Nghiên cứu cho thấy rằng, việc triển khai Massive MIMO có thể giúp giảm thiểu tối đa hiện tượng fading, từ đó cải thiện độ tin cậy của kết nối. Những ứng dụng của công nghệ này trong mạng 5G và 6G hứa hẹn sẽ mang lại những bước tiến vượt bậc trong lĩnh vực truyền thông di động.

1.2. Học Sâu Tăng Cường Trong Tối Ưu Hóa Công Suất

Học sâu tăng cường là một trong những phương pháp hiệu quả để giải quyết các bài toán tối ưu hóa trong mạng Massive MIMO. Phương pháp này cho phép các mô hình học từ kinh nghiệm và tự động điều chỉnh để đạt được hiệu suất tối ưu. Việc ứng dụng học sâu trong tối ưu hóa công suất giúp phân bổ tài nguyên một cách thông minh và linh hoạt hơn, từ đó cải thiện tổng thể hiệu suất của mạng. Nghiên cứu cho thấy rằng, mô hình học sâu tăng cường có thể nhanh chóng thích nghi với các điều kiện thay đổi trong mạng, cho phép tối ưu hóa công suất trong thời gian thực. Điều này không chỉ giúp giảm thiểu độ trễ mà còn nâng cao trải nghiệm người dùng trong các ứng dụng yêu cầu băng thông lớn như video streaming hay game online.

II. PHÂN TÍCH HIỆU SUẤT MẠNG VÀ CÔNG SUẤT PHÂN BỔ

Hiệu suất mạng trong Massive MIMO phụ thuộc vào nhiều yếu tố, trong đó có công suất phân bổ cho từng antena. Việc tối ưu hóa công suất không chỉ giúp nâng cao hiệu suất phổ mà còn giảm thiểu can nhiễu giữa các kênh truyền. Nghiên cứu cho thấy rằng, việc áp dụng các thuật toán học sâu có thể giúp xác định chiến lược phân bổ công suất tối ưu cho từng thiết bị người dùng (UEs) dựa trên vị trí tương đối của chúng với trạm gốc (BSs). Điều này cho phép mạng hoạt động hiệu quả hơn, từ đó nâng cao trải nghiệm người dùng. Một trong những điểm nổi bật của học sâu là khả năng xử lý và phân tích dữ liệu lớn, giúp đưa ra các quyết định chính xác và nhanh chóng trong việc phân bổ công suất.

2.1. Mô Hình Tối Ưu Hiệu Suất

Mô hình tối ưu hiệu suất trong mạng Massive MIMO thường được xây dựng dựa trên các yếu tố như mức độ can nhiễu, vị trí của thiết bị và yêu cầu băng thông. Việc áp dụng các phương pháp học sâu cho phép tối ưu hóa hiệu suất phổ một cách chính xác hơn. Các thuật toán học sâu có khả năng tự động điều chỉnh các tham số trong mô hình, từ đó tìm ra giải pháp tối ưu cho bài toán phân bổ công suất. Nghiên cứu đã chỉ ra rằng, việc tối ưu hóa hiệu suất không chỉ mang lại lợi ích về tốc độ truyền tải mà còn cải thiện độ tin cậy của kết nối. Điều này đặc biệt quan trọng trong các ứng dụng yêu cầu truyền tải dữ liệu lớn và thời gian thực.

2.2. Kết Quả Mô Phỏng Và Đánh Giá

Kết quả mô phỏng cho thấy rằng, việc áp dụng học sâu tăng cường trong phân bổ công suất mang lại hiệu suất vượt trội so với các phương pháp truyền thống. Mô hình học sâu không chỉ giúp cải thiện tốc độ truyền tải mà còn giảm thiểu độ trễ và tăng cường khả năng phục hồi của mạng. Những kết quả này đã được kiểm chứng qua nhiều bài kiểm tra thực nghiệm, cho thấy rằng mô hình học sâu có khả năng thích ứng tốt với các tình huống khác nhau trong môi trường mạng. Việc sử dụng mô hình học sâu trong tối ưu hóa công suất hứa hẹn sẽ trở thành xu hướng trong nghiên cứu và phát triển các mạng di động thế hệ tiếp theo.

III. KẾT LUẬN VÀ HƯỚNG NGHIÊN CỨU TIẾP THEO

Luận văn đã trình bày một cách tổng quan về việc tối ưu hóa công suất trong mạng Massive MIMO thông qua học sâu tăng cường. Những kết quả đạt được từ mô hình học sâu không chỉ cho thấy tính khả thi mà còn mở ra hướng đi mới trong nghiên cứu và phát triển mạng di động. Việc ứng dụng học sâu trong lĩnh vực này không chỉ giúp tối ưu hóa hiệu suất mà còn mở rộng khả năng phục vụ cho nhiều người dùng hơn. Hướng nghiên cứu tiếp theo có thể tập trung vào việc cải thiện các thuật toán học sâu và áp dụng chúng vào các tình huống thực tế phức tạp hơn, từ đó nâng cao khả năng áp dụng của công nghệ này trong mạng di động hiện đại.

3.1. Đề Xuất Hướng Nghiên Cứu Mới

Hướng nghiên cứu tiếp theo có thể tập trung vào việc phát triển các thuật toán học sâu mới nhằm tối ưu hóa công suất trong các môi trường mạng khác nhau. Việc tích hợp các yếu tố như điều kiện môi trường, số lượng thiết bị kết nối và yêu cầu băng thông sẽ giúp tăng cường khả năng ứng dụng của mô hình. Ngoài ra, việc nghiên cứu sâu hơn về các phương pháp tối ưu hóa khác cũng có thể mở ra những cơ hội mới trong việc cải thiện hiệu suất mạng. Các nghiên cứu này không chỉ có giá trị lý thuyết mà còn có ứng dụng thực tiễn cao trong việc phát triển các giải pháp mạng di động trong tương lai.

Nội dung chính

Tổng quan nghiên cứu

Sự bùng nổ của các thiết bị thông minh và các dịch vụ dữ liệu tốc độ cao đang tạo áp lực chưa từng có lên hạ tầng viễn thông toàn cầu. Theo các báo cáo uy tín của ngành, số lượng thiết bị kết nối di động trên toàn cầu đã tăng từ khoảng 8,8 tỷ thiết bị vào năm 2018 lên mức 13,1 tỷ thiết bị vào năm 2023, đạt tốc độ tăng trưởng kép khoảng 8% mỗi năm. Đồng thời, dự báo của các tổ chức quốc tế chỉ ra rằng mạng di động thế hệ thứ năm (5G) sẽ phục vụ hơn 5,5 tỷ thuê bao vào năm 2030 và chiếm tới 91% thị phần tại các thị trường phát triển như Bắc Mỹ. Để giải quyết bài toán dung lượng và mật độ kết nối khổng lồ này, công nghệ đa ngõ vào đa ngõ ra số lượng lớn (Massive MIMO) với việc trang bị từ 32 đến 64 ăng-ten tại mỗi trạm phát sóng đã trở thành giải pháp trụ cột cho các hệ thống 5G và định hướng tiến lên 6G.

Tuy nhiên, thách thức cốt lõi đặt ra trong mạng Massive MIMO đa ô (multi-cell) và đa người dùng (multi-user) là sự can nhiễu đồng kênh phức tạp ở kênh truyền tuyến xuống. Vấn đề phân bổ công suất phát từ các trạm gốc (Base Stations - BS) đến các thiết bị người dùng (User Equipments - UE) nhằm tối đa hóa tổng hiệu suất phổ (Sum Spectral Efficiency - SE) là một bài toán tối ưu phi tuyến, không lồi và có độ phức tạp tính toán rất lớn. Các phương pháp quy hoạch toán học cổ điển, điển hình như quy hoạch hình học (Geometric Programming), thường đòi hỏi thời gian xử lý kéo dài từ vài giây đến hàng chục giây khi kích thước mạng mở rộng, hoàn toàn không đáp ứng được yêu cầu về độ trễ thời gian thực xấp xỉ 1 mili-giây của mạng 5G.

Nhằm vượt qua rào cản trên, luận văn thạc sĩ chuyên ngành Kỹ thuật Điện tử thực hiện tại Trường Đại học Bách Khoa - Đại học Quốc gia Thành phố Hồ Chí Minh (bảo vệ thành công vào tháng 07 năm 2023) đã nghiên cứu và phát triển giải pháp phân bổ công suất tối ưu dựa trên học sâu tăng cường (Deep Reinforcement Learning - DRL). Mục tiêu trọng tâm của nghiên cứu là xây dựng một mô hình tác nhân thông minh có khả năng tự động học hỏi chiến lược phân bổ công suất liên tục cho kênh truyền tuyến xuống dựa trên vị trí tương đối của các thiết bị người dùng. Kết quả nghiên cứu chứng minh mô hình đề xuất có khả năng đạt hiệu suất phổ tiệm cận hơn 95% so với lời giải tối ưu toán học lý thuyết, trong khi thời gian thực thi thuật toán được rút ngắn hơn 99%, mở ra tiềm năng ứng dụng thực tế vượt trội cho hạ tầng vô tuyến thế hệ mới.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên ba trụ cột lý thuyết chuyên sâu: lý thuyết thông tin trong mạng Massive MIMO, mô hình kênh truyền vô tuyến ngẫu nhiên và giải thuật học sâu tăng cường trong không gian hành động liên tục.

Thứ nhất, hệ thống Massive MIMO đa ô hoạt động theo giao thức song công phân chia theo thời gian (Time Division Duplex - TDD), trong đó mỗi trạm gốc được trang bị mảng ăng-ten tuyến tính cách đều (Uniform Linear Array - ULA) với số lượng $M$ ăng-ten (với $M \gg 1$, khảo sát từ 8 đến 64 ăng-ten) để phục vụ đồng thời $K$ thiết bị người dùng (khảo sát từ 5 đến 20 người dùng) trên cùng một khối tài nguyên tần số. Hệ thống khai thác triệt để hai đặc tính vật lý then chốt: tính cứng kênh (Channel Hardening) giúp đáp ứng kênh tức thời tiệm cận giá trị kỳ vọng thống kê khi $M$ tiến tới vô cùng, và tính kênh truyền thuận lợi (Favorable Propagation) giúp các véc-tơ không gian giữa các người dùng trở nên trực giao lẫn nhau, triệt tiêu đáng kể can nhiễu nội ô thông qua kỹ thuật tiền mã hóa tuyến tính.

Thứ hai, mô hình toán học kênh truyền áp dụng phân bố fading tương quan Rayleigh trong không gian (Spatially Correlated Rayleigh Fading). Ma trận hiệp phương sai tương quan không gian kích thước $M \times M$ phản ánh chính xác các đặc trưng lan truyền vĩ mô, bao gồm suy hao đường truyền với hệ số suy hao lũy thừa từ khoảng 3,5 đến 3,8 tại khoảng cách tham chiếu 1 km, kết hợp cùng hiệu ứng fading che khuất (Shadow Fading) tuân theo phân bố Gauss chuẩn có phương sai độ lệch chuẩn từ 4 dB đến 8 dB. Tỷ số tín hiệu trên nhiễu và can nhiễu (SINR) tuyến xuống được thiết lập chính xác để xác định hàm hiệu suất phổ của từng người dùng theo định lý Shannon.

Thứ ba, khung lý thuyết học tăng cường dựa trên tiến trình quyết định Markov (Markov Decision Process - MDP). Để giải quyết không gian hành động công suất mang giá trị liên tục trong khoảng từ 0 đến 40 W (tương đương 46 dBm), nghiên cứu áp dụng kiến trúc Actor-Critic hiện đại với định lý Gradient chiến lược xác định (Deterministic Policy Gradient), kế thừa nền tảng từ thuật toán DDPG và nâng cấp lên thuật toán Twin Delayed Deep Deterministic Policy Gradient (TD3) nhằm loại bỏ triệt để hiện tượng ước lượng quá mức giá trị hàm $Q$.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp mô phỏng số học chuyên sâu trên máy tính, kết hợp đối sánh chéo giữa mô hình máy học và phương pháp giải tối ưu toán học chuẩn mực.

Dữ liệu mô phỏng được sinh ra từ mô hình mạng vô tuyến giả lập gồm 2 đến 7 ô tế bào phân bố theo cấu trúc lục giác với bán kính vùng phủ sóng mỗi ô là 500 mét. Cỡ mẫu đánh giá bao gồm hơn 10.000 kịch bản phân bố không gian ngẫu nhiên của các thiết bị người dùng trong toàn mạng, bảo đảm tính phổ quát và đặc tính Ergodic của các biến ngẫu nhiên kênh truyền. Quá trình chọn mẫu tuân thủ nghiêm ngặt nguyên tắc phân bố đều trong diện tích phủ sóng của từng trạm gốc, có tính toán khoảng cách an toàn tối thiểu 35 mét từ thiết bị người dùng đến trạm phát sóng nhằm tránh các hiệu ứng trường gần phi tuyến.

Lý do lựa chọn giải thuật học sâu tăng cường TD3 bắt nguồn từ tính chất phi tuyến phức tạp của ma trận kênh truyền Massive MIMO. Các mạng nơ-ron truyền thẳng sâu (Deep Fully Connected Neural Networks) với 3 đến 5 lớp ẩn, mỗi lớp chứa từ 128 đến 512 nơ-ron kết hợp hàm kích hoạt phi tuyến ReLU và hàm Sigmoid ở ngõ ra, được sử dụng để xấp xỉ hóa hàm chính sách Actor và hàm đánh giá Critic. Bộ nhớ tái phát kinh nghiệm (Experience Replay Buffer) với dung lượng 100.000 mẫu cùng kích thước tập huấn luyện con (mini-batch) là 64 mẫu giúp bẻ gãy tính tương quan giữa các trạng thái kế tiếp. Quá trình huấn luyện kéo dài qua 2.000 episode với hệ số suy hao phần thưởng $\gamma = 0,99$ và tốc độ học của thuật toán tối ưu Adam được thiết lập ở mức 0,001 cho Actor và 0,002 cho Critic.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình mô phỏng và kiểm nghiệm thực nghiệm thuật toán trên môi trường mạng Massive MIMO đã mang lại 4 phát hiện quan trọng có ý nghĩa khoa học và ứng dụng thực tiễn cao:

Thứ nhất, thuật toán học sâu tăng cường TD3 thể hiện khả năng hội tụ vượt trội và ổn định tuyệt đối sau khoảng 1.200 đến 1.500 episode huấn luyện. Đồ thị trung bình động của điểm thưởng tích lũy tăng trưởng liên tục và đạt trạng thái xác lập với độ dao động phương sai dưới 1,5%, chứng minh tác nhân đã làm chủ thành công quy luật phân bổ công suất thích ứng theo cấu hình mạng.

Thứ hai, về mặt hiệu suất phổ tổng, mô hình DRL đạt được giá trị hiệu suất phổ trung bình tương đương 96,5% so với giá trị tối ưu toàn cục thu được từ phương pháp quy hoạch hình học chuẩn. Khi kiểm tra trên 1.000 kịch bản phân bố người dùng hoàn toàn mới chưa từng xuất hiện trong tập huấn luyện, tỷ lệ tiệm cận hiệu suất phổ vẫn duy trì ổn định trong dải từ 94,8% đến 98,2%.

Thứ ba, sự gia tăng số lượng ăng-ten tại trạm gốc tạo ra bước nhảy vọt về hiệu năng mạng. Khi nâng số lượng ăng-ten $M$ từ 8 lên 64 ăng-ten (tăng gấp 8 lần), tổng hiệu suất phổ của toàn mạng tăng trưởng ấn tượng hơn 140%. Hiện tượng này khẳng định vai trò của hiệu ứng tập trung búp sóng không gian hẹp và tính cứng kênh giúp triệt tiêu can nhiễu liên người dùng một cách tự nhiên. Đồng thời, khi khảo sát công suất phát tối đa của trạm gốc từ 10 W lên 40 W, hiệu suất phổ tổng tăng mạnh ở giai đoạn đầu và đạt mức bão hòa dần khi công suất vượt quá 30 W do ảnh hưởng của can nhiễu liên ô.

Thứ tư, thời gian thực thi thuật toán được cải thiện đột phá. Trong khi giải thuật quy hoạch toán học đòi hỏi thời gian tính toán trung bình khoảng 1.200 đến 1.800 mili-giây cho mỗi kịch bản mạng 64 ăng-ten, mô hình học sâu chỉ mất khoảng 2,5 đến 3,8 mili-giây để đưa ra véc-tơ phân bổ công suất chính xác, tương đương mức giảm thời gian xử lý lên tới hơn 99,7%.

Thảo luận kết quả

Các kết quả đạt được phản ánh chính xác bản chất cơ chế học tăng cường kết hợp với cấu trúc mạng nơ-ron sâu. Việc sử dụng cơ chế Critic kép trong giải thuật TD3 đã ngăn chặn triệt để hiện tượng đánh giá thiên vị giá trị hành động (overestimation bias) vốn là điểm yếu cố hữu của thuật toán DDPG truyền thống trong môi trường vô tuyến nhiều nhiễu. Nhờ đó, mạng Actor học được phân bố trọng số công suất tối ưu, ưu tiên cấp công suất cho các người dùng ở vùng biên ô chịu suy hao đường truyền lớn mà không làm bùng phát can nhiễu đối với các ô lân cận.

Dữ liệu nghiên cứu được trực quan hóa và biện luận chặt chẽ thông qua đồ thị hàm phân phối tích lũy (Cumulative Distribution Function - CDF) của tổng hiệu suất phổ. Đường cong phân phối CDF của giải thuật TD3 bám sát đường cong của nghiệm tối ưu quy hoạch hình học trên toàn bộ dải phân vị từ 10% đến 90%, với khoảng cách chênh lệch hiệu suất phổ tuyệt đối không vượt quá 0,8 bit/s/Hz/ô. Bảng số liệu đối sánh hiệu năng tổng hợp khi thay đổi cấu hình ăng-ten (8, 16, 32, 64) và mức công suất phát (10 W đến 40 W) cho thấy mức độ cải thiện hiệu suất diễn ra đồng đều trên mọi phân khúc.

So với các giải pháp học máy có giám sát từng được công bố trong các nghiên cứu trước đây (vốn đòi hỏi hàng trăm giờ tính toán để tạo tập dữ liệu nhãn bằng các bộ giải quy hoạch), phương pháp học sâu tăng cường tự tạo dựng dữ liệu thông qua tương tác trực tiếp với môi trường. Điều này chứng minh tính khả thi vượt trội khi triển khai thực tế trên các trạm phát sóng thông minh có cấu hình thay đổi linh hoạt theo thời gian.

Đề xuất và khuyến nghị

Dựa trên các kết quả đạt được, luận văn đưa ra 4 khuyến nghị mang tính hành động cao dành cho các bên liên quan nhằm tối ưu hóa hạ tầng viễn thông:

1. Tích hợp mô hình học tăng cường vào bộ điều khiển thông minh vô tuyến (RIC): Các doanh nghiệp viễn thông và nhà sản xuất thiết bị (như Viettel, VNPT, Ericsson, Samsung) cần tiến hành thử nghiệm nhúng mô hình DRL vào các khối điều khiển mạng truy nhập vô tuyến mở (Open RAN / vRAN) trong lộ trình 12 đến 18 tháng tới. Mục tiêu cụ thể là đạt độ trễ phân bổ tài nguyên dưới 5 mili-giây cho các cụm trạm Massive MIMO 64T64R tại các khu vực đô thị có mật độ thuê bao cao.
2. Nâng cấp thuật toán thích ứng với môi trường di động tốc độ cao: Các nhóm nghiên cứu tại các trường đại học và viện công nghệ cần tiếp tục hoàn thiện không gian trạng thái của mô hình bằng cách bổ sung thông tin vận tốc di chuyển của người dùng từ 50 km/h đến 120 km/h trong giai đoạn 2024-2025. Chỉ tiêu đặt ra là duy trì mức suy hao hiệu suất phổ không vượt quá 5% khi thông tin trạng thái kênh truyền (CSI) bị trễ hoặc lỗi thời.
3. Mở rộng bài toán tối ưu đa mục tiêu gắn liền với tiết kiệm năng lượng: Đội ngũ kỹ sư thiết kế hệ thống cần phát triển các hàm phần thưởng mới kết hợp đồng thời giữa hiệu suất phổ (SE) và hiệu quả sử dụng năng lượng (Energy Efficiency - EE) trong vòng 24 tháng tới, hướng đến mục tiêu giảm thiểu ít nhất 20% đến 30% tổng điện năng tiêu thụ tại các trạm gốc 5G mà vẫn bảo đảm chất lượng dịch vụ (QoS).
4. Xây dựng bộ dữ liệu đo kiểm kênh truyền thực tế dùng chung: Các cơ quan quản lý chuyên ngành và hiệp hội viễn thông cần chủ trì xây dựng các tập dữ liệu chuẩn hóa về ma trận kênh truyền đo đạc thực tế tại Việt Nam với quy mô trên 500.000 mẫu, tạo điều kiện thuận lợi cho việc kiểm chuẩn các thuật toán trí tuệ nhân tạo trước khi thương mại hóa trên mạng 5G Advanced và 6G.

Đối tượng nên tham khảo luận văn

Luận văn là tài liệu tham khảo chuyên môn sâu sắc với giá trị thực tiễn cao dành cho 4 nhóm đối tượng chính:

1. Học viên cao học và nghiên cứu sinh chuyên ngành Điện tử - Viễn thông, Khoa học Dữ liệu: Nắm bắt trọn vẹn khung toán học về mạng Massive MIMO, mô hình kênh fading tương quan Rayleigh và quy trình chuyển đổi bài toán tối ưu phi tuyến thành bài toán học tăng cường với hơn 50 biểu thức toán học và lưu đồ giải thuật chi tiết.
2. Kỹ sư tối ưu hóa mạng vô tuyến (RF Optimization Engineers): Sử dụng các nguyên lý phân bổ công suất thông minh để áp dụng vào công tác tối ưu hóa vùng phủ sóng và nâng cao thông lượng mạng thực tế tại các khu vực có mật độ kết nối trên 100 thiết bị trên mỗi héc-ta.
3. Nhà phát triển giải pháp trí tuệ nhân tạo cho viễn thông (Telco AI Developers): Khảo sát chi tiết kiến trúc mạng nơ-ron Actor-Critic, kỹ thuật khử nhiễu ước lượng trong thuật toán TD3 và phương pháp thiết kế hàm phần thưởng để ứng dụng trực tiếp vào các hệ thống mạng tự hành (Autonomous Networks).
4. Lãnh đạo kỹ thuật và chuyên gia hoạch định chiến lược viễn thông: Đánh giá chính xác tiềm năng công nghệ, tính khả thi kinh tế và lộ trình tích hợp trí tuệ nhân tạo vào lớp vật lý mạng di động, giúp định hình kế hoạch đầu tư nâng cấp hạ tầng 5G và chuẩn bị cho thế hệ mạng 6G.

Câu hỏi thường gặp

Tại sao nên ứng dụng học sâu tăng cường thay cho các phương pháp quy hoạch toán học truyền thống?

Các phương pháp quy hoạch toán học như quy hoạch hình học cho nghiệm chính xác nhưng có độ phức tạp tính toán tăng theo cấp số nhân khi số lượng ăng-ten đạt 64 và số người dùng tăng cao, dẫn đến thời gian giải mất từ 1 đến 2 giây. Trong khi đó, mô hình học sâu tăng cường sau khi huấn luyện có thể đưa ra quyết định phân bổ công suất tối ưu trong thời gian dưới 3,8 mili-giây (nhanh hơn 99%), đáp ứng trọn vẹn yêu cầu vận hành thời gian thực của mạng 5G.

Hiện tượng "cứng kênh" (Channel Hardening) mang lại lợi ích gì cho mô hình học máy?

Hiện tượng cứng kênh xuất hiện khi số lượng ăng-ten tại trạm phát sóng rất lớn ($M \ge 32$), làm cho các biến động vi mô ngẫu nhiên của kênh truyền bị triệt tiêu và đáp ứng kênh tiệm cận giá trị kỳ vọng thống kê. Điều này giúp không gian trạng thái của môi trường vô tuyến trở nên ổn định hơn, giảm thiểu nhiễu loạn trong quá trình thu thập mẫu kinh nghiệm và hỗ trợ mô hình mạng nơ-ron hội tụ nhanh chóng chỉ sau khoảng 1.200 episode.

Giải thuật TD3 đã khắc phục nhược điểm gì của giải thuật DDPG trong bài toán phân bổ công suất?

Giải thuật DDPG thường gặp lỗi ước lượng quá cao giá trị hành động trong các bài toán có môi trường ngẫu nhiên phức tạp như kênh truyền vô tuyến. Thuật toán TD3 khắc phục triệt để vấn đề này nhờ sử dụng hai mạng Critic độc lập, cập nhật mạng Actor với tần suất chậm hơn và bổ sung nhiễu làm mịn mục tiêu, giúp tổng hiệu suất phổ của toàn mạng tăng thêm khoảng 4,2% và tiệm cận sát mức tối ưu lý thuyết.

Mô hình kênh truyền trong luận văn có phản ánh sát thực tế mạng di động không?

Nghiên cứu áp dụng mô hình kênh truyền fading tương quan Rayleigh kết hợp suy hao đường truyền lũy thừa bậc 3,76 và hiện tượng fading che khuất có độ lệch chuẩn 6 dB theo đúng khuyến nghị của tổ chức chuẩn hóa 3GPP. Mô hình này mô phỏng chính xác môi trường truyền sóng không đường truyền thẳng (Non-Line-of-Sight) trong các đô thị hiện đại với khoảng cách thu phát từ 50 mét đến 500 mét.

Giải pháp đề xuất có khả thi để triển khai trên các thiết bị phần cứng hiện nay không?

Hoàn toàn khả thi. Mạng nơ-ron Actor sau khi huấn luyện có dung lượng bộ nhớ nhỏ gọn dưới 10 MB và chỉ thực hiện các phép nhân ma trận đơn giản. Mô hình này hoàn toàn có thể được nạp trực tiếp vào các vi xử lý tín hiệu số (DSP), mảng cổng lập trình được dạng số (FPGA) hoặc các vi mạch chuyên dụng AI (NPU) tích hợp sẵn trên các trạm gốc 5G thương mại hiện nay.

Kết luận

• Xây dựng thành công mô hình toán học và môi trường mô phỏng mạng Massive MIMO đa ô tuyến xuống hoàn chỉnh với kênh truyền fading tương quan Rayleigh sát với thực tế viễn thông đô thị.
• Đề xuất và ứng dụng xuất sắc giải thuật học sâu tăng cường TD3 để giải quyết bài toán phân bổ công suất tối ưu trong không gian hành động liên tục từ 0 đến 40 W.
• Đạt tổng hiệu suất phổ ấn tượng tiệm cận 96,5% so với lời giải tối ưu của phương pháp quy hoạch hình học, đồng thời cắt giảm hơn 99,7% thời gian tính toán thực thi.
• Chứng minh tính vượt trội của cấu hình 64 ăng-ten giúp gia tăng hơn 140% hiệu suất phổ toàn mạng so với cấu hình 8 ăng-ten nhờ khai thác các đặc tính cứng kênh và kênh truyền thuận lợi.
• Đóng góp một khung giải pháp mở, có khả năng tích hợp trực tiếp vào hạ tầng mạng truy nhập vô tuyến thông minh thế hệ mới (Open RAN).

Công trình nghiên cứu đã khẳng định vai trò mang tính đột phá của việc ứng dụng trí tuệ nhân tạo vào lớp vật lý của hệ thống viễn thông. Trong giai đoạn 2024-2026, các hướng nghiên cứu tiếp theo sẽ tập trung mở rộng mô hình cho mạng chuyển động tốc độ cao và tối ưu hóa đa mục tiêu giữa hiệu suất phổ và hiệu quả năng lượng. Quý độc giả, nhà nghiên cứu và các kỹ sư viễn thông hãy cùng khai thác và phát triển các kết quả của luận văn thạc sĩ này để kiến tạo nên những giải pháp mạng không dây thông minh, tốc độ cao và bền vững cho tương lai.

Trích đoạn nội dung tài liệu

MỞ ĐẦU • Mạng Massive MIMO phục vụ nhiều UE. • Vấn đề tối ưu hóa hiệu suất phổ cho mạng Massive MIMO. • Học sâu tăng cường với một số giải thuật tiêu biểu. • Khả năng và giải thuật ứng dụng các phương pháp học sâu tăng cường vào giải quyết bài toán tối ưu hiệu suất phổ cho mạng Massive MIMO.2 Phạm vi nghiên cứu Một mạng viễn thông trong thực tế luôn tồn tại đường truyền tuyến lên để UE kết nối với BS và đường truyền tuyến xuống để giao tiếp theo hướng ngược lại; và mạng Massive MIMO cũng tương tự như vậy.

Vì vậy, vấn đề tối ưu hóa hiệu suất phổ có thể tồn tại đối với cả đường truyền tuyến lên lẫn tuyến xuống. Bất kể tuyến truyền dữ liệu, hiệu suất phổ của các mạng viễn thông nói chung và mạng Massive MIMO nói riêng phụ thuộc trực tiếp vào tỷ số tín hiệu trên nhiễu và can nhiễu của từng cặp UE-BS có trong mạng. Đối với mạng Massive MIMO, tỷ số tín hiệu trên nhiễu và can nhiễu trong kênh truyền tuyến xuống nhìn chung phức tạp hơn so với kênh truyền tuyến lên do tín hiệu phát đi từ BS dùng để phục vụ đồng thời nhiều UE, dẫn đến vấn đề tối ưu hóa hiệu suất phổ cho kênh truyền tuyến xuống cũng thách thức hơn. Như vậy, nếu việc sử dụng các giải thuật trong lĩnh vực trí tuệ nhân tạo có thể tìm ra lời giải có độ phức tạp thấp hơn cho vấn đề tối ưu hiệu suất phổ cho kênh truyền tuyến xuống trong mạng Massive MIMO, giả thuật đó được kỳ vọng cũng có khả năng đưa ra lời giải có độ phức tạp thấp hơn cho vấn đề tương tự đối với hiệu suất phổ tuyến xuống.

Như đã đề cập ở mục 1.4, luận văn sẽ sử dụng họ giải thuật học sâu tăng cường trong lĩnh vực trí tuệ nhân tạo. Tuy nhiên, họ giải thuật này cũng tương đối rộng và được phân loại thành nhiều nhóm, và vì vậy cần được giới hạn để cụ thể hóa hướng nghiên cứu cho luận văn. Dựa vào các thành phần cơ bản của một mô hình học sâu tăng cường đã được giới thiệu ở mục 1.3 và sẽ được làm rõ hơn ở các chương tiếp theo, các giải thuật học sâu tăng cường có thể được phân loại theo loại hành động mà tác nhân có thể tương tác với môi trường, cụ thể là hành động đó có giá trị rời rạc hay liên tục. Sự tương ướng giữa bài toán tối ưu hiệu suất phổ và bài toán phân bổ công suất cho mạng Massive MIMO đã được khảo sát ở đề cương luận văn và sẽ được trình bày lại ở các chương tiếp theo là động lực để luận văn lựa chọn tập trung vào các giải thuật học sâu tăng cường mà hành động của tác nhân là hành động có giá trị liên tục, vì công suất của các BS là đại lượng có giá trị liên tục.

Như vậy, phạm vi nghiên cứu của luận văn có thể được tóm tắt như sau: • Tối ưu hóa hiệu suất phổ cũng như tìm ra chiến lược phân bổ công suất cho mạng Massive MIMO trong kênh truyền tuyến xuống. MỞ ĐẦU • Chiến lược phân bổ công suất tối ưu được xác định thông qua họ giải thuật học sâu tăng cường mà tác nhân thực thi hành động có giá trị liên tục.5 Phương pháp nghiên cứu Phương pháp nghiên cứu chính mà luận văn sử dụng là phương pháp khảo sát, tổng hợp, phân tích và đánh giá ưu nhược điểm của các công trình nghiên cứu đã được xuât bản trước đây để vận dụng, kế thừa và kết hợp những thành tựu đột phá của lĩnh vực trí tuệ nhân tạo vào giải quyết các vấn đề còn tồn tại đối với mạng Massive MIMO trong lĩnh vực viễn thông. Do hạn chế về thời gian và chi phí, việc khảo sát kết quả của phương pháp mà luận văn đề xuất trên hệ thống thực tế là bất khả thi. Vì vậy, luận văn sẽ tiến hành nghiên cứu, thử nghiệm và đánh giá kết quả thông qua chương trình mô phỏng trên máy tính.

Phương pháp nghiên cứu của luận văn bao gồm các bước sau: • Khảo sát các tài liệu liên quan đến mạng Massive MIMO và học tăng cường từ các cơ sở dữ liệu online uy tín như IEEEXplore, arixiv, Wiley,. hay công cụ học thuật Scholar. • Tham khảo và tổng hợp nội dung chính của các đề tài đi trước, từ đó tìm ra mối quan hệ giữa 2 lĩnh vực viễn thông và trí tuệ nhân tạo, cụ thể hơn là vấn đề tối ưu hóa hiệu suất phổ và phương pháp giải các bài toán bằng mô hình học sâu tăng cường. • Phân tích và đánh giá các giải thuật học tăng cường có thể áp dụng vào giải bài toán tối ưu hiệu suất phổ dựa vào những kết quả ở bước 2, từ đó lựa ra giải thuật phù hợp nhất để đạt được mục tiêu luận văn đề ra.

• Tiến hành lập trình mô hình mô phỏng, huấn luyện và thu thập các kết quả trên mạng mô phỏng, từ đó so sánh ưu và nhược điểm của học tăng cường so với các phương pháp quy hoạch tối ưu. • Viết báo cáo về quy trình và kết quả, đồng thời rút ra nhận xét, kết luận và nêu lên một số phương hướng phát triển tiếp theo từ phương pháp được luận văn đề xuất.6 Bố cục của luận văn Nội dung của luận văn sẽ được trình bày theo từng chương để đảm bảo bố cục mạch lạc và logic, qua đó giúp người đọc dễ dàng tiếp cận hơn đến các vấn đề mà luận văn trình bày. Cụ thể, luận văn sẽ gồm các chương với nội dung chính như sau: 12 1. MỞ ĐẦU • Chương 1 là chương mở đầu sẽ trình bày về cách đặt vấn đề nghiên cứu của luận văn, lý do lựa chọn đề tài, phạm vi, đối tượng, nhiệm vụ, mục tiêu và phương pháp nghiên cứu cho luận văn.

• Chương 2 sẽ trình bày cơ sở lý thuyết về mạng Massive MIMO, bao gồm định nghĩa, tính chất kênh truyền, các phương pháp ước lượng kênh truyền và mô hình toán học của hiệu suất phổ tuyến lên và tuyến xuống của mạng Massive MIMO. Từ các kiến thức đó, luận văn sẽ giới thiệu mô hình toán học của bài toán tối ưu hiệu suất phổ cho kênh truyền tuyến xuống của mạng Massive MIMO và liên hệ với bài toán phân bổ công suất tối ưu ở cuối chương 2. • Chương 3 sẽ trình bày cơ sở lý thuyết của lĩnh vực học tăng cường và học sâu tăng cường, giúp người đọc phân biệt được hai khái niệm và trình bày các giải thuật nền tảng của ngành học này. Chương này cũng đánh giá ưu nhược điểm của các giải thuật mà luận văn trình bày để tìm ra giải thuật phù hợp nhất giúp luận văn giải quyết bài toán phân bổ công suất tối ưu cho mạng Massive MIMO ứng dụng học sâu tăng cường.

• Chương 4 đầu tiên sẽ trình bày phương pháp mô phỏng mạng Massive MIMO để làm môi trường huấn luyện và đánh giá kết quả cho giải thuật học sâu tăng cường mà luận văn lựa chọn sử dụng ở Chương 3. Sau đó, chương này sẽ trình bày phương pháp ứng dụng giải thuật học sâu tăng cường và đánh giá các kết quả mà luận văn đạt được. • Chương 5 sẽ đưa ra kết luận cho những kết quả nghiên cứu của luận văn và đề xuất một số ý tưởng để tiếp tục phát triển đề tài. Trong xuyên suốt luận văn, các đại lượng vô hướng sẽ được biểu diễn dưới dạng chữ in nghiêng như k, l, m, n,.

Kích thước của tập hợp hay ngưỡng của một đại lượng vật lý bất kỳ cũng là đại lượng vô hướng và sẽ được phân biệt bằng chữ in nghiêng viết hoa như K, L, M, N,. Các vector sẽ được biểu diễn dưới dạng chữ thường in đậm như x, y, h,. và cuối cùng, các ma trận hoặc tensor sẽ được biểu diễn dưới dạng chữ in đậm viết hoa như X, Y, H,. 13 Chương 2 CƠ SỞ LÝ THUYẾT VỀ MẠNG MASSIVE MIMO Chương này sẽ trình bày khái quát cơ sở lý thuyết về mạng Massive MIMO, hiện tượng fading và ảnh hưởng của hiện tượng này lên các hệ thống truyền thông vô tuyến, từ đó làm rõ nguyên nhân mạng Massive MIMO chủ yếu sử dụng giao thức TDD ứng dụng phương pháp điều chế đa sóng mang để khắc phục ảnh hưởng này.

Sau đó, luận văn sẽ sơ lược về mô hình toán học của kênh truyền trong mạng Massive MIMO và mô hình tín hiệu thu được và phát đi tại BS bất kỳ trong mạng. Cuối cùng, định nghĩa về hiệu suất phổ sẽ được luận văn đề cập và diễn giải dựa trên lý thuyết thông tin và dung lượng kênh truyền.1 Định nghĩa mạng Massive MIMO Mạng Massive MIMO là mạng viễn thông bao gồm L cells hoạt động theo giao thức song công phân chia thời gian (TDD) có tín hiệu tuyến lên và tuyến xuống được truyền đi ở các khe thời gian kế cận nhau trong cùng một dải tần số. Mỗi cell trong mạng được trang bị một BS gồm M ≫ 1 antenna nhằm tạo khả năng giao tiếp với đồng thời với K UE, giả sử rằng mỗi UE chỉ được trang bị một attenna để thu phát tín hiệu. Các BS trong mạng hoạt động độc lập và không ảnh hưởng đến nhau nhờ sử dụng các kỹ thuật như kết hợp thu tuyến tính (linear receive combining) để xử lý tín hiệu thu được từ các UE và kỹ thuật tiền mã hoá tuyến tính (linear precoding) để định hướng phát tín hiệu đến UE mong muốn trong không gian.

Việc tích hợp nhiều antenna trên một BS sao cho M ≫ K là giải pháp ứng dụng giao thức SDMA để xử lý can nhiễu giữa các UE trong cùng 1 cell với nhau, mà cụ thể là thông qua 2 tính chất cứng kênh (channel hardening) và kênh truyền thuận lợi (favorable propagation). Cứng kênh là tính chất giúp độ lợi của kênh truyền thay đổi ngẫu nhiên 14 2. CƠ SỞ LÝ THUYẾT VỀ MẠNG MASSIVE MIMO Hình 2.1: Ví dụ về mạng Massive MIMO. theo thời gian tiệm cận với giá trị kỳ vọng của nó, tức là ∥h∥2  → 1, (2.1) E ∥h∥2  với h ∈ CM là vector chứa giá trị đáp ứng kênh truyền tức thời của M kênh truyền từ M antena trên 1 BS đến 1 UE bất kỳ.

Trong khi đó, kênh truyền thuận lợi là tính chất quan sát được khi hướng của vector kênh truyền hlk giữa BS thứ l bất kỳ trong mạng và UE thứ k gần như trực giao với hướng của vector kênh truyền hlj giữa BS thứ l và UE thứ i ̸= k (hlk )H hli q   → 0, l ∈ L; i, k ∈ K, i ̸= k.