Tổng quan nghiên cứu

Trong bối cảnh sự bùng nổ về số lượng thiết bị kết nối mạng di động và nhu cầu truyền tải dữ liệu tốc độ cao, các thế hệ mạng viễn thông 5G và 6G đang trở thành trọng tâm nghiên cứu và phát triển. Theo báo cáo của ngành, số lượng người dùng mạng di động toàn cầu dự kiến tăng từ 5,1 tỷ năm 2018 lên 5,7 tỷ năm 2023, trong khi số thiết bị kết nối tăng từ 8,8 tỷ lên 13,1 tỷ cùng kỳ, với tốc độ truyền tải dữ liệu 5G nhanh gấp 13 lần so với các kết nối di động khác. Mạng Massive MIMO, với khả năng sử dụng hàng chục đến hàng trăm antena trên mỗi trạm gốc, được xem là công nghệ chủ chốt để đáp ứng các yêu cầu về mật độ kết nối cao, tốc độ truyền tải lớn và độ trễ thấp của các thế hệ mạng này.

Tuy nhiên, khi quy mô mạng và số lượng thiết bị tăng lên, bài toán phân bổ công suất tối ưu trong mạng Massive MIMO trở nên phức tạp và tốn kém về thời gian tính toán. Luận văn này tập trung nghiên cứu và phát triển một mô hình học sâu tăng cường nhằm giải quyết bài toán phân bổ công suất tối ưu cho mạng Massive MIMO, nhằm tối đa hóa hiệu suất phổ của kênh truyền tuyến xuống. Mô hình được huấn luyện trên mô phỏng mạng Massive MIMO dựa trên vị trí tương đối giữa các thiết bị người dùng và trạm gốc, từ đó đưa ra chiến lược phân bổ công suất hiệu quả cho các vị trí mới chưa biết trước.

Nghiên cứu được thực hiện trong phạm vi mạng Massive MIMO phục vụ nhiều thiết bị người dùng, tập trung vào kênh truyền tuyến xuống trong mạng viễn thông 5G và 6G, với mục tiêu rút ngắn thời gian tính toán so với các phương pháp tối ưu truyền thống, đồng thời đảm bảo hiệu suất phổ tối ưu hoặc gần tối ưu. Kết quả nghiên cứu có ý nghĩa quan trọng trong việc nâng cao hiệu quả vận hành mạng di động thế hệ mới, góp phần thúc đẩy phát triển công nghệ viễn thông hiện đại.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai nền tảng lý thuyết chính: mạng Massive MIMO và học sâu tăng cường.

  1. Mạng Massive MIMO: Đây là công nghệ sử dụng số lượng lớn antena (M ≫ 1) tại trạm gốc (BS) để phục vụ đồng thời nhiều thiết bị người dùng (UE). Hai tính chất quan trọng của mạng Massive MIMO là:

    • Channel hardening (cứng kênh): Độ lợi kênh truyền ổn định theo thời gian, giúp giảm ảnh hưởng của fading tầm hẹp.
    • Favorable propagation (kênh truyền thuận lợi): Các vector kênh truyền giữa BS và các UE gần như trực giao, giúp giảm can nhiễu và tăng hiệu suất truyền tải.

    Mạng Massive MIMO thường sử dụng giao thức TDD kết hợp kỹ thuật điều chế đa sóng mang (OFDM) để giảm thiểu can nhiễu liên ký tự và tối ưu hóa hiệu suất phổ.

  2. Học sâu tăng cường (Deep Reinforcement Learning - DRL): Là kỹ thuật học máy trong đó tác nhân (agent) tương tác với môi trường để học cách thực hiện hành động tối ưu nhằm tối đa hóa tổng điểm thưởng tích lũy. Các thành phần chính bao gồm:

    • Trạng thái (state): Mô tả môi trường tại thời điểm t.
    • Hành động (action): Các lựa chọn tác nhân có thể thực hiện.
    • Điểm thưởng (reward): Phản hồi từ môi trường đánh giá hành động.
    • Chiến lược (policy): Hàm ánh xạ trạng thái sang hành động.

    Luận văn sử dụng giải thuật Deep Deterministic Policy Gradient (DDPG), một phương pháp học sâu tăng cường phù hợp với không gian hành động liên tục như phân bổ công suất, kết hợp mạng neuron sâu để ước lượng chiến lược và hàm giá trị hành động.

Phương pháp nghiên cứu

  • Nguồn dữ liệu: Dữ liệu mô phỏng mạng Massive MIMO được xây dựng dựa trên mô hình kênh truyền fading Rayleigh tương quan không gian, với các tham số như số lượng antena BS, số UE, công suất phát, vị trí tương đối giữa BS và UE.
  • Phương pháp phân tích:
    • Xây dựng mô hình toán học bài toán tối ưu hiệu suất phổ tuyến xuống trong mạng Massive MIMO.
    • Áp dụng giải thuật học sâu tăng cường DDPG để huấn luyện tác nhân phân bổ công suất dựa trên trạng thái môi trường (vị trí UE, trạng thái kênh).
    • So sánh kết quả với lời giải tối ưu thu được từ các phương pháp quy hoạch truyền thống.
  • Timeline nghiên cứu:
    • Giai đoạn 1: Khảo sát tài liệu, xây dựng mô hình mạng và bài toán tối ưu (tháng 02 - 03/2023).
    • Giai đoạn 2: Phát triển và huấn luyện mô hình học sâu tăng cường (tháng 04 - 05/2023).
    • Giai đoạn 3: Đánh giá kết quả, so sánh và hoàn thiện luận văn (tháng 06/2023).

Cỡ mẫu mô phỏng bao gồm mạng với L = 2 cells, mỗi cell có K = 5 UE và M = 8 antena BS, được lựa chọn để cân bằng giữa độ phức tạp tính toán và tính thực tiễn của mô hình.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

  1. Hiệu suất phổ tối ưu đạt được qua học sâu tăng cường: Mô hình DDPG đạt tổng hiệu suất phổ trung bình cao hơn 95% so với lời giải tối ưu truyền thống trong các kịch bản mô phỏng với số lượng antena M thay đổi từ 8 đến 64. Ví dụ, với M = 32, tổng hiệu suất phổ đạt khoảng 85 bps/Hz, chỉ thấp hơn lời giải tối ưu khoảng 3%.

  2. Tốc độ phân bổ công suất nhanh hơn đáng kể: Thời gian tính toán chiến lược phân bổ công suất bằng mô hình học sâu tăng cường nhanh hơn từ 10 đến 20 lần so với phương pháp quy hoạch tối ưu, giúp đáp ứng yêu cầu thời gian thực trong mạng 5G/6G.

  3. Khả năng tổng quát hóa tốt: Mô hình học sâu tăng cường sau khi huấn luyện có thể áp dụng hiệu quả cho các vị trí UE mới chưa từng xuất hiện trong tập huấn luyện, với hiệu suất phổ chỉ giảm khoảng 5% so với trường hợp huấn luyện.

  4. Ảnh hưởng của số lượng antena và công suất phát: Khi tăng số lượng antena BS từ 8 lên 64, tổng hiệu suất phổ tăng trung bình 40%, đồng thời mô hình DDPG vẫn duy trì hiệu quả phân bổ công suất. Tương tự, tăng công suất phát tối đa của BS từ 10 dBm lên 30 dBm giúp tăng hiệu suất phổ khoảng 25%.

Thảo luận kết quả

Kết quả cho thấy việc ứng dụng học sâu tăng cường vào bài toán phân bổ công suất trong mạng Massive MIMO là khả thi và hiệu quả. Nguyên nhân chính là khả năng học và thích nghi của mô hình với môi trường phức tạp, đồng thời giảm thiểu thời gian tính toán so với các phương pháp tối ưu truyền thống vốn đòi hỏi giải các bài toán quy hoạch phức tạp.

So sánh với các nghiên cứu trước đây sử dụng học có giám sát, mô hình học sâu tăng cường không cần tập nhãn dán trước, giúp tiết kiệm thời gian chuẩn bị dữ liệu và tăng tính linh hoạt khi áp dụng cho các mạng thực tế có cấu hình thay đổi liên tục. Việc sử dụng giải thuật DDPG phù hợp với không gian hành động liên tục của bài toán phân bổ công suất, giúp mô hình hội tụ nhanh và ổn định hơn.

Dữ liệu có thể được trình bày qua các biểu đồ CDF (Cumulative Distribution Function) của tổng hiệu suất phổ, biểu đồ so sánh thời gian tính toán giữa các phương pháp, và biểu đồ thể hiện ảnh hưởng của số lượng antena và công suất phát lên hiệu suất phổ. Bảng so sánh chi tiết giữa mô hình học sâu tăng cường và lời giải tối ưu cũng minh họa rõ ưu điểm về hiệu quả và tốc độ.

Đề xuất và khuyến nghị

  1. Triển khai mô hình học sâu tăng cường trong hệ thống thực tế: Các nhà cung cấp dịch vụ viễn thông nên tích hợp mô hình phân bổ công suất dựa trên học sâu tăng cường vào hệ thống quản lý mạng Massive MIMO để nâng cao hiệu suất phổ và giảm độ trễ trong phân bổ tài nguyên, ưu tiên giai đoạn 1-2 năm tới.

  2. Mở rộng mô hình cho mạng đa cell phức tạp hơn: Nghiên cứu phát triển mô hình học sâu tăng cường cho mạng Massive MIMO với số lượng cell và UE lớn hơn, đồng thời xử lý can nhiễu liên cell, nhằm tăng tính thực tiễn và khả năng mở rộng, thực hiện trong 3-5 năm tới.

  3. Kết hợp học sâu tăng cường với các kỹ thuật tối ưu khác: Áp dụng các kỹ thuật như học chuyển giao (transfer learning) hoặc học đa tác vụ (multi-task learning) để cải thiện khả năng thích nghi của mô hình với các điều kiện mạng thay đổi nhanh, giảm thời gian huấn luyện lại.

  4. Phát triển giao diện và công cụ hỗ trợ vận hành mạng: Xây dựng phần mềm và giao diện trực quan giúp kỹ sư mạng dễ dàng điều chỉnh và giám sát chiến lược phân bổ công suất dựa trên mô hình học sâu tăng cường, tăng hiệu quả vận hành và bảo trì.

Đối tượng nên tham khảo luận văn

  1. Nhà nghiên cứu và sinh viên ngành Kỹ thuật Điện tử - Viễn thông: Luận văn cung cấp kiến thức chuyên sâu về mạng Massive MIMO và ứng dụng học sâu tăng cường, hỗ trợ nghiên cứu và phát triển các giải pháp tối ưu trong lĩnh vực viễn thông hiện đại.

  2. Kỹ sư và chuyên gia phát triển mạng di động 5G/6G: Các chuyên gia vận hành và thiết kế mạng có thể áp dụng các phương pháp phân bổ công suất tối ưu dựa trên học sâu tăng cường để nâng cao hiệu quả mạng và giảm chi phí vận hành.

  3. Nhà cung cấp dịch vụ viễn thông (CSP): Các nhà mạng có thể sử dụng kết quả nghiên cứu để cải thiện chất lượng dịch vụ, tăng dung lượng mạng và đáp ứng nhu cầu ngày càng tăng của khách hàng.

  4. Nhà phát triển phần mềm và công nghệ AI trong viễn thông: Luận văn cung cấp cơ sở lý thuyết và mô hình thực nghiệm để phát triển các sản phẩm trí tuệ nhân tạo hỗ trợ tối ưu hóa mạng viễn thông, mở rộng ứng dụng AI trong ngành.

Câu hỏi thường gặp

  1. Tại sao chọn học sâu tăng cường thay vì học có giám sát cho bài toán phân bổ công suất?
    Học sâu tăng cường không cần tập nhãn dán trước, giúp mô hình tự học qua tương tác với môi trường, giảm thời gian chuẩn bị dữ liệu và tăng khả năng thích nghi với các trạng thái mạng mới, trong khi học có giám sát phụ thuộc vào dữ liệu nhãn sẵn có.

  2. Mô hình học sâu tăng cường có thể áp dụng cho mạng Massive MIMO với số lượng antena lớn không?
    Có, mô hình được thiết kế để mở rộng với số lượng antena lớn. Kết quả mô phỏng cho thấy hiệu suất phổ tăng khi số antena tăng, đồng thời mô hình vẫn duy trì khả năng phân bổ công suất hiệu quả.

  3. Thời gian huấn luyện mô hình học sâu tăng cường mất bao lâu?
    Thời gian huấn luyện phụ thuộc vào cấu hình mạng và tài nguyên tính toán, nhưng thường trong phạm vi vài tuần trên máy tính có GPU mạnh. Sau khi huấn luyện, thời gian dự đoán chiến lược phân bổ công suất rất nhanh, phù hợp cho ứng dụng thời gian thực.

  4. Mô hình có thể thích nghi với sự thay đổi vị trí của thiết bị người dùng không?
    Có, mô hình học sâu tăng cường được huấn luyện để tổng quát hóa và có thể đưa ra chiến lược phân bổ công suất cho các vị trí UE mới chưa từng xuất hiện trong tập huấn luyện với hiệu suất gần tối ưu.

  5. Làm thế nào để đánh giá hiệu quả của mô hình so với các phương pháp truyền thống?
    Hiệu quả được đánh giá qua các chỉ số như tổng hiệu suất phổ, thời gian tính toán và khả năng thích nghi với trạng thái mới. Mô hình học sâu tăng cường cho thấy hiệu suất phổ đạt trên 95% so với lời giải tối ưu và thời gian tính toán nhanh hơn từ 10 đến 20 lần.

Kết luận

  • Luận văn đã phát triển thành công mô hình học sâu tăng cường DDPG để giải bài toán phân bổ công suất tối ưu trong mạng Massive MIMO, tối đa hóa hiệu suất phổ tuyến xuống.
  • Mô hình cho hiệu suất gần tối ưu với thời gian tính toán nhanh hơn đáng kể so với các phương pháp quy hoạch truyền thống.
  • Khả năng tổng quát hóa của mô hình giúp áp dụng hiệu quả cho các vị trí thiết bị người dùng mới, tăng tính linh hoạt trong vận hành mạng.
  • Kết quả nghiên cứu góp phần nâng cao hiệu quả vận hành mạng 5G/6G, đồng thời mở ra hướng phát triển ứng dụng trí tuệ nhân tạo trong viễn thông.
  • Các bước tiếp theo bao gồm mở rộng mô hình cho mạng đa cell phức tạp hơn, kết hợp với các kỹ thuật học máy tiên tiến và triển khai thử nghiệm trên hệ thống thực tế.

Để khai thác tối đa tiềm năng của công nghệ này, các nhà nghiên cứu và doanh nghiệp viễn thông được khuyến khích tiếp tục phát triển và ứng dụng mô hình học sâu tăng cường trong quản lý mạng Massive MIMO hiện đại.