Giới thiệu dự án

Trong kỷ nguyên phát triển bùng nổ của Trí tuệ nhân tạo (AI) và Học sâu (Deep Learning), các kiến trúc mạng neural tích chập (Convolutional Neural Networks - CNN) đã đạt được nhiều đột phá mang tính bước ngoặt trong các tác vụ thị giác máy tính, nhận diện vật thể và xử lý ngôn ngữ tự nhiên. Tuy nhiên, việc thiết kế một cấu trúc mạng tối ưu truyền thống đòi hỏi kiến thức chuyên môn sâu và tiêu tốn hàng ngàn giờ thử nghiệm của các chuyên gia. Điển hình, các kiến trúc do con người tinh chỉnh thủ công hoặc các kỹ thuật tìm kiếm sơ khai như AmoebaNet từng tiêu tốn tới hơn 3.150 GPU days trên cụm máy chủ công nghiệp.

Vấn đề càng trở nên phức tạp khi các mô hình học sâu hiện đại không chỉ cần tối đa hóa độ chính xác (Accuracy), mà còn phải đồng thời tối ưu hóa các chỉ số tài nguyên phần cứng đối nghịch như: số lượng tham số (Parameters), số phép tính dấu phẩy động (FLOPs), và độ trễ phản hồi (Latency) nhằm triển khai trên các thiết bị biên (Edge Devices), vi điều khiển IoT, xe tự hành và điện thoại thông minh. Từ bối cảnh đó, bài toán Tìm kiếm Kiến trúc Mạng Neural Đa mục tiêu (Multi-Objective Neural Architecture Search - MO-NAS) ra đời.

Vấn đề thực tế và rào cản kỹ thuật

Mặc dù các Thuật toán Tiến hóa Đa mục tiêu (Multi-Objective Evolutionary Algorithms - MOEAs), tiêu biểu là thuật toán Sắp xếp không bị thống trị NSGA-II, đã chứng minh được tính hiệu quả trong việc tìm kiếm biên xấp xỉ Pareto, các phương pháp hiện hành vẫn đối mặt với hai rào cản nghiêm trọng:

  1. Chi phí đánh giá hàm mục tiêu cực lớn: Mỗi cá thể (kiến trúc mạng) sinh ra trong quá trình tiến hóa đều phải trải qua quy trình huấn luyện (training) và kiểm thử (validation) đầy đủ trên tập dữ liệu lớn, làm bùng nổ chi phí tính toán.
  2. Khả năng khai thác cục bộ (Exploitation) chưa tối ưu: Các toán tử di truyền (lai ghép và đột biến) của NSGA-II tiêu chuẩn mang tính ngẫu nhiên cao, chưa tập trung khai thác sâu các vùng giải pháp có tiềm năng đột phá trên biên không bị thống trị.

Mục tiêu của đề tài

Đề tài khóa luận tập trung giải quyết triệt để các rào cản trên thông qua các mục tiêu cụ thể:

  1. Xây dựng cơ chế Mô hình thay thế trực tuyến (Online Surrogate Model - SM): Dự đoán độ chính xác của kiến trúc mạng, thiết lập bộ lọc ngưỡng $\gamma$ chỉ kích hoạt huấn luyện thực tế đối với các kiến trúc tiềm năng cao, cắt giảm đáng kể tài nguyên hao phí.
  2. Thiết kế thuật toán Tìm kiếm cục bộ thích nghi (Adaptive $k$-opt Local Search): Định nghĩa và tự động nhận diện các giải pháp trọng yếu (Knee solutions và Extreme solutions) trên biên không bị thống trị ($S$), từ đó cục bộ hóa việc tối ưu với biên độ tìm kiếm bị chặn tuyến tính ($m = l$).
  3. Thực nghiệm và đánh giá toàn diện: Triển khai giải pháp đề xuất trên cả hai cấp độ không gian tìm kiếm (Macro search space và Micro search space) sử dụng 3 bộ dữ liệu chuẩn mực quốc tế: MacroNAS, NAS-Bench-101 và NAS-Bench-201; đo lường hiệu năng thông qua chỉ số Khoảng cách Thế hệ Nghịch đảo (Inverted Generational Distance - IGD).

Phạm vi và giới hạn

  • Phạm vi tối ưu: Tối ưu hóa 2 mục tiêu đối nghịch gồm: Độ lỗi phân lớp (Classification Error) và Độ phức tạp kiến trúc (Parameters/FLOPs).
  • Không gian thực nghiệm: Đánh giá dựa trên không gian kiến trúc dạng chuỗi khối (MacroNAS) và đồ thị có hướng không chu trình (DAG-based cell architecture trong NAS-Bench-101, NAS-Bench-201).

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Bảng phân tích so sánh các hướng tiếp cận chính trong bài toán Tìm kiếm Kiến trúc Mạng Neural:

Hướng tiếp cận Ưu điểm Nhược điểm Chi phí tính toán
Progressive NAS (PNAS) Sử dụng Surrogate Model dự đoán kiến trúc tuần tự từ đơn giản đến phức tạp. Dễ suy giảm độ tương quan (low-correlation) khi số lượng cell tăng cao; chưa hỗ trợ đa mục tiêu trực tiếp. Trung bình (~150-300 GPU hours)
Once-For-All (OFA) Huấn luyện 1 Supernet tổng thể, trích xuất mạng con không cần train lại. Quá trình huấn luyện Supernet offline tiêu tốn tài nguyên khổng lồ (4.200 GPU hours V100 trên ImageNet); khó tùy biến bài toán mới. Rất cao (Supernet training)
NSGA-Net Tiêu chuẩn Tối ưu hóa đồng thời nhiều mục tiêu Pareto; linh hoạt trên nhiều không gian tìm kiếm. Huấn luyện toàn bộ cá thể gây lãng phí; không có cơ chế tinh chỉnh chuyên sâu tại các điểm trọng yếu (knee points). Cao (~100-200 GPU hours)
Giải pháp đề xuất (NSGA-II + SM + Knee-LS) SM huấn luyện online trực tiếp theo từng thế hệ; kết hợp lọc ngưỡng $\gamma$ và tinh chỉnh $k$-opt local search tại Knee/Extreme. Cần điều chỉnh tham số ngưỡng góc $\tau$ và số lượng bước lân cận $m$ để cân bằng chi phí. Thấp - Tối ưu (~35-50 GPU hours)

Phân tích yêu cầu hệ thống (Mô hình MoSCoW)

  • Must have (Bắt buộc):
    • Tích hợp mô hình thay thế (Surrogate Model) học trực tuyến song song với quá trình tiến hóa.
    • Bộ lọc ngưỡng động $\gamma$ xác định kiến trúc cần huấn luyện thực tế hay lấy giá trị dự đoán.
    • Thuật toán định vị điểm gấp khúc (Knee points) dựa trên góc tạo bởi 2 điểm lân cận và điểm biên (Extreme points).
    • Thuật toán $k$-opt Local Search giới hạn số lân cận $m = l$ nhằm kiểm soát độ phức tạp thuật toán.
  • Should have (Nên có):
    • Cơ chế tự ngắt cập nhật SM khi độ lỗi dự đoán $e$ qua $t$ thế hệ đạt trạng thái hội tụ ổn định.
    • Hỗ trợ biểu diễn kiến trúc linh hoạt theo vector chuỗi số nguyên và ma trận kề DAG.
  • Could have (Có thể mở rộng):
    • Khả năng mở rộng tối ưu trên 3 mục tiêu trở lên (Many-objective: Accuracy, Memory, Latency, Energy).
  • Won't have (Không thuộc phạm vi):
    • Huấn luyện lại từ đầu mô hình thị giác đầy đủ trên tập dữ liệu ImageNet kích thước lớn không qua benchmark cache.

Thiết kế hệ thống

Kiến trúc luồng xử lý tổng thể của phương pháp được thiết kế theo sơ đồ module hóa:

Ngăn xếp công nghệ (Technology Stack)

  • Ngôn ngữ lập trình cốt lõi: Python 3.8+
  • Thư viện Tối ưu hóa & Tiến hóa: Platypus Framework, DEAP 1.3.1, NumPy 1.19.5, SciPy 1.6.0
  • Mô hình học máy / Surrogate Model: Scikit-Learn 0.24.2 (Random Forest Regressor / Gradient Boosting)
  • Bộ dữ liệu chuẩn Benchmark:
    • MacroNAS: Search space chuỗi 14 khối với 3 thao tác: MBConv3x3, MBConv5x5, Identity.
    • NAS-Bench-101: 423.624 kiến trúc mạng biểu diễn dưới dạng ma trận kề DAG kích thước $7 \times 7$.
    • NAS-Bench-201: Không gian gồm 15.625 kiến trúc đồng nhất, cấu tạo bởi 4 node và 6 cạnh có 5 phép toán khả dĩ.
  • Hệ thống phần cứng thử nghiệm: Ubuntu 20.04 LTS, CPU Intel Xeon Gold 6248R @ 3.00GHz, 64GB RAM, GPU NVIDIA RTX 3090 24GB.

Methodology

Quy trình nghiên cứu áp dụng phương pháp luận phát triển lặp từng bước (Iterative Experimental Methodology):

Tuần 01-08: Nghiên cứu lý thuyết & Phân tích cấu trúc NAS-Bench / MacroNAS
Tuần 09-12: Thiết kế & Cài đặt Module Surrogate Model và Lọc ngưỡng Gamma
Tuần 13-16: Phát triển Module Nhận diện Knee/Extreme & Thuật toán k-opt Local Search
Tuần 17-20: Thực nghiệm diện rộng, tính toán chỉ số IGD và viết báo cáo hoàn thiện

Ma trận đánh giá rủi ro và giải pháp khắc phục

  1. Rủi ro sai lệch mô hình (Surrogate Inaccuracy): Mô hình dự đoán sai lệch dẫn đến việc loại bỏ các kiến trúc tốt.
    • Khắc phục: Cập nhật trọng số online liên tục sau mỗi thế hệ; chỉ giữ lại dự đoán cho cá thể điểm thấp, mọi cá thể có triển vọng vượt ngưỡng $\gamma$ đều được đánh giá lại bằng ground-truth.
  2. Bùng nổ tổ hợp trong Tìm kiếm cục bộ (Combinatorial Explosion): Xét tất cả lân cận $k$-opt đòi hỏi $C_l^k \cdot (|C|-1)^k$ phép đánh giá.
    • Khắc phục: Cố định số lượng lân cận lấy mẫu ngẫu nhiên không trùng lặp $m$ đúng bằng chiều dài mã hóa của cá thể ($m = l$), đảm bảo độ phức tạp thời gian tăng tuyến tính $\mathcal{O}(l)$.

Implementation và kết quả

Development process

Cốt lõi của hệ thống bao gồm hai thuật toán chủ đạo: (1) Cơ chế lọc đánh giá thích nghi qua Surrogate Model và (2) Cải thiện cá thể tiềm năng bằng $k$-opt Local Search.

1. Thuật toán Đánh giá Thích nghi qua Surrogate Model

import numpy as np
from typing import List, Tuple

class AdaptiveSurrogateEvaluator:
    def __init__(self, surrogate_model, initial_gamma: float = 0.0):
        self.sm = surrogate_model
        self.evaluated_history = []
        self.gamma = initial_gamma

    def update_gamma(self, current_evaluated_accuracies: List[float]):
        self.evaluated_history.extend(current_evaluated_accuracies)
        if self.evaluated_history:
            # Ngưỡng gamma là giá trị trung bình độ chính xác của các kiến trúc đã đánh giá thực
            self.gamma = float(np.mean(self.evaluated_history))

    def evaluate_individual(self, arch_encoded: np.ndarray, ground_truth_fn) -> Tuple[float, bool]:
        """
        Dự đoán hoặc đánh giá thực tế kiến trúc dựa trên ngưỡng gamma.
        Trả về (accuracy, is_real_evaluated).
        """
        pred_acc = self.sm.predict([arch_encoded])[0]
        
        if pred_acc >= self.gamma:
            # Vượt ngưỡng: Huấn luyện/truy vấn ground-truth thực tế
            real_acc = ground_truth_fn(arch_encoded)
            self.evaluated_history.append(real_acc)
            return real_acc, True
        else:
            # Dưới ngưỡng: Chấp nhận độ chính xác dự đoán từ SM
            return pred_acc, False

2. Thuật toán Nhận diện Điểm Tiềm năng & Cải thiện Cục bộ

def identify_and_improve_potentials(population, non_dominated_front, C_operators, k=1, tau_angle=120.0):
    """
    Nhận diện Extreme solutions, Knee solutions và thực hiện k-opt local search.
    """
    K_potential = set()
    S = sorted(non_dominated_front, key=lambda ind: ind.objectives[0]) # Sắp xếp theo Mục tiêu 1 (Error)
    
    # 1. Nhận diện Extreme Points (Đầu mút của biên Pareto)
    K_potential.add(S[0])
    K_potential.add(S[-1])
    
    # 2. Nhận diện Knee Points dựa trên góc theta
    for i in range(1, len(S) - 1):
        left_pt = np.array(S[i-1].objectives)
        curr_pt = np.array(S[i].objectives)
        right_pt = np.array(S[i+1].objectives)
        
        # Tính vector hướng
        v1 = left_pt - curr_pt
        v2 = right_pt - curr_pt
        
        # Tính góc theta (độ)
        cosine_angle = np.dot(v1, v2) / (np.linalg.norm(v1) * np.linalg.norm(v2) + 1e-8)
        angle = np.degrees(np.arccos(np.clip(cosine_angle, -1.0, 1.0)))
        
        if angle >= tau_angle:
            K_potential.add(S[i])
            
    # 3. k-opt Local Search với chặn tuyến tính m = len(arch)
    for ind in K_potential:
        arch = list(ind.genotype)
        l = len(arch)
        m = l # Số lượng lân cận thử nghiệm
        L_explored = set()
        n_eval = 0
        
        while n_eval < m:
            mut_pos = np.random.choice(l, size=k, replace=False)
            new_arch = list(arch)
            for pos in mut_pos:
                valid_ops = [op for op in C_operators if op != arch[pos]]
                new_arch[pos] = np.random.choice(valid_ops)
                
            arch_tuple = tuple(new_arch)
            if arch_tuple not in L_explored:
                L_explored.add(arch_tuple)
                new_objs = evaluate_candidate(new_arch)
                n_eval += 1
                
                # Kiểm tra ưu thế Pareto (Pareto Dominance check)
                if dominates(new_objs, ind.objectives):
                    ind.genotype = new_arch
                    ind.objectives = new_objs
                    break

Testing và validation

Hiệu năng tối ưu hóa được đánh giá thông qua chỉ số Khoảng cách Thế hệ Nghịch đảo (Inverted Generational Distance - IGD). Giá trị IGD càng nhỏ chứng minh tập nghiệm xấp xỉ càng hội tụ sát với Biên Pareto thực sự ($P^*$) và có độ phân bố đồng đều hơn:

$$IGD(P^, S) = \frac{\sum_{v \in P^} \min_{u \in S} d(v, u)}{|P^*|}$$

Trong đó $P^*$ là tập nghiệm tối ưu Pareto chuẩn, $S$ là tập nghiệm tìm được bởi thuật toán, và $d(v, u)$ là khoảng cách Euclid trong không gian mục tiêu chuẩn hóa.

Bảng kết quả thực nghiệm trung bình qua 30 lần chạy độc lập:

Bài toán Thực nghiệm Không gian NAS NSGA-II Tiêu chuẩn (Baseline IGD) NSGA-II + SM (Đề xuất 1) NSGA-II + SM + Knee-LS (Hoàn chỉnh) Mức cải thiện IGD (%)
MacroNAS-1 Macro (14 cells) 0.0482 $\pm$ 0.005 0.0341 $\pm$ 0.003 0.0268 $\pm$ 0.002 +44.40%
MacroNAS-2 Macro (14 cells) 0.0516 $\pm$ 0.006 0.0389 $\pm$ 0.004 0.0295 $\pm$ 0.003 +42.83%
NAS-Bench-101 Micro (DAG 7x7) 0.0194 $\pm$ 0.002 0.0181 $\pm$ 0.001 0.0169 $\pm$ 0.001 +12.89%
NAS-Bench-201-1 Micro (4 nodes) 0.0152 $\pm$ 0.001 0.0145 $\pm$ 0.001 0.0138 $\pm$ 0.001 +9.21%
NAS-Bench-201-2 Micro (4 nodes) 0.0168 $\pm$ 0.002 0.0159 $\pm$ 0.001 0.0149 $\pm$ 0.001 +11.31%
NAS-Bench-201-3 Micro (4 nodes) 0.0175 $\pm$ 0.002 0.0163 $\pm$ 0.001 0.0154 $\pm$ 0.001 +12.00%

Kết quả đạt được

  1. Đột phá trên Không gian Macro: Trên không gian MacroNAS, phương pháp đề xuất giúp giảm chỉ số IGD tới hơn 44%, chứng minh khả năng định hướng tìm kiếm cấu trúc tế bào dạng chuỗi cực kỳ mạnh mẽ khi kết hợp với $k$-opt Local Search.
  2. Duy trì tính ổn định trên Không gian Micro: Với các không gian đồ thị DAG vi mô (NAS-Bench-101/201), thuật toán duy trì mức cải thiện ổn định từ 9.2% đến 12.89%, hạn chế rơi vào các cực trị địa phương (local optima).
  3. Tiết kiệm tài nguyên đánh giá: Cơ chế lọc ngưỡng $\gamma$ giúp giảm tới 52.4% số lượng cuộc gọi đánh giá hàm mục tiêu đầy đủ, rút ngắn phân nửa thời gian thực thi của cả tiến trình tối ưu hóa.

Đổi mới và đóng góp

  • Cơ chế mô hình thay thế Online có kiểm soát ngưỡng động: Khác với các phương pháp Surrogate tĩnh ngoại tuyến (như OFA, MetaQNN), đề tài đề xuất mô hình học trực tuyến cập nhật theo từng thế hệ, kết hợp ngưỡng giá trị trung bình $\gamma$ để quyết định đánh giá thực nghiệm ground-truth. Điều này loại bỏ triệt để hiện tượng sai lệch dự đoán tích lũy (error propagation).
  • Chiến lược khai thác cục bộ mục tiêu kép (Knee & Extreme Local Search): Lần đầu tiên đưa khái niệm góc tạo bởi lân cận trên biên Pareto ($\tau \ge 120^\circ$) kết hợp các điểm cực trị mục tiêu vào việc điều hướng thuật toán tìm kiếm cục bộ $k$-opt trong bài toán NAS.
  • Giải quyết bài toán bùng nổ tổ hợp: Bằng việc giới hạn cận trên số lượng ứng viên lân cận $m = l$, đề tài biến bài toán tìm kiếm cục bộ cấp lũy thừa thành quá trình thăm dò tuyến tính có chi phí tính toán cố định, cân bằng hoàn hảo giữa tính khám phá (Exploration) và tính khai thác (Exploitation).
So sánh hiệu suất tìm kiếm kiến trúc:
Thuật toán             Tài nguyên GPU           Độ phân tán Pareto (IGD)
NSGA-II Tiêu chuẩn     ████████████ (Cao)       ░░░░░░░░░░░░░ (0.0482)
NSGA-Net               █████████▒▒▒ (Khá cao)   ░░░░░░░░░▒▒▒▒ (0.0395)
Phương pháp Đề xuất    █████▒▒▒▒▒▒▒ (Tối ưu)    ░░░░▒▒▒▒▒▒▒▒▒ (0.0268)

Ứng dụng thực tế và triển khai

Các tình huống ứng dụng thực tế

  1. Triển khai Thị giác Máy tính trên Thiết bị Nhúng / IoT: Tự động tìm kiếm các mạng phân loại ảnh có dung lượng bộ nhớ nhỏ hơn 5MB và FLOPs dưới 100M để nạp trực tiếp vào vi xử lý ARM Cortex-M hoặc Raspberry Pi trong các nhà máy thông minh.
  2. Hệ thống Nhận diện Vật thể cho Xe tự hành: Tìm kiếm các backbone neural đạt độ trễ xử lý khung hình (Inference Latency) dưới 15ms trên phần cứng NVIDIA Jetson AGX Orin nhưng vẫn đảm bảo độ chính xác mAP tối ưu.

Phân tích chi phí và hiệu quả đầu tư (Cost-Benefit Analysis)

  • Tiết kiệm hạ tầng điện toán đám mây: Việc giảm 52% số lần huấn luyện thực tế giúp doanh nghiệp cắt giảm trực tiếp hơn một nửa chi phí thuê GPU (ví dụ từ $10,000/tháng xuống còn $4,800/tháng cho các đợt huấn luyện định kỳ).
  • Rút ngắn chu kỳ nghiên cứu & phát triển (Time-to-Market): Giảm thời gian tự động thiết kế kiến trúc từ 1 tuần xuống còn dưới 48 giờ làm việc, giúp tăng tốc độ ra mắt sản phẩm AI.

Hạn chế và hướng phát triển

Hạn chế kỹ thuật

  • Số lượng hàm mục tiêu: Thuật toán mới được khảo sát trên không gian tối ưu 2 mục tiêu ($M=2$). Khi mở rộng lên không gian nhiều mục tiêu ($M \ge 3$), việc tính toán góc hình học cho Knee points sẽ phức tạp hơn do đòi hỏi tính toán góc đa diện trong không gian siêu phẳng.
  • Ràng buộc phần cứng vật lý trực tiếp: Các độ đo phần cứng (FLOPs, Parameters) hiện tại vẫn dựa trên công thức lý thuyết của benchmark, chưa thực hiện đo trực tiếp chu kỳ xung nhịp phần cứng theo thời gian thực (On-device profiling).

Hướng phát triển trong tương lai

  • Phát triển phương pháp ước lượng Knee-point đa chiều trong không gian $n$-chiều ứng dụng phép chiếu siêu mặt phẳng (Hyperplane projection).
  • Tích hợp kỹ thuật chia sẻ trọng số (Weight-Sharing Supernet) với cơ chế Surrogate Model trực tuyến để nâng cao tốc độ đánh giá kiến trúc lên mức gần thời gian thực.
  • Mở rộng thuật toán sang tối ưu hóa các kiến trúc Transformer và Vision Transformer (ViT).

Đối tượng hưởng lợi

  • Sinh viên & Học viên cao học: Tiếp cận nguồn tài liệu tham khảo chi tiết về cách kết hợp giữa Thuật toán Tiến hóa Đa mục tiêu (MOEA) và Học máy thay thế (Surrogate Modeling) cùng mã nguồn thực nghiệm rõ ràng.
  • Kỹ sư AI / MLOps: Áp dụng trực tiếp pipeline tìm kiếm kiến trúc mạng tối ưu hóa đa mục tiêu cho các hệ thống suy luận thời gian thực trên Edge AI.
  • Doanh nghiệp công nghệ: Giảm thiểu chi phí vận hành hạ tầng điện toán đám mây, tối ưu hóa ngân sách R&D nhờ cắt giảm GPU hours khi thiết kế model riêng biệt.
  • Các nhà nghiên cứu (Researchers): Cung cấp bằng chứng thực nghiệm và phương pháp giải quyết bài toán cân bằng giữa khai phá (Exploration) và khai thác (Exploitation) trên biên Pareto rời rạc.

Câu hỏi thường gặp

1. Cần chuẩn bị cấu hình phần cứng tối thiểu nào để chạy thuật toán?

Môi trường thực nghiệm chỉ yêu cầu máy trạm cơ bản với CPU từ 4 cores, 16GB RAM và 1 GPU NVIDIA (tối thiểu 8GB VRAM như RTX 2060/3060) do hệ thống đã tận dụng các bộ benchmark cache dữ liệu NAS-Bench-101/201 và MacroNAS.

2. Thuật toán xử lý thế nào khi không gian tìm kiếm mở rộng lên hàng tỷ kiến trúc?

Nhờ vào việc giới hạn số lượng lân cận thăm dò $m = l$ trong $k$-opt Local Search và sử dụng bộ lọc Surrogate Model với ngưỡng $\gamma$, độ phức tạp tính toán được kiểm soát ở mức tuyến tính đối với kích thước mã hóa gen thay vì bùng nổ cấp lũy thừa.

3. Có thể tích hợp phương pháp này vào các hệ thống NAS hiện có không?

Hoàn toàn khả thi. Do module Surrogate Model và module $k$-opt Local Search được thiết kế độc lập, chúng có thể cắm trực tiếp (plug-and-play) vào bất kỳ framework tiến hóa nào dựa trên nền tảng NSGA-II, SPEA2 hoặc MOEA/D.

4. Chi phí bảo trì và độ phức tạp khi cập nhật mô hình thay thế (SM) là bao nhiêu?

Quá trình huấn luyện lại mô hình thay thế diễn ra trực tuyến bằng các thuật toán hồi quy nhẹ (như Random Forest Regressor), chỉ mất từ 0.5 đến 2 giây cho mỗi thế hệ, không gây nghẽn tiến trình tìm kiếm tổng thể.

5. Vì sao nên ưu tiên giải pháp Knee Points hơn các giải pháp khác trên biên Pareto?

Giải pháp Knee Points đại diện cho sự cân bằng biên tối ưu nhất: tại vị trí này, nếu muốn cải thiện thêm một lượng rất nhỏ ở một mục tiêu (ví dụ tăng 0.1% accuracy), người dùng sẽ phải đánh đổi bằng sự suy giảm cực kỳ lớn ở mục tiêu còn lại (ví dụ tăng gấp đôi số tham số). Do đó, Knee points luôn là lựa chọn hàng đầu trong triển khai thực tế.

Kết luận

Đề tài khóa luận tốt nghiệp đã giải quyết thành công bài toán tối ưu hóa đa mục tiêu trong Tìm kiếm Kiến trúc Mạng Neural (NAS) thông qua việc đề xuất hai giải pháp cải tiến cốt lõi: tích hợp Mô hình thay thế trực tuyến với bộ lọc ngưỡng động $\gamma$ và phát triển cơ chế Cải thiện cá thể tiềm năng (Knee & Extreme points) thông qua $k$-opt Local Search tuyến tính. Kết quả thực nghiệm trên các bộ dữ liệu chuẩn MacroNAS, NAS-Bench-101 và NAS-Bench-201 đã chứng minh tính vượt trội của phương pháp với mức cải thiện chỉ số IGD lên tới 44.40% trên không gian Macro, đồng thời cắt giảm hơn 52% chi phí đánh giá hàm mục tiêu.

Mã nguồn mở và toàn bộ thiết lập thực nghiệm của đề tài được đóng góp cho cộng đồng nghiên cứu tại GitHub Repository. Nghiên cứu mở ra tiềm năng ứng dụng rộng lớn cho việc tự động hóa thiết kế các mô hình Deep Learning hiệu năng cao, chi phí thấp, đáp ứng các tiêu chuẩn khắt khe của các hệ thống AI biên trong thực tế.