Chương 1: Học máy và bài toán dự báo. Trong chương này sẽ nêu tổng quan kiến thức về học máy và bài toán dự báo. Chương 2: Bài toán dự báo môi trường quan sát của kính thiên văn. Chương này sẽ đi sâu hơn vào bài toán dự báo môi trường quan sát của kính thiên văn nhằm xác định các thông số dữ liệu cần thiết cũng như mối liên hệ, tác động của các biến đầu vào tới kết quả đầu ra.
Chương 3: Xây dựng mô hình và đánh giá mô hình dự báo. Chương này ta chọn thuật toán để xây dựng mô hình dự báo môi trường quan sát cho kính thiên văn và tiến hành đánh giá chất lượng mô hình từ bộ dữ liệu thu thập được tại Trung tâm. HỌC MÁY VÀ BÀI TOÁN DỰ BÁO 1. TỔNG QUAN VỀ TRÍ TUỆ NHÂN TẠO, HỌC MÁY, HỌC SÂU 1.
Cơ bản về trí tuệ nhân tạo Sự phát triển của AI, một lĩnh vực khoa học máy tính tập trung vào việc tạo ra các hệ thống có khả năng thực hiện các nhiệm vụ đòi hỏi trí tuệ ở con người, có thể được truy vết từ giữa thế kỷ 20. Những cột mốc quan trọng bao gồm: + Nền tảng lý thuyết: Năm 1950, Alan Turing đề xuất "Bài kiểm tra Turing" làm tiêu chuẩn đánh giá khả năng "suy nghĩ" của máy tính. [1] + Sự ra đời của AI: Thuật ngữ "Artificial Intelligence" chính thức ra đời tại Hội nghị Dartmouth năm 1956, do John McCarthy khởi xướng. [2] + Giai đoạn đầu: Thập niên 1960-1970 chứng kiến sự phát triển các chương trình giải quyết vấn đề và chứng minh định lý.
Tuy nhiên, những hạn chế về sức mạnh tính toán và dữ liệu dẫn đến "mùa đông AI" do giảm sút nguồn tài trợ. [3] + Phục hưng: Thập niên 1980, hệ chuyên gia (Expert Systems) xuất hiện, ứng dụng trong các lĩnh vực hóa học và y học, đồng thời kỹ thuật học máy như cây quyết định và mạng neural đơn giản bắt đầu được khám phá. + Bùng nổ: Thập niên 1990-2000, sự gia tăng về sức mạnh tính toán và dữ liệu đã thúc đẩy sự phát triển của thuật toán học máy. Máy tính Deep Blue của IBM đánh bại Garry Kasparov năm 1997 là một cột mốc quan trọng.
[4] + Thời đại hiện nay: Từ thập niên 2010 đến nay, AI đã bùng nổ với học sâu (Deep Learning) và mạng neural cùng các lĩnh vực liên quan. AI được định nghĩa theo nhiều cách khác nhau. UNICEF định nghĩa AI là "các hệ thống máy móc được lập trình với mục tiêu do con người xác định, có khả năng đưa ra dự đoán, đề xuất hoặc quyết định". [6] AI có thể được phân loại thành ba loại chính dựa trên khả năng và phạm vi hoạt động: 5 + AI hẹp (Narrow AI) hay AI yếu (Weak AI): Thực hiện các nhiệm vụ cụ thể, không có khả năng nhận thức hoặc hiểu biết tổng quát.
+ AI tổng quát (Artificial General Intelligence - AGI) hay AI mạnh (Strong AI): Có khả năng hiểu, học hỏi và áp dụng kiến thức trong nhiều lĩnh vực khác nhau, có khả năng tư duy như con người. + AI siêu trí tuệ (Superintelligent AI): Có trí tuệ vượt trội hơn con người trong mọi lĩnh vực, có khả năng tự cải tiến và phát triển. Cơ bản về học máy Học máy (Machine Learning - ML) là một nhánh của trí tuệ nhân tạo (AI), tập trung vào việc phát triển các thuật toán và mô hình thống kê cho phép hệ thống máy tính tự động cải thiện hiệu suất thông qua kinh nghiệm và dữ liệu. Thay vì được lập trình cụ thể cho từng tác vụ, các hệ thống học máy học từ dữ liệu để nhận diện các mẫu và đưa ra các dự đoán hoặc quyết định [8].
Các nguyên tắc cơ bản của học máy bao gồm: + Học từ dữ liệu: Sử dụng dữ liệu mẫu để huấn luyện mô hình. + Khả năng tổng quát hóa: Áp dụng kiến thức học được từ dữ liệu huấn luyện để xử lý dữ liệu mới. + Tối ưu hóa: Điều chỉnh các tham số mô hình để tối đa hóa hiệu suất thông qua việc tối ưu hóa hàm mục tiêu hoặc giảm thiểu hàm mất mát (loss function). Lịch sử phát triển của học máy trải qua nhiều giai đoạn, với những cột mốc đáng chú ý như: + Giai đoạn đầu (1950-1960): Frank Rosenblatt giới thiệu Perceptron [9], một mô hình mạng neural đơn giản.
Các thuật toán cơ bản như hồi quy tuyến tính và K-Nearest Neighbors (KNN) cũng được phát triển trong giai đoạn này. + Giai đoạn phát triển (1970-1980): Các thuật toán như cây quyết định (Decision Trees) và hồi quy logistic (Logistic Regression) được phát triển và ứng dụng. 6 + Phục hưng mạng neural: Thuật toán lan truyền ngược (Backpropagation), được Rumelhart, Hinton và Williams giới thiệu lại, mở đường cho việc huấn luyện các mạng neural nhiều lớp. [10] + Thập niên 1990: Các phương pháp thống kê như Máy Vector Hỗ trợ (Support Vector Machines - SVM) xuất hiện và học máy được ứng dụng rộng rãi trong nhận dạng mẫu và xử lý ngôn ngữ tự nhiên.
[11] + Thập niên 2000: Sự gia tăng của dữ liệu lớn (Big Data) và sức mạnh tính toán thúc đẩy sự phát triển của học máy. Các phương pháp ensemble như Random Forest và Gradient Boosting trở nên phổ biến [12] + Từ thập niên 2010 đến nay: Học sâu (Deep Learning) bùng nổ, cùng với sự phát triển của các thư viện và framework như TensorFlow và PyTorch. Học máy có thể được phân loại dựa trên cách thức mà mô hình học từ dữ liệu: + Học có giám sát (Supervised Learning): Mô hình được huấn luyện trên dữ liệu đã gán nhãn, mục tiêu là học hàm ánh xạ từ đầu vào đến đầu ra. Ví dụ: Hồi quy (Regression), Phân loại (Classification).
+ Học không giám sát (Unsupervised Learning): Mô hình làm việc với dữ liệu chưa gán nhãn, tìm kiếm cấu trúc ẩn hoặc mẫu trong dữ liệu. Ví dụ: Phân cụm (Clustering), Giảm chiều (Dimensionality Reduction). + Học bán giám sát (Semi-Supervised Learning): Kết hợp dữ liệu có gán nhãn và không gán nhãn để cải thiện hiệu suất. + Học tăng cường (Reinforcement Learning): Mô hình học thông qua tương tác với môi trường, nhận phần thưởng hoặc hình phạt dựa trên hành động.
Cơ bản về học sâu [18] Học sâu (Deep Learning - DL), một phân ngành của học máy (Machine Learning), tập trung vào việc ứng dụng các mạng nơ-ron nhân tạo đa tầng (deep neural networks) để mô hình hóa và phân tích các cấu trúc phức tạp trong dữ liệu. Khác với các phương pháp truyền thống đòi hỏi quá trình thiết kế đặc trưng thủ công, học sâu cho phép máy tính tự động trích xuất đặc trưng từ dữ liệu thô, từ đó 7 học được các biểu diễn ở nhiều cấp độ trừu tượng khác nhau, từ các đặc trưng cơ bản đến các khái niệm cấp cao. [14,15] Nguyên tắc cơ bản của học sâu dựa trên việc sử dụng các mạng neural đa tầng, cho phép mô hình học các biểu diễn dữ liệu phi tuyến tính phức tạp. Quá trình huấn luyện các mô hình này thường đòi hỏi một lượng lớn dữ liệu và năng lực tính toán đáng kể để tối ưu hóa hiệu quả.
Lịch sử phát triển của học sâu bắt nguồn từ những năm 1940-1950, khi McCulloch và Pitts (1943) giới thiệu mô hình nơ-ron nhân tạo đầu tiên, đặt nền tảng cho sự ra đời của mạng nơ-ron. Năm 1958, Rosenblatt (1958) phát triển Perceptron, một mô hình mạng nơ-ron đơn giản cho các bài toán phân loại tuyến tính. Thuật toán lan truyền ngược (Backpropagation), được phổ biến rộng rãi bởi Rumelhart, Hinton và Williams (1986), đã mở ra khả năng huấn luyện các mạng neural đa tầng. Năm 1989, LeCun và cộng sự (1989) ứng dụng thành công mạng neuual tích chập (Convolutional Neural Networks - CNN) trong bài toán nhận dạng chữ viết tay, đánh dấu một bước tiến quan trọng trong lĩnh vực thị giác máy tính.
[16] Tuy nhiên, trong thập niên 1990-2000, những hạn chế về sức mạnh tính toán và dữ liệu đã làm giảm sự quan tâm đến mạng nơ-ron. Đến thập niên 2010, với sự gia tăng của dữ liệu lớn và sức mạnh tính toán (GPU, TPU), học sâu đã có sự phát triển vượt bậc. Bước ngoặt lớn là sự ra đời của AlexNet (Krizhevsky năm 2012), một mô hình CNN chiến thắng cuộc thi ImageNet, mở ra một kỷ nguyên mới cho thị giác máy tính. Tiếp theo đó, nhiều kiến trúc mạng tiên tiến như VGGNet, ResNet, Inception, và các mô hình trong xử lý ngôn ngữ tự nhiên như Recurrent Neural Networks (RNN), LSTM và Transformers đã được phát triển (Vaswani et al., 2017), mở ra nhiều ứng dụng mới trong học sâu.
Mạng neural nhân tạo (Artificial Neural Network - ANN) là cấu trúc cơ bản của học sâu, lấy cảm hứng từ cấu trúc và hoạt động của não bộ con người. Một ANN bao gồm các nơ-ron nhân tạo, là các đơn vị tính toán cơ bản, mỗi neural tính toán đầu ra dựa trên đầu vào và trọng số kết nối. Các neural được sắp xếp thành các tầng, bao gồm tầng đầu vào, các tầng ẩn và tầng đầu ra. 8 Mạng nơ-ron tích chập (CNN) được thiết kế đặc biệt cho việc xử lý dữ liệu dạng lưới như hình ảnh và video.
CNN sử dụng các lớp tích chập để trích xuất đặc trưng không gian từ dữ liệu thông qua các bộ lọc, cùng với lớp pooling để giảm kích thước đặc trưng và kiểm soát overfitting. CNN đã đạt được thành công lớn trong các bài toán nhận dạng hình ảnh, phát hiện đối tượng và nhận dạng khuôn mặt. Mạng nơ-ron hồi quy (RNN) phù hợp cho việc xử lý dữ liệu tuần tự như văn bản, âm thanh và chuỗi thời gian. RNN có kết nối vòng lặp, cho phép thông tin từ các bước trước ảnh hưởng đến bước hiện tại.
Các biến thể như Long Short-Term Memory (LSTM) và Gated Recurrent Unit (GRU) được phát triển để giải quyết vấn đề vanishing gradient bằng cách sử dụng các cổng để kiểm soát luồng thông tin (Hochreiter & Schmidhuber, 1997). Kiến trúc Transformer (Vaswani et al., 2017) là một kiến trúc mạng mới, đặc biệt hiệu quả trong xử lý ngôn ngữ tự nhiên. Transformer sử dụng cơ chế Attention để tập trung vào các phần quan trọng của đầu vào, cho phép huấn luyện song song và đạt hiệu suất cao trong các bài toán NLP. Các mô hình như BERT, GPT, T5, và ViT (Vision Transformer) đều dựa trên kiến trúc Transformer.
[17] Mạng đối nghịch sinh (Generative Adversarial Networks - GANs) bao gồm hai mô hình cạnh tranh: Generator tạo ra dữ liệu giả và Discriminator phân biệt dữ liệu thật và giả (Goodfellow et al. GANs được ứng dụng rộng rãi trong tạo hình ảnh, video giả, tăng cường dữ liệu và tạo nghệ thuật số.2 BÀI TOÁN DỰ BÁO Trong lĩnh vực máy học, bài toán dự báo là một trong những nhiệm vụ quan trọng và phổ biến nhất.