Luận văn thạc sĩ về ước lượng siêu tham số cho mạng nơron học sâu sử dụng giải thuật harmony search

Chuyên đề nghiên cứu Ước lượng siêu tham số cho mạng nơron học sâu bằng giải thuật harmony search, cập nhật xu hướng mới, giá trị tham khảo cao cho

• Tác giả: Đỗ Ngọc Lưu
• Người hướng dẫn: PGS. Dương Tuấn Anh
• Trường học: Đại học Quốc gia TP. HCM Trường Đại học Bách Khoa
• Chuyên ngành: Khoa học máy tính
• Đề tài: Ước Lượng Siêu Tham Số Cho Mạng Nơron Học Sâu Bằng Giải Thuật Harmony Search
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2019
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• DANH MỤC BẢNG BIỂU
• DANH MỤC HÌNH ẢNH
• DANH MỤC VIẾT TẮT
• 1. CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI
• 1.1. Cơ Sở Hình Thành Đề Tài
• 1.2. Ý nghĩa thực tiễn
• 1.3. Ý nghĩa khoa học
• 1.4. Phạm Vi Đề Tài
• 1.5. Kết Quả Đạt Được
• 2. CHƯƠNG 2: KIẾN THỨC NỀN TẢNG
• 2.1. Dự Báo Dữ Liệu Chuỗi Thời Gian
• 2.1.1. Dự Báo Dữ Liệu Chuỗi Thời Gian Sử Dụng Mạng Nơ Ron
• 2.2. Deep Belief NetWorks (DBNs)
• 2.2.1. Restricted Boltzmann Machines (RBMs)
• 2.2.2. Kiến trúc Deep Belief Networks
• 2.2.3. Tham số Deep Belief Networks
• 2.3. Particle Swarm Optimization (PSO)
• 2.4. Giải thuật Harmony Search căn bản
• 2.5. Giải thuật Global-best Harmony Search
• 3. CHƯƠNG 3: CÁC CÔNG TRÌNH LIÊN QUAN
• 3.1. Tinh Chỉnh Deep Belief Networks Sử Dụng Giải Thuật Harmony Search
• 3.2. Dự Báo Chuỗi Thời Gian Sử Dụng DBN
• 3.2.1. Bộ dự báo sử dụng DBN
• 3.2.2. Tối ưu hóa mô hình
• 4. CHƯƠNG 4: XÂY DỰNG MÔ HÌNH DỰ BÁO DỰA VÀO MẠNG NƠRON HỌC SÂU DBN
• 4.1. Mô Hình Dự Báo Dữ Liệu Chuỗi Thời Gian Bằng DBN Kết Hợp Với Lựa Chọn Tham Số Bằng Phương Pháp Harmony Search
• 4.2. Giải Thuật Phân Kì Tương Phản (CD) Kết Hợp Với Giải Thuật Lan Truyền Ngược BP
• 4.3. Xây Dựng Mô Hình Dự Đoán Dữ Liệu Chuỗi Thời Gian Dựa Trên DBN
• 5. CHƯƠNG 5: THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 5.1. Cách Thức Thực Nghiệm
• 5.2. Kết Quả Thực Nghiệm Và Đánh Giá
• 5.2.1. Bộ dữ liệu về độ đo trung bình các vệt đen mặt trời (bão mặt trời) hàng tháng từ tháng 1 năm 1749 tới tháng 3 năm 1977
• 5.2.2. Bộ dữ liệu về chỉ số giá tiêu dùng (CPI) mỗi tháng ở Tây Ban Nha từ tháng 1 năm 1960 đến tháng 6 năm 2005
• 5.2.3. Bộ dữ liệu về tỉ giá trung bình của đô la Mỹ với Bảng Anh từ tháng 1 năm 1981 đến tháng 7 năm 2005
• 5.2.4. Bộ dữ liệu được tạo bởi phương trình Lorenz
• 5.3. Tổng kết thực nghiệm
• 6. CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 6.1. Đánh Giá Kết Quả
• 6.1.1. Những công việc đã làm được
• 6.1.2. Các mặt hạn chế
• 6.2. Hướng Phát Triển
• THƯ MỤC THAM KHẢO
• PHỤ LỤC A: BẢNG THUẬT NGỮ ANH VIỆT ĐỐI CHIẾU
• LÝ LỊCH TRÍCH NGANG
• QUÁ TRÌNH ĐÀO TẠO
• QUÁ TRÌNH CÔNG TÁC

Tóm tắt

I. Giới thiệu về siêu tham số và mạng nơron

Siêu tham số đóng vai trò quan trọng trong việc tối ưu hóa mô hình học sâu, đặc biệt là trong mạng nơron. Mạng nơron học sâu, như Deep Belief Network (DBN), đã chứng minh khả năng vượt trội trong việc dự đoán dữ liệu chuỗi thời gian. Việc lựa chọn siêu tham số phù hợp giúp tăng độ chính xác của mô hình. Các tham số như số lớp, số nút ẩn, và hệ số học cần được điều chỉnh cẩn thận để đạt được kết quả tốt nhất. Tuy nhiên, việc tối ưu hóa các tham số này thường gặp khó khăn do tính chất phức tạp của không gian tham số. Do đó, việc áp dụng các kỹ thuật tối ưu hóa như giải thuật harmony search trở nên cần thiết để giải quyết vấn đề này.

1.1 Tầm quan trọng của siêu tham số

Trong học máy, siêu tham số có ảnh hưởng lớn đến hiệu suất của mô hình. Việc lựa chọn sai siêu tham số có thể dẫn đến kết quả không chính xác hoặc mô hình không hội tụ. Nghiên cứu cho thấy việc tối ưu hóa siêu tham số có thể cải thiện đáng kể độ chính xác của mô hình. Các phương pháp như học máy không giám sát thường yêu cầu điều chỉnh siêu tham số để tối ưu hóa chất lượng của mô hình. Điều này đặc biệt quan trọng trong mạng nơron, nơi mà sự phức tạp của mô hình có thể dẫn đến tình trạng overfitting hoặc underfitting nếu không được điều chỉnh đúng cách.

1.2 Vai trò của mạng nơron trong dự báo dữ liệu

Mạng nơron, đặc biệt là Deep Belief Networks (DBNs), đã trở thành công cụ mạnh mẽ trong việc dự báo dữ liệu chuỗi thời gian. DBNs có khả năng học từ dữ liệu không có cấu trúc và phát hiện các mẫu phức tạp, giúp cải thiện độ chính xác của dự báo. Kỹ thuật này đã được áp dụng rộng rãi trong nhiều lĩnh vực như tài chính, khí tượng và y tế. Tuy nhiên, để phát huy tối đa khả năng của DBNs, việc lựa chọn và tối ưu hóa siêu tham số là rất cần thiết. Giải thuật harmony search cung cấp một phương pháp hiệu quả để thực hiện điều này, giúp tìm ra các tham số tối ưu cho mô hình.

II. Giải thuật Harmony Search và ứng dụng trong mạng nơron

Giải thuật harmony search là một phương pháp tối ưu hóa meta-heuristic được phát triển dựa trên nguyên tắc của âm nhạc. Kỹ thuật này tìm kiếm các giải pháp tối ưu bằng cách tạo ra các hợp âm và cải thiện chúng qua các thế hệ. Trong bối cảnh của mạng nơron, giải thuật này có thể được áp dụng để tối ưu hóa các siêu tham số của mô hình, từ đó nâng cao hiệu suất dự báo. Việc áp dụng giải thuật này đã cho thấy kết quả khả quan trong việc cải thiện độ chính xác của DBNs so với các phương pháp tối ưu hóa khác như PSO.

2.1 Nguyên lý hoạt động của giải thuật Harmony Search

Giải thuật harmony search hoạt động dựa trên việc tạo ra một hệ thống thông minh để tìm kiếm giải pháp tối ưu. Quá trình này bao gồm việc tạo ra một vùng nhớ hòa âm, trong đó mỗi hợp âm đại diện cho một giải pháp. Các hợp âm được cải thiện qua các thế hệ bằng cách áp dụng các quy tắc như điều chỉnh cao độ và chọn lọc hợp âm tốt nhất. Điều này giúp giải thuật tìm ra giải pháp tối ưu với số lần kiểm tra ít hơn so với các phương pháp tối ưu hóa truyền thống. Nhờ đó, giải thuật này trở thành một công cụ hữu ích trong việc tối ưu hóa các siêu tham số cho mạng nơron.

2.2 Ứng dụng trong tối ưu hóa siêu tham số của DBN

Trong nghiên cứu này, giải thuật harmony search được áp dụng để tối ưu hóa các siêu tham số của Deep Belief Networks (DBNs). Bằng cách so sánh với các phương pháp như PSO, kết quả cho thấy giải thuật này không chỉ cải thiện độ chính xác mà còn giảm thời gian huấn luyện. Việc tối ưu hóa các tham số như số lớp, số nút ẩn và hệ số học giúp mô hình học nhanh hơn và chính xác hơn. Điều này có ý nghĩa quan trọng trong việc phát triển các ứng dụng thực tế của mạng nơron trong dự báo dữ liệu chuỗi thời gian.

III. Kết quả thực nghiệm và đánh giá

Kết quả thực nghiệm cho thấy việc áp dụng giải thuật harmony search trong tối ưu hóa siêu tham số của DBN mang lại những kết quả khả quan. Mô hình được tối ưu hóa bằng giải thuật này đã cho thấy khả năng dự báo tốt hơn so với các phương pháp tối ưu hóa khác. Cụ thể, khi áp dụng trên các bộ dữ liệu thực tế như chỉ số giá tiêu dùng và tỉ giá hối đoái, mô hình đã đạt được độ chính xác cao hơn đáng kể. Điều này chứng tỏ rằng việc lựa chọn và tối ưu hóa các siêu tham số là rất cần thiết để nâng cao hiệu suất của mạng nơron.

3.1 Đánh giá hiệu suất mô hình

Các kết quả thực nghiệm cho thấy mô hình DBN được tối ưu hóa bằng harmony search có độ chính xác cao hơn so với mô hình sử dụng phương pháp chọn ngẫu nhiên. Cụ thể, độ chính xác của mô hình đạt được là 95% trong dự báo dữ liệu chuỗi thời gian, trong khi mô hình sử dụng PSO chỉ đạt 90%. Điều này chứng tỏ rằng giải thuật harmony search không chỉ hiệu quả trong việc tối ưu hóa siêu tham số mà còn giúp nâng cao khả năng dự báo của mô hình. Sự khác biệt này có thể được lý giải bởi khả năng tìm kiếm giải pháp tối ưu của giải thuật này, giúp mô hình học tốt hơn từ dữ liệu.

3.2 Ứng dụng thực tiễn và triển vọng

Kết quả từ nghiên cứu này không chỉ có ý nghĩa trong lĩnh vực học máy mà còn mở ra nhiều cơ hội ứng dụng thực tiễn. Các nhà đầu tư, nhà dự báo thời tiết và các chuyên gia trong lĩnh vực tài chính có thể áp dụng mô hình này để đưa ra các quyết định chính xác hơn. Việc tối ưu hóa siêu tham số bằng giải thuật harmony search có thể giúp giảm thiểu rủi ro trong đầu tư và cải thiện độ chính xác trong dự báo thời tiết. Điều này chứng tỏ rằng nghiên cứu không chỉ có giá trị lý thuyết mà còn có giá trị thực tiễn cao.

Nội dung chính

Tổng quan nghiên cứu

Trong thời đại bùng nổ của trí tuệ nhân tạo và khoa học dữ liệu, ước tính có hơn 80% khối lượng dữ liệu phát sinh tại các tổ chức kinh tế, tài chính và khí tượng là dữ liệu chuỗi thời gian. Dự báo chuỗi thời gian giữ vai trò then chốt trong việc kiểm soát rủi ro và tối ưu hóa quyết định đầu tư. Tuy nhiên, các chuỗi dữ liệu thực tế thường mang đặc tính phi tuyến tính cao, chuyển động phức tạp và chứa nhiều yếu tố nhiễu. Các mô hình thống kê cổ điển như ARIMA hay làm trơn hàm mũ thường bộc lộ nhiều hạn chế khi xử lý các không gian dữ liệu đa chiều phức tạp.

Mạng nơ-ron học sâu DBN (Deep Belief Networks), do nhà khoa học Geoffrey Hinton đề xuất vào năm 2006, đã tạo nên bước ngoặt lớn khi giải quyết triệt để hiện tượng triệt tiêu độ dốc (vanishing gradient). Dù vậy, hiệu quả dự báo của DBN lại phụ thuộc mật thiết vào 4 siêu tham số cốt lõi: hệ số học RBM, hệ số học lan truyền ngược, số nơ-ron đầu vào và số nơ-ron lớp ẩn. Việc thiết lập các tham số này theo cách thủ công hoặc ngẫu nhiên thường tiêu tốn hàng trăm giờ tính toán mà không đảm bảo đạt được tối ưu toàn cục.

Đề tài luận văn thạc sĩ chuyên ngành Khoa học Máy tính do học viên Đỗ Ngọc Lưu thực hiện dưới sự hướng dẫn của PGS.TS Dương Tuấn Anh tại Trường Đại học Bách Khoa – Đại học Quốc Gia TP. Hồ Chí Minh (hoàn thành vào tháng 12 năm 2019) tập trung giải quyết bài toán trên. Mục tiêu nghiên cứu là xây dựng mô hình dự báo chuỗi thời gian kết hợp mạng DBN và mạng Perceptron đa lớp (MLP), tích hợp giải thuật siêu phỏng đoán Harmony Search (đặc biệt là biến thể Global-best Harmony Search) để tự động ước lượng bộ siêu tham số tối ưu. Công trình được kiểm chứng trên 4 bộ dữ liệu với quy mô hàng trăm chu kỳ thời gian, giúp cải thiện độ chính xác dự báo và giảm thiểu sai số toàn phương trung bình (MSE) từ 15% đến 35% so với các phương pháp truyền thống.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Mô hình nghiên cứu kết hợp giữa lý thuyết mạng nơ-ron học sâu và giải thuật tối ưu hóa mô phỏng sinh học. Trong đó, 2 nền tảng lý thuyết chủ đạo được tích hợp gồm:

1. Lý thuyết mạng Deep Belief Networks (DBN) và máy Boltzmann giới hạn (RBM): RBM là mô hình sinh dựa trên năng lượng bao gồm 2 lớp: lớp quan sát (visible units) và lớp ẩn (hidden units) không có liên kết nội lớp. DBN được xây dựng bằng cách xếp chồng các lớp RBM lên nhau. Quá trình huấn luyện không giám sát (pre-training) áp dụng giải thuật Phân kỳ tương phản (Contrastive Divergence - CD) kết hợp lấy mẫu Gibbs để trích xuất đặc trưng sâu từ dữ liệu thô. Sau đó, mạng Perceptron đa lớp (MLP) ở tầng trên cùng được tinh chỉnh có giám sát bằng thuật toán lan truyền ngược (Back-Propagation - BP) để xuất giá trị dự báo.
2. Lý thuyết giải thuật Harmony Search (HS) và Global-best Harmony Search (GHS): Được Zong Woo Geem giới thiệu năm 2001, Harmony Search mô phỏng quá trình người nhạc sĩ sáng tạo hợp âm hoàn hảo. Giải thuật vận hành dựa trên các tham số chính: kích thước bộ nhớ hòa âm (Harmony Memory Size - HMS thiết lập từ 50 đến 100), tỷ lệ xem xét bộ nhớ (HMCR) và tỷ lệ điều chỉnh cao độ (Pitch Adjusting Rate - PAR). Biến thể GHS cập nhật động tham số PAR qua từng vòng lặp, tận dụng thông tin từ giải pháp tốt nhất toàn cục để tăng tốc độ hội tụ.

Các khái niệm chuyên ngành cốt lõi được áp dụng xuyên suốt gồm: hàm năng lượng RBM, xấp xỉ phân kỳ tương phản CD-k, cơ chế nhớ hòa âm, và chỉ số sai số toàn phương trung bình (MSE).

Phương pháp nghiên cứu

• Nguồn dữ liệu và cỡ mẫu: Nghiên cứu thu thập và phân tích 4 bộ dữ liệu mẫu đa dạng:
  • Bộ dữ liệu thực tế 1: Chuỗi đo lường trung bình vệt đen mặt trời hàng tháng từ tháng 1 năm 1749 đến tháng 3 năm 1977 với cỡ mẫu 305 mốc thời gian (288 mẫu dùng để huấn luyện và 17 mẫu kiểm thử).
  • Bộ dữ liệu thực tế 2: Chỉ số giá tiêu dùng (CPI) tại Tây Ban Nha hàng tháng từ tháng 1 năm 1960 đến tháng 6 năm 2005 với quy mô 546 mẫu quan sát.
  • Bộ dữ liệu thực tế 3: Tỷ giá trung bình giữa USD và Bảng Anh hàng tháng từ tháng 1 năm 1981 đến tháng 7 năm 2005 gồm 295 mẫu dữ liệu tài chính.
  • Bộ dữ liệu tổng hợp 4: Chuỗi thời gian phi tuyến hỗn loạn sinh ra từ hệ phương trình Lorenz với 1000 điểm dữ liệu mô phỏng.
• Phương pháp chọn mẫu: Dữ liệu được trích xuất tuần tự theo phương pháp lấy mẫu chuỗi thời gian liên tục và cấu trúc lại qua kỹ thuật cửa sổ trượt (sliding window) với các bước trễ không gian nhúng, đảm bảo giữ nguyên tính phụ thuộc thời gian và quan hệ nhân quả của chuỗi dữ liệu.
• Phương pháp phân tích và lý do lựa chọn: Toàn bộ hệ thống được lập trình bằng ngôn ngữ Python trên nền tảng framework TensorFlow, hỗ trợ bởi NumPy, SciPy, Matplotlib và Scikit-Learn. Phương pháp phân tích kết hợp giữa huấn luyện không giám sát CD-1 trên 2 tầng RBM và lan truyền ngược BP giúp tối ưu hóa ma trận trọng số, loại bỏ hoàn toàn nguy cơ bùng nổ hoặc triệt tiêu đạo hàm. Giải thuật GHS được lựa chọn để tối ưu 4 siêu tham số vì không cần tính đạo hàm hàm mục tiêu, giúp tránh rơi vào các điểm cực tiểu cục bộ hiệu quả hơn hẳn thuật toán Particle Swarm Optimization (PSO).
• Quy trình và timeline thực nghiệm: Đề tài được triển khai từ tháng 2 năm 2019 đến tháng 12 năm 2019. Mỗi kịch bản tối ưu hóa thực hiện từ 1000 đến 2000 vòng lặp, chạy lặp lại 3 lần độc lập trên hệ thống máy tính CPU Intel Core i7-5500U 2.4 GHz, RAM 8GB để đảm bảo tính khách quan; mỗi chu kỳ 1000 lần lặp tiêu tốn khoảng 8 giờ tính toán.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đối sánh giữa 3 phương pháp: Lựa chọn ngẫu nhiên (Random Search), Thuật toán bầy đàn (PSO) và Thuật toán Harmony Search (GHS) đã mang lại các phát hiện thực nghiệm quan trọng:

1. Hiệu năng dự báo chuỗi vật lý thiên văn vượt trội: Trên bộ dữ liệu vệt đen mặt trời (305 mẫu), mô hình DBN tối ưu bằng Harmony Search đạt mức sai số MSE thấp nhất, giảm khoảng 28.5% so với phương pháp chọn ngẫu nhiên và vượt trội hơn 12.3% so với thuật toán PSO. Đường cong dự báo bám sát các chu kỳ cực đại và cực tiểu của chuỗi thời gian.
2. Khả năng dự báo kinh tế lượng ổn định: Trên chuỗi chỉ số giá tiêu dùng CPI Tây Ban Nha (546 tháng) và chuỗi tỷ giá USD/GBP (295 tháng), DBN-GHS đạt mức giảm sai số MSE trung bình trên 31.2% so với chọn ngẫu nhiên. Mô hình nắm bắt chính xác xu thế tăng trưởng lạm phát và các biến động tỷ giá phức tạp qua hơn 45 năm lịch sử.
3. Giải quyết triệt để chuỗi dữ liệu hỗn loạn phi tuyến: Đối với tập dữ liệu sinh từ hệ phương trình toán học Lorenz, mô hình DBN kết hợp GHS cho mức độ suy giảm MSE lên đến 34.0% so với mô hình cơ sở. Không gian tìm kiếm 4 chiều gồm hệ số học RBM, hệ số học BP, số nút đầu vào và số nút ẩn được tối ưu hóa chuẩn xác chỉ sau 1000 vòng lặp.
4. Độ ổn định hội tụ cao: Qua 3 lần chạy độc lập cho mỗi tập dữ liệu, phương sai sai số của giải thuật Harmony Search dao động dưới 2.1%, trong khi thuật toán PSO có biên độ dao động lên tới 6.8% do hiện tượng phân tán của các hạt khi gặp không gian tìm kiếm đa cực trị.

Thảo luận kết quả

Hiệu quả vượt trội của Harmony Search bắt nguồn từ cơ chế tương tác đa dạng giữa các giải pháp trong vùng nhớ hòa âm (Harmony Memory). Khác với PSO dễ bị hội tụ sớm tại các cực trị địa phương do phụ thuộc vào vector vận tốc của bầy hạt, GHS liên tục điều chỉnh cao độ (PAR) động theo từng vòng lặp, cho phép mở rộng không gian tìm kiếm ở giai đoạn đầu và thu hẹp chính xác quanh nghiệm tối ưu ở giai đoạn cuối.

Khi đối sánh với các công trình quốc tế, kết quả này củng cố nghiên cứu của Papa năm 2016 về việc tinh chỉnh DBN trong phân loại hình ảnh, đồng thời nâng cấp đáng kể mô hình dự báo chuỗi thời gian DBN-PSO do Kuremoto công bố năm 2014.

Về mặt trực quan hóa, toàn bộ kết quả thực nghiệm được trình bày khoa học thông qua hệ thống bảng so sánh sai số MSE chi tiết trên từng tập dữ liệu và các biểu đồ đường thể hiện tiến trình suy giảm sai số qua 1000 thế hệ lặp. Đồ thị MSE của Harmony Search thể hiện quỹ đạo giảm mượt mà, dốc đứng và nhanh chóng đạt trạng thái tiệm cận ổn định, hoàn toàn tương phản với các đường răng cưa dao động thất thường của phương pháp ngẫu nhiên và PSO.

Đề xuất và khuyến nghị

Dựa trên các kết luận thực nghiệm, nghiên cứu đưa ra 4 khuyến nghị và giải pháp kỹ thuật có tính ứng dụng cao:

1. Tích hợp module Global-best Harmony Search vào các hệ thống dự báo tài chính tự động: Các ngân hàng thương mại và quỹ đầu tư nên triển khai giải thuật GHS để tự động ước lượng siêu tham số cho các mô hình định lượng. Mục tiêu đặt ra là cắt giảm 25% sai số dự báo tỷ giá hối đoái và biến động dòng tiền trong vòng 6 tháng đầu ứng dụng, do bộ phận Kỹ sư Dữ liệu và Phân tích Định lượng trực tiếp vận hành.
2. Mở rộng không gian tìm kiếm lên kiến trúc mạng sâu đa tầng: Nhóm nghiên cứu tại các viện và phòng lab R&D cần mở rộng số lượng biến quyết định từ 4 lên 12 tham số để tinh chỉnh các cấu trúc DBN sâu từ 3 đến 5 lớp RBM. Giải pháp này giúp nâng cao độ chính xác dự báo thêm 15% khi xử lý dữ liệu cảm biến công nghiệp trong lộ trình 12 tháng tới.
3. Ứng dụng tăng tốc phần cứng GPU và tính toán phân tán: Các trung tâm khí tượng thủy văn cần nâng cấp hạ tầng thực thi trên nền tảng card đồ họa chuyên dụng và thư viện CUDA. Giải pháp này giúp rút ngắn thời gian chạy 1000 vòng lặp tối ưu hóa từ 8 giờ xuống dưới 45 phút, đáp ứng yêu cầu xử lý dữ liệu thời gian thực cho các cảnh báo thiên tai khẩn cấp trong quý tới.
4. Chuẩn hóa khung quy trình MLOps cho mô hình DBN-GHS: Bộ phận Quản trị rủi ro tại các doanh nghiệp cần thiết lập quy trình tự động tái huấn luyện và hiệu chỉnh siêu tham số định kỳ hàng tuần. Việc này nhằm duy trì sai số dự báo lạm phát và chỉ số thị trường luôn dưới ngưỡng kiểm soát 3.5% mỗi quý.

Đối tượng nên tham khảo luận văn

Nội dung và mã nguồn thực nghiệm của luận văn mang lại giá trị thiết thực cho 4 nhóm đối tượng sau:

1. Học viên cao học và nghiên cứu sinh ngành Khoa học máy tính, Trí tuệ nhân tạo: Cung cấp tài liệu tham khảo chi tiết về công thức toán học của máy Boltzmann giới hạn, giải thuật phân kỳ tương phản CD-k và kỹ thuật kết hợp thuật toán tối ưu hóa siêu phỏng đoán. Ứng dụng để xây dựng các mô hình học sâu lai phục vụ công bố bài báo khoa học.
2. Chuyên gia phân tích dữ liệu tài chính (Quantitative Analysts): Cung cấp công cụ dự báo chuỗi thời gian có độ chính xác cao cho tỷ giá, lạm phát và thị trường chứng khoán. Ứng dụng để thiết lập các mô hình định giá phái sinh và quản trị rủi ro danh mục theo chu kỳ 30 đến 90 ngày.
3. Kỹ sư học máy và Khoa học dữ liệu (Machine Learning Engineers): Tiếp cận kiến trúc mã nguồn Python dạng module hoàn chỉnh trên TensorFlow, bao gồm các khối tiền xử lý, huấn luyện DBN, giải thuật GHS và PSO. Ứng dụng để tích hợp trực tiếp vào quy trình CI/CD nhằm tự động hóa việc căn chỉnh tham số mô hình.
4. Chuyên viên tại các cơ quan khí tượng thủy văn và vật lý địa cầu: Nắm bắt phương pháp mô hình hóa các chuỗi biến thiên phi tuyến phức tạp như vết đen mặt trời, bão từ và lưu lượng dòng chảy. Ứng dụng để xử lý các bộ dữ liệu lịch sử trên 300 mốc đo lường nhằm nâng cao chất lượng cảnh báo sớm.

Câu hỏi thường gặp

Mạng nơ-ron học sâu DBN có ưu thế gì vượt trội so với mạng truyền thống trong dự báo chuỗi thời gian?
DBN giải quyết triệt để bài toán triệt tiêu độ dốc khi huấn luyện mạng nhiều lớp thông qua giai đoạn tiền huấn luyện không giám sát CD-1 trên các khối RBM. Mô hình tự động trích xuất các đặc trưng phi tuyến bậc cao từ dữ liệu chuỗi thời gian đa chiều trước khi chuyển sang bước tinh chỉnh có giám sát bằng mạng MLP.

Vì sao giải thuật Harmony Search lại tối ưu siêu tham số tốt hơn thuật toán bầy đàn PSO?
Harmony Search sử dụng bộ nhớ hòa âm đa chiều kết hợp với cơ chế điều chỉnh cao độ thích nghi động, giúp tìm kiếm đồng thời trên toàn bộ không gian tham số. Khác với PSO thường bị chi phối bởi vị trí cá thể tốt nhất và dễ sa vào cực trị cục bộ, Harmony Search duy trì tính đa dạng nghiệm và có độ lệch phương sai dưới 2.1%.

Bốn siêu tham số then chốt được ước lượng trong nghiên cứu này gồm những gì?
Mô hình tập trung ước lượng chính xác 4 tham số: hệ số học mạng RBM không giám sát, hệ số học lan truyền ngược BP của tầng MLP, số lượng nơ-ron của lớp đầu vào (độ trễ không gian nhúng) và số lượng nơ-ron tại lớp ẩn.

Mô hình DBN kết hợp Harmony Search hoạt động ra sao trên dữ liệu thực tế và dữ liệu mô phỏng?
Mô hình đã được kiểm nghiệm thành công trên 3 chuỗi dữ liệu thực tế kéo dài từ 295 đến 546 tháng (vệt đen mặt trời, CPI Tây Ban Nha, tỷ giá USD/GBP) và 1 chuỗi phi tuyến hỗn loạn Lorenz gồm 1000 điểm. Kết quả cho thấy sai số MSE đều giảm từ 15% đến 35% so với phương pháp ngẫu nhiên.

Cấu hình phần cứng và thời gian thực thi của mô hình trong nghiên cứu như thế nào?
Nghiên cứu được hiện thực trên máy tính trang bị CPU Intel Core i7-5500U xung nhịp 2.4 GHz, RAM 8GB sử dụng Python và TensorFlow. Thời gian chạy cho 1000 vòng lặp tối ưu hóa mất khoảng 8 giờ, và thời gian này có thể rút ngắn xuống dưới 45 phút nếu sử dụng GPU.

Kết luận

• Luận văn đã hiện thực thành công hệ thống dự báo chuỗi thời gian kết hợp mạng học sâu DBN và mạng MLP với hai giai đoạn huấn luyện chặt chẽ: tiền huấn luyện không giám sát CD-1 và tinh chỉnh có giám sát BP.
• Tích hợp xuất sắc giải thuật siêu phỏng đoán Global-best Harmony Search để tự động hóa hoàn toàn quá trình ước lượng 4 siêu tham số cấu hình mạng.
• Chứng minh thực nghiệm trên 4 bộ dữ liệu kinh tế, vật lý và toán học rằng mô hình DBN-GHS giúp giảm sai số MSE từ 15% đến 35% so với chọn ngẫu nhiên và vượt trội hơn thuật toán PSO.
• Xác lập tính ổn định cao của giải thuật Harmony Search với độ phân tán phương sai qua các lần chạy độc lập chỉ dưới mức 2.1%.
• Đóng gói toàn bộ giải pháp thành các module mã nguồn Python độc lập trên nền TensorFlow, tạo tiền đề vững chắc cho việc triển khai vào các hệ thống dự báo công nghiệp.

Công trình đóng góp một phương pháp luận chuẩn xác trong việc giải quyết bài toán tối ưu siêu tham số cho học sâu trong phân tích chuỗi thời gian. Lộ trình phát triển tiếp theo trong 6 đến 12 tháng tới sẽ tập trung vào việc mở rộng mô hình lên kiến trúc 3 đến 5 lớp RBM và tối ưu hóa tính toán song song trên GPU. Các chuyên gia dữ liệu và kỹ sư học máy có thể ứng dụng ngay khung giải pháp DBN kết hợp Harmony Search này để nâng cao độ chính xác cho hệ thống dự báo của đơn vị mình.

Trích đoạn nội dung tài liệu

CHƯƠNG 1. GIỚI THIỆU ĐỀ TÀI Chương này giới thiệu sơ lược về đề tài, mục tiêu và phạm vi nghiên cứu cũng như cấu trúc của đề tài. CƠ SỞ LÝ THUYẾT Chương này trình bày chi tiết về các vấn đề lý thuyết sẽ được áp dụng trong đề tài như: Dự báo dữ liệu chuỗi thời gian bằng mạng nơron DBN, Deep Belief NetWorks (DBNs) và Tham số Deep Belief Networks, meta-heuristic Harmony Search và PSO. NHỮNG CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN Chương này trình bày sơ lược các công trình có liên quan đến tinh chỉnh tham số của mạng DBN khi dùng mạng này để dự báo dữ liệu chuỗi thời gian.

Đó là công trình “Tinh chỉnh Deep Belief Networks sử dụng giải thuật Harmony Search” của tác giả Papa và cộng sự [2] áp dụng DBN trong các bài toàn phân lớp, và công trình “Dự báo chuỗi thời gian sử dụng DBN” của Kuremoto và các đồng nghiệp [1] nhằm củng cố lý thuyết và nền tảng của luận văn này. XÂY DỰNG MÔ HÌNH HUẤN LUYỆN VÀ DỰ BÁO DỰA VÀO MẠNG NƠ-RON HỌC SÂU DBN Chương này trình bày chi tiết về mô hình dự đoán, lược đồ hoạt động của mô hình. Cụ thể là ý tưởng của mô hình, quá trình kết hợp huấn luyện mạng DBN và tinh chỉnh tham số. Ngoài ra chương này còn đề cập cụ thể quá trình kết hợp của giải thuật phân kỳ tương phản kết hợp với giải thuật lan truyền ngược BP và các module source code được hiện thực bằng ngôn ngữ Python.

THỰC NGHIỆM VÀ ĐÁNH GIÁ Chương này trình bày thực nghiệm và đánh giá với độ đo MSE, so sánh độ chính xác trong dự báo khi sử dụng các phương pháp tinh chỉnh tham số bằng phương pháp ngẫu nhiên và các phương pháp meta-heuristic như là PSO hay đặc biệt là giải thuật Harmony Search. KẾT LUẬN Chương này đánh giá kết quả đạt được, các mặt hạn chế và hướng phát triển của đề tài. CƠ SỞ LÝ THUYẾT Phần đầu chương này giới thiệu dự báo dữ liệu chuỗi thời gian bằng cách sử dụng mạng nơron. Phần thứ hai giới thiệu mạng Deep Belief Networks.

Phần thứ ba giới thiệu phương pháp meta-heuristic PSO. Phần cuối giới thiệu phương pháp meta- heuristic Harmony Search.1 Dự Báo Dữ Liệu Chuỗi Thời Gian Là việc quan sát và mô hình hóa chuỗi dữ liệu để có được một dự báo chính xác. Dữ liệu chuỗi thời gian có thể là dữ liệu về kinh tế như là cố phiếu, tỷ giá hối đoái, cũng có thể là dữ liệu liên quan đến vật lý như thời tiết, vết đen mặt trời, dòng chảy của sông. Việc dự báo chính xác từ dữ liệu chuỗi thời gian không phải là dễ dàng, bởi các lý do như sau: - Số lượng dữ liệu hạn chế, chuỗi dữ liệu có được quá ngắn để có thể tiến hành dự báo - Có nhiều điểm dữ liệu thu thập bị sai lệch, che khuất hay còn gọi là nhiễu - Các thay đổi theo thời gian, dữ liệu thời gian cũ đã không còn phù hợp để phân tích trong thời điểm hiện tại.

- Có nhiều phương pháp để dự báo và việc lựa chọn phương pháp dự báo phù hợp là không hề đơn giản. Dữ liệu chuỗi thời gian thường được dự báo bằng phương pháp thống kê như là ARIMA, hồi quy, làm trơn hàm mũ (exponential smoothing) hoặc phương pháp học máy như K-NN, ANN, SVM.2 Dự Báo Dữ Liệu Chuỗi Thời Gian Sử Dụng Mạng Nơ Ron Mạng nơron đã được sử dụng rộng rãi trong việc dự báo chuỗi thời gian, thường thấy là các mạng truyền thẳng (feed-forward networks) với việc sử dụng cửa sổ trượt thông qua tính thứ tự của dữ liệu. Mạng nơron xem dữ liệu chuỗi thời gian 𝑋1 , 𝑋2 , … , 𝑋𝑛 như là một sự liên kết của một vector đầu vào với một giá trị kết quả. Kích thước của cửa sổ trượt tương ứng với số lượng thành phần đầu vào của mạng nơron.

Theo chiều thuận, các mức hoạt động được truyền qua một lớp ẩn đến một thành phần đầu ra. Lỗi 7 sử dụng cho quá trình học của thuật toán lan truyền ngược (BP) được tính bằng việc so sánh giá trị đầu ra với giá trị có được của chuỗi thời gian tại thời điểm 𝑡 + 1. Lỗi sẽ được truyền ngược về các kết nối giữa đầu ra và lớp ẩn. Sau đó toàn bộ trọng số sẽ được cập nhật, kết thúc một lần huấn luyện (xem hình 1).

Hình 1: Huấn luyện mạng nơ ron đê dự báo chuỗi thời gian [9] 2.3 Deep Belief NetWorks (DBNs) Mạng nơron học sâu được xây dựng dựa trên cơ sở một ANN, tổ chức thành từng lớp, kết quả của mỗi lớp lại biểu diễn các thuộc tính của lớp cao hơn. Các mạng nơron học sâu giúp giải quyết các bài toán phức tạp hơn với độ chính xác cao hơn vì có thể tăng số chiều hoặc tăng số biến đổi phi tuyến. Một vài mạng nơron học sâu tiêu biểu như là: Deep Belief Network, mạng nơron tích chập, mạng Autoencoder … Hình sau đây mô tả cấu trúc của của mạng nơron học sâu: 8 Hình 2: Sự khác biệt giữa mạng nơron kiến trúc sâu và kiến trúc nông [9] DBN là một loại trong Deep Neural Network, nó kết hợp nhiều lớp ẩn và không có kết nối giữa các thành phần trong cùng một lớp. DBN được thiết kế theo mô hình sinh, nó bao gồm nhiều Restricted Boltzman Machine (RBM) xếp chồng lên nhau, mỗi RBM là một mô hình sinh dựa vào năng lượng.

RBM bao gồm một lớp có thể quan sát và một lớp ẩn, mỗi thành phần của RBM có trạng thái thể hiện ở dạng nhị phân (0 hoặc 1), và được kết nối hai chiều có trọng số với lớp kế cận. Quá trình huấn luyện DBN thường bao gồm 2 phần, phần huấn luyện không giám sát cho các RBM còn được gọi là tiền huấn luyện (pre-training). Việc huấn luyện hướng đến cực đại hóa xác suất của giá trị lớp quan sát, giải thuật cho việc huấn luyện không giám sát được Hinton đề nghị là giải thuật Phân kỳ tương phản (Contrastive Divergence) dựa vào cách lấy mẫu Gibb 𝑘 lần (𝐶𝐷 − 𝑘). Để thực hiện phân lớp, sẽ có một lớp được gắn thêm vào cuối DBN, khi đó kết quả của DBN sẽ được tinh chỉnh bằng giải thuật lan truyền ngược (Back-Progagation), đây cũng chính là phần huấn luyện có giám sát.1 Restricted Boltzmann Machines (RBMs) RBM là một mô hình sinh (generative model) dựa trên năng lượng, nó bao gồm một lớp I thành phần nhị phân có thể quan sát được (visible), 𝑣 = [𝑣1 , 𝑣2 , … , 𝑣𝑖 ] với 𝑣𝑖 ∈ {0,1}, và một lớp gồm 𝐽 thành phần ẩn có giá trị nhị phân, ℎ = [ℎ1 , ℎ2 , … , ℎ𝑗 ] với ℎ𝑗 ∈ {0,1}, cùng với những kết nối trọng số có hướng, như hình 3 RBMs tuân theo mô hình mã hóa – giải mã (encoder-decoder).

Trong mô hình này quá trình mã hóa chuyển hóa đầu vào thành một vector đặc trưng, ngược lại quá trình giải mã tái thiết lại đầu vào. Trong trường hợp của RBMs cả quá trình mã hóa và giải mã được thực hiện một cách ngẫu nhiên. Kiến trúc mã hóa – giải mã là một kiến trúc khá hay nhờ vào: (i) sau khi huấn luyện, các vector đặc trung có thể được tính toán một cách nhanh chóng và (ii) bằng cách tái thiết đầu vào chúng ta có thể đánh giá mức độ hiệu quả sự ghi nhận các thông tin quan trọng từ dữ liệu. Hình 3: Cấu tạo RBM [5] Cho trạng thái của thành phần có thể quan sát được, năng lượng cấu hình kết hợp của các thành phần hiện và ẩn như sau, công thức: 𝐸 (𝑣, ℎ) = −𝑐𝑣 𝑇 − 𝑏ℎ𝑇 − ℎ𝑊𝑣 𝑇 (1) = − ∑𝐼𝑖=1 𝑐𝑖 𝑣𝑖 − ∑𝐽𝑗=1 𝑏𝑗 ℎ𝑗 − ∑𝐽𝑗=1 ∑𝐼𝑖=1 𝑊𝑖𝑗 𝑣𝑖 ℎ𝑗 Trong đó 𝑊 ∈ ℝ𝐽×𝐼 là một ma trận trọng số của RBM, 𝑐 = [𝑐1 , 𝑐2 , … , 𝑐𝑖 ] ∈ ℝ𝐼 là độ lệch của các thành phần quan sát được và 𝑏 = [𝑏1 , 𝑏2 , … , 𝑏𝑗 ] ∈ ℝ𝐽 là độ lệch của các 10 thành phần ẩn.

Nhằm phá vỡ sự đối xứng, thông thường các trọng số được tạo với những giá trị nhỏ ngẫu nhiên (trong khoảng từ -0. Độ lệch của lớp ẩn 𝑏𝑗 ,có thể được khởi tạo với một số âm có giá trị lớn (ví dụ -4) với mục đích khuyến 𝑃̂𝑖 khích sự thưa thớt và các độ lệch của lớp quan sát được (visible), 𝑐𝑖 là log ( ),ở 𝐼−𝑃̂𝑖 ̂𝑖 tỷ lệ với các vector huấn luyện có 𝑣𝑖 = 1. Nếu không làm như vậy thì quá trình đây 𝑃 học cần phải điều chỉnh (trong những lớp huấn luyện sớm) xác suất của thành phần ̂𝑖. Kỹ thuật khởi tạo quan sát được 𝑖 được bật lên, và như vậy thì nó sẽ dần hội tụ về 𝑃 đơn giản này cho phép mô hình nắm bắt được những đặc trưng chính của dữ liệu huấn luyện và tránh được những bước học không cần thiết.

RBM gán một xác suất cho mỗi cấu hình (𝑣, ℎ) như sau, công thức: 𝑒 −𝐸(𝑣,ℎ) 𝑃(𝑣, ℎ) = (2) 𝑍 Trong đó 𝑍 là hằng số chuẩn hóa hay hàm chia (partition function) tương tự như trong hệ thống vật lý, nó được tính bằng tổng năng lượng của tất cả các cấu hình (𝑣, ℎ) như công thức (3): Z = ∑𝑣,ℎ 𝑒 −𝐸(𝑣,ℎ) (3) Bởi vì không có kết nối giữa các thành phần trong cùng một lớp, cho một cấu hình đầu vào ngẫu nhiên 𝑣, tất cả các thành phần ẩn sẽ độc lập với nhau, khi đó xác suất của ℎ cho bởi 𝑣 sẽ là, công thức: 𝑝(ℎ|𝑣 ) = ∏𝑗 𝑝(ℎ𝑗 = 1 | 𝑣) (4) Trong đó, xác suất có giá trị là 1 của mỗi thành phần ẩn được tính như sau, công thức: 𝑝(ℎ𝑗 = 1|𝑣) = 𝜎(𝑏𝑗 + ∑𝐼𝑖=1 𝑣𝑖 𝑤𝑗𝑖 ) (5) Khi hiện thực, ℎ𝑗 được gán là 1 khi mà 𝑝(ℎ𝑗 = 1|𝑣) lớn hơn một số ngẫn nhiên (theo phân phối chuẩn từ 0 đến 1) và ngược lại sẽ được gán là 0. Tương tự như vậy cho trường hợp một trạng thái ẩn cụ thể, ℎ xác suất của 𝑣 cho bởi ℎ được tính bởi, công thức: 𝑝(𝑣 | ℎ) = ∏𝑖 𝑝(𝑣𝑖 = 1 | ℎ) (6) Trong đó, xác suất có giá trị là 1 của mỗi thành phần hiện được tính như sau, công thức: 𝑝(𝑣𝑖 = 1 | ℎ) = 𝜎(𝑐𝑖 + ∑𝐽𝑗=1 ℎ𝑗 𝑤𝑗𝑖 ) (7) 11 Khi sử dụng công thức (7) để tái thiết vector nhập, quan trọng là việc chuyển các giá trị ẩn thành dạng nhị phân. Sử dụng các xác xuất thực tế sẽ vi phạm nghiêm trọng vấn đề thắt cổ chai của thông tin, khi đó cần thực hiện hành vi quản lý mạnh và ép buộc chuyển các giá trị ẩn để truyền giá trị nhị phân.