Nghiên cứu mạng học sâu và ứng dụng trong xác định hệ số của phương trình

Mạng học sâu đã trở thành một công cụ mạnh mẽ trong việc giải quyết các bài toán phức tạp, đặc biệt là… 62 trang · Trường Đại học Bách Khoa Hà Nội · 2022.

• Tác giả: Phạm Nhật Duy
• Người hướng dẫn: TS. Tạ Thị Thanh Mai
• Trường học: Trường Đại học Bách Khoa Hà Nội
• Chuyên ngành: Ngành Toán Tin
• Đề tài: Nghiên Cứu Mạng Học Sâu Trong Xác Định Hệ Số Phương Trình
• Loại tài liệu: Luận Văn Thạc Sỹ
• Năm xuất bản: 2022
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• TÓM TẮT NỘI DUNG LUẬN VĂN
• 1. CHƯƠNG 1: CƠ SỞ LÝ THUYẾT
• 1.1. Các thuật toán tối ưu và mạng nơ-ron nhân tạo
• 1.1.1. Mạng nơ-ron nhân tạo
• 1.1.2. Thuật toán tối ưu dựa trên đạo hàm cấp 1
• 1.1.3. Các thuật toán dựa trên đạo hàm cấp 2
• 1.2. Phương pháp giải xấp xỉ phương trình đạo hàm riêng bằng mạng học sâu
• 1.2.1. Tiền xử lý dữ liệu
• 1.2.2. Phương pháp giải
• 2. CHƯƠNG 2: PHƯƠNG PHÁP XÁC ĐỊNH HỆ SỐ CỦA PHƯƠNG TRÌNH ĐẠO HÀM RIÊNG BẰNG MẠNG HỌC SÂU
• 2.1. Phương pháp tham số hóa
• 2.1.1. λ là hệ số trong phương trình
• 2.1.2. λ là giá trị chưa biết tại điều kiện đầu
• 2.2. Xấp xỉ hệ số bằng mạng học sâu
• 2.2.1. Sử dụng mạng học sâu xấp xỉ hệ số và nghiệm
• 2.2.2. Kết hợp với phương pháp khác
• 3. CHƯƠNG 3: CÁC VÍ DỤ VÀ KẾT QUẢ SỐ
• 3.1. Phương trình Poisson
• 3.2. Phương trình Navier-Stokes
• 3.3. Phương trình Black-Scholes nhiều chiều với mô hình định giá
• 3.3.1. Phương trình Stefan
• 3.3.2. Phương trình khuếch tán
• KẾT LUẬN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về mạng học sâu và ứng dụng trong xác định hệ số

Mạng học sâu đã trở thành một công cụ mạnh mẽ trong việc giải quyết các bài toán phức tạp, đặc biệt là trong lĩnh vực xác định hệ số của phương trình. Nghiên cứu này sẽ trình bày tổng quan về mạng học sâu, các thuật toán tối ưu và cách mà chúng có thể được áp dụng để xác định hệ số trong các phương trình toán học. Mạng học sâu không chỉ giúp cải thiện độ chính xác mà còn giảm thiểu thời gian tính toán trong các bài toán phức tạp.

1.1. Khái niệm về mạng học sâu và các thành phần chính

Mạng học sâu (Deep Learning) là một nhánh của học máy, sử dụng các mạng nơ-ron để mô phỏng cách thức hoạt động của não người. Các thành phần chính bao gồm các nơ-ron, lớp đầu vào, lớp ẩn và lớp đầu ra. Mỗi nơ-ron trong mạng có thể được điều chỉnh để tối ưu hóa quá trình học tập.

1.2. Lợi ích của việc sử dụng mạng học sâu trong xác định hệ số

Việc áp dụng mạng học sâu trong xác định hệ số của phương trình mang lại nhiều lợi ích. Nó cho phép xử lý dữ liệu lớn, cải thiện độ chính xác và khả năng tổng quát của mô hình. Hơn nữa, mạng học sâu có thể học từ các mẫu dữ liệu hạn chế, điều này rất quan trọng trong các bài toán thực tiễn.

II. Thách thức trong việc xác định hệ số của phương trình

Xác định hệ số của phương trình là một bài toán khó khăn, đặc biệt khi dữ liệu quan sát bị thiếu hoặc không chính xác. Các thách thức này bao gồm việc thiếu dữ liệu, độ phức tạp của mô hình và sự không chắc chắn trong các tham số. Những vấn đề này cần được giải quyết để cải thiện độ chính xác của các mô hình mạng học sâu.

2.1. Vấn đề thiếu dữ liệu trong xác định hệ số

Thiếu dữ liệu là một trong những thách thức lớn nhất trong việc xác định hệ số. Khi số lượng dữ liệu quan sát hạn chế, mạng học sâu có thể gặp khó khăn trong việc học và tổng quát. Điều này dẫn đến việc cần phải phát triển các phương pháp mới để tối ưu hóa việc sử dụng dữ liệu có sẵn.

2.2. Độ phức tạp của mô hình và ảnh hưởng đến kết quả

Độ phức tạp của mô hình có thể ảnh hưởng lớn đến khả năng xác định hệ số. Mô hình quá phức tạp có thể dẫn đến hiện tượng overfitting, trong khi mô hình quá đơn giản có thể không đủ khả năng để nắm bắt các mối quan hệ trong dữ liệu. Cần có sự cân bằng giữa độ phức tạp và khả năng tổng quát của mô hình.

III. Phương pháp giải quyết vấn đề xác định hệ số bằng mạng học sâu

Để giải quyết vấn đề xác định hệ số, nhiều phương pháp đã được đề xuất, trong đó có việc sử dụng mạng học sâu. Các phương pháp này bao gồm việc tối ưu hóa các tham số của mô hình và áp dụng các thuật toán học sâu để cải thiện độ chính xác của kết quả.

3.1. Phương pháp tham số hóa trong mạng học sâu

Phương pháp tham số hóa cho phép xác định các tham số của phương trình thông qua việc tối ưu hóa các trọng số trong mạng học sâu. Điều này giúp cải thiện khả năng dự đoán và giảm thiểu sai số trong các kết quả tính toán.

3.2. Kết hợp mạng học sâu với các phương pháp khác

Kết hợp mạng học sâu với các phương pháp truyền thống như hồi quy tuyến tính hoặc các phương pháp tối ưu hóa khác có thể giúp cải thiện độ chính xác và khả năng tổng quát của mô hình. Việc này cho phép khai thác tối đa thông tin từ dữ liệu có sẵn.

IV. Ứng dụng thực tiễn của mạng học sâu trong xác định hệ số

Mạng học sâu đã được áp dụng thành công trong nhiều lĩnh vực khác nhau để xác định hệ số của các phương trình. Các ứng dụng này không chỉ giúp cải thiện độ chính xác mà còn tiết kiệm thời gian và chi phí trong quá trình tính toán.

4.1. Ứng dụng trong lĩnh vực vật lý và kỹ thuật

Trong lĩnh vực vật lý và kỹ thuật, mạng học sâu được sử dụng để xác định các tham số trong các mô hình vật lý phức tạp. Điều này giúp cải thiện độ chính xác của các dự đoán và tối ưu hóa các quy trình kỹ thuật.

4.2. Ứng dụng trong lĩnh vực tài chính

Mạng học sâu cũng đã được áp dụng trong lĩnh vực tài chính để xác định các tham số trong các mô hình định giá tài sản. Việc này giúp cải thiện khả năng dự đoán và quản lý rủi ro trong các quyết định đầu tư.

V. Kết luận và tương lai của nghiên cứu mạng học sâu

Nghiên cứu về mạng học sâu trong xác định hệ số của phương trình đang ngày càng phát triển. Tương lai của nghiên cứu này hứa hẹn sẽ mang lại nhiều đột phá trong việc giải quyết các bài toán phức tạp và mở ra nhiều cơ hội mới trong các lĩnh vực ứng dụng khác nhau.

5.1. Xu hướng phát triển của mạng học sâu

Xu hướng phát triển của mạng học sâu đang hướng tới việc cải thiện khả năng tổng quát và giảm thiểu chi phí thu thập dữ liệu. Các nghiên cứu mới sẽ tập trung vào việc phát triển các mô hình mạng học sâu hiệu quả hơn.

5.2. Tương lai của ứng dụng mạng học sâu trong xác định hệ số

Tương lai của ứng dụng mạng học sâu trong xác định hệ số hứa hẹn sẽ mang lại nhiều giải pháp mới cho các bài toán phức tạp. Việc này sẽ mở ra nhiều cơ hội cho các nhà nghiên cứu và ứng dụng trong các lĩnh vực khác nhau.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh trí tuệ nhân tạo và học máy phát triển vượt bậc, việc giải quyết các bài toán mô hình hóa hiện tượng tự nhiên đặt ra thách thức lớn về chi phí thu thập dữ liệu và năng lực tính toán. Bài toán xác định hệ số của phương trình đạo hàm riêng (PDEs), hay còn gọi là bài toán ngược, giữ vai trò then chốt trong nhiều lĩnh vực kỹ thuật, vật lý và định giá tài chính. Tuy nhiên, các phương pháp số truyền thống thường gặp khó khăn nghiêm trọng khi dữ liệu quan sát bị phân tán, có nhiễu hoặc khi không gian trạng thái mở rộng lên đến 100 chiều.

Luận văn thạc sĩ khoa học chuyên ngành Toán Tin thực hiện tại Viện Toán ứng dụng và Tin học thuộc Trường Đại học Bách khoa Hà Nội vào năm 2022 tập trung giải quyết bài toán ngược này thông qua việc nghiên cứu mạng học sâu và mạng nơ-ron thông tin vật lý (Physics-Informed Neural Networks - PINNs). Mục tiêu cốt lõi của nghiên cứu là xây dựng các thuật toán tối ưu cho phép ước lượng chính xác các tham số chưa biết của phương trình PDEs từ một lượng rất hạn chế các điểm quan sát thực nghiệm.

Phạm vi nghiên cứu bao quát từ các phương trình elliptic, parabolic kinh điển đến phương trình Navier-Stokes phi tuyến trong cơ học chất lưu và phương trình Black-Scholes 100 chiều có tính đến rủi ro vỡ nợ trong tài chính định lượng. Kết quả nghiên cứu mang lại ý nghĩa học thuật và ứng dụng to lớn khi giúp giảm thời gian tính toán định giá phái sinh đa chiều từ 140 phút xuống chỉ còn 36 phút (tiết kiệm khoảng 74,3% thời gian xử lý), đồng thời kiểm soát sai số tương đối ở mức dưới 0,2%, mở ra hướng tiếp cận đột phá cho lĩnh vực tính toán khoa học hiện đại.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên nền tảng lý thuyết mạng nơ-ron nhân tạo và định lý xấp xỉ phổ quát do Kurt Hornik thiết lập năm 1991, sau đó được mở rộng cho mạng nơ-ron sâu bởi Zhou Lu vào năm 2017. Trọng tâm của khung lý thuyết là mô hình mạng nơ-ron thông tin vật lý do Maziar Raissi và cộng sự đề xuất năm 2017. Khác với học sâu truyền thống thuần túy hướng dữ liệu, mạng PINNs nhúng trực tiếp các định luật bảo toàn và toán tử đạo hàm vào cấu trúc huấn luyện.

Mô hình nghiên cứu triển khai 4 khái niệm cốt lõi:

1. Hàm tổn thất tích hợp phần dư vật lý (Physics Residual Loss): Đóng vai trò ràng buộc đầu ra mạng phải thỏa mãn phương trình đạo hàm riêng tại các điểm collocation trong miền không-thời gian.
2. Phương pháp vi phân tự động (Automatic Differentiation): Tính toán chính xác các đạo hàm riêng bậc 1 và bậc 2 của nghiệm xấp xỉ mà không gặp sai số làm tròn như phương pháp sai phân cổ điển.
3. Phương trình vi phân ngẫu nhiên ngược (BSDEs) và biểu diễn Feynman-Kac phi tuyến: Thiết lập cầu nối chuyển đổi bài toán biên parabolic phi tuyến nhiều chiều sang hệ phương trình ngẫu nhiên có thể huấn luyện bằng mạng học sâu.
4. Mạng nơ-ron dư (ResNet) và kỹ thuật điều chuẩn L2: Tăng cường độ ổn định cho quá trình huấn luyện sâu và ngăn chặn hiện tượng quá khớp (overfitting).

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu mô phỏng chuẩn hóa từ các công thức nghiệm giải tích và sơ đồ rời rạc hóa ngẫu nhiên Euler-Maruyama. Cụ thể, cỡ mẫu nghiên cứu bao gồm 1000 điểm dữ liệu lưới chia đều trên miền không gian hai chiều đối với phương trình Poisson và Navier-Stokes; đồng thời sinh ngẫu nhiên 64 minibatch mẫu tại mỗi bước lặp với 50 bước thời gian đối với mô hình Black-Scholes.

Phương pháp chọn mẫu áp dụng kỹ thuật lấy mẫu phân bố đều trên miền xác định và trên biên đối với các bài toán truyền nhiệt dừng, kết hợp với phương pháp lấy mẫu ngẫu nhiên chuyển động Brown đối với các bài toán tài chính đa chiều.

Lý do lựa chọn phương pháp phân tích tối ưu hóa kết hợp giữa Adam và L-BFGS là nhằm khai thác triệt để thế mạnh của từng thuật toán: thuật toán Adam (bậc 1) giúp thoát khỏi các điểm cực trị cục bộ nhanh chóng trong giai đoạn đầu, trong khi thuật toán L-BFGS (bậc 2 dựa trên ma trận Quasi-Newton) giúp quá trình tối ưu hội tụ cực nhanh về nghiệm chính xác ở giai đoạn tinh chỉnh. Toàn bộ quy trình thực nghiệm được triển khai lập trình trên nền tảng Python 3 và môi trường tính toán Google Colab trong suốt timeline thực hiện luận văn từ năm 2021 đến tháng 7 năm 2022.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm số trên 5 lớp bài toán từ đơn giản đến phức tạp đã chứng minh năng lực vượt trội của mô hình:

1. Ước lượng chính xác tham số phương trình Poisson và Navier-Stokes: Mạng học sâu xác định tham số khuếch tán của phương trình Poisson đạt giá trị xấp xỉ 1,05 (so với giá trị thực nghiệm 1,0) với hàm tổn thất giảm còn 0,0032. Đối với phương trình Navier-Stokes 2D phụ thuộc thời gian, hệ số nhớt được ước lượng chính xác tuyệt đối ở mức 0,01 với hàm tổn thất giảm sâu xuống mức 0,00006 và sai số chuẩn L2 của vận tốc đạt mức xấp xỉ 0,0000001.
2. Tối ưu hóa xấp xỉ phương trình Black-Scholes 1 chiều: Mô hình đạt sai số tương đối chỉ 0,2% sau 3000 bước lặp trong thời gian 13 phút. Đặc biệt, việc ứng dụng kiến trúc mạng ResNet giúp khắc phục triệt để hiện tượng kẹt nghiệm tại giá trị 1,686 của mạng truyền thẳng cổ điển, đưa nghiệm hội tụ chuẩn xác về giá trị 1,450.
3. Đột phá trong giải phương trình Black-Scholes phi tuyến 100 chiều: Khi định giá xác nhận quyền sở hữu kiểu châu Âu trên 100 tài sản cơ sở có rủi ro vỡ nợ, mô hình đạt sai số tương đối 0,05% sau 6000 bước lặp với thời gian chạy chỉ 36 phút, tìm ra giá trị định giá chuẩn xác 57,300.
4. Xử lý thành công bài toán biên di động Stefan: Luận văn đã xác định đồng thời cả trường nhiệt độ và hàm vị trí biên chuyển động với sai số kiểm thử L2err xấp xỉ 0,0001 thông qua kiến trúc mạng nơ-ron kép song song.

Thảo luận kết quả

Nguyên nhân cốt lõi giúp phương pháp đạt độ chính xác cao là nhờ việc nhúng trực tiếp toán tử vi phân vào hàm tổn thất, tạo ra cơ chế tự hiệu chỉnh vật lý mạnh mẽ. Mô hình không yêu cầu hàng triệu mẫu dữ liệu như học sâu truyền thống mà vẫn có thể khái quát hóa hoàn hảo từ vài chục đến vài trăm điểm quan sát.

Khi so sánh với các phương pháp giải số truyền thống, phương pháp mạng học sâu chứng minh tính ưu việt rõ rệt. Đối với bài toán định giá tài sản 100 chiều, phương pháp lặp Picard truyền thống phải mất đến 140 phút mới tìm ra kết quả, trong khi mạng học sâu chỉ cần 36 phút, giúp tiết kiệm tới 74,3% thời gian tính toán. Hơn nữa, nếu bỏ qua yếu tố rủi ro vỡ nợ, mô hình tuyến tính đơn giản sẽ định giá sai lệch nghiêm trọng lên mức 60,616, chứng tỏ tầm quan trọng của việc giải phương trình phi tuyến nhiều chiều.

Các kết quả nghiên cứu này có thể được trình bày một cách trực quan thông qua các biểu đồ đường thể hiện tốc độ suy giảm hàm tổn thất theo số vòng lặp từ bước 0 đến bước 6000, biểu đồ cột so sánh thời gian thực thi giữa phương pháp học sâu và phương pháp Picard, cùng bảng đối chiếu sai số tương đối giữa kiến trúc Feed-Forward thuần túy và kiến trúc ResNet.

Đề xuất và khuyến nghị

Dựa trên các kết quả đạt được, luận văn đưa ra 4 khuyến nghị hành động thiết thực:

1. Tích hợp giải thuật PINNs vào hệ thống định giá tài chính tự động: Khối Quản trị rủi ro tại các ngân hàng thương mại và quỹ đầu tư cần áp dụng mô hình mạng học sâu để định giá các sản phẩm phái sinh phức tạp trên danh mục 100 tài sản, hướng tới mục tiêu cắt giảm 60% thời gian xử lý định giá rủi ro trong lộ trình triển khai 6 tháng.
2. Xây dựng thư viện mã nguồn mở chuyên sâu về bài toán ngược PDEs: Các phòng thí nghiệm và nhóm nghiên cứu R&D công nghệ nên đóng gói thuật toán thành các module chuẩn hóa trên Python, hướng tới mục tiêu tối ưu độ trễ giải bài toán truyền nhiệt dừng xuống dưới 5 phút trong thời gian 3 tháng tới.
3. Ứng dụng mô hình ResNet kết hợp sai phân hữu hạn trong mô phỏng vật liệu: Các viện nghiên cứu vật liệu và doanh nghiệp luyện kim cần áp dụng cấu trúc mạng nơ-ron kép để dự báo ranh giới chuyển pha trong bài toán Stefan, đảm bảo duy trì sai số biên di động dưới mức 0,1% trong khung thời gian thử nghiệm 9 tháng.
4. Đổi mới chương trình đào tạo sau đại học ngành Toán - Tin ứng dụng: Các trường đại học kỹ thuật cần đưa chuyên đề Physics-Informed Machine Learning và kỹ thuật vi phân tự động vào giảng dạy, đặt mục tiêu 100% học viên cao học làm chủ công cụ giải bài toán ngược trong vòng 12 tháng.

Đối tượng nên tham khảo luận văn

Luận văn là nguồn tư liệu học thuật và thực tiễn giá trị cho 4 nhóm đối tượng chính:

1. Chuyên gia phân tích định lượng (Quantitative Analysts) tại các định chế tài chính: Ứng dụng mô hình Black-Scholes 100 chiều để định giá chính xác các hợp đồng phái sinh đa tài sản có điều kiện rủi ro tín dụng và nguy cơ phá sản thực tế.
2. Kỹ sư mô phỏng động lực học chất lưu và truyền nhiệt (CFD/Thermal Engineers): Tham khảo thuật toán ước lượng hệ số nhớt và hệ số dẫn nhiệt từ dữ liệu cảm biến rời rạc trong các hệ thống cơ khí và khí động học.
3. Học viên cao học, nghiên cứu sinh ngành Toán ứng dụng, Khoa học dữ liệu và AI: Tiếp cận tài liệu chuẩn mực về lý thuyết BSDEs, liên hệ Feynman-Kac, cùng kỹ thuật kết hợp tối ưu hóa bậc 1 (Adam) và bậc 2 (L-BFGS).
4. Kỹ sư phát triển phần mềm tính toán khoa học (Scientific Machine Learning Engineers): Khai thác cấu trúc mạng ResNet và phương pháp tích hợp vi phân tự động để phát triển các phần mềm mô phỏng kỹ thuật số thế hệ mới.

Câu hỏi thường gặp

Mạng nơ-ron thông tin vật lý (PINNs) khác biệt gì so với mạng nơ-ron truyền thống?
Mạng nơ-ron truyền thống phụ thuộc hoàn toàn vào tập dữ liệu gắn nhãn lớn và dễ bị quá khớp khi thiếu dữ liệu. Ngược lại, PINNs tích hợp trực tiếp phương trình vi phân vào hàm tổn thất, đóng vai trò như một bộ điều chuẩn vật lý, giúp mô hình huấn luyện chính xác ngay cả khi chỉ có một lượng nhỏ điểm quan sát.

Mô hình trong luận văn giải quyết bài toán bùng nổ số chiều như thế nào?
Bằng cách chuyển đổi phương trình parabolic sang hệ phương trình vi phân ngẫu nhiên ngược (BSDEs) và xấp xỉ gradient thông qua mạng học sâu, mô hình đã giải quyết thành công bài toán Black-Scholes 100 chiều chỉ trong 36 phút, khắc phục hoàn toàn sự bùng nổ cấp số nhân của các phương pháp lưới cổ điển.

Tại sao cần kết hợp cả hai thuật toán tối ưu hóa Adam và L-BFGS?
Thuật toán bậc 1 Adam giúp mô hình thích ứng nhanh và vượt qua các điểm yên ngựa trong giai đoạn đầu. Sau đó, thuật toán bậc 2 L-BFGS sử dụng thông tin xấp xỉ ma trận Hessian để tăng tốc độ hội tụ, giúp sai số hàm tổn thất giảm sâu xuống mức 0,00006 mà không bị mắc kẹt tại cực trị địa phương.

Độ chính xác khi xác định hệ số phương trình Navier-Stokes đạt mức nào?
Trong thực nghiệm với 1000 điểm dữ liệu trên miền 2D, mô hình đã tìm ra chính xác hệ số nhớt thực nghiệm là 0,01 trùng khớp với giá trị lý thuyết, đưa hàm tổn thất toàn phần về mức 0,00006 và sai số chuẩn L2 của trường vận tốc gần như bằng 0.

Kiến trúc ResNet mang lại ưu thế gì so với mạng truyền thẳng thông thường?
Các đường nối tắt (skip connections) trong ResNet giúp dòng gradient lan truyền liên tục qua nhiều tầng ẩn, triệt tiêu hiện tượng triệt tiêu gradient (vanishing gradient). Thực nghiệm cho thấy ResNet giúp nghiệm hội tụ chuẩn xác về 1,450 thay vì bị dừng ở mức 1,686 như mạng truyền thẳng thông thường.

Kết luận

• Luận văn đã xây dựng thành công khung phương pháp luận hoàn chỉnh sử dụng mạng học sâu và mạng PINNs để giải quyết bài toán xác định hệ số phương trình đạo hàm riêng.
• Kiểm chứng thực nghiệm thành công trên 5 bài toán tiêu biểu: Poisson, Navier-Stokes, Black-Scholes 1 chiều và 100 chiều, cùng bài toán biên chuyển động Stefan.
• Đạt bước tiến vượt bậc trong tính toán khoa học khi rút ngắn thời gian định giá rủi ro tài chính 100 chiều từ 140 phút xuống còn 36 phút với sai số tương đối chỉ 0,05%.
• Đề xuất giải pháp kết hợp hiệu quả giữa mạng ResNet và hai thuật toán tối ưu Adam - L-BFGS giúp loại bỏ hiện tượng kẹt nghiệm cục bộ.
• Cung cấp toàn bộ mã nguồn mở thực nghiệm, tạo tiền đề vững chắc cho việc ứng dụng AI vào mô phỏng vật lý và toán tài chính.

Trong giai đoạn 3 đến 6 tháng tiếp theo, hướng phát triển tự nhiên của đề tài là mở rộng giải thuật lên không gian trên 500 chiều và ứng dụng trên dữ liệu cảm biến công nghiệp thời gian thực. Hãy kết nối và tham khảo công trình nghiên cứu cùng mã nguồn thực nghiệm để ứng dụng ngay các giải pháp tính toán khoa học tiên tiến vào bài toán chuyên môn của bạn.

Trích đoạn nội dung tài liệu

Chương 1 Cơ sở lý thuyết 1.1 Các thuật toán tối ưu và mạng nơ-ron nhân tạo 1.1 Mạng nơ-ron nhân tạo Mạng nơ-ron nhân tạo (Artifical Neural Networks) là một điểm nóng nghiên cứu trong lĩnh vực trí tuệ nhân tạo từ những năm 1980 [37]. Nó trừu tượng hóa tế bào thần kinh não người từ góc độ xử lý thông tin và mô hình hóa các mạng khác nhau theo các kết nối khác nhau. Cụ thể, mạng nơ-ron nhân tạo được sử dụng để mô phỏng quá trình truyền thông tin từ các tế bào nơ-ron trong não. Nó bao gồm nhiều nơ-ron nhân tạo được kết nối và có thể được sử dụng để khai thác và điều chỉnh các mối quan hệ phức tạp ẩn trong dữ liệu.

Bên cạnh đó, các kết nối giữa các nơ-ron khác nhau có trọng lượng khác nhau, mỗi kết nối đại diện cho mức độ ảnh hưởng của một nơ-ron này lên nơ-ron khác. Mạng nơ-ron nhân tạo Mạng nơ-ron nhân tạo (Artifical Neural Networks - ANN) là một mô hình tính toán lấy cảm hứng từ mạng nơ-ron sinh học, bao gồm các đơn vị xử lý (được gọi là tế bào thần kinh - nơ-ron) và các kết nối giữa chúng với các hệ số (trọng số) liên kết với các kết nối. Các kết nối này tạo nên cấu trúc tế bào nơ-ron và đi liền với nó là các thuật toán huấn luyện [37]. Deboeck và Kohonen [7] đã mô tả mạng nơ-ron như một tập hợp các kỹ thuật toán học có thể được sử dụng để xử lý tín hiệu, dự báo và phân cụm và gọi nó là kỹ thuật hồi quy song song, nhiều lớp và phi tuyến tính.

Người ta nói thêm rằng mô hình mạng nơ-ron giống như việc đưa một đường thẳng, mặt phẳng hoặc 13 siêu phẳng đi qua một tập hợp các điểm dữ liệu. Đường thẳng, mặt phẳng hoặc siêu phẳng này có thể được điều chỉnh thông qua bất kỳ tập dữ liệu nào để xác định các mối quan hệ có thể tồn tại giữa đầu vào và đầu ra hoặc nó có thể được trang bị để xác định một biểu diễn của dữ liệu ở quy mô nhỏ hơn. Mạng truyền thẳng (Feed-forward neural network) Dòng dữ liệu từ đơn vị đầu vào đến đơn vị đầu ra chỉ được truyền thẳng. Việc xử lý dữ liệu có thể mở rộng ra nhiều lớp, nhưng không có các liên kết phản hồi.

Nghĩa là, các liên kết mở rộng từ các đơn vị đầu ra tới các đơn vị đầu vào trong cùng một lớp hay các lớp trước đó là không cho phép.1: Mạng nơ-ron truyền thẳng nhiều lớp (Feed-forward neural network) Mạng nơ-ron truyền thẳng là một mạng nơ-ron nhân tạo đơn giản trong lĩnh vực trí tuệ nhân tạo. Như có thể thấy trong hình 1.1, một mạng nơ-ron truyền thẳng bao gồm một lớp đầu vào, một hoặc nhiều lớp ẩn và một lớp đầu ra. Bên trong nó, các tham số được truyền từ lớp đầu vào qua lớp ẩn đến lớp đầu ra. Khi thiết kế mạng nơ-ron, số lượng lớp ẩn, số lượng nơ-ron trên mỗi lớp và việc lựa chọn các hàm kích hoạt đều là những yếu tố quan trọng cần xem xét.

Khi số lượng lớp ẩn tăng lên, một mạng nơ-ron nhân tạo có thể được xem như một hệ thống động phi tuyến thích ứng bao gồm một số lượng lớn các nơ-ron thông qua các kết nối khác nhau, có thể được sử dụng để tính gần đúng một loạt các hàm phức tạp. Mặc dù cấu trúc của mạng nơ-ron nhân tạo tương đối đơn giản, nhưng không dễ để làm cho mạng nơ-ron nhân tạo có khả năng học hỏi. Mãi đến khoảng năm 1980, thuật toán backpropagation đã giải quyết hiệu quả 14 vấn đề học tập của mạng nơ-ron nhiều lớp và trở thành thuật toán học mạng nơ- ron phổ biến nhất [23].