Nghiên Cứu Về Hàm Nội Suy Và Mạng Nơron RBF

Chuyên khảo toán học phân tích Luận văn bài toán nội suy và mạng nơron rbf, đánh giá các khía cạnh quan trọng, đề xuất hướng nghiên cứu tiếp theo.

• Tác giả: Đặng Thị Thu Hiền
• Trường học: Đại học quốc gia Hà Nội
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nghiên Cứu Về Hàm Nội Suy Và Mạng Nơron RBF
• Loại tài liệu: Luận án tiến sĩ
• Năm xuất bản: 2009
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Khái niệm cơ bản
• 1.2. Phương pháp nghiên cứu
• 2. CHƯƠNG 2: MẠNG NƠRON RBF VÀ CÁC PHƯƠNG PHÁP HUẤN LUYỆN
• 2.1. Mạng nơron RBF
• 2.2. Phương pháp huấn luyện mạng
• 3. CHƯƠNG 3: THUẬT TOÁN HUẤN LUYỆN MẠNG NỘI SUY RBF
• 3.1. Thuật toán huấn luyện hai pha mới
• 3.2. Phân tích và đánh giá thuật toán
• 4. CHƯƠNG 4: ỨNG DỤNG THUẬT TOÁN HUẤN LUYỆN MẠNG NỘI SUY RBF
• 4.1. Ứng dụng trong bài toán nội suy đều
• 4.2. Ứng dụng trong bài toán nội suy nhiều biến
• 5. CHƯƠNG 5: MẠNG ĐỊA PHƯƠNG RBF VÀ ỨNG DỤNG
• 5.1. Mạng địa phương RBF
• 5.2. Ứng dụng mạng địa phương RBF
• PHỤ LỤC
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Hàm Nội Suy và Mạng Nơ ron RBF

Bài toán nội suy hàm số là một vấn đề cổ điển nhưng quan trọng trong giải thích số và nhận dạng mẫu. Nó có nhiều ứng dụng rộng rãi. Bài toán nội suy được mô tả như sau: một hàm chưa xác định cụ thể f:D(⊂Гn)→Гm nhưng đã xác định được một tập mẫu х k̟ , ɣ k̟ k =1 trong đó хk̟Гп, ɣk̟Гm (k̟ =1,. Trường hợp một chiều, bài toán đã được Lagrange nghiên cứu giải quyết khá đầy đủ nhờ dùng hàm nội suy đa thức. Cùng với sự phát triển các ứng dụng nhờ sử dụng máy tính trong nửa sau thế kỷ 20, sự phát triển của lý thuyết nội suy Spline và sóng nhỏ (wavelet)… đã tạo nên cơ sở lý thuyết và thực tiễn khá hoàn thiện cho nội suy hàm một biến.

1.1. Giới Thiệu Bài Toán Nội Suy Hàm Số

Trong nhiều bài toán, ta cần tính giá trị của một hàm số tại những điểm của đối số trong miền D nào đó của không gian n-chiều, nhưng không có biểu diễn tường minh hàm số mà chỉ xác định được giá trị của hàm số trên một tập hữu hạn điểm của D. Việc xác định gần đúng hàm này dẫn tới bài toán nội suy và xấp xỉ hàm số. Bài toán nội suy tổng quát được phát biểu như sau. Xét hàm nhiều biến chưa biết f : D (Гп)→Гm nhưng xác định được một tập mẫu gồm П phần tử х , ɣ  k̟ k̟ П k =1 trong đó хk̟Гп, ɣk̟Гm ( k̟=1,. Ta cần tìm hàm ǥ có dạng đủ tốt đã biết thỏa mãn: ǥ(хi) = ɣi,  i = 1,.1) Các điểm хk̟ được gọi là các mốc nội suy còn hàm ǥ gọi là hàm nội suy của f.

1.2. Ứng Dụng Của Nội Suy Trong Thực Tế

Hàm nội suy thường được dùng để xấp xỉ hàm f trên miền D, giá trị hàm nội suy tính được tại điểm х bất kỳ trên miền D gọi là giá trị nội suy của hàm f tại х (hay gọn hơn là giá trị nội suy tại х nếu không có sự nhầm lẫn). Hình 1.1 minh họa hàm nội suy trong trường hợp một biến. Những giá trị ɣk̟ tại mốc nội suy tương ứng хk̟ có thể chứa nhiễu và nhiều trường hợp việc giải hệ phương trình (1.1) không có nghiệm đúng đối với dạng hàm ǥ đã biết hoặc cho kết quả nội suy không tốt. Một cách tiếp cận khác là thay đòi hỏi thỏa mãn hệ phương trình (1.1) bởi một tiêu chuẩn xấp xỉ tốt nhất (đủ tốt) nào đó, thông dụng nhất là tiêu chuẩn cực tiểu tổng bình phương sai số (gọi là bình phương tối thiểu cho gọn). Với cách tiếp cận này ta có bài toán xấp xỉ.

II. Thách Thức và Giải Pháp Với Bài Toán Nội Suy

Đa số các bài toán nội suy trong các ứng dụng thực tiễn lại là bài toán nội suy nhiều biến. Do các khó khăn trong xử lý toán học và nhu cầu ứng dụng trước đây chưa nhiều nên bài toán nội suy nhiều biến mới được quan tâm nhiều trong 50 năm gần đây. Thoạt tiên, người ta phát triển nội suy nhiều biến theo hướng sử dụng đa thức. Phương pháp k- láng giềng gần nhất được Cover và Hart (1967) đề xuất khá sớm về mặt lý thuyết, nhưng chỉ đến khi Duda và Hart (1973) đưa ra tổng quan đầy đủ thì phương pháp này mới được ứng dụng rộng rãi và được phát triển thêm theo hướng hồi qui trọng số địa phương. Cách tiếp cận này cho ra một phương pháp đơn giản dễ sử dụng. Tuy nhiên, nhược điểm cơ bản của nó là chỉ xác 12 định thu hẹp địa phương của hàm nội suy khi biết điểm cần tính giá trị hàm, nên không dùng được cho bài toán cần xác định trước hàm nội suy để nội suy hàm số tại điểm tùy ý.

2.1. Hạn Chế Của Phương Pháp Nội Suy Truyền Thống

Các phương pháp k- lân cận gần nhất Cover và Hart (1967) và hồi quy trọng số địa phương cho một giải pháp đơn giản, dễ sử dụng với bài toán này và đang là một công cụ tốt. Tuy nhiên các phương pháp này không thể huấn luyện trước được, mà chỉ xác định khi biết điểm cần nội suy. Như vậy, việc xác định giá trị hàm nội suy tại mẫu mới thự hiện khi đã biết mẫu để xác định láng giềng (lân cận). Cách tiếp cận này sẽ gặp khó khăn khi áp dụng cho các bài toán cần xác định trước hàm nội suy.

2.2. Mạng Nơ ron Giải Quyết Bài Toán Nội Suy

Mạng nơ-ron nhân tạo là cách tiếp cận tốt để khắc phục những nhược điểm trên. Mô hình đầu tiên về mạng nơ-ron nhân tạo được McCulloch và Pitts (1943) đề xuất để nhận dạng mẫu. Rosenblatt (1953) và Widrow 13 (1960) đã xây dựng các perceptron một tầng theo mô hình này, với các luật học sửa lỗi và bình phương tối thiểu. Việc nghiên cứu tiếp theo bị chững lại gần một thập niên do nhận xét của Minsky và Papert(1969) về các nhược điểm của perceptron một tầng. Đến giữa những năm 1980 mạng MLΡ được nghiên cứu và ứng dụng lại nhờ thuật toán lan truyền ngược sai số (Rumelhart và McClelland 1986; Parker 1985) và trở thành công cụ mạnh để xấp xỉ hàm nhiều biến.

III. Mạng Nơ ron RBF Giải Pháp Hiệu Quả Cho Nội Suy

Mạng RBF với hàm cơ sở bán kính có thể xem là dạng lai của các phương pháp học dựa trên mẫu (k-lân cận gần nhất và hồi qui trọng số địa phương) và mạng nơ-ron MLΡ. Như mạng nơ-ron MLΡ, hàm nội suy của mạng xác định từ dữ liệu huấn luyện sau khi học, chất lượng mạng tùy thuộc vào thuật toán huấn luyện. Mạng RBF giống với các phương pháp học dựa trên mẫu ở chỗ hàm nội suy là tổ hợp tuyến tính của các hàm RBF, các hàm này chỉ có ảnh hưởng địa phương nên có thể xử lý chúng mà không ảnh hưởng nhiều lên toàn miền xác định. Mạng RBF chủ yếu dùng để xấp xỉ hàm (mà nội suy là bài toán riêng). Ưu điểm của mạng RBF là thời gian huấn luyện nhanh và luôn đảm bảo hội tụ đến cực trị toàn cục của sai số trung bình phương.

3.1. Ưu Điểm Của Mạng Nơ ron RBF

Mạng RBF có ưu điểm là thời gian huấn luyện nhanh và luôn đảm bảo hội tụ đến cực trị toàn cục của sai số trung bình phương. Việc xác định tâm, số hàm cơ sở thế nào là tốt vẫn là bài toán mở. Trường hợp số dữ liệu huấn luyện ít (Looney khuyên là nhỏ hơn 200 [38]) thì có thể lấy các mốc nội suy là tâm hàm RBF ở tầng ẩn, mạng này có thể cho nghiệm đúng của hệ phương trình nội suy nên gọi là mạng nội suy 14 RBF.

3.2. So Sánh Mạng RBF Với Các Phương Pháp Khác

Đến nay cùng với mạng MLΡ, mạng RBF tỏ ra là một 15 phương pháp hiệu quả và được ứng dụng rộng rãi để nội suy và xấp xỉ hàm nhiều biến ( xem [14,15,30]). Thuật toán huấn luyện mạng có vai trò rất quan trọng, nó ảnh hưởng trực tiếp đến tính hội tụ và tổng quát của mạng. Trong những năm gần đây đã có nhiều tác giả đề xuất cải tiến thuật toán huấn luyện mạng RBF. Benoudjit và các cộng sự (2002) [10] đã cải tiến bằng cách tối ưu tham số độ rộng bán kính. Lazaro và cộng sự (2003)[37] đề xuất thuật toán mới để tăng tốc độ hội tụ.

IV. Thuật Toán Huấn Luyện Mới Cho Mạng Nội Suy RBF

Trong luận án này, tác giả đề xuất một thuật toán lặp hai pha huấn luyện mạng nội suy RBF. Pha thứ nhất xác định tham số độ rộng cho các hàm cơ sở bán kính sao cho các trọng số tầng ra được tìm nhờ phép lặp xác định điểm bất động của một ánh xạ co trong pha sau. Phân tích toán học và kết quả thực nghiệm cho thấy thuật toán có những ưu điểm vượt trội so với những thuật toán thông dụng: dùng được khi số mốc nội suy lớn (hàng chục ngàn mốc), dễ ước lượng sai số huấn 16 luyện, thời gian huấn luyện ngắn, tính tổng quát cũng tốt hơn và dễ song song hoá.

4.1. Thuật Toán Lặp Hai Pha HĐH Huấn Luyện Mạng RBF

Trong trường hợp bài toán nội suy có mốc cách đều, thay cho khoảng cách Euclide, chúng tôi dùng khoảng cách Mahalanobis thích hợp và cải tiến thuật toán hai pha thành 17 thuật toán một pha. Phân tích toán học và kết quả thực nghiệm cho thấy thuật toán này cải thiện đáng kể chất lượng mạng so với thuật toán hai pha cả về thời gian huấn luyện và tính tổng quát.

4.2. Ưu Điểm Của Thuật Toán HĐH

Đối với bài toán thời gian thực, đặc biệt là bài toán động, chúng tôi đề xuất kiến trúc mạng địa phương. Mạng này chia miền xác định thành các miền con chứa số mốc nội suy tương đối bằng nhau, nhờ phương pháp phỏng theo thuật toán xây dựng cây k-d quen biết. Sau đó dùng thuật toán huấn luyện hai pha để huấn luyện mạng RBF trên mỗi miền con và ghép chúng lại theo ý tưởng nội suy spline. Phân tích toán học và kết quả thực nghiệm cho thấy chất lượng mạng có nhiều ưu điểm nổi trội.

V. Ứng Dụng Thực Tế Của Mạng Nơ ron RBF Địa Phương

Các kết quả trên được công bố trong tạp chí khoa học quốc tế Signal Processing và International Journal of Data Mining, Modelling and Management Science (IJDMMM). hội nghị quốc tế của IEEE và hội thảo trong nước. Ngoài phần kết luận, luận án được tổ chức như sau. Chương 1 giới thiệu những điểm cơ bản của bài toán nội suy hàm số và mạng nơ-ron nhiều tầng truyền tới cần cho nội dung chính của luận án bao gồm: nội suy đa thức cho hàm một biến, các khái niệm và tiếp cận chính đối với bài toán nội suy hàm nhiều biến, giới thiệu tóm tắt về mạng nơ-ron nhân tạo và các mạng nơ-ron nhiều tầng truyền tới.

5.1. Mạng RBF Địa Phương Cho Bài Toán Thời Gian Thực

Chương 2 giới thiệu các khái niệm cơ bản về mạng nơ-ron RBF và mạng nội suy với hàm cơ sở bán kính dạng Gauss. Sau đó chúng tôi mô tả các thuật toán thông dụng để huấn luyện mạng. Chương 3 trình bày thuật toán hai pha mới (gọi là thuật toán HĐH) để huấn luyện mạng nội suy RBF bao gồm cả phân tích toán học và kết quả thực nghiệm.

5.2. Kết Quả Nghiên Cứu Và Công Bố Khoa Học

Chương 4 trình bày thuật toán một pha mới áp dụng cho bài toán nội suy với mốc cách đều. Chương 5 trình bày mạng địa phương RBF áp dụng cho bài toán động, hay bài toán thời gian thực. Cuối cùng chúng tôi đưa ra một số kết luận và đề xuất các nghiên cứu tiếp theo.

VI. Kết Luận và Hướng Nghiên Cứu Tiếp Theo Về RBF

Bài toán nội suy hàm số là một bài toán quan trọng trong giải thích số và nhận dạng mẫu [5,22,30,36,38] đang được ứng dụng rộng rãi. Bài toán nội suy hàm một biến đã được nghiên cứu từ hơn ba thế kỷ đến nay và khá hoàn thiện, đặc biệt là nội suy bằng đa thức. Trong các ứng dụng thực tế ta thường phải giải quyết bài toán nội suy nhiều biến và nó chỉ mới được quan tâm nghiên cứu trong năm mươi năm gần đây cùng với sự phát triển mạnh mẽ của khoa học máy tính. Đầu tiên, người ta phát triển nội suy nhiều biến theo hướng sử dụng đa thức nhưng không hiệu quả do phức tạp trong tính toán và kết quả ứng dụng không tốt.

6.1. Tổng Kết Các Thuật Toán Nội Suy

Các phương pháp k- lân cận gần nhất Cover và Hart (1967) và hồi quy trọng số địa phương cho một giải pháp đơn giản, dễ sử dụng với bài toán này và đang là một công cụ tốt. Tuy nhiên các phương pháp này không thể huấn luyện trước được, mà chỉ xác định khi biết điểm cần nội suy. Như vậy, việc xác định giá trị hàm nội suy tại mẫu mới thực hiện khi đã biết mẫu để xác định láng giềng (lân cận). Cách tiếp cận này sẽ gặp khó khăn khi áp dụng cho các bài toán cần xác định trước hàm nội suy.

6.2. Tiềm Năng Phát Triển Của Mạng Nơ ron RBF

Mạng nơ-ron nhân tạo là cách tiếp cận tốt để khắc phục những nhược điểm trên. Mặc dù còn vướng nhiều vấn đề mở về lý thuyết, nhưng hiện nay mạng nơ-ron nhân tạo là một công cụ hữu hiệu để giải các bài toán nội suy hàm nhiều biến trong các bài toán ứng dụng thực tiễn. Trong đó thông dụng nhất là mạng MLΡ và mạng RBF ( xem [14,15,30]). Chương này giới thiệu những điểm cơ bản của bài toán nội suy hàm số và mạng nơ-ron nhiều tầng truyền tới (MLΡ) cần cho nội dung chính của luận án.