Luận văn thạc sĩ: Phương pháp hàm phạt cho bài toán cực trị có điều kiện

Luận văn thạc sĩ nghiên cứu toán học phương pháp hàm phạt cho bài toán cực trị có điều kiện, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện pháp hoàn thiện trong lĩnh vực

• Đề tài: Luận Văn Thạc Sĩ Toán Học Phương Pháp Hàm Phạt Cho Bài Toán Cực Trị Có Điều Kiện
• Loại tài liệu: luận văn

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• DANH MỤC CÁC KÝ HIỆU
• DANH MỤC CÁC THUẬT NGỮ
• MỞ ĐẦU
• 1. CHƯƠNG 1: KIẾN THỨC CHUẨN BỊ
• 1.1. Các kí hiệu đại số
• 1.2. Các kí hiệu topo
• 1.3. Tập mở, tập đóng và tập compact
• 1.4. Hàm liên tục
• 1.5. Hàm khả vi liên tục
• 1.6. Định lý giá trị trung bình và công thức Taylor
• 1.7. Định lí hàm ẩn
• 1.8. Tập lồi và hàm lồi
• 2. CHƯƠNG 2: BÀI TOÁN TỐI ƯU CÓ ĐIỀU KIỆN CHO BỞI PHƯƠNG TRÌNH VÀ BẤT PHƯƠNG TRÌNH
• 2.1. Tổng quan bài toán tối ưu có điều kiện
• 2.2. Bài toán tối ưu có điều kiện cho bởi phương trình
• 2.3. Bài toán tối ưu có điều kiện cho bởi phương trình và bất phương trình
• 3. CHƯƠNG 3: PHƯƠNG PHÁP HÀM PHẠT
• 3.1. Phương pháp hàm phạt cho bài toán (ECP)
• 3.2. Phương pháp hàm phạt cho bài toán (ICP)
• KẾT LUẬN

Tóm tắt

I. Tổng quan phương pháp hàm phạt cho bài toán cực trị

Trong lĩnh vực toán giải tích, việc tìm nghiệm cho các bài toán cực trị có điều kiện là một thách thức lớn và có ý nghĩa thực tiễn quan trọng. Các bài toán này xuất hiện trong nhiều ngành khoa học, kỹ thuật và kinh tế, nơi cần tối ưu hóa một hàm mục tiêu dưới những ràng buộc nhất định. Phương pháp hàm phạt nổi lên như một công cụ mạnh mẽ để giải quyết vấn đề này. Ý tưởng cốt lõi của phương pháp là chuyển đổi một bài toán tối ưu phức tạp có ràng buộc thành một chuỗi các bài toán tối ưu tự do (không ràng buộc) dễ giải quyết hơn. Luận văn "Phương pháp hàm phạt cho bài toán cực trị có điều kiện" của tác giả Đoàn Thị Hoàng Trang đã hệ thống hóa một cách đầy đủ cơ sở lý thuyết và ứng dụng của phương pháp này. Thay vì xử lý trực tiếp các điều kiện ràng buộc, phương pháp này đưa một "số hạng phạt" vào hàm mục tiêu. Số hạng này được thiết kế để tăng giá trị của hàm mục tiêu khi một nghiệm vi phạm các điều kiện ràng buộc. Bằng cách điều chỉnh một tham số phạt, chuỗi các nghiệm của bài toán tối ưu tự do sẽ dần hội tụ về nghiệm của bài toán gốc. Cách tiếp cận này giúp đơn giản hóa quá trình tìm kiếm nghiệm, đặc biệt là đối với các bài toán quy hoạch phi tuyến (NLP) có cấu trúc phức tạp. Việc nắm vững lý thuyết về phương pháp hàm phạt cho bài toán cực trị có điều kiện không chỉ giúp giải quyết các bài toán hiện có mà còn mở ra khả năng sáng tạo các bài toán mới, góp phần vào sự phát triển của ngành toán tối ưu.

1.1. Khái niệm cốt lõi về bài toán cực trị có điều kiện

Một bài toán cực trị có điều kiện (Constrained Problem - CP) yêu cầu tìm giá trị nhỏ nhất hoặc lớn nhất của một hàm mục tiêu f(x) sao cho biến x phải thuộc một tập hợp X cho trước, gọi là tập hợp các nghiệm chấp nhận được. Tập X được xác định bởi một hệ thống các phương trình và bất phương trình ràng buộc. Ví dụ, bài toán có thể có dạng min f(x) với điều kiện h(x) = 0 và g(x) ≤ 0. Một vector x* được gọi là cực tiểu địa phương nếu giá trị f(x*) nhỏ hơn giá trị f(x) tại mọi điểm x lân cận nó và thỏa mãn điều kiện. Nếu f(x*) nhỏ hơn f(x) với mọi x thuộc tập X, x* được gọi là cực tiểu toàn cục. Việc giải quyết các bài toán này đòi hỏi các công cụ giải tích phức tạp như hàm Lagrange và điều kiện Karush-Kuhn-Tucker (KKT).

1.2. Nguyên lý hoạt động của phương pháp hàm phạt

Ý tưởng chính của phương pháp hàm phạt là biến đổi bài toán có điều kiện thành bài toán không có điều kiện. Điều này được thực hiện bằng cách thêm vào hàm mục tiêu f(x) một hàm phạt P(x). Hàm phạt này có giá trị bằng không nếu x thỏa mãn tất cả các ràng buộc và có giá trị dương nếu x vi phạm ít nhất một ràng buộc. Bài toán mới có dạng min F(x, c) = f(x) + cP(x), trong đó c là một tham số phạt dương. Khi c tăng dần đến vô cùng, nghiệm của bài toán không ràng buộc này sẽ hội tụ về nghiệm của bài toán có điều kiện ban đầu. Có nhiều loại hàm phạt khác nhau như hàm phạt điểm ngoài, hàm phạt điểm trong và hàm phạt Lagrange.

II. Thách thức khi giải bài toán tối ưu có điều kiện phức tạp

Việc giải quyết trực tiếp một bài toán cực trị có điều kiện thường gặp nhiều khó khăn, đặc biệt khi hàm mục tiêu và các hàm ràng buộc không tuyến tính. Thách thức lớn nhất nằm ở việc xử lý đồng thời cả mục tiêu tối ưu hóa và các ràng buộc phức tạp. Các phương pháp cổ điển như phương pháp nhân tử Lagrange đòi hỏi các điều kiện chặt chẽ về tính khả vi và tính chính quy của các hàm số, vốn không phải lúc nào cũng được thỏa mãn. Luận văn đã chỉ ra rằng, cơ sở lý thuyết cho các phương pháp giải là nền tảng, bao gồm các kiến thức về không gian topo, tập mở, tập đóng, tập compact và tập lồi. Hơn nữa, các định lý quan trọng như định lý giá trị trung bình và công thức Taylor là công cụ không thể thiếu để phân tích các điều kiện cần và đủ cho cực trị. Một trong những khái niệm quan trọng là điểm chính quy (regular point), nơi các vector gradient của các hàm ràng buộc tại điểm đó là độc lập tuyến tính. Nếu một điểm không phải là điểm chính quy, các điều kiện tối ưu cổ điển có thể không áp dụng được. Phương pháp hàm phạt cho bài toán cực trị có điều kiện được phát triển để vượt qua những trở ngại này. Bằng cách loại bỏ các ràng buộc tường minh và chuyển chúng thành một thành phần của hàm mục tiêu, phương pháp này làm cho bài toán trở nên "mượt mà" hơn và dễ tiếp cận hơn bằng các thuật toán tối ưu tự do.

2.1. Phân loại các dạng ràng buộc phương trình và bất phương trình

Các ràng buộc trong bài toán tối ưu được chia thành hai loại chính: ràng buộc phương trình và ràng buộc bất phương trình. Bài toán (ECP) (Equality Constrained Problem) chỉ chứa các ràng buộc dạng h(x) = 0. Bài toán (ICP) (Inequality Constrained Problem) chỉ chứa các ràng buộc dạng g(x) ≤ 0. Trong thực tế, các bài toán thường là sự kết hợp của cả hai, được gọi là bài toán quy hoạch phi tuyến (NLP). Mỗi loại ràng buộc đòi hỏi một cách tiếp cận khác nhau trong việc xây dựng hàm phạt và phân tích điều kiện tối ưu.

2.2. Vai trò của điểm chính quy và điều kiện tối ưu Lagrange

Điều kiện cần để một điểm x* là cực tiểu địa phương của bài toán ECP là sự tồn tại của một vector nhân tử Lagrange λ* sao cho gradient của hàm Lagrange L(x, λ) = f(x) + λ'h(x) tại (x*, λ*) bằng không. Tuy nhiên, điều kiện này chỉ đúng khi x* là một điểm chính quy. Điểm chính quy đảm bảo rằng các ràng buộc không bị suy biến tại điểm đang xét. Nếu thiếu điều kiện chính quy, việc tìm kiếm nghiệm tối ưu sẽ trở nên phức tạp hơn rất nhiều. Đây là một trong những lý do khiến các phương pháp thay thế như hàm phạt được ưa chuộng.

III. Phương pháp hàm phạt cho bài toán ECP ràng buộc phương trình

Đối với bài toán cực trị có điều kiện chỉ bao gồm các ràng buộc phương trình (ECP), phương pháp hàm phạt cung cấp một cách tiếp cận hiệu quả để tìm kiếm nghiệm. Thay vì giải hệ phương trình ∇L(x, λ) = 0 và h(x) = 0 trực tiếp, phương pháp này xây dựng một hàm mục tiêu mới không có ràng buộc. Luận văn trình bày một hàm phạt cụ thể, kết hợp giữa hàm Lagrange và các số hạng phạt. Hàm này không chỉ phạt sự vi phạm ràng buộc h(x) = 0 mà còn phạt cả sự sai lệch so với điều kiện tối ưu bậc nhất ∇xL(x, λ) = 0. Cụ thể, bài toán được chuyển thành việc tìm cực tiểu của hàm P(x, λ; c, α) trên không gian R^n x R^m. Các tham số c và α là các hệ số phạt dương. Khi lựa chọn c và α đủ lớn, các điểm tới hạn (critical points) của hàm P sẽ tương ứng với các cặp nhân tử Lagrange (x*, λ*) của bài toán ECP ban đầu. Một ưu điểm lớn của cách tiếp cận này là nó phân biệt được cực tiểu và cực đại địa phương. Dưới các điều kiện nhất định, các điểm cực tiểu địa phương của bài toán ECP sẽ tương ứng với các điểm cực tiểu địa phương của hàm P, trong khi các điểm cực đại thì không. Điều này cho thấy phương pháp hàm phạt cho bài toán cực trị có điều kiện là một công cụ phù hợp để tìm kiếm nghiệm cực tiểu.

3.1. Xây dựng hàm phạt P x λ c α cho bài toán ECP

Hàm phạt cho bài toán ECP thường được xây dựng dựa trên hàm Lagrange L(x, λ) = f(x) + λ'h(x). Một dạng phổ biến là P(x, λ; c, α) = L(x, λ) + (c/2) * ||h(x)||^2 + (α/2) * ||∇xL(x, λ)||^2. Số hạng ||h(x)||^2 phạt những điểm không thỏa mãn ràng buộc h(x) = 0. Số hạng ||∇xL(x, λ)||^2 phạt những điểm không thỏa mãn điều kiện cần bậc nhất. Việc tìm cực tiểu của hàm P này tương đương với việc tìm một điểm đồng thời thỏa mãn cả điều kiện ràng buộc và điều kiện tối ưu của bài toán gốc.

3.2. Phân tích điểm tới hạn của hàm phạt và nhân tử Lagrange

Mối quan hệ giữa điểm tới hạn của hàm phạt P và cặp nhân tử Lagrange của bài toán ECP là trọng tâm của phương pháp. Luận văn chứng minh rằng, dưới giả thiết Vh(x) có hạng đầy đủ, tồn tại các ngưỡng cho tham số c và α. Nếu chọn c và α lớn hơn các ngưỡng này, mọi điểm tới hạn của P nằm trong một tập compact sẽ là một cặp nhân tử Lagrange của ECP. Tuy nhiên, điều ngược lại không phải lúc nào cũng đúng. Có những trường hợp tồn tại các điểm tới hạn của P không liên quan đến nghiệm của bài toán ECP, nhưng các điểm này thường di chuyển ra vô cùng khi c tăng lên.

IV. Cách triển khai phương pháp hàm phạt cho bài toán ICP

Đối với bài toán cực trị có điều kiện chứa các ràng buộc bất phương trình (ICP), hay tổng quát hơn là bài toán quy hoạch phi tuyến (NLP), phương pháp hàm phạt cũng được áp dụng một cách hiệu quả nhưng với một cách xây dựng hàm phạt khác. Thay vì một hàm phạt trơn như trong trường hợp ECP, phương pháp này thường sử dụng một hàm phạt không khả vi. Cụ thể, bài toán min f(x) với g(x) ≤ 0 được chuyển thành một bài toán tối ưu tự do không khả vi (NDP) có dạng min {f(x) + cP(x)}. Hàm P(x) ở đây được định nghĩa là P(x) = max{0, g1(x), ..., gr(x)}. Hàm này bằng 0 khi tất cả các ràng buộc được thỏa mãn và sẽ dương nếu có ít nhất một ràng buộc bị vi phạm. Do tính không khả vi của hàm max, việc tìm kiếm điểm tới hạn của hàm mục tiêu mới trở nên phức tạp hơn. Luận văn chỉ ra rằng, các hướng giảm của hàm f + cP có thể được tìm thấy thông qua việc giải một bài toán quy hoạch toàn phương (QP) liên kết tại mỗi bước lặp. Điều này cho thấy sự liên hệ mật thiết giữa việc giải bài toán không khả vi và một chuỗi các bài toán QP đơn giản hơn. Tương tự như trường hợp ECP, khi tham số phạt c đủ lớn, các điểm tới hạn của hàm f + cP sẽ tương ứng với các điểm thỏa mãn điều kiện KKT của bài toán ICP gốc.

4.1. Chuyển đổi bài toán ICP thành bài toán tối ưu tự do NDP

Việc chuyển đổi bài toán ICP thành bài toán tối ưu tự do (NDP) được thực hiện qua hàm phạt P(x) = max{0, g_j(x)}. Hàm này được gọi là hàm phạt điểm ngoài chính xác. Nó phạt các điểm nằm ngoài vùng chấp nhận được. Hàm mục tiêu mới F(x, c) = f(x) + cP(x) không khả vi tại các điểm mà g_j(x) = 0. Do đó, không thể sử dụng các phương pháp dựa trên gradient thông thường. Thay vào đó, cần sử dụng các khái niệm từ giải tích không trơn và các thuật toán dưới gradient để tìm kiếm cực tiểu địa phương.

4.2. Mối liên hệ với bài toán quy hoạch toàn phương QP

Để tìm hướng đi tối ưu từ một điểm x hiện tại, người ta xây dựng một bài toán quy hoạch toàn phương (QP) xấp xỉ bài toán gốc. Bài toán QP có dạng min ∇f(x)'d + (1/2)d'Hd với điều kiện g_j(x) + ∇g_j(x)'d ≤ 0. Nghiệm d của bài toán QP này sẽ cung cấp một hướng giảm cho hàm f + cP. Mối liên hệ này là nền tảng cho nhiều thuật toán tối ưu hóa hiệu quả, chẳng hạn như phương pháp Lập trình toàn phương tuần tự (SQP). Việc giải một chuỗi các bài toán QP thường dễ dàng hơn nhiều so với việc giải trực tiếp bài toán NLP ban đầu.

V. Ý nghĩa khoa học và thực tiễn của phương pháp hàm phạt

Việc nghiên cứu phương pháp hàm phạt cho bài toán cực trị có điều kiện mang lại ý nghĩa khoa học và thực tiễn to lớn. Về mặt khoa học, phương pháp này cung cấp một cầu nối lý thuyết vững chắc giữa các bài toán tối ưu có điều kiện và các bài toán tối ưu tự do, làm phong phú thêm hệ thống các công cụ giải quyết bài toán tối ưu. Luận văn đã tổng hợp và hệ thống hóa một cách khá đầy đủ các kết quả lý thuyết, từ việc xây dựng các loại hàm phạt khác nhau cho bài toán ECP và bài toán ICP đến việc phân tích sự hội tụ và mối liên hệ giữa các điểm tới hạn. Các ví dụ minh họa được đưa ra trong nghiên cứu, chẳng hạn như ví dụ 3.1 và 3.2, đã làm rõ những điểm mạnh cũng như những hạn chế của phương pháp. Ví dụ, nó cho thấy rằng không phải tất cả các điểm tới hạn của hàm phạt đều là nghiệm của bài toán gốc, và vai trò của việc lựa chọn tham số phạt là cực kỳ quan trọng. Về mặt thực tiễn, phương pháp hàm phạt là cơ sở cho nhiều thuật toán tối ưu hóa được sử dụng rộng rãi trong các phần mềm tính toán. Khả năng biến đổi một bài toán phức tạp thành dạng đơn giản hơn giúp giải quyết hiệu quả các vấn đề trong kỹ thuật, tài chính, và quản lý chuỗi cung ứng. Việc nắm chắc cơ sở lý thuyết này giúp người học và người nghiên cứu không chỉ áp dụng mà còn có thể cải tiến và phát triển các thuật toán mới.

5.1. Đánh giá hiệu quả phương pháp qua các ví dụ cụ thể

Luận văn đã sử dụng các ví dụ để minh họa các kết luận lý thuyết. Ví dụ, một bài toán đơn giản trên trường số thực được xét để cho thấy sự tồn tại của các điểm tới hạn "giả" của hàm phạt. Những điểm này không phải là cặp nhân tử Lagrange, nhưng chúng sẽ dịch chuyển ra vô cùng khi tham số phạt tăng. Điều này nhấn mạnh tầm quan trọng của việc chọn tham số c và α một cách cẩn thận. Các ví dụ cũng chứng minh rằng nếu điều kiện đủ bậc hai được thỏa mãn, cực tiểu địa phương của bài toán gốc sẽ là cực tiểu địa phương của hàm phạt khi c đủ lớn.

5.2. Đóng góp của nghiên cứu trong lĩnh vực toán giải tích

Công trình nghiên cứu này đóng góp một tài liệu tham khảo tổng quan, chi tiết bằng tiếng Việt về một phương pháp quan trọng trong tối ưu hóa. Nó hệ thống hóa các kiến thức từ cơ bản đến nâng cao, từ các khái niệm trong không gian topo đến việc xây dựng và phân tích các hàm phạt phức tạp. Điều này rất cần thiết cho sinh viên và học viên cao học ngành Toán, giúp họ có cái nhìn mạch lạc và sâu sắc hơn về vấn đề cực trị của hàm nhiều biến, một chủ đề nền tảng của toán giải tích.

VI. Kết luận và định hướng tương lai cho phương pháp hàm phạt

Luận văn đã hoàn thành xuất sắc mục tiêu đề ra, đó là hệ thống hóa và trình bày một cách toàn diện về phương pháp hàm phạt cho bài toán cực trị có điều kiện. Nghiên cứu đã tóm tắt các kiến thức nền tảng quan trọng, đi sâu vào việc phân tích hai loại bài toán chính là bài toán ECP và bài toán ICP, và đề xuất các phương pháp hàm phạt tương ứng. Các kết quả chính bao gồm việc thiết lập mối liên hệ chặt chẽ giữa các nghiệm của bài toán gốc và các điểm tới hạn của hàm phạt dưới những điều kiện nhất định. Điều này khẳng định tính đúng đắn và hiệu quả của phương pháp trong việc tìm kiếm cực tiểu địa phương. Tương lai của phương pháp hàm phạt vẫn rất rộng mở. Các nghiên cứu tiếp theo có thể tập trung vào việc mở rộng phương pháp này cho các lớp bài toán phức tạp hơn, chẳng hạn như các bài toán tối ưu có dữ liệu không chắc chắn, tối ưu đa mục tiêu, hoặc các bài toán trên không gian vô hạn chiều. Một hướng khác là phát triển các thuật toán hiệu quả hơn để cập nhật tham số phạt, nhằm tăng tốc độ hội tụ và tránh các vấn đề về số trị khi tham số phạt quá lớn. Sự kết hợp giữa phương pháp hàm phạt với các kỹ thuật học máy và trí tuệ nhân tạo cũng là một lĩnh vực đầy hứa hẹn, có khả năng giải quyết các bài toán tối ưu quy mô lớn trong thế giới thực.

6.1. Tổng kết các kết quả nghiên cứu chính đã đạt được

Nghiên cứu đã thành công trong việc: (1) Hệ thống hóa các kiến thức chuẩn bị về giải tích và topo. (2) Phân tích sâu sắc các điều kiện tối ưu cho bài toán tối ưu có điều kiện cho bởi phương trình và bất phương trình, nhấn mạnh vai trò của hàm Lagrange và điểm chính quy. (3) Trình bày chi tiết cách xây dựng và phân tích lý thuyết cho phương pháp hàm phạt khả vi (cho ECP) và không khả vi (cho ICP). Các kết quả này tạo thành một báo cáo tổng quan đầy đủ và có giá trị khoa học.

6.2. Hướng phát triển và mở rộng cho các bài toán phức tạp hơn

Trong tương lai, phương pháp hàm phạt có thể được mở rộng để giải quyết các bài toán quy hoạch bán xác định (Semidefinite Programming), các bài toán tối ưu với ràng buộc dạng logic, hoặc các bài toán trong lý thuyết điều khiển tối ưu. Việc nghiên cứu các hàm phạt mới, có tính chất hội tụ tốt hơn và ổn định hơn về mặt số trị, cũng là một hướng đi quan trọng. Sự phát triển của năng lực tính toán sẽ tiếp tục thúc đẩy ứng dụng của phương pháp này vào các bài toán ngày càng lớn và phức tạp hơn.

Trích đoạn nội dung tài liệu

CHƯƠNG 1 KIEN THUC CHUAN BI Trong chuong nay, trình bày một số kí hiệu, các định nghĩa tập mở, tập. đóng, tập compact, tập lồi và một số định lí quan trọng như định lí giá trị trung bình và đa thức Taylor.Các kí hiệu đại số Chúng ta kí hiệu R là trường số thực và R" là không gian gồm tất cả các vector thực chiều. Cho bất kỳ tập con 9 C R bi chan trên (chặn dưới), chúng ta kí hiệu supØ (inf Š) là cận trên nhỏ nhất (cận dưới lớn nhất) của. Néu S khong bi chặn trên (dưới), chúng ta viét supS = oo (infS = —oo).

Trong Inan van nay, mdi vector duge xem zét là một uector cột. Phép chuyển vị của ma trận A c3 m x n dude kí hiệu là A’. Mot vector x € R" được xem nhu mét ma tran cd n x 1, va do dé 2’ 1A mot ma tran cd 1 x n hoae vector hang. 2, la các tọa độ của vector # € R", ta viết © = (21, %9,.

Ching ta cing viét # > 0 nếu#¿ >0, Ví = 1,. Một ma trận đối xứng 4 cỡ n x ø được gọi là nửa xác định dương nếu #!Az > 0,Vz € R", Trong trường hợp này chúng ta viết A>0. Một ma trận đối xứng 44 được gọi là zác định dương nếu z'“Az > 0,Vø € R",z # 0 và viết A>0. Chúng ta biết rằng một ma tran A đối xứng cỡ n x n có m giá trị riêng thực +¡,2,., +„ và tương ứng có ø vector riêng thực khác không 4 €i,€a,.,e„ đôi một trực giao.

Khi đó, ta có +#lz < #!Az <Tzz, Vừ € R", (1. Cho z là vector riêng ứng với giá trị riêng T(3), bất phương trình ở bên phải (trái) trong công thức (1.1) sẽ trở thành phương trình. Nếu A xác định dương thì tồn tại duy nhất một ma trận xác định dương có bình phương bằng A. Đây là ma trận có cùng các vector riêng như ma tran A và có giá trị riêng bằng căn bậc hai giá trị riêng của A.

Chúng ta kí hiệu ma trận này là A1⁄2, Cho A và Ø là hai ma trận vuông và Œ là một ma trận có kích thước phù hợp. Đẳng thức thường được sử dụng: (A+ CBC!) = AT!~ A-1G(B~1! + ŒA*!G)“!Œ!AT} là đúng nếu tất cả các ma trận nghịch đảo xuất hiện ở trên tồn tại. Dang thức có thể được chứng minh bằng cách nhân phía bên phải bởi (A + CBC’). Xét một ma trận vuông A có dang M= [2 ñ] AB.

Khi đó, ta có: wie Q -QBD" M’= | —p"'cQ’D"! + D“'CQBD" | trong đó Q=(A-BD*G)"', với điều kiện tất cả các ma trận nghịch đảo xuất hiện ở trên tồn tại. Chứng mình được thực hiện bằng cách nhân Aƒ với biểu thức cho ă”” nêu trên. Các kí hiệu topo Chúng ta sẽ sử dụng chuẩn Euelide trong không gian R" và được kí hiệu là | - |, tức là, đối với một vector z € R", chúng ta viết |x| = Vr. Chuẩn Euelide của một ma trận 4 cỡ n x ø sẽ được kí hiệu là | -|.

Nó được xác định bởi |A| = max 740 “Từ công thức (1.1), ta có |A| = V siá trị riêng lớn nhất của(414). Nếu ma trận 4 là đối xứng, và À¡, „A„ là các giá trị riêng (thực) của A, thì các giá trị riêng của 4? là A7, A2, và chúng ta thu được |A| = max{|Ai. |Àu|}- Một dãy các vectơ zụ, 21 „ trong RR", được kí hiệu là {z¿}, được gọi là hội tụ đến một vector # u |#¿ — z| —> Ú khi k —> oc (có nghĩa là, với mọi e > 0, luôn tồn tại một số tự nhiên N sao cho với mọi k > N chúng ta có |z¿ = #| < é). Nếu {z¿} hội tụ đến z, chúng ta viết z¿ —> # hoặc lim z„¿ = +.

Tương tự, cho một dãy các ma trận {Á¿} cỡ rn x n, — chúng ta viết 4, => A hoặc lim pe A, = A néu |4, — A| => 0 khi È ~ 00. Sự hội tụ của cả dãy vector và ma trận tương đương vi hội tụ của mỗi dãy các tọa độ hoặc các phần tử cùng một vị trí của chúng. Cho dãy {z¿}, dãy con {z¿|k € K} tương ứng với một tập chỉ số vô hạn C Ñ được kí hiệu {z¿}. Một vector được gọi là một điểm giới hạn của dãy {z¿} nếu có một dãy con {z¿} hội tụ đến z.

Moi day các số thực {z¿} đơn điệu tăng (giảm), tức là thỏa mãn r„ < resi (Tk > Tk+1) với mọi &, phải hội tụ đến một số thực hoặc +se (—œ). Trong trường hợp sau cùng chúng ta viết jim Tk = +00 (jim, Tk = —00). Cho bất kì dãy số thực bị chặn {r¿}, chúng ta xét dãy {s¿} trong đó sự — sup{r¡li > k}. Vì đãy này đơn điệu giảm và bị chăn dưới, nên nó có 6 giới hạn, được gọi là giới hạn trên của {rg} và được kí hiệu bởi lim sup he Chúng ta định nghĩa tương tự cho giới hạn dưới của {r¿} và kí hiệu bing lim ae ry.

Néu {rx} khong bị chặn trên, chúng ta có lim sup r¿ = +00, k¬s và nếu nó không bị chặn dưới, chúng ta cóJim inf Th = —00. Tập mở, tập đóng và tap compact Cho một vector z € R” và một số thực c > 0, chúng ta kí hiệu hình cầu mở với tâm tại x với bán kính e > 0 bởi S(z; e), tức là, 8(:e)= {z||z— z| < €}. Một tập con Š của R" được gọi là tập mở, nếu với moi vector x € S, ton tại một e > 0 sao cho S(#;e) C 8. Nếu ® là tập mở và z € S, thi S(z;e) C Š được gọi là một lân cận của +.

Phần trong của một tập S C R" là tập tất cả các phần tử z € S sao cho tồn tại e > 0 thỏa mãn Š(z;e) C S. Một tập con 9 được gọi là tập đóng nếu và chỉ nếu phần bù của nó trong R" là tập mở. Phát biểu một cách tương đương khác: Š được gọi là tập đóng nếu và chi nếu mỗi dãy #¿, với các phần tử trong S, hoi tu đến mộ điểm x thi x thuộc về S. Một tập con 8 của R" được gọi là tập compact nếu và chỉ nếu nó là tập đóng và bị chặn (tức là, nó là tập đóng và tồn tại một s6 M > 0 sao cho |x < AM,Vz € 8).

Một kết quả quan trọng nữa la néu So, Si, ., Se là một dãy các tập compaet khác rỗng trong R" sao cho S¿ Đ S¿+¡ với mọi k thì giao ƒ] ®; k0 là một tập khác réng va compact. Hàm liên tục Một hàm ƒ là một ánh xạ từ một tập con khác rỗng S; C R" vào một tap %› C R”, được kí hiệu bởi ƒ : S\ > Sy. Hàm ƒ được gọi liên tục tại z € 6i nếu với mọi e > 0 luôn tồn tại ổ > 0 sao cho với mọi + thỏa mãn 7 ly—a|<d vay eS, tacé |f(y) — f(x)| <« Hàm ƒ được gọi là liên tục trên Š¡ (hoặc đơn giản là liên tục) nếu nó liên tục tai mdi diém x € S;. Nếu S¡, S›, và 5; là các tập khác rỗng và fì:i —š 8; và ƒy: 6y —> S; là các hàm, thì hàm ƒ¿ o ƒ\ : S¡ —> S¿ được xác định bởi (foo fi)(x) = fo[fi(x)] duge goi la ham hgp cia fi va fo.

Néu f, :R" 3 R™ va fo: R™ > RP Ia lien tuc, khi d6 fyo f cing lien tục. Hàm khả vi liên tục Một hàm giá trị thực ƒ : X —› lR trong đó X C * là một tập mở được goi là khả vi liên tục nếu các đạo hàm riêng ؃(z)/Øz\,. Ôƒ(+)/Ø>„ tồn tại, với mọi z € X và là các hàm liên tục tại x. “Trong trường hợp này chúng ta viết ƒ € Œ† trên X.

Một cách tong quát, chúng ta viết ƒ € C? trên X cho một hàm ƒ : X —› R nếu tất cả các đạo hàm riêng của ƒ bậc p tồn tại và liên tục trên X. Nếu ƒ € Œ? trên R", thì chúng ta viết đơn giản là ƒ € C?. Nếu ƒ € ŒÌ trên X, gradient của f tại một điểm z € X được định nghĩa là vector cột 9/Œ) V/@)=| : Nếu ƒ € C2, ma trận Hessian của ƒ tại z được định nghĩa là ma trận đối xứng cỡ n x n có 8°ƒ(>)/Øz;Öz; là phần tử nằm ở hàng ¿ cột j, tức là: V?ƒ() = [#£@ |. Nếu f : X —> R”" trong đó X C R*", thì ƒ được biểu diễn bởi vector cột của các hàm thành phần fi, fo, fin Ale f(a) = #a() Nếu X là tập mở, chúng ta viết ƒ € C? tren X néu fy € C?,fo € ŒP,.

Chúng ta sẽ sử dụng kí hiệu Vƒ()= Vi) --- Vfn(z)): 8 Nhu vay, ma tran Vf cd nxm cé cac cot la cée gradient Vf, (x), ., Vfin()- “Thỉnh thoảng chúng ta sẽ cần xem xét các gradient của các hàm số ứng, với một biến số nào đó. Kí hiệu sẽ như sau: Nếu ƒ : R"!” —› TR là một hàm giá trị thực của (z,) trong đó x = (#i,.;) € RP, chúng ta viết 8ƒ(x) ؃(z.w) Or, Ou Vif (x,y) = : › Vuƒ(®,) = ị rs Me V„.y) «++ Vela hs Vụƒ(. Cho h: R’ + R™ vag: R" > R’, xét hàm ƒ : R" —› R” được xác định bởi ƒŒœ) = h|ø(z)]: Khi đó nếu h € ŒP và g € C?, chúng ta cũng có ƒ € C? và Vi (x) = Vọ(z)Vh|g(z)). Dinh ly giá trị trung bình và công thức Taylor Cho f : X +R, va f € C! trên tập mở X C R*".

Giả sử rằng X chứa đoạn thẳng nối hai điểm z, € X. Định lý giá trị trung bình khẳng định rằng tồn tại một số thực œ với 0 < œ < 1 sao cho f(y) = f(x) + Vƒ[z + a(y — z)Ï'(u ~ +). Nếu thêm điều kiện ƒ € 2, thì tồn tại một số thực œ với 0< œ < 1 sao cho f(y) = f(@) + Vƒ(#)(w— +) + sứ —#)'V°ƒ[z + a(w — #)Ì(u — #). 9 Cho f: X > R™ va f € CÌ trên tập mở X C R".

Giả sử X chứa đoạn thẳng nối hai điểm z,y € X. Công thức Taylor bậc nhất tại z được cho bởi phương trình 1 Sy) = f(x) + J Vfz + a(y — z)}(w — z)da. ¡ Nếu thêm điều kiện ƒ € Œ2, thì chúng ta có 1 € 10) = J&)+Vf}(w=s)+ [([(u~z)W?ftr+a(y~w)l(u~z)da)k. Định lí hàm ẩn.

Xét hệ n phương trình với rm + n biến h(z,u) =0.