Chương 1 Kiến thức chuẩn bị 1.1 Chuẩn vectơ và chuẩn ma trận Định nghĩa 1.1 Chuẩn ∥ · ∥ trên không gian vectơ X là một ánh xạ ∥ · ∥ : X → R thỏa mãn các tính chất: 1. ∥x∥ ≥ 0 với mọi x ∈ X và ∥x∥ = 0 khi và chỉ khi x = 0, 2. ∥λ x∥ = |λ |∥x∥ với mọi x ∈ X và λ ∈ R, 3. Với p ≥ 1, chuẩn l p trên Rn của vectơ x được cho bởi công thức: s n ∥x∥ p = p ∑ |xi | p .1) i=1 Ta có một số trường hợp đặc biệt sau, • Khi p = 1: n ∥x∥1 = ∑ |xi |, (1.3) i=1 3 • Khi p = ∞: ∥x∥∞ = max |xi |.,n Với p ≥ 1, chuẩn l p trên Rn×m của ma trận A được cho bởi công thức: ∥A∥ p = sup ∥Ax∥ p .5) x∈Rn ,∥x∥ p =1 Ta quan tâm đến p = 2, khi đó ∥A∥2 = σ1 , là giá trị kỳ dị lớn nhất của A.
Ngoài ra, trên không gian Rn×m người ta cũng quan tâm đến chuẩn Frobenius: q ∥A∥F = tr(AT A), (1.6) trong đó tr(AT A) là vết của ma trận AT A, tức tổng các giá trị trên đường chéo của ma trận AT A.2 Tích vô hướng và hệ vectơ trực giao Định nghĩa 1.2 Tích vô hướng của hai vectơ x, y ∈ Rn , ký hiệu bởi ⟨x, y⟩, được định nghĩa là n ⟨x, y⟩ = xT y = ∑ xi yi .7) i=1 Ta dễ thấy p ∥x∥2 = ⟨x, x⟩.4 Hai vectơ x, y ∈ Rn được gọi là vuông góc (hay trực giao) với nhau, và được ký hiệu là x ⊥ y, nếu ⟨x, y⟩ = 0 (1.11) Do đó, nếu x ⊥ y thì ∥x + y∥22 = ∥x∥22 + ∥y∥22 .5 Một hệ các vectơ khác không S trong không gian vectơ Rn được gọi là hệ trực giao nếu các vectơ của hệ đôi một vuông góc với nhau, tức là với mọi x, y ∈ S và x ̸= y thì ⟨x, y⟩ = 0. Hơn nữa, nếu với mọi x ∈ S thỏa mãn ∥x∥2 = 1 thì hệ được gọi là trực chuẩn.3 Giá trị riêng và vectơ riêng Định nghĩa 1.6 Giả sử ma trận A ∈ Cn×n. Số λ ∈ C được gọi là giá trị riêng của A nếu tồn tại vectơ x ∈ Cn , x ̸= 0, sao cho Ax = λ x. Vectơ x được gọi là vectơ riêng ứng với giá trị riêng λ .7 Cho ma trận A ∈ Cn×n.
Nếu tồn tại ma trận khả nghịch X và ma trận đường chéo Λ sao cho A = XΛX −1 thì nói ma trận A chéo hóa được và nói ma trận X làm chéo hóa ma trận A. Trường hợp X là ma trận trực giao (X −1 = X T ) thì nói ma trận A chéo hóa trực giao được và nói X làm chéo hóa trực giao ma trận A. Từ A = XΛX −1 suy ra AX = XΛ hay λ1 λ2 = x1 A x1 x2 .13) Điều này cho thấy nếu xi là cột thứ i của ma trận X và λi là phần tử thứ i của ma trận đường chéo Λ thì Axi = λi xi. Do đó cột thứ i của ma trận X là một vectơ riêng của A và phần tử thứ i của Λ là giá trị riêng tương ứng.1 Nếu ma trận A ∈ Rn×n đối xứng (AT = A) thì A có n giá trị riêng thực và n vectơ riêng trực chuẩn tương ứng.
Chứng minh: Xem Định lý 8. Từ định lý trên ta dễ thấy: ma trận A ∈ Rn×n chéo hóa trực giao được khi và chỉ khi là A đối xứng. Thật vậy, nếu A đối xứng suy ra A có n giá trị riêng thực và n vectơ riêng trực chuẩn tương ứng và do đó A chéo hóa trực giao được. Ngược lại, nếu A chéo hóa trực giao được, tức là tồn tại ma trận trực giao X và ma trận đường chéo Λ sao cho A = XΛX T suy ra AT = (XΛX T )T = XΛX T = A hay A đối xứng.4 Không gian cột, không gian nghiệm và hạng của ma trận Định nghĩa 1.8 Cho ma trận A ∈ Rm×n , không gian cột của A ký hiệu là range(A) được xác định bởi range(A) = {y ∈ Rm |y = Ax với x ∈ Rn }, (1.14) không gian nghiệm của A ký hiệu là null(A) được xác định bởi null(A) = {x ∈ Rn |Ax = 0}, (1.15) và hạng của A, ký hiệu là rank(A), bằng số chiều của không gian con range(A) rank(A) = dim(range(A)).16) Ta có các tính chất sau (Xem trang 50 sách [8]): rank(A) = rank(AT ) và dim(null(A)) + rank(A) = n.5 Khai triển kỳ dị (SVD) Định nghĩa 1.9 Cho ma trận A ∈ Rm×n.
Khi đó, một phân tích giá trị kì dị của A được xác định bởi A = UΣV T , (1. , um ] ∈ Rm×m là ma trận trực giao trong đó các cột xác định m vectơ riêng trực chuẩn của AAT , còn được gọi là vectơ kỳ dị trái, 2. , vn ] ∈ Rn×n là ma trận trực giao trong đó các cột xác định n vectơ riêng trực chuẩn của AT A , còn được gọi là vectơ kỳ dị phải, 3. , p là các giá trị kỳ dị của A, Bộ ba σi , ui , vi được gọi là bộ ba kỳ dị thứ i của A.2 Cho ma trận A ∈ Rm×n.
Khi đó, luôn tồn tại Khai triển kỳ dị của ma trận A. Hơn nữa ta có các tính chất sau 1. A = ∑ri=1 ui σi vTi được gọi là dạng phân rã kép của A, 2. , ur ⟩ và null(A) = ⟨vr+1 ,.
, p là các giá trị riêng của cả AT A và AAT , 5. Avi = σi ui và AT ui = σi vi , Chứng minh: Xem các Định lý 5.3 Với mọi k thỏa mãn 0 ≤ k ≤ r, đặt k Ak = ∑ ui σi vTi (1.19) i=1 thì argmin ∥A − B∥ p = Ak , (1.20) B∈Rm×n ,rank(B)=k hay Ak là xấp xỉ hạng k tốt nhất của A. Hơn nữa ta có: q ∥A − Ak ∥F = 2 + .22) Chứng minh: Xem các Định lý 5.6 Phép chiếu Định nghĩa 1.10 Cho ma trận P ∈ Rn×n , và các không gian con S1 = range(P), S2 = null(P). Nếu P2 = P thì ta nói P là một phép chiếu trong không gian Rn lên S1 dọc theo S2.
Hơn nữa nếu S1 ⊥ S2 (với mọi x ∈ S1 , với mọi y ∈ S2 , x ⊥ y) thì phép chiếu P được gọi là phép chiếu trực giao. Ta có (I − P)2 = I − 2P + P2 = I − P nên I − P cũng là một phép chiếu và ta gọi nó là phép chiếu bù của P.4 Nếu ma trận P ∈ Rn×n là một phép chiếu thì range(I − P) = null(P). Chứng minh: Với mọi x ∈ null(P) ta có Px = 0 suy ra (I − P)x = x hay x ∈ range(I − P). Ngược lại, với mọi x ta có P(I − P)x = Px − P2 x = 0 suy ra (I − P)x ∈ null(P) hay với mọi y ∈ range(I − P) ta có y ∈ null(P).
Từ hai điều trên suy ra range(I − P) = null(P).5 Một phép chiếu P là trực giao khi và chỉ khi PT = P. Chứng minh: Xem Định lý 6.1 Cho Q ∈ Rm×n với các cột là các vectơ đơn vị trực giao với nhau thì P = QQT là một phép chiếu trực giao. Chứng minh: Ta có P2 = QQT QQT = QQT = P, do đó P là một phép chiếu. Hơn nữa PT = (QQT )T = QQT = P suy ra điều phải chứng minh.7 Phân tích QR Định nghĩa 1.11 Cho A ∈ Rm×n với m ≥ n.
Phân tích A = QR, trong đó Q ∈ Rm×m gồm m vectơ trực giao, R ∈ Rm×n là ma trận tam giác trên (ri j = 0 với mọi i > j), được gọi là phân tích QR đầy đủ. Gọi Q̂ ∈ Rm×n gồm n vectơ bên trái của Q và R̂ ∈ Rn×n gồm n hàng đầu tiên của R. Khi đó ta có A = Q̂R̂ và được gọi là phân tích QR rút gọn.6 Mọi A ∈ Rm×n (m ≥ n) đều có phân tích QR đầy đủ, và do đó cũng có phân tích QR rút gọn. Chứng minh: Xem Định lý 7.7 Với A ∈ Rm×n (m ≥ n), giả sử rank(A) = n thì có duy nhất phân tích QR rút gọn A = Q̂R̂ với rii > 0.
Chứng minh: Xem Định lý 7.8 Vectơ ngẫu nhiên, ma trận ngẫu nhiên Khái niệm vectơ ngẫu nhiên, ma trận ngẫu nhiên cũng như các đặc trưng của chúng được xây dựng dựa trên khái niệm Đại lượng ngẫu nhiên (ĐLNN) và các đặc trưng của nó. Có rất nhiều tài liệu trình bày một cách chặt chẽ về mặt toán học khái niệm ĐLNN, chẳng hạn [14]. Ở đây, học viên xin chỉ trình bày khái quát để tiện trình bày những nội dung kiến thức ở các mục sau. Một đại lượng mà giá trị của nó là ngẫu nhiên, không dự đoán được, được gọi là một ĐLNN.
Giá trị trung bình mẫu X là một ước lượng không chệch kỳ vọng của ĐLNN X, E(X) ≈ X. Kỳ vọng có một số tính chất sau: • E(C) = C với C là một hằng số, • E(CX) = C.E(Y ) với X,Y độc lập. Phương sai của ĐLNN X được xác định theo công thức Var(X) = E[(X − E(X))2 ].23) Hai ĐLNN X và Y có hiệp phương sai cov(X,Y ) = E[(X − E(X))(Y − E(Y ))].25) cov(X,Y ) = 0, với X,Y độc lập. Nếu ĐLNN X có phân bố chuẩn, ký hiệu X ∼ N(µ, σ 2 ), thì: E(X) = µ, (1.
Thông thường, sai số của một phép đo là một ĐLNN có phân bố chuẩn với kỳ vọng µ = 0.12 Vectơ ngẫu nhiên là vectơ của các biến ngẫu nhiên. , Xn )T trong đó Xi , i = 1, 2, .13 Kỳ vọng của vectơ ngẫu nhiên x = (X1 , X2 ,. , Xn )T là vectơ E(x) = (E(X1 ), E(X2 ),. , an ], trong đó ai ∈ Rm với i = 1, 2,.
, n là các vectơ ngẫu nhiên được gọi là một ma trận ngẫu nhiên.15 Kỳ vọng của ma trận ngẫu nhiên A = [a1 , a2 ,. , an ] là ma trận E(A) = [E(a1 ), E(a2 ), .8 Nếu x là vectơ ngẫu nhiên, A là ma trận ngẫu nhiên, a và b là các vectơ đã xác định, M và N là các ma trận đã xác định thì ta có: • E(Mx) = M. Chứng minh: Ta chứng minh E(Mx) = M.