Chương 1 Một số kiến thức chuẩn bị 1. [2] Ma trận cỡ m × n là một bảng gồm mn số thực được sắp xếp thành m dòng và n cột. Ma trận thường được kí hiệu như sau a11 a12 a13 · · · ··· ··· a1n a21 a22 a23 · · · · · · · · · a2n A=. am1 am2 a13 · · · · · · · · · amn hoặc a a12 a13 ··· ··· ··· a1n 11 ··· ··· ··· a21 a22 a23 a2n A= .
am1 am2 a13 ··· · · · · · · amn hoặc A = (aij )m×n , trong đó aij là phần tử của ma trận nằm trên dòng i, cột j, với i = 1, 2,. Khi m = n, ta gọi ma trận cỡ m × m là ma trận vuông cấp m. , amm nằm trên một đường thẳng được gọi đường chéo chính của ma trận. [2] Ma trận đơn vị cấp n là ma trận vuông cấp n có mọi phần tử nằm trên đường chéo chính bằng 1, các phần tử khác bằng 0.
Ta ký hiệu ma trận đơn vị cấp n bởi In và nó có dạng như sau 1 0 ··· 0 ··· 0 0 1 In = . 1 Trong trường hợp không cần chú ý đến cấp của ma trận, ta ký hiệu ma trận đơn vị bởi I. [1] Ma trận đường chéo là ma trận vuông có các phần tử nằm trên đường chéo chính khác 0, các phần tử nằm ngoài đường chéo chính bằng 0. Ma trận đường chéo có dạng như sau a11 0.
amm Ma trận chỉ có một dòng được gọi là vector dòng. Ma trận chỉ có một cột được gọi là vector cột. [3] Ma trận vuông A cấp n được gọi là ma trận khả nghịch nếu tồn tại một ma trận A′ vuông cấp n thỏa mãn AA′ = A′ A = In. Ma trận A được gọi là ma trận nghịch đảo của ma trận A, và được ký hiệu là A−1 Định nghĩa 1.
Ma trận chuyển vị của A, ký hiệu là AT , có dạng AT = (aji )n×m. Ma trận vuông A được gọi là ma trận đối xứng nếu AT = A, và được gọi là ma trận phản đối xứng nếu AT = −A. [2] Ma trận vuông A được gọi là ma trận trực giao nếu AT A = AAT = I Nhận xét: 2 (i) Ma trận trực giao A là khả nghịch và AT = A−1. (ii) Ma trận A trực giao khi và chỉ khi các vector cột và các vector hàng của A tạo thành các hệ trực chuẩn.
[2] Cho A là một ma trận vuông cấp n. Định thức của ma trận A, ký hiệu là det(A) hay |A| là một giá trị được xác định bằng công thức det(A) = a11 A11 + a12 A12 + · · · + a1n A1n trong đó Aik = (−1)i+k det (Mik ), với Mik là ma trận vuông cấp n − 1 nhận được từ ma trận A bằng cách bỏ đi dòng thứ i và cột thứ k. Đại lượng Aik được gọi là phần bù đại số của aik. Nhận xét: - Định thức cấp một: Nếu A =(a11 ) thì det(A) = a11.
a b - Định thức cấp hai: Nếu A = thì det(A) = ad − bc. Khi đó, các phần tử nằm trên giao của s dòng và s cột của ma trận A sẽ lập nên các ma trận vuông cấp s, ta gọi đó chính là các ma trận con cấp s của A. Định thức của các ma trận này được gọi là định thức con cấp s của ma trận A. [2] Định thức con cấp cao nhất, khác 0 của ma trận A được gọi là định thức con cơ sở của ma trận A.
Một ma trận A có thể có nhiều định thức con cơ sở cùng cấp. Hạng của ma trận A là cấp của định thức con cơ sở. Ký hiệu hạng của ma trận A là rank(A). Nhận xét: Cho A là ma trận cấp m × n, B là ma trận cấp n × l.
[7] Một hàm số f : Rn → R được gọi là một chuẩn nếu nó thỏa mãn ba điều kiện sau đây: 3 1. Dấu bằng xảy ra ⇔ x = 0. f (x1 ) + f (x2 ) ≥ f (x1 + x2 ), ∀x1 , x2 ∈ Rn Điều kiện thứ nhất là dễ hiểu vì khoảng cách không thể là một số âm. Hơn nữa, khoảng cách giữa hai điểm y và z bằng 0 khi và chỉ khi hai điểm đó trùng nhau, tức x = y − z = 0.
Điều kiện thứ hai cũng có thể được lý giải như sau. Nếu ba điểm y, v và z thẳng hàng, hơn nữa v − y = α(v − z) thì khoảng cách giữa v và y gấp |α| lần khoảng cách giữa v và z. Điều kiện thứ ba chính là bất đẳng thức tam giác nếu ta coi x1 = y − w, x2 = w − z với w là một điểm bất kỳ trong cùng không gian. Có 2 hai chuẩn của vector thường được đùng là 1.2) Tổng quát với p là một số không nhỏ hơn 1 bất kỳ, hàm số: 1 ∥x∥p = (|x1 |p + |x2 |p + .3) đã được chứng minh thỏa mãn ba điều kiện của chuẩn.
[7] Với một ma trận A ∈ Rm×n , chuẩn thường được dùng nhất là chuẩn Frobenius, ký hiệu là ∥A∥F , là căn bậc hai của tổng bình phương tất cả các phần tử của nó: v u m X n uX ∥A∥F = t a2ij i=1 j=1 Định nghĩa 1. [7] Chuẩn 2 của một ma trận A ∈ Rm×n ký hiệu là ∥A∥2 và được định nghĩa như sau: r ∥Ax∥2 xT AT Ax ∥A∥2 = max = max , với x ∈ Rn ∥x∥2 xT x Định nghĩa 1.2 Vector riêng- Giá trị riêng Định nghĩa 1. [6] Cho A là ma trận vuông cấp n. Khi đó đa thức bậc n của biến λ được xác định như sau a11 − λ a12.
ann − λ được gọi là đa thức đặc trưng của ma trận A. Các nghiệm của đa thức PA (λ) được gọi là các giá trị riêng của ma trận A. Vector u ∈ Rn được gọi là vector riêng ứng với giá trị riêng λ của ma trận A nếu thỏa Au = λu. Khi đó hệ phương trình thuần nhất x 1 .
= 0 xn có vô số nghiệm. (ii) Mỗi giá trị riêng có thể có nhiều vector riêng. (iii) Mỗi vector riêng chỉ ứng với một giá trị riêng duy nhất. (iv) Nếu λ = 0 là một giá trị riêng của ma trận A thì A không khả nghịch.
Ngược lại, nếu mọi giá trị riêng của A đều khác 0 thì ma trận A khả nghịch.3 Định lí phổ của ma trận đối xứng Định nghĩa 1. [4] Cho A là ma trận đối xứng cấp n. Khi đó: (i) Với mỗi giá trị riêng thực λ của A, tồn tại một vector riêng tương ứng u ∈ Rn sao cho Au = λu. 5 (ii) Tồn tại ma trận dường chéo D cấp n và ma trận trực giao U cấp n sao cho A = UDUT , trong đó các phần tử nằm trên đường chéo chính của D là các giá trị riêng của A, và các vector cột của U là các vetor riêng của A tương ứng với các giá trị riêng đó.
Tức là, nếu D = diag (λ1 , λ2 ,. Ta sẽ chứng minh định lí này bằng phương pháp quy nạp toán học. Trường hợp n = 1, kết quả trên đúng. Giả sử kết quả trên đúng với mọi ma trận có cấp nhỏ hơn hoặc bằng n − 1, ta sẽ chứng minh kết quả trên đúng trong trường hợp ma trận A là ma trận đối xứng cấp n.
Xét hàm số p(t) = det(tI − A). Ta có p(t) là một đa thức bậc n và được gọi là đa thức đặc trưng của ma trận A. Theo Định lí cơ bản của đại số, đa thức p(t) sẽ có n nghiệm là λ1 , λ2 ,. , λn, và ta gọi chúng là các giá trị riêng của ma trận A.
Giả sử λ là một giá trị riêng của ma trận A, ta có det(λI − A) = 0, tức ma trận (λI − A) không khả nghịch. Điều này có nghĩa là, tồn tại một vector thực, khác không u sao cho Au = λu. Ta có thể chuẩn hóa vector u sao cho uT u = 1. Khi đó, λ = uT Au là số thực.
Với λ1 là một giá trị riêng của A và u1 là một vector riêng tương ứng. Sử dụng phép trực giao hóa Gramm-Schmidt, ta có thể tìm được ma trận V1 cấp n × (n − 1) sao cho [u1 V1 ] là một ma trận trực giao. Ta có V1T AV1 là ma trận đối xứng cấp n − 1. Khi đó theo giả thiết quy nạp, ta có thể viết V1T AV1 = Q1 D1 QT1 , trong đó D1 = diag (λ2 , λ3 ,.
, λn ) là ma trận đường chéo với các phần tử nằm trên đường chéo chính là n − 1 giá trị riêng của A và Q1 là ma trận trực giao cấp (n − 1) gồm (n − 1) vector riêng của V1T AV1 tương ứng. Ta định nghĩa ma trận U1 cấp n × (n − 1) bởi U1 = V1 Q1. Khi đó U = [u1 , U1 ] là ma trận trực giao. Ta có 6 uT1 uT1 Au1 uT1 AU1 λ1 0 UT AU = A (u1 − U1 ) = = = D.
UT1 UT1 Au1 UT1 AU1 0 D1 Điều này chứng tỏ A = UDUT , với U là ma trận trực giao cấp n và D = diag (λ1 , λ2 ,. Ngoài ra, đây được gọi là phân tích giá trị riêng của ma trận A (Eigen value decom- position, EVD).4 Xác xuất thống kê Kiến thức trong phần này được tổng hợp từ [7] 1.1 Kỳ vọng Kỳ vọng (expectation) của một biến ngẫu nhiên x được định nghĩa bởi: X E[x] = xp(x) nếu x là rời rạc.1) x Z E[x] = xp(x)dx nếu x là liên tục.) là một hàm số trả về một số với mỗi giá trị x∗ của biến ngẫu nhiên x. Khi đó, nếu x là biến ngẫu nhiên rời rạc, ta có X E[f (x)] = f (x)p(x).3) x Công thức cho biến ngẫu nhiên liên tục cũng được viết tương tự. Với xác suất đồng thời, kỳ vọng của một hàm cũng được xác định tương tự: X E[f (x, y)] = f (x, y)p(x, y)dxdy.4) x,y Có ba tính chất cần nhớ về kỳ vọng: 1.