CHƯƠNG 1 MỘT SỐ KIẾN THỨC CHUẨN BỊ Chương này trình bày các kiến thức cơ sở về Đại số tuyến tính; Giới thiệu về học máy. Đây là những kiến thức giúp cho việc hiểu và ứng dụng của các chương sau. Các kiến thức trong chương này được tham khảo từ các tài liệu [1], [2], [8], [10], [11]. Một số kiến thức về đại số tuyến tính 1.
Chuyển vị và Hermitian Cho A ∈ Rm×n , ta nói B ∈ Rn×m là chuyển vị (transpose) của A nếu bij = aji , ∀1 ≤ i ≤ n, 1 ≤ j ≤ m. Toán tử chuyển vị thường được ký hiệu bởi chữ T. amn Nếu A ∈ Rm×n thì AT ∈ Rn×m. Nếu AT = A thì ta nói A là một ma trận đối xứng (symmetric matrix).
Nếu A là ma trận phức, phép toán Chuyển vị liên hợp (conjugate trans- pose) thực hiện đổi vị trí và lấy liên hợp phức của các phần tử. Chuyển vị liên hợp của ma trận A được ký hiệu là AH và đọc là A Hermitian. Cho A ∈ Cm×n , ta nói B ∈ Cn×m là chuyển vị liên hợp của A nếu bij = aji ∀1 ≤ i ≤ n, 1 ≤ j ≤ m, trong đó a là liên hợp phức của a. Ví dụ: 4 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 1 + 2i 3 − 4i 1 − 2i −i A= ⇒ AH = i 2 3 + 4i 2 2 + 3i h i x= ⇒ xH = 2 − 3i −2i 2i Nếu A, x là các ma trận và véc tơ thực thì AH = AT , xH = xT.
Nếu chuyển vị liên hợp của một ma trận phức bằng chính nó, AH = A thì ta nói ma trận đó là Hermitian. Phép nhân hai ma trận Cho hai ma trận A ∈ Rm×n , B ∈ Rn×p , tích của hai ma trận được ký hiệu là C = AB ∈ Rm×p , trong đó phần tử ở hàng i cột j của ma trận C được tính bởi n X cij = aik bkj , ∀1 ≤ i ≤ m, 1 ≤ j ≤ p (1.1) k=1 Điều kiện để nhân hai ma trận là số cột của ma trận thứ nhất phải bằng số hàng của ma trận thứ hai. Trong định nghĩa trên, chúng đều bằng n. Phép nhân ma trận không có tính chất giao hoán.
Thông thường AB 6= BA, thậm chí không tồn tại vì không thỏa mãn điều kiện nhân. Phép nhân ma trận có tính chất kết hợp ABC = (AB)C = A(BC) 3. Phép nhân ma trận có tính chất phân phối đối với phép cộng. Chuyển vị của một tích thì bằng tích các chuyển vị theo thứ tự ngược lại.
Tương tự cho Hermitian của một tích. (AB)T = BT AT ; (AB)H = BH AH Theo định nghĩa trên, bằng cách coi véc tơ là trường hợp đặc biệt của ma trận, tích vô hướng của hai véc tơ (inner product) x, y ∈ Rn được định nghĩa 5 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com là n X T T x y=y x= x i yi (1.2) i=1 H Chú ý, xH y = yH x = yH x. Chúng bằng nhau khi và chỉ khi chúng là các số thực. Nếu tích vô hướng của hai véc tơ khác không mà bằng không thì chúng vuông góc với nhau.
xH x ≥ 0, ∀x ∈ Cn vì tích của một số phức với liên hợp của nó luôn là một số không âm. Phép nhân của một ma trận với một véc tơ là một véc tơ với là véc tơ hàng thứ của Ngoài ra, một phép nhân khác được gọi là Hadamard (hay element - wise) hay được sử dụng trong học máy. Tích Hadamard của hai ma trận cùng kích thước A, B ∈ Rm×n 1. Ma trận đơn vị và ma trận nghịch đảo 1.
Ma trận đơn vị Đường chéo chính của ma trận là tập hợp các điểm có chỉ số hàng và cột như nhau. Cụ thể, nếu A ∈ Rm×n thì đường chéo chính của A bao gồm {a11 , a22 ,. , app }, trong đó p = min{m, n}. Một ma trận đơn vị bậc n là một ma trận đặc biệt trong Rn×n với các phần tử trên đường chéo chính bằng 1, các phần tử còn lại bằng 0.
Ma trận đơn vị thường ký hiệu là I (Identity matrix). Nếu cần phân biệt rõ ma trận đơn vị cấp n, ta ký hiệu In cho ma trận đơn vị bậc n. Ví dụ các ma trận đơn vị bậc 3, bậc 4.3) 0 0 1 0 0 0 1 0 0 0 1 Nếu A ∈ Rm×n , B ∈ Rn×m và In là ma trận đơn vị bậc n, ta có AI = A, IB = B. Với mọi véc tơ x ∈ Rn , ta có In x = x.
6 LUAN VAN CHAT LUONG download : add luanvanchat@agmail. Ma trận nghịch đảo Cho một ma trận vuông A ∈ Rn×n , nếu tồn tại ma trận vuông B ∈ Rn×n sao cho AB = In , thì ta nói A là khả nghịch (invertible, nonsingular hoặc nondegenerate) và B được gọi là ma trận nghịch đảo (inverse matrix) của mathbf A. Nếu không tồn tại ma trận B thỏa mãn điều kiện trên, ta nói rằng ma trận A không khả nghịch (singular hoặc degenerate). Nếu A là khả nghịch, ta ký hiệu ma trận nghịch đảo của nó là A−1 .4) Ma trận nghịch đảo thường được sử dụng để giải hệ phương trình tuyến tính.
Giả sử rằng A ∈ Rn×n là một ma trận khả nghịch và một véc tơ bất kỳ b ∈ Rn. Khi đó phương trình: Ax = b (1.5) có nghiệm duy nhất là x = A−1 b. Thật vậy, nhân bên trái cả hai phương trình với A−1 , ta có Ax = b ⇔ A−1 Ax = A−1 b ⇔ x = A−1 b. Khi A không khả nghịch hay không vuông, phương trình tuyến tính có thể không có nghiệm hoặc vô số nghiệm.
Quy tắc tính ma trận nghịch đảo của ma trận tích: (AB)−1 = B−1 A−1. Một số ma trận đặc biệt 1. Ma trận đường chéo Ma trận đường chéo (diagonal matrix) là ma trận chỉ có các thành phần trên đường chéo chính là khác không. Ma trận đơn vị là ma trận đường chéo.
Một vài ví dụ khác: −1 0 h i 2 0 1 0 0 1 , , , 0 2 0 0 0 2 0 0 0 Với các ma trận đường chéo vuông, thay vì viết cả ma trận, ta có thể chỉ liệt kê các thành phần trên đường chéo. Ví dụ, một ma trận đường chéo vuông 7 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com A ∈ Rm×m được ký hiệu là diag (a11 , a22 ,. , amm ) với aii là phần tử hàng thứ i, cột thứ i của ma trận A. Tích, tổng của hai ma trận đường chéo vuông cùng bậc là một ma trận đường chéo.
Một ma trận đường chéo vuông là khả nghịch nếu và chỉ nếu mọi phần tử trên đường chéo chính là khác không. Nghịch đảo của một ma trận đường chéo khả nghịch cũng là một ma trận đường chéo. Cụ thể, (diag (a1 , a2 ,. Ma trận tam giác Một ma trận vuông được gọi là ma trận tam giác trên (upper triangular matrix) nếu tất cả các thành phần nằm phía dưới đường chéo chính bằng 0.
Tương tự, một ma trận vuông được gọi là ma trận tam giác dưới (lower triangular matrix) nếu tất cả các thành phần nằm phía trên đường chéo chính bằng 0. Các hệ phương trình tuyến tính mà ma trận hệ số có dạng tam giác thường được quan tâm vì chúng có thể được giải với chi phí tính toán thấp (low computational cost). Đó là các phương pháp thế xuôi hoặc thế ngược mà không cần dùng ma trận nghịch đảo. Định nghĩa Định thức của một ma trận vuông A được ký hiệu là det(A) hoặc det A.
Dưới đây là cách định nghĩa quy nạp định thức theo bậc n của ma trận. Với n = 1, det(A) chính là phần tử duy nhất của ma trận đó. Với một ma trận vuông bậc n > 1: a a. ann Trong đó 1 ≤ i ≤ n bất kỳ và Aij là phần bù đại số của A ứng với phần tử ở hàng i cột j.
Phần bù đại số này là một ma trận con của A nhận được từ 8 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com A bằng cách xóa hàng thứ i và cột thứ j của nó. Đây là cách tính định thức dựa trên cách khai triển hàng thứ i của ma trận. det(A) = det AT 2. , an ) thì det(A) = a1 a2.
Định thức của ma trận đơn vị bằng 1. det(AB) = det(A) det(B) với A, B là hai ma trận vuông cùng chiều. Định thức của ma trận có hàng (cột) bằng 0 thì bằng 0. Ma trận khả nghịch khi và chỉ khi định thức của nó khác 0.
Nếu một ma trận khả nghịch, định thức của ma trận nghịch đảo của nó bằng nghịch đảo định thức của nó. Tổ hợp tuyến tính, không gian sinh 1. Tổ hợp tuyến tính Cho các véc tơ khác không a1 ,. , an ∈ Rm và các số thực x1 ,.
, xn ∈ R, véc tơ b = x1 a1 + x2 a2 + · · · + xn an (1.8) được gọi là một tổ hợp tuyến tính (linear combination) của a1 ,. Xét ma trận A = [a1 , a2 ,. , an ] ∈ Rm×n và x = [x1 , x2 ,. , xn ]T , biểu thức (1.8) có thể được viết lại thành b = Ax.
Ta nói b là một tổ hợp tuyến tính các cột của A. Không gian sinh (span space) của một hệ các véc tơ là tập hợp tất cả các véc tơ có thể biểu diễn được dưới dạng tổ hợp tuyến tính của hệ đó. Ký hiệu là span (a1 ,. Nếu phương trình 0 = x1 a1 + x2 a2 + · · · + xn an (1.9) 9 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com có nghiệm duy nhất x1 = x2 = · · · = xn = 0, ta nói rằng hệ {a1 , a2 ,.
, an } là một hệ độc lập tuyến tính (linear independence). Ngược lại, nếu tồn tại xi 6= 0 sao cho phương trình trên thỏa mãn, ta nói rằng đó là một hệ phụ thuộc tuyến tính (linear dependence). Một hệ là phụ thuộc tuyến tính nếu và chỉ nếu tồn tại một véc tơ trong hệ là tổ hợp tuyến tính của các véc tơ còn lại. Tập con khác rỗng của một hệ độc lập tuyến tính là một hệ độc lập tuyến tính.
Tập hợp các cột của một ma trận khả nghịch tạo thành một hệ độc lập tuyến tính 4.