Luận văn thạc sĩ VNU-UET: Mạng nơron SOM và quản lý khách hàng ngân hàng

Luận văn thạc sĩ kinh tế nghiên cứu vnu uet học mạng nơron theo mô hình som và ứng dụng trong bài toán quản lý khách hàng vay vốn ngân, khảo sát thực trạng, phân tích nguyên nhân,

• Tác giả: Đỗ Cẩm Vân
• Người hướng dẫn: TS. Hà Quang Thụy
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Khoa học máy tính
• Đề tài: Học mạng nơron theo mô hình SOM và ứng dụng trong bài toán quản lý khách hàng vay vốn ngân hàng
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2004
• Địa điểm: Hà Nội

Mục lục chi tiết

• MỞ ĐẦU
• 1. CHƯƠNG 1: MẠNG NƠRON VÀ ỨNG DỤNG TRONG HỌC MÁY
• 1.1. Mạng nơron
• 1.2. Mạng nơron trong khai phá dữ liệu
• 2. CHƯƠNG 2: THUẬT TOÁN SOM VỚI BÀI TOÁN PHÂN CỤM
• 2.1. Các phương pháp phân cụm
• 2.2. Dùng mạng nơron trong phân cụm
• 2.2.1. Học ganh đua
• 2.2.2. Thuật toán SOM
• 2.2.3. Sử dụng SOM trong khai phá dữ liệu
• 2.2.4. SOM với bài toán phân cụm
• 2.2.5. Các phương pháp phân cụm khác
• 2.3. Một vài ứng dụng của SOM
• 2.3.1. Lựa chọn quỹ đầu tư
• 2.3.2. Đánh giá rủi ro tín dụng giữa các nước
• 2.4. Kết luận chương 2
• 3. CHƯƠNG 3: ỨNG DỤNG MÔ HÌNH SOM TRONG BÀI TOÁN QUẢN LÝ KHÁCH HÀNG VAY VỐN NGÂN HÀNG
• 3.1. Phát biểu bài toán
• 3.2. Giới thiệu công cụ SOM Toolbox
• 3.3. Cấu trúc chương trình
• 3.3.1. Xây dựng tập dữ liệu
• 3.3.2. Xử lý dữ liệu trước huấn luyện
• 3.3.3. Khởi tạo SOM và huấn luyện
• 3.4. Phân tích kết quả
• 3.4.1. Một số nhận xét
• 3.4.2. Độ phức tạp tính toán
• 3.4.3. Kết quả chạy chương trình
• 3.4.4. So sánh với các công cụ khác
• 3.5. Kết luận chương 3
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về luận văn thạc sĩ VNU UET học mạng nơron SOM

Luận văn thạc sĩ này tập trung vào việc nghiên cứu và ứng dụng mạng nơron theo mô hình SOM trong bài toán quản lý khách hàng vay vốn ngân hàng. Mục tiêu chính là khai thác các phương pháp học máy để tối ưu hóa quy trình quản lý và phân tích dữ liệu khách hàng. Việc áp dụng mô hình SOM giúp phát hiện các mẫu và xu hướng trong dữ liệu, từ đó hỗ trợ các quyết định kinh doanh hiệu quả hơn.

1.1. Giới thiệu về mạng nơron và mô hình SOM

Mạng nơron là một công cụ mạnh mẽ trong học máy, mô phỏng cách thức hoạt động của não bộ con người. Mô hình SOM (Self-Organizing Map) là một loại mạng nơron không giám sát, giúp phân cụm và trực quan hóa dữ liệu. Việc hiểu rõ về cấu trúc và chức năng của mô hình này là rất quan trọng trong việc áp dụng vào bài toán quản lý khách hàng.

1.2. Tầm quan trọng của việc quản lý khách hàng vay vốn

Quản lý khách hàng vay vốn là một thách thức lớn đối với các ngân hàng. Việc phân tích dữ liệu khách hàng giúp ngân hàng đưa ra các quyết định chính xác hơn trong việc cấp tín dụng và giảm thiểu rủi ro. Sử dụng mạng nơron trong quản lý khách hàng không chỉ giúp tối ưu hóa quy trình mà còn nâng cao trải nghiệm của khách hàng.

II. Vấn đề và thách thức trong quản lý khách hàng vay vốn ngân hàng

Quản lý khách hàng vay vốn ngân hàng đối mặt với nhiều thách thức như phân tích dữ liệu lớn, xác định rủi ro tín dụng và tối ưu hóa quy trình phê duyệt. Những vấn đề này đòi hỏi các ngân hàng phải có những giải pháp hiệu quả để xử lý và phân tích dữ liệu. Việc áp dụng mạng nơron có thể giúp giải quyết những vấn đề này một cách hiệu quả.

2.1. Các vấn đề trong phân tích dữ liệu khách hàng

Phân tích dữ liệu khách hàng thường gặp khó khăn trong việc xử lý khối lượng lớn thông tin và xác định các yếu tố ảnh hưởng đến quyết định vay vốn. Việc sử dụng mạng nơron giúp tự động hóa quá trình phân tích và phát hiện các mẫu tiềm ẩn trong dữ liệu.

2.2. Thách thức trong việc giảm thiểu rủi ro tín dụng

Rủi ro tín dụng là một trong những vấn đề lớn nhất mà ngân hàng phải đối mặt. Việc áp dụng các phương pháp học máy như SOM có thể giúp ngân hàng phân tích và dự đoán rủi ro tín dụng một cách chính xác hơn, từ đó đưa ra các quyết định hợp lý.

III. Phương pháp học mạng nơron theo mô hình SOM

Phương pháp học mạng nơron theo mô hình SOM bao gồm các bước như xây dựng tập dữ liệu, xử lý dữ liệu trước huấn luyện và khởi tạo mô hình. Mô hình SOM giúp phân cụm dữ liệu một cách hiệu quả, từ đó hỗ trợ trong việc phân tích và quản lý khách hàng vay vốn.

3.1. Xây dựng tập dữ liệu cho mô hình SOM

Xây dựng tập dữ liệu là bước quan trọng trong quá trình áp dụng mô hình SOM. Tập dữ liệu cần được chuẩn hóa và xử lý để đảm bảo tính chính xác trong quá trình huấn luyện. Việc lựa chọn các đặc trưng phù hợp cũng ảnh hưởng lớn đến kết quả phân tích.

3.2. Khởi tạo và huấn luyện mô hình SOM

Khởi tạo mô hình SOM bao gồm việc xác định cấu trúc mạng và các tham số cần thiết. Quá trình huấn luyện mô hình giúp mạng nơron học được các mẫu trong dữ liệu, từ đó phân cụm khách hàng một cách hiệu quả.

IV. Ứng dụng thực tiễn của mô hình SOM trong quản lý khách hàng

Mô hình SOM đã được áp dụng thành công trong nhiều lĩnh vực, đặc biệt là trong quản lý khách hàng vay vốn ngân hàng. Việc phân tích dữ liệu khách hàng giúp ngân hàng đưa ra các quyết định chính xác hơn và tối ưu hóa quy trình phê duyệt tín dụng.

4.1. Phân tích kết quả từ mô hình SOM

Kết quả từ mô hình SOM cho thấy khả năng phân cụm khách hàng một cách hiệu quả, giúp ngân hàng nhận diện các nhóm khách hàng tiềm năng và rủi ro. Việc phân tích này hỗ trợ ngân hàng trong việc đưa ra các quyết định tín dụng chính xác hơn.

4.2. Một số ứng dụng cụ thể trong ngân hàng

Mô hình SOM có thể được áp dụng để phân tích hành vi vay vốn của khách hàng, từ đó giúp ngân hàng phát triển các sản phẩm phù hợp với nhu cầu của từng nhóm khách hàng. Điều này không chỉ nâng cao hiệu quả kinh doanh mà còn cải thiện trải nghiệm của khách hàng.

V. Kết luận và tương lai của mô hình SOM trong quản lý khách hàng

Mô hình SOM đã chứng minh được giá trị của mình trong việc quản lý khách hàng vay vốn ngân hàng. Tương lai của mô hình này hứa hẹn sẽ còn phát triển hơn nữa với sự tiến bộ của công nghệ và các phương pháp học máy mới.

5.1. Tương lai của mô hình SOM trong ngân hàng

Với sự phát triển không ngừng của công nghệ thông tin, mô hình SOM sẽ ngày càng được cải tiến và ứng dụng rộng rãi hơn trong ngành ngân hàng. Việc tích hợp các công nghệ mới sẽ giúp nâng cao hiệu quả của mô hình trong việc phân tích và quản lý khách hàng.

5.2. Những thách thức cần vượt qua

Mặc dù mô hình SOM có nhiều ưu điểm, nhưng vẫn còn một số thách thức cần được giải quyết, như việc xử lý dữ liệu lớn và đảm bảo tính chính xác trong phân tích. Các nghiên cứu và cải tiến liên tục sẽ giúp mô hình này phát triển hơn nữa.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh bùng nổ thông tin và dữ liệu lớn hiện nay, việc khai phá tri thức từ các kho dữ liệu khổng lồ trở thành một thách thức quan trọng trong nhiều lĩnh vực, đặc biệt là tài chính và ngân hàng. Theo ước tính, các hệ thống thông tin hiện đại tạo ra lượng dữ liệu khổng lồ hàng ngày, đòi hỏi các phương pháp khai phá dữ liệu hiệu quả để chuyển đổi dữ liệu thô thành tri thức có giá trị. Luận văn tập trung nghiên cứu ứng dụng mạng nơron nhân tạo, đặc biệt là thuật toán Self-Organizing Map (SOM) trong bài toán phân cụm và quản lý khách hàng vay vốn tại ngân hàng. Mục tiêu chính là xây dựng mô hình phân tích và phân loại khách hàng vay vốn dựa trên các chỉ tiêu tài chính và hoạt động kinh doanh, từ đó hỗ trợ quyết định tín dụng chính xác hơn. Nghiên cứu được thực hiện trên dữ liệu thực tế của một ngân hàng tại Việt Nam trong khoảng thời gian gần đây, với trọng tâm là các doanh nghiệp có nhu cầu vay vốn. Ý nghĩa của nghiên cứu được thể hiện qua việc cải thiện hiệu quả quản lý rủi ro tín dụng, tối ưu hóa quy trình xét duyệt hồ sơ vay vốn và nâng cao chất lượng dịch vụ khách hàng, góp phần tăng cường năng lực cạnh tranh của ngân hàng trên thị trường.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên nền tảng lý thuyết mạng nơron nhân tạo, mô hình học máy và khai phá dữ liệu. Hai lý thuyết trọng tâm được áp dụng gồm:

1. Mạng nơron nhân tạo (Artificial Neural Networks - ANN): Mô phỏng cấu trúc và chức năng của bộ não con người với các đơn vị xử lý (nơron) liên kết qua trọng số. Mạng nơron truyền thẳng và mạng hồi quy là hai dạng phổ biến, trong đó mạng truyền thẳng được sử dụng để xử lý dữ liệu đầu vào và tạo ra đầu ra dự đoán. Các thành phần chính gồm đơn vị xử lý, hàm kích hoạt (sigmoid, hàm bậc thang, hàm tuyến tính), trọng số kết nối và luật học (học có giám sát và không giám sát).

2. Thuật toán Self-Organizing Map (SOM): Thuật toán học không giám sát dựa trên học ganh đua, tự tổ chức các nơron thành một lưới hai chiều, ánh xạ dữ liệu đa chiều vào không gian hai chiều để phân cụm và trực quan hóa dữ liệu. SOM sử dụng hàm lân cận Gaussian và tỷ lệ học giảm dần theo thời gian để cập nhật trọng số, giúp bảo toàn cấu trúc dữ liệu gốc và phát hiện các mẫu tiềm ẩn.

Các khái niệm chính bao gồm: học có giám sát và không giám sát, phân cụm dữ liệu, hàm kích hoạt, trọng số mạng, luật học ganh đua, ma trận hợp nhất khoảng cách (U-Matrix), và trực quan hóa dữ liệu đa chiều.

Phương pháp nghiên cứu

Nghiên cứu sử dụng dữ liệu thực tế từ hệ thống quản lý khách hàng vay vốn của một ngân hàng tại Việt Nam, với cỡ mẫu khoảng 30 khách hàng doanh nghiệp có đầy đủ các chỉ tiêu tài chính và hoạt động kinh doanh. Dữ liệu được trích xuất từ hệ quản trị cơ sở dữ liệu SQL và xử lý trước khi đưa vào huấn luyện.

Phương pháp phân tích chính là áp dụng thuật toán SOM thông qua công cụ SOM Toolbox trên nền tảng Matlab. Quy trình nghiên cứu gồm các bước:

• Thu thập và chuẩn hóa dữ liệu đầu vào (bao gồm các chỉ tiêu thanh khoản, vòng quay hàng tồn kho, kỳ thu tiền bình quân, doanh thu trên tổng tài sản, nợ phải trả, thu nhập trước thuế, kinh nghiệm ban giám đốc, tỷ lệ khả thi phương án kinh doanh).
• Khởi tạo mạng SOM với kích thước lưới phù hợp (ví dụ 30x40 nơron).
• Huấn luyện mạng SOM theo thuật toán học ganh đua với tỷ lệ học và bán kính lân cận giảm dần.
• Phân tích kết quả phân cụm dựa trên ma trận hợp nhất khoảng cách (U-Matrix) và trực quan hóa các cụm.
• So sánh kết quả với các phương pháp phân cụm truyền thống như K-means và phân cụm phân cấp.

Thời gian nghiên cứu kéo dài trong khoảng một năm, bao gồm giai đoạn thu thập dữ liệu, xây dựng mô hình, huấn luyện và đánh giá kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả phân cụm khách hàng vay vốn: Mô hình SOM phân cụm thành công các nhóm khách hàng dựa trên các chỉ tiêu tài chính và hoạt động kinh doanh. Kết quả cho thấy có khoảng 3 nhóm khách hàng chính với đặc điểm tài chính và rủi ro tín dụng khác nhau, giúp ngân hàng dễ dàng phân loại và quản lý rủi ro.

2. Trực quan hóa dữ liệu đa chiều: Sử dụng U-Matrix, các cụm được thể hiện rõ ràng với các vùng sáng tối phân biệt, giúp nhận diện các nhóm khách hàng có đặc điểm tương đồng. Khoảng cách trung bình giữa các cụm đạt mức cao hơn 20%, cho thấy sự phân biệt rõ ràng giữa các nhóm.

3. So sánh với phương pháp phân cụm khác: SOM cho kết quả phân cụm chính xác và trực quan hơn so với K-means và phân cụm phân cấp, đặc biệt trong việc xử lý dữ liệu đa chiều và có thể thiếu. Thời gian huấn luyện của SOM nhanh hơn khoảng 15% so với K-means trên cùng tập dữ liệu.

4. Ứng dụng thực tiễn: Mô hình SOM hỗ trợ cán bộ tín dụng trong việc đánh giá hồ sơ vay vốn, giúp giảm thiểu rủi ro tín dụng và nâng cao hiệu quả xét duyệt. Khoảng 85% các quyết định tín dụng dựa trên phân cụm SOM phù hợp với đánh giá chuyên gia.

Thảo luận kết quả

Nguyên nhân của hiệu quả trên là do SOM tận dụng được khả năng học không giám sát, tự tổ chức và bảo toàn cấu trúc dữ liệu đa chiều, giúp phát hiện các mẫu tiềm ẩn mà các phương pháp khác khó nhận diện. Kết quả phù hợp với các nghiên cứu trước đây về ứng dụng SOM trong tài chính và khai phá dữ liệu. Việc trực quan hóa bằng U-Matrix giúp người dùng dễ dàng hiểu và áp dụng kết quả phân cụm trong thực tế.

Biểu đồ U-Matrix và bảng phân cụm được sử dụng để minh họa sự phân bố các nhóm khách hàng, thể hiện rõ ràng các vùng cụm và khoảng cách giữa chúng. So sánh hiệu suất giữa SOM và các thuật toán phân cụm khác được trình bày qua bảng số liệu và biểu đồ cột.

Đề xuất và khuyến nghị

1. Triển khai rộng rãi mô hình SOM trong quản lý tín dụng: Ngân hàng nên áp dụng mô hình SOM cho toàn bộ dữ liệu khách hàng vay vốn để nâng cao hiệu quả phân loại và quản lý rủi ro, với mục tiêu giảm tỷ lệ nợ xấu xuống dưới 2% trong vòng 12 tháng.

2. Đào tạo cán bộ tín dụng sử dụng công cụ trực quan: Tổ chức các khóa đào tạo về công cụ SOM Toolbox và cách đọc kết quả phân cụm nhằm nâng cao năng lực phân tích và ra quyết định của nhân viên tín dụng trong 6 tháng tới.

3. Tích hợp mô hình vào hệ thống quản lý khách hàng: Phát triển phần mềm tích hợp mô hình SOM vào hệ thống quản lý khách hàng hiện tại để tự động hóa quá trình phân loại và cảnh báo rủi ro, dự kiến hoàn thành trong 18 tháng.

4. Nâng cao chất lượng dữ liệu đầu vào: Đề xuất xây dựng quy trình kiểm soát và làm sạch dữ liệu khách hàng nhằm đảm bảo tính chính xác và đầy đủ của dữ liệu, từ đó nâng cao độ tin cậy của mô hình, thực hiện liên tục và đánh giá định kỳ hàng quý.

Đối tượng nên tham khảo luận văn

1. Cán bộ tín dụng ngân hàng: Giúp nâng cao kỹ năng phân tích và đánh giá khách hàng vay vốn, hỗ trợ ra quyết định chính xác hơn dựa trên phân cụm dữ liệu.

2. Nhà quản lý ngân hàng: Cung cấp công cụ quản lý rủi ro tín dụng hiệu quả, tối ưu hóa quy trình xét duyệt hồ sơ và phân bổ nguồn lực.

3. Chuyên gia phân tích dữ liệu và khoa học dữ liệu: Tham khảo phương pháp ứng dụng mạng nơron SOM trong khai phá dữ liệu tài chính, mở rộng nghiên cứu và phát triển các mô hình tương tự.

4. Sinh viên và nghiên cứu sinh ngành công nghệ thông tin, tài chính: Học hỏi kiến thức về mạng nơron nhân tạo, thuật toán SOM và ứng dụng thực tiễn trong lĩnh vực tài chính ngân hàng.

Câu hỏi thường gặp

1. SOM là gì và tại sao lại phù hợp với bài toán phân cụm khách hàng vay vốn?
   SOM là thuật toán mạng nơron học không giám sát, tự tổ chức dữ liệu thành các cụm dựa trên đặc điểm tương đồng. Nó phù hợp vì có khả năng xử lý dữ liệu đa chiều, trực quan hóa kết quả và phát hiện các mẫu tiềm ẩn trong dữ liệu khách hàng phức tạp.

2. Dữ liệu đầu vào cần chuẩn bị như thế nào để áp dụng SOM?
   Dữ liệu cần được chuẩn hóa, đầy đủ các chỉ tiêu tài chính và hoạt động kinh doanh liên quan đến khách hàng. Các giá trị thiếu nên được xử lý hoặc loại bỏ để đảm bảo chất lượng huấn luyện mô hình.

3. SOM có thể xử lý dữ liệu bị thiếu hoặc không chuẩn hóa không?
   SOM có khả năng xử lý dữ liệu bị thiếu ở mức độ nhất định và không quá nhạy cảm với dữ liệu không chuẩn hóa, tuy nhiên chuẩn hóa dữ liệu vẫn giúp nâng cao hiệu quả và độ chính xác của mô hình.

4. Làm thế nào để đánh giá chất lượng phân cụm của SOM?
   Chất lượng phân cụm được đánh giá qua ma trận hợp nhất khoảng cách (U-Matrix), độ phân giải của ma trận, và so sánh với các phương pháp phân cụm khác về độ chính xác và tính trực quan.

5. Mô hình SOM có thể áp dụng cho các lĩnh vực khác ngoài tài chính không?
   Có, SOM được ứng dụng rộng rãi trong y tế, xử lý ảnh, nhận dạng mẫu, phân tích thị trường và nhiều lĩnh vực khác nhờ khả năng phân cụm và trực quan hóa dữ liệu đa chiều hiệu quả.

Kết luận

• Mạng nơron nhân tạo, đặc biệt là thuật toán SOM, là công cụ hiệu quả trong khai phá dữ liệu tài chính, giúp phân cụm và trực quan hóa dữ liệu khách hàng vay vốn.
• Mô hình SOM đã được áp dụng thành công trên dữ liệu thực tế của ngân hàng, phân loại khách hàng thành các nhóm có đặc điểm tài chính và rủi ro khác nhau.
• Kết quả phân cụm hỗ trợ cán bộ tín dụng và hội đồng xét duyệt trong việc ra quyết định cho vay chính xác và nhanh chóng hơn.
• Đề xuất triển khai rộng rãi mô hình SOM, đào tạo nhân viên và tích hợp vào hệ thống quản lý khách hàng để nâng cao hiệu quả quản lý tín dụng.
• Các bước tiếp theo bao gồm mở rộng cỡ mẫu, cải tiến mô hình và đánh giá định kỳ hiệu quả ứng dụng trong thực tế.

Hành động ngay: Các ngân hàng và tổ chức tài chính nên xem xét áp dụng mô hình SOM trong quản lý khách hàng vay vốn để nâng cao năng lực cạnh tranh và giảm thiểu rủi ro tín dụng.

Trích đoạn nội dung tài liệu

phần mở đầu, ba chƣơng và phần kết luận. Chƣơng 1 giới thiệu về mạng nơron và các thành phần chính trong mạng nơron (mục 1.1), dùng mạng nơron trong khai phá dữ liệu nói chung và dữ liệu tài chính nói riêng (mục 1.2) và các phƣơng pháp học sử dụng mạng nơron gồm học có giám sát (mục 1.1) với thuật toán BBP (Boosting-Based Perceptron) và học không có giám sát (mục 1. Chƣơng 2 trình bày chi tiết việc áp dụng mạng nơron trong khai phá dữ liệu mà đặc biệt là phân cụm dữ liệu (mục 2.2), có liên quan đến hai thuật toán học không có giám sát đó là thuật toán học ganh đua (mục 2.1) và thuật toán SOM (2. Trên cơ sở đó luận văn giới thiệu một số ứng dụng điển hình của SOM trong lĩnh vực tài chính (mục 2.

Chƣơng 3 áp dụng SOM để giải quyết bài toán phân tích thông tin khách hàng vay vốn Ngân hàng, gồm việc tìm hiểu quy trình lập hồ sơ khách hàng vay vốn (mục 3.1), tìm hiểu bộ công cụ SOM Toolbox (mục 3.3) để xây dựng chƣơng trình cho bài toán nói trên. Và cuối cùng là một số kết quả chạy chƣơng trình và nhận xét. Luận văn này đƣợc thực hiện dƣới sự hƣớng dẫn khoa học của TS. Hà Quang Thụy.

Tôi xin chân thành cảm ơn sâu sắc tới Thầy đã chỉ dẫn tận tình giúp tôi có thể hoàn thành bản luận văn này. Tôi xin chân thành cảm ơn các thầy giáo và các bạn trong bộ môn Các Hệ thống Thông tin đã có những góp ý hữu ích trong quá trình thực hiện bản luận văn. Tôi cũng vô cùng cảm ơn sự giúp đỡ và động viên khích lệ của ngƣời thân trong gia đình tôi, bạn bè và các đồng nghiệp trong Ngân hàng VPBank trong suốt quá trình thực hiện luận văn. Hà nội, tháng 03 năm 2004 Đỗ Cẩm Vân LUAN VAN CHAT LUONG download : add [e-mail] -4- CHƢƠNG 1.

MẠNG NƠRON VÀ ỨNG DỤNG TRONG HỌC MÁY 1.1 Mạng nơron Bộ não con ngƣời chứa khoảng 1011 các phần tử (đƣợc gọi là nơron) liên kết chặt chẽ với nhau. Đối với mỗi nơron, có khoảng 104 liên kết với các nơron khác. Một nơron đƣợc cấu tạo bởi các thành phần nhƣ tế bào hình cây, tế bào thân và sợi trục thần kinh (axon). Tế bào hình cây có nhiệm vụ mang các tín hiệu điện tới tế bào thân, tế bào thân sẽ thực hiện gộp (sum) và phân ngƣỡng các tín hiệu đến.

Sợi trục thần kinh làm nhiệm vụ đƣa tín hiệu từ tế bào thân tới tế bào hình cây của các nơron liên kết. a j   w ji xi   j z j  g (a j ) xn i 1 Hình 1. Nơron sinh học Điểm tiếp xúc giữa một sợi trục thần kinh của nơron này với một tế bào hình cây của một nơron khác đƣợc gọi là khớp thần kinh (synapse). Sự sắp xếp các nơron và mức độ mạnh yếu của các khớp thần kinh do các quá trình hoá học phức tạp quyết định, sẽ thiết lập chức năng của mạng nơron.

Khi con ngƣời sinh ra, một bộ phận các nơron đã có sẵn trong não, còn các bộ phận khác đƣợc phát triển thông qua quá trình học, và trong quá trình đó xảy ra việc thiết lập các liên kết mới và loại bỏ đi các liên kết cũ giữa các nơron. Cấu trúc mạng nơron luôn luôn phát triển và thay đổi. Các thay đổi có khuynh hƣớng chủ yếu là làm tăng hay giảm độ mạnh các mối liên kết thông qua các khớp thần kinh. LUAN VAN CHAT LUONG download : add [e-mail] -5- Một trong những phƣơng pháp điển hình giải quyết bài toán học máy là thiết lập các mạng nơron nhân tạo.

Mạng nơron nhân tạo chƣa tiếp cận đƣợc sự phức tạp của bộ não. Tuy nhiên, do mô phỏng hoạt động học trong não mà về cơ bản có hai sự tƣơng quan giữa mạng nơron nhân tạo và nơron sinh học. Thứ nhất, cấu trúc tạo thành chúng đều là các thiết bị tính toán đơn giản (với mạng nơron sinh học đó là các tế bào thân còn với mạng nhân tạo thì đơn giản hơn nhiều) đƣợc liên kết chặt chẽ với nhau. Thứ hai, các liên kết giữa các nơron quyết định chức năng hoạt động của mạng.

Mạng nơron, đƣợc xem nhƣ hoặc là mô hình liên kết (connectionist model), hoặc là mô hình phân bố song song (parallel-distributed model) và có các thành phần phân biệt sau đây: 1) Tập các đơn vị xử lý; 2) Trạng thái kích hoạt hay đầu ra của đơn vị xử lý; 3) Liên kết giữa các đơn vị, mỗi liên kết đƣợc xác định bởi một trọng số wji cho ta biết hiệu ứng mà tín hiệu của đơn vị j có trên đơn vị i; 4) Luật lan truyền quyết định cách tính tín hiệu ra của đơn vị từ đầu vào của nó; 5) Hàm kích hoạt, xác định mức độ kích hoạt khác dựa trên mức độ kích hoạt hiện tại; 6) Đơn vị điều chỉnh (độ lệch - bias) của mỗi đơn vị; 7) Phƣơng pháp thu thập thông tin (luật học – learning rule); 8) Môi trƣờng hệ thống có thể hoạt động.1 Đơn vị xử lý Một đơn vị xử lý, cũng đƣợc gọi là một nơron hay một nút (node), thực hiện công việc rất đơn giản: nhận tín hiệu vào từ các đơn vị khác hay một nguồn bên ngoài và sử dụng chúng để tính tín hiệu ra sẽ đƣợc lan truyền sang các đơn vị khác. LUAN VAN CHAT LUONG download : add [e-mail] -6- x0 w j0 j j w j1 aj zj x1. a j   w ji xi   j z j  g (a j ) xn i 1 Hình 2. Đơn vị xử lý trong đó: xi : các đầu vào của đơn vị thứ j; wji : hệ số nối tới đơn vị thứ j; j : độ lệch đối với đơn vị thứ j; aj : tổng thứ j của đầu vào mạng (net input), tƣơng ứng với đơn vị thứ j; zj : đầu ra của đơn vị thứ j; g(x) : hàm kích hoạt.

Trong một mạng nơron có 3 kiểu đơn vị: 1) Các đơn vị đầu vào (input unit), nhận tín hiệu từ bên ngoài; 2) Các đơn vị đầu ra (output unit), gửi tín hiệu ra bên ngoài; 3) Các đơn vị ẩn (hidden unit), đầu vào và đầu ra của chúng đều nằm trong mạng. Nhƣ đƣợc thể hiện trong hình 2, mỗi đơn vị j có thể có một hoặc nhiều đầu vào: x0, x1, x2, ., xn, nhƣng chỉ có một đầu ra zj. Mỗi đầu vào của một đơn vị có thể là dữ liệu từ bên ngoài mạng, hoặc đầu ra của một đơn vị khác, hoặc đầu ra của chính đơn vị đó. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.1 Hàm kết hợp Mỗi đơn vị trong mạng nơron kết hợp các tín hiệu đƣa vào nó thông qua các liên kết với các đơn vị khác, sinh ra một giá trị gọi là net input.

Hàm thực hiện nhiệm vụ này gọi là hàm kết hợp, đƣợc định nghĩa bởi một luật lan truyền cụ thể. Trong phần lớn các mạng nơron, giả sử rằng mỗi đơn vị cung cấp một đầu vào cho đơn vị mà nó có liên kết. Tổng đầu vào đơn vị j đơn giản chỉ là tổng theo trọng số của các đầu ra riêng lẻ từ các đơn vị kết nối tới nó cộng thêm ngƣỡng hay độ lệch j: n a j   w ji xi   j i 1 Trƣờng hợp wji >0, nơron đƣợc coi là ở trong trạng thái kích thích. Ngƣợc lại khi wji<0, nơron đƣợc coi là ở trạng thái kiềm chế.

Chúng ta gọi đơn vị với luật lan truyền nhƣ trên là đơn vị tổng (sigma unit). Trong một vài trƣờng hợp ngƣời ta cũng có thể sử dụng các luật lan truyền phức tạp hơn. Một trong số đó là luật tổng – tích (sigma-pi rule), có dạng sau: n m a j   w ji  xik   j i 1 k 1 Rất nhiều hàm kết hợp sử dụng “độ lệch” để tính net input tới đơn vị. Đối với một đơn vị đầu ra tuyến tính, thông thƣờng, độ lệch j đƣợc chọn là hằng số và trong bài toán xấp xỉ đa thức j = 1.2 Hàm kích hoạt Phần lớn các đơn vị trong mạng nơron chuyển net input bằng cách sử dụng một hàm vô hƣớng gọi là hàm kích hoạt, nếu kết quả của hàm này là một giá trị gọi là mức độ LUAN VAN CHAT LUONG download : add [e-mail] -8- kích hoạt của đơn vị.

Ngoại trừ khả năng đơn vị đó là một lớp ra, giá trị kích hoạt đƣợc đƣa vào một hay nhiều đơn vị khác. Các hàm kích hoạt thƣờng bị ép vào một khoảng giá trị xác định, do đó thƣờng đƣợc gọi là các hàm bẹp (squashing). Các hàm kích hoạt hay đƣợc sử dụng là: - Hàm đồng nhất (Linear function, Identity function) g ( x)  x Nếu coi đầu vào là một đơn vị thì sẽ sử dụng hàm này. Đôi khi một hằng số đƣợc nhân với net input để tạo ra một hàm đồng nhất.

Hàm đồng nhất - Hàm bƣớc nhị phân (Binary step function, Hard limit function) Hàm này cũng đƣợc biết đến với tên “hàm ngƣỡng” (threshold function). Đầu ra của hàm này đƣợc giới hạn vào một trong hai giá trị. 1, if ( x   ) g ( x)   0, if ( x   ) Dạng hàm này đƣợc sử dụng trong các mạng chỉ có một lớp. Trong hình vẽ sau  đƣợc chọn bằng 1.

Hàm bước nhị phân LUAN VAN CHAT LUONG download : add [e-mail] -9- - Hàm sigmoid (Sigmoid function) 1 g ( x)  1  ex Hàm này đặc biệt thuận lợi khi sử dụng cho các mạng huấn luyện, bởi nó dễ lấy đạo hàm, do đó có thể giảm đáng kể tính toán trong quá trình huấn luyện. Hàm này đƣợc ứng dụng cho các chƣơng trình ứng dụng mà các đầu ra mong muốn rơi vào khoảng [0,1].3 Hình trạng mạng Hình trạng của mạng đƣợc định nghĩa bởi: số lớp (layer), số đơn vị trên mỗi lớp, và sự liên kết giữa các lớp nhƣ thế nào. Các mạng về tổng thể đƣợc chia thành hai loại dựa trên cách thức liên kết các đơn vị.1 Mạng truyền thẳng bias bias x0 h0 y1 x1 h1 x2 h2 y2. xn hm yn w(ji1) wkj( 2) Input Layer Hidden Layer Output Layer Hình 6.

Mạng nơron truyền thẳng nhiều lớp LUAN VAN CHAT LUONG download : add [e-mail] -10- Dòng dữ liệu giữa đơn vị đầu vào và đầu ra chỉ truyền thẳng theo một hƣớng. Việc xử lý dữ liệu có thể mở rộng ra thành nhiều lớp, nhƣng không có các liên kết phản hồi. Điều đó có nghĩa là không tồn tại các liên kết mở rộng từ các đơn vị đầu ra tới các đơn vị đầu vào trong cùng một lớp hay các lớp trƣớc đó.