chương 1, luận văn đã trình bày một cách tổng quan về dự báo và các phương pháp dự báo. Các phương pháp dự báo bao gồm các phương pháp dự báo định tính và các phương pháp dự báo định lượng. Trong phương pháp định lượng gồm có phương pháp (mô hình) chuỗi thời gian và mô hình nhân quả. Luận văn này đã giới thiệu một cách tóm tắt quy trình các bước phân tích, dự (LUAN.VNPT TIEU LUAN MOI download : skknchat@gmail.VNPT - 20 - báo bằng mô hình chuỗi thời gian và 3 mô hình chuỗi thời gian điển hình nhất đang được ứng dụng hiện nay là mô hình làm trơn hàm mũ chuỗi thời gian, mô hình trung bình trượt tích hợp tự hồi quy và mô hình tự hồi quy véc tơ.
Trong mô hình nhân quả, luận văn đã giới thiệu nhanh các mô hình hồi quy tuyến tính và phi tuyến, và phương pháp dự báo bằng phân lớp dữ liệu. Phương pháp dự báo phân lớp dữ liệu sẽ là đối tượng nghiên cứu chính của luận văn này. Trong chương tiếp theo, luận văn sẽ tập trung trình bày phương pháp phân lớp dữ liệu sử dụng mạng nơron nhân tạo để dự báo định lượng.VNPT TIEU LUAN MOI download : skknchat@gmail.VNPT - 21 - CHƢƠNG 2. DỰ BÁO ĐỊNH LƢỢNG BẰNG PHƢƠNG PHÁP MẠNG NƠRON NHÂN TẠO 2.
Mạng nơron nhân tạo 1). Khái quát về mạng nơron Về bản chất mạng nơron nhân tạo là mô hình mô phỏng đơn giản của nơron sinh học[7]. Mạng nơron nhân tạo cũng thực hiện nhiệm vụ của mình thông qua các thao tác: nhận đầu vào từ các nơron trước nó, xử lý đầu vào bằng cách nhân mỗi đầu vào này với trọng số liên kết tương ứng và tích hợp các đầu vào thu được rồi đưa qua một hàm truyền, sau đó gửi kết quả cuối cùng cho các nơron tiếp theo hoặc đầu ra (output). Cứ như vậy các nơron này hoạt động phối hợp với nhau tạo thành hoạt động chính của mạng nơron.
Trong mạng nơron, các nơron liên kết với nhau qua các trọng số và ngưỡng. Trong quá trình huấn luyện thì giá trị các trọng số và ngưỡng được thay đổi cho phù hợp với các mẫu ở đầu vào. Ưu, nhược điểm của mạng Nơron nhân tạo - Ưu điểm: Có thể nói mạng Nơron có ưu điểm lớn nhất là khả năng học, khả năng tổng quát hóa cũng như khả năng thích ứng với rất nhiều kiểu dữ liệu khác nhau trong nhiều lĩnh vực khác nhau. Học là quá trình huấn luyện mạng nơron có khả năng nhận biết chính xác các mẫu.
Đó là quá trình ghi nhớ tri thức về các mẫu được học thông qua việc điều chỉnh các trọng số đầu vào và ngưỡng tương ứng. Tổng quát hóa là quá trình phân loại mẫu dựa trên các mẫu mà mạng đã được học. Mạng nơron có thể giải quyết các bài toán phức tạp ở nhiều lĩnh vực khác nhau. - Nhược điểm: Tuy mạng nơron có những rất nhiều ưu điểm nhưng vẫn có nhược điểm là thời gian huấn luyện lâu, còn hội tụ ở giá trị cực trị địa phương… 3).
Các ứng dụng của mạng Nơron nhân tạo Mạng nơron thích hợp với các ứng dụng so sánh và phân loại mẫu (pattern matching and classification), dự báo (prediction) và điều khiển (control). Chính vì thế mạng nơron có nhiều ứng dụng trong: (LUAN.VNPT TIEU LUAN MOI download : skknchat@gmail.VNPT - 22 - - Không gian vũ trụ: như máy bay không người lái, các chế độ bay tự động, hệ thống phát hiện sai hỏng… - Dự thoái tài chính kinh tế: Dự báo giá cả biến động, cấp số thời gian trong thị trường tài chính, các ứng dụng về điều hành vốn, dự báo thị trường ngoại hối, đánh giá rủi ro… - Hoạt động ngân hàng - Hệ thống phòng thủ: hệ thống điều khiển vũ khí dò tìm mục tiêu, nhận dạng mục tiêu, điều khiển đường đạn, xử lý và nhận dạng tín hiệu ảnh, rada… - Điện tử viễn thông: dự báo chuỗi mã, phân tích lỗi mạch tích hợp, nhận dạng chữ viết, vân tay, tiếng nói… 2. Mô hình của mạng nơron nhân tạo Một nơron là đơn vị xử lí thông tin, đó là những nguyên tắc cơ bản của quá trình hoạt động của mạng nơron. Hình 3 cho biết mô hình của một nơron.
Có 3 phần tử cơ bản của mô hình nơron như được mô tả dưới đây[7]: 1) Một tập hợp các khớp thần kinh hay mối liên kết được đặc trưng bởi trọng số của nó. Một tín hiệu đầu vào xj của khớp thần kinh j liên kết với nơron k được khuyếch đại bởi trọng số chuyển tiếp wkj. Trọng số wkj là tích cực nếu khớp liên hợp được kích thích, nó là không tích cực nếu khớp liên hợp bị kìm hãm. 2) Một bộ cộng để cộng những tín hiệu đầu vào được khuyếch đại bởi các khớp thần kinh tương ứng của nơron.
3) Một hàm kích hoạt để định ra giới hạn biên độ đầu ra của một nơron. Hàm kích hoạt còn được coi như một hàm nén, bên trong nó nén những giới hạn biên độ chấp nhận được của tín hiệu đầu ra đến một số giá trị hữu hạn nào đó. Giá trị giới hạn đầu ra bình thường của nơron là khoảng đóng [0,1] hoặc [-1,1]. Mô hình của nơron mô tả trong hình 3 bao gồm một ngưỡng ứng dụng ngoài i do đó có tác dụng làm hạn chế hàm kích hoạt đầu vào.
Mặt khác mạng lưới đầu vào của hàm kích hoạt có thể được tăng lên bởi việc dùng sự chênh lệch giới hạn hơn là dùng ngưỡng. Sự chênh lệch là sự phủ nhận ngưỡng. Trong giới hạn toán học chúng ta có thể mô tả một nơron k được viết bởi hệ phương trình: p vk wkj x j j 1 (1.VNPT TIEU LUAN MOI download : skknchat@gmail.,xp là các tín hiệu đầu vào; wk1,wk2,.,wkp là các trọng số chuyển tiếp của nơron k; uk là bộ phối hợp đầu ra tuyến tính; k là ngưỡng; (.) là hàm kích hoạt; yk là tín hiệu ra của nơron. Wk 1 x1 hàm kích hoạt đầu (.) Wk vào x2 2 vk đầu ra tổng yk.
k (ngưỡng) xk wkp trọng số chuyển tiếp Hình 3. Mô hình phi tuyến của một nơron Sử dụng ngưỡng k có hiệu quả ứng dụng biến đổi afin tới đầu ra uk của bộ phối hợp tuyến tính trong hình 3 được biểu diễn bởi : uk=vk - k (1.3) Đặc biệt sự phụ thuộc vào ngưỡng k dù là tích cực hay thụ động, mối quan hệ giữa hiệu quả mức hoạt động mội tại hoặc khả năng kích hoạt vk của nơron k và bộ phối hợp tuyến tính đầu ra uk được sửa đổi như hình 4. Lưu ý là do kết quả của biến đổi aphin, đồ thị của vk không còn đi qua gốc toạ độ.VNPT TIEU LUAN MOI download : skknchat@gmail.VNPT - 24 - Tổng mức ngưỡng k <0 kích hoạt k=0 bên trong vk k>0 0 đầu ra kết hợp phi tuyến, uk Hình 4. Kết quả biến đổi afine của ngưỡng Ngưỡng k là tham số ngoài của nơron nhân tạo k.
Chúng ta có thể tính toán nó như trong công thức 1.2 Tương đương chúng ta có thể kết hợp của công thức 1.2 thành công thức p vk wkj x j j 0 (1.5) Trong công thức 1.4 ta đã thêm vào một khớp thần kinh mới, đầu vào là x0=-1 (1.6) và trọng số của nó là wk0= k (1.7) Bởi vậy chúng ta có thể công thức hoá lại mô hình của nơron như hình 5a. Trong hình này sự ảnh hưởng của ngưỡng được thể hiện bởi hai việc : - Thêm một tín hiệu đầu vào mới cố định tại -1. - Thêm trọng số chuyển tiếp mới cân bằng với ngưỡng k.VNPT TIEU LUAN MOI download : skknchat@gmail.VNPT - 25 - Cách khác chúng ta có thể mô hình nơron như trong hình 5b với sự kết hợp cố định đầu vào x0=1và trọng số wk0=bk (bk độ chênh lệch). Mặc dù mô hình 1.6 là khác nhau nhưng tương đương về mặt toán học.
Hai mô hình phi tuyến của nơron Giá trị vào Wk wk0=k cố định 0 xo=-1 Wk x1 1 hàm kích hoạt đầu Wk (.) vào x2 2 vk đầu ra tổng yk. wkp x3 trọng số chuyển tiếp (gồm cả ngưỡng) (a) 1) Các loại hàm kích hoạt Hàm kích hoạt được biểu thị là (.), nó định nghĩa đầu ra của nơron trong giới hạn mức hoạt động của đầu vào. Nói chung người ta xác định 3 loại hàm kích hoạt cơ bản. Hàm ngưỡng: Hàm kích hoạt loại này được mô tả trong hình 5a, ta có công thức 1 nếu v>0 (1.8) (v)= 0 nếu v <0 do đó, đầu ra của nơron k dùng một hàm ngưỡng như vậy, được biểu thị 1 nếu vk >=0 yk = (1.9) 0 nếu vk <0 (LUAN.VNPT TIEU LUAN MOI download : skknchat@gmail.VNPT - 26 - vk là mức hoạt động nội tại của nơron p vk wkj x j k j 1 (1.10) Một nơron như vậy được gọi là mô hình McCulloch-Pitts do McCulloc và Pitts là những người tiên phong trong sự phát hiện này.
Trong mô hình này đầu ra của nơron nhận giá trị 1 nếu các mức nội tại là tích cực, và nhận giá trị 0 nếu khác đi. Sự phát biểu này mô tả tất cả hoặc không của mô hình McCulloc-Pitts. Giá trị vào wk0=bk Wk0 cố định xo=+1 Wk1 x1 hàm kích hoạt đầu vào x2 Wk2 (.) vk đầu ra tổng yk. x3 wkp trọng số chuyển tiếp (gồm cả độ lệch) (b) b).
Hàm phân đoạn tuyến tính, được mô tả trong hình 5b, được tính theo công thức: 1, neu v 1 2 (v) v, neu 1 2 v 1 2 (1.11) 0, neu v 1 2 với nhân tố khuyếch đại bên trong tuyến tính được giả thiết là thống nhất. Dạng này của hàm kích hoạt được coi gần giống như một máy khuyếch đại phi tuyến. Hai thuộc tính sau là dạng đặc biệt của McCulloc - Pitts: - Một bộ phối hợp tuyến tính được sinh ra nếu miền tuyến tính của thao tác được duy trì mà không gặp phải sự bão hoà. - Hàm phân đoạn tuyến tính quy về hàm ngưỡng nếu nhân tố khuyếch đại của vùng tuyến tính được làm lớn quá.VNPT TIEU LUAN MOI download : skknchat@gmail.VNPT - 27 - - Hàm sigma: Hàm sigma cũng được sử dụng trong xây dựng những mạng nơron nhân tạo.
Nó được định nghĩa như một hàm tăng dần, được xác định bởi công thức sau: 1 (v ) (1.12) 1 exp( av) ở đây a là tham số bậc của hàm sigma. Khi thay đổi tham số a chúng ta thu được hàm sigma của những giá trị bậc khác nhau. Trong những trường hợp hạn chế nào đó, khi tham số bậc tiến tới vô cùng thì hàm sigma trở thành hàm ngưỡng đơn giản.