chương 1 của luận văn đã trình bày được một số khái niệm cũng như phương pháp phân tích và dự báo tài chính. Đồng thời trong nội dung của chương còn giới thiệu những kiến thức cơ bản về thị trường chứng khoán và các phương pháp phân tích kỹ thuật trong thị trường chứng khoán. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 17 Chương 2. MỘT SỐ MÔ HÌNH TRONG BÀI TOÁN DỰ BÁO 2.1 Tổng quan về khai phá dữ liệu thời gian thực Cùng với sự bùng nổ của công nghệ thông tin làm cho kho dữ liệu của chúng ta ngày càng tăng lên một cách nhanh chóng.
Hàng ngày, chúng ta tiếp nhận nhiều thông tin từ nhiều nguồn khác nhau. Vậy làm sao để người dùng có thể chắt lọc ra những thông tin hữu ích, hiệu quả nhất trong kho dữ liệu khổng lồ đó? Khai phá tri thức từ cơ sở dữ liệu (Knowledge Discovery in Database - KDD) và khai phá dữ liệu (Data Mining- DM) được xem như một cách tiếp cận mới trong việc tìm kiếm tri thức từ các nguồn dữ liệu có sẵn. Nhờ nó mà từ những tập dữ liệu khổng lồ và hỗn tạp có thể tìm ra những tri thức hữu ích. Ngày nay, khai phá dữ liệu đang được áp dụng một cách rộng rãi trong nhiều lĩnh vực kinh doanh và đời sống khác nhau [12]: marketing, tài chính, ngân hàng và bảo hiểm, khoa học, y tế, an ninh, internet… Rất nhiều tổ chức và công ty lớn trên thế giới đã áp dụng kỹ thuật khai phá dữ liệu vào các hoạt động sản xuất kinh doanh của mình và thu được những lợi ích to lớn.1 Mô hình khai phá dữ liệu Khai phá dữ liệu là một công nghệ mạnh mẽ có tiềm năng rất lớn để giúp người dùng tập trung vào các thông tin quan trọng nhất trong kho dữ liệu của họ.
Nhờ việc khai phá dữ liệu dự đoán xu hướng và hành vi trong tương lai, cho phép các doanh nghiệp đưa ra những quyết định trong tương lai theo huđể thực hiện, quyết định kiến thức theo hướng chủ động. Việc phân tích, đưa ra những quyết định nhờ quá trình khai phá dữ liệu dựa vào phân tích dữ liệu trong quá khứ của hệ thống hỗ trợ ra quyết định. Khai phá dữ liệu giúp cho người dùng tiết kiệm thời gian trong quá trình đưa ra quyết định của mình. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 18 Vậy, Khai phá dữ liệu là một tập hợp các kỹ thuật được sử dụng để tự động khai thác và tìm ra các mối quan hệ lẫn nhau của dữ liệu trong một tập hợp dữ liệu khổng lồ và phức tạp, đồng thời cũng tìm ra các mẫu tiềm ẩn trong tập dữ liệu đó.
Khai phá dữ liệu là một bước trong bảy bước của quá trình khai phá tri thức từ CSDL. Quá trình này bao gồm [3]: 1. Làm sạch dữ liệu (data cleaning): Loại bỏ nhiễu và các dữ liệu không cần thiết. Tích hợp dữ liệu: (data integration): Tích hợp dữ liệu từ các nguồn khác nhau như: CSDL, Kho dữ liệu, file text… 3.
Trích chọn dữ liệu (data selection): trích chọn dữ liệu từ những kho dữ liệu và sau đó chuyển đổi về dạng thích hợp cho quá trình khai thác tri thức. Quá trình này bao gồm cả việc xử lý với dữ liệu nhiễu (noisy data), dữ liệu không đầy đủ (incomplete data). Chuyển đổi dữ liệu (data transformation): Các dữ liệu được chuyển đổi sang các dạng phù hợp cho quá trình xử lý. Khai phá dữ liệu(data mining): Là một trong các bước quan trọng nhất, trong đó sử dụng những phương pháp thông minh để chắt lọc ra những mẫu dữ liệu.
Ước lượng mẫu (knowledge evaluation): Quá trình đánh giá các kết quả tìm được thông qua các độ đo nào đó. Biểu diễn tri thức (knowledge presentation): Quá trình này sử dụng các kỹ thuật để biểu diễn và thể hiện trực quan cho người dùng. Khai phá dữ liệu thường có 2 nhiệm vụ chính: Mô tả (Descriptive): có nhiệm vụ mô tả về các tính chất hoặc các đặc tính chung của dữ liệu trong CSDL hiện có. Dự đoán (Predictive): có nhiệm vụ đưa ra các dự đoán dựa vào các suy diễn trên dữ liệu hiện thời.
Để thực hiện nhiệm vụ trên, trong khai phá dữ liệu ta có các phương pháp thông dụng là: Phân cụm dữ liệu, Phân lớp dữ liệu, Hồi quy và Khai phá luật kết hợp. Phân cụm (Clustering): Nhằm nhóm các đối tượng tương tự nhau trong tập dữ liệu vào các cụm sao cho các đối tượng thuộc cùng một lớp là tương đồng còn các đối tượng thuộc các cụm khác nhau sẽ không tương đồng. Phân lớp dữ liệu và hồi quy ( Classification &Regression): Nhằm dự báo nhãn lớp cho các mẫu dữ liệu trong tương lai thông qua các thuộc tính của lớp. LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 19 Khai phá luật kết hợp (Association Rule Discovery): Phương pháp này nhằm phát hiện và đưa ra các mối liên hệ giữa các giá trị dữ liệu trong CSDL.
Mẫu đầu ra của giải thuật khai phá dữ liệu là tập luật kết hợp tìm được. Một chuỗi thời gian (Time Series) là một chuỗi các quan sát theo trật tự thời gian. Chủ yếu những quan sát này được thu thập ở những khoảng thời gian rời rạc, cách đều nhau. Các mô hình chuỗi thời gian được đặc biệt áp dụng trong dự báo ngắn hạn.
Trong các bài toán dự báo nói chung và các bài toán dự báo tài chính và chứng khoán nói riêng, dữ liệu thường được biểu diễn dưới dạng chuỗi thời gian. Trong các dạng dữ liệu được phân tích thì dữ liệu chuỗi thời gian luôn thuộc tốp đầu về tính phổ biến. Khai phá dữ liệu thời gian thực ở đây được hiểu là việc khai phá dữ liệu dựa trên dữ liệu chuỗi thời gian.2 Phân lớp dữ liệu Phân lớp (Classification) là việc phân loại các mẫu thành một tập rời rạc của các nhóm có thể. Phân lớp là một quá trình gồm hai bước.
Bước thứ nhất (huấn luyện - learning) Quá trình học nhằm xây dựng một mô hình mô tả một tập các lớp dữ liệu hay các khái niệm định trước. Mô hình này được xây dựng bằng cách phân tích các thuộc tính của dữ liệu. Mỗi dữ liệu được giả thiết rằng thuộc một lớp đã định nghĩa trước, và được xác định bởi nhãn của lớp (class lable). Trong phân lớp, dữ liệu được phân tích để xây dựng một mô hình tập hợp từ tập dữ liệu huấn luyện (training data set).
Dữ liệu riêng lẻ tạo ra tập huấn luyện còn được gọi là mẫu huấn luyện (training examples) và được chọn ngẫu nhiên. Nếu các mẫu huấn luyện được đánh nhãn, bước này còn được gọi là học có giám sát (Supervised learning). Nó đối lập với học không giám sát (unsupervised learning), thường được gọi là phân cụm, trong đó nhãn cho mẫu huấn luyện là không biết và số lượng tập hợp của các lớp được học có thể không biết. Một số mô hình học thông dụng được sử dụng nhiều trong thực tế là luật kết hợp, cây quyết định (Decision tree), mạng nơ-ron, SVM… Bước thứ hai (phân lớp - classification) Bước thứ hai là sử dụng mô hình đã được xây dựng ở bước một để phân loại các mẫu dữ liệu chưa có nhãn vào lớp tương ứng.
Đầu tiên sẽ đánh giá sự chính xác khi dự đoán. Có một số cách để đánh giá sự chính xác. Cách thường được dùng là phương pháp tiếp cận holdout, nó đánh giá sự chính xác dự báo của mô hình bằng việc đo độ chính xác trên một tập các mẫu mà tập này không được phép dùng khi xây dựng mô hình. Tập như vậy được gọi là tập thử (test data set).
Những mẫu này được chọn ngẫu nhiên và độc lập với tập huấn luyện. Sự chính xác của mô hình dựa trên tập dữ liệu kiểm tra là phần trăm của tập mẫu test mà phân loại chính xác bởi mô hình. Với LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 20 mỗi mẫu thử, nhãn đã biết của lớp được so sánh với sự dự đoán của mô hình học của lớp. Để mô hình cho kết quả phân lớp tốt thì quá trình huấn luyện cũng phải đạt kết quả tốt và điều quan trọng là tập huấn luyện phải đủ lớn để dữ liệu có thể phân bổ tốt nhất có thể.
Một số phương pháp phân lớp cơ bản - Phương pháp cây quyết định. - Phương pháp Naïve Bayes. - Phương pháp k láng giềng. - Phương pháp mạng nơ-ron.
- Phương pháp máy vector hỗ trợ.3 Một số mô hình dùng trong khai phá dữ liệu thời gian thực 2.1 Mô hình mạng nơ-ron nhân tạo (ANN – Artificial Neural Network) a. Giới thiệu sơ lược về mô hình mạng nơ-ron Mạng nơ-ron sinh học Hệ thống thần kinh con người (hình 2.2) được tạo nên từ các tế bào thần kinh, thường được gọi là các nơ-ron. Mỗi nơ-ron bao gồm bốn phần: - Thân nơ-ron với nhân bên trong (gọi là soma), là nơi tiếp nhận hay phát ra các xung thần kinh. - Một hệ thống dạng cây các dây thần kinh vào (gọi là dendrite) để đưa tín hiệu tới nhân nơ-ron (cụ thể là soma) xử lý.
Bên trong soma các dữ liệu đó được tổng hợp lại (có thể xem như lấy tổng của tất cả các dữ liệu mà nơ-ron nhận được). - Đầu dây thần kinh ra được gọi là sợi trục axon. Khác với dendrites, axon có khả năng phát các xung điện thế, chúng là các dây dẫn tín hiệu từ nơ-ron đi các nơi khác. Chỉ khi nào điện thế trong soma vượt quá một giá trị ngưỡng nào đó (threshold) thì axon mới phát một xung điện thế, còn nếu không thì nó ở trạng thái nghỉ.
- Synapse là các mối nối đặc biệt để liên kết axon với các dendrites hoặc trực tiếp với nhân của các nơ-ron khác. Thông thường mỗi nơ-ron có thể có từ vài chục cho tới hàng trăm ngàn khớp nối để nối với các nơ-ron khác. Người ta ước tính mỗi nơ-ron trong bộ não của con người có khoảng 104 khớp nối.2 Mô hình nơ-ron sinh học LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 21 Chức năng cơ bản của các tế bào nơ-ron là liên kết với nhau để tạo nên hệ thống thần kinh điều khiển hoạt động của cơ thể sống. Các tế bào nơ-ron truyền tín hiệu cho nhau thông qua các dây thần kinh vào và ra, các tín hiệu đó có dạng xung điện và được tạo ra từ các quá trình phản ứng hoá học phức tạp.
Tại nhân tế bào, khi điện thế của tín hiệu vào đạt tới một ngưỡng nào đó thì nó sẽ tạo ra một xung điện dẫn tới trục dây thần kinh ra. Xung này truyền theo trục ra tới các nhánh rẽ và tiếp tục truyền tới các nơ-ron khác.