BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC HOA SEN KHOA KHOA HỌC VÀ CÔNG NGHỆ NGHIÊN CỨU MỘT SỐ KỸ THUẬT KHAI THÁC DỮ LIỆU, ỨNG DỤNG TRONG THỊ TRƯỜNG CHỨNG KHOÁN Giảng viên hướng dẫn : ThS. Phan Đình Thế Huân Nhóm sinh viên thực hiện: Trương Tấn Đức Trần Chí Lương Nguyễn Huỳnh Phương Thảo Lớp : QL071 Tháng 12 /năm 2010 BỘ GIÁO DỤC VÀ ĐÀO TẠO TRƢỜNG ĐẠI HỌC HOA SEN KHOA KHOA HỌC VÀ CÔNG NGHỆ NGHIÊN CỨU MỘT SỐ KỸ THUẬT KHAI THÁC DỮ LIỆU, ỨNG DỤNG TRONG THỊ TRƯỜNG CHỨNG KHOÁN Giảng viên hướng dẫn : ThS. Phan Đình Thế Huân Nhóm sinh viên thực hiện: Trương Tấn Đức Trần Chí Lương Nguyễn Huỳnh Phương Thảo Lớp : QL071 Tháng 12 /năm 2010 Khóa Luận Tốt Nghiệp PHIẾU GIAO ĐỀ TÀI KHÓA LUẬN TỐT NGHIỆP 1. Mỗi sinh viên phải viết riêng một báo cáo 2.
Phiếu này phải dán ở trang đầu tiên của báo cáo 1. Họ và tên sinh viên/ nhóm sinh viên đƣợc giao đề tài (sĩ số trong nhóm: 03) (1) Trương Tấn Đức MSSV: 070099 khóa: QL071 (2) Trần Chí Lương MSSV: 071176 khóa: QL071 (3) Nguyễn Huỳnh Phương Thảo MSSV: 070079 khóa: QL071 Chuyên ngành : Công nghệ thông tin Khoa : Khoa học và Công nghệ 2. Tên đề tài : Nghiên cứu một số kỹ thuật khai thác dữ liệu, ứng dụng trong thị trường chứng khoán. Các dữ liệu ban đầu: Đã tìm hiểu lĩnh vực khai thác dữ liệu (data mining).
Các yêu cầu đặc biệt: Thu thập dữ liệu chứng khoán từ sàn HoSE. Kết quả tối thiểu phải có: 1.Nắm bắt được một thuật toán trong hướng khai thác dữ liệu thời gian (time series data).Nắm bắt được kỹ thuật plug-in thuật toán vào Data mining engine của MS SQL Server 2008.Triển khai được thuật toán khai thác dữ liệu thời gian trên dữ liệu thu thập thực tế. Ngày giao đề tài: 06/09/2010 Ngày nộp báo cáo: 24/12/2010 Họ tên GV hướng dẫn 1: Phan Đình Thế Huân Chữ ký: ……………… Họ tên GV hướng dẫn 2: ………………………… Chữ ký: …. tháng … năm iii Khóa Luận Tốt Nghiệp TRÍCH YẾU Data mining hay còn được gọi là khai thác dữ liệu.
Đây là lĩnh vực rộng lớn quan tâm đến việc tìm ra tri thức nằm trong kho dữ liệu lớn. Trong đề án chuyên ngành nhóm đã tìm hiểu về lĩnh vực khai thác dữ liệu, tìm hiểu chi tiết ba thuật toán Apriori, Prefixspan, Clospan của cách tiếp cận Sequential Pattern Mining và cài đặt Apriori trên dữ liệu chứng khoán. Tiếp tục phát triển đề tài về khai thác dữ liệu ở khóa luận tốt nghiệp, nhóm đã chốt lại những điểm quan trọng của khai thác dữ liệu, thực hiện nghiên cứu sâu về các thuật toán từ sau thuật toán Clospan đến thời điểm hiện tại, cùng với các thuật toán có sẵn trong Analysis Services của Microsoft SQL Server. Sau đó, nhóm đã tìm hiểu cách cài đặt thuật toán tích hợp vào Analysis Services.
Đồng thời, nhóm tiến hành cài đặt thuật toán Apriori để có những thể nghiệm về việc cài đặt thuật toán như đã tìm hiểu. Sau cùng nhóm cài đặt thuật toán tích hợp Bide, một thuật toán được xem là bước tiến lớn từ sau thuật toán Clospan và xây dựng ứng dụng độc lập chạy thuật toán tích hợp trên dữ liệu chứng khoán. Nhằm đảm bảo dữ liệu đúng và đủ để thuật toán có thể khai thác và cho ra tri thức, nhóm đã phát triển ứng dụng tự động tải dữ liệu về từ trang web chứng khoán. iv MỤC LỤC 1.
Phân tích vấn đề. Khai thác dữ liệu. Quy trình. Khai thác dữ liệu trong thị trường chứng khoán.
Hướng chọn của nhóm. Khảo sát các thuật toán của phương pháp SPAM. Các khái niệm cơ bản. Thuật toán được trình bày.
Thuật toán Apriori. Thuật toán Bide. Khai thác dữ liệu trong MSSQL Analysis Services. Mô tả các thuật toán trong Analysis Services.
Cấu hình thuật toán tích hợp vào MSSQL Analysis Services. Cơ chế hoạt động của thuật toán tích hợp. GIẢI QUYẾT VẤN ĐỀ. Triển khai thuật toán tích hợp Apriori.
Triển khai thuật toán tích hợp Bide. Ứng dụng sử dụng thuật toán tích hợp trong MSSQL Analysis Services. KẾT QUẢ, ĐÁNH GIÁ KẾT QUẢ VÀ HƯỚNG MỞ RỘNG. Phụ lục A: Ứng dụng tải dữ liệu tự động và CSDL.
Phụ lục B: Chi tiết khảo sát các thuật toán Sequential Pattern Mining. Phụ lục C: Mô tả chức năng các lớp và hàm. 91 TÀI LIỆU THAM KHẢO. 97 Khóa Luận Tốt Nghiệp LỜI CẢM ƠN Nhóm xin gửi lời cảm ơn đến nhà trường, khoa Khoa học và Công nghệ đã tạo điều kiện cho nhóm hoàn thành khóa luận tốt nghiệp này.
Hơn nữa, nhóm xin chân thành cảm ơn giảng viên hướng dẫn là thầy Phan Đình Thế Huân. Thầy đã cung cấp các tài liệu cần thiết, liên kết các trang chuyên đề về lĩnh vực khai thác dữ liệu và tận tình theo dõi, cố vấn hướng đi cho nhóm trong thời gian thực hiện khóa luận. Qua việc thực hiện khóa luận này, nhóm đã có cơ hội tìm hiểu về một lĩnh vực khai thác dữ liệu còn mới lạ và đầy tìm năng, cũng như có thêm kiến thức về Analysis Servives. Nhóm đã rút ra được những kinh nghiệm về nghiên cứu và phát triển sản phẩm cho riêng mình và học hỏi được cách thức làm việc nhóm một cách hiệu quả.
Chân thành cảm ơn. vi Khóa Luận Tốt Nghiệp NHẬN XÉT CỦA GIẢNG VIÊN HƢỚNG DẪN ---------------------------------------------------------------------------------------------------------------- ---------------------------------------------------------------------------------------------------------------- ---------------------------------------------------------------------------------------------------------------- ---------------------------------------------------------------------------------------------------------------- ---------------------------------------------------------------------------------------------------------------- ---------------------------------------------------------------------------------------------------------------- ---------------------------------------------------------------------------------------------------------------- ---------------------------------------------------------------------------------------------------------------- ---------------------------------------------------------------------------------------------------------------- ---------------------------------------------------------------------------------------------------------------- ---------------------------------------------------------------------------------------------------------------- ---------------------------------------------------------------------------------------------------------------- ---------------------------------------------------------------------------------------------------------------- ---------------------------------------------------------------------------------------------------------------- ---------------------------------------------------------------------------------------------------------------- ---------------------------------------------------------------------------------------------------------------- ---------------------------------------------------------------------------------------------------------------- Giảng viên hướng dẫn ký tên vii Khóa Luận Tốt Nghiệp DANH MỤC HÌNH Hình 2.1 CSDL chứng khoán .2 Quy trình khai thác dữ liệu của một hệ thống khai thác dữ liệu .3 Liên kết của Cafef có lưu trữ dữ liệu chứng khoán .4 CSDL chứng khoán của sàn HOSE .5 CSDL chứng khoán về đặt lệnh của sàn HOSE (HOSE_ORDER) .6 Các hướng tiếp cận để khai thác dữ liệu chuỗi thời gian .7 Mô hình biểu hiện xu hướng dao động theo thời gian .8 Quá trình phát triển của SPAM đến thời điểm năm 2003 .9 Bước tìm bộ dữ liệu thỏa độ phổ biến .10 Tập các chuỗi đóng sau khi sử dụng Bide .11 Tri thức tìm được của Microsoft Naïve Bayes .12 Dữ liệu đầu vào của Microsoft Naïve Bayes .13 Tab Dependency Network của Microsoft Decision Trees .14 Hình minh hoạ xử lý phân tích kết hợp của Microsoft Decision Trees .15 Tri thức tìm được của Microsoft Decision Trees .16 Mô hình minh hoạ dữ liệu đầu vào của Microsoft Clustering.17 Tri thức tìm được của Microsoft Clustering .18 Tri thức tìm được của Microsoft Neural Network .19 Tương tác giữa AS Server và thuật toán tích hợp .20 Tạo Key cho khung Shell .21 Chọn Server Name .22 Thuật toán tích hợp được thể hiện trong danh sách .23 Các thành phần khai thác dữ liệu của SQL Server .24 Sơ đồ dòng dữ liệu giữa thuật toán tích hợp và bộ phiên dịch .1 Kết quả khai thác bộ dữ liệu của Apriori thể hiện bởi Debug.2 Các gói APIs hỗ trợ khai thác dữ liệu của Microsof cung cấp .3 Các đối tượng AMO có thể thao tác .4 Các đối tượng ADOMD.NET có thể thao tác .5 CSDL được dùng để khai thác .6 Giao diện Tab Transactions của ứng dụng .7 Giao diện Tab Itemsets của ứng dụng .8 Giao diện Tab Rules của ứng dụng .1 Trang web dữ liệu chứng khoán của Cafef trên sàn HOSE .2 Trang web thống kê đặt lệnh của Cafef trên sàn HOSE .3 Trang web các công ty lên sàn của Cafef .4 Sơ đồ toàn cục của CSDL.5 Giao diện chương trình Import. 82 viii Khóa Luận Tốt Nghiệp DANH MỤC BẢNG Bảng 2.2 CSDL dạng chuỗi .3 Bộ dữ liệu thỏa min_sup .6 Các chuỗi có chiều dài-1 thỏa min_sup .7 CSDLC của A, B và C .12 CSDLC của AA, AB và AC.13 BackScan của AA .14 BEI của AA .15 BackScan của AB .16 BEI của AB .17 LFI của AB .18 FEI của AB .19 CSDLC của ABB, ABC .20 BackScan của ABB .21 BEI của ABB.22 BackScan của ABC .23 BEI của ABC.24 BackScan của AC .29 CSDLC của CA, CB, CC .30 BackScan của CA .31 BEI của CA .32 LFI của CA .33 CSDLC của CAB, CAC .34 BackScan của CAB .35 BEI của CAB.36 LFI của CAB .37 CSDLC của CABC .38 BackScan của CABC .39 BEI của CABC. 43 ix Khóa Luận Tốt Nghiệp Bảng 2.40 BackScan của CAC .41 BackScan của CB .42 BEI của CB .43 LFI của CB .44 CSDLC của CBC .45 BackScan của CBC .46 BackScan của CC .1 Tỷ lệ các giá .2 Tỷ lệ mua và bán .1 VnIndex: thống kê điểm của VnIndex .2 HOSE: thống kê các loại giá, giao dịch của các cổ phiếu .3 VnIndex_Order: thống kê việc đặt lệnh của VnIndex .4 Tickers: danh sách các doanh nghiệp .5 HOSE_Order: thống kê việc đặt lệnh của các cổ phiếu .6 Html Element ID cần lưu ý của trang lịch sử giá .7 Html Element ID cần lưu ý của trang thống kê đặt lệnh.8 HOSE_Order: thống kê việc đặt lệnh của các cổ phiếu .9 Lớp khung Metadata.10 Lớp khung Algorithmnavigator.11 Lớp khung Algorithm.12 Lớp tự tạo Node.13 Lớp tự tạo Itemset.14 Lớp tự tạo Rule.15 Lớp tự tạo SDB.16 Lớp tự tạo Factory.17 Lớp tự tạo AlgorithmFactory.18 Lớp tự tạo StoreAlgorithm.19 Lớp tự tạo AprioriAlgo.20 Lớp tự tạo BideAlgo.21 Hai lớp sử dụng AMO và ADOMD.22 Các hàm của lớp AnalysisService.