Xây dựng và Quản lý Data Warehouse trong Lĩnh vực Chứng khoán

Quản lý Data Warehouse trong lĩnh vực Chứng khoán là một chủ đề quan trọng trong… 95 trang · Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh · 2023.

• Tác giả: Hồ Ngọc Biển
• Người hướng dẫn: ThS. Nguyễn Hữu Trung
• Trường học: Trường Đại Học Sư Phạm Kỹ Thuật Thành Phố Hồ Chí Minh
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Xây Dựng Và Quản Lý Data Warehouse Lĩnh Vực Chứng Khoán
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2023
• Địa điểm: Tp. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• KẾ HOẠCH THỰC HIỆN
• DANH MỤC HÌNH ẢNH
• DANH MỤC BẢNG
• DANH MỤC TỪ VIẾT TẮT
• PHẦN MỞ ĐẦU
• 0.1. TÍNH CẤP THIẾT CỦA ĐỀ TÀI
• 0.2. MỤC TIÊU ĐỀ TÀI
• 0.3. PHƯƠNG PHÁP THỰC HIỆN
• 1. CHƯƠNG 1: XÂY DỰNG DATA WAREHOUSE
• 1.1. Tìm hiểu Data Warehouse
• 1.1.1. Data warehouse là gì?
• 1.1.2. Nguyên lý hình thành Data warehouse
• 1.2. Các đặc điểm chính của Data Warehouse
• 1.2.1. Hướng chủ đề (subject – oriented)
• 1.2.2. Được tích hợp (integrated)
• 1.2.3. Có gán nhãn thời gian (time variant)
• 1.2.4. Bất biến (non – volatile)
• 1.3. Mô hình dữ liệu đa chiều
• 1.4. Cây phân cấp
• 1.5. Kiến trúc kho dữ liệu
• 1.6. Nguồn dữ liệu
• 1.7. Tầng khai thác dữ liệu
• 1.8. Hệ thống kho dữ liệu
• 1.9. Tổ chức dữ liệu logic
• 1.9.1. Các loại lược đồ kho dữ liệu
• PHẦN KẾT LUẬN
• 0.1. NHỮNG KẾT QUẢ ĐẠT ĐƯỢC
• 0.1.1. Về kiến thức
• 0.1.2. Về kinh nghiệm
• 0.2. ƯU ĐIỂM VÀ NHƯỢC ĐIỂM
• 0.2.1. Nhược điểm
• 0.3. HƯỚNG PHÁT TRIỂN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về Quản lý Data Warehouse trong lĩnh vực Chứng khoán

Quản lý Data Warehouse trong lĩnh vực Chứng khoán là một chủ đề quan trọng trong thời đại công nghệ số. Kho dữ liệu giúp tổ chức và phân tích thông tin từ nhiều nguồn khác nhau, từ đó hỗ trợ ra quyết định đầu tư hiệu quả. Việc xây dựng và quản lý kho dữ liệu không chỉ giúp tối ưu hóa quy trình mà còn nâng cao khả năng phân tích và dự đoán xu hướng thị trường.

1.1. Khái niệm về Data Warehouse và vai trò trong Chứng khoán

Data Warehouse là một hệ thống lưu trữ dữ liệu lớn, cho phép tổ chức và phân tích thông tin từ nhiều nguồn khác nhau. Trong lĩnh vực chứng khoán, nó giúp theo dõi và phân tích các giao dịch, giá cả và xu hướng thị trường.

1.2. Lợi ích của việc quản lý Data Warehouse trong Chứng khoán

Quản lý Data Warehouse mang lại nhiều lợi ích như cải thiện khả năng ra quyết định, tối ưu hóa quy trình giao dịch và nâng cao hiệu quả phân tích dữ liệu. Điều này giúp các nhà đầu tư có cái nhìn tổng quan và chính xác hơn về thị trường.

II. Những thách thức trong Quản lý Data Warehouse lĩnh vực Chứng khoán

Mặc dù có nhiều lợi ích, việc quản lý Data Warehouse trong lĩnh vực Chứng khoán cũng gặp phải nhiều thách thức. Các vấn đề như chất lượng dữ liệu, tính bảo mật và khả năng mở rộng là những yếu tố cần được xem xét kỹ lưỡng.

2.1. Vấn đề về chất lượng dữ liệu trong Data Warehouse

Chất lượng dữ liệu là một trong những thách thức lớn nhất. Dữ liệu không chính xác hoặc không đầy đủ có thể dẫn đến những quyết định sai lầm trong đầu tư.

2.2. Tính bảo mật và rủi ro trong quản lý dữ liệu

Bảo mật dữ liệu là một yếu tố quan trọng trong quản lý Data Warehouse. Các thông tin nhạy cảm cần được bảo vệ để tránh rủi ro bị rò rỉ hoặc tấn công mạng.

III. Phương pháp xây dựng và quản lý Data Warehouse hiệu quả

Để xây dựng và quản lý Data Warehouse hiệu quả trong lĩnh vực Chứng khoán, cần áp dụng các phương pháp và công nghệ hiện đại. Việc sử dụng các công cụ ETL và phân tích dữ liệu là rất cần thiết.

3.1. Quy trình ETL trong xây dựng Data Warehouse

Quy trình ETL (Extract, Transform, Load) là bước quan trọng trong việc xây dựng Data Warehouse. Nó giúp thu thập, làm sạch và nạp dữ liệu vào kho dữ liệu một cách hiệu quả.

3.2. Sử dụng công nghệ phân tích dữ liệu trong Chứng khoán

Công nghệ phân tích dữ liệu như BI (Business Intelligence) và các công cụ trực quan hóa giúp người dùng dễ dàng truy cập và phân tích dữ liệu từ kho dữ liệu.

IV. Ứng dụng thực tiễn của Data Warehouse trong lĩnh vực Chứng khoán

Việc ứng dụng Data Warehouse trong lĩnh vực Chứng khoán đã mang lại nhiều kết quả tích cực. Các nhà đầu tư có thể theo dõi và phân tích dữ liệu một cách nhanh chóng và chính xác.

4.1. Cải thiện khả năng ra quyết định đầu tư

Data Warehouse giúp các nhà đầu tư có cái nhìn tổng quan về thị trường, từ đó đưa ra quyết định đầu tư chính xác hơn.

4.2. Tối ưu hóa quy trình giao dịch

Việc quản lý dữ liệu hiệu quả giúp tối ưu hóa quy trình giao dịch, giảm thiểu thời gian và chi phí cho các nhà đầu tư.

V. Kết luận và tương lai của Quản lý Data Warehouse trong Chứng khoán

Quản lý Data Warehouse trong lĩnh vực Chứng khoán đang ngày càng trở nên quan trọng. Tương lai của lĩnh vực này hứa hẹn sẽ có nhiều cải tiến và phát triển mới, nhờ vào sự tiến bộ của công nghệ.

5.1. Xu hướng phát triển của Data Warehouse trong Chứng khoán

Xu hướng phát triển của Data Warehouse sẽ tập trung vào việc cải thiện chất lượng dữ liệu và bảo mật thông tin, nhằm đáp ứng nhu cầu ngày càng cao của thị trường.

5.2. Tác động của công nghệ mới đến quản lý dữ liệu

Công nghệ mới như AI và Machine Learning sẽ có tác động lớn đến việc quản lý dữ liệu, giúp nâng cao khả năng phân tích và dự đoán trong lĩnh vực chứng khoán.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Thị trường chứng khoán là kênh đầu tư tài chính thu hút dòng vốn nhàn rỗi trong nền kinh tế với tiềm năng sinh lời cao nhưng cũng đi kèm với mức độ biến động liên tục. Sự gia tăng nhanh chóng về số lượng nhà đầu tư và khối lượng giao dịch dẫn đến việc phát sinh khối lượng dữ liệu khổng lồ từ các sàn giao dịch, các công ty niêm yết và từng tài khoản khách hàng. Việc quản lý thủ công hoặc sử dụng các hệ thống cơ sở dữ liệu giao dịch truyền thống (OLTP) bộc lộ sự bất cập trong việc tổng hợp, theo dõi tình hình biến động thị trường, phân tích lãi lỗ và đánh giá các chỉ số tài chính đa chiều. Xuất phát từ nhu cầu thực tiễn đó, nhóm tác giả Hồ Ngọc Biển và Nguyễn Phước Tuân, sinh viên chuyên ngành Kỹ thuật Dữ liệu, Khoa Công nghệ Thông tin, Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh (khóa 2019 – 2023) đã thực hiện khóa luận tốt nghiệp với đề tài "Xây dựng và quản lý Data Warehouse lĩnh vực chứng khoán", dưới sự hướng dẫn của ThS. Nguyễn Hữu Trung.

Theo đề cương và văn bản khóa luận, các nhiệm vụ và mục tiêu nghiên cứu cụ thể được xác định bao gồm:

1. Tìm hiểu, nghiên cứu và xây dựng kho dữ liệu (Data Warehouse) chuyên biệt cho lĩnh vực chứng khoán.
2. Tìm kiếm, khảo sát và tích hợp nguồn dữ liệu đầu vào cho kho dữ liệu từ các giao diện lập trình ứng dụng công khai (public API).
3. Xây dựng bảng điều khiển (dashboard) trực quan hóa dữ liệu từ kho dữ liệu đã thiết kế.
4. Tìm hiểu các thuật toán học máy phù hợp để phân tích và dự đoán giá chứng khoán.
5. Xây dựng, triển khai thực nghiệm mô hình học máy trên dữ liệu chuỗi thời gian và xây dựng hệ thống minh họa (demo).

Đối tượng nghiên cứu của đề tài là dữ liệu giao dịch thị trường chứng khoán Việt Nam cùng các chỉ số tài chính của các doanh nghiệp niêm yết. Về phạm vi nghiên cứu:

• Không gian và chủ thể dữ liệu: Thu thập thông tin giao dịch của các công ty niêm yết trên thị trường chứng khoán Việt Nam thành lập trước năm 2000.
• Thời gian dữ liệu: Dữ liệu lịch sử giao dịch được trích xuất trong khoảng thời gian 10 năm, từ năm 2013 đến hết năm 2022.
• Nguồn cấp dữ liệu: Các public API được cung cấp bởi Công ty Cổ phần Chứng khoán SSI và Công ty Cổ phần Chứng khoán Kỹ thương (TCBS).

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập nền tảng dựa trên các khái niệm chuyên ngành về kỹ thuật dữ liệu, kiến trúc kho dữ liệu và các thuật toán học sâu xử lý chuỗi thời gian:

• Khái niệm và đặc tính của Data Warehouse: Hệ thống tuân thủ 4 nguyên lý cơ bản của kho dữ liệu gồm Hướng chủ đề (subject-oriented), Được tích hợp (integrated), Có gán nhãn thời gian (time-variant) và Bất biến (non-volatile).
• Mô hình dữ liệu đa chiều (Multidimensional Data Model): Tổ chức dữ liệu dưới dạng khối dữ liệu (data cube/hypercube), xây dựng các mức dữ liệu (data granularity) thông qua mô hình cây phân cấp (hierarchy) từ mức chi tiết đến mức tổng hợp cao nhất ("Tất cả") nhằm phục vụ xử lý phân tích trực tuyến (OLAP).
• Kiến trúc kho dữ liệu: Mô hình kiến trúc 3 tầng bao gồm tầng thu thập và tích hợp dữ liệu (ETL), tầng trung tâm lưu trữ kho dữ liệu (kèm siêu dữ liệu kỹ thuật - technical metadata và siêu dữ liệu nghiệp vụ - business metadata), và tầng khai thác dữ liệu cho người dùng cuối (hệ thống báo cáo tĩnh và công cụ truy vấn tùy biến - ad hoc query).
• Các lược đồ dữ liệu logic: Nghiên cứu các dạng lược đồ tổ chức dữ liệu như lược đồ hình sao (Star schema), lược đồ bông tuyết (Snowflake schema), lược đồ ánh sao (Starflake schema) và lược đồ chòm sao (Fact constellation schema).
• Cơ sở lý thuyết về học máy: Tổng quan về mạng nơ-ron nhân tạo (ANN - Artificial Neural Networks) và kiến trúc mạng bộ nhớ dài-ngắn hạn (LSTM - Long Short Term Memory) chuyên dụng cho việc lưu giữ thông tin phụ thuộc dài hạn trên dữ liệu dạng chuỗi thời gian.

Phương pháp nghiên cứu thực tế được triển khai trong khóa luận bao gồm:

• Phương pháp phân tích và thiết kế hệ thống dữ liệu: Khảo sát cấu trúc dữ liệu chứng khoán, mô hình hóa lược đồ thực thể quan hệ, thiết kế cấu trúc các bảng chiều và bảng sự kiện.
• Phương pháp thống kê, tổng hợp, so sánh đối chiếu và khái quát hóa dữ liệu: Sử dụng để tiền xử lý, làm sạch và chuẩn hóa dữ liệu thô.
• Phương pháp lập trình và tích hợp hệ thống: Ứng dụng ngôn ngữ Python và thư viện Pandas để gọi API, xử lý tệp trung gian; cấu hình quy trình ETL tự động bằng công cụ Microsoft SQL Server Integration Services (SSIS).
• Phương pháp thực nghiệm mô hình hóa: Huấn luyện mạng LSTM trên tập dữ liệu lịch sử giá của các cổ phiếu ngân hàng, phân chia tập huấn luyện (Train) và tập kiểm thử (Test) để đo lường độ khớp dữ liệu.

Nguồn dữ liệu thực tế được nhóm tác giả khai thác trực tiếp từ các public API của SSI và TCBS, sau đó lưu chuyển thành các tệp cấu trúc bảng (.csv) để nạp vào hệ thống lưu trữ Microsoft SQL Server.

Thiết kế và triển khai

Hệ thống được thiết kế theo quy trình xử lý dữ liệu đầu cuối (end-to-end pipeline) từ giai đoạn thu thập dữ liệu thô, nạp vào kho dữ liệu tập trung, cho đến trực quan hóa và ứng dụng học máy dự báo:

1. Thiết kế lược đồ kho dữ liệu: Kho dữ liệu được nhóm tác giả thiết kế theo mô hình quan hệ đa chiều nhằm lưu trữ thông tin giao dịch và tài chính. Cấu trúc kho dữ liệu gồm 5 bảng chính:

Tên bảng	Loại bảng	Mô tả chức năng dữ liệu
Dim_time_trade	Bảng chiều (Dimension)	Lưu trữ thông tin thời gian theo từng ngày diễn ra giao dịch
Dim_quater_finance	Bảng chiều (Dimension)	Lưu trữ thông tin phân cấp thời gian theo quý tài chính
Dim_company	Bảng chiều (Dimension)	Lưu trữ thông tin định danh và hồ sơ tổng quan của các công ty
Fact_ratio_dinance	Bảng sự kiện (Fact)	Lưu trữ các thước đo chỉ số tài chính của công ty (chỉ số BVPS,...)
Fact_trade_history	Bảng sự kiện (Fact)	Lưu trữ chi tiết lịch sử khớp lệnh giao dịch, biến động giá và khối lượng

2. Triển khai quy trình ETL bằng SSIS: Nhóm tác giả sử dụng giải pháp Microsoft SQL Server Integration Services (SSIS) được khởi tạo qua môi trường Business Intelligence Development Studio (BIDS) / SQL Server Data Tools với các gói (package) định dạng .dtsx:

• Thiết kế các tác vụ luồng điều khiển (Control Flow) và tác vụ luồng dữ liệu (Data Flow Task).
• Tạo nguồn tệp phẳng (Flat File Source) để đọc dữ liệu từ các file CSV kết quả (quarter_finance.csv, time_trade.csv, company-overview.csv, historical_stock.csv, finance_ratio.csv).
• Thực hiện ánh xạ cột (Column Mapping) giữa thuộc tính file nguồn với cấu trúc bảng đích OLE DB Destination thuộc kho dữ liệu Microsoft SQL Server.
• Cấu hình bắt lỗi, theo dõi sự kiện qua Event Handlers và ghi nhận lịch sử nạp dữ liệu.

3. Triển khai công cụ trực quan hóa Apache Superset:

• Nền tảng Apache Superset được triển khai trên môi trường máy cục bộ (local machine) thông qua công nghệ ảo hóa container với Docker Hub image chính thức.
• Kết nối trực tiếp cơ sở dữ liệu SQL Server làm nguồn dữ liệu truy vấn cho Superset.
• Xây dựng hệ thống Dashboard hiển thị đa dạng biểu đồ:
  • Biểu đồ Stock Trading: Theo dõi diễn biến giao dịch.
  • Biểu đồ Company by group: Phân nhóm các doanh nghiệp.
  • Biểu đồ Industry Company: Phân loại cơ cấu doanh nghiệp theo ngành nghề.
  • Biểu đồ Top 10 công ty có số lượng nhân viên nhiều nhất.
  • Biểu đồ phân tích tương quan giữa quy mô nhân sự và giá trị sổ sách trên mỗi cổ phiếu (BVPS - Book Value Per Share).
  • Biểu đồ biến động lịch sử giá kết hợp khối lượng giao dịch cổ phiếu.

4. Xây dựng mô hình học máy và giao diện ứng dụng:

• Xây dựng mô hình LSTM với dữ liệu chuỗi thời gian đầu vào từ kho dữ liệu để dự báo giá đóng cửa của các mã chứng khoán ngành ngân hàng.
• Xây dựng giao diện ứng dụng Web demo cho phép người dùng quan sát trực quan đồ thị kết quả dự đoán so sánh với dữ liệu thực tế trên cả tập Train và tập Test.

Nội dung chính theo từng chương

Chương 1: Xây dựng Data Warehouse

Chương 1 tập trung trình bày toàn bộ lý thuyết nền tảng về kho dữ liệu, các công nghệ bổ trợ và quy trình hiện thực hóa kho dữ liệu chứng khoán:

• Lý thuyết Data Warehouse: Phân tích chi tiết 4 đặc trưng cốt lõi (hướng chủ đề, tích hợp, có nhãn thời gian, bất biến), phân tích mô hình dữ liệu đa chiều, cấu trúc cây phân cấp với các lát cắt dữ liệu, và phân biệt giữa hệ thống vận hành OLTP với hệ thống phân tích OLAP. Đánh giá ưu nhược điểm của các dạng lược đồ Star, Snowflake, Starflake và Fact constellation.
• Giới thiệu công nghệ SSIS: Phân tích kiến trúc gồm Data Transformation Run-time engine và DataFlow engine, cách cấu hình Package, Control Flow, Data Flow, Transformations (Merge, Sort, Aggregate, Pivot/Unpivot) và cơ chế xử lý lỗi tự động.
• Quy trình ETL: Trình bày chi tiết ba giai đoạn Trích xuất (Extract), Chuyển đổi (Transform) và Nạp (Load), phân biệt phương thức tải toàn bộ (full load) với tải tăng dần (incremental load).
• Chuẩn bị dữ liệu: Sử dụng mã nguồn Python gọi public API từ SSI và TCBS; sử dụng thư viện Pandas để đọc và trích xuất dữ liệu trong vòng từ 1 đến 2 giây cho lịch sử 1 năm của một cổ phiếu; lọc các công ty thành lập trước năm 2000 và lấy dữ liệu giao dịch trong giai đoạn 2013–2022.
• Thiết kế và nạp dữ liệu: Định nghĩa chi tiết lược đồ quan hệ gồm 3 bảng Dim và 2 bảng Fact (Bảng 1.1). Minh họa chi tiết từng bước xây dựng Data Flow Task trong SSIS để chuyển đổi lần lượt các tệp quarter_finance.csv, time_trade.csv, company-overview.csv, historical_stock.csv, finance_ratio.csv sang các bảng tương ứng trên SQL Server.

Chương 2: Trực quan hóa dữ liệu bằng Superset

Chương 2 mô tả việc xây dựng hệ thống báo cáo quản trị thông minh bằng công cụ mã nguồn mở Apache Superset:

• Tổng quan về Apache Superset: Nêu bật khả năng kết nối đa nguồn dữ liệu, giao diện trực quan hỗ trợ thiết lập bảng điều khiển linh hoạt.
• Cài đặt hệ thống: Triển khai phần mềm thông qua Docker container trên máy tính cá nhân bằng cách kéo image từ Docker Hub, đảm bảo môi trường vận hành độc lập.
• Kết nối kho dữ liệu: Cấu hình chuỗi kết nối từ Superset đến máy chủ cơ sở dữ liệu SQL Server chứa kho dữ liệu chứng khoán.
• Thiết kế hệ thống Dashboard: Xây dựng bảng điều khiển hoàn chỉnh với nhiều dạng đồ thị nghiệp vụ chuyên sâu, bao gồm:
  • Biểu đồ Stock Trading hiển thị thông số thị trường.
  • Biểu đồ phân bổ doanh nghiệp theo nhóm (Company by group) và theo phân ngành kinh tế (Industry Company).
  • Bảng xếp hạng Top 10 doanh nghiệp có số lượng lao động lớn nhất.
  • Đồ thị phân tán kiểm tra mối liên hệ tương quan giữa số lượng nhân viên của doanh nghiệp và chỉ số tài chính giá trị sổ sách trên mỗi cổ phiếu (BVPS).
  • Biểu đồ kết hợp đường và cột biểu diễn tương quan giữa diễn biến lịch sử giá và thanh khoản khối lượng giao dịch theo thời gian.

Chương 3: Dự đoán giá chứng khoán bằng Machine Learning

Chương 3 triển khai bài toán ứng dụng học máy nâng cao nhằm hỗ trợ việc ra quyết định đầu tư:

• Tổng quan bài toán: Nêu tính chất phi tuyến và biến động của dữ liệu chuỗi thời gian trong thị trường chứng khoán.
• Lý thuyết mạng nơ-ron: Giới thiệu cấu tạo của mạng nơ-ron nhân tạo cơ bản (ANN) và phân tích hạn chế của mạng truyền thẳng đối với dữ liệu chuỗi.
• Ứng dụng mô hình LSTM: Trình bày cơ chế cổng của mạng LSTM giúp khắc phục hiện tượng suy giảm đạo hàm (vanishing gradient), cho phép ghi nhớ các thông tin giá trong quá khứ dài hạn.
• Thực nghiệm trên các tập dữ liệu cổ phiếu: Thực hiện tiền xử lý chuỗi thời gian, huấn luyện mô hình và đo lường kết quả dự báo trên 5 mã cổ phiếu tiêu biểu thuộc nhóm ngành tài chính - ngân hàng:
  • Cổ phiếu Ngân hàng TMCP Công Thương Việt Nam (CTG).
  • Cổ phiếu Ngân hàng TMCP Á Châu (ACB).
  • Cổ phiếu Ngân hàng TMCP Xuất Nhập khẩu Việt Nam (EIB).
  • Cổ phiếu Ngân hàng TMCP Quân đội (MBB).
  • Cổ phiếu Ngân hàng TMCP Sài Gòn Thương Tín (STB).
• Đánh giá thực nghiệm: Phân tích đường khớp dự đoán trên cả tập Train và tập Test của từng mã cổ phiếu, tổng hợp các chỉ số đánh giá sai số mô hình vào Bảng 2.1 và xây dựng giao diện ứng dụng Web demo phục vụ việc quan sát trực quan.

Kết quả và đóng góp

Khóa luận hoàn thành các mục tiêu đề ra với những kết quả cụ thể được ghi nhận trong văn bản:

• Xây dựng hoàn chỉnh kho dữ liệu chứng khoán trên hệ quản trị cơ sở dữ liệu Microsoft SQL Server với cấu trúc 5 bảng dữ liệu (3 bảng chiều và 2 bảng sự kiện), đảm bảo tính toàn vẹn và khả năng mở rộng phục vụ truy vấn OLAP.
• Thiết lập quy trình trích xuất và tiền xử lý dữ liệu tự động từ public API của SSI và TCBS thông qua Python/Pandas, lọc thành công tập dữ liệu 10 năm (2013–2022) của các doanh nghiệp niêm yết thành lập trước năm 2000.
• Cấu hình hoàn chỉnh các luồng nạp dữ liệu ETL bằng công cụ SSIS, thực hiện chuyển đổi thành công toàn bộ các tệp dữ liệu phẳng (CSV) vào các bảng dữ liệu tương ứng trong kho dữ liệu mà không phát sinh lỗi cấu trúc.
• Triển khai thành công hệ thống trực quan hóa Apache Superset thông qua Docker container, tích hợp nguồn dữ liệu kho và xây dựng các bảng điều khiển phân tích nghiệp vụ chứng khoán đa chiều.
• Ứng dụng thành công mô hình học sâu LSTM trên dữ liệu chuỗi thời gian lịch sử giá của 5 mã ngân hàng (CTG, ACB, EIB, MBB, STB), cung cấp các biểu đồ kết quả thực nghiệm trực quan trên cả tập huấn luyện và tập kiểm thử, đi kèm giao diện Web demo.

Về mặt đóng góp, đề tài cung cấp một giải pháp tích hợp xuyên suốt từ khâu kỹ thuật dữ liệu (thu thập qua API, xử lý tệp phẳng, thiết kế kho dữ liệu, vận hành ETL bằng SSIS) đến khâu phân tích kinh doanh (xây dựng Dashboard trên Superset) và khoa học dữ liệu ứng dụng (dự báo giá chuỗi thời gian bằng LSTM), tạo nên mô hình mẫu hoàn chỉnh cho việc quản lý và phân tích dữ liệu tài chính tại Việt Nam.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của đề tài (dựa trên phạm vi thực hiện và ghi nhận của nhóm tác giả):

• Phạm vi dữ liệu còn thu hẹp: Chỉ tập trung thu thập và phân tích dữ liệu đối với các doanh nghiệp niêm yết được thành lập trước năm 2000, chưa bao quát toàn bộ các doanh nghiệp mới niêm yết trên thị trường.
• Giới hạn chuỗi thời gian: Dữ liệu giao dịch lịch sử mới chỉ được lấy cố định trong khoảng thời gian từ năm 2013 đến hết năm 2022.
• Phương thức tích hợp: Quy trình ETL vẫn phụ thuộc vào việc xuất dữ liệu trung gian ra định dạng tệp CSV từ Python trước khi nạp qua SSIS, chưa thiết lập luồng nạp streaming trực tiếp theo thời gian thực (real-time).
• Phạm vi thực nghiệm học máy: Mô hình mạng LSTM mới chỉ được thử nghiệm dự đoán trên 5 mã cổ phiếu thuộc nhóm ngành ngân hàng (CTG, ACB, EIB, MBB, STB).

Hướng phát triển tiếp theo được đề xuất trong khóa luận:

• Mở rộng quy mô kho dữ liệu để quản lý tất cả các công ty đang niêm yết trên các sàn chứng khoán Việt Nam mà không bị ràng buộc bởi năm thành lập.
• Nghiên cứu và triển khai đường ống tích hợp dữ liệu theo thời gian thực (real-time data pipeline) nhằm cập nhật chỉ số và giao dịch ngay khi có phát sinh trên sàn.
• Nâng cấp mô hình dự đoán giá: Tinh chỉnh siêu tham số cho mạng LSTM, thử nghiệm kết hợp thêm các biến đầu vào kinh tế vĩ mô và chỉ số kỹ thuật, mở rộng thực nghiệm sang nhiều nhóm ngành cổ phiếu khác nhằm tăng độ chính xác dự báo.

Giá trị tham khảo

Báo cáo khóa luận là tài liệu tham khảo thực tiễn hữu ích dành cho:

• Sinh viên các ngành Kỹ thuật Dữ liệu, Công nghệ Thông tin, Hệ thống Thông tin Quản lý và Khoa học Dữ liệu: Cung cấp tài liệu tham khảo rõ ràng về cách triển khai đồ án kỹ thuật kết hợp giữa Data Engineering, Business Intelligence và Machine Learning.
• Kỹ sư dữ liệu và chuyên viên BI mới bắt đầu: Có thể học hỏi trực tiếp quy trình tạo giải pháp trích xuất dữ liệu tài chính bằng Python thông qua public API của các công ty chứng khoán Việt Nam (SSI, TCBS), cũng như kỹ thuật cấu hình Data Flow Task trong SSIS để nạp dữ liệu từ Flat file vào SQL Server.
• Người nghiên cứu về trực quan hóa dữ liệu và học sâu chuỗi thời gian: Tham khảo quy trình dựng Apache Superset qua Docker container và phương pháp chuẩn bị dữ liệu chuỗi thời gian phục vụ huấn luyện mô hình LSTM trên các mã cổ phiếu cụ thể.

Câu hỏi thường gặp

1. Khóa luận sử dụng nguồn dữ liệu nào và tiêu chí chọn lọc dữ liệu đầu vào là gì? Khóa luận sử dụng dữ liệu trích xuất từ public API của hai công ty chứng khoán tại Việt Nam là SSI và TCBS thông qua ngôn ngữ Python và thư viện Pandas. Tiêu chí chọn lọc cụ thể là chỉ lấy dữ liệu giao dịch của các công ty được thành lập trước năm 2000 và thời gian giao dịch được giới hạn trong giai đoạn từ năm 2013 đến hết năm 2022.

2. Cấu trúc kho dữ liệu chứng khoán trong khóa luận được thiết kế gồm những bảng nào? Kho dữ liệu được thiết kế gồm 5 bảng: 3 bảng chiều (Dimension) là Dim_time_trade (thời gian theo ngày giao dịch), Dim_quater_finance (thời gian theo quý tài chính), Dim_company (thông tin các công ty); cùng 2 bảng sự kiện (Fact) là Fact_ratio_dinance (chỉ số tài chính các công ty) và Fact_trade_history (lịch sử giao dịch chứng khoán).

3. Công cụ nào được dùng để thực hiện quy trình ETL và công nghệ nào dùng để trực quan hóa dữ liệu? Quy trình ETL (Trích xuất - Chuyển đổi - Tải) được thực hiện bằng công cụ Microsoft SQL Server Integration Services (SSIS) với các thành phần Flat File Source và OLE DB Destination. Công nghệ trực quan hóa dữ liệu được sử dụng là Apache Superset, được cài đặt và vận hành dưới dạng Docker container trên môi trường máy tính cục bộ.

4. Mô hình học máy nào được áp dụng để dự đoán giá chứng khoán và được thực nghiệm trên những mã cổ phiếu cụ thể nào? Khóa luận nghiên cứu mạng nơ-ron nhân tạo ANN và áp dụng mô hình mạng bộ nhớ dài-ngắn hạn LSTM (Long Short Term Memory) chuyên biệt cho dữ liệu chuỗi thời gian. Mô hình được thực nghiệm dự đoán giá trên 5 tập dữ liệu cổ phiếu thuộc nhóm ngành ngân hàng gồm: CTG, ACB, EIB, MBB và STB.

5. Nhóm tác giả đã xây dựng những dạng biểu đồ phân tích nào trên Apache Superset? Trên Apache Superset, nhóm tác giả xây dựng 6 dạng biểu đồ bao gồm: Biểu đồ Stock Trading, Biểu đồ Company by group, Biểu đồ Industry Company, Biểu đồ Top 10 công ty có số lượng nhân viên nhiều nhất, Biểu đồ kiểm tra tương quan giữa số lượng nhân viên và chỉ số BVPS, cùng Biểu đồ lịch sử giá và khối lượng giao dịch của cổ phiếu.

Kết luận

Khóa luận tốt nghiệp của sinh viên Hồ Ngọc Biển và Nguyễn Phước Tuân đã xây dựng thành công một giải pháp kỹ thuật dữ liệu hoàn chỉnh cho lĩnh vực chứng khoán, bao gồm thiết kế kho dữ liệu trên Microsoft SQL Server và thiết lập quy trình ETL tự động bằng SSIS. Đề tài cũng đã hiện thực hóa việc khai thác kho dữ liệu thông qua hệ thống báo cáo trực quan đa chiều trên nền tảng Apache Superset và triển khai mô hình học sâu LSTM để dự báo chuỗi thời gian giá cổ phiếu ngành ngân hàng. Mặc dù còn một số hạn chế về phạm vi doanh nghiệp thành lập trước năm 2000 và phương thức nạp dữ liệu theo đợt qua tệp CSV, công trình là tài liệu tham khảo có giá trị kỹ thuật cao cho sinh viên chuyên ngành Kỹ thuật Dữ liệu và các nghiên cứu ứng dụng BI trong ngành tài chính.

Trích đoạn nội dung tài liệu

CHƯƠNG 1. XÂY DỰNG DATA WAREHOUSE 1. Tìm hiểu Data Warehouse 1. Data warehouse là gì? Kho dữ liệu là một hệ thống quản lý dữ liệu lớn được thiết kế và xây dựng để hỗ trợ phân tích dữ liệu.

Kho dữ liệu là nơi tập trung và tổng hợp dữ liệu từ nhiều nguồn khác nhau theo thời gian như tiếp thị, dữ liệu từ các cửa hàng, ứng dụng hướng tới khách hàng,… 1. Nguyên lý hình thành Data warehouse Gồm các nguyên lí sau:  Hướng chủ đề: đảm bảo dữ liệu được làm sạch để hữu ích cho quá trình phân tích.  Tính toàn vẹn: đảm bảo tính thống nhất định dạng dữ liệu sau khi thu thập và tổng hợp dữ liệu từ các nguồn khác nhau.  Tính bất biến: quá trình phân tích dữ liệu sẽ thay đổi theo thời gian, do đó dữ liệu phải được thống nhất theo thời gian để hạn chế tối đa sửa, xóa dữ liệu.

 Giá trị lịch sử: nguồn dữ liệu được tổng hợp từ các thời điểm khác nhau của một thông tin. Các đặc điểm chính của Data Warehouse 1.1 Hướng chủ đề (subject – oriented) Hướng chủ đề trong kho dữ liệu là quá trình tổ chức và sắp xếp lại dữ liệu theo một chủ đề nhất định, loại bỏ những dữ liệu không hữu ích để phục vụ cho phân tích dữ liệu. Nhờ vậy, quá trình phân tích dữ liệu sẽ dễ dàng hơn và hiệu quả hơn. 3 KHÓA LUẬN TỐT NGHIỆP 1.2 Được tích hợp (integrated) Dữ liệu trong kho dữ liệu sau khi được thu thập và tổng hợp từ nhiều nguồn khác nhau cần được thống nhất về định dạng kiểu dữ liệu.

Điều này giúp cho việc phân tích dữ liệu hiệu quả.3 Có gán nhãn thời gian (time variant) Dữ liệu thay đổi liên tục suốt quá trình thu thập, chính vì vậy, việc gán nhãn từng mốc thời gian cho dữ liệu sẽ giúp chúng ta dễ dàng so sánh dữ liệu ở từng mốc thời gian khác nhau.4 Bất biến (non – volatile) Dữ liệu trong kho dữ liệu phục vụ cho việc phân tích và báo cáo nên cần phải đảm bảo tính ổn định, không được sửa hoặc xóa dữ liệu. Mô hình dữ liệu đa chiều Kho dữ liệu và các hệ thống OLAP được xây dựng dựa vào mô hình dữ liệu đa chiều(Hình 1. Mô hình này cho hiệu năng tốt trên những phép truy vấn phức tạp và giúp người dùng có thể nhìn dữ liệu theo chiều khía cạnh khác nhau. Mô hình này hiện thị dữ liệu dưới dạng không n-chiều, gọi là data cube hoặc hypercube.1: Mô hình dữ liệu đa chiều [2] Hin 4 KHÓA LUẬN TỐT NGHIỆP 1.

Cây phân cấp Mức độ chi tiết của các tiêu chí thể hiện cho người dùng được gọi là mức dữ liệu (data granularity), được quyết định bằng việc kết hợp các mức dữ liệu của từng cắt lớp. Để đúc rút ra tri thức từ dữ liệu, người dùng cần quan sát cube dưới nhiều mức chi tiết khác nhau. Tính chất cây phân cấp (hierarchie) của OLAP cho phép thực hiện điều này bằng cách định nghĩa ra một cấu trúc hình cây các mức độ chi tiết khác nhau của một cắt lớp. Với 2 mức độ liền nhau trong một cây, mức thấp hơn gọi là mức con (child level), mức cao hơn gọi là mức cha (parent level).

Lớp trên cùng cây phân cấp là mức “Tất cả” đại diện cho toàn bộ cây phân cấp, mức này có 1 giá trị duy nhất cũng là “Tất cả” dùng để lấy tiêu chí đã được tổng hợp đến mức cao nhất đại diện cho toàn bộ cây phân cấp (trong ví dụ này là lấy tổng doanh số bán hàng của tất cả các quốc gia theo hình 1.2: Mô hình cây phân cấp Hin 1. Kiến trúc kho dữ liệu Một hệ thống cơ sở dữ liệu gồm 3 thành phần chính sau(Tham khảo ở hình 1.3):  Một bộ dụng cụ để thu thập dữ liệu từ hệ thống nghiệp vụ, chuẩn hóa chúng định dạng dữ liệu đa chiều, nạp vào kho dữ liệu(ETL- xử lý dữ liệu).  Một cơ sở dữ liệu để làm kho dữ liệu để lưu trữ dữ liệu. 5 KHÓA LUẬN TỐT NGHIỆP  Một loạt các công cụ khai thác dữ liệu từ kho dữ liệu như hệ thống OLTP, hệ thống báo cáo tĩnh.3: Mô hình kiến trúc kho dữ liệu [3] Hin 1.

Nguồn dữ liệu 6 KHÓA LUẬN TỐT NGHIỆP ̀ h 1.4 : Các nguồn dữ liệu data warehouse [4] Hin Data warehouse là kho dữ liệu thu thập đa nguồn dữ liệu(Hình 1.4) Vd: ERP,CRM, HR, EXEL,…. Tầng kho dữ liệu Tầng kho dữ liệu đứng ở trung tâm một hệ thống kho dữ liệu làm nhiệm vụ lưu trữ dữ liệu bao quanh tất cả các hoạt động nghiệp vụ, các phòng ban của doanh nghiệp. Kho dữ liệu thường bao gồm một hoặc nhiều phân khu dữ liệu (phân khu dữ liệu), với mỗi phân khu dữ liệu chính là kho dữ liệu thu nhỏ tập trung vào một nghiệp vụ nhất định nào đó của doanh nghiệp (ví dụ phân khu dữ liệu về bán hàng, phân khu dữ liệu về kho bãi, phân khu dữ liệu về nhân sự. Ngoài nhiệm vụ lưu trữ dữ liệu, tầng kho dữ liệu còn có một thành phần khác rất quan trọng gọi là siêu dữ liệu (metadata).

Siêu dữ liệu lại được chia làm 2 nhóm là nhóm siêu dữ liệu kỹ thuật và siêu dữ liệu nghiệp vụ. Siêu dữ liệu nghiệp vụ (business metadata) mô tả ý nghĩa dữ liệu, các luật và ràng buộc tác động lên dữ liệu. Siêu dữ liệu kỹ thuật (technical metadata) mô tả cách thức tổ chức, lưu trữ và điều khiển dữ liệu trong hệ thống máy tính. 7 KHÓA LUẬN TỐT NGHIỆP 1.

Tầng khai thác dữ liệu Tầng khai thác dữ liệu chứa các công cụ cho người dùng cuối khai thác, sử dụng các dữ liệu trong kho dữ liệu. Một số công cụ chính: Báo cáo OLAP (OLAP tool) là báo cáo động cho phép người dùng sử dụng các tính năng của OLAP để tạo báo cáo. Các truy vấn đột xuất này được gọi là truy vấn tuỳ biến (ad hoc query) vì hệ thống không hề được chuẩn bị trước cho thao tác của người dùng. Báo cáo OLAP được sử dụng khi người dùng muốn thông tin cắt lớp, chuyên sâu hoặc toàn cảnh đưa ra quyết định.

Hệ thống kho dữ liệu Một hệ thống kho dữ liệu bao gồm nhiều module khác nhau, mỗi module lại có công dụng, có cấu trúc, thiết kế khác nhau, sử dụng các công cụ, sản phẩm khác nhau để hoàn thành công việc của nó. Đứng riêng rẽ, các module này không phải là kho dữ liệu. Module xử lý dữ liệu dữ liệu, hay kho dữ liệu cũng quan trọng, nhưng ngoài ra còn nhiều module khác trong hệ thống. Tuỳ theo vai trò, vị trí mà mỗi người có một cách định nghĩa hệ thống kho dữ liệu khác nhau, nhưng cũng như thầy bói xem voi, một hệ thống kho dữ liệu thường được đánh giá sai thành các định nghĩa sau: Kho dữ liệu là một sản phẩm: Hệ thống kho dữ liệu bao gồm nhiều module thực hiện các công việc khác nhau, như module xử lý dữ liệu dữ liệu chuyển hoá dữ liệu, module kho dữ liệu lưu trữ dữ liệu, rồi các module dành cho khai thác, từng module lại độc lập tương đối so với các module khác.

Như vậy kho dữ liệu không chỉ đơn thuần là một sản phẩm, chủ quan nhất cũng phải đánh giá: nó là tập hợp nhiều sản phẩm khác nhau. Kho dữ liệu là một ngôn ngữ lập trình: Gồm nhiều công cụ khác nhau, một hệ thống kho dữ liệu chắc chắn cũng được xây dựng dựa vào nhiều ngôn ngữ máy khác nhau, tối thiểu là xây dựng bằng đoạn mã SQL và một ngôn ngữ lập trình đại trà nào đó (Java, C++, C#). Không thể học cách lập trình ra một hệ thống kho dữ liệu được. 8 KHÓA LUẬN TỐT NGHIỆP 1.

Tổ chức dữ liệu logic 1. Các loại lược đồ kho dữ liệu Star schema (Lược đồ hình sao): Gồm 1 bảng Fact (bảng sự kiện) nằm ở trung tâm và được bao quanh bởi những bảng Dimension (bảng chiều). Dữ liệu của lược đồ hình sao không được chuẩn hoá. Các câu hỏi nhằm vào bảng Fact và được cấu trúc bởi các bảng Dimension.

[5]  Ưu điểm: Bảng Fact, Dimension được mô tả rõ ràng, dễ hiểu. Bảng Dim là bảng dữ liệu tĩnh, và bảng Fact là dữ liệu động được nạp bằng các thao tác. Khoá của Fact được tạo bởi khoá của các bảng Dim. Nghĩa là khoá chính của các bảng Dim chính là khoá của bảng Fact.

 Nhược điểm: Dữ liệu không được chuẩn hoá. - Snow flake schema (Lược đồ bông tuyết): Là dạng mở rộng của lược đồ hình sao bằng các bổ sung các Dim. Bảng Fact như lược đồ hình sao, bảng Dim được chuẩn hoá. Các chiều được cấu trúc rõ ràng.

Bảng Dim được chia thành chiều chính hay chiều phụ.  Ưu điểm: Số chiều được phân cấp thể hiện dạng chuẩn của bảng Dim.  Nhược: Cấu trúc phi dạng chuẩn của lược đồ hình sao phù hợp hơn cho việc duyệt các chiều. - Starflake Schema (Lược đồ ánh sao): là sự kết hợp giữa lược đồ hình sao và lược đồ bông tuyết.

Một số dimension được chuẩn hoá, một số khác thì không. - Fact constellation schema (Lược đồ chòm sao): Dimension trong lược đồ được tách thành các Dimension độc lập dựa trên các cấp độ của hệ thống phân cấp. Bảng sự kiện Bảng sự kiện điển hình có hai kiểu cột, chúng chứa đựng những sự kiện số (thường gọi là thước đo), và chứa khóa của các bảng dimension. Bảng sự kiện chứa đựng những sự kiện mức chi tiết hoặc những sự kiện mà đã được tổng hợp lại.

Bảng sự kiện mà chứa sự kiện tổng hợp thường được gọi là những bảng tóm tắt. Bảng sự kiện thông thường chứa đựng những sự kiện với cùng mức của sự tổng hợp. Tuy 9 KHÓA LUẬN TỐT NGHIỆP nhiên hầu hết những sự kiện liên kết tất cả các chiều, nó có thể liên kết với 1 số chiều hoặc không liên kết. Bảng chiều Các chiều là cách mô tả chủng loại mà theo đó các dữ liệu số trong khối được phân chia để phân tích.

Khi xác định một chiều, chọn một hoặc nhiều cột của một trong các bảng liên kết (bảng chiều). Nếu ta chọn các cột phức tạp thì tất cả cần có quan hệ với nhau, chẳng hạn các giá trị của chúng có thể được tổ chức theo hệ thống phân cấp đơn. Để xác định hệ thống phân cấp, sắp xếp các cột từ chung nhất tới cụ thể nhất. Ví dụ: một chiều thời gian được tạo ra từ các cột năm, qúy, tháng, ngày.

Mỗi cột trong chiều góp phần vào một cấp độ cho chiều. Các cấp độ được sắp đặt theo nét riêng biệt và được tổ chức trong hệ thống cấp bậc mà nó thừa nhận các con đường hợp logic cho việc đào sâu.