CHƯƠNG 1: GIỚI THIỆU 1.1 Lý do chọn đề tài Do số hóa, kích thước của dạng dữ liệu điện tử đã tăng theo cấp số nhân trong vài thập kỷ qua. Việc Chính phủ cũng như các tập đoàn lớn muốn nghiên cứu những dữ liệu này để đưa ra quyết định tốt hơn là điều đương nhiên. Những tiến bộ gần đây trong lĩnh vực trí tuệ nhân tạo đã dẫn đến việc tạo ra các công cụ toán học mới như học sâu và học tăng cường. Những công cụ này không chỉ hiệu quả trong việc khám phá các mẫu trong dữ liệu mà còn rất hữu ích trong việc ra quyết định tự động.
Do đó, trong hầu hết mọi ngành nghề, đều có cơ hội việc làm cho những người là chuyên gia về dữ liệu. Ngày nay, hầu hết tất cả các tổ chức lớn đều yêu cầu các nhà khoa học dữ liệu, kỹ sư dữ liệu và người quản lý dữ liệu. Vai trò của các chuyên gia này là nghiên cứu, phát triển, Dữ liệu tài chính là một thành phần lớn của tất cả các dữ liệu điện tử. Ví dụ: một sàn giao dịch chứng khoán trung bình tạo ra hàng nghìn tỷ Gigabyte (GB) dữ liệu sổ giao dịch và đặt hàng trong một tháng.
Vì vậy, một cách tự nhiên, có rất nhiều ứng dụng của các công cụ khoa học dữ liệu và máy học trong lĩnh vực tài chính. Ví dụ, ở thị trường chứng khoán Ấn Độ, phần lớn các quyết định giao dịch được thực hiện thông qua các chương trình máy tính, còn được gọi là giao dịch theo thuật toán. Nhiều chương trình máy tính giao dịch này rất phức tạp và đưa ra quyết định bằng cách sử dụng dữ liệu. Dưới đây là một số cam kết của các chuyên gia khoa học dữ liệu trên thị trường chứng khoán.
Các thuật toán không chỉ đưa ra lựa chọn mua/bán mà còn giới thiệu sản phẩm. Ở phía sau, có các chương trình máy tính dựa trên một số mô hình toán học. Các chương trình này quét qua một lượng lớn dữ liệu để dự đoán chính xác lợi nhuận dự kiến. Để hiểu và lập mô hình các thuật toán này, người ta cần có nền tảng vững chắc trong lĩnh vực toán học, thống kê, lập trình và tài chính.
Hơn nữa, kiến thức về học sâu, học tăng cường sâu và các kỹ thuật học máy khác là cần thiết để tạo ra các thuật toán đưa ra quyết định chính xác. Năm 2000 thị trường chứng khoán Việt Nam chính thức đi vào hoạt động, sự có mặt của nó góp phần hỗ trợ rất lớn cho các doanh nghiệp có thêm các kênh để huy động vốn, quản trị rủi ro cũng như là mang lại cơ hội cho các nhà đầu tư cá nhân trên thị trường tài chính. Mặc dù tuổi đời của thị trường vẫn còn khá non trẻ tuy nhiên sự tiến bộ về khoa học cũng như sự thích nghi của các công ty công nghệ đã giúp cho thị trường tại Việt Nam ngày càng nâng cấp rõ rệt. Nhưng thị trường chứng khoán của Việt Nam còn sơ khai và bộc lộ nhiều hạn chế như: hạn chế về quy mô thị trường và cấu trúc thị trường, số lượng hàng hóa trên thị trường chứng khoán các vấn đề pháp lý, cơ sở nhà đầu tư trên thị trường, các tổ chức trung gian trên thị trường đôi lúc còn chưa minh bạch… Tuy nhiên vẫn còn một số hạn chế khiến những nhà đầu tư có tiền nhàn rỗi, họ là những người có nhu cầu như thiếu kiến thức về tài chính.
Vì vậy các mô hình khoa học dữ là công cụ tin cậy giúp họ quản trị tốt rủi ro, cũng như có thêm những thông tin để đưa ra quyết định đầu tư tốt hơn, nổi bật trong các công 4 cụ phân loại được ứng dụng rộng rãi nhất là mô hình dự báo bằng các phương pháp là “Phân loại dữ liệu” (Classification). Dự án “Nghiên cứu thuật toán phân lớp dữ liệu và ứng dụng dự đoán các cổ phiếu trên thị trường chứng khoán Việt Nam”.1 Mục tiêu nghiên cứu Bài nghiên cứu tập trung các lý thuyết tổng quan về khoa học dữ liệu (Data Science), các kiến thức phá dữ liệu (Data Mining). Xây dựng các mô hình vào dựa bộ dữ liệu huấn luyện có sẵn và lựa chọn mô hình phù hợp nhất tiến hành dự báo đối với bộ dữ liệu dự báo được chọn. Từ đó góp phần tạo nền tảng cho các nghiên cứu sau này.1 Đối tượng và phương pháp nghiên cứu Mô hình khoa học dữ liệu và thuật toán phân lớp dữ liệu bảng bằng Neural Network để ứng dụng trong việc ra quyết định đầu tư trên thị trường chứng khoán một cách hiệu quả hơn.
Dữ liệu được thu thập từ Vietstock với thông tin được cập nhật trong tháng 12 năm 2022 của 310 công ty, bao gồm các chỉ số: giá trên thu nhập (P/E), thu nhập trên mỗi cổ phần (EPS), hệ số beta, tỷ suất sinh lợi trên tài sản (ROA), tỷ suất sinh lời trên vốn chủ sở hữu (ROE).1 Phương pháp nghiên cứu 4. Phương pháp nghiên cứu lý luận Tiến hành nghiên cứu, thu thập, chọn lọc và phân tích dữ liệu, thông tin bằng cách đọc sách, báo, tài liệu nhằm tìm ra các quan niệm, quan điểm xây dựng cơ sở lý luận cho nghiên cứu, dự đoán các thuộc tính của đối tượng nghiên cứu, xây dựng sơ bộ lý luận. Bao gồm các phương pháp sau: • Phương pháp phân tích – tổng hợp lý thuyết: từ nguồn tài liệu, nghiên cứu khoa học từ các tạp chí uy tín có được, sau đó đọc và tổng hợp để rút ra những nội dung cần thiết cho luận điểm của bài nghiên cứu. • Phương pháp mô hình hóa: xây dựng mô hình nghiên cứu dựa trên lý thuyết và ứng dụng mô hình để dự báo nhằm kiểm định tính chính xác của mô hình.
Phương pháp nghiên cứu thực tiễn Từ cơ sở lý luận ấy, tiến hành vận dụng vào các phương pháp nghiên cứu thực tiễn: Thông qua các thuật toán của phần mềm Orange - một công cụ khá trực quan để nghiên cứu về các thuật toán machine learning và thực hành khoa học dữ liệu phổ biến hiện nay để phân tích dữ liệu và làm rõ vấn đề nghiên cứu. Từ đó, xây dựng các mô hình dự báo dựa vào bộ dữ liệu huấn luyện có sẵn và so sánh các kết quả rút ra được với nhau nhằm lựa mô hình phù hợp nhất nhằm giúp các nhà đầu tư có quyết định chính xác hơn khi đầu tư hiệu quả.1 Cấu trúc bài nghiên cứu Phần 1: Giới thiệu Phần 2: Cơ sở lý luận Phần 3: Phân tích và thảo luận Phần 4: Kết luận 5 CHƯƠNG 2: CƠ SỞ LÝ LUẬN 2. Khai phá dữ liệu 2.1 Quá trình phát hiện tri thức và khai phá dữ liệu Trong quá trình tìm hiểu kiến thức và khai phá nguồn dữ liệu, chúng ta cần biết cách chọn lọc và sử dụng thông tin một cách hiệu quả. Từ đó có thể đưa ra các quyết định chính xác trong việc phân tích dữ liệu.
Có thể hiểu đơn giản, tìm hiểu kiến thức và khai phá nguồn dữ liệu đồng nghĩa với việc xác định được giá trị cơ bản, nền móng, các yếu tố tác động cũng như xu hướng phát triển của các bộ dữ liệu đã có sẵn. Quá trình này được gọi là Quá trình phát hiện tri thức (Knowledge Discovery in Database – KDD), trong đó Khai phá dữ liệu là một kỹ thuật quan trọng cho phép chúng ta thu được những kiến thức mà mình muốn. Quá trnh KDD Nguồn: Phantuanduy (2013). Quy trnh Khai phá dữ liệu (Process of Data mining).
Quá trình KPDL bao gồm 5 bước cơ bản sau đây: • Bước 1: Chọn lọc dữ liệu (Selection): Giai đoạn này yêu cầu chúng ta thu thập các dữ liệu đã khai thác được vào một cơ sở dữ liệu (CSDL) riêng. Lưu ý chúng ta chỉ lọc và giữ lại những dữ liệu cần thiết ở các giai đoạn sau này. Tuy nhiên, công việc này thường khó khăn và tốn nhiều thời gian vì dữ liệu tồn tại ở nhiều dạng khác nhau và nằm rải rác khắp nơi. • Bước 2: Tiền xử lý dữ liệu (Pre-processing): Khi tổng hợp dữ liệu ta sẽ thường có sai sót như dữ liệu thiếu logic, thiếu chính xác, chưa đầy liệu.
Bên cạnh đó, dữ liệu được thu thập hiếm khi có tính nhất quán. Vì vậy, “tiền xử lý (pre)” là bước quan trọng sau đó giúp hạn chế các kết quả sai lệch không mong muốn trước khi bước vào quá trình KPDL. • Bước 3: Chuyển đổi dữ liệu (Transformation): Tại đây, dữ liệu được chuyển đổi thành dạng thích hợp cho các bước tiếp theo. 6 • Bước 4: Khai thác dữ liệu (Data mining): Giai đoạn này sử dụng các kỹ thuật để phát hiện ra các tri thức tiềm ẩn trong dữ liệu.
• Bước 5: Đánh giá kết quả mẫu (Interpretation evaluation):Bước này cũng là bước cuối cùng trong quy trình. Các tiêu chí khác nhau đánh giá phù hợp sẽ được xem xét và chọn lựa và sử dụng sao cho sử dụng được các mẫu dữ liệu được trích xuất bởi phần mềm KPDL Chúng ta có thể thấy từ quá trình khám phá tri thức rằng công nghệ khám phá tri thức đã trải qua một số giai đoạn và cách tiếp cận để đạt được kết quả cuối cùng. Đây là một quá trình liên tục, với đầu vào của giai đoạn sau bắt nguồn từ đầu ra của giai đoạn trước. Khai thác dữ liệu là rất cần thiết vì nó phát hiện ra kiến thức và thông tin có cấu trúc tốt bị chôn vùi trong kho dữ liệu khổng lồ.2 Khái niệm khai phá dữ liệu Khai phá dữ liệu là quá trình sử dụng các công cụ phân tích để khám phá các mẫu dữ liệu hoặc các mẫu yêu cầu từ các góc độ khác nhau, từ đó rút ra thông tin và tri thức từ cơ sở dữ liệu, cũng như quá trình quan hệ giữa các đối tượng trong cơ sở dữ liệu.
Dưới góc độ tư duy và mục đích ứng dụng, khai phá dữ liệu thực sự là một nhu cầu tất yếu trong thời đại 4.0, là sự đáp ứng cho những tìm tòi, khám phá công nghệ của thế giới. Đây là một khám phá vĩ đại mang lại nhiều lợi ích trong cuộc sống, đồng thời cũng đặt ra không ít khó khăn và thách thức cho các nhà nghiên cứu. Các tính năng chính của khai phá dữ liệu Có nhiều tham số quan trọng trong khai phá dữ liệu, chẳng hạn như các quy tắc về phân loại và phân cụm. Khai phá dữ liệu có 5 tính năng chính, cụ thể như sau: • Dự đoán nhiều mẫu dựa trên tập dữ liệu đã được chuyển đổi.
• Tính toán và dự báo kết quả. • Tạo khối lượng lớn thông tin để phản hồi và phân tích. • Tập dữ liệu rất lớn.