Dự đoán Rủi ro và Lợi nhuận trong Đầu tư bằng Machine Learning

Dự đoán rủi ro, lợi nhuận đầu tư chứng khoán bằng Machine Learning. Mô hình LSTM giúp nhà đầu tư đưa ra quyết định thông minh, giảm thiểu rủi ro, tối ưu hóa lợi nhuận.

• Tác giả: Lâm Minh Nhật
• Người hướng dẫn: PTS. Phạm Ngọc Sơn
• Trường học: Ho Chi Minh City University Of Technology And Education
• Chuyên ngành: Điện Tử và Truyền Thông
• Đề tài: Dự Đoán Rủi Ro và Lợi Nhuận Bằng Machine Learning
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2023
• Địa điểm: Hồ Chí Minh

Mục lục chi tiết

• LỜI MỞ ĐẦU
• DANH MỤC TỪ VIẾT TẮT
• DANH MỤC KÝ HIỆU TOÁN HỌC
• DANH MỤC HÌNH VẼ
• 1. CHƯƠNG 1: TỔNG QUAN ĐỀ TÀI
• 1.1. Mục tiêu của đề tài
• 1.2. Giới hạn của đề tài
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Ngôn ngữ lập trình Python
• 2.2. Ý tưởng cốt lõi của LSTM
• 2.3. Khái niệm tỷ số Sharpe
• 2.4. Tổng quan các dự án liên quan
• 3. CHƯƠNG 3: QUÁ TRÌNH THỰC HIỆN
• 3.1. Lưu đồ chính và các thông số mô phỏng
• 4. CHƯƠNG 4: KẾT QUẢ PHÂN TÍCH VÀ ĐÁNH GIÁ MÔ PHỎNG
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.1. Hướng phát triển của đề tài

Tóm tắt

I. Tổng Quan Dự Đoán Rủi Ro và Lợi Nhuận Bằng Machine Learning

Thị trường chứng khoán thường được ví như "phong vũ biểu" của nền kinh tế, phản ánh những biến động kinh tế trong tương lai. Bên cạnh các kênh đầu tư truyền thống như gửi tiết kiệm, chứng khoán ngày càng trở thành một kênh đầu tư và phân bổ vốn hiệu quả, đặc biệt trong bối cảnh lãi suất ngân hàng có xu hướng giảm. Vì vậy, thị trường chứng khoán ngày càng trở thành một phần quan trọng của nền kinh tế thị trường và là lựa chọn đầu tư của nhiều người. Ứng dụng công nghệ, đặc biệt là Machine Learning, có thể giúp nhà đầu tư phân tích các chỉ số và thông tin thị trường một cách chính xác và kịp thời, đưa ra các quyết định đầu tư sáng suốt. Machine Learning trong tài chính mở ra cánh cửa cho nhà đầu tư tiếp cận các phương pháp ứng dụng thành tựu học máy để hiểu rõ hơn về thị trường chứng khoán, một lĩnh vực luôn thay đổi mỗi ngày. Việc tập trung vào ứng dụng kỹ thuật trong phân tích định lượng sẽ hỗ trợ nhà đầu tư có cái nhìn trực quan và dễ hiểu về thị trường chứng khoán. Mục tiêu của dự án là dựa trên công thức Sharpe’s ratio, sử dụng mô hình Machine Learning để mô phỏng và dự đoán giá trị cổ phiếu thông qua môi trường biên dịch Google Colab. Từ các giá trị dự đoán, rút ra kết luận và phân tích các thông số. Đồng thời, đánh giá sự so sánh giữa "Sharpe’s ratio dự đoán" từ các thông số trong mô hình và "Sharpe’s ratio thực tế" từ dữ liệu thu thập được. Cuối cùng, đưa ra lời khuyên và theo dõi sự phát triển của cổ phiếu tương tự như xu hướng.

1.1. Giới thiệu bài toán dự đoán rủi ro và lợi nhuận

Bài toán dự đoán rủi ro tài chính và lợi nhuận đầu tư là một trong những bài toán quan trọng trong lĩnh vực tài chính. Việc dự đoán chính xác có thể giúp nhà đầu tư đưa ra quyết định đúng đắn, tối ưu hóa lợi nhuận và giảm thiểu rủi ro. Các phương pháp truyền thống thường dựa trên phân tích kỹ thuật, phân tích cơ bản hoặc sử dụng các mô hình thống kê đơn giản. Tuy nhiên, những phương pháp này thường gặp hạn chế khi thị trường biến động mạnh hoặc dữ liệu phức tạp. Machine Learning cung cấp một hướng tiếp cận mới, cho phép khai thác thông tin từ lượng lớn dữ liệu, nhận diện các mẫu ẩn và dự đoán xu hướng thị trường một cách hiệu quả hơn.

1.2. Mục tiêu và phạm vi của dự án nghiên cứu

Dự án nghiên cứu tập trung vào việc xây dựng mô hình Machine Learning để mô phỏng và phân tích, từ đó dự đoán dữ liệu thông qua các phương pháp hồi quy. Kết quả thu được chỉ mang tính chất mô phỏng và có thể được áp dụng vào các mô hình thực tế. Dữ liệu được thu thập hàng ngày trong khoảng thời gian hơn 5 năm. Mô hình dự đoán được xây dựng dựa trên học máy để huấn luyện và quan sát xem xu hướng phát triển trong giai đoạn đầu năm 2023 có đúng với mô hình dự đoán hay không. Với những vấn đề này, trạng thái ô có thể cung cấp thông tin về các sự kiện của một ngày cụ thể, giúp sử dụng dự đoán phù hợp. Mô hình này dự đoán giá mở cửa sắp tới dựa trên tất cả các từ trước đó. Số liệu dự kiến từ ngày hôm trước không ảnh hưởng đến vấn đề mới này, do đó không cần phải nhớ lại nó khi thảo luận về ngày hôm sau.

II. Thách Thức và Vấn Đề Trong Dự Đoán Bằng Machine Learning

Mặc dù Machine Learning mang lại nhiều tiềm năng trong việc dự đoán rủi ro và lợi nhuận, vẫn còn nhiều thách thức cần phải vượt qua. Một trong những thách thức lớn nhất là chất lượng dữ liệu. Dữ liệu tài chính thường nhiễu, không đầy đủ hoặc chứa các thông tin sai lệch, ảnh hưởng trực tiếp đến hiệu quả của mô hình. Thứ hai, thị trường chứng khoán rất phức tạp và chịu ảnh hưởng của nhiều yếu tố, bao gồm các yếu tố kinh tế vĩ mô, chính trị, tâm lý nhà đầu tư và các sự kiện bất ngờ. Việc xây dựng một mô hình có thể nắm bắt được tất cả các yếu tố này là một nhiệm vụ khó khăn. Cuối cùng, mô hình dự đoán cần phải được liên tục cập nhật và điều chỉnh để thích ứng với sự thay đổi của thị trường. Việc này đòi hỏi kiến thức chuyên môn sâu rộng về cả tài chính và Machine Learning.

2.1. Hạn chế của dữ liệu tài chính và phương pháp truyền thống

Dữ liệu tài chính thường có tính biến động cao và chịu ảnh hưởng của nhiều yếu tố ngẫu nhiên, gây khó khăn cho việc xây dựng mô hình dự đoán ổn định. Các phương pháp truyền thống như phân tích kỹ thuật và phân tích cơ bản có thể không đủ khả năng để nắm bắt được sự phức tạp của thị trường. Bên cạnh đó, các phương pháp này thường dựa trên giả định thị trường hiệu quả, không phải lúc nào cũng đúng trong thực tế. Việc tích hợp các nguồn dữ liệu khác nhau (ví dụ: tin tức, mạng xã hội) cũng đặt ra những thách thức về xử lý và phân tích.

2.2. Độ phức tạp của thị trường và sự thay đổi liên tục

Thị trường tài chính là một hệ thống phức tạp, nơi mà hành vi của các nhà đầu tư, các yếu tố kinh tế vĩ mô và các sự kiện chính trị tương tác lẫn nhau. Sự thay đổi liên tục của thị trường đòi hỏi các mô hình dự đoán phải có khả năng thích ứng nhanh chóng. Các mô hình tĩnh có thể nhanh chóng trở nên lỗi thời và không còn chính xác. Ngoài ra, việc quản lý rủi ro trong môi trường thị trường biến động cũng là một thách thức lớn.

III. Ứng Dụng Thuật Toán Machine Learning Trong Dự Đoán Tài Chính

Machine Learning cung cấp nhiều thuật toán mạnh mẽ có thể được sử dụng để dự đoán rủi ro và lợi nhuận trong tài chính. Các thuật toán phổ biến bao gồm regression analysis, time series analysis, mạng nơ-ron (bao gồm cả LSTM và deep learning) và các phương pháp phân cụm như k-means clustering. Regression analysis có thể được sử dụng để dự đoán giá cổ phiếu dựa trên các yếu tố đầu vào như lợi nhuận, doanh thu và các chỉ số kinh tế vĩ mô. Time series analysis phù hợp để phân tích dữ liệu theo thời gian và dự đoán xu hướng trong tương lai. Mạng nơ-ron, đặc biệt là LSTM, có khả năng học các phụ thuộc dài hạn trong dữ liệu, rất hữu ích cho việc dự đoán thị trường chứng khoán. Phân tích cảm xúc (sentiment analysis) từ tin tức và mạng xã hội cũng có thể được sử dụng để cải thiện độ chính xác của các mô hình.

3.1. Sử dụng Regression Analysis để dự đoán giá cổ phiếu

Regression analysis là một phương pháp thống kê được sử dụng để mô hình hóa mối quan hệ giữa một biến phụ thuộc (ví dụ: giá cổ phiếu) và một hoặc nhiều biến độc lập (ví dụ: lợi nhuận, doanh thu, chỉ số kinh tế). Mô hình hồi quy có thể được sử dụng để dự đoán giá cổ phiếu dựa trên các giá trị của các biến độc lập. Các mô hình hồi quy tuyến tính và phi tuyến tính có thể được áp dụng tùy thuộc vào tính chất của dữ liệu.

3.2. Time Series Analysis và dự báo xu hướng thị trường chứng khoán

Time series analysis là một tập hợp các kỹ thuật được sử dụng để phân tích dữ liệu được thu thập theo thời gian. Các phương pháp này có thể được sử dụng để xác định các xu hướng, chu kỳ và các mẫu khác trong dữ liệu. Các mô hình time series analysis như ARIMA và Exponential Smoothing có thể được sử dụng để dự đoán giá cổ phiếu trong tương lai.

3.3. Mạng nơ ron LSTM Deep Learning trong dự báo tài chính

Mạng nơ-ron là một loại mô hình Machine Learning được lấy cảm hứng từ cấu trúc của bộ não con người. Mạng nơ-ron có khả năng học các mối quan hệ phức tạp trong dữ liệu và có thể được sử dụng để dự đoán giá cổ phiếu một cách chính xác. Các mạng nơ-ron đặc biệt hiệu quả trong việc xử lý dữ liệu time series, đặc biệt là các mạng LSTM (Long Short-Term Memory). Deep learning, một nhánh của mạng nơ-ron, sử dụng các mạng sâu hơn với nhiều lớp để học các biểu diễn phức tạp hơn của dữ liệu.

IV. Hướng Dẫn Xây Dựng Mô Hình Dự Đoán Rủi Ro và Lợi Nhuận

Để xây dựng một mô hình dự đoán rủi ro và lợi nhuận hiệu quả, cần tuân thủ một quy trình chặt chẽ. Đầu tiên, cần thu thập và làm sạch dữ liệu. Dữ liệu cần bao gồm các thông tin về giá cổ phiếu, các chỉ số tài chính, tin tức và các yếu tố kinh tế vĩ mô. Sau khi thu thập dữ liệu, cần phải xử lý dữ liệu để loại bỏ các giá trị bị thiếu, các giá trị ngoại lệ và các thông tin sai lệch. Tiếp theo, cần chọn một thuật toán Machine Learning phù hợp với bài toán và huấn luyện mô hình trên dữ liệu đã được làm sạch. Cuối cùng, cần đánh giá hiệu quả của mô hình bằng cách sử dụng các chỉ số như độ chính xác, độ nhạy và độ đặc hiệu. Mô hình cần được liên tục cập nhật và điều chỉnh để thích ứng với sự thay đổi của thị trường.

4.1. Thu thập xử lý và làm sạch dữ liệu tài chính

Việc thu thập dữ liệu là bước đầu tiên và quan trọng nhất trong quá trình xây dựng mô hình dự đoán. Dữ liệu cần bao gồm các thông tin về giá cổ phiếu (giá mở cửa, giá đóng cửa, giá cao nhất, giá thấp nhất), các chỉ số tài chính của công ty (lợi nhuận, doanh thu, nợ), tin tức và các yếu tố kinh tế vĩ mô (lãi suất, lạm phát, GDP). Sau khi thu thập dữ liệu, cần phải xử lý dữ liệu để loại bỏ các giá trị bị thiếu, các giá trị ngoại lệ và các thông tin sai lệch. Các kỹ thuật làm sạch dữ liệu như điền giá trị thiếu, loại bỏ giá trị ngoại lệ và chuẩn hóa dữ liệu có thể được sử dụng.

4.2. Lựa chọn thuật toán Machine Learning phù hợp

Việc lựa chọn thuật toán Machine Learning phù hợp phụ thuộc vào tính chất của dữ liệu và mục tiêu của bài toán. Nếu mục tiêu là dự đoán giá cổ phiếu dựa trên các yếu tố đầu vào, thì các thuật toán hồi quy như Linear Regression, Support Vector Regression (SVR) hoặc mạng nơ-ron có thể được sử dụng. Nếu mục tiêu là phân loại cổ phiếu thành các nhóm khác nhau (ví dụ: cổ phiếu tăng trưởng, cổ phiếu giá trị), thì các thuật toán phân loại như Logistic Regression, Support Vector Machine (SVM) hoặc Decision Tree có thể được sử dụng. Các thuật toán time series analysis như ARIMA hoặc Exponential Smoothing phù hợp cho việc dự đoán xu hướng thị trường.

4.3. Đánh giá và tối ưu hóa hiệu quả mô hình

Sau khi huấn luyện mô hình, cần phải đánh giá hiệu quả của mô hình bằng cách sử dụng các chỉ số phù hợp. Các chỉ số phổ biến bao gồm Mean Squared Error (MSE), Root Mean Squared Error (RMSE), R-squared cho các bài toán hồi quy và Accuracy, Precision, Recall, F1-score cho các bài toán phân loại. Nếu hiệu quả của mô hình chưa đạt yêu cầu, cần phải tối ưu hóa mô hình bằng cách điều chỉnh các tham số của thuật toán, thay đổi kiến trúc của mô hình hoặc sử dụng các kỹ thuật regularization.

V. Ứng Dụng Thực Tiễn và Kết Quả Nghiên Cứu Dự Đoán Tài Chính

Các mô hình dự đoán rủi ro và lợi nhuận có thể được ứng dụng trong nhiều lĩnh vực khác nhau của tài chính. Ví dụ, các mô hình này có thể được sử dụng để xây dựng các hệ thống đầu tư thông minh, giúp nhà đầu tư đưa ra các quyết định đầu tư tốt hơn. Các mô hình này cũng có thể được sử dụng để quản lý rủi ro, giúp các tổ chức tài chính xác định và giảm thiểu các rủi ro tiềm ẩn. Ngoài ra, các mô hình này có thể được sử dụng để phát hiện gian lận và các hoạt động bất thường trên thị trường.

5.1. Ứng dụng mô hình dự đoán trong đầu tư thông minh

Các mô hình dự đoán có thể được tích hợp vào các hệ thống đầu tư thông minh, cung cấp cho nhà đầu tư các khuyến nghị về việc nên mua, bán hoặc giữ cổ phiếu nào. Các hệ thống này có thể tự động điều chỉnh danh mục đầu tư dựa trên các dự đoán về rủi ro và lợi nhuận, giúp nhà đầu tư tối ưu hóa lợi nhuận và giảm thiểu rủi ro.

5.2. Quản lý rủi ro và phát hiện gian lận bằng Machine Learning

Machine Learning có thể được sử dụng để xác định và đánh giá các rủi ro tài chính, giúp các tổ chức tài chính đưa ra các biện pháp phòng ngừa và giảm thiểu rủi ro. Các mô hình Machine Learning cũng có thể được sử dụng để phát hiện các hoạt động gian lận và bất thường trên thị trường, bảo vệ nhà đầu tư và đảm bảo tính minh bạch của thị trường.

VI. Kết Luận và Tương Lai Của Dự Đoán Rủi Ro và Lợi Nhuận

Machine Learning đã chứng minh được tiềm năng to lớn trong việc dự đoán rủi ro và lợi nhuận trong tài chính. Tuy nhiên, vẫn còn nhiều thách thức cần phải vượt qua để các mô hình dự đoán trở nên chính xác và đáng tin cậy hơn. Trong tương lai, các mô hình dự đoán có thể được tích hợp với các công nghệ khác như chatbot tài chính và tự động hóa giao dịch, mang lại trải nghiệm đầu tư tốt hơn cho nhà đầu tư. Nghiên cứu cũng cần tập trung vào việc giải thích các quyết định của mô hình, giúp nhà đầu tư hiểu rõ hơn về cơ sở của các dự đoán và tăng cường sự tin tưởng vào các mô hình.

6.1. Xu hướng phát triển của Machine Learning trong tài chính

Trong tương lai, Artificial Intelligence (AI) in Finance, sẽ ngày càng trở nên quan trọng trong lĩnh vực tài chính. Các mô hình Machine Learning sẽ ngày càng trở nên phức tạp và chính xác hơn, nhờ vào sự phát triển của các thuật toán mới và sự gia tăng của lượng dữ liệu có sẵn. Việc tích hợp các nguồn dữ liệu khác nhau (ví dụ: dữ liệu cấu trúc, dữ liệu phi cấu trúc, dữ liệu xã hội) sẽ giúp cải thiện độ chính xác của các mô hình dự đoán.

6.2. Các vấn đề đạo đức và trách nhiệm trong ứng dụng AI vào tài chính

Việc ứng dụng AI trong tài chính đặt ra nhiều vấn đề đạo đức và trách nhiệm cần được xem xét. Các mô hình dự đoán có thể gây ra những hậu quả tiêu cực nếu chúng được sử dụng để đưa ra các quyết định không công bằng hoặc phân biệt đối xử. Cần đảm bảo tính minh bạch và giải thích được của các mô hình, giúp nhà đầu tư hiểu rõ hơn về cơ sở của các dự đoán và tránh các rủi ro tiềm ẩn. Các quy định và tiêu chuẩn đạo đức cần được phát triển để đảm bảo rằng AI được sử dụng một cách có trách nhiệm và vì lợi ích của xã hội.

Nội dung chính

Giới thiệu dự án

Thị trường chứng khoán được ví như "huyết mạch" và là phong vũ biểu đo lường sức khỏe của nền kinh tế hiện đại. Trong giai đoạn chuyển dịch tài chính số, khi lãi suất tiền gửi ngân hàng có xu hướng biến động và suy giảm, kênh đầu tư chứng khoán trở thành điểm sáng thu hút dòng vốn nhàn rỗi khổng lồ từ cả nhà đầu tư cá nhân lẫn tổ chức. Tuy nhiên, thị trường chứng khoán Việt Nam (VN-Index) luôn đối mặt với mức độ biến động phi tuyến tính cao, chịu tác động mạnh bởi tâm lý bầy đàn và các yếu tố kinh tế vĩ mô phức tạp.

Phần lớn các nhà đầu tư cá nhân thường gặp thất bại do thiếu công cụ phân tích định lượng chuẩn xác, chủ yếu ra quyết định dựa trên trực giác hoặc các chỉ báo kỹ thuật rời rạc mà bỏ qua việc cân bằng giữa mức sinh lời kỳ vọng và rủi ro thực tế. Đồ án tốt nghiệp chuyên ngành Kỹ thuật Điện tử - Truyền thông (Khoa Đào tạo Chất lượng cao, Trường Đại học Sư phạm Kỹ thuật TP.HCM) với đề tài "Prediction of Risk and Return by Using Machine Learning" do sinh viên Lâm Minh Nhật thực hiện dưới sự hướng dẫn của TS. Phạm Ngọc Sơn đã được triển khai nhằm giải quyết trực tiếp bài toán này.

+-----------------------------------------------------------------------------+
|                               MỤC TIÊU DỰ ÁN                                |
+-----------------------------------------------------------------------------+
| 1. Thu thập & tiền xử lý chuỗi thời gian giá cổ phiếu lịch sử (>5 năm)      |
| 2. Xây dựng & huấn luyện mạng nơ-ron hồi quy LSTM (Long Short-Term Memory)  |
| 3. Dự báo giá mở cửa (Open Price) và tính toán sai số hồi quy RMSE          |
| 4. Định lượng hóa tỷ suất sinh lời điều chỉnh rủi ro qua hệ số Sharpe Ratio|
+-----------------------------------------------------------------------------+

Phương pháp tiếp cận cốt lõi của đề tài là sự kết hợp liên ngành giữa Trí tuệ nhân tạo (Deep Learning) và Tài chính định lượng (Quantitative Finance). Bằng cách khai thác năng lực ghi nhớ phụ thuộc dài hạn của mạng nơ-ron hồi quy LSTM để dự báo chuỗi thời gian giá mở cửa, kết hợp cùng mô hình chỉ số Sharpe Ratio chuẩn hóa qua lãi suất trái phiếu chính phủ 10 năm ($r_{fr} = 3.069%$), hệ thống cung cấp góc nhìn dự báo đa chiều, định lượng chính xác tiềm năng và rủi ro của từng mã chứng khoán.

Phạm vi nghiên cứu tập trung vào việc mô phỏng và kiểm thử thực nghiệm trên 3 mã cổ phiếu đại diện cho các nhóm ngành trọng điểm trên sàn chứng khoán Việt Nam: CHP (Công ty Cổ phần Thủy điện Miền Trung - Nhóm tiện ích), SAB (Tổng Công ty Cổ phần Bia - Rượu - Nước giải khát Sài Gòn - Nhóm tiêu dùng) và FPT (Công ty Cổ phần FPT - Nhóm công nghệ). Dữ liệu được trích xuất hàng ngày trong khoảng thời gian hơn 5 năm để đảm bảo độ tin cậy thống kê.

---

Phân tích và thiết kế giải pháp

Phân tích hiện trạng

Trong quản trị danh mục đầu tư truyền thống, các mô hình toán học tĩnh thường bộc lộ nhiều điểm yếu khi đối mặt với dữ liệu tài chính có tính bất định cao:

Tiêu chí so sánh	Mô hình Markowitz truyền thống	Chuỗi thời gian thống kê (ARIMA/GARCH)	Giải pháp Đề xuất (LSTM + Sharpe Ratio)
Cơ chế hoạt động	Tối ưu hóa tĩnh phương sai trung bình	Mô hình hồi quy tuyến tính tự hồi quy	Học sâu phi tuyến với cổng nhớ dài-ngắn hạn
Xử lý phi tuyến	Rất kém (giả định phân phối chuẩn)	Hạn chế (chỉ bắt được biến động tuyến tính)	Rất cao (nắm bắt quan hệ chuỗi phức tạp)
Khả năng dự báo	Không có tính năng dự báo giá tương lai	Dự báo điểm ngắn hạn, dễ suy giảm độ chính xác	Dự báo xu hướng giá kết hợp phân tích rủi ro định lượng
Độ trễ thông tin	Lớn, phụ thuộc dữ liệu quá khứ tĩnh	Trung bình, nhạy cảm với cấu trúc tham số	Thời gian thực, tối ưu hóa qua từng Epoch
Tính ứng dụng thực tế	Phù hợp nghiên cứu lý thuyết	Yêu cầu chuỗi dữ liệu dừng nghiêm ngặt	Trực quan, dễ ứng dụng vào danh mục thực tế

Yêu cầu hệ thống được xác định theo mô hình phân cấp MoSCoW:

• Must have: Pipeline thu thập dữ liệu lịch sử chuẩn hóa định dạng CSV, module mạng LSTM 4 tầng cổng tương tác, công thức tính tỷ suất tăng trưởng kép hàng năm (CAGR), độ lệch chuẩn thường niên ($\sigma_{annual}$) và Sharpe Ratio.
• Should have: Trực quan hóa tương tác giữa giá thực tế và giá dự báo, đánh giá chỉ số RMSE trên tập kiểm thử độc lập 30%.
• Could have: Tích hợp giao diện Dashboard giám sát trực tuyến qua nền tảng Cloud.
• Won't have: Hệ thống tự động đặt lệnh khớp sàn thời gian thực (High-Frequency Trading API) trong giai đoạn nghiên cứu mô phỏng.

Thiết kế hệ thống

Kiến trúc giải pháp được thiết kế thành một quy trình tích hợp khép kín gồm 4 khối chức năng chính:

[Raw Financial Data (vn.investing.com)] 
[Data Preprocessing & Cleaning (NumPy, Pandas)] 

Technology Stack chuẩn hóa:

• Ngôn ngữ lập trình: Python (Phiên bản 3.10+)
• Nền tảng tính toán khoa học: NumPy (v1.23.5) & Pandas (v1.5.3)
• Deep Learning Framework: TensorFlow/Keras (v2.12.0)
• Thư viện trực quan hóa dữ liệu: Matplotlib (v3.7.1)
• Môi trường thực thi & biên dịch: Google Colab GPU Runtime (NVIDIA T4)

Mô hình toán học của mạng LSTM: Kiến trúc LSTM giải quyết triệt để hiện tượng triệt tiêu đạo hàm (Vanishing Gradient) trong RNN tiêu chuẩn nhờ cấu trúc Cell State $C_t$ đóng vai trò băng chuyền thông tin tuyến tính, được điều phối bởi 3 cổng logic:

1. Cổng quên (Forget Gate): Quyết định lượng thông tin từ trạng thái ẩn trước $h_{t-1}$ và đầu vào hiện tại $x_t$ bị loại bỏ: $$f_t = \sigma(W_f \cdot [h_{t-1}, x_t] + b_f)$$

2. Cổng vào (Input Gate): Lựa chọn thông tin mới đưa vào trạng thái tế bào: $$i_t = \sigma(W_i \cdot [h_{t-1}, x_t] + b_i)$$ $$\tilde{C}t = \tanh(W_c \cdot [h{t-1}, x_t] + b_c)$$

3. Cập nhật Cell State: $$C_t = f_t * C_{t-1} + i_t * \tilde{C}_t$$

4. Cổng ra (Output Gate): Trích xuất giá trị trạng thái ẩn mới làm đầu ra dự báo: $$o_t = \sigma(W_o \cdot [h_{t-1}, x_t] + b_o)$$ $$h_t = o_t * \tanh(C_t)$$

Methodology

Nghiên cứu tuân thủ quy trình phát triển định lượng lặp (Iterative Quantitative Methodology) với các cột mốc kiểm soát chất lượng rõ ràng:

Quản trị rủi ro kỹ thuật:

• Overfitting: Giới hạn số lượng Epochs = 50, kiểm soát chặt chẽ sai số trên tập Validation 30%.
• Dữ liệu nhiễu/Missing: Chuẩn hóa dữ liệu đầu vào, loại bỏ triệt để các bản ghi NaN phát sinh trong các ngày nghỉ giao dịch.

---

Implementation và kết quả

Development process

Dữ liệu giá mở cửa (Open Price) lịch sử được trích xuất từ nguồn tài chính, chuyển đổi định dạng sang CSV và chia tách với tỷ lệ $70%$ cho tập huấn luyện (Training Set) và $30%$ cho tập kiểm chứng (Validation Set).

import numpy as np
import pandas as pd
from keras.models import Sequential
from keras.layers import Dense, LSTM

# 1. Khởi tạo kiến trúc mô hình LSTM cho chuỗi thời gian
def build_lstm_model(input_shape):
    model = Sequential()
    model.add(LSTM(units=50, return_sequences=True, input_shape=input_shape))
    model.add(LSTM(units=50, return_sequences=False))
    model.add(Dense(units=25))
    model.add(Dense(units=1))
    model.compile(optimizer='adam', loss='mean_squared_error')
    return model

# 2. Thuật toán định lượng Sharpe Ratio chuẩn hóa thường niên
def calculate_sharpe_ratio(price_series, risk_free_rate=0.03069):
    # Tính phần trăm tăng trưởng hàng ngày (Daily Percent Growth)
    daily_growth = (price_series / price_series.shift(1)) - 1
    daily_growth = daily_growth.dropna()
    
    # Tính tốc độ tăng trưởng kép hàng năm (CAGR)
    total_years = len(price_series) / 252
    cagr = (price_series.iloc[-1] / price_series.iloc[0]) ** (1 / total_years) - 1
    
    # Tính độ lệch chuẩn thường niên hóa (Annualized Standard Deviation)
    stdv = np.std(daily_growth, ddof=1) * np.sqrt(252)
    
    # Tính chỉ số Sharpe Ratio
    sharpe_ratio = (cagr - risk_free_rate) / stdv
    return sharpe_ratio, cagr, stdv

Testing và validation

Hiệu năng của mô hình được đánh giá thông qua chỉ số độ lệch căn bậc hai trung bình (RMSE - Root Mean Square Error), đo lường mức độ sai lệch tuyệt đối giữa giá dự báo ($\hat{y}_i$) và giá khớp thực tế ($y_i$):

$$\text{RMSE} = \sqrt{\frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2}$$

Thang chuẩn hóa phân cấp chất lượng danh mục đầu tư dựa trên chỉ số Sharpe Ratio:

• $\text{Sharpe Ratio} < 0$: Kém (Bad) - Rủi ro cao hơn mức sinh lời mang lại.
• $0 \le \text{Sharpe Ratio} < 0.5$: Chấp nhận được (Adequate) - Tăng trưởng ổn định, biến động thấp.
• $0.5 \le \text{Sharpe Ratio} \le 1.0$: Tốt (Good) - Tỷ suất sinh lời vượt trội so với rủi ro.
• $\text{Sharpe Ratio} > 1.0$: Xuất sắc (Great/Excellent) - Hiệu quả đầu tư lý tưởng.

Kết quả đạt được

Hệ thống đã thực hiện kiểm định mô phỏng trên 3 mã cổ phiếu với các kịch bản thị trường khác biệt:

Mã CP	Công ty	RMSE (VND)	Sharpe Thực tế (Valid)	Sharpe Dự báo (Predicted)	Đánh giá Mô hình	Hiệu suất Đầu tư Thực tế (28/04/23 - 09/06/23)
CHP	CTCP Thủy điện Miền Trung	356.17	0.4031	0.4466	Khớp xuất sắc (Khớp 99% xu hướng)	Giảm nhẹ -3.69% (24,400 -> 23,500 VND)
SAB	Tổng CTCP Bia - Rượu Sài Gòn	5,126.32	-0.0070	0.1113	Dự báo cảnh báo rủi ro chuẩn xác	Giảm -8.14% (172,000 -> 158,000 VND)
FPT	CTCP FPT	8,200.73	0.8494	1.2303	Bắt trọn sóng tăng trưởng dài hạn	Tăng trưởng ấn tượng +9.23% (77,500 -> 84,650 VND)

Chi tiết phân tích từng tài sản:
    Sharpe dự báo đạt 1.2303 (>1 - Excellent) và Sharpe thực tế 0.8494 (Good) -> Danh mục đầu tư sinh lời vượt trội.

---

Đổi mới và đóng góp

1. Cầu nối công nghệ Machine Learning và Tài chính định lượng: Khắc phục hạn chế của các phương pháp phân tích Sharpe Ratio truyền thống vốn chỉ tính toán tĩnh trên dữ liệu quá khứ. Bằng cách tích hợp dự báo chuỗi thời gian của mạng LSTM, nhà đầu tư có thể ước tính trước chỉ số Sharpe kỳ vọng cho chu kỳ tương lai.
2. Cải tiến độ chính xác dự báo: Mạng LSTM với kiến trúc 4 tầng cổng giúp giảm thiểu độ trễ pha so với các mô hình đường trung bình động (MA) hoặc ARIMA thông thường, đạt sai số RMSE cực thấp trên các cổ phiếu ổn định ($356.17\text{ VND}$ với CHP).
3. Định chuẩn lãi suất phi rủi ro nội địa: Ứng dụng chính xác mức lợi suất Trái phiếu Chính phủ Việt Nam kỳ hạn 10 năm ($r_{fr} = 3.069%$) và nhân tử căn bậc hai $\sqrt{252}$ phiên giao dịch thường niên, tạo nên hệ quy chiếu đo lường rủi ro chuẩn xác cho thị trường tài chính Việt Nam.

---

Ứng dụng thực tế và triển khai

Giải pháp có khả năng ứng dụng thực tiễn cao trong hệ sinh thái FinTech và quản lý quỹ:

                                             (HTTPS REST API)
                                    [FastAPI Prediction Microservice]
                                    [Trained LSTM Model Cache (.h5)]

• Hệ thống tư vấn tự động (Robo-Advisor): Tự động quét toàn bộ danh mục cổ phiếu trên sàn HoSE/HNX, phân loại mã chứng khoán theo 4 cấp độ Sharpe Ratio để đề xuất tỷ trọng phân bổ vốn tối ưu.
• Yêu cầu hạ tầng triển khai:
  • Phần cứng: 1 CPU x86 4-Cores, 8GB RAM, hỗ trợ tăng tốc GPU (NVIDIA T4 hoặc tương đương) cho quá trình Retrain định kỳ.
  • Môi trường: Docker Container chạy Python 3.10+, FastAPI framework, kết nối trực tiếp nguồn cấp dữ liệu tài chính qua WebSocket/REST.
• Lộ trình triển khai:
  • Giai đoạn 1 (Tháng 1-2): Đóng gói mô hình Machine Learning thành API Service độc lập.
  • Giai đoạn 2 (Tháng 3-4): Xây dựng giao diện Dashboard trực quan hóa tham số kỹ thuật.
  • Giai đoạn 3 (Tháng 5-6): Thử nghiệm Paper Trading và đánh giá ROI thực chiến.

---

Hạn chế và hướng phát triển

• Hạn chế kỹ thuật:
  • Mô hình hiện tại mới chỉ khai thác dữ liệu đơn biến là giá mở cửa (Open Price), chưa tích hợp khối lượng giao dịch (Volume) và các chỉ số kỹ thuật nâng cao (RSI, MACD, Bollinger Bands).
  • Chưa tính đến các biến số ngoại sinh bất ngờ như tin tức tài chính, sự kiện thiên nga đen (Black Swan) hoặc báo cáo tài chính định kỳ.
• Hướng phát triển mở rộng:
  • Xây dựng mô hình LSTM đa biến (Multivariate LSTM) kết hợp module xử lý ngôn ngữ tự nhiên (NLP) phân tích sắc thái cảm xúc (Sentiment Analysis) từ báo chí tài chính.
  • Phát triển ứng dụng Web SaaS toàn diện chạy trên nền tảng Cloud (Google Cloud / AWS), cung cấp khả năng tự động Re-train mô hình hàng ngày sau giờ đóng cửa sàn giao dịch.

---

Đối tượng hưởng lợi

• Sinh viên & Nghiên cứu sinh: Tài liệu tham khảo thực nghiệm giá trị cao về việc áp dụng Deep Learning giải quyết bài toán chuỗi thời gian kinh tế thực tế.
• Kỹ sư AI / Machine Learning Engineers: Nắm vững cấu trúc lập trình mạng nơ-ron hồi quy LSTM với TensorFlow/Keras cùng kỹ thuật xử lý dữ liệu tài chính.
• Nhà đầu tư cá nhân & Doanh nghiệp: Sở hữu công cụ lượng hóa rủi ro khoa học, chuyển dịch phương thức đầu tư từ cảm tính sang hệ thống định lượng (Data-Driven Investing) với tỷ lệ tối ưu hóa lợi nhuận vượt trội.

---

Câu hỏi thường gặp

1. Yêu cầu phần cứng và môi trường để triển khai mô hình là gì?

Hệ thống được tối ưu hóa để có thể huấn luyện hoàn toàn miễn phí trên môi trường Google Colab với GPU NVIDIA T4. Khi triển khai Production, chỉ cần một máy chủ Cloud tiêu chuẩn (4 vCPU, 8GB RAM) là đủ để xử lý dự báo cho hàng trăm mã cổ phiếu mỗi ngày.

2. Mô hình có gặp hiện tượng quá khớp (Overfitting) không và cách khắc phục?

Hiện tượng Overfitting được kiểm soát bằng cách thiết lập số lượng Epochs tối ưu ở mức 50, kết hợp phân chia tập dữ liệu nghiêm ngặt (70% Train - 30% Validation) để kiểm tra chéo liên tục sai số RMSE trước khi đưa vào tính toán Sharpe Ratio.

3. Làm thế nào để tích hợp mô hình vào các hệ thống giao dịch hiện có?

Mô hình có thể được đóng gói thành một vi dịch vụ (Microservice) thông qua framework FastAPI hoặc Flask. Dữ liệu giá sau khi dự báo sẽ được trả về dưới định dạng JSON chuẩn để tích hợp trực tiếp vào hệ thống quản lý danh mục hoặc Dashboard của công ty chứng khoán.

4. Tần suất cập nhật và bảo trì mô hình được khuyến nghị như thế nào?

Do đặc tính thị trường chứng khoán luôn thay đổi, mô hình nên được thiết lập lịch trình (Cron Job) tự động huấn luyện lại (Re-train) với dữ liệu mới theo chu kỳ tuần hoặc tháng để đảm bảo trọng số mạng luôn thích ứng với xu hướng thị trường mới nhất.

5. Chi phí đầu tư và thời gian hoàn vốn (ROI) khi ứng dụng giải pháp?

Chi phí phát triển hệ thống ban đầu gần như bằng 0 nhờ sử dụng nền tảng mã nguồn mở (Python, Keras). Lợi ích mang lại giúp nhà đầu tư giảm thiểu các khoản lỗ lớn do chọn sai cổ phiếu rủi ro (như trường hợp mã SAB), từ đó cải thiện tỷ suất hoàn vốn danh mục từ 10% đến 25% mỗi năm.

---

Kết luận

Đồ án tốt nghiệp "Prediction of Risk and Return by Using Machine Learning" của sinh viên Lâm Minh Nhật dưới sự hướng dẫn của TS. Phạm Ngọc Sơn đã chứng minh tính hiệu quả vượt trội khi kết hợp mạng nơ-ron hồi quy LSTM cùng mô hình định lượng chỉ số Sharpe Ratio. Bằng việc phân tích thực nghiệm trên 3 mã cổ phiếu CHP, SAB và FPT, nghiên cứu không chỉ đưa ra các dự báo giá chính xác với sai số RMSE thấp mà còn cung cấp chỉ dẫn rủi ro tin cậy cho nhà đầu tư. Đây là nền tảng vững chắc để tiếp tục phát triển các hệ thống giao dịch định lượng thông minh và ứng dụng công nghệ tài chính chuyên sâu trong tương lai.

Trích đoạn nội dung tài liệu

MINISTRY OF EDUCATION AND TRAINING HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION GRADUATION THESIS MAJOR: ELECTRONICS AND COMMUNICATION ENGINEERING PREDICTION OF RISK AND RETURN BY USING MACHINE LEARNING INSTRUCTOR: PHẠM NGỌC SƠN, PhD. STUDENT: LÂM MINH NHẬT SKL011197 Ho Chi Minh City, July 2023 HO CHI MINH CITY UNIVERSITY OF TECHNOLOGY AND EDUCATION FACULTY FOR HIGH QUALITY TRAINING DEPARTMENT OF COMPUTER AND COMMUNICATIONS GRADUATION PROJECT PREDICTION OF RISK AND RETURN BY USING MACHINE LEARNING Student’s name: LÂM MINH NHẬT Student ID: 19161037 Major: ELECTRONICS AND COMMUNICATION ENGINEERING Advisor: PHẠM NGỌC SƠN, PhD. Ho Chi Minh City, July 2023 THE SOCIALIST REPUBLIC OF VIETNAM Independence – Freedom– Happiness -------- Ho Chi Minh City, July 5th, 2023 GRADUATION PROJECT ASSIGNMENT Student name: LÂM MINH NHẬT Student ID: 19161037 Major: ELECTRONICS AND Class: 19161CLA COMMUNICATION ENGINEERING Advisor: PHẠM NGỌC SƠN, PhD. Phone number: Date of assignment: June 22th 2023 Date of submission: June 23th 2023 1.

Project title: RISK AND RETURN BY USING MACHINE LEARNING 2. Initial materials provided by the advisor: ___________________________________ 3. Content of the project: _________________________________________________ 4. Final product: ________________________________________________________ CHAIR OF THE PROGRAM ADVISOR (Sign with full name) (Sign with full name) THE SOCIALIST REPUBLIC OF VIETNAM Independence – Freedom– Happiness -------- Ho Chi Minh City, July , 2023 ADVISOR’S EVALUATION SHEET Student name:.

Content of the project:. Approval for oral defense? (Approved or denied). Ho Chi Minh City, (month day, year) ADVISOR (Sign with full name) THE SOCIALIST REPUBLIC OF VIETNAM Independence – Freedom– Happiness -------- Ho Chi Minh City, July, 2023 PRE-DEFENSE EVALUATION SHEET Student name:. Name of Reviewer:.

Content and workload of the project. Approval for oral defense? (Approved or denied). Reviewer questions for project valuation .) Ho Chi Minh City, (month day, year) REVIEWER (Sign with full name) Faculty for High Quality Training – HCMC University of Technology and Education PREAMBLE During the implementation of the graduation project, our team has received a lot of help, suggestions and indicators from teachers and friends. To complete the project “RISK AND RETURN BY USING MACHINE LEARNING.” We sincerely thank PhD.

Phạm Ngọc Sơn - Lecturer of the Department of Computer Engineering - Telecommunications, Faculty of Electrical - Electronics, University of Technology and Education of Ho Chi Minh City. With dedicated guidance, guidance, facilitating and supporting the team to successfully complete this project. Individual would also like to thank the authors of the reference sources who helped the group to have more knowledge and choices in the process of implementing the topic. Although the group has tried to complete this topic in the most complete way, certain errors in research work, practical approach, as well as limitations in knowledge and time cannot be avoided implementation time.

Looking forward to receiving your comments so that the group can supplement and correct the topic to be more complete. Faculty for High Quality Training – HCMC University of Technology and Education ABBREVIATION Short writing Meaning NaN Not a Number 2D Two-direction I/O Input / Output LSTMs Long-Short Term Memory networks RNN Recurrent Neural Network Stdv Standard deviation Rmse Root-mean-square deviation S&P500 Standard & Poor's 500 Index CAGR Compound Annual Growth Rate rfr Risk-free-rate CHP Central Hydropower JSC SAB Saigon Beer Alcohol Beverage Corp FPT FPT Corp VND Vietnam dong Faculty for High Quality Training – HCMC University of Technology and Education MATHEMATICAL SYMBOL Symbol Meaning Tanh The function Tanh is the ratio of Sinh and Cosh. – third layer state Xt Data input ht Data in epochs Ct Cell state 𝜎 Sigmoid ft First layer state it Second layer state ot Fourth layer state rfr Risk-free-rate stdv Standard deviation PercentGrowth Daily growth percentage 𝑆ℎ𝑎𝑟𝑝𝑒𝑅𝑎𝑡𝑖𝑜 The amount of return received per unit of risk Faculty for High Quality Training – HCMC University of Technology and Education Table of Contents CHAPTER 1: OVERVIEW OF PROJECT. OBJECTIVES OF THE PROJECT.

LIMITATION OF THE PROJECT. 2 CHAPTER 2: THEORETICAL BASIS. PYTHON PROGRAMING LANGUAGE. THE CORE IDEA OF LSTM.

SHARPE’S RATIO CONCEPT. REVIEW ANOTHER PROJECT .12 CHAPTER 3: IMPLEMENTATION PROCESS. MAIN FLOWCHART AND SIMULATION PARAMETERS.23 CHAPTER 4: RESULT OF SIMULATION ANALYSIS AND ASSESSMENT .30 CHAPTER 5: CONCLUSION AND DEVELOPMENT. DEVELOPMENT DIRECTION OF THE PROJECT.

34 Faculty for High Quality Training – HCMC University of Technology and Education List of figure Figure 1) The repeating module in a standard RNN contains a single layer. 7 Figure 2) The repeating module in an LSTM contains four interacting layers. 7 Figure 3) The cell state runs straight down the entire chain with only some minor linear interactions. 8 Figure 4) They are combined by a sigmoid lattice layer and a multiplication.

8 Figure 5) Decision of what information is going to throw away from the cell state. 9 Figure 6) Decision of what new information is going to store in the cell state. 9 Figure 7) Updating the old cell state. 10 Figure 8) Decision of what is going to output.

10 Figure 9) William Forsyth Sharpe. 11 Figure 10) Summarize daily prices for Amazon and Facebook. 12 Figure 11) Plot daily prices for Amazon and Facebook. 12 Figure 12) Summarize daily values for the S&P 500.

13 Figure 13) Plot daily values for the S&P 500. 13 Figure 14) Visualize the daily return of Amazon and Facebook. 14 Figure 15) Visualize the daily return of S&P 500. 14 Figure 16) Calculating Excess Returns for Amazon and Facebook vs S&P 500.

15 Figure 17) The Average Difference in Daily Returns Stocks vs S&P 500. 15 Figure 18) Standard Deviation of the Return Difference. 16 Figure 19) Comparation the Sharpe ratio between Amzazon and Facebook. 16 Figure 20) Model system.

23 Figure 22) Development chart of CHP. 24 Figure 23) The predicted price compares with valid price. 24 Figure 24) Comparasion of Sharpe Ratio. 26 Figure 25) Development chart of SAB.

26 Figure 26) The predicted price compares with valid price. 27 Figure 27) Comparasion of Sharpe Ratio. 28 Figure 28) Development chart of FPT. 28 Figure 29) The predicted price compares with valid price.

29 Figure 30) Comparasion of Sharpe Ratio. 30 Figure 31) CHP’s Open Price in 23-06-09. 31 Figure 32) SAB’s Open Price in 23-06-09. 31 Figure 33) FPT’s Open Price in 23-06-09.

32 Faculty for High Quality Training – HCMC University of Technology and Education Chapter 1: Overview of project 1. Introduction People often say that "The stock market is the barometer of the economy", or in other words, the stock market is a future indicator of the economic movement. In recent years, securities are an effective investment and capital allocation channel for many people besides bank accounts; especially in the context that bank interest rates tend to decrease gradually, the securities investment channel becomes a bright spot. From that, it can be seen that the Stock Market is becoming an important aspect of the market economy and the investment choice of many people[1].

The application of technology can help investors analyze stock market indices and indicators to make accurate and timely investment decisions. By using “Machine Learning” is the "door" for investors to understand the methods and methods of applying machine learning achievements to understand about stocks – about a field that is constantly changing every day. Focusing on technical application, technical application in quantitative finance will support Investors to have a realistic, intuitive and easy-to-understand view of the stock market. Objectives of the project Based on Sharpe’s ratio formula; Using machine learning model to simulate predicted stock values through the GoogleColab compilation environment.

From the predicted values of model’s result, we will draw conclusion, analyze the parameters. Moreover, evaluating the comparation between the “Predicted Sharpe’s ratio”- taken from parameters in the model with “Valid Sharpe’s ratio”- taken from the data collected in reality. Finally, giving the advices and observe the stock evolutions that they grow similar with the trending. Limitation of the project This project focuses on building machine learning models to simulate and analyze that will predict the collection of data through regression methods.

In addition, the above results are only simulations and can be applied to actual models. 1 Faculty for High Quality Training – HCMC University of Technology and Education 1. Project’s layout Chapter 1: Overview- Learn about the research situation, objectives, limitations and project layout Chapter 2: Theoretical foundations. An overview of the theories used in the project.

Chapter 3: Implementation content. Provide a system model and analyze the result chart and parameters. Chapter 4: Simulation analysis and evaluation. Provide simulation scenarios, flowcharts, simulation results and comment on results obtained.

Chapter 5: Conclusion and development direction. Provide conclusions and directions for the development of the topic. 2 Faculty for High Quality Training – HCMC University of Technology and Education Chapter 2: Theoretical basis 2. Python programing language Python is a high-level general-purpose programming language that was developed by Guido van Rossum and originally made available in 1991.

Python was created with the significant benefit of being simple to read, understand, and remember. Python, which is frequently used in the creation of artificial intelligence, has a very brilliant look, a clear structure, is handy for novices, and is simple to master. The structure of Python also enables users to write code with few keystrokes. Python consistently ranks as one of the most popular programming languages[2].

Numpy The fundamental Python module for scientific computing is called NumPy. A multidimensional array object, various derived objects (like masked arrays and matrices), and a variety of routines for quick operations on arrays are provided by this Python library. These operations include discrete Fourier transforms, basic linear algebra, basic statistical operations, random simulation, and much more. The ndarray object is the base of the NumPy package.

This contains homogenous n-dimensional arrays of data kinds, with many operations carried out in compiled code for speed. NumPy arrays and regular Python sequences have a number of significant distinctions.: _ Unlike Python lists (which can grow dynamically), NumPy arrays have a fixed size when they are created. An ndarray's size change results in the creation of a new array and the deletion of the old one. _ A NumPy array's elements must all be the same data type in order to share the same amount of memory.

The exception: arrays of (Python, including NumPy) objects are possible, allowing for arrays with various element sizes. _NumPy arrays make it easier to do complex mathematical and other operations on enormous amounts of data. The majority of the time, these actions can 3 Faculty for High Quality Training – HCMC University of Technology and Education be carried out more quickly and with less code than is achievable when utilizing Python's built-in sequences. _NumPy arrays are used by an increasing number of Python-based scientific and mathematical tools; while they normally allow Python-sequence input, they convert it to NumPy arrays before processing and frequently output NumPy arrays as well.

In other words, merely being able to utilize Python's built-in sequence types is not enough to effectively use the majority (perhaps even all) of the scientific and mathematical Python-based applications available today. Pandas Pandas is an open-source library designed primarily for working quickly and logically with relational or labeled data. It offers a range of data structures and procedures for working with time series and numerical data. The NumPy library serves as the foundation for this library.

Pandas is quick and provides users with excellent performance & productivity. Advantages: - Quick and effective data manipulation and analysis. - It is possible to load data from different file objects. - Simple handling of missing data in both floating point and non-floating point data (expressed as NaN).

- Size mutability: columns in DataFrame and higher-dimensional objects can be added and removed. - Merging and connecting data sets. - Flexible data set reshaping and pivoting - Time-series functionality is provided.