Luận Văn Thạc Sĩ: Ứng Dụng Khai Phá Dữ Liệu Vào Dự Báo Giá Hàng Hóa Trên Sàn Giao Dịch

Luận văn thạc sĩ VNU UET nghiên cứu ứng dụng khai phá dữ liệu trong dự báo giá mặt hàng trên sàn giao dịch, mang lại giải pháp hiệu quả.

Chuyên ngành

Công nghệ thông tin

Người đăng

Ẩn danh

Thể loại

Luận văn thạc sĩ

2015

64
3
0

Phí lưu trữ

30 Point

Mục lục chi tiết

LỜI CẢM ƠN

1. CHƯƠNG 1: TỔNG QUAN VỀ GIAO DỊCH HÀNG HÓA TƯƠNG LAI

1.1. Hàng hóa tương lai

1.2. Sàn giao dịch hàng hóa tương lai

1.3. Các chủ thể trong thị trường tương lai

1.4. Phân tích kỹ thuật

1.4.1. Phân tích điểm kháng cự, hỗ trợ

1.4.2. Phân tích xu hướng giá

1.4.3. Phân tích đường trung bình giá

1.5. Đặt vấn đề dự báo giá hàng hóa trên sàn giao dịch

1.6. Kết luận

2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT VỀ MẠNG NƠ RON

2.1. Lịch sử phát triển của mạng nơ ron

2.2. Cơ sở sinh học

2.3. Cấu tạo nơ ron nhân tạo

2.4. Mô hình của mạng nơ ron

2.4.1. Mạng truyền thẳng

2.4.2. Mạng hồi quy

2.5. Huấn luyện mạng

2.5.1. Học không giám sát

2.5.2. Hàm mục tiêu

2.5.3. Thuật toán lan truyền ngược

2.6. Lĩnh vực áp dụng

3. CHƯƠNG 3: MÔ HÌNH XỬ LÝ

3.1. Mạng nơ ron trong bài toán dự báo

3.2. Mô hình xử lý

3.3. Lựa chọn các biến số

3.4. Thu thập dữ liệu

3.5. Tiền xử lý và phân tích dữ liệu

3.5.1. Tiền xử lý dữ liệu

3.5.2. Phân tích dữ liệu

3.5.3. Phân chia tập dữ liệu

3.6. Cấu trúc mạng

3.6.1. Số lớp ẩn

3.6.2. Số nơ ron trong mỗi lớp ẩn

3.6.3. Số nơ ron đầu ra

3.7. Xác định tiêu trí đánh giá

3.8. Huấn luyện mạng

4. CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ

4.1. Giới thiệu về thư viện cài đặt nơ ron

4.2. Mô hình mạng

4.3. Các biến số sử dụng cho bài toán

4.4. Thu thập dữ liệu

4.5. Mô hình mạng

4.6. Huấn luyện mạng

4.7. Đánh giá mô hình mạng

4.7.1. So sánh kết quả của mạng với mô hình tương đương

4.7.2. Đánh giá kết quả dự đoán

4.8. Giới thiệu ứng dụng dự đoán giá

TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về ứng dụng khai thác dữ liệu trong dự báo giá hàng hóa

Trong bối cảnh thị trường hàng hóa ngày càng phát triển, việc ứng dụng khai thác dữ liệu vào dự báo giá hàng hóa trở nên cần thiết hơn bao giờ hết. Các nhà đầu tư cần có những công cụ chính xác để đưa ra quyết định mua bán. Việc sử dụng các phương pháp phân tích dữ liệu giúp tối ưu hóa quy trình này.

1.1. Khái niệm về khai thác dữ liệu và dự báo giá hàng hóa

Khai thác dữ liệu là quá trình tìm kiếm thông tin hữu ích từ các tập dữ liệu lớn. Trong lĩnh vực dự báo giá hàng hóa, nó giúp phân tích xu hướng và đưa ra dự đoán chính xác hơn về giá cả trong tương lai.

1.2. Tầm quan trọng của dự báo giá hàng hóa trên sàn giao dịch

Dự báo giá hàng hóa không chỉ giúp các nhà đầu tư đưa ra quyết định đúng đắn mà còn giúp họ phòng ngừa rủi ro. Việc nắm bắt được xu hướng giá sẽ tạo ra lợi thế cạnh tranh lớn trên sàn giao dịch hàng hóa.

II. Những thách thức trong việc dự báo giá hàng hóa hiện nay

Mặc dù có nhiều công cụ và phương pháp, việc dự báo giá hàng hóa vẫn gặp phải nhiều thách thức. Các yếu tố như biến động thị trường, thông tin không đầy đủ và sự phức tạp của dữ liệu khiến cho việc dự đoán trở nên khó khăn.

2.1. Biến động giá và ảnh hưởng của thông tin thị trường

Giá hàng hóa thường xuyên biến động do nhiều yếu tố như thời tiết, chính trị và kinh tế. Những thông tin này có thể ảnh hưởng lớn đến giá cả, làm cho việc dự đoán trở nên khó khăn hơn.

2.2. Khó khăn trong việc thu thập và xử lý dữ liệu

Việc thu thập dữ liệu từ nhiều nguồn khác nhau có thể gây khó khăn trong việc xử lý và phân tích. Dữ liệu không đồng nhất có thể dẫn đến những sai lệch trong kết quả dự báo.

III. Phương pháp khai thác dữ liệu trong dự báo giá hàng hóa

Có nhiều phương pháp khác nhau được áp dụng trong khai thác dữ liệu để dự báo giá hàng hóa. Các phương pháp này bao gồm học máy, mạng nơ ron, và phân tích thống kê.

3.1. Học máy trong dự báo giá hàng hóa

Học máy là một trong những phương pháp hiệu quả nhất trong việc dự báo giá. Nó cho phép máy tính học từ dữ liệu lịch sử và đưa ra dự đoán cho tương lai.

3.2. Mạng nơ ron và ứng dụng trong dự báo giá

Mạng nơ ron có khả năng mô phỏng cách thức hoạt động của não bộ con người. Chúng có thể xử lý và phân tích dữ liệu phức tạp, từ đó đưa ra dự đoán chính xác hơn về giá hàng hóa.

IV. Ứng dụng thực tiễn của khai thác dữ liệu trong dự báo giá hàng hóa

Việc ứng dụng khai thác dữ liệu trong dự báo giá hàng hóa đã mang lại nhiều kết quả tích cực. Nhiều công ty đã áp dụng thành công các mô hình dự báo để tối ưu hóa quy trình đầu tư.

4.1. Các công ty thành công trong việc dự báo giá hàng hóa

Nhiều công ty lớn đã áp dụng các phương pháp khai thác dữ liệu để dự đoán giá hàng hóa, từ đó tăng cường lợi nhuận và giảm thiểu rủi ro.

4.2. Kết quả nghiên cứu về dự báo giá hàng hóa

Nghiên cứu cho thấy rằng việc sử dụng các mô hình dự báo dựa trên khai thác dữ liệu có thể cải thiện độ chính xác của dự đoán giá hàng hóa lên đến 80%.

V. Kết luận và tương lai của dự báo giá hàng hóa

Dự báo giá hàng hóa là một lĩnh vực đang phát triển mạnh mẽ. Với sự tiến bộ của công nghệ, việc ứng dụng khai thác dữ liệu sẽ ngày càng trở nên quan trọng hơn trong việc đưa ra quyết định đầu tư.

5.1. Xu hướng tương lai trong dự báo giá hàng hóa

Trong tương lai, việc áp dụng công nghệ mới như blockchaintrí tuệ nhân tạo sẽ giúp cải thiện độ chính xác và hiệu quả của các mô hình dự báo giá hàng hóa.

5.2. Tầm quan trọng của việc cập nhật công nghệ trong dự báo

Cập nhật công nghệ mới và cải tiến phương pháp dự báo sẽ giúp các nhà đầu tư nắm bắt được xu hướng thị trường và đưa ra quyết định chính xác hơn.

22/07/2025
Luận văn thạc sĩ vnu uet ứng dụng khai phá dữ liệu vào dự báo giá mặt hàng trên sang giao dịch

Trích đoạn nội dung tài liệu

đặt vấn đề cấp thiết về bài toán dự báo giá trên sàn giao dịch hàng hóa tƣơng lai. 16 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Chƣơng 2. CƠ SỞ LÝ THUYẾT VỀ MẠNG NƠ RON 2. Lịch sử phát triển của mạng nơ ron Mạng nơ ron đƣợc phát triển vào những năm 1940 với công trình đầu tiên của Warren McCulloch và Walter Pitts (1943).

Công trình đã chỉ ra khả năng liên kết mà một số liên kết cơ bản của mạng nơ ron nhân tạo, mạng có thể tính toán nhƣ một hàm số học hay logic. Ứng dụng thực nghiệm đầu tiên của các nơ ron nhân tạo có đƣợc vào cuối những năm 50 cùng với phát minh của mạng Perceptron (Perceptron network) và luật học tƣơng ứng bởi Frank Rosenblatt (1958). Mạng có khả năng nhận dạng các mẫu. Năm 1969, Minsky và Papert đã phân tích sự đứng đắn của mạng Perceptron, họ đã chứng minh các tính chất và chỉ rõ giới hạn của một số mô hình.

Năm 1976, Grossberg dựa vào tính chất sinh học đã đƣa ra một số cấu trúc của hệ động học phi tuyến và các tính chất mới của nó. Năm 1982, Hoppfield đã đƣa ra mạng học phi tuyến. Năm 1982, Rumelhart đƣa ra mô hình song song (Parallel Distributer Processing-PDS) và một số kết quả và thuật toán. Năm 1986, nhóm tác giả Rummelhart, Hinton, Williams đã đề xuất luyện mạng nhiều lớp, với thuật toán lan truyền ngƣợc (Back Propagation learning rule).

Những năm gần đây nhiều tác giả đã đề xuất nhiều mô hình mạng mới theo từng bài toán cụ thể. Theo đó mạng nơ ron đƣợc ứng dụng rộng rãi trong nhiều lĩnh vực kinh tế, kỹ thuật, khoa học. Cơ sở sinh học Mạng nơ ron đƣợc mô phỏng theo cách thức hoạt động của các nơ ron thần kinh trong bộ não con ngƣời. Đây là cơ sở để xây dựng mạng nơ ron trong máy tính.

Bộ não con ngƣời có chứa khoảng 100 tỉ nơ ron thần kinh các phần tử liên kết chặt chẽ với nhau (khoảng 104 liên kết đối với mỗi phần tử) gọi là các nơ ron. Nơ ron sinh học có nhiều loại, chúng khác nhau về kích thức và khả năng xử lý tín hiệu. Tuy nhiên các nơ ron này có cấu trúc và nguyên lý hoạt động nhƣ nhau. Mỗi nơ ron sinh học gồm có 3 thành phần: Thân nơ ron có nhân ở bên trong (soma), đầu dây thần kinh ra (axon) và một hệ thống phân nhánh hình cây (Dendrite) để nhận các thông tin vào.

Trong thực tế có rất nhiều dây thần kinh vào và chúng bao phủ một diện tích rất lớn (0,25mm2). Đầu dây thần kinh ra đƣợc rẽ nhánh nhằm chuyển giao tín hiệu từ thân nơ ron này tới nơ ron khác. Các nhánh của đầu dây thần kinh đƣợc nối với các khớp thần kinh (synapse). Các khớp thần kinh này đƣợc nối với đƣợc liên kết và là đầu vào của nơ ron khác.

Các nơ ron có thể sửa đổi tiến hiệu tại các khớp. 17 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.1: Cấu tạo 1 nơ ron sinh học Hoạt động của nơ ron sinh học nhƣ sau: Thông tin đƣợc tiếp nhận từ các giác quan và chuyển tới bộ não để xử lý. Các nơ ron thần kinh nhận đƣợc các tín hiệu từ các tế bào thần kinh. Các tín hiệu vào đƣợc tích hợp và kiểm tra với một ngƣỡng, nếu vƣợt ngƣỡng này nơ ron sẽ sinh ra một tín hiệu mới và gửi tới một nơ ron khác thông qua dây thần kinh.

Các nơ ron trong não đƣợc liên kết với nhau thành mạng lƣới các nơ ron. Sự liên kết giữa các nơ ron có độ bền vững xác định gọi là trọng số liên kết. Cấu tạo nơ ron nhân tạo 2. Cấu tạo một nơ ron nhân tạo.

Dựa vào cấu tạo và cách thức hoạt động của một nơ ron để xây dựng một nơ ron nhận tạo gần giống với một nơ ron sinh học. Năm 1943, các tác giả McCulloch và Pitts đã đề xuất một mô hình toán cho một nơ ron. Một nơ ron nhân tạo là đơn vị xử lý nhỏ nhất trong mô hình mạng nơ ron nhân tạo. Nhƣ một nơ ron sinh học, nơ ron nhân tạo có chức năng nhận dữ liệu đầu vào, xử lý và đƣa dữ liệu đã đƣợc xử lý ra ở đầu ra.

Cấu tạo một nơ ron nhân tạo đƣợc mô tả nhƣ Hình 2.2: 18 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Hệ số ngƣỡng bias 𝑏𝑘 𝑥1 𝑤𝑘1 Hàm kích hoạt 𝑥2 u𝑘 Đầu ra y𝑘 Tín hiệu 𝑤𝑘2 𝜑(𝑥) đầu vào. 𝑥𝑚 𝑤𝑘𝑚 Trọng số Bộ tổng hợp liên kết tuyến tính Hình 2.2: Cấu tạo một nơ ron trong mạng Trong mỗi nơ ron nhân tạo có 3 thành phần chính nhƣ đầu vào, ra, bộ tổng hợp tuyến tính đóng vai trò nhân xử lý, hàm kích hoạt đóng vai trò nhƣ các khớp thần kinh (synapse). Chi tiết thành phần của một nơ ron nhƣ sau: o 𝑥1 , 𝑥2 , … 𝑥𝑚 : Là các tín hiệu đầu vào. Các tín hiệu này có thể là đầu ra của các nơ ron trƣớc đó hoặc đầu vào ban đầu của mạng.

o 𝑤𝑘1 , 𝑤𝑘2 , … 𝑤𝑘𝑚 : Các trọng số liên kết, Mỗi tín hiệu đầu vào sẽ đƣợc liên kết với nơ ron qua trọng số wkj. Với mỗi đầu vào 𝑥𝑚 sẽ có trọng số 𝑤𝑘𝑚 tƣơng ứng. Trong số 𝑤𝑘𝑚 thể hiện mức độ liên kết của đầu vào 𝑥𝑚 với nơ ron xử lý. o Bộ xử lý tuyến tính: Bộ xử lý tuyến tính thực hiện xử lý các tín hiệu đầu vào bằng cách tính tổng các tín hiệu đầu vào đã đƣợc nhân với trọng số liên kết tƣơng ứng.

o Hệ số ngƣỡng bias 𝑏𝑘 : Là giá trị ngƣỡng của nơ ron k, là một hằng số nhận giá trị dƣơng hoặc ân, giá trị sẽ làm cho bộ công ∑ tăng hoặc giảm đi giá trị của ngƣỡng. o 𝑢𝑘 : Giá trị thu đƣợc sau khi xử lý qua bộ xử lý tuyến tính. Ta có công thức cho 𝑢𝑘 theo công thức (2.1) 𝑗 =1 Với 𝑥0 = 1 và 𝑤0 = 𝑏𝑘 thì ta có công thức mới 19 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.2) 𝑗 =0 o Hàm kích hoạt φ𝑘 (activation function) hay còn gọi là hàm truyền: Giá trị đầu ra của nơ ron đƣợc giới hạn theo hàm kích hoạt, sau khi qua hàm kích hoạt giạ trị thông thƣờng sẽ đƣợc chuyển về các đoạn [0,1] hoặc [- 1,1]. Hàm kích hoạt có tính chất quyết định đến kết quả của mạng nơ ron.

o Đầu ra 𝑦𝑘 : Kết quả của quá trình xử lý trong nơ ron k. Giá trị này chính là giá trị của hàm kích hoạt φk, ta có công thức tính của 𝑦𝑘 nhƣ sau: 𝑦𝑘 = 𝜑(𝑢𝑘 ) 2. Hàm truyền Hàm truyền quyết định giá trị đầu ra của một nơ ron, có nhiều loại hàm truyền đƣợc sử dụng. Sau đây là một số hàm cơ bản.

Hàm ngƣỡng: Hàm ngƣỡng đƣợc định nghĩa dƣới dạng công thức (2.3) 0, 𝑣 < 0 Khi đó giá trị đầu ra yk nhận giá trị sau: 1, φ𝑣 ≥ 0 y𝑘 = 0, φ𝑣 < 0 Đồ thị của hàm đƣợc vẽ nhƣ sau: Hình 2.3: Đồ thị hàm ngưỡng Hàm vùng tuyến tính: Hàm đƣợc định nghĩa dƣới dạng công thức (2.4) sau: 20 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.4) 2 2 1 0 , 𝑣 ≤ − 2 Khi đó giá trị đầu ra 𝑦𝑘 nhận giá trị sau: 1 1, φ𝑣 ≥ 2 1 1 y𝑘 = φ𝑣 , > φ𝑣 > − 2 2 1 0 , φ𝑣 ≤ − 2 Đồ thị hàm số của hàm kích hoạt trên nhƣ sau: Hình 2.4: Đồ thị hàm vùng tuyến tính Hàm Sigmoid: Hàm đƣợc định nghĩa dƣới dạng công thức: 1 φ𝑣 = (2.5) 1 + 𝑒 −𝑎𝑣 Khi đó giá trị đầu ra yk nhận giá trị sau: 1 y𝑘 = 1 + 𝑒 −𝑎φ 𝑣 Trong công thức trên 𝛼 là hằng số. Bằng việc thay đổi giá trị của 𝛼, chúng ta sẽ thu đƣợc những hàm truyền khác nhau với độ dốc khác nhau. Ta có đồ thị hàm số của Sigmoid có các dạng nhƣ Hình 2. Độ dốc trên đồ thị tăng dần theo hằng số 𝛼.

21 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.5: Đồ thị hàm Sigmoid với hệ số 𝑎 tăng dần 2. Mô hình của mạng nơ ron Giống nhƣ các nơ ron thần kinh sinh học, Các nơ ron nhân tạo kết nối với nhau tạo thành một mạng nơ ron. Các mô hình mạng đƣợc Nelson và Illingworth đƣa ra vào năm (1991). Theo tính chất hƣớng chuyền mạng nơ ron đƣợc chia làm hai mô hình là mạng truyền thẳng (feed forward network) và mạng hồi quy (recurrent network).

Mạng truyền thẳng Mạng truyền thẳng là mạng mà trong nó có cấu trúc truyền thẳng từ đầu vào tới đấu ra.Tín hiệu từ đầu vào tới đầu ra đƣợc xử lý qua một hoặc nhiều lớp mạng, trong mỗi lớp mạng có thể chứ một hoặc nhiều nơ ron xử lý. Mạng xử lý tín hiệu đầu vào và trả ra kết quả luôn ở đầu ra gọi là mạng nơ ron một lớn.6: Mô hình mạng nơ ron một lớp truyền thẳng Với mỗi giá trị đầu vào 𝑥 = [𝑥1 , 𝑥2 , … 𝑥𝑛 ]𝑡 qua quá trình xử lí của mạng sẽ thu đƣợc một bộ đầu ra tƣơng ứng 𝑦 = [𝑦1 , 𝑦2 , … 𝑦𝑛 ]𝑡. Mạng xử lý qua nhiều nơ ron bên trong mạng đƣợc gọi là mạng nhiều lớp. Lớp nhận tín hiệu ban đầu gọi là lớp đầu vào.

Lớp trả kết quả đầu ra gọi là lớp đầu ra. Các lớp bên trong xử lý mạng gọi là lớp ẩn. Lớp ẩn có thể có một hoặc nhiều lớp ẩn. Số nơ 22 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com ron trong mỗi lớp ẩn là khác nhau, mỗi lớp ẩn có thể chứa một hoặc nhiều nơ ron.

Sau đây là mô hình đầy đủ của mạng nơ ron truyền thẳng nhiều lớp: 𝑥1 𝑦1 𝑥2 𝑦2. 𝑥𝑛 𝑦𝑛 Lớp vào Lớp ẩn Lớp ẩn Lớp ra Hình 2.7: Mô hình mạng nơ ron truyền thẳng nhiều lớp 2. Mạng hồi quy Mạng hồi quy là mạng truyền thẳng mà ở kết quả đầu ra của một nốt mạng là đầu vào của một nốt mạng trƣớc đó hoặc của chính nó. Chính vì điều này làm cho kết quả đầu vào của nốt mạng có thuộc tính hồi quy là động và có sự thay đổi trong quá trình thực hiện của mạng, và làm cho mạng có khả năng thích nghi cao.

Mô hình mạng đƣợc biểu diễn nhƣ Hình 2.8: Ví dụ về mô hình mạng hồi quy truyền thắng 2. Huấn luyện mạng Một mạng rơ ron hiệu quả đƣợc quyết định bởi hai nhân tố chính một là mô hình mạng: Là số lớp ẩn, đầu vào, đầu ra, các nốt mạng trong lớp, liên kết giữa các nốt mạng. Hai là các trọng số liên kết giữa các nốt mạng. Các trọng số liên kết này đƣợc quyết định qua thuật toán huấn luyện.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ