ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ DƢƠNG THU TRANG ỨNG DỤNG MẠNG NƠRON NHÂN TẠO DỰ BÁO SỐ HỌC SINH TUYỂN VÀO TRUNG TÂM GDNN – GDTX QUẬN ĐỐNG ĐA LUẬN VĂN THẠC SĨ NGÀNH CÔNG NGHỆ THÔNG TIN HÀ NỘI - 2017 ĐẠI HỌC QUỐC GIA HÀ NỘI TRƢỜNG ĐẠI HỌC CÔNG NGHỆ DƢƠNG THU TRANG ỨNG DỤNG MẠNG NƠRON NHÂN TẠO DỰ BÁO SỐ HỌC SINH TUYỂN VÀO TRUNG TÂM GDNN – GDTX QUẬN ĐỐNG ĐA Ngành : Công nghệ thông tin Chuyên ngành : Quản lý hệ thống thông tin Mã số : LUẬN VĂN THẠC SĨ NGÀNH CÔNG NGHỆ THÔNG TIN Ngƣời hƣớng dẫn khoa học: PGS. NGUYỄN QUANG HOAN HÀ NỘI - 2017 1 LỜI CAM ĐOAN Em xin cam đoan: Những nội dung trong luận văn là do em thực hiện dƣới sự hƣớng dẫn của thầy giáo PGS. Nguyễn Quang Hoan. Mọi tham khảo dùng trong luận văn đều đƣợc trích dẫn rõ ràng tác giả, tên công trình, thời gian, địa điểm công bố.
Mọi sao chép không hợp lệ, vi phạm quy chế đào tạo hay gian lận em xin chịu hoàn toàn trách nhiệm. Hà Nội, ngày tháng năm 2017 Học viên ` Dƣơng Thu Trang 2 LỜI CẢM ƠN Em xin bày tỏ lòng biết ơn sâu sắc đến PGS. Nguyễn Quang Hoan, thầy đã hƣớng dẫn, chỉ bảo tận tình để em có thể hoàn thành luận văn này. Em cũng xin chân thành cảm ơn các thầy, cô giáo của khoa Công nghệ thông tin – Trƣờng Đại học Công nghệ - Đại học Quốc gia Hà Nội đã truyền thụ kiến thức, hỗ trợ em trong suốt quá trình học tập vừa qua.
Em cũng xin chân thành cảm ơn bạn bè đồng nghiệp, gia đình và những ngƣời thân đã cùng chia sẻ, giúp đỡ, động viên, tạo mọi điều kiện thuận lợi để em hoàn thành nhiệm vụ học tập và cuốn luận văn này. Hà Nội, ngày tháng năm 2017 Học viên Dƣơng Thu Trang 3 MỤC LỤC LỜI CAM ĐOAN. 3 DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT. 6 DANH MỤC CÁC BẢNG BIỂU.
7 DANH MỤC CÁC HÌNH VẼ. Lý do chọn đề tài. Mục tiêu và nhiệm vụ của luận văn. Đối tƣợng và phạm vi nghiên cứu.
Phƣơng pháp nghiên cứu. Ý nghĩa khoa học và thực tiễn của luận văn. Bố cục luận văn. 11 TỔNG QUAN VỀ BÀI TOÁN DỰ BÁO.
Lịch sử của quá trình dự báo. Khái niệm về dự báo. Mục đích của dự báo. Những thách thức trong phân tích dự báo.
Các phƣơng pháp dự báo. Quy trình thực hiện dự báo. Phƣơng pháp dự báo sử dụng mạng nơron theo đề xuất của luận văn. Đánh giá mô hình dự báo.
Kết luận chƣơng 1. 17 TỔNG QUAN VỀ MẠNG NƠRON NHÂN TẠO. Mạng nơron nhân tạo là gì?. Sự tƣơng đƣơng nơron nhân tạo với nơron sinh học.
Lịch sử phát triển của mạng nơron nhân tạo. Nơron sinh vật. Nơron nhân tạo. Cấu tạo nơron nhân tạo.
Phân loại mạng nơron nhân tạo. Học tham số (Parameter Learning). Học cấu trúc. Mạng truyền thẳng nhiều lớp và thuật toán lan truyền ngƣợc.
Kiến trúc mạng. Xác định cấu trúc mạng tối ƣu. Cấu trúc của luật học lan truyền ngƣợc. Luật học lan truyền ngƣợc.
Một số vấn đề của mạng nơron nhiều lớp. Ƣu nhƣợc điểm của mạng truyền thẳng. Kết luận chƣơng 2. 33 ỨNG DỤNG MẠNG NƠRON TRONG DỰ BÁO SỐ HỌC SINH.
33 TUYỂN VÀO TRUNG TÂM GDNN-GDTX ĐỐNG ĐA. Giới thiệu về Trung tâm GDNN-GDTX Đống Đa. Dữ liệu tuyển sinh của Trung tâm. Các phƣơng án chọn cấu trúc dữ liệu.
Phát biểu bài toán. Thiết kế mạng nơron. Số lớp nơron .2 Cấu trúc mạng. Hàm tƣơng tác đầu ra.
Giá trị trọng khởi đầu. Công cụ mô phỏng bài toán dự báo tuyển sinh. Chạy và thử nghiệm. So sánh các phƣơng pháp dự báo.9 Kết luận chƣơng 3.
49 TÀI LIỆU THAM KHẢO .52 GIỚI THIỆU CÔNG CỤ VÀ KẾT QUẢ DỰ BÁO. Giao diện chính của phần mềm. Giao diện huấn luyện. Giao diện Kiểm tra mạng.
Chức năng Dự báo. Chức năng Giới thiệu vào Thoát .56 MỘT SỐ MÃ NGUỒN CỦA CÔNG CỤ. Huấn luyện mạng. Chuẩn hóa dữ liệu.
Kiểm tra mạng. 63 BÀI BÁO KHOA HỌC. 63 6 DANH MỤC CÁC KÝ HIỆU, CÁC CHỮ VIẾT TẮT STT TÊN VIẾT TẮT TÊN ĐẦY ĐỦ DIỄN GIẢI 1 ANN Artificial Neural Network Mạng nơron nhân tạo 2 AR Autoregressive Tự hồi quy 3 BP Back Propagation Lan truyền ngƣợc 4 HIDDENNODE Hidden Node Số nơron lớp ẩn 5 INPUTNODE Input Node Số nơron lớp vào 6 LEARNING RATE Learning Rate Tốc độ học 7 MA Moving Average Đƣờng trung bình di động 8 MAE Mean Absolute Error Sai số tuyệt đối 9 MSE Mean Square Error Sai số trung bình Multi Feedforward Neural 10 MFNN Mạng truyền thẳng nhiều lớp Network 11 MLP Multilayer Neural Network Mạng nơron nhiều lớp 12 NƠRON Neural Tế bào thần kinh 13 OUTPUTNODE Output Node Số nơron lớp ra 14 GA Genetic Algorithm Giải thuật di truyền 15 EP Evolutionary Programming Lập trình tiến hóa 7 DANH MỤC CÁC BẢNG BIỂU Bảng 2. Một số hàm phi tuyến thƣờng đƣợc sử dụng trong các mô hình nơron 20 Bảng 3.
Cơ sở vật chất của Trung tâm. Dữ liệu tuyển sinh của Trung tâm. Dữ liệu tuyển sinh từ năm 1988 đến 2017 của Trung tâm. Bảng dữ liệu học.
Bảng trọng số. Kết quả thử nghiệm dự báo tuyển sinh. Kết quả huấn luyện dự báo tuyển sinh. Kết quả dự báo bằng phƣơng pháp trung bình dài hạn.
Kết quả dự báo bằng phƣơng pháp trung bình động. Kết quả dự báo bằng phƣơng pháp hồi quy tƣơng quan. Kết quả dự báo bằng phƣơng pháp san bằng mũ .47 8 DANH MỤC CÁC HÌNH VẼ Hình 1.Quy trình thực hiện dự báo .Quy trình lựa chọn mô hình dự báo. Cấu trúc nơron sinh vật.
Mô hình một nơron nhân tạo. Phân loại mạng nơron .Mạng truyền thẳng nhiều lớp. Cấu trúc mạng lan truyền ngƣợc. Tối thiểu cục bộ (Local Minimum).
Tốc độ học của hằng số học η. Kết quả huấn luyện mạng. Kết quả kiểm tra mạng. Kết quả dự báo cho 3 năm 2018, 2019, 2020.
Sơ đồ kết quả dự báo trung bình động. Kết quả dự báo san bằng mũ. Lý do chọn đề tài Hiện nay, công tác dự báo đƣợc ứng dụng rộng rãi ở hầu hết các lĩnh vực nhƣ: Dự báo giá xăng dầu, dự báo chứng khoán, dự báo thời tiết… Công tác dự báo nhằm mục đích dự báo trƣớc sự thay đổi của đối tƣợng đƣợc dự báo dựa trên cơ sở nghiên cứu các quy luật của đối tƣợng dự báo. Những năm gần đây ngành giáo dục cũng bắt đầu chú trọng đến công tác dự báo nhằm đƣa ra đƣợc những chính sách đúng đắn nhất.
Có rất nhiều tác giả đã đi vào nghiên cứu dự báo các lĩnh vực khác nhau của giáo dục nhƣ: Dự báo nhu cầu giáo viên, dự báo tỉ lệ học sinh đỗ tốt nghiệp, dự báo tỉ lệ học sinh đỗ Đại học… Chính vì thấy đƣợc lợi ích của việc dự báo trong giáo dục nên em chọn đề tài: “Ứng dụng mạng nơron nhân tạo dự báo số học sinh tuyển vào Trung tâm GDNN- GDTX quận Đống Đa” để giúp đƣa ra đƣợc những chính sách đúng đắn nhất trong thời gian tới cho Trung tâm của mình. Mục tiêu và nhiệm vụ của luận văn Luận văn tập trung khảo sát các mô hình mạng nơron, áp dụng phƣơng pháp học máy mạng nơron và ứng dụng vào bài toán dự báo số học sinh tuyển vào Trung tâm GDNN-GDTX Đống Đa. Luận văn phát triển công cụ thử nghiệm riêng và tiến hành thử nghiệm trên bộ số liệu thu thập đƣợc trong 30 năm. Đối tƣợng và phạm vi nghiên cứu Luận văn nghiên cứu lý thuyết mạng nơron nhân tạo, mạng nơron lan truyền thẳng và thuật toán lan truyền ngƣợc, áp dụng vào bài toán dự báo nói chung và dự báo số học sinh tuyển vào Trung tâm GDNN – GDTX Đống Đa nói riêng.
Phƣơng pháp nghiên cứu Nghiên cứu lý thuyết để nắm rõ các mô hình mạng nơron, các phƣơng pháp dự báo, lý thuyết về mạng nơron nhân tạo, mạng nơron lan truyền thẳng và thuật toán lan truyền ngƣợc. Trên cơ sở đó lựa chọn mô hình phù hợp và thử nghiệm để hiệu chỉnh tối ƣu mô hình đã chọn. Ý nghĩa khoa học và thực tiễn của luận văn Luận văn chỉ ra khả năng ứng dụng mạng nơron nhân tạo trong công tác dự báo nói chung và dự báo trong lĩnh vực giáo dục nói riêng là hoàn toàn khả thi và cho kết quả đáng khích lệ. Bố cục luận văn Nội dung của luận văn đƣợc tổ chức thành ba chƣơng có nội dung nhƣ sau: Chƣơng 1: Nghiên cứu về bài toán dự báo, các phƣơng pháp dự báo và phƣơng pháp dự báo mà luận văn áp dụng cho bài toán dự báo số học sinh tuyển vào Trung tâm GDNN-GDTX quận Đống Đa.
Chƣơng 2: Nghiên cứu về mạng nơron nhân tạo, tập trung vào mạng nơron truyền thẳng nhiều lớp, chƣơng này cung cấp chi tiết các vấn đề về quá trình 10 huấn luyện và thuật toán học của mạng, với trọng tâm là thuật toán lan truyền ngƣợc sai số. Chƣơng 3: Ứng dụng mạng nơron nhân tạo vào giải quyết bài toán dự báo số học sinh tuyển vào Trung tâm GDNN – GDTX quận Đống Đa. Chƣơng này giới thiệu về số liệu thu thập đƣợc, các phƣơng pháp đánh giá kết quả dự báo và tập trung vào thử nghiệm để dự báo số học sinh tuyển sinh vào Trung tâm GDNN – GDTX quận Đống Đa. Từ đó đánh giá khả năng ứng dụng phƣơng pháp máy học vào dự báo chuỗi thời gian.
Kết luận: Tổng kết các kết quả đã đạt đƣợc của luận văn và hƣớng nghiên cứu tiếp theo. Phần phụ lục giới thiệu phần mềm ứng dụng và kết quả thực nghiệm mà luận văn đã đạt đƣợc. 11 CHƢƠNG 1 TỔNG QUAN VỀ BÀI TOÁN DỰ BÁO 1. Lịch sử của quá trình dự báo Nhu cầu dự báo về một sự việc sẽ diến tiến thế nào trong tƣơng lai đã có từ nhiều thế kỷ trƣớc.
Những dự báo đầu tiên là dự báo về các hiện tƣợng tự nhiên, các hiện tƣợng xã hội và hiện tƣợng về đời sống xã hội. Ban đầu dự báo chỉ dựa vào những kinh nghiệm của ngƣời dự báo, dần dần dự báo đã đƣợc hỗ trợ bởi công nghệ giúp cho kết quả dự báo chính xác hơn.