Chương 1: Trình bầy khái quất về dự báo và ứng dụng khai phá dỡ liệu trong xây dựng mô hình dự báo giao thông. Chương 2: Trình bầy các kỹ thuật khai phá dỡ liệu trong, y dựng môi hình dự báo lưu lượng giao thông từ bước 1 đến bước 3 trong bài toán dự báo 4 bước đễ xắc định loại hình phương iện đối với thỏđ tà Nội Chương 3: Thử nghiệm trên bộ đữ liệu thực nghiệm năm 2014 và đưa. +a kết quả dự báo cho năm 2020. (Qua iodn vin này, em nin chin thành cảm ơn TS.
Nguyễn Việt Anh ~ ‘Vin Céng nghệ thông tin đã tân tỉnh gifp đổ, hướng dẫn em nghiền cứu và hoàn thành luận văn này. Em cũng xin cảm ơn các thầy cô đã giảng day em trong hai năm hoc vita qua. Xin cảm on các đồng nghiệp đã giúp đỡ cung cấp đỡ liệu, tải liệu trong quá trình nghiên cứu luận văn. Mặc dù đã hết sức cổ gắng, song do thời gian và kinh nghiệm nghiên cứu còn hạn chế nên không thể trãnh khối những thiếu sốt, em mong nhận được sự góp ý của các thầy cô và bạn bề đồng nghiệp để nghiên cứu được "hoàn thiện hon.
CHUONG1 TÌM HIEU VE KHATPHA DU LIEU VA UNG DUNG TRONG XAY DỰNG MÔ HÌNH DỰ BÁO GIAO THONG 1. Tâm hiểu về khai phá đỡ liệu 1. Khái niệm về khai phá đỡ liệu. "Khai phá đỡ liệu là một bước trong quá trình phát hiện trì thức tiềm ân.
trong cơ sở đỡ liệu bằng các thuật toán khai thắc đỡ liệu theo các phương pháp cụ thể dé tim ra cdc mẫu hoặc các mô hình trong đỡ liệu nhằm trợ giốp nhanh cho người ra quyết định hoặc dự bắn, Phat ign ti thc trong co sé df ligu (KKD-Knowleadge Discovery in TDatabase) [2], [5] được thực hiện qua tiến tình gằm các bước: "Nghiên cứu và đặt bài toán, + ‘Tao và thu nhập đữ liệu đầu vào, + Tiền xở lý đỡ tiện: làm sạch, mã hổa + Trích chọn, chuyển đối dỡ liệu + Khai phá dữ liệu: tìm kiếm trỉ thức + Kiểm định, đánh giá + Sử đụng trí thức "Hình 1. 1: Tiền trình phát hiện ti thức Bước 1: Nhằm tìm hiểu lĩnh vực ứng dụng từ đó hình thành nên bài teán cần giải xắc định các nhiệm vụ cần phải hoàn thành. Tạo tiễn đề cho iệc hình thành nền đ liệu cần thu thập ước 2: Mục tiều là tìm kiểm thu thập đỡ liệu sẵn cổ hoặc tạo mỗi theo yêu cầu côa bài toần đã đặt ra nhằm cô được nguồn dỡ lệu thích hop với mục đích ứng dụng và bản chất của dỡ liệu ước 3: Là thụ thập và xử lý thô, điền xổ lý đỡ liệu) nhằm loại bộ nhiễu, xử lý việc dỡ liệu bị thiếu, bị thừa hoặc không cổ thông tin ước 4: Là quá trình lựa chọn các thuc tính cần thiết phờ hợp cho iệc phân tíchlấy tờ CSDL để sở dụng xây dựng mô hình, thuật toắn. Sau đó đỡ liêu được chuyển đổi hoặc hợp nhất thành một thể thích hợp phù hợp cho.
việc khai phá. Bước này thường chiếm nhiềo thời gian nhất ước 5: Đây là bước quan trọng nhất nhằm rốt ra các tỉ thúc. Quá trình này thực hiện bằng các thuật toán để xây dựng mô hình đồ độ tin cây theo yêu cầu, mục đích đã đặt ra. ước 6: Bước này nhằm đánh gã lại kết quả tìm kiểm trí thức đựa trên một số tiêu chí, chỉ tiêu đánh giá Bude 7: Hiểu tr thức đã tim được, làm sáng tô các mô tả va de doin Các bước trên có thể lặp đi lặp lại một số lần, kết quả thu được có thể được.
lấy trong bình trên ắt cả các lẫn thực hiện. "Nhờ vậy khai phá dỡ liệu là một bước quan trọng nhất trong qui tỉnh phát hiện trì thúc gằm cổ cc thuật toán khai thác đỡ liệu chuyền ding đưới “một số qui định về hiệu quả tính toán chấp nhận được để tìm ra các mẫu hoặc các mô hình trong dỡ liệu. Nói một cách khác, mọc đích của phất hiện trì thức và khai phá đỡ liệu chính là tìm ra các mẫu vàHoặc các mổ hình đang tổn tại trong cic cơ sở dữ liệu, Đổ khai khá dữ liệu người ta cần sử dung đến thuật, phương pháp, 1g cụ trong khai phá đỡ liệu, 1. Một số kỹ thuật khai phá dỡ liệu.
Theo nguyên lý chúng, khi sở dụng phương thức KPDL để giải quyết một vẫn đề cụ thể, cần phải hình đong ra loại vẫn đề là gỉ. Có thế tổng kết thành hai loại chính liên quan đến các đối tượng cũa KPDL_ -> Kỹ thuật khai phá dỡ liệu mô tả: Nhằm mô tả các tính chất hoặc các dic trong của CSDL hiện có. Kỹ thuật này bao gdm các phương pháp như Phin Cụm, phân ch luật kết hợp. + Kỹ thuật khai phá đỡ liệu dự đoán: Nhằm đưa ra các dự đoán đợa vào cấc suy diễn trên dỡ liệu hiện thời.
Kỹ thuật này bao gŠm các phương pháp như Phân lớp, phân nhềm, hồi quy 1. Một số phương pháp khai phá dỡ liệu “> Phương pháp phan op (classification & prediction): Là quá trình xây dựng một mô hình mô tả dỡ liệu được phân chỉa như thể nào, nối cảch khác là quá tình xây dung mô hình mô phông bằng cách gắn các đối tượng dỡ liệu vào các lớp đã xác định. Mục tiêu của thuật toần phân lớp là m ra mỗi quan hệ nào đồ giữa thuộc tính dự báo và thuộc tính phân lớp. Như thể qué tinh phan lớp cổ thể sử dụng mỗi quan hệ này đã dự tháo cho các mục mối Thân lớp dỡ liệu dựa tiên 4 thành phần cơ bản là: Lớp, đự đoán, tập dữ liệu được huấn luyện, tập dỡ liệu kiểm thờ Đặc trưng của tiến trình phân lớp gồm những điểm sau: Di vào: Dữ lige dio tgo chứa những đãi tượng với thuộc tính của nỗ với một số thuộc tính đã được gần dhãn Đầu ra: Mê hình được gắn bỏi những nhãn cụ thể cho mỗi diva trén những thuộc tính khác Mô hình sở đụng đễ dự đoán nhị g lớp mối, những đối trọng chưa biết thì tập đỡ liệu kiểm thử cũng đùng đề xác định độ chính xác của mô hình.
Thí một mô bình phân loại được xây đọng nồ sẽ phảiso sắnh với những “mô hình khác đŠ lựa chọn mô hình ốt hất Liên quan đến việc so ánh giữa các “mô hình phân loi sẽ cô một số thành phần cần được tính đến như: Khả năng dự đoän, ốc độ, độ mạnh mẽ, độ mềm dêo, tính diễn giải, độ đơn giãn “> hương pháp phân com (Clustering) La vide mé ta chong 48 chia mot tip đỡ liệu thành các com (nhồm) loại mô tả đữ liệu. Các nhóm có thể tách nhau hoặc phân cấp hay gối lên nhan. Cổ ng ĩa là dỡ liệu có thê vừa thuộc nhóm này lại vừa thuộc nhóm khác, “hưng phải đâm bảo các đối rợng thuộc 1 cụm là trơng tự nhao, đổi trợng ở cum nay sẽ í tương ty với đổi trợng ở cụm khác. “> Phương pháp hỗi quy Regression) Tả việc học một hàm ánh xạ tờ một mẫu dỡ liệu thành một biển dự đoán cô giá tr thực.
Phân tích hỗi quy sẽ xác định được định lượng quan hệ giữa các biển và biển phụ thuộc vào giá trị của những biển khác "Nhiệm vụ của hỏi quy trơng tự như phân lớp, điểm khác nhau chính là ở chỗ thuộc tính để dự báo à liên tọc còn phân lớp dỡ liệu là dự đoán các gi tr rồi ae Phuong pháp phân tích luật ết hợp(Associstien Role) Là tiến trình xác định những luật phụ thuộc giỡa những nhóm khác “hao, là việc phất hiện và đưa ra các mối liên hệ giữa các giá tr dỡ liệu trong cơ sở đỡ liệu. Là công việc khám phá các luật kết hợp tờ những mẫu thường "uyên hoặc đợa trên răng buộc .Mục đích của luật kết hợp là tìm ra sự kết hợp hay trơng quan giữa các tems. Những luật kết hợp này cô dạng YY. Phuong phép mi tuinte (Sequential Patter mining) Là việc xác định những mẫu mà sự xuất hiện của chúng trong CSDL.
thỏa mẫn ngưỡng tối thiểu. Luật tuẫn ty được cỉnh ra từ mẫu toẫn tự, biểu diễn mỗi quan hệ giữa ai loại sự kiện này sẽ xây ra san loạt sự kiện kia 1-14. Một số công cụ hỗ rợ khai khá dỡ liệu + Regretion trong Excel +R (owner project org) + Tanagra (eri. univ-iyon? fi/ricco/tanagra/) + Wek (snus waikato.ac-nzn/weks) + YALE (apid-icem) + KNIME (wwveknime.
Ung dung khai phá đỡ liệu trong dy báo giao thông 1. Khải niệm dự bão Tự bo là một môn khoa học nghiên cứu và tiên đoán những sự việc sẽ xây ra trong tương lai trên cơ sở phân tích khoa học về các đỡ liệu th thập được. Khi tiến hành dự báo cần căn cử vào việc hu thập và xử lý ố iệu trong quá kh và hiệntại đỄ xác định xu hướng vận động của các hiện tượng trong tương lại nhờ vào một số mổ hình toần học. Cấn cử vào độ dài và thời gian dự báo người ta cổ thể phân thành 3 loại à dự báongắn hạn, trong hạn vã dài bạn + Dự báo ngắn hạn: à những dự báo cổ thời gian dự báo < 3 năm, thường dùng để ập các kế hoạch ở tầm vỉ mộ, trong khoảng thôi gian ngắn phục vụ cho công tác chỉ đạo, điều hành kịp thồi.
-> Dự báo trung hạn là những dự báo cô hồi gian dự báo từ 3 đến5 năm, thường dòng để lập kể hoạch trong hạn ở m vỉ mô và vĩ mô. + Dy bio dai hạn: là những dự báo có thời gian dự báo trên 5 năm, phục vụ cho nhữ g dự báo cho những mục tiêu, chiến lược trong thời gian dãi ở tâm vĩ mô. TDự báo nối chng thường tuân theo Š quy trình sau: “Xác định mục tiêu dự báo; Xác định loại dự báo; Lựa chọn mô hình: dy báo; Thu thập số liệu, tiến hành dự báo: Ứng dụng kết quả đự báo; Theo đồi kết quả dự báo. ĐỂ tiến hành dự báo ni chung, hiện nay trên th giới và tại Việt Nam.
"người ta chỉa thành 2 nhôm dự báo là dự báo định tính và dự bảo định lượng + Dự báo định tính: Dự báo thuộc nhôm này quan hoặc trọc giác về trơng lai bằng cách đya vào suy đoán, cảm nhận. ~> Dự báo định lượng: Dựa vào các số liệu thẳng kê và thông qua các công thốc toán học được thiết lập để dự báo nh cầu cho trơng lai. Khi đợ báo nhu cầu tương lạ, nếu không xét đến các nhân tổ ảnh hướng khắc cổ thỄ đồng các phương pháp dự báo theo đây số thời gian. Nếu cần ảnh hưởng của các nhân tổ khác đến nhu cầu có thể đồng các mô hình hồi quy tương quan.