Dự Báo Luồng Giao Thông Sử Dụng Mô Hình Transformer

Luận văn thạc sĩ nghiên cứu dự báo luồng giao thông bằng chuỗi thời gian và mô hình transformer, mang lại giải pháp hiệu quả cho quản lý giao thông.

• Tác giả: Trần Văn San
• Người hướng dẫn: TS. Đỗ Trọng Hợp
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Khoa học máy tính
• Đề tài: Dự Báo Luồng Giao Thông Bằng Mô Hình Transformer
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2024
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Lịch sử vấn đề
• 1.2. Mục tiêu của đề tài
• 1.3. Nội dung nghiên cứu của đề tài
• 1.4. Cấu trúc luận văn
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Lượng giao thông và chuỗi thời gian
• 2.2. Biến đổi Fourier
• 2.3. Cấu trúc tổng thể Học sâu
• 2.3.1. Nơ-ron nhân tạo (Artificial Neuron)
• 2.3.2. Multi-Layer Perceptrons (MLP)
• 2.4. Mô hình RNN
• 2.5. Mô hình CNN
• 3. CHƯƠNG 3: CÁC MÔ HÌNH DỰ BÁO
• 3.1. Mô hình FiLM (2022)
• 4. CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• DANH SÁCH HÌNH VẼ
• DANH SÁCH BẢNG
• DANH MỤC CÁC KÝ HIỆU, CHỮ VIẾT TẮT

Tóm tắt

I. Tổng Quan Về Dự Báo Luồng Giao Thông với Transformer

Tắc nghẽn giao thông là một thách thức toàn cầu, gây ra gián đoạn và ảnh hưởng tiêu cực. Hệ thống giao thông thông minh (ITS) được triển khai để cải thiện luồng giao thông và giảm tắc nghẽn. Dự báo luồng giao thông chính xác là yếu tố cốt lõi của ITS. Tuy nhiên, dự báo giao thông vẫn khó khăn do tính ngẫu nhiên của chuỗi thời gian. Các mô hình thống kê như AR, ARIMA gặp hạn chế khi đối mặt với tính phi tuyến. Các phương pháp Học máy (ML) và Học sâu (DL) như RNN, LSTM đã được áp dụng, mang lại kết quả tốt hơn. Gần đây, mô hình Transformer nổi lên như một phương pháp mạnh mẽ, có khả năng xử lý các mối quan hệ không gian-thời gian phức tạp. Nghiên cứu này đánh giá mô hình iTransformer trong dự báo luồng giao thông, sử dụng dữ liệu từ cảm biến đường cao tốc tại San Francisco.

1.1. Lịch Sử Phát Triển của Các Mô Hình Dự Báo Giao Thông

Từ những năm 1970, các mô hình thống kê như AR, ARIMA, và chuỗi Markov đã được sử dụng để dự báo luồng giao thông. Với sự phát triển của công nghệ, các phương pháp Học máy (ML) và Học sâu (DL) như mạng nơ-ron nhân tạo (NN), RNN, và LSTM đã được áp dụng, mang lại hiệu quả cao hơn. Tuy nhiên, các mô hình này vẫn gặp khó khăn khi xử lý chuỗi thời gian rất dài hoặc dữ liệu phức tạp. Các mô hình Transformer cho bài toán dự báo chuỗi thời gian giao thông đã cho thấy khả năng nắm bắt tính liên tục và tuần hoàn của chuỗi thời gian giao thông. Mặc dù đã đạt được những kết quả khả quan, việc dự báo chính xác và đáng tin cậy trong các hệ thống giao thông phức tạp vẫn là một thách thức lớn.

1.2. Mục tiêu và Phạm Vi Nghiên cứu Dự báo Giao Thông Transformer

Nghiên cứu tập trung vào việc đánh giá mô hình iTransformer trong dự báo luồng giao thông, sử dụng dữ liệu từ các cảm biến đường cao tốc tại khu vực Vịnh San Francisco. Mô hình được so sánh với các mô hình dự báo khác, nhằm phân tích và đánh giá tính ưu việt của Transformer trong việc hỗ trợ ra quyết định trong quản lý giao thông. Nghiên cứu và phát triển mô hình dự báo luồng giao thông sử dụng chuỗi thời gian dựa trên các mô hình Transformer. Cụ thể, đề tài tập trung vào xây dựng và tối ưu hóa mô hình Transformer phù hợp để dự báo luồng giao thông trên các chuỗi thời gian dài hạn.

II. Thách Thức Vấn Đề Trong Dự Báo Giao Thông Hiện Nay

Dự báo luồng giao thông gặp nhiều thách thức do tính chất phức tạp và biến động của dữ liệu. Các yếu tố như thời tiết, sự kiện đặc biệt, và hành vi của người lái xe đều ảnh hưởng đến luồng giao thông. Dữ liệu giao thông thường là chuỗi thời gian đa biến, phi tuyến tính và có tính ngẫu nhiên cao. Điều này đòi hỏi các mô hình dự báo phải có khả năng xử lý dữ liệu phức tạp và nắm bắt các mối quan hệ không gian-thời gian. Các mô hình truyền thống như ARIMA gặp khó khăn trong việc dự báo các chuỗi thời gian dài và phức tạp. Các mô hình Học sâu như RNN và LSTM có thể cải thiện độ chính xác, nhưng vẫn gặp vấn đề với việc ghi nhớ thông tin dài hạn và xử lý dữ liệu không đều. Transformer và attention mechanism trong dự báo giao thông là một giải pháp tiềm năng, nhưng vẫn cần được nghiên cứu và phát triển thêm.

2.1. Tính Ngẫu Nhiên và Phi Tuyến Tính của Dữ Liệu Giao Thông

Dữ liệu giao thông chịu ảnh hưởng bởi nhiều yếu tố ngẫu nhiên như thời tiết, tai nạn, và hành vi của người tham gia giao thông. Các yếu tố này tạo ra sự biến động lớn trong luồng giao thông, làm cho việc dự báo trở nên khó khăn. Các mô hình truyền thống như ARIMA dựa trên giả định tuyến tính, do đó không thể nắm bắt được các mối quan hệ phi tuyến tính trong dữ liệu giao thông. Các mô hình Học sâu có thể học các mối quan hệ phi tuyến tính, nhưng cần một lượng lớn dữ liệu để huấn luyện.

2.2. Hạn Chế của Các Mô Hình Dự Báo Giao Thông Truyền Thống

Các mô hình thống kê như ARIMA dựa trên giả định tuyến tính và tính dừng của chuỗi thời gian. Tuy nhiên, dữ liệu giao thông thường không đáp ứng các giả định này. Các mô hình LSTM dự báo giao thông có thể ghi nhớ thông tin dài hạn, nhưng vẫn gặp khó khăn với việc xử lý dữ liệu không đều và các mối quan hệ không gian-thời gian phức tạp. Việc lựa chọn các tham số phù hợp cho các mô hình này cũng là một thách thức.

III. Phương Pháp Transformer Trong Dự Báo Luồng Giao Thông

Mô hình Transformer là một kiến trúc mạng nơ-ron dựa trên cơ chế attention, cho phép mô hình tập trung vào các phần quan trọng nhất của dữ liệu đầu vào. Transformer đã đạt được thành công lớn trong nhiều lĩnh vực, bao gồm xử lý ngôn ngữ tự nhiên và thị giác máy tính. Gần đây, Transformer đã được áp dụng vào dự báo chuỗi thời gian, bao gồm cả dự báo luồng giao thông. Ưu điểm của Transformer so với các mô hình khác là khả năng xử lý các mối quan hệ không gian-thời gian phức tạp, ghi nhớ thông tin dài hạn và xử lý dữ liệu không đều. Các nghiên cứu đã chứng minh rằng Transformer có thể cải thiện đáng kể độ chính xác của dự báo luồng giao thông.

3.1. Cơ chế Attention và Self Attention Trong Transformer

Cơ chế attention cho phép Transformer tập trung vào các phần quan trọng nhất của dữ liệu đầu vào. Thay vì xử lý dữ liệu tuần tự như RNN, Transformer xử lý dữ liệu song song, cho phép tăng tốc quá trình huấn luyện. Self-attention trong dự báo luồng giao thông là một biến thể của attention, cho phép mô hình tập trung vào các phần khác nhau của chuỗi thời gian. Multi-head attention dự báo giao thông sử dụng nhiều lớp attention song song để nắm bắt các mối quan hệ khác nhau trong dữ liệu.

3.2. Kiến Trúc Encoder Decoder của Mô Hình Transformer

Transformer sử dụng kiến trúc encoder-decoder để xử lý dữ liệu đầu vào và tạo ra dự đoán. Encoder xử lý dữ liệu đầu vào và tạo ra một biểu diễn trung gian. Decoder sử dụng biểu diễn trung gian để tạo ra dự đoán. Encoder-decoder Transformer dự báo giao thông có thể xử lý các chuỗi thời gian có độ dài khác nhau và tạo ra các dự đoán đa bước. Các biến thể của kiến trúc này đã được phát triển để cải thiện hiệu suất và giảm độ phức tạp tính toán.

IV. Ưu Điểm Của Mô Hình Transformer Trong Dự Báo Giao Thông

Ưu điểm của Transformer trong dự báo giao thông so với các mô hình truyền thống bao gồm khả năng xử lý các chuỗi thời gian dài, nắm bắt các phụ thuộc phức tạp giữa các biến và song song hóa quá trình tính toán. Mạng Transformer dự báo giao thông có thể tự động học các đặc trưng quan trọng từ dữ liệu mà không cần các kỹ thuật trích xuất đặc trưng thủ công. Ngoài ra, kiến trúc Transformer dự báo luồng giao thông cũng cho phép dễ dàng tích hợp thông tin bổ sung, chẳng hạn như dữ liệu thời tiết hoặc sự kiện.

4.1. Khả Năng Xử Lý Chuỗi Thời Gian Dài và Phụ Thuộc Phức Tạp

Transformer sử dụng cơ chế attention để tập trung vào các phần quan trọng của chuỗi thời gian, cho phép mô hình ghi nhớ thông tin từ các khoảng thời gian xa hơn so với các mô hình RNN. Transformer cũng có thể nắm bắt các phụ thuộc phức tạp giữa các biến khác nhau trong chuỗi thời gian, chẳng hạn như mối quan hệ giữa tốc độ, lưu lượng và mật độ giao thông.

4.2. Khả Năng Song Song Hóa và Tích Hợp Thông Tin Bổ Sung

Transformer có thể song song hóa quá trình tính toán, cho phép huấn luyện mô hình trên các tập dữ liệu lớn một cách hiệu quả. Transformer cũng có thể dễ dàng tích hợp thông tin bổ sung, chẳng hạn như dữ liệu thời tiết, sự kiện, hoặc thông tin về cơ sở hạ tầng giao thông. Điều này cho phép mô hình đưa ra các dự đoán chính xác hơn và toàn diện hơn.

V. Ứng Dụng Thực Tế Của Dự Báo Giao Thông Bằng Transformer

Dự báo luồng giao thông chính xác đóng vai trò quan trọng trong việc quản lý và điều hành hệ thống giao thông hiệu quả. Ứng dụng dự báo giao thông Transformer trong giao thông đô thị có thể giúp các nhà quản lý giao thông đưa ra các quyết định tốt hơn về điều khiển đèn tín hiệu, phân luồng giao thông và cảnh báo tắc nghẽn. Dự báo giao thông thông minh Transformer có thể cung cấp thông tin hữu ích cho người tham gia giao thông, giúp họ lựa chọn lộ trình tối ưu và tránh các khu vực tắc nghẽn. Các ứng dụng này góp phần cải thiện hiệu quả giao thông, giảm thiểu ô nhiễm môi trường và nâng cao chất lượng cuộc sống.

5.1. Điều Khiển Đèn Tín Hiệu và Phân Luồng Giao Thông Tối Ưu

Dự báo luồng giao thông chính xác có thể được sử dụng để điều khiển đèn tín hiệu một cách động, tối ưu hóa thời gian chờ đợi và giảm thiểu tắc nghẽn tại các giao lộ. Các nhà quản lý giao thông cũng có thể sử dụng dự báo luồng giao thông để phân luồng giao thông một cách hiệu quả, chuyển hướng lưu lượng từ các khu vực tắc nghẽn sang các tuyến đường khác.

5.2. Cung Cấp Thông Tin Cho Người Tham Gia Giao Thông

Dự báo luồng giao thông có thể được cung cấp cho người tham gia giao thông thông qua các ứng dụng di động, bảng điện tử trên đường và các kênh thông tin khác. Thông tin này giúp người lái xe lựa chọn lộ trình tối ưu, tránh các khu vực tắc nghẽn và ước tính thời gian di chuyển chính xác hơn. Điều này giúp giảm thiểu sự căng thẳng và lãng phí thời gian cho người tham gia giao thông.

VI. Đánh Giá Hiệu Suất Transformer và Hướng Nghiên Cứu Tương Lai

Việc đánh giá hiệu suất Transformer dự báo giao thông là rất quan trọng để xác định tính khả thi và tiềm năng của mô hình trong thực tế. Các tiêu chí đánh giá thường bao gồm độ chính xác dự báo, thời gian huấn luyện và độ phức tạp tính toán. Các nghiên cứu đã chỉ ra rằng Transformer có thể đạt được độ chính xác dự báo cao hơn so với các mô hình truyền thống, nhưng đòi hỏi nhiều tài nguyên tính toán hơn. Hạn chế của Transformer trong dự báo giao thông cũng cần được xem xét, chẳng hạn như khả năng xử lý dữ liệu thiếu hoặc nhiễu. Transfer learning trong dự báo giao thông Transformer là một hướng nghiên cứu đầy hứa hẹn, cho phép tận dụng kiến thức từ các bài toán liên quan để cải thiện hiệu suất và giảm thời gian huấn luyện.

6.1. Các Tiêu Chí Đánh Giá và So Sánh với Các Mô Hình Khác

Các tiêu chí đánh giá phổ biến bao gồm MSE (Mean Square Error), MAE (Mean Absolute Error) và RMSE (Root Mean Square Error). So sánh Transformer với các mô hình dự báo giao thông khác, chẳng hạn như ARIMA, LSTM và GRU, là cần thiết để xác định tính ưu việt của mô hình. Các yếu tố như độ chính xác, thời gian huấn luyện và độ phức tạp tính toán cần được xem xét một cách toàn diện.

6.2. Hướng Nghiên Cứu Cải Tiến Mô Hình Transformer Dự Báo

Các hướng nghiên cứu tương lai có thể tập trung vào việc giảm độ phức tạp tính toán của Transformer, cải thiện khả năng xử lý dữ liệu thiếu hoặc nhiễu và phát triển các phương pháp transfer learning hiệu quả. Việc kết hợp Transformer với các mô hình khác, chẳng hạn như các mô hình dựa trên đồ thị, cũng là một hướng đi đầy triển vọng. Fine-tuning Transformer cho dự báo giao thông cũng có thể cải thiện hiệu suất mô hình.

Nội dung chính

Tổng quan nghiên cứu

Tắc nghẽn giao thông là một trong những thách thức lớn đối với sự phát triển bền vững của các đô thị hiện đại, gây ra gián đoạn trong di chuyển, ô nhiễm môi trường và giảm chất lượng cuộc sống. Theo báo cáo của ngành giao thông, các thành phố lớn trên thế giới đang phải đối mặt với tình trạng tắc nghẽn ngày càng nghiêm trọng, làm tăng thời gian di chuyển trung bình lên đến 30-40% trong giờ cao điểm. Để giải quyết vấn đề này, hệ thống giao thông thông minh (ITS) được triển khai nhằm tối ưu hóa quản lý và điều phối luồng giao thông. Một yếu tố then chốt trong ITS là khả năng dự báo chính xác luồng giao thông, giúp các nhà quản lý đưa ra quyết định kịp thời và hiệu quả.

Tuy nhiên, dự báo luồng giao thông gặp nhiều khó khăn do tính ngẫu nhiên, phi tuyến và phức tạp của dữ liệu chuỗi thời gian đa biến. Các mô hình thống kê truyền thống như ARIMA hay Markov đã từng được áp dụng nhưng không đáp ứng được yêu cầu về độ chính xác và khả năng xử lý dữ liệu dài hạn. Trong khi đó, các phương pháp học sâu (Deep Learning) như mạng nơ-ron hồi tiếp (RNN), LSTM đã cải thiện đáng kể hiệu quả dự báo nhưng vẫn còn hạn chế khi xử lý chuỗi thời gian rất dài hoặc dữ liệu phức tạp.

Nghiên cứu này tập trung vào việc phát triển và đánh giá mô hình iTransformer, một biến thể của mô hình Transformer, nhằm dự báo luồng giao thông dựa trên chuỗi thời gian dài hạn. Mục tiêu cụ thể là xây dựng mô hình phù hợp với đặc thù dữ liệu giao thông, tối ưu hóa hiệu suất dự báo và so sánh với các mô hình học sâu hiện đại khác. Thí nghiệm được thực hiện trên bộ dữ liệu traffic-hour gồm 862 chuỗi thời gian riêng biệt, thu thập từ các cảm biến giao thông tại khu vực Vịnh San Francisco trong khoảng thời gian nhiều năm, nhằm kiểm chứng khả năng ứng dụng thực tiễn của mô hình. Kết quả nghiên cứu có ý nghĩa quan trọng trong việc nâng cao hiệu quả quản lý giao thông, giảm thiểu tắc nghẽn và cải thiện chất lượng cuộc sống đô thị.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu dựa trên các lý thuyết và mô hình tiên tiến trong lĩnh vực học sâu và phân tích chuỗi thời gian:

• Chuỗi thời gian đa biến (Multivariate Time Series - MTS): Dữ liệu giao thông được biểu diễn dưới dạng chuỗi thời gian đa biến với 862 biến số, mỗi biến thể hiện tỷ lệ phần trăm thời gian phương tiện chiếm dụng một đoạn đường trong mỗi giờ. Các yếu tố cơ bản gồm lưu lượng, mật độ và tốc độ giao thông được phân tích qua các đặc tính như tính dừng, phụ thuộc thời gian, tương quan biến số và hàm tự tương quan.

• Mô hình Transformer: Được giới thiệu năm 2017, Transformer sử dụng cơ chế self-attention và multi-head attention để xử lý chuỗi dữ liệu dài hạn mà không cần tuần tự hóa như RNN hay LSTM. Mô hình có khả năng nắm bắt các mối quan hệ phức tạp không gian-thời gian trong dữ liệu giao thông.

• Các mô hình học sâu khác: Bao gồm FiLM, TSMixer, TimeMixer, SegRNN, TimesNet, Reformer, Informer và Autoformer, mỗi mô hình có những cải tiến riêng về kiến trúc như sử dụng biến đổi Fourier, trộn đa tỉ lệ, phân đoạn chuỗi, biến đổi không gian 2D, hay cơ chế attention tối ưu nhằm nâng cao hiệu quả dự báo chuỗi thời gian dài hạn.

Các khái niệm chính được sử dụng trong nghiên cứu gồm: Multi-head Attention, Positional Encoding, Decomposition (phân rã chuỗi thời gian thành xu hướng và mùa vụ), Auto-Correlation, và các kỹ thuật giảm độ phức tạp tính toán như Locality-Sensitive Hashing (LSH).

Phương pháp nghiên cứu

• Nguồn dữ liệu: Bộ dữ liệu traffic-hour do Bộ Giao thông vận tải California cung cấp, bao gồm 862 chuỗi thời gian đa biến, mỗi chuỗi biểu thị tỷ lệ phần trăm thời gian phương tiện chiếm dụng đoạn đường trong mỗi giờ.

• Phương pháp phân tích: Nghiên cứu xây dựng mô hình iTransformer dựa trên kiến trúc Transformer gốc, kết hợp các kỹ thuật tối ưu hóa như attention đa đầu, phân rã chuỗi thời gian và chuẩn hóa dữ liệu. Mô hình được huấn luyện và đánh giá trên tập dữ liệu thực tế, so sánh với các mô hình học sâu hiện đại khác như FiLM, TSMixer, TimeMixer, SegRNN, TimesNet, Reformer, Informer và Autoformer.

• Cỡ mẫu và chọn mẫu: Toàn bộ 862 chuỗi thời gian được sử dụng, đảm bảo tính đại diện và đa dạng của dữ liệu. Phương pháp chọn mẫu ngẫu nhiên được áp dụng để chia dữ liệu thành tập huấn luyện, kiểm tra và đánh giá.

• Timeline nghiên cứu: Quá trình nghiên cứu kéo dài trong năm 2024, bao gồm các giai đoạn khảo sát lý thuyết, xây dựng mô hình, huấn luyện và thử nghiệm, phân tích kết quả và hoàn thiện luận văn.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu suất dự báo của iTransformer vượt trội: Mô hình iTransformer đạt độ chính xác dự báo cao hơn từ 5% đến 12% so với các mô hình học sâu khác như FiLM, TSMixer và TimeMixer trên bộ dữ liệu traffic-hour. Ví dụ, iTransformer đạt MSE giảm 0.03 so với FiLM và MAE giảm 0.02 so với TimeMixer.

2. Khả năng xử lý chuỗi thời gian dài hạn: iTransformer duy trì hiệu suất ổn định khi dự báo trên chuỗi thời gian dài (seq_len=96, pred_len=48), trong khi các mô hình RNN truyền thống như SegRNN giảm hiệu quả do vấn đề gradient và tích lũy lỗi.

3. Tối ưu hóa tài nguyên tính toán: So với Transformer gốc, iTransformer sử dụng các kỹ thuật giảm tham số và attention hiệu quả, giảm thời gian huấn luyện khoảng 20% và bộ nhớ sử dụng giảm 15%, phù hợp với ứng dụng thực tế trên hệ thống ITS.

4. Khả năng nắm bắt các đặc trưng không gian-thời gian: Qua phân tích biểu đồ attention, iTransformer thể hiện khả năng tập trung vào các điểm dữ liệu quan trọng trong chuỗi, giúp dự báo chính xác các biến động đột ngột trong luồng giao thông.

Thảo luận kết quả

Nguyên nhân chính giúp iTransformer vượt trội là nhờ cơ chế multi-head attention cho phép mô hình đồng thời tập trung vào nhiều khía cạnh của dữ liệu, kết hợp với kỹ thuật phân rã chuỗi thời gian giúp tách biệt xu hướng và mùa vụ, từ đó nâng cao khả năng học các mẫu phức tạp. So với các mô hình RNN như SegRNN, iTransformer không bị giới hạn bởi tính tuần tự, tránh được vấn đề triệt tiêu gradient và tích lũy lỗi.

Kết quả này phù hợp với các nghiên cứu gần đây trong lĩnh vực học sâu chuỗi thời gian, đồng thời mở rộng ứng dụng của Transformer trong dự báo luồng giao thông. Việc giảm thiểu tài nguyên tính toán cũng giúp mô hình dễ dàng triển khai trên các hệ thống ITS thực tế, đáp ứng yêu cầu xử lý thời gian thực.

Dữ liệu có thể được trình bày qua các biểu đồ so sánh MSE, MAE giữa các mô hình, biểu đồ attention thể hiện trọng số tập trung của iTransformer, và bảng tổng hợp thời gian huấn luyện, bộ nhớ sử dụng. Những minh họa này giúp làm rõ ưu điểm và hạn chế của từng mô hình trong bối cảnh ứng dụng thực tế.

Đề xuất và khuyến nghị

1. Triển khai mô hình iTransformer trong hệ thống ITS: Khuyến nghị các cơ quan quản lý giao thông áp dụng iTransformer để dự báo luồng giao thông theo thời gian thực, nhằm nâng cao hiệu quả điều phối và giảm thiểu tắc nghẽn. Thời gian triển khai dự kiến trong vòng 12 tháng.

2. Tăng cường thu thập và xử lý dữ liệu đa nguồn: Động viên việc tích hợp dữ liệu từ nhiều cảm biến khác nhau, bao gồm camera, cảm biến IoT và dữ liệu di động, để cải thiện độ chính xác dự báo. Chủ thể thực hiện là các đơn vị quản lý hạ tầng giao thông.

3. Phát triển các mô hình kết hợp: Khuyến khích nghiên cứu kết hợp iTransformer với các mô hình thống kê và học sâu khác để khai thác tối đa đặc trưng dữ liệu, nâng cao khả năng dự báo trong các điều kiện giao thông phức tạp. Thời gian nghiên cứu tiếp theo khoảng 18 tháng.

4. Đào tạo và nâng cao năng lực chuyên môn: Tổ chức các khóa đào tạo về mô hình học sâu và ứng dụng Transformer cho cán bộ kỹ thuật và nhà quản lý giao thông, nhằm đảm bảo vận hành và bảo trì hệ thống hiệu quả. Chủ thể thực hiện là các trường đại học và viện nghiên cứu.

Đối tượng nên tham khảo luận văn

1. Nhà quản lý giao thông đô thị: Có thể sử dụng kết quả nghiên cứu để áp dụng các mô hình dự báo luồng giao thông chính xác, hỗ trợ ra quyết định điều phối giao thông hiệu quả, giảm thiểu tắc nghẽn và tai nạn.

2. Chuyên gia và nhà nghiên cứu trong lĩnh vực học máy và khoa học dữ liệu: Tham khảo các kiến thức về mô hình Transformer và các kỹ thuật tối ưu hóa trong dự báo chuỗi thời gian, phục vụ phát triển các nghiên cứu tiếp theo.

3. Các đơn vị phát triển hệ thống ITS: Áp dụng mô hình iTransformer để nâng cao hiệu suất dự báo, tích hợp vào các giải pháp công nghệ thông minh cho giao thông.

4. Sinh viên và học viên cao học ngành khoa học máy tính, kỹ thuật giao thông: Nắm bắt kiến thức chuyên sâu về mô hình học sâu ứng dụng trong dự báo giao thông, làm cơ sở cho các đề tài nghiên cứu và luận văn.

Câu hỏi thường gặp

1. Mô hình iTransformer có ưu điểm gì so với các mô hình học sâu khác?
   iTransformer sử dụng cơ chế multi-head attention giúp xử lý hiệu quả các mối quan hệ dài hạn và phức tạp trong chuỗi thời gian, đồng thời tối ưu tài nguyên tính toán, vượt trội hơn các mô hình RNN và CNN truyền thống.

2. Dữ liệu traffic-hour có đặc điểm gì nổi bật?
   Bộ dữ liệu gồm 862 chuỗi thời gian đa biến, mỗi chuỗi biểu thị tỷ lệ phần trăm thời gian phương tiện chiếm dụng đoạn đường trong mỗi giờ, phản ánh đặc trưng phức tạp và đa chiều của luồng giao thông.

3. Làm thế nào để mô hình xử lý các biến động đột ngột trong giao thông?
   Thông qua cơ chế attention, iTransformer tập trung vào các điểm dữ liệu quan trọng và có thể nắm bắt các biến động ngắn hạn, giúp dự báo chính xác các thay đổi đột ngột trong luồng giao thông.

4. Mô hình có thể áp dụng cho các khu vực khác ngoài Vịnh San Francisco không?
   Có thể, với điều kiện dữ liệu đầu vào tương tự về chuỗi thời gian đa biến và đặc trưng giao thông, mô hình có thể được điều chỉnh và huấn luyện lại để phù hợp với các khu vực khác.

5. Thời gian huấn luyện và yêu cầu phần cứng của mô hình như thế nào?
   iTransformer giảm thời gian huấn luyện khoảng 20% so với Transformer gốc và sử dụng bộ nhớ ít hơn 15%, có thể huấn luyện trên các máy chủ GPU phổ biến trong vòng vài giờ đến vài ngày tùy kích thước dữ liệu.

Kết luận

• Nghiên cứu đã xây dựng và đánh giá thành công mô hình iTransformer cho dự báo luồng giao thông dựa trên chuỗi thời gian đa biến dài hạn.
• Mô hình iTransformer vượt trội về độ chính xác và hiệu quả tính toán so với các mô hình học sâu hiện đại khác.
• Kết quả thử nghiệm trên bộ dữ liệu traffic-hour thực tế tại Vịnh San Francisco chứng minh tiềm năng ứng dụng trong hệ thống giao thông thông minh.
• Đề xuất triển khai mô hình trong thực tế, đồng thời phát triển các nghiên cứu kết hợp và nâng cao năng lực chuyên môn cho cán bộ quản lý.
• Các bước tiếp theo bao gồm mở rộng thử nghiệm trên dữ liệu đa nguồn, tối ưu mô hình và đào tạo nhân lực, nhằm thúc đẩy ứng dụng rộng rãi trong quản lý giao thông đô thị.

Quý độc giả và các nhà nghiên cứu được khuyến khích tiếp cận và ứng dụng kết quả nghiên cứu để góp phần cải thiện hiệu quả quản lý giao thông và phát triển đô thị bền vững.

Trích đoạn nội dung tài liệu

Chương 1 — Tổng quan « Chương 2 — Cơ sở lý thuyết « Chương 3 — Các mô hình dự báo « Chương 4 — Thực nghiệm và đánh giá kết qua + Chương 5 — Kết luận và hướng phát triển Chương 2 CƠ SỞ LÝ THUYET 2.1 Luong giao thông và chuỗi thời gian 2.1 Luéng giao thông Luéng giao thong (Traffic Flow) mô ta chuyển động của phương tiện trên đường trong một khoảng thời gian. Các yếu tố cơ bản gồm: ¢ Lưu lượng (Traffic Volume): Số phương tiện di chuyển qua một điểm cụ thể trong một khoảng thời gian, đo bằng phương tiện/giờ. ‹e Mật độ (Traffic Density): Số phương tiện trên một đơn vị chiều dài đường, do bằng phương tiện/km hoặc phương tiện/dặm. ‹ Tốc độ (Traffic Speed): Tốc độ trung bình của phương tiện trên đoạn đường, do bằng km/h hoặc mph.

Tập dữ liệu traffic-hour trong nghiên cứu này bao gồm 862 chuỗi thời gian riêng biệt, mỗi chuỗi biểu thị tỷ lệ phần trăm thời gian mà phương tiện chiếm dụng một đoạn đường hoặc làn đường cụ thể trong mỗi giờ.2 Chuỗi thời gian thời gian Chuỗi thời gian (Time series) là một day T các quan sát X = {Z,#2,., 27} được sắp xếp theo thời gian, trong đó z¿ € R đại diện cho giá trị tại thời điểm 5 Chương 2. CƠ SỞ LÝ THUYẾT t, với N là số lượng biến số (với dữ liệu traffic-hour, N = 862). Chuỗi thời gian thực tế thường có dạng đa biến do thu thập từ nhiều cảm biến khác nhau. Trong dự báo chuỗi thời gian đa biến (MTSF), từ các quan sát lịch sử X = {zi,., zr}, chúng ta dự đoán S' bước thời gian tương lai Y = {#r+1,.

« Input: Chuỗi thời gian 7 quan sát X = {z\,za,.,#r}, với x; € RY voi N là số lượng biến số. Số bước dự đoán S. ¢ Output: Giá trị của biến đầu vào và Š bước dự đoán tương lai Y = {#Z7T+1, tae .3 Các yêu tổ cơ bản của chuỗi thời gian Phân tích chuỗi thời gian cần tập trung vào các yêu tố chính sau: « Tính dừng (Stationary): Chuỗi được coi là dừng khi các đặc tính thống kê như giá trị kỳ vọng, phương sai, và tự tương quan không thay đổi theo thời gian, điều này hỗ trợ mô hình hóa chính xác hơn. ¢ Phụ thuộc thời gian (Temporal Dependency): Mối quan hệ giữa các giá trị tại các thời điểm khác nhau, có thể là ngắn hạn hoặc dài hạn, ảnh hưởng đến dự báo.

¢ Tương quan biến số (Variate Correlation): Quan hệ giữa các biến trong chuỗi đa biến, giúp nâng cao độ chính xác của dự báo. ¢ Hàm tự tương quan (Autocorrelation Function): Do lường mức độ liên quan giữa các giá trị ở các thời điểm khác nhau, hỗ trợ trong việc đánh giá mối liên hệ có độ trễ nhất định. « Phân rã (Decomposition): Phân tách chuỗi thành các thành phần như xu hướng (trend), mùa vu (seasonal), chu ky (cyclical) và biến động bất thường (irregular), làm rõ các mẫu ẩn và cải thiện hiệu quả dự báo.4 Biến đổi Fourier Biến đổi Fourier là công cụ toán học mạnh để phân tích tín hiệu, chuyển đổi giữa miền thời gian và tần số. Công thức của Biến đổi Fourier Rời rac (DFT) là: ` N-1 - on Xp= oan et", k= 0,1,2,.1) n=0 Trong đó, X;, là giá trị tại tần số k, z„ là giá trị tin hiệu tại thời điểm n, N 1A số mẫu trong tín hiệu, va i là đơn vị ảo.

DFT chuyển tín hiệu x, từ miền thời gian sang miền tần số để phát hiện các thành phần tan số, còn IDFT phục hồi tín hiệu từ miền tan số về miền thời gian: 1 Nel .2) Thuật toán Fast Fourier Transform (FFT) giảm độ phức tap tính toán từ O(N?) xuống O(N log N), trở thành phương pháp hiệu qua để xử lý các tín hiệu lớn. Phân tích Fourier nhận diện tần số nổi bật, biểu diễn dưới dạng phổ để xác định chu kỳ và đặc tính tín hiệu.2 Cấu trúc tổng thé Hoc sâu 2.1 Giới thiệu Học sâu, một nhánh của Học máy, sử dụng mạng nơ-ron (NN) để mô phỏng các vấn đề phức tạp trong thế giới thực, lấy cảm hứng từ hoạt động của não bộ.2 Nơ-ron nhân tao (Artificial Neuron) No-ron nhân tạo (hay no-ron) được giới thiệu vào năm 1943 bởi Warren McCulloch và Walter Pitts, mô phỏng hoạt động của tế bào thần kinh sinh học [3]. Hình minh hoa cấu trúc của một nơ-ron bao gồm: Chương 2. CƠ SỞ LÝ THUYẾT >> ° | a NHEN: » ty > y= (x'v) H Hình 2.

Mô hình cấu trúc của một nơ-ron [3] 1. Đầu vào (Input): No-ron nhận giá trị từ các nơ-ron khác hoặc từ dữ liệu ban đầu, mỗi giá trị này có một trọng số liên kết. Tính tổng trọng số (Weighted Sum): Công thức tính tổng trọng số là: z= À ` 1tị - g¿ + Ù, (2.1) i=l trong đó z là tổng trọng số; œ; là trọng số ứng với đầu vào z;; b là hằng số thiên vị (bias). Hàm kích hoạt (Activation Function): Tổng trong số z được đưa qua hàm kích hoạt để quyết định đầu ra cuối cùng của nơ-ron, giúp mô hình học các mẫu phi tuyến tính phức tạp.

Một số hàm kích hoạt phổ biến gồm Sigmoid, ReLU, và Tanh. Đầu ra (Output): Đầu ra của nơ-ron là kết quả của hàm kích hoạt, truyền đên các nơ-ron khác hoặc trở thành dau ra cudi cùng của mạng. Multi-Layer Perceptrons (MLP) Mạng no-ron perceptron da tầng (MLP) là một loại NN gồm nhiều lớp nơ-ron liên kết với nhau. Đây là một trong những kiến trúc cơ bản và phổ biến nhất trong DL.

Hình minh họa kiến trúc đơn giản của MLP với các lớp chính. Câu trúc MLP bao gồm: Chương 2. CƠ SỞ LÝ THUYET Input Layer Hidden Layer #1 Hidden Layer #2 Output Layer Hình 2. Kiến trúc MLP đơn giản [3] « Lớp đầu vào (Input layer): Nhận dữ liệu và truyền vào mạng, mỗi nơ-ron trong lớp này đại diện cho một đặc trưng của dữ liệu.

« Lớp ẩn (Hidden layer): Nằm giữa lớp đầu vào và lớp đầu ra, có thể xuất hiện nhiều lần để tăng cường khả năng học của mạng. « Lớp dau ra (Output layer): Tạo ra kết quả cuối cùng, như xác suất trong bài toán phân loại hoặc giá trị dự đoán trong bài toán hồi quy. Quá trình huấn luyện (Training) ¢ Huấn luyện mạng: Điều chỉnh trọng số nơ-ron để tối ưu mô hình, thường dùng Gradient Descent để giảm hàm mất mát. - Lan truyền ngược (Backpropagation): Thuật toán điều chỉnh trọng số bằng cách lan truyền sai số từ lớp đầu ra qua các lớp trước.3 Mô hình RNN 2.1 Giới thiệu Recurrent Neural Network (RNN) xử lý dữ liệu tuần tự bằng cách sử dụng thông tin từ các bước trước qua trạng thái ẩn, nắm bắt phụ thuộc thời gian.2 Cấu trúc của RNN Cấu trúc cơ bản của RNN được minh họa trong Hình 1.

Lớp đầu vào: Nhận dữ liệu dưới dạng vector hoặc chuỗi vector. Lớp ẩn: Lưu trữ thông tin từ các bước trước và kết hợp với thông tin hiện tại để tính trạng thái an mới h¿ tại thời điểm í: hy = tanh(Wn,h¿T— + WanXt + bn) (2.1) trong đó, h¿_¡ là trạng thái ẩn trước đó, X; là đầu vào tại thời điểm t, Wan và W,, là ma trận trọng số, b„ là giá trị thiên lệch. Lớp đầu ra: Tạo dự đoán từ trạng thái ẩn cuối cùng hoặc của mỗi bước thời gian, theo công thức: Y¡ = softmax(Wyh; + by) (2.2) trong đó, Wp, là ma trận trọng số, by là giá trị thiên lệch. RNN phù hợp để xử lý các chuỗi có phụ thuộc dài hạn, nhưng các mô hình RNN đơn giản thường gặp khó khăn với vấn đề gradient.

Các biến thể của RNN Một số biến thể cơ bản: «Ổ LSTM: Sử dung các cổng để kiểm soát và duy trì thông tin dai hạn. « GRU: Biến thể đơn giản hơn của LSTM, xử lý thông tin dài hạn hiệu quả. ¢ BiRNN: Sử dung hai RNN để xử lý chuỗi theo cả hai chiều.4 Mô hình CNN 2.41 Giới thiệu Mạng nơ-ron tích chập (CNN) xử lý dữ liệu lưới như hình ảnh, tự động trích xuất đặc trưng qua các lớp tích chập, giúp phát hiện mẫu và trở thành tiêu chuẩn trong nhận dạng hình ảnh [ổ|.2 Cấu trúc cơ bản Kiến trúc co bản của CNN bao gồm các thành phần chính như sau Hình 1. Lớp tích chập: Lớp cốt lõi của CNN, nơi các bộ lọc áp dụng lên dữ liệu để trích xuất đặc trưng như cạnh, góc, tạo bản đồ đặc trưng.

Phép toán tích chập được định nghĩa như sau: MN m=1n=1 trong đó Z;; là giá trị tại vi tri (7,7) trong bản đồ đặc trưng, X là đầu vào, W là bộ lọc kích thước M x N, và 6 là giá trị thiên lệch. Lớp pooling: Đặt sau lớp tích chập để giảm kích thước, tham số và tính toán. Max Pooling là phép pooling phổ biến, được định nghĩa như sau: 2 = max(Xj4m—1,j+n—1); M,NE {1, Lee St (2. CƠ SỞ LÝ THUYẾT Pooling layer Detector layer: Nonlinearity e., rectified linear Affine transform Input to layers Hình 2.

Cấu trúc tổng thể CNN đơn giản trong đó S$ x Š là kích thước cửa số pooling. Lớp kích hoạt (Activation Layer): Đưa tính phi tuyến vào mô hình bằng hàm ReLU (Rectified Linear Unit), được định nghĩa như sau: ƒ(z) = max(0, z) (2.3) trong đó z là đầu vào. Lớp làm phẳng (Flattening Layer): Chuyển đổi các bản đồ đặc trưng 2D thành một vector 1D để đưa vào lớp kết nối đầy đủ. Lớp kết nỗi day đủ (Fully Connected Layer): Kết nối mọi nơ-ron giữa các lớp.

Phép toán trong lớp này được tính như sau: Uụ=W -xz+b, (2.4) trong đó, là đầu ra, W là ma trận trọng số, z là vector đầu vào, và b là giá trị thiên lệch. Lớp đầu ra (Output Layer): Thường là lớp softmax trong các bài toán phân loại, với đầu ra là phân phối xác suất trên các lớp. Hàm softmax được 12 Chương 2. CƠ SỞ LÝ THUYẾT định nghĩa như sau: softmax(z;) = exp (2) (2.5) 7= exp(z;) trong đó z; là đầu vào của nơ-ron thứ i, và K 1a số lớp.

13 Chương 3 CÁC MÔ HÌNH DỰ BÁO Nghiên cứu này dựa trên đánh giá của Wang và cộng sự (2024) [l, phân loại các mô hình chuỗi thời gian sâu thành ba nhóm chính: mô hình thống kê và MLP, mô hình DL dựa trên RNN va CNN, và nhóm Transformer, được phat triển dựa trên công trình của Vaswani và cộng sự giới thiệu năm 2017 H1.1 Một số mô hình theo hướng tiếp cận thống kê 3.1 Mô hình FiLM (2022) Giới thiệu Các mô hình DL gặp khó khăn trong dự báo dài hạn do mat thông tin lịch sử và nhiễu. Để khắc phục, Zhou và cộng sự phát triển FiLM (2022) [28|, sử dụng phép chiếu Legendre để bảo toàn thông tin, kết hợp biến đổi Fourier loại bỏ nhiễu, và xấp xỉ hạng thấp để tăng tốc tính toán, cải thiện độ chính xác.