Tối ưu hóa số đầu vào khi áp dụng mạng nơron nhân tạo trong dự đoán điểm đích taxi

Luận văn thạc sĩ nghiên cứu vnu uet tối ưu việc lựa chọn số đầu vào khi áp dụng mạng nơron nhân tạo trong bài toán dự đoán điểm, đánh giá hiện trạng, phân tích vấn đề, đề xuất

• Tác giả: Nguyễn Tuấn Anh
• Người hướng dẫn: PGS.TS Phạm Ngọc Hùng
• Trường học: Đại học Quốc gia Hà Nội - Trường Đại học Công nghệ
• Chuyên ngành: Kỹ thuật Phần mềm
• Đề tài: Tối ưu việc lựa chọn số đầu vào khi áp dụng mạng nơron nhân tạo trong bài toán dự đoán điểm đích của một chuyến taxi
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2018
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: MỞ ĐẦU
• 1.1. Đặt vấn đề và đề xuất phương pháp
• 1.2. Tổng quan luận văn
• 2. CHƯƠNG 2: MẠNG NƠRON NHÂN TẠO TRUYỀN THẲNG NHIỀU TẦNG
• 2.1. Mạng nơron nhân tạo
• 2.2. Mạng nơron truyền thẳng nhiều tầng
• 2.3. Các phương pháp học phổ biến
• 3. CHƯƠNG 3: BÀI TOÁN TÌM SỐ ĐẦU VÀO TỐI ƯU KHI DỰ ĐOÁN ĐIỂM ĐÍCH CỦA CHUYẾN TAXI
• 3.1. Bài toán dự đoán điểm đích của taxi
• 3.2. Phương pháp của MILA lab
• 3.3. Bài toán tìm số lượng đầu vào tối ưu
• 3.4. Các phương pháp giải quyết hiện nay
• 4. CHƯƠNG 4: MÔ HÌNH ĐỀ XUẤT VÀ THỰC NGHIỆM
• 4.1. Mô hình đề xuất
• 4.2. Xây dựng thử nghiệm
• 4.3. Kịch bản thực nghiệm
• 4.4. Kết quả thực nghiệm
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về tối ưu hóa số đầu vào trong mạng nơron nhân tạo

Tối ưu hóa số đầu vào trong mạng nơron nhân tạo là một vấn đề quan trọng trong việc dự đoán điểm đích taxi. Việc lựa chọn số lượng đầu vào phù hợp có thể cải thiện đáng kể độ chính xác của mô hình. Mạng nơron nhân tạo, với khả năng học hỏi từ dữ liệu, đã trở thành công cụ phổ biến trong việc giải quyết các bài toán phức tạp như dự đoán điểm đến của taxi. Tuy nhiên, một thách thức lớn là số lượng điểm GPS mà taxi đã đi qua không cố định, điều này gây khó khăn trong việc thiết lập kích thước đầu vào cho mạng.

1.1. Khái niệm về mạng nơron nhân tạo và ứng dụng trong dự đoán

Mạng nơron nhân tạo (ANN) là một mô hình tính toán mô phỏng cách thức hoạt động của não bộ con người. Trong bối cảnh dự đoán điểm đích taxi, ANN có thể xử lý và phân tích dữ liệu từ các chuyến đi, từ đó đưa ra dự đoán chính xác hơn về điểm đến. Việc tối ưu hóa số đầu vào giúp cải thiện khả năng học của mạng, từ đó nâng cao hiệu suất dự đoán.

1.2. Tầm quan trọng của việc lựa chọn số đầu vào tối ưu

Việc lựa chọn số đầu vào tối ưu không chỉ ảnh hưởng đến độ chính xác của mô hình mà còn tác động đến thời gian huấn luyện và khả năng tổng quát của mạng. Nếu số lượng đầu vào quá ít, mô hình có thể không đủ thông tin để đưa ra dự đoán chính xác. Ngược lại, nếu quá nhiều đầu vào, mô hình có thể bị quá tải và dẫn đến hiện tượng overfitting.

II. Thách thức trong việc tối ưu hóa số đầu vào cho mạng nơron

Một trong những thách thức lớn nhất trong việc tối ưu hóa số đầu vào là sự không đồng nhất của dữ liệu đầu vào. Các chuyến taxi có thể có số lượng điểm GPS khác nhau, điều này làm cho việc thiết lập một kích thước đầu vào cố định trở nên khó khăn. Các nhà nghiên cứu thường phải tìm ra cách để xác định số lượng đầu vào tối ưu mà vẫn đảm bảo tính chính xác của mô hình.

2.1. Vấn đề không đồng nhất trong dữ liệu đầu vào

Dữ liệu đầu vào cho mạng nơron thường không đồng nhất, với số lượng điểm GPS khác nhau cho mỗi chuyến đi. Điều này gây khó khăn trong việc thiết lập một kích thước đầu vào cố định cho mạng nơron. Các phương pháp hiện tại thường chỉ lấy một số điểm đầu vào nhất định, nhưng không có nghiên cứu nào chỉ ra cách xác định số lượng điểm tối ưu.

2.2. Tác động của số lượng đầu vào đến độ chính xác của mô hình

Số lượng đầu vào có thể ảnh hưởng trực tiếp đến độ chính xác của mô hình dự đoán. Nếu số lượng đầu vào quá ít, mô hình có thể không đủ thông tin để đưa ra dự đoán chính xác. Ngược lại, nếu số lượng đầu vào quá nhiều, mô hình có thể trở nên phức tạp và khó khăn trong việc tổng quát hóa.

III. Phương pháp tối ưu hóa số đầu vào trong mạng nơron

Để tối ưu hóa số đầu vào, có thể áp dụng một số phương pháp như chọn lọc đặc trưng, sử dụng các thuật toán tối ưu hóa hoặc áp dụng các mô hình học sâu. Những phương pháp này giúp xác định số lượng đầu vào tối ưu cho mạng nơron, từ đó cải thiện độ chính xác của dự đoán.

3.1. Phương pháp chọn lọc đặc trưng

Chọn lọc đặc trưng là một kỹ thuật giúp xác định các đặc trưng quan trọng nhất từ dữ liệu đầu vào. Bằng cách này, số lượng đầu vào có thể được giảm thiểu mà vẫn giữ lại thông tin cần thiết cho mô hình. Các phương pháp như hồi quy logistic, cây quyết định có thể được sử dụng để thực hiện việc này.

3.2. Sử dụng thuật toán tối ưu hóa

Các thuật toán tối ưu hóa như thuật toán di truyền hoặc thuật toán tối ưu hóa bầy đàn có thể được áp dụng để tìm ra số lượng đầu vào tối ưu cho mạng nơron. Những thuật toán này giúp tìm kiếm không gian tham số một cách hiệu quả, từ đó xác định được số lượng đầu vào phù hợp nhất cho mô hình.

IV. Ứng dụng thực tiễn của tối ưu hóa số đầu vào trong dự đoán điểm đích taxi

Việc tối ưu hóa số đầu vào không chỉ có ý nghĩa lý thuyết mà còn có ứng dụng thực tiễn trong ngành công nghiệp taxi. Các công ty taxi có thể sử dụng các mô hình dự đoán để cải thiện hiệu suất hoạt động, từ đó nâng cao trải nghiệm của khách hàng.

4.1. Cải thiện hiệu suất hoạt động của công ty taxi

Bằng cách tối ưu hóa số đầu vào, các công ty taxi có thể dự đoán chính xác hơn về điểm đến của hành khách. Điều này giúp họ phân bổ tài nguyên một cách hợp lý, từ đó nâng cao hiệu suất hoạt động và giảm thời gian chờ đợi của khách hàng.

4.2. Nâng cao trải nghiệm của khách hàng

Dự đoán chính xác điểm đến không chỉ giúp công ty taxi hoạt động hiệu quả hơn mà còn nâng cao trải nghiệm của khách hàng. Khách hàng sẽ cảm thấy hài lòng hơn khi thời gian chờ đợi được giảm thiểu và dịch vụ được cải thiện.

V. Kết luận và triển vọng tương lai của tối ưu hóa số đầu vào

Tối ưu hóa số đầu vào trong mạng nơron nhân tạo là một lĩnh vực nghiên cứu quan trọng và có nhiều tiềm năng phát triển. Các phương pháp tối ưu hóa hiện tại có thể được cải tiến và mở rộng để đáp ứng nhu cầu ngày càng cao trong ngành công nghiệp taxi.

5.1. Tương lai của nghiên cứu tối ưu hóa số đầu vào

Nghiên cứu về tối ưu hóa số đầu vào sẽ tiếp tục phát triển, với nhiều phương pháp mới được đề xuất. Các công nghệ mới như học sâu và trí tuệ nhân tạo sẽ mở ra nhiều cơ hội mới cho việc tối ưu hóa số đầu vào trong mạng nơron.

5.2. Ứng dụng trong các lĩnh vực khác

Ngoài ngành công nghiệp taxi, việc tối ưu hóa số đầu vào còn có thể được áp dụng trong nhiều lĩnh vực khác như y tế, tài chính và sản xuất. Điều này cho thấy tầm quan trọng và tính ứng dụng rộng rãi của nghiên cứu này.

Nội dung chính

Tổng quan nghiên cứu

Sự chuyển dịch từ phương thức điều hành qua bộ đàm truyền thống sang nền tảng điều phối điện tử gắn định vị GPS đang định hình lại toàn bộ ngành vận tải hành khách công cộng. Tuy nhiên, thách thức cốt lõi của các trung tâm điều hành hiện nay là tài xế thường không nhập điểm đến khi bắt đầu chuyến đi, khiến việc ghép cuốc tự động và tối ưu hóa luồng xe gặp nhiều khó khăn. Bài toán dự đoán tọa độ kết thúc của một hành trình dựa trên chuỗi tọa độ xuất phát trở thành bài toán công nghệ then chốt để giải quyết vấn đề phân bổ phương tiện trong các khung giờ cao điểm.

Nghiên cứu tập trung giải quyết bài toán tìm điểm đến của chuyến taxi bằng cách tối ưu hóa số lượng đầu vào cho mạng nơron nhân tạo truyền thẳng nhiều tầng. Mục tiêu cụ thể là xây dựng khung tự động hóa tìm kiếm siêu tham số k tối ưu thay cho việc chọn thủ công theo cảm tính. Không gian khảo sát được xác định trong phạm vi từ 2 đến 50 điểm GPS đầu và cuối hành trình, tương ứng với việc phân tích dữ liệu di chuyển từ 30 giây đến 25 phút của phương tiện.

Nghiên cứu được triển khai thực nghiệm trên tập dữ liệu chuẩn hóa của 442 xe taxi vận hành liên tục suốt 12 tháng tại thành phố Porto, Bồ Đào Nha, bao gồm hơn 1,7 triệu chuyến đi thực tế. Mô hình được thẩm định trên 320 hành trình độc lập thuộc 5 mốc thời gian riêng biệt. Ý nghĩa học thuật và thực tiễn của đề tài thể hiện ở việc nâng cao độ chính xác dự báo điểm đích, cải thiện hơn 10% sai số khoảng cách so với mô hình chiến thắng cuộc thi quốc tế năm 2015 vốn đạt mức 2,035 km, đồng thời giảm thiểu hàng chục ngày tính toán thử nghiệm bằng phương pháp tối ưu hóa Bayes tự động.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng của mạng nơron truyền thẳng nhiều tầng kết hợp các kỹ thuật học sâu hiện đại và lý thuyết tối ưu hóa thống kê:

• Mạng nơron truyền thẳng nhiều tầng (Multilayer Perceptron - MLP): Hệ thống sử dụng một tầng ẩn gồm 500 nơron với hàm kích hoạt phi tuyến ReLU để học các quan hệ phi tuyến phức tạp giữa tọa độ xuất phát và điểm đích đến.
• Kỹ thuật nhúng không gian đặc trưng (Feature Embedding): Chuyển đổi các thông tin siêu dữ liệu rời rạc sang không gian vector liên tục 10 chiều, bao gồm 57.106 mã định danh khách hàng, 448 mã định danh xe taxi, 64 điểm đón cố định và các thông tin thời gian như 96 khung 15 phút trong ngày, 7 ngày trong tuần và 52 tuần trong năm.
• Thuật toán phân cụm Mean-Shift: Gom cụm toàn bộ điểm đến trong tập huấn luyện thành 3.392 tâm cụm điểm đích. Tầng đầu ra sử dụng hàm kích hoạt Softmax để tính phân phối xác suất trên 3.392 tâm cụm này, từ đó suy ra tọa độ dự đoán cuối cùng qua phép tính trung bình có trọng số.
• Lý thuyết tối ưu hóa Bayes (Bayesian Optimization): Sử dụng mô hình quá trình Gaussian kết hợp hàm nhân hiệp phương sai Squared Exponential để xấp xỉ hàm mục tiêu sai số. Hàm thu nhận kỳ vọng cải thiện Expected Improvement với mức tin cậy 95% được thiết lập để tự động xác định giá trị siêu tham số k cho các lần huấn luyện tiếp theo.

Phương pháp nghiên cứu

Nguồn dữ liệu nghiên cứu là tập dữ liệu mở từ cuộc thi quốc tế ECML/PKDD 2015 do Kaggle tổ chức, bao gồm chính xác 1.710.670 hành trình taxi hoàn chỉnh được ghi nhận từ ngày 01/07/2013 đến ngày 30/06/2014 tại thành phố Porto. Mỗi bản ghi chứa chuỗi tọa độ GPS định kỳ 15 giây một lần cùng các thông tin ngữ cảnh liên quan. Tập đánh giá gồm 320 hành trình được cắt lát tại 5 thời điểm khác nhau trong giai đoạn từ ngày 01/07/2014 đến ngày 31/12/2014 nhằm đảm bảo tính khách quan và khả năng tổng quát hóa của mô hình trên dữ liệu tương lai.

Phương pháp chọn mẫu áp dụng kỹ thuật lấy toàn bộ chuỗi điểm đầu để huấn luyện, mô phỏng đúng phân phối xác suất của tập dữ liệu đánh giá thực tế. Lý do lựa chọn mạng MLP kết hợp tối ưu hóa Bayes là vì mạng MLP yêu cầu vector đầu vào có kích thước cố định, trong khi độ dài các chuyến taxi luôn biến thiên. Việc áp dụng tối ưu Bayes giúp giải bài toán tối ưu hộp đen với chi phí tính toán thấp nhất thay vì phương pháp tìm kiếm lưới hoặc tìm kiếm ngẫu nhiên.

Hệ thống được lập trình hoàn toàn bằng ngôn ngữ Python trên nền tảng hạ tầng đám mây Google Cloud Platform, sử dụng máy ảo có cấu hình 2 nhân vCPU Broadwell 2,3 GHz, bộ nhớ trong 5 GB RAM và 1 bộ xử lý đồ họa chuyên dụng NVIDIA Tesla K80 12 GB. Thuật toán tối ưu trọng số mạng nơron là Gradient Descent ngẫu nhiên với hệ số học 0,01, xung lượng 0,9 và kích thước mỗi mẻ huấn luyện là 200 mẫu qua 2 triệu vòng lặp.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm và phân tích dữ liệu đã mang lại 4 phát hiện quan trọng:

• Giá trị k = 5 của mô hình tiền nhiệm chưa phải là tối ưu: Việc cố định k = 5 tương đương với việc chỉ quan sát 150 giây đầu và cuối của chuyến đi, chiếm chưa đến 15% tổng thời lượng của một cuốc xe trung bình vốn kéo dài 15 đến 20 phút. Điều này dẫn đến sự thiếu hụt thông tin định hướng không gian nghiêm trọng.
• Quan hệ phi tuyến giữa số lượng đầu vào và độ chính xác: Khi khảo sát không gian giá trị k từ 2 đến 50, sai số dự đoán không giảm tuyến tính theo số lượng điểm nhập vào mà biến thiên theo một đường cong phi tuyến phức tạp, có sự dao động mạnh tại các ngưỡng chuyển tiếp giữa chặng ngắn và chặng dài.
• Hiệu quả hội tụ vượt trội của tối ưu Bayes: Thuật toán quá trình Gaussian kết hợp hàm Expected Improvement đã tìm ra điểm tối ưu chỉ sau một số lượng nhỏ các bước lặp thử nghiệm, tiết kiệm hơn 70% tài nguyên tính toán so với việc chạy vét cạn toàn bộ 49 giá trị k khả dĩ vốn đòi hỏi 43 ngày máy tính liên tục.
• Cải thiện độ chính xác dự báo: Kết quả đo lường bằng khoảng cách Haversine cho thấy việc lựa chọn đúng dãy giá trị k tối ưu giúp giảm sai số dự đoán trung bình từ mức 2,035 km xuống thấp hơn đáng kể, nâng cao độ chính xác thêm khoảng 10% đến 12% tùy thuộc vào từng kịch bản hành trình.

Thảo luận kết quả

Nguyên nhân chính giúp mô hình đề xuất đạt hiệu năng vượt trội là việc mở rộng cửa sổ quan sát không gian hợp lý giúp mạng nơron nắm bắt được hướng di chuyển ban đầu và vận tốc tức thời của xe taxi mà không làm bùng nổ số lượng trọng số của tầng liên kết đầu vào. Khi giá trị k quá nhỏ (chẳng hạn k = 2), mạng thiếu thông tin ngữ cảnh lộ trình. Ngược lại, khi k tiến gần đến ngưỡng 50, việc lặp điểm cho các chuyến đi ngắn có độ dài dưới 50 điểm tạo ra hiện tượng nhiễu dữ liệu đầu vào.

Trong các báo cáo thực nghiệm, diễn biến này được thể hiện trực quan qua đồ thị hàm tổn thất suy giảm theo số vòng lặp và bảng so sánh 48 kịch bản xuất phát điểm mồi khác nhau. So sánh với các phương pháp chọn siêu tham số truyền thống như tìm kiếm ngẫu nhiên vốn mang tính may rủi hoặc phương pháp dựa trên kinh nghiệm dễ mắc kẹt tại các điểm cực trị địa phương, mô hình quá trình Gaussian cung cấp một bức tranh toàn cảnh về độ bất định của hàm mục tiêu. Điều này giải thích tại sao mô hình tự động tìm ra điểm cân bằng tối ưu giữa việc thăm dò các vùng giá trị mới và khai thác vùng giá trị tiềm năng.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu, luận văn đề xuất 4 nhóm giải pháp cụ thể nhằm ứng dụng và hoàn thiện mô hình:

• Xây dựng phân hệ tiền xử lý và làm sạch dữ liệu GPS tự động: Doanh nghiệp vận tải cần loại bỏ triệt để các bản ghi GPS bị gián đoạn, thời gian bắt đầu sai lệch hoặc các tọa độ nhảy vọt bất thường trước khi đưa vào mô hình dự báo. Mục tiêu là chuẩn hóa 100% dữ liệu đầu vào, do bộ phận kỹ thuật dữ liệu thực hiện trong lộ trình 3 tháng.
• Mở rộng nghiên cứu sang kiến trúc mạng nơron hồi quy và Transformer: Đội ngũ nghiên cứu nên tích hợp các mạng chuyên xử lý chuỗi thời gian như LSTM, GRU hoặc mô hình Attention để tiếp nhận trực tiếp chuỗi GPS có độ dài biến thiên mà không cần cắt tỉa cố định k điểm. Kỳ vọng giảm thêm 15% sai số trong thời gian nghiên cứu 6 tháng.
• Tự động hóa đường ống tinh chỉnh siêu tham số trên nền tảng đám mây: Các đơn vị phát triển phần mềm cần đóng gói quy trình tối ưu Bayes thành dịch vụ nền tảng định kỳ tự động dò tìm siêu tham số tối ưu khi có tập dữ liệu mới, rút ngắn thời gian cập nhật mô hình từ 21 giờ xuống dưới 4 giờ cho mỗi chu kỳ huấn luyện định kỳ hàng tháng.
• Tích hợp module dự đoán điểm đến vào hệ thống điều phối xe thông minh: Ban điều hành các hãng taxi công nghệ cần áp dụng thuật toán dự báo điểm trả khách để đón đầu các cuốc xe mới tại khu vực lân cận ngay trong 5 phút cuối của hành trình hiện tại, đặt mục tiêu giảm 20% thời gian xe chạy rỗng và tăng 18% hiệu suất phục vụ trong vòng 12 tháng triển khai thực tế.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả của luận văn mang lại giá trị thiết thực cho nhiều nhóm chuyên môn:

• Kỹ sư học máy và chuyên gia phân tích dữ liệu: Cung cấp giải pháp mẫu hoàn chỉnh về cách giải quyết bài toán chuỗi thời gian biến thiên đưa vào mô hình có kích thước cố định cùng phương pháp tối ưu siêu tham số Bayes bằng ngôn ngữ Python.
• Nhà quản lý và kỹ sư hệ thống tại các công ty taxi, công nghệ gọi xe: Cung cấp cơ sở khoa học để nâng cấp thuật toán ghép khách tự động, tối ưu hóa cung đường và giảm thời gian chờ đợi của khách hàng tại các vùng đô thị đông đúc.
• Học viên cao học và nghiên cứu sinh ngành Công nghệ thông tin: Là tài liệu tham khảo chi tiết về cách thiết kế kịch bản thực nghiệm, xử lý dữ liệu lớn không gian - thời gian và ứng dụng quá trình Gaussian trong các bài toán tối ưu hàm hộp đen.
• Chuyên gia quy hoạch giao thông đô thị: Cung cấp góc nhìn thực chứng về quy luật di chuyển của phương tiện công cộng dựa trên phân tích dữ liệu lớn GPS của hàng triệu hành trình thực tế.

Câu hỏi thường gặp

Tại sao luận văn lại chọn mạng nơron truyền thẳng nhiều tầng thay vì mạng nơron hồi quy? Mạng nơron truyền thẳng nhiều tầng kết hợp với kỹ thuật phân cụm tâm đích của phòng thí nghiệm MILA đã chứng minh được tốc độ xử lý nhanh vượt trội và đoạt giải nhất tại cuộc thi quốc tế năm 2015. Việc tiếp cận theo hướng này giúp tối ưu hóa một mô hình đã có tính thực tiễn cao trước khi mở rộng sang các kiến trúc phức tạp hơn.

Thuật toán tối ưu hóa Bayes mang lại lợi ích gì so với phương pháp tìm kiếm lưới? Phương pháp tìm kiếm lưới đòi hỏi phải huấn luyện toàn bộ 49 trường hợp tham số k từ 2 đến 50, tiêu tốn khoảng 43 ngày tính toán liên tục. Tối ưu hóa Bayes xây dựng mô hình xác suất quá trình Gaussian để dự đoán vùng có tiềm năng cải thiện cao nhất, giúp tìm ra điểm tối ưu chỉ sau một số ít lần thử nghiệm.

Tại sao giá trị k = 5 ban đầu của đội thi MILA lại bị coi là chưa tối ưu? Chu kỳ ghi nhận GPS là 15 giây một lần. Với k = 5, hệ thống chỉ thu thập dữ liệu trong 75 giây đầu và 75 giây cuối, tổng cộng là 150 giây. Một chuyến taxi đô thị trung bình kéo dài từ 15 đến 20 phút, do đó khung thời gian 150 giây bỏ qua phần lớn quỹ đạo di chuyển thực tế của phương tiện.

Mô hình đánh giá sai lệch khoảng cách bằng những công thức nào? Quá trình huấn luyện sử dụng công thức khoảng cách Equirectangular để tăng tốc độ tính toán gradient vi phân, trong khi kết quả đánh giá cuối cùng trên website Kaggle được tính toán chính xác tuyệt đối thông qua công thức khoảng cách mặt cầu Haversine giữa tọa độ thực tế và tọa độ dự đoán.

Hạ tầng phần cứng nào đã được sử dụng để thực hiện các kịch bản thử nghiệm? Nghiên cứu được vận hành trên nền tảng Google Cloud Platform với cấu hình máy ảo 2 nhân vCPU Broadwell 2,3 GHz, 5 GB RAM và card tăng tốc đồ họa NVIDIA Tesla K80 dung lượng bộ nhớ 12 GB chạy trên hệ điều hành Ubuntu 16.04 LTS.

Kết luận

• Luận văn đã giải quyết thành công bài toán tối ưu hóa việc lựa chọn số lượng đầu vào cho mạng nơron nhân tạo trong bài toán dự đoán điểm đến của chuyến taxi.
• Phương pháp tối ưu Bayes kết hợp quá trình Gaussian và hàm Expected Improvement đã tự động hóa hoàn toàn quá trình tinh chỉnh siêu tham số k trong không gian từ 2 đến 50.
• Hệ thống chứng minh tính hiệu quả vượt trội trên tập dữ liệu thực tế gồm hơn 1,7 triệu hành trình taxi tại Porto, giúp giảm thiểu sai số dự đoán và tiết kiệm hàng chục ngày tính toán thử nghiệm.
• Khung giải thuật đề xuất có tính tổng quát cao, áp dụng hiệu quả cho mọi bài toán xử lý chuỗi dữ liệu đầu vào biến thiên sang đầu ra kích thước cố định trong kỹ thuật phần mềm.
• Hướng nghiên cứu tiếp theo sẽ tập trung vào việc tích hợp cơ chế tự chú ý của mạng Transformer và triển khai thử nghiệm hệ thống điều phối phương tiện trực tiếp theo thời gian thực tại các đô thị lớn.

Độc giả và các nhóm nghiên cứu quan tâm có thể khai thác toàn bộ mã nguồn thực nghiệm của luận văn trên kho lưu trữ mã nguồn mở để ứng dụng trực tiếp vào các dự án giao thông thông minh và tối ưu hóa hệ thống học máy.

Trích đoạn nội dung tài liệu

đặt vấn đề, mô tả phƣơng pháp đề xuất, và cách nội dung trong luận văn đƣợc trình bày. Chƣơng 2 trình bày về kiến thức nền tảng về mạng nơron nhân tạo truyền thẳng nhiều tầng. Chƣơng 3 trình bày về bài toán dự đoán điểm đích của chuyến taxi và phƣơng pháp đội MILA lab giải quyết vấn đề cũng nhƣ bài toán tìm số lƣợng đầu vào tối ƣu cho mạng nơron nhân tạo nhiều tầng truyền thẳng để cải tiến mô hình của đội MILA lab. Chƣơng 4 trình bày mô hình đề xuất, xây dựng thử nghiệm và kết quả thực nghiệm của phƣơng pháp.

Phần kết luận đƣa ra kết quả của luận văn và cũng nhƣ triển vọng và hƣớng nghiên cứu trong tƣơng lai. LUAN VAN CHAT LUONG download : add [e-mail] 4 CHƢƠNG 2: MẠNG NƠRON NHÂN TẠO TRUYỀN THẲNG NHIỀU TẦNG 2. Mạng nơron nhân tạo Mạng nơron nhân tạo (artificial neural network) là một mô hình tính toán xử lý thông tin bằng cách mô phỏng theo cách thức hoạt động của hệ nơron sinh học trong bộ não con ngƣời [2]. Mạng gồm một nhóm các phần tử (nơron nhân tạo) kết nối với nhau thông qua các liên kết (liên kết đƣợc đánh trọng số).

Nó làm việc nhƣ một thể thống nhất bằng cách truyền thông tin theo các kết nối và tính giá trị mới tại các nơron. Một mạng nơron nhân tạo sẽ đƣợc cấu hình để giải quyết một vấn đề cụ thể nào đó nhƣ nhận dạng mẫu, phân loại dữ liệu, dự đoán,. Nó hoạt động thông qua một quá trình học từ tập các mẫu huấn luyện. Việc học về bản chất chính là quá trình đƣa dữ liệu vào mạng nơron và thực hiện hiệu chỉnh trọng số liên kết giữa các nơron thông qua kết quả có trƣớc trong mẫu.

Mạng nơron nhân tạo đƣợc coi là một công cụ mạnh để giải quyết các bài toán có tính phi tuyến, phức tạp và đặc biệt trong các trƣờng hợp mà mối quan hệ giữa các quá trình không dễ thiết lập một cách tƣờng minh. Mô hình toán học tiêu biểu cho một nơron nhân tạo đƣợc minh họa nhƣ hình 2.1 sau: LUAN VAN CHAT LUONG download : add [e-mail] 5 x1 Wk1 Hàm truyền x2 Wk2 ∑ f(. Hàm tổng xN WkN bk Đầu vào Trọng số liên kết Ngƣỡng Hình 2.1 Mô hình toán học của một nơron Cấu trúc của một nơron k đƣợc mô tả toán học bằng cặp biểu thức sau: = ∑ và yk = f(uk – bk) Trong đó, cụ thể các thành phần của một nơron gồm: 1. Tập đầu vào: là các tín hiệu (dữ liệu) vào của nơron, thƣờng đƣợc đƣa dƣới dạng một vector N chiều (x1, x2, … xN).

Tập liên kết: là các liên kết từ tín hiệu đến nơron. Mỗi liên kết sẽ đƣợc đánh trọng số, ví dụ nhƣ nơron thứ k sẽ có trọng số wk1 ở liên kết 1. Do đó với mỗi nơron ta cũng có một vector trọng số liên kết N chiều (wk1,wk2, … wkN). Các trọng số này thông thƣờng sẽ đƣợc tạo ngẫu nhiên ở thời điểm tạo mạng, sau đó qua quá trình học sẽ đƣợc hiệu chỉnh dần.

Hàm tổng: là tổng của tích các đầu vào với trọng số liên kết của nó, kí hiệu cho hàm tổng của nơron thứ k là uk. Ngƣỡng: là một thành phần của hàm truyền, ký hiệu cho ngƣỡng của nơron thứ k là bk. LUAN VAN CHAT LUONG download : add luanvanchat@agmail. Hàm truyền: là một hàm số dùng để tính đầu ra của nơron từ hàm tổng và ngƣỡng, ký hiệu là f.

Đầu ra: là tín hiệu đầu ra của nơron. Mỗi nơron chỉ có một tín hiệu đầu ra. Với nơron thứ k đầu ra ký hiệu là yk. Khái quát lại, nơron nhân tạo cho một đầu ra từ tập tín hiệu đầu vào.

Một số hàm truyền phổ biến là: * Hàm đồng nhất f(t) = αt * Hàm bƣớc nhảy f(t) = { * Hàm dấu f(t) = { * Hàm sigmoid f(t) = * Hàm sigmoid lƣỡng cực f(t) = = Có nhiều loại mạng nơron khác nhau trong đó mạng nơron truyền thẳng nhiều tầng là một trong những mạng nơron thông dụng nhất. LUAN VAN CHAT LUONG download : add luanvanchat@agmail. Mạng nơron truyền thẳng nhiều tầng Mạng nơron truyền thẳng nhiều tầng (multi layer perceptron - MLP) là mạng có n tầng (n >= 2). Trong đó tầng nhận tín hiệu vào của mạng gọi là tầng vào (input layer).

Tầng vào chỉ làm chức năng nhận tín hiệu mà không thực hiện việc chuyển đổi thông tin nên không đƣợc tính vào số lƣợng tầng của mạng. Tín hiệu ra của mạng đƣợc đƣa ra từ tầng ra (output layer). Các tầng ở giữa tầng vào và tầng ra gọi là các tầng ẩn (có n–1 tầng ẩn). Các nơron ở một tầng nhất định đều liên kết đến tất cả các nơron ở tầng tiếp theo.

Với mạng nơron truyền thẳng (feedforward network) không có nút nào mà đầu ra của nó là đầu vào của một nút khác trên cùng tầng với nó hoặc tầng trƣớc. Tầng vào Tầng ẩn 1 Tầng ra Tầng ẩn n-1 x1 y1 x2. xp yq Hình 0.2 Mạng nơron truyền thẳng nhiều tầng Nếu mạng nơron truyền thẳng chỉ có tầng nơron đầu vào và tầng nơron đầu ra thì đƣợc gọi là mạng nơron truyền thẳng 1 tầng. Mạng nơron có phản hồi (feedback network) là mạng mà đầu ra của một nơron có thể trở thành đầu vào của nơron trên cùng một tầng hoặc của tầng trƣớc đó.

Mạng nơron có phản hồi có chu trình khép khín gọi là mạng nơron hồi quy. LUAN VAN CHAT LUONG download : add [e-mail] 8 Kiến trúc của một mạng nơron truyền thẳng nhiều tầng tổng quát có thể mô tả nhƣ sau: + Đầu vào là một các tập vector (x1, x2, … xp) p chiều, đầu ra là một tập các vector (y1, y2, … yq) q chiều. + Mỗi nơron thuộc tầng sau sẽ liên kết với tất cả các nơron thuộc tầng ngay trƣớc nó. Nhƣ vậy đầu ra của nơron tầng trƣớc sẽ là đầu vào của nơron thuộc tầng liền sau.

Mạng nơron truyền thẳng nhiều tầng sẽ hoạt động nhƣ sau: tại tầng đầu vào các nơron nhận tín hiệu vào xử lý, thực hiện việc tính tổng trọng số rồi gửi tới hàm truyền, kết quả của hàm truyền sẽ đƣợc gửi tới các nơron thuộc tầng ẩn đầu tiên. Nơi đây các nơron tiếp nhận các kết quả này nhƣ là tín hiệu đầu vào và xử lý rồi gửi kết quả đến tầng ẩn thứ 2. Quá trình cứ tiếp tục nhƣ thế cho đến khi các nơron ở tầng ra cho ra kết quả. Về ứng dụng của mạng nơron truyền thẳng nhiều tầng, vài kết quả đã đƣợc chứng minh cụ thể nhƣ sau: + Mọi hàm toán học bất kỳ đều có thể đƣợc biểu diễn xấp xỉ bằng một mạng nơron truyền thẳng ba tầng trong đó các nơron ở tầng ra đều sử dụng hàm truyền tuyến tính và tất cả các nơron ở tầng ẩn đều dùng hàm truyền sigmoid.

+ Tất cả các hàm toán học liên tục đều có thể đƣợc biểu diễn xấp xỉ bởi một mạng nơron truyền thẳng hai tầng trong đó các nơron ở tầng ra đều sử dụng hàm truyền tuyến tính với sai số nhỏ tùy ý và tất cả các nơron ở tầng ẩn đều dùng hàm truyền sigmoid. + Bất kỳ một hàm toán học Boolean nào cũng có thể đƣợc mô tả bởi một mạng nơron truyền thẳng hai tầng trong đó hàm truyền sigmoid đƣợc sử dụng cho tất cả các nơron. Mạng nơron truyền thẳng nhiều tầng đã đƣợc sử dụng nhiều trong bài toán dự báo và cho kết quả khả quan. Điều này sẽ giúp hƣớng tiếp cận này phổ biến hơn trong thời gian tới cho bài toán dự báo.

LUAN VAN CHAT LUONG download : add luanvanchat@agmail. Các phƣơng pháp học phổ biến Trong cuộc sống tự nhiên, học đƣợc định nghĩa là quá trình tiếp thu cái mới hoặc bổ sung, trau dồi các kiến thức, kỹ năng, kinh nghiệm, giá trị, nhận thức hoặc sở thích và có thể liên quan đến việc tổng hợp các loại thông tin khác nhau. Khả năng học hỏi là sở hữu của loài ngƣời, một số động vật. Việc học sẽ giúp vật học tiến bộ theo thời gian.

Mạng nơron cũng đƣợc học thông qua các luật học. Luật học là một thủ tục dùng để xác định việc cập nhật trọng số liên kết và ngƣỡng của mạng nơron. Luật học còn đƣợc gọi là thuật toán huấn luyện mạng. Quá trình học còn gọi là quá trình huấn luyện.

Một mạng nơron đƣợc huấn luyện sao cho với một tập các vector đầu vào X, mạng sẽ cho ra tập các vector đầu ra Y mong muốn. Tập X dùng để làm đầu vào huấn luyện cho mạng nên đƣợc gọi là tập huấn luyện (training set). Các phần tử x thuộc X đƣợc gọi là các mẫu huấn luyện (training example). Nhƣ đã đƣợc đề cập ở phần đầu, việc học bản chất là việc cập nhật liên tục các trọng số liên kết trong mạng nơron.

Trong quá trình này, các trọng số của mạng sẽ hội tụ dần tới các giá trị sao cho với mỗi đầu vào, mạng sẽ cho đầu ra nhƣ ý muốn. Với mỗi mạng nơron nhân tạo có hai vấn đề cần học đó là học tham số (parameter learning) và học cấu trúc (structure learning). Học tham số là việc điều chỉnh trọng số của các liên kết giữa các nơron trong mạng, còn học cấu trúc là việc thay đổi cấu trúc của mạng bao gồm thay đổi số lớp nơron, số nơron của mỗi lớp và cách liên kết giữa chúng. Hai vấn đề này có thể đƣợc thực hiện đồng thời hoặc tách biệt.

Luật học của mạng nơron có thể chia làm 3 loại: học có giám sát (supervised learning), học không có giám sát (unsupervised learning), học tăng cƣờng (reinforcement learning). + Học có giám sát: là quá trình học giống việc ta dạy cho trẻ, luôn luôn có một ngƣời “thầy giáo”, muốn dạy cho trẻ chữ “a”, ta đƣa chữ “a” ra và nói với trẻ rằng đây là chữ “a”. Và thực hiện tƣơng tự với tất cả các chữ cái khác. Cuối cùng để kiểm tra việc học, ta sẽ đƣa ra một chữ cái bất kỳ và hỏi đây là chữ gì.

Do đó với học có giám sát, số tầng cần phân loại đã đƣợc biết trƣớc. Nhiệm vụ LUAN VAN CHAT LUONG download : add [e-mail] 10 của việc huấn luyện là phải xác định đƣợc một cách thức phân tầng sao cho với mỗi vector đầu vào sẽ đƣợc phân loại chính xác vào tầng của nó. + Học không giám sát: là quá trình học mà không có bất kỳ một ngƣời giám sát nào. Trong bài toán mà luật học không giám sát đƣợc áp dụng, với tập dữ liệu huấn luyện D thì nhiệm vụ của thuật toán học là phải phân chia tập dữ liệu D thành các nhóm con, mỗi nhóm chứa các giá trị đầu vào có đặc trƣng giống nhau.