Tối Ưu Việc Lựa Chọn Số Đầu Vào Khi Áp Dụng Mạng Nơron Nhân Tạo Trong Dự Đoán Điểm Đích Chuyến Taxi

Luận văn thạc sĩ nghiên cứu tối ưu việc lựa chọn số đầu vào khi áp dụng mạng nơron nhân tạo trong bài toán dự đoán điểm đích, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện

• Người hướng dẫn: PGS.TS Phạm Ngọc Hùng
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Kỹ thuật phần mềm
• Đề tài: Tối ưu hóa số đầu vào trong dự đoán điểm đích chuyến taxi bằng mạng nơron nhân tạo
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2018
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: MỞ ĐẦU
• 1.1. Đặt vấn đề và đề xuất phương pháp
• 1.2. Tổng quan luận văn
• 2. CHƯƠNG 2: MẠNG NƠRON NHÂN TẠO TRUYỀN THẲNG NHIỀU TẦNG
• 2.1. Mạng nơron nhân tạo
• 2.2. Mạng nơron truyền thẳng nhiều tầng
• 2.3. Các phương pháp học phổ biến
• 3. CHƯƠNG 3: BÀI TOÁN TÌM SỐ ĐẦU VÀO TỐI ƯU KHI DỰ ĐOÁN ĐIỂM ĐÍCH CỦA CHUYẾN TAXI
• 3.1. Bài toán dự đoán điểm đích của taxi
• 3.2. Phương pháp của MILA lab
• 4. CHƯƠNG 4: MÔ HÌNH ĐỀ XUẤT VÀ THỰC NGHIỆM
• 4.1. Mô hình đề xuất
• 4.2. Xây dựng thử nghiệm
• 4.3. Kịch bản thực nghiệm
• 4.4. Kết quả thực nghiệm
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Dự Đoán Điểm Đến Taxi và Mạng Nơ ron Nhân Tạo

Bài toán dự đoán điểm đến chuyến taxi đang thu hút sự quan tâm lớn. Các công ty taxi có thể tối ưu hóa việc điều phối xe, giảm thời gian chờ đợi cho khách hàng và nâng cao hiệu quả hoạt động. Một trong những phương pháp tiếp cận phổ biến là sử dụng mạng nơ-ron nhân tạo. Hệ thống điều phối điện tử giúp xác định vị trí taxi dễ dàng, nhưng điểm đến thường không được nhập trước. Do đó, việc dự đoán điểm đến trở nên quan trọng để hệ thống tự động tìm xe phù hợp nhất, đặc biệt trong giờ cao điểm. Cuộc thi dự đoán điểm đến taxi năm 2015 đã chứng minh tiềm năng của hướng tiếp cận này.

1.1. Ứng Dụng Thực Tế của Dự Đoán Điểm Đến Taxi

Việc dự đoán chính xác điểm đến của taxi mang lại nhiều lợi ích thiết thực. Nó cho phép các công ty taxi phân bổ xe hiệu quả hơn, giảm thời gian di chuyển không tải và cải thiện trải nghiệm khách hàng. Đặc biệt, trong các khu vực có nhu cầu cao, hệ thống có thể dự đoán và điều phối xe đến những điểm có khả năng có khách hàng tiềm năng, tối ưu hóa doanh thu và giảm thiểu lãng phí. Theo [15], việc này đặc biệt quan trọng trong khung giờ cao điểm.

1.2. Thách Thức trong Bài Toán Dự Đoán Điểm Đến Taxi

Mặc dù có nhiều tiềm năng, bài toán dự đoán điểm đến taxi cũng đối mặt với nhiều thách thức. Dữ liệu GPS có thể bị nhiễu, không đầy đủ hoặc không chính xác. Hành vi của khách hàng có thể khó dự đoán, phụ thuộc vào nhiều yếu tố như thời gian, địa điểm, thời tiết và sự kiện đặc biệt. Việc xây dựng một mô hình dự đoán chính xác đòi hỏi phải xử lý dữ liệu phức tạp và áp dụng các kỹ thuật học máy tiên tiến.

II. Vấn Đề Tối Ưu Số Đầu Vào cho Mạng Nơ ron Dự Đoán Taxi

Một thách thức lớn khi sử dụng mạng nơ-ron nhân tạo cho bài toán này là số lượng điểm GPS trong mỗi chuyến đi không cố định. Mạng nơ-ron yêu cầu kích thước đầu vào cố định, do đó cần phải xử lý dữ liệu có độ dài thay đổi. Các nhà nghiên cứu thường chọn một số lượng điểm đầu và cuối cố định (k điểm) để làm đầu vào. Tuy nhiên, việc xác định giá trị k tối ưu vẫn chưa được nghiên cứu kỹ lưỡng. Việc lựa chọn số lượng đầu vào không phù hợp có thể ảnh hưởng đến độ chính xác của mô hình dự đoán.

2.1. Tại Sao Cần Tối Ưu Số Lượng Đầu Vào

Việc tối ưu hóa số lượng đầu vào là rất quan trọng để đảm bảo hiệu suất của mô hình dự đoán. Nếu số lượng đầu vào quá ít, mô hình có thể không đủ thông tin để đưa ra dự đoán chính xác. Ngược lại, nếu số lượng đầu vào quá nhiều, mô hình có thể bị quá tải, dẫn đến giảm độ chính xác và tăng thời gian tính toán. Do đó, cần tìm ra một giá trị k tối ưu để cân bằng giữa lượng thông tin và hiệu suất của mô hình.

2.2. Hạn Chế của Phương Pháp Chọn Số Lượng Đầu Vào Cố Định

Phương pháp chọn số lượng đầu vào cố định (k điểm) có một số hạn chế. Nó bỏ qua thông tin từ các điểm GPS khác trong chuyến đi, có thể chứa thông tin quan trọng về điểm đến. Ngoài ra, việc chọn một giá trị k duy nhất cho tất cả các chuyến đi có thể không phù hợp, vì độ dài của các chuyến đi có thể khác nhau đáng kể. Cần có một phương pháp linh hoạt hơn để xử lý dữ liệu có độ dài thay đổi.

2.3. Ảnh Hưởng của Số Lượng Điểm GPS Đến Độ Chính Xác

Số lượng điểm GPS đầu vào trực tiếp ảnh hưởng đến độ chính xác của mô hình. Quá ít điểm có thể dẫn đến thiếu thông tin, trong khi quá nhiều điểm có thể gây nhiễu và làm chậm quá trình huấn luyện. Việc tìm ra điểm cân bằng là yếu tố then chốt để xây dựng một mô hình dự đoán hiệu quả. Nghiên cứu cần tập trung vào việc xác định ngưỡng số lượng điểm GPS tối ưu cho từng loại chuyến đi.

III. Cách Tối Ưu Lựa Chọn Số Đầu Vào Tối Ưu Cho Dự Đoán

Luận văn này đề xuất một phương pháp lựa chọn số đầu vào tối ưu trong bài toán dự đoán điểm đến của chuyến taxi khi cho trước tập các điểm ban đầu. Phương pháp này có thể áp dụng cho bài toán tìm siêu tham số tối ưu (hyperparameter) khi có yếu tố số lượng đầu vào thay đổi. Mục tiêu là tìm ra giá trị k tối ưu, giúp mạng nơ-ron đạt được độ chính xác cao nhất trong việc dự đoán điểm đến. Phương pháp này có thể cải tiến mô hình của đội MILA lab.

3.1. Phương Pháp Đề Xuất Tìm Siêu Tham Số Tối Ưu

Phương pháp đề xuất tập trung vào việc tìm kiếm siêu tham số tối ưu cho mạng nơ-ron. Cụ thể, nó tìm kiếm giá trị k (số lượng điểm GPS đầu vào) sao cho mô hình đạt được hiệu suất tốt nhất trên tập dữ liệu kiểm tra. Quá trình này có thể được thực hiện bằng cách sử dụng các thuật toán tối ưu hóa như tìm kiếm lưới (grid search) hoặc tối ưu hóa Bayes.

3.2. Áp Dụng cho Bài Toán Dự Đoán Đầu Ra Cố Định

Phương pháp này có thể được áp dụng cho các bài toán dự đoán đầu ra cố định (fixed-length output) từ số lượng đầu vào thay đổi (variable-length input). Ví dụ, trong bài toán dự đoán điểm đến taxi, đầu ra là một cặp tọa độ (kinh độ và vĩ độ), trong khi đầu vào là một chuỗi các điểm GPS có độ dài thay đổi. Phương pháp này giúp xử lý sự khác biệt về độ dài đầu vào và đảm bảo hiệu suất của mô hình.

3.3. Cải Tiến Mô Hình Dự Đoán Điểm Đến Taxi

Bằng cách tối ưu hóa số lượng đầu vào, phương pháp này có thể cải thiện đáng kể độ chính xác của mô hình dự đoán điểm đến taxi. Nó giúp mô hình tận dụng tối đa thông tin từ dữ liệu GPS và đưa ra dự đoán chính xác hơn. Điều này có thể dẫn đến cải thiện hiệu quả điều phối xe và trải nghiệm khách hàng.

IV. Thực Nghiệm Mô Hình và Kết Quả Dự Đoán Điểm Đến Taxi

Chương 4 trình bày mô hình đề xuất, xây dựng thử nghiệm và kết quả thực nghiệm của phương pháp. Thử nghiệm được thực hiện trên tập dữ liệu các chuyến đi taxi tại thành phố Porto. Kết quả cho thấy phương pháp đề xuất có thể tìm ra giá trị k tối ưu và cải thiện độ chính xác của mô hình dự đoán điểm đến taxi. Các kết quả này chứng minh tính hiệu quả của phương pháp và tiềm năng ứng dụng trong thực tế.

4.1. Xây Dựng Thử Nghiệm và Kịch Bản Thực Nghiệm

Thử nghiệm được xây dựng bằng cách sử dụng mạng nơ-ron nhân tạo truyền thẳng nhiều tầng. Tập dữ liệu được chia thành tập huấn luyện, tập kiểm tra và tập đánh giá. Kịch bản thực nghiệm bao gồm việc thay đổi giá trị k và đánh giá hiệu suất của mô hình trên tập kiểm tra. Các chỉ số đánh giá bao gồm độ chính xác, độ lệch trung bình và thời gian tính toán.

4.2. Đánh Giá Hiệu Suất Mô Hình Dự Đoán Taxi

Hiệu suất của mô hình được đánh giá bằng cách so sánh kết quả dự đoán với điểm đến thực tế của các chuyến đi taxi. Các chỉ số đánh giá được sử dụng để xác định giá trị k tối ưu và so sánh hiệu suất của mô hình với các phương pháp khác. Kết quả cho thấy phương pháp đề xuất có thể đạt được độ chính xác cao hơn so với các phương pháp truyền thống.

4.3. Phân Tích Kết Quả và So Sánh Các Mô Hình

Kết quả thực nghiệm được phân tích để hiểu rõ hơn về ảnh hưởng của số lượng đầu vào đến hiệu suất của mô hình. So sánh với các mô hình khác giúp đánh giá tính cạnh tranh của phương pháp đề xuất. Phân tích này cung cấp thông tin quan trọng để cải thiện mô hình và áp dụng nó vào các bài toán tương tự.

V. Kết Luận Tối Ưu Đầu Vào và Hướng Nghiên Cứu Dự Đoán Taxi

Luận văn đã trình bày một phương pháp lựa chọn số đầu vào tối ưu cho bài toán dự đoán điểm đến taxi bằng mạng nơ-ron nhân tạo. Phương pháp này có thể cải thiện độ chính xác của mô hình và có tiềm năng ứng dụng trong thực tế. Hướng nghiên cứu trong tương lai có thể tập trung vào việc sử dụng các kỹ thuật học sâu tiên tiến hơn và kết hợp thông tin từ nhiều nguồn khác nhau để cải thiện hiệu suất của mô hình.

5.1. Tóm Tắt Kết Quả và Đóng Góp của Luận Văn

Luận văn đã thành công trong việc đề xuất và đánh giá một phương pháp lựa chọn số đầu vào tối ưu cho bài toán dự đoán điểm đến taxi. Kết quả thực nghiệm chứng minh tính hiệu quả của phương pháp và đóng góp vào lĩnh vực nghiên cứu về dự đoán điểm đến taxi và tối ưu hóa mạng nơ-ron.

5.2. Hướng Nghiên Cứu Tiếp Theo và Phát Triển Mô Hình

Hướng nghiên cứu tiếp theo có thể tập trung vào việc sử dụng các kỹ thuật học sâu tiên tiến hơn, chẳng hạn như mạng nơ-ron hồi quy (RNN) hoặc mạng nơ-ron tích chập (CNN), để xử lý dữ liệu GPS có độ dài thay đổi. Ngoài ra, có thể kết hợp thông tin từ nhiều nguồn khác nhau, chẳng hạn như thông tin về giao thông, thời tiết và sự kiện đặc biệt, để cải thiện độ chính xác của mô hình.

Nội dung chính

## Tổng quan nghiên cứu

Nền công nghiệp taxi đang trải qua sự chuyển đổi mạnh mẽ với sự xuất hiện của các công nghệ mới và đối thủ cạnh tranh ngày càng gia tăng. Theo ước tính, hơn 1.7 triệu chuyến taxi đã được ghi nhận trong một năm tại thành phố Porto, Bồ Đào Nha, tạo thành một kho dữ liệu lớn phục vụ cho việc nghiên cứu dự đoán điểm đích của các chuyến taxi. Vấn đề chính được đặt ra là làm thế nào để dự đoán chính xác điểm đích của một chuyến taxi dựa trên các điểm GPS đầu vào không cố định về số lượng, trong khi mạng nơron nhân tạo truyền thẳng nhiều tầng (MLP) yêu cầu kích thước đầu vào cố định. Mục tiêu cụ thể của nghiên cứu là tối ưu hóa số lượng điểm đầu vào (tham số k) được sử dụng trong mô hình mạng nơron để nâng cao độ chính xác dự đoán điểm đích taxi. Phạm vi nghiên cứu tập trung vào dữ liệu thu thập từ 442 taxi hoạt động tại Porto trong khoảng thời gian từ 01/07/2013 đến 30/06/2014, với dữ liệu đánh giá lấy từ năm thời điểm khác nhau trong năm 2014. Ý nghĩa của nghiên cứu được đo bằng các chỉ số sai số dự đoán, với mục tiêu giảm sai số trung bình xuống dưới 2 km, cải thiện ít nhất 10% so với mô hình hiện tại của đội MILA lab.

## Cơ sở lý thuyết và phương pháp nghiên cứu

### Khung lý thuyết áp dụng

- **Mạng nơron nhân tạo truyền thẳng nhiều tầng (MLP):** Mạng gồm nhiều tầng nơron, trong đó tầng đầu vào nhận dữ liệu, các tầng ẩn xử lý thông tin và tầng ra cho kết quả dự đoán. MLP yêu cầu kích thước đầu vào cố định, điều này gây khó khăn khi dữ liệu đầu vào có độ dài biến đổi như chuỗi điểm GPS của taxi.
- **Tối ưu siêu tham số (Hyperparameter Optimization):** Quá trình tìm kiếm giá trị tối ưu cho các tham số cấu hình của mô hình, trong đó tham số k (số lượng điểm đầu vào) là siêu tham số quan trọng ảnh hưởng đến hiệu quả dự đoán.
- **Tối ưu Bayes (Bayesian Optimization):** Phương pháp dựa trên mô hình xác suất để tìm kiếm siêu tham số tối ưu, sử dụng Gaussian Process làm mô hình xấp xỉ và hàm Expected Improvement làm hàm thu để lựa chọn giá trị k tiếp theo cần thử nghiệm.
- **Khoảng cách Haversine và Equirectangular:** Các công thức tính khoảng cách giữa hai điểm trên bề mặt trái đất, dùng để đánh giá sai số dự đoán vị trí điểm đích taxi.

### Phương pháp nghiên cứu

- **Nguồn dữ liệu:** Sử dụng tập dữ liệu hơn 1.7 triệu chuyến taxi hoàn chỉnh tại Porto, Bồ Đào Nha, thu thập trong một năm, cùng tập dữ liệu đánh giá gồm 320 chuyến taxi từ năm thời điểm khác nhau.
- **Phương pháp phân tích:** Áp dụng mô hình mạng nơron nhân tạo truyền thẳng nhiều tầng của đội MILA lab, điều chỉnh tham số k (số điểm đầu vào) trong khoảng từ 2 đến 50. Sử dụng thuật toán tối ưu Bayes với Gaussian Process và hàm Expected Improvement để tự động tìm giá trị k tối ưu.
- **Timeline nghiên cứu:** Mỗi lần huấn luyện mạng nơron với một giá trị k mất khoảng 21 giờ trên máy ảo cấu hình CPU 2 vCPUs, RAM 5GB, GPU NVIDIA Tesla K80. Tổng thời gian dự kiến để huấn luyện toàn bộ các giá trị k là khoảng 43 ngày, đảm bảo tính khả thi cho nghiên cứu.

## Kết quả nghiên cứu và thảo luận

### Những phát hiện chính

- Mô hình MILA lab với k=5 điểm đầu và 5 điểm cuối cho sai số dự đoán trung bình khoảng 2.035 km trên tập dữ liệu kín.
- Việc tối ưu tham số k trong khoảng [2, 50] bằng phương pháp tối ưu Bayes giúp tìm ra giá trị k tối ưu làm giảm sai số dự đoán xuống còn khoảng 2.1 km hoặc thấp hơn, cải thiện đáng kể so với giá trị mặc định.
- Mô hình Gaussian Process kết hợp hàm Expected Improvement cho phép xác định giá trị k tiếp theo cần thử nghiệm một cách hiệu quả, giảm số lần huấn luyện mạng nơron cần thiết so với phương pháp tìm kiếm grid.
- Kết quả thực nghiệm cho thấy việc lựa chọn số lượng điểm đầu vào phù hợp có thể cải thiện độ chính xác dự đoán điểm đích taxi lên đến 10% so với mô hình gốc.

### Thảo luận kết quả

Nguyên nhân chính của sự cải thiện là do việc lựa chọn số lượng điểm đầu vào phù hợp giúp mạng nơron học được nhiều thông tin quan trọng hơn từ hành trình taxi, đặc biệt là các điểm đầu và cuối hành trình có ảnh hưởng lớn đến dự đoán điểm đích. So với phương pháp cố định k=5 của MILA lab, việc tối ưu k cho phép mô hình thích nghi tốt hơn với đặc điểm dữ liệu thực tế có độ dài biến đổi. Kết quả này phù hợp với các nghiên cứu trước đây về tầm quan trọng của siêu tham số trong mạng nơron và cho thấy phương pháp tối ưu Bayes là công cụ hiệu quả trong việc tìm kiếm siêu tham số tối ưu. Dữ liệu có thể được trình bày qua biểu đồ sai số theo từng giá trị k, minh họa rõ ràng xu hướng giảm sai số khi k được tối ưu. Ngoài ra, bảng tổng hợp sai số dự đoán cho từng giá trị k cung cấp cái nhìn chi tiết về hiệu quả của từng lựa chọn.

## Đề xuất và khuyến nghị

- **Áp dụng tối ưu Bayes trong huấn luyện mạng nơron:** Khuyến nghị các nhà nghiên cứu và doanh nghiệp taxi sử dụng phương pháp tối ưu Bayes để tự động tìm siêu tham số tối ưu, đặc biệt là số lượng điểm đầu vào, nhằm nâng cao độ chính xác dự đoán.
- **Tăng cường tiền xử lý dữ liệu:** Đề xuất thực hiện tiền xử lý dữ liệu GPS để loại bỏ các điểm sai lệch, dữ liệu thiếu nhằm cải thiện chất lượng đầu vào, từ đó nâng cao hiệu quả mô hình.
- **Mở rộng phạm vi siêu tham số:** Khuyến khích nghiên cứu thêm các siêu tham số khác như số tầng ẩn, số nơron mỗi tầng để tối ưu toàn diện mô hình mạng nơron.
- **Đầu tư hạ tầng tính toán:** Đề xuất sử dụng các dịch vụ điện toán đám mây với GPU mạnh để rút ngắn thời gian huấn luyện, tăng khả năng thử nghiệm nhiều giá trị siêu tham số.
- **Chủ thể thực hiện:** Các nhóm nghiên cứu trong lĩnh vực trí tuệ nhân tạo, các công ty taxi công nghệ, và các tổ chức phát triển phần mềm dự báo vận tải nên áp dụng các giải pháp trên trong vòng 6-12 tháng tới để nâng cao hiệu quả hoạt động.

## Đối tượng nên tham khảo luận văn

- **Nhà nghiên cứu và sinh viên ngành Kỹ thuật Phần mềm, Trí tuệ Nhân tạo:** Nắm bắt kiến thức về mạng nơron nhân tạo, tối ưu siêu tham số và ứng dụng thực tiễn trong dự đoán vận tải.
- **Doanh nghiệp taxi và vận tải:** Áp dụng mô hình dự đoán điểm đích để tối ưu phân bổ taxi, nâng cao hiệu quả phục vụ khách hàng.
- **Chuyên gia phát triển phần mềm dự báo:** Tham khảo phương pháp tối ưu Bayes và kỹ thuật huấn luyện mạng nơron để cải tiến các sản phẩm dự báo.
- **Nhà quản lý và hoạch định chính sách giao thông:** Hiểu rõ công nghệ dự đoán vận tải để xây dựng các chính sách hỗ trợ phát triển giao thông thông minh.

## Câu hỏi thường gặp

1. **Tại sao phải tối ưu số lượng điểm đầu vào k trong mạng nơron?**  
Việc tối ưu k giúp mạng nơron nhận đủ thông tin quan trọng từ hành trình taxi, tránh dư thừa hoặc thiếu dữ liệu, từ đó nâng cao độ chính xác dự đoán điểm đích.

2. **Phương pháp tối ưu Bayes có ưu điểm gì so với tìm kiếm grid?**  
Tối ưu Bayes giảm số lần huấn luyện cần thiết bằng cách dự đoán giá trị siêu tham số tiếp theo dựa trên mô hình xác suất, tiết kiệm thời gian và tài nguyên tính toán.

3. **Dữ liệu GPS có ảnh hưởng thế nào đến kết quả dự đoán?**  
Dữ liệu GPS bị thiếu hoặc sai lệch làm giảm độ chính xác mô hình. Tiền xử lý dữ liệu giúp loại bỏ các điểm không hợp lệ, cải thiện chất lượng đầu vào.

4. **Mô hình có thể áp dụng cho các thành phố khác không?**  
Có thể, nhưng cần điều chỉnh và huấn luyện lại với dữ liệu đặc thù của từng thành phố để đảm bảo hiệu quả dự đoán.

5. **Thời gian huấn luyện mô hình là bao lâu?**  
Trung bình khoảng 21 giờ cho mỗi giá trị k trên máy ảo cấu hình chuẩn, tổng thời gian huấn luyện toàn bộ khoảng 43 ngày nếu chạy tuần tự.

## Kết luận

- Đã phát triển thành công phương pháp tối ưu số lượng điểm đầu vào k cho mạng nơron nhân tạo trong bài toán dự đoán điểm đích taxi, cải thiện độ chính xác dự đoán khoảng 10%.  
- Áp dụng thuật toán tối ưu Bayes với Gaussian Process và hàm Expected Improvement giúp tự động hóa và tối ưu hóa quá trình tìm kiếm siêu tham số.  
- Kết quả thực nghiệm trên dữ liệu thực tế của thành phố Porto cho thấy mô hình có độ sai số dự đoán trung bình dưới 2.1 km, vượt trội so với mô hình gốc.  
- Nghiên cứu mở ra hướng phát triển cho các ứng dụng dự đoán vận tải thông minh và tối ưu hóa mạng lưới taxi.  
- Đề xuất triển khai áp dụng trong thực tế và tiếp tục nghiên cứu mở rộng các siêu tham số khác để nâng cao hiệu quả mô hình trong tương lai.

Các nhà nghiên cứu và doanh nghiệp nên áp dụng phương pháp tối ưu Bayes để cải tiến mô hình dự đoán, đồng thời đầu tư vào tiền xử lý dữ liệu và hạ tầng tính toán để đạt hiệu quả tối ưu.  

Trích đoạn nội dung tài liệu

đặt vấn đề, mô tả phương pháp đề xuất, và cách nội dung trong luận văn được trình bày. Chương 2 trình bày về kiến thức nền tảng về mạng nơron nhân tạo truyền thẳng nhiều tầng. Chương 3 trình bày về bài toán dự đoán điểm đích của chuyến taxi và phương pháp đội MILA lab giải quyết vấn đề cũng như bài toán tìm số lượng đầu vào tối ưu cho mạng nơron nhân tạo nhiều tầng truyền thẳng để cải tiến mô hình của đội MILA lab. Chương 4 trình bày mô hình đề xuất, xây dựng thử nghiệm và kết quả thực nghiệm của phương pháp.

Phần kết luận đưa ra kết quả của luận văn và cũng như triển vọng và hướng nghiên cứu trong tương lai. 4 CHƯƠNG 2: MẠNG NƠRON NHÂN TẠO TRUYỀN THẲNG NHIỀU TẦNG 2. Mạng nơron nhân tạo Mạng nơron nhân tạo (artificial neural network) là một mô hình tính toán xử lý thông tin bằng cách mô phỏng theo cách thức hoạt động của hệ nơron sinh học trong bộ não con người [2]. Mạng gồm một nhóm các phần tử (nơron nhân tạo) kết nối với nhau thông qua các liên kết (liên kết được đánh trọng số).

Nó làm việc như một thể thống nhất bằng cách truyền thông tin theo các kết nối và tính giá trị mới tại các nơron. Một mạng nơron nhân tạo sẽ được cấu hình để giải quyết một vấn đề cụ thể nào đó như nhận dạng mẫu, phân loại dữ liệu, dự đoán,. Nó hoạt động thông qua một quá trình học từ tập các mẫu huấn luyện. Việc học về bản chất chính là quá trình đưa dữ liệu vào mạng nơron và thực hiện hiệu chỉnh trọng số liên kết giữa các nơron thông qua kết quả có trước trong mẫu.

Mạng nơron nhân tạo được coi là một công cụ mạnh để giải quyết các bài toán có tính phi tuyến, phức tạp và đặc biệt trong các trường hợp mà mối quan hệ giữa các quá trình không dễ thiết lập một cách tường minh. Mô hình toán học tiêu biểu cho một nơron nhân tạo được minh họa như hình 2.1 sau: 5 x1 Wk1 Hàm truyền x2 Wk2 ∑ f(. Hàm tổng xN WkN bk Đầu vào Trọng số liên kết Ngưỡng Hình 2.1 Mô hình toán học của một nơron Cấu trúc của một nơron k được mô tả toán học bằng cặp biểu thức sau: 𝑢𝑘 = ∑𝑁 𝑗=1 𝑤𝑘𝑗 𝑥𝑗 và yk = f(uk – bk) Trong đó, cụ thể các thành phần của một nơron gồm: 1. Tập đầu vào: là các tín hiệu (dữ liệu) vào của nơron, thường được đưa dưới dạng một vector N chiều (x1, x2, … xN).

Tập liên kết: là các liên kết từ tín hiệu đến nơron. Mỗi liên kết sẽ được đánh trọng số, ví dụ như nơron thứ k sẽ có trọng số wk1 ở liên kết 1. Do đó với mỗi nơron ta cũng có một vector trọng số liên kết N chiều (wk1,wk2, … wkN). Các trọng số này thông thường sẽ được tạo ngẫu nhiên ở thời điểm tạo mạng, sau đó qua quá trình học sẽ được hiệu chỉnh dần.

Hàm tổng: là tổng của tích các đầu vào với trọng số liên kết của nó, kí hiệu cho hàm tổng của nơron thứ k là uk. Ngưỡng: là một thành phần của hàm truyền, ký hiệu cho ngưỡng của nơron thứ k là bk. Hàm truyền: là một hàm số dùng để tính đầu ra của nơron từ hàm tổng và ngưỡng, ký hiệu là f. Đầu ra: là tín hiệu đầu ra của nơron.

Mỗi nơron chỉ có một tín hiệu đầu ra. Với nơron thứ k đầu ra ký hiệu là yk. Khái quát lại, nơron nhân tạo cho một đầu ra từ tập tín hiệu đầu vào. Một số hàm truyền phổ biến là: * Hàm đồng nhất f(t) = αt * Hàm bước nhảy 1 𝑘ℎ𝑖 𝑡 ≥ 𝛼 f(t) = { 0 𝑘ℎ𝑖 𝑡 < 𝛼 * Hàm dấu 1 𝑘ℎ𝑖 𝑡 ≥ 𝛼 f(t) = { −1 𝑘ℎ𝑖 𝑡 < 𝛼 * Hàm sigmoid 1 f(t) = 1+ 𝑒 −∝𝑡 * Hàm sigmoid lưỡng cực 1− 𝑒 −∝𝑡 2 f(t) = = −1 1+ 𝑒 −∝𝑡 1+ 𝑒 −∝𝑡 Có nhiều loại mạng nơron khác nhau trong đó mạng nơron truyền thẳng nhiều tầng là một trong những mạng nơron thông dụng nhất.

Mạng nơron truyền thẳng nhiều tầng Mạng nơron truyền thẳng nhiều tầng (multi layer perceptron - MLP) là mạng có n tầng (n >= 2). Trong đó tầng nhận tín hiệu vào của mạng gọi là tầng vào (input layer). Tầng vào chỉ làm chức năng nhận tín hiệu mà không thực hiện việc chuyển đổi thông tin nên không được tính vào số lượng tầng của mạng. Tín hiệu ra của mạng được đưa ra từ tầng ra (output layer).

Các tầng ở giữa tầng vào và tầng ra gọi là các tầng ẩn (có n–1 tầng ẩn). Các nơron ở một tầng nhất định đều liên kết đến tất cả các nơron ở tầng tiếp theo. Với mạng nơron truyền thẳng (feedforward network) không có nút nào mà đầu ra của nó là đầu vào của một nút khác trên cùng tầng với nó hoặc tầng trước. Tầng vào Tầng ẩn 1 Tầng ra Tầng ẩn n-1 x1 y1 x2.

xp yq Hình 0.2 Mạng nơron truyền thẳng nhiều tầng Nếu mạng nơron truyền thẳng chỉ có tầng nơron đầu vào và tầng nơron đầu ra thì được gọi là mạng nơron truyền thẳng 1 tầng. Mạng nơron có phản hồi (feedback network) là mạng mà đầu ra của một nơron có thể trở thành đầu vào của nơron trên cùng một tầng hoặc của tầng trước đó. Mạng nơron có phản hồi có chu trình khép khín gọi là mạng nơron hồi quy. 8 Kiến trúc của một mạng nơron truyền thẳng nhiều tầng tổng quát có thể mô tả như sau: + Đầu vào là một các tập vector (x1, x2, … xp) p chiều, đầu ra là một tập các vector (y1, y2, … yq) q chiều.

+ Mỗi nơron thuộc tầng sau sẽ liên kết với tất cả các nơron thuộc tầng ngay trước nó. Như vậy đầu ra của nơron tầng trước sẽ là đầu vào của nơron thuộc tầng liền sau. Mạng nơron truyền thẳng nhiều tầng sẽ hoạt động như sau: tại tầng đầu vào các nơron nhận tín hiệu vào xử lý, thực hiện việc tính tổng trọng số rồi gửi tới hàm truyền, kết quả của hàm truyền sẽ được gửi tới các nơron thuộc tầng ẩn đầu tiên. Nơi đây các nơron tiếp nhận các kết quả này như là tín hiệu đầu vào và xử lý rồi gửi kết quả đến tầng ẩn thứ 2.

Quá trình cứ tiếp tục như thế cho đến khi các nơron ở tầng ra cho ra kết quả. Về ứng dụng của mạng nơron truyền thẳng nhiều tầng, vài kết quả đã được chứng minh cụ thể như sau: + Mọi hàm toán học bất kỳ đều có thể được biểu diễn xấp xỉ bằng một mạng nơron truyền thẳng ba tầng trong đó các nơron ở tầng ra đều sử dụng hàm truyền tuyến tính và tất cả các nơron ở tầng ẩn đều dùng hàm truyền sigmoid. + Tất cả các hàm toán học liên tục đều có thể được biểu diễn xấp xỉ bởi một mạng nơron truyền thẳng hai tầng trong đó các nơron ở tầng ra đều sử dụng hàm truyền tuyến tính với sai số nhỏ tùy ý và tất cả các nơron ở tầng ẩn đều dùng hàm truyền sigmoid. + Bất kỳ một hàm toán học Boolean nào cũng có thể được mô tả bởi một mạng nơron truyền thẳng hai tầng trong đó hàm truyền sigmoid được sử dụng cho tất cả các nơron.

Mạng nơron truyền thẳng nhiều tầng đã được sử dụng nhiều trong bài toán dự báo và cho kết quả khả quan. Điều này sẽ giúp hướng tiếp cận này phổ biến hơn trong thời gian tới cho bài toán dự báo. Các phương pháp học phổ biến Trong cuộc sống tự nhiên, học được định nghĩa là quá trình tiếp thu cái mới hoặc bổ sung, trau dồi các kiến thức, kỹ năng, kinh nghiệm, giá trị, nhận thức hoặc sở thích và có thể liên quan đến việc tổng hợp các loại thông tin khác nhau. Khả năng học hỏi là sở hữu của loài người, một số động vật.

Việc học sẽ giúp vật học tiến bộ theo thời gian. Mạng nơron cũng được học thông qua các luật học. Luật học là một thủ tục dùng để xác định việc cập nhật trọng số liên kết và ngưỡng của mạng nơron. Luật học còn được gọi là thuật toán huấn luyện mạng.

Quá trình học còn gọi là quá trình huấn luyện. Một mạng nơron được huấn luyện sao cho với một tập các vector đầu vào X, mạng sẽ cho ra tập các vector đầu ra Y mong muốn. Tập X dùng để làm đầu vào huấn luyện cho mạng nên được gọi là tập huấn luyện (training set). Các phần tử x thuộc X được gọi là các mẫu huấn luyện (training example).

Như đã được đề cập ở phần đầu, việc học bản chất là việc cập nhật liên tục các trọng số liên kết trong mạng nơron. Trong quá trình này, các trọng số của mạng sẽ hội tụ dần tới các giá trị sao cho với mỗi đầu vào, mạng sẽ cho đầu ra như ý muốn. Với mỗi mạng nơron nhân tạo có hai vấn đề cần học đó là học tham số (parameter learning) và học cấu trúc (structure learning). Học tham số là việc điều chỉnh trọng số của các liên kết giữa các nơron trong mạng, còn học cấu trúc là việc thay đổi cấu trúc của mạng bao gồm thay đổi số lớp nơron, số nơron của mỗi lớp và cách liên kết giữa chúng.

Hai vấn đề này có thể được thực hiện đồng thời hoặc tách biệt. Luật học của mạng nơron có thể chia làm 3 loại: học có giám sát (supervised learning), học không có giám sát (unsupervised learning), học tăng cường (reinforcement learning). + Học có giám sát: là quá trình học giống việc ta dạy cho trẻ, luôn luôn có một người “thầy giáo”, muốn dạy cho trẻ chữ “a”, ta đưa chữ “a” ra và nói với trẻ rằng đây là chữ “a”. Và thực hiện tương tự với tất cả các chữ cái khác.

Cuối cùng để kiểm tra việc học, ta sẽ đưa ra một chữ cái bất kỳ và hỏi đây là chữ gì. Do đó với học có giám sát, số tầng cần phân loại đã được biết trước. Nhiệm vụ 10 của việc huấn luyện là phải xác định được một cách thức phân tầng sao cho với mỗi vector đầu vào sẽ được phân loại chính xác vào tầng của nó. + Học không giám sát: là quá trình học mà không có bất kỳ một người giám sát nào.

Trong bài toán mà luật học không giám sát được áp dụng, với tập dữ liệu huấn luyện D thì nhiệm vụ của thuật toán học là phải phân chia tập dữ liệu D thành các nhóm con, mỗi nhóm chứa các giá trị đầu vào có đặc trưng giống nhau. Do đó với học không giám sát, số tầng phân loại chưa được biết và tùy theo yêu cầu về độ giống nhau giữa các mẫu mà ta có các tầng phân loại tương ứng.