Luận văn thạc sĩ về rút trích luật từ mạng nơron trong khoa học máy tính

Luận văn thạc sĩ luật học phân tích máy tính rút trích luật từ mạng nơron, đánh giá thực trạng, chỉ ra hạn chế, đề xuất giải pháp khả thi cho thực tiễn.

• Tác giả: Nguyễn Hoài Lê
• Người hướng dẫn: PGS. Dương Tuấn Anh
• Trường học: Đại học Bách Khoa
• Chuyên ngành: Khoa học máy tính
• Đề tài: Rút trích luật từ mạng nơ ron
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2012
• Địa điểm: Tp Hồ Chí Minh

Tóm tắt

I. Giới thiệu về Mạng nơron

Mạng nơron nhân tạo (Artificial Neural Network - ANN) là một mô hình xử lý thông tin được phát triển dựa trên cấu trúc và hoạt động của hệ thần kinh sinh vật. ANN bao gồm nhiều nơron kết nối với nhau, cho phép xử lý và lưu trữ thông tin. Việc áp dụng mạng nơron trong các lĩnh vực như tài chính, y tế và công nghệ thông tin đã chứng minh được tính hiệu quả của chúng trong việc giải quyết các bài toán phức tạp. Tuy nhiên, một trong những thách thức lớn nhất khi sử dụng mạng nơron là tính chất “hộp đen” của chúng, tức là khó khăn trong việc hiểu rõ cách thức mà chúng đưa ra quyết định. Do đó, việc rút trích luật từ mạng nơron trở thành một nhiệm vụ quan trọng nhằm cung cấp cái nhìn sâu sắc hơn về quá trình ra quyết định của mạng.

1.1. Khái niệm và ứng dụng

Mạng nơron có khả năng học từ dữ liệu, giúp cải thiện độ chính xác trong các dự đoán. Chúng được sử dụng rộng rãi trong các lĩnh vực như nhận diện hình ảnh, xử lý ngôn ngữ tự nhiên và dự báo dữ liệu. Việc hiểu rõ cách mà mạng nơron hoạt động không chỉ giúp nâng cao hiệu suất mà còn tạo ra sự tin tưởng trong các ứng dụng thực tiễn. Các nghiên cứu đã chỉ ra rằng việc rút trích luật từ mạng nơron có thể giúp các chuyên gia trong lĩnh vực đánh giá và điều chỉnh các mô hình một cách hiệu quả hơn.

II. Phương pháp rút trích luật

Các phương pháp rút trích luật từ mạng nơron đã được phát triển qua nhiều năm với nhiều cách tiếp cận khác nhau. Một trong những phương pháp phổ biến là sử dụng các thuật toán học máy để xác định các quy luật từ các trọng số của mạng nơron. Các phương pháp này thường tập trung vào việc phân tích các nơron và kết nối của chúng để tìm ra các mẫu có thể diễn giải được. Các nghiên cứu trước đây như của Towell và Shavlik đã chứng minh rằng có thể rút trích luật từ mạng nơron bằng cách áp dụng các thuật toán tìm kiếm phức tạp. Tuy nhiên, những phương pháp này thường gặp khó khăn trong việc xử lý các đầu ra liên tục của bài toán dự báo.

2.1. Các thuật toán rút trích luật

Nhiều thuật toán đã được đề xuất để rút trích luật, trong đó có các phương pháp như REANN (Rule Extraction from Artificial Neural Networks). REANN tập trung vào việc xây dựng một mạng nơron từ đầu, thay vì sử dụng một mạng đã được huấn luyện sẵn. Điều này không chỉ giúp cải thiện tốc độ mà còn tăng cường độ chính xác của các luật được rút trích. Các thuật toán này thường sử dụng kỹ thuật học có giám sát để đảm bảo rằng các luật được tạo ra có thể diễn giải được và có độ chính xác cao trong việc dự đoán.

III. Ứng dụng trong dự báo dữ liệu chuỗi thời gian

Luận văn này tập trung vào việc áp dụng phương pháp rút trích luật vào bài toán dự báo dữ liệu chuỗi thời gian. Đây là một lĩnh vực đầy thách thức, đặc biệt khi số lượng đầu ra là rất lớn và không thể dự đoán trước. Việc áp dụng các thuật toán rút trích luật mới giúp cải thiện độ chính xác của các dự đoán, đồng thời cung cấp các quy luật có thể giải thích được cho các chuyên gia. Các nghiên cứu trước đây chủ yếu tập trung vào bài toán phân lớp, do đó việc mở rộng ứng dụng cho bài toán dự báo là một bước tiến quan trọng.

3.1. Thực nghiệm trên các tập dữ liệu

Luận văn đã thực hiện các thử nghiệm trên nhiều tập dữ liệu khác nhau, bao gồm dữ liệu chứng khoán và dữ liệu lưu lượng thủy điện. Kết quả cho thấy rằng việc rút trích luật từ mạng nơron không chỉ giúp cải thiện độ chính xác mà còn cung cấp cái nhìn sâu sắc hơn về các yếu tố ảnh hưởng đến dự báo. Những quy luật này có thể được sử dụng để điều chỉnh các mô hình và cải thiện hiệu suất trong các ứng dụng thực tế.

IV. Kết luận và hướng phát triển

Luận văn đã chỉ ra rằng việc rút trích luật từ mạng nơron là một lĩnh vực nghiên cứu quan trọng với nhiều ứng dụng thực tiễn. Kết quả đạt được từ các thử nghiệm cho thấy rằng phương pháp này không chỉ giúp cải thiện độ chính xác mà còn tạo ra các quy luật có thể diễn giải được. Hướng phát triển trong tương lai có thể bao gồm việc tối ưu hóa các thuật toán rút trích luật để xử lý các bài toán phức tạp hơn, đồng thời mở rộng ứng dụng cho các lĩnh vực khác nhau như y tế và tài chính.

4.1. Đề xuất nghiên cứu tiếp theo

Nghiên cứu tiếp theo có thể tập trung vào việc phát triển các phương pháp mới nhằm cải thiện khả năng rút trích luật từ các mạng nơron phức tạp hơn. Việc áp dụng các kỹ thuật học sâu cũng có thể mở ra nhiều cơ hội mới trong việc giải quyết các bài toán khó khăn trong thực tế. Các nghiên cứu này sẽ đóng góp vào việc nâng cao hiểu biết về cách mà mạng nơron hoạt động và cải thiện khả năng ứng dụng của chúng trong nhiều lĩnh vực.

Trích đoạn nội dung tài liệu

Đặt vấn đề Mạng nơ ron nhân tạo đã đƣợc ứng dụng rất thành công trong các bài toán trong lĩnh vực khai phá dữ liệu đặc biệt là bài toán phân lớp và dự báo (classification and prediction). Và mặc dù mạng nơ ron thể hiện sự vƣợt trội so với các phƣơng pháp khác nó vẫn thƣờng đƣợc nhắc đến nhƣ là một hộp đen, nghĩa là quá trình làm việc để đƣa ra các kết quả của nó không thể giải thích đƣợc nhƣ là đối với cây quyết định. Tuy nhiên không phải mạng nơ ron hoàn toàn là hộp đen. Chúng ta có thể rút trích các luật từ mạng nơ ron và sử dụng các luật này để giải thích quá trình làm việc của mạng Neural hay nói cách khác có thể “hiểu” đƣợc mạng nơ ron tốt hơn.

-Một số hướng giải quyết Có nhiều hƣớng giải quyết đƣợc đề xuất cho bài toán này. Phần tổng quan này chúng ta chỉ trình bày sơ qua một số hƣớng giải quyết đã đƣợc công bố. Phần các công trình liên quan (Chƣơng 2) sẽ trình bày cụ thể hơn về cách giải quyết bài toán rút trích luật từ mạng nơ ron. Vào năm 1993, Towell và Shavlik [6] đã chứng minh đƣợc chúng ta có thể rút trích luật từ mạng nơ ron.

Họ sử dụng giải thuật dựa trên phƣơng pháp tìm kiếm (search-based method) do đó khá phức tạp. Những tập con đầu vào có trọng số vƣợt quá bias của một đơn vị đƣợc tìm kiếm. Sau đó những tập con này đƣợc viết lại thành các luật. Để đơn giản quá trình tìm kiếm (search) một số giả định đƣợc đƣa ra.

Một trong những giả định này là sự kích hoạt (the activation) của một đơn vị (unit) rất gần 1 hoặc rất gần 0. Điều này giới hạn khả năng của mạng bởi vì khi hàm chuyển đổi sigmoid đƣợc sử dụng nhƣ là sự kích hoạt thì sự kích hoạt của các đơn vị có thể có bất kì giá trị nào trong khoản [0,1] Một cách tiếp cận mới đƣợc đề xuất bởi Rudy Setiono và Huan Liu [1] đó là giải thuật ba bƣớc: Đầu tiên một mạng lan truyền ngƣợc phân rã trọng số đƣợc xây dựng : các kết nối quan trọng (connection) tƣơng ứng với trọng số lớn hơn. Sau đó, 6 mạng sẽ đƣợc cắt tỉa (pruning) bớt các kết nối không quan trọng mà vẫn giữ nguyên độ chính xác của mạng và cuối cùng là rút trích các luật dựa trên sự rời rạc hóa các giá trị kích hoạt của các nút ở tầng ẩn (hidden units). Cách tiếp cận này đã chứng minh sự đúng đắn bằng cách thực hiện cùng lúc quá trình rút trích luật từ cây quyết định.

Và nó cũng biễu diễn rõ hơn cách hoạt động của mạng nơ ron thông qua 2 tập luật : từ tầng input đến tầng ẩn và từ tầng ẩn đến tầng output. Điều này thể hiện sự vƣợt trội so với hƣớng giải quyết dựa trên phƣơng pháp tìm kiếm bên trên. Thông thƣờng với phƣơng pháp bên trên để giảm chi phí trong việc tìm kiếm, ngƣời ta thƣờng giới hạn các điều kiện ban đầu. Với phƣơng pháp này chúng ta không cần phải giới hạn.

Dựa trên công trình của Rudy Setiono và các cộng sự, Kamruzzaman và Monirul Islam đƣa ra một giải thuật rút trích luật có tên là REANN [2]. Giải thuật này khắc phục hầu hết các vấn đề còn tồn tại trong các giải thuật đã trình bày ở trên. Mục đích của giải thuật này là tìm kiếm các luật đơn giản có độ chính xác cao trong dự đoán. Thêm vào đó tác giả của giải thuật REANN đã xây dựng một mạng nơ ron ngay từ ban đầu thay vì lấy một mạng nơ ron đã đƣợc huấn luyện sẵn, điều này khiến cho giải thuật REANN có đƣợc lợi thế về tốc độ cũng nhƣ hiệu quả so với các giải thuật khác.

Luận văn này cũng dựa trên ý tƣởng của giải thuật REANN để giải quyết bài toán dự báo cho dữ liệu chuỗi thời gian. Mục tiêu nghiên cứu của luận văn Mục tiêu nghiên cứu của luận văn tập trung vào ba vấn đề chính : -Thu giản, cắt tỉa mạng. Nếu mạng nơ ron không phải là tối giản, tập luật sinh ra sẽ có các luật dƣ thừa ảnh hƣởng đến độ chính xác của tập luật cũng nhƣ thời gian xử lí. -Rút trích luật từ mạng đã được tối giản.

Hầu hết các giải thuật rút trích luật đều chú trọng vào việc rời rạc hóa các giá trị kích hoạt của tầng ẩn. Tùy vào độ chính xác yêu cầu mà ta sẽ tùy chỉnh tham số: độ mịn trong quá trình rời rạc hóa. Độ mịn càng nhỏ thì độ chính xác càng cao; gần nhƣ không thay đổi so với mạng nơ ron trƣớc lúc rời rạc hóa tuy nhiên bù lại số luật sinh ra sẽ nhiều hơn và thời gian chạy cũng tăng lên. -Ứng dụng việc rút trích luật nói trên vào bài toán dự báo dữ liệu chuỗi thời gian.

Đây là muc tiêu nghiên cứu chính của đề tài. Các công trình nghiên cứu hiện tại về rút trích luật từ mạng nơ ron hầu hết tập trung vào bài toán phân lớp. Với bài toán phân lớp thì số đầu ra (output) ít và đã biết trƣớc. Trong khi đó với bài toán dự báo, số đầu ra là rất lớn.

Do đó chúng ta không thể áp dụng giải thuật hiện có vào 7 bài toán dự báo. Nhiệm vụ quan trọng của luận văn này là tìm cách áp dụng giải thuật rút trích luật vào bài toán dự báo dữ liệu chuỗi thời gian. Bố cục của luận văn Luận văn đƣợc chia làm 5 chƣơng. Chƣơng 1 trình bày tổng quan về mạng nơ ron, bài toán rút trích luật từ mạng nơ ron và nhiệm vụ chính của đề tài.

Chƣơng 2 trình bày các công trình liên quan để giải quyết bài toán rút trích luật từ mạng nơ ron. Một số phƣơng pháp rút trích luật đƣợc trình bày cùng các nhận xét về ƣu khuyết điểm của từng phƣơng pháp. Chƣơng 3 trình bày chi tiết bốn bƣớc để giải quyết quyết vấn đề chính của luận văn, đó là xây dựng mạng với số nút tầng ẩn ít nhất, thu giản mạng, rời rạc hóa giá trị tầng ẩn và cuối cùng là rút trích luật Chƣơng 4 trình bày chi tiết cách hiện thực và thực nghiệm rút trích luật trên bốn tập dữ liệu khác nhau: tập dữ liệu chứng khoán Stock, tập dữ liệu lƣu lƣợng nƣớc thủy điện Hòa Bình, tập dữ liệu tỉ giá EURUSD và tập dữ liệu nhiệt độ 100 năm NewYork. Chƣơng 5 trình bày kết luận và kiến nghị của luận văn.

Tiếp theo là phần phụ lục trình bày một số chứng minh và thuật ngữ liên quan. 8 CHƢƠNG 2 CƠ SỞ LÝ THUYẾT Chƣơng này sẽ trình bày tổng quan về các công trình liên quan đến việc rút trích luật từ mạng nơ ron đồng thời nêu lại những nhận xét về kết quả , ƣu điểm, nhƣợc điểm của các phƣơng pháp đó. Trong hai thập kỷ qua đã thấy một số lƣợng ngày càng tăng của các nhà nghiên cứu và học viên áp dụng mạng lƣới thần kinh nhân tạo (ANNs) cho mô hình phân lớp và xấp xỉ hàm (Classifications and Function approximations). Độ chính xác của việc dự báo của ANNs thƣờng cao hơn so với các phƣơng pháp khác hay các chuyên gia con ngƣời.

Tuy nhiên một vấn đề gặp phải đó là rất khó để hiểu đƣợc làm thế nào ANNs đi tới việc đƣa ra những quyết định cụ thể. Điều này có thể đƣợc giải thích bởi kiến trúc của ANNs khá phức tạp, ngay cả với một ANN có duy nhất một tầng ẩn, chúng ta vẫn không thể giải thích đƣợc vì sao một mô hình nào đó đƣợc phân lớp là một thành viên của một lớp và một mô hình khác đƣợc phân loại là thành viên của một lớp khác. Do đó một tập các luật giải thích cách ANNs giải quyết một vấn đề là điều mà chúng ta mong muốn. Các luật này khiến ANNs với các cạnh có trọng số khó hiểu đƣợc biểu diễn thông qua tập luật và có thể hiểu đƣợc bởi con ngƣời.

Đã có rất nhiều công trình đƣợc xây dựng nhằm biểu diễn các chức năng của ANNs bằng cách rút trích luật từ một ANNs đã đƣợc huấn luyện. Vấn đề chính của công việc hiện tại là họ xác định số lƣợng các nơ ron ẩn một cách thủ công. Do đó độ chính xác trong dự báo và luật đƣợc rút trích từ ANNs đã đƣợc huấn luyện có thể không đƣợc tối ƣu bởi hiệu suất của ANNs phụ thuộc rất nhiều vào kiến trúc của nó. Hơn nữa các luật đƣợc rút trích bởi các thuật toán hiện tại không đơn giản và vẫn còn khó hiểu đối với con ngƣời.

Trong chƣơng này chúng tôi sẽ giới thiệu tổng quan các công trình liên quan đã đƣợc nghiên cứu bao gồm : hƣớng tiếp cận rút trích luật từ mạng nơ ron của các tác giả Towell và Shavlik dựa trên phƣơng pháp tìm kiếm [6] và phƣơng pháp tiếp cận gồm 3 bƣớc cùng một số cải tiến của Rudy Setiono và các cộng sự [1], [4], [5], [9], [16], [21], [24]. Sau cùng là một công trình của S. Kamruzzaman và Md. với giải thuật REANN (Rule Extraction from ANNs) [2] đƣợc cải tiến từ hai công trình trƣớc.

Sau đây ta sẽ đi vào chi tiết vào từng công trình cụ thể. Công trình của Towell và Shavlik Hai phƣơng pháp rút trích luật từ ANN đƣợc mô tả bởi Towell và Shavlik [6]: 9 Phƣơng pháp đầu tiên là thuật toán tập hợp con (subset algorithm), tìm kiếm các tập con bao gồm các cạnh nối đến một đơn vị (unit) có tổng trọng số vƣợt ngƣỡng bias của nút đó. Vấn đề chính gặp phải với giải thuật này là chi phí của việc tìm kiếm tất cả các tập con tăng lên khi kích thƣớc của ANNs tăng lên. Phƣơng pháp thứ hai (còn đƣợc gọi là MofN) là một sự cải tiến của phƣơng pháp tập hợp con đƣợc thiết kế tìm kiếm một cách tƣờng minh các luật có dạng M-of-M từ cơ sở tri thức ANNs.

Nó kiểm tra một nhóm các kết nối (connection) thay vì một kết nối duy nhất trong ANNs để tìm ra sự đóng góp của nó trong sự kích hoạt của node. Điều này đƣợc thực hiện bằng cách phân nhóm các kết nối của ANNs (clustering). Vấn đề gặp phải ở đây là phƣơng pháp MofN sử dụng hàm kích hoạt ngƣỡng, không phải là liên tục và sử dụng một số cố định các nút ẩn dẫn tới việc yêu cầu một số kiến thức đƣợc biết trƣớc khi vấn đề đƣợc xử lí. Công trình của Rudy Setiono và các cộng sự Năm 1995, H.Tan [30] đề xuất một thuật toán đơn giản khá nhanh mang tên X2R có thể đƣợc áp dụng cho cả dữ liệu số và rời rạc cho việc sinh ra các luật.