Đặt vấn đề Mạng nơ ron nhân tạo đã đƣợc ứng dụng rất thành công trong các bài toán trong lĩnh vực khai phá dữ liệu đặc biệt là bài toán phân lớp và dự báo (classification and prediction). Và mặc dù mạng nơ ron thể hiện sự vƣợt trội so với các phƣơng pháp khác nó vẫn thƣờng đƣợc nhắc đến nhƣ là một hộp đen, nghĩa là quá trình làm việc để đƣa ra các kết quả của nó không thể giải thích đƣợc nhƣ là đối với cây quyết định. Tuy nhiên không phải mạng nơ ron hoàn toàn là hộp đen. Chúng ta có thể rút trích các luật từ mạng nơ ron và sử dụng các luật này để giải thích quá trình làm việc của mạng Neural hay nói cách khác có thể “hiểu” đƣợc mạng nơ ron tốt hơn.
-Một số hướng giải quyết Có nhiều hƣớng giải quyết đƣợc đề xuất cho bài toán này. Phần tổng quan này chúng ta chỉ trình bày sơ qua một số hƣớng giải quyết đã đƣợc công bố. Phần các công trình liên quan (Chƣơng 2) sẽ trình bày cụ thể hơn về cách giải quyết bài toán rút trích luật từ mạng nơ ron. Vào năm 1993, Towell và Shavlik [6] đã chứng minh đƣợc chúng ta có thể rút trích luật từ mạng nơ ron.
Họ sử dụng giải thuật dựa trên phƣơng pháp tìm kiếm (search-based method) do đó khá phức tạp. Những tập con đầu vào có trọng số vƣợt quá bias của một đơn vị đƣợc tìm kiếm. Sau đó những tập con này đƣợc viết lại thành các luật. Để đơn giản quá trình tìm kiếm (search) một số giả định đƣợc đƣa ra.
Một trong những giả định này là sự kích hoạt (the activation) của một đơn vị (unit) rất gần 1 hoặc rất gần 0. Điều này giới hạn khả năng của mạng bởi vì khi hàm chuyển đổi sigmoid đƣợc sử dụng nhƣ là sự kích hoạt thì sự kích hoạt của các đơn vị có thể có bất kì giá trị nào trong khoản [0,1] Một cách tiếp cận mới đƣợc đề xuất bởi Rudy Setiono và Huan Liu [1] đó là giải thuật ba bƣớc: Đầu tiên một mạng lan truyền ngƣợc phân rã trọng số đƣợc xây dựng : các kết nối quan trọng (connection) tƣơng ứng với trọng số lớn hơn. Sau đó, 6 mạng sẽ đƣợc cắt tỉa (pruning) bớt các kết nối không quan trọng mà vẫn giữ nguyên độ chính xác của mạng và cuối cùng là rút trích các luật dựa trên sự rời rạc hóa các giá trị kích hoạt của các nút ở tầng ẩn (hidden units). Cách tiếp cận này đã chứng minh sự đúng đắn bằng cách thực hiện cùng lúc quá trình rút trích luật từ cây quyết định.
Và nó cũng biễu diễn rõ hơn cách hoạt động của mạng nơ ron thông qua 2 tập luật : từ tầng input đến tầng ẩn và từ tầng ẩn đến tầng output. Điều này thể hiện sự vƣợt trội so với hƣớng giải quyết dựa trên phƣơng pháp tìm kiếm bên trên. Thông thƣờng với phƣơng pháp bên trên để giảm chi phí trong việc tìm kiếm, ngƣời ta thƣờng giới hạn các điều kiện ban đầu. Với phƣơng pháp này chúng ta không cần phải giới hạn.
Dựa trên công trình của Rudy Setiono và các cộng sự, Kamruzzaman và Monirul Islam đƣa ra một giải thuật rút trích luật có tên là REANN [2]. Giải thuật này khắc phục hầu hết các vấn đề còn tồn tại trong các giải thuật đã trình bày ở trên. Mục đích của giải thuật này là tìm kiếm các luật đơn giản có độ chính xác cao trong dự đoán. Thêm vào đó tác giả của giải thuật REANN đã xây dựng một mạng nơ ron ngay từ ban đầu thay vì lấy một mạng nơ ron đã đƣợc huấn luyện sẵn, điều này khiến cho giải thuật REANN có đƣợc lợi thế về tốc độ cũng nhƣ hiệu quả so với các giải thuật khác.
Luận văn này cũng dựa trên ý tƣởng của giải thuật REANN để giải quyết bài toán dự báo cho dữ liệu chuỗi thời gian. Mục tiêu nghiên cứu của luận văn Mục tiêu nghiên cứu của luận văn tập trung vào ba vấn đề chính : -Thu giản, cắt tỉa mạng. Nếu mạng nơ ron không phải là tối giản, tập luật sinh ra sẽ có các luật dƣ thừa ảnh hƣởng đến độ chính xác của tập luật cũng nhƣ thời gian xử lí. -Rút trích luật từ mạng đã được tối giản.
Hầu hết các giải thuật rút trích luật đều chú trọng vào việc rời rạc hóa các giá trị kích hoạt của tầng ẩn. Tùy vào độ chính xác yêu cầu mà ta sẽ tùy chỉnh tham số: độ mịn trong quá trình rời rạc hóa. Độ mịn càng nhỏ thì độ chính xác càng cao; gần nhƣ không thay đổi so với mạng nơ ron trƣớc lúc rời rạc hóa tuy nhiên bù lại số luật sinh ra sẽ nhiều hơn và thời gian chạy cũng tăng lên. -Ứng dụng việc rút trích luật nói trên vào bài toán dự báo dữ liệu chuỗi thời gian.
Đây là muc tiêu nghiên cứu chính của đề tài. Các công trình nghiên cứu hiện tại về rút trích luật từ mạng nơ ron hầu hết tập trung vào bài toán phân lớp. Với bài toán phân lớp thì số đầu ra (output) ít và đã biết trƣớc. Trong khi đó với bài toán dự báo, số đầu ra là rất lớn.
Do đó chúng ta không thể áp dụng giải thuật hiện có vào 7 bài toán dự báo. Nhiệm vụ quan trọng của luận văn này là tìm cách áp dụng giải thuật rút trích luật vào bài toán dự báo dữ liệu chuỗi thời gian. Bố cục của luận văn Luận văn đƣợc chia làm 5 chƣơng. Chƣơng 1 trình bày tổng quan về mạng nơ ron, bài toán rút trích luật từ mạng nơ ron và nhiệm vụ chính của đề tài.
Chƣơng 2 trình bày các công trình liên quan để giải quyết bài toán rút trích luật từ mạng nơ ron. Một số phƣơng pháp rút trích luật đƣợc trình bày cùng các nhận xét về ƣu khuyết điểm của từng phƣơng pháp. Chƣơng 3 trình bày chi tiết bốn bƣớc để giải quyết quyết vấn đề chính của luận văn, đó là xây dựng mạng với số nút tầng ẩn ít nhất, thu giản mạng, rời rạc hóa giá trị tầng ẩn và cuối cùng là rút trích luật Chƣơng 4 trình bày chi tiết cách hiện thực và thực nghiệm rút trích luật trên bốn tập dữ liệu khác nhau: tập dữ liệu chứng khoán Stock, tập dữ liệu lƣu lƣợng nƣớc thủy điện Hòa Bình, tập dữ liệu tỉ giá EURUSD và tập dữ liệu nhiệt độ 100 năm NewYork. Chƣơng 5 trình bày kết luận và kiến nghị của luận văn.
Tiếp theo là phần phụ lục trình bày một số chứng minh và thuật ngữ liên quan. 8 CHƢƠNG 2 CƠ SỞ LÝ THUYẾT Chƣơng này sẽ trình bày tổng quan về các công trình liên quan đến việc rút trích luật từ mạng nơ ron đồng thời nêu lại những nhận xét về kết quả , ƣu điểm, nhƣợc điểm của các phƣơng pháp đó. Trong hai thập kỷ qua đã thấy một số lƣợng ngày càng tăng của các nhà nghiên cứu và học viên áp dụng mạng lƣới thần kinh nhân tạo (ANNs) cho mô hình phân lớp và xấp xỉ hàm (Classifications and Function approximations). Độ chính xác của việc dự báo của ANNs thƣờng cao hơn so với các phƣơng pháp khác hay các chuyên gia con ngƣời.
Tuy nhiên một vấn đề gặp phải đó là rất khó để hiểu đƣợc làm thế nào ANNs đi tới việc đƣa ra những quyết định cụ thể. Điều này có thể đƣợc giải thích bởi kiến trúc của ANNs khá phức tạp, ngay cả với một ANN có duy nhất một tầng ẩn, chúng ta vẫn không thể giải thích đƣợc vì sao một mô hình nào đó đƣợc phân lớp là một thành viên của một lớp và một mô hình khác đƣợc phân loại là thành viên của một lớp khác. Do đó một tập các luật giải thích cách ANNs giải quyết một vấn đề là điều mà chúng ta mong muốn. Các luật này khiến ANNs với các cạnh có trọng số khó hiểu đƣợc biểu diễn thông qua tập luật và có thể hiểu đƣợc bởi con ngƣời.
Đã có rất nhiều công trình đƣợc xây dựng nhằm biểu diễn các chức năng của ANNs bằng cách rút trích luật từ một ANNs đã đƣợc huấn luyện. Vấn đề chính của công việc hiện tại là họ xác định số lƣợng các nơ ron ẩn một cách thủ công. Do đó độ chính xác trong dự báo và luật đƣợc rút trích từ ANNs đã đƣợc huấn luyện có thể không đƣợc tối ƣu bởi hiệu suất của ANNs phụ thuộc rất nhiều vào kiến trúc của nó. Hơn nữa các luật đƣợc rút trích bởi các thuật toán hiện tại không đơn giản và vẫn còn khó hiểu đối với con ngƣời.
Trong chƣơng này chúng tôi sẽ giới thiệu tổng quan các công trình liên quan đã đƣợc nghiên cứu bao gồm : hƣớng tiếp cận rút trích luật từ mạng nơ ron của các tác giả Towell và Shavlik dựa trên phƣơng pháp tìm kiếm [6] và phƣơng pháp tiếp cận gồm 3 bƣớc cùng một số cải tiến của Rudy Setiono và các cộng sự [1], [4], [5], [9], [16], [21], [24]. Sau cùng là một công trình của S. Kamruzzaman và Md. với giải thuật REANN (Rule Extraction from ANNs) [2] đƣợc cải tiến từ hai công trình trƣớc.
Sau đây ta sẽ đi vào chi tiết vào từng công trình cụ thể. Công trình của Towell và Shavlik Hai phƣơng pháp rút trích luật từ ANN đƣợc mô tả bởi Towell và Shavlik [6]: 9 Phƣơng pháp đầu tiên là thuật toán tập hợp con (subset algorithm), tìm kiếm các tập con bao gồm các cạnh nối đến một đơn vị (unit) có tổng trọng số vƣợt ngƣỡng bias của nút đó. Vấn đề chính gặp phải với giải thuật này là chi phí của việc tìm kiếm tất cả các tập con tăng lên khi kích thƣớc của ANNs tăng lên. Phƣơng pháp thứ hai (còn đƣợc gọi là MofN) là một sự cải tiến của phƣơng pháp tập hợp con đƣợc thiết kế tìm kiếm một cách tƣờng minh các luật có dạng M-of-M từ cơ sở tri thức ANNs.
Nó kiểm tra một nhóm các kết nối (connection) thay vì một kết nối duy nhất trong ANNs để tìm ra sự đóng góp của nó trong sự kích hoạt của node. Điều này đƣợc thực hiện bằng cách phân nhóm các kết nối của ANNs (clustering). Vấn đề gặp phải ở đây là phƣơng pháp MofN sử dụng hàm kích hoạt ngƣỡng, không phải là liên tục và sử dụng một số cố định các nút ẩn dẫn tới việc yêu cầu một số kiến thức đƣợc biết trƣớc khi vấn đề đƣợc xử lí. Công trình của Rudy Setiono và các cộng sự Năm 1995, H.Tan [30] đề xuất một thuật toán đơn giản khá nhanh mang tên X2R có thể đƣợc áp dụng cho cả dữ liệu số và rời rạc cho việc sinh ra các luật.