Chương 1: Các phương pháp mô hình hóa dữ liệu.1 Phương pháp trực quan.1 Quan sát các hoạt động không theo chủ quan Kỹ thuật khai phá dữ liệu trực quan cung cấp cho người khai phá khả năng đầy đủ để quan sát các hoạt động mà không theo định kiến cá nhân nào cả. Điều đó có nghĩa là ta không cần phải biết là cần phải tìm kiếm cái gì trong thời gian sáp tới. Hơn thế, bạn có thể bắt dữ liệu chỉ ra cho bạn thấy cái gì là quan trọng.2 Trực quan và đòi hỏi của nhận thức Có thể sự mở rộng lớn nhất trong việc sử dụng trực quan trong các phương pháp khai phá dữ liệu là phương pháp trực quan cốt để làm nổi bật khả năng nhận thức, kinh nghiệm của con người có thể làm tốt và một số công việc khác lại làm rất tốt. Việc lựa chọn phương pháp nghiên cứu thường phải có sự cân nhắc về kiểu xử lý thông tin mà người đó đòi hỏi trong suất quá trình nghiên cứu.3 Vẽ sơ đồ dữ liệu trên lược đồ trực quan Khi đưa dữ liệu vào trong một môi trường trực quan, bạn phải quyết định làm sao để trình bày dữ liệu theo một kiểu cách có ý nghĩa.
Hoạt động này tập trung vào sử dụng những thuộc tính của các phần tử dữ liệu đã được định nghĩa trong mô hình để xác định làm sao thông tin sẽ được nhìn thấy và cảm nhận. bạn có thể chọn những giải thuật xác định vị trí như gộp nhóm, phân cụm, … 1.2 Phương pháp truyền thống 1.1 Phương pháp thống kê Trong phương pháp này, ta sử dụng những thông tin được thống kê để suy luận và miêu tả xa hơn trong phân tích dữ liệu. Số hóa bởi Trung tâm Học liệu http://www.vn/ Trong hệ thống hỗ trợ quyết định thì việc dùng phương pháp thống kê là rất phổ biến.2 Phương pháp cây quyết định và luật Cây quyết định là công cụ phân tích để khám phá ra các luật và mối quan hệ bằng phương pháp phân tích thống kê phân chi thành các phần nhỏ các thông tin chứa trong tập dữ liệu. Cây quyết định là một mô tả tri thức dạng đơn giản nhằm phân các đối tượng dữ liệu thành một số lóp nhất định.
Các nút của cây được gán nhãn là tên các thuộc tính, các cạnh được gán các giá trị cụ thể các thuộc tính, các lá miêu tả các lớp khác nhau. Các đối tượng được phân lớp theo các đường đi trên cây, các cạnh tương ứng với giá trị các thuộc tính của đối tượng tới lá.3 Các luật kết hợp Những luật kết hợp được dẫn xuất ra từ sự phân tích các thông tin trùng hợp. Phương pháp luật kết hợp này cho phép khám phá những tương quan, hoặc những biến cố trong giao dịch là các sự kiện. Các luật kết hợp là một dạng biểu diễn tri thức, hay chính xác hơn là dạng mẫu của hình thành tri thức.
Phương pháp này nhằm phát hiện ra các luật kết hợp giữa các hình thành phân dữ liệu trong cơ sở dữ liệu. Mẫu đầu ra của giải thuật khai phá dữ liệu là các tập luật kết hợp tìm được.4 Mạng Nơron Mạng nơron là một hệ thống bao gồm rất nhiều phần tử xử lý đơn giản cùng hoạt động song song. Tính năng hoạt động của hệ thống này phụ thuộc vào cấu trúc của hệ thống, vào cường độ liên kết giữa các phần tử trong hệ thống và dựa vào quá trình xử lý bên trong các phần tử đó. Hệ thống này có thể học từ các dữ liệu có khả năng tổng quát hóa các dữ liệu đó.5 Giải thuật di truyền Giải thuật di truyền được phát triển mô phỏng lại hệ thống tiến hóa trong tự nhiên, chính xác hơn đó là giải thuật chỉ ra tập các cá thể được hình Số hóa bởi Trung tâm Học liệu http://www.vn/ thành, được ước lượng và biến đổi như thế nào.
Giải thuật cũng mô phỏng lại yếu tố gen trong nhiễm sắc thể sinh học trên máy tính để có thể giải quyết nhiều bài toán thực tế khác nhau. Giải thuật di truyền dựa trên ba cơ chế cơ bản: Chọn lọc, tương giao chéo và đột biến.3 Phương pháp khác 1.1 Phân nhóm và phân đoạn Phương pháp phân nhóm và phân đoạn là những kỹ thuật phân chia dữ liệu sao cho mỗi phần hoặc một nhóm giống nhau theo một tiêu chuẩn nào đó.2 Phương pháp suy diễn và quy nạp Một cơ sở dữ liệu là một kho thông tin những các thông tin quan trọng hơn cũng có thể được suy diễn từ kho thông tin đó. Có hai kỹ thuật chính để thực hiện việc này là suy diễn và quy nạp. Phương pháp suy diễn: Nhằm rút ra những thông tin là kết quả logic của các thông tin trong cơ sở dữ liệu, dựa trên các quan hệ trong dữ liệu.
Phương pháp quy nạp: Nhằm suy ra các thông tin được sinh ra từ cơ sở dữ liệu.3 Các phương pháp dựa trên mẫu Sử dụng các mẫu miêu tả ừ cơ sơ dữ liệu để tạo nên mọt mô hình dự đoán các mẫu mới dằng cách rút ra các thuộc tính tương tự như các mẫu đã biết trong mo hình. Ở đây, nhiệm vụ chính là phải xác định được độ đo giống nhau giữa các mẫu, sau đó mới rạo ra mẫu dự đoán.[1] Chương 2: Mạng Nơron truyền thẳng và thuật toán lan truyền ngược 2.1 Tổng quan về mạng Nơron 2.1 Lịch sử phát triển Khái niệm mạng nơ-ron được đề xuất nhằm mô tả hoạt động của nơron trong bộ não con người. Ý tưởng này bắt đầu được nêu ra trong mô hình tính toán mạng Perceptron. (Perceptron là một bộ phân loại tuyến tính dành cho Số hóa bởi Trung tâm Học liệu http://www.vn/ việc phân loại dữ liệu xác định bằng các tham số và một hàm đầu ra ) Dưới đây là các mốc trong các nghiên cứu về mạng nơron;[5] Cuối TK 19, đầu TK 20, sự phát triển chủ yếu chỉ là những công việc có sự tham gia của cả ba ngành Vật lý học, Tâm lý học và Thần kinh học, bởi các nhà khoa học như Hermann von Hemholtz, Ernst Mach, Ivan Pavlov.
Các công trình nghiên cứu của họ chủ yếu đi sâu vào các lý thuyết tổng quát về HỌC (Learning), NHÌN (vision) và LẬP LUẬN (conditioning),. và không hề đưa ra những mô hình toán học cụ thể mô tả hoạt động của các nơron. • Mọi chuyện thực sự bắt đầu vào những năm 1940 với công trình của Warren McCulloch và Walter Pitts. Họ chỉ ra rằng về nguyên tắc, mạng của các nơron nhân tạo có thể tính toán bất kỳ một hàm số học hay logic nào! • Tiếp theo hai người là Donald Hebb phát biểu rằng: việc thuyết lập luận cổ điển (classical conditioning) (như Pavlov đưa ra) là hiện thực bởi do các thuộc tính của từng nơron riêng biệt.
Ông cũng nêu ra một phương pháp học của các nơron nhân tạo. • Ứng dụng thực nghiệm đầu tiên của các nơron nhân tạo có được vào cuối những năm 50 cùng với phát minh của mạng nhận thức (perceptron network) và luật học tương ứng bởi Frank Rosenblatt. Mạng này có khả năng nhận dạng các mẫu. Điều này đã mở ra rất nhiều hy vọng cho việc nghiên cứu mạng nơron.
Tuy nhiên nó có hạn chế là chỉ có thể giải quyết một số lớp hữu hạn các bài toán. • Cùng thời gian đó, Bernard Widrow và Ted Hoff đã đưa ra một thuật toán học mới và sử dụng nó để huấn luyện cho các mạng nơron tuyến tính thích nghi, mạng có cấu trúc và chức năng tương tự như mạng của Rosenblatt. Luật học Widrow-Hoff vẫn còn được sử dụng cho đến nay. Số hóa bởi Trung tâm Học liệu http://www.vn/ • Tuy nhiên cả Rosenblatt và Widrow-Hoff đều cùng vấp phải một vấn đề do Marvin Minsky và Seymour Papert phát hiện ra, đó là các mạng nhận thức chỉ có khả năng giải quyết các bài toán khả phân tuyến tính.
Họ cố gắng cải tiến luật học và mạng để có thể vượt qua được hạn chế này nhưng họ đã không thành công trong việc cải tiến luật học để có thể huấn luyện được các mạng có cấu trúc phức tạp hơn. • Do những kết quả của Minsky-Papert nên việc nghiên cứu vềmạng nơron gần như bị đình lại trong suốt một thập kỷ do nguyên nhân là không có được các máy tính đủ mạnh để có thể thực nghiệm. • Mặc dù vậy, cũng có một vài phát kiến quan trọng vào những năm 70. Năm 1972, Teuvo Kohonen và James Anderson độc lập nhau phát triển một loại mạng mới có thể hoạt động như một bộ nhớ.
Stephen Grossberg cũng rất tích cực trong việc khảo sát các mạng tự tổ chức (Self organizing networks). • Vào những năm 80, việc nghiên cứu mạng nơron phát triển rất mạnh mẽ cùng với sự ra đời của PC. Có hai khái niệm mới liên quan đến sự hồi sinh này, đó là: 1. Việc sử dụng các phương pháp thống kê để giải thích hoạt động của một lớp các mạng hồi quy (recurrent networks) có thể được dùng như bộ nhớ liên hợp (associative memory) trong công trình của nhà vật lý học Johh Hopfield.
Sự ra đời của thuật toán lan truyền ngược (back-propagation) để luyện các mạng nhiều lớp được một vài nhà nghiên cứu độc lập tìm ra như: David Rumelhart, James McCelland,. Đó cũng là câu trả lời cho Minsky- Papert. [5] Số hóa bởi Trung tâm Học liệu http://www.2 Khái niệm cơ bản Theo các nhà nghiên cứu sinh học về bộ não, hệ thống thần kinh của con người bao gồm khoảng 100 tỷ tế bào thần kinh, thường gọi là các nơron. Mỗi tế bào nơron gồm ba phần: - Thân nơron với nhân bên trong (gọi là soma), là nơi tiếp nhận hay phát ra các xung động thần kinh.
- Một hệ thống dạng cây các dây thần kinh vào (gọi là dendrite) để đưa tín hiệu tới nhân nơron. Các dây thần kinh vào tạo thành một lưới dày đặc xung quanh thân nơron, chiếm diện tích khoảng 0,25mm2. - Đầu dây thần kinh ra (gọi là sợi trục axon) phân nhánh dạng hình cây, có thể dài từ một cm đến hàng mét. Chúng nối với các dây thần kinh vào hoặc trực tiếp với nhân tế bào của nơron khác thông qua các khớp nối (gọi là synapse).
Thông thường mỗi nơron có thể có từ vài chục cho tới hàng trăm ngàn khớp nối để nới với các nơron khác. Có hai loại khớp nối, khớp nối kích thích (excitatory) sẽ cho tín hiệu qua nó để tới nơron còn khớp nối ức chế (inhibitory) có tác dụng làm cản tín hiệu tới nơron. Người ta ước tính mỗi nơ ron trong bộ não của con người có khoảng 104 khớp nối (Hình 2. Chức năng cơ bản của tế bào nơron là liên kết với nhau để tạo nên hệ thống thần kinh điều khiển hoạt động của cơ thể sống.