chương 1, giới thiệu một cách ngắn gọn về mạng nơr0n và sài l0án phân cụm dữ liệu. chương 2, trình sầy về một số lớp mạng nor0n nhân ‡a0 liên quan đến quá lrình xây dựng mang FbAcII, sa0 gồm lớp mạng truyền thẳng, mạng có nối ngojợc — 5 h0pfield và sộ nhớ kết hợp hai hoJớng (bidirecli0nal Ass0cialive Mem0ry - bAM) chương 3, trình sầy về quá trình xây dựng mạng nơr0n đa khớp nối (FbAcIT) va ứng dụng vàO0 bài l0án phân cụm mờ. chương 4, trình sầy 2 thực nghiệm của FbAcII và FcM ch0 hai lập dữ liệu nổi tiếng đó là lập dữ liệu hình cánh sojớm (buierfly) và lập doy liéu vé 10ai h0a (Iris) DO thời gian nghiên cứu và lrình độ có hạn, luận văn không lránh khỏi có những hạn chế và thiếu sót. Tôi xin đojợc tiếp thu ý kiến sự đánh giá, chỉ sả0 của cac thay giá0 cũng nhọ các sạn sè và đồng nghiệp.
LỜI cẢM ƠN Tôi xin lỏ lòng siết ơn sâu sắc lới thầy giá0 PGS.TSKh bùi công colờng, ngojời hơjớng dẫn kh0a học - ngojời đã chỉ sả0 lận tình và truyền thụ ch0 lôi nguồn cảm hứng nghiên cứu và đola lôi và0 lĩnh vực kh0a học này. Tôi xin sày lỏ lòng siết ơn đến các thầy giá0 tr0ng Đại học công IIghệ - Đại học Quốc gia hà Hội : PGS. hà Quang Thụy, PGS. Trịnh Hhật Tiến, PGS.TS IIguyễn Văn Vị, TS.h0àng Xuân huấn, TS.IIguyễn Đình Việt, TS.bùi Thế Duy, TS.IIguyễn Đại Thọ,.
đã trực liếp giảng dạy tr0ng những năm học qua. cuối cùng lôi xim Bay 46 lòng siết ơn đến gia đình, và các sạn sè đã chia sé, động viên đề lôi h0àn thành luận văn này. học viên Lê Minh h0àng chŒ|ƠIG 1 : GIỚI ThIỆU HhAHh VẺ MẠIG HOƠT0I VÀ bÀI TOATI PhATI cUM DU LIEU 1. các khái niệm chung về mạng nơr0n 1.
Mang nor0n sinh học HãO bộ c0n ngojời là một mạng lojới kh0ảng 10! ‡ế sà0 thần kinh hay còn gọi là nor0n. chúng có cấu lrúc và chức năng loJơng đối đồng nhất. các nhà nghiên cứu sinh học về sộ nã0 c0n ngojời đã đoỊa ra kết luận rằng các nor0n là đơn vị đảm nhiệm những chức năng nhất định lr0ng hệ thần kinh sa0 gồm nã0, luỷ sống và các dây thần kinh.1 chỉ ra cấu 4a0 của hệ thống lế sà0 sinh học này. Sợi trục (axon) Than noron than ki Nhánh hình cây (dendrites) (Synapse) hình 1.1 : cấu lrúc cơ sản của nor0n sinh học cấu lrúc của một nor0n đojợc chia thành 3 phần chính: Phần thân, hệ thống dây thần kinh Hiếp nhận và sợi trục thần kinh ra.
hệ thống dây thần kinh liếp nhận 1ạ0 thành một mạng lojới dày đặc xung quanh thân lế sà0 (chiếm diện tích kh0ảng 0,25 mm’). ching 1a dau va0 dé doa cdc tin hiéu dién đến thân lễ sà0. Thân lế sà0 có nhân sên lr0ng (gọi là s0dy hay s0ma) sẽ lồng hợp các lín hiệu và0 và sẽ làm thay đổi điện thế của sản thân nó. Khi điện thế này vojợ† quá một mức ngojỡng 9 (firing threshOld) thi mhan lế sà0 sẽ kích thích đoỊa một xung điện ra sợi trục thần kinh ra.
Sợi lrục thần 10 kinh ra (gọi là trục ax0n) có thê dài một vài cenimet đến vài mel. Ió có thề phân thành nhiều nhánh lhe0 dạng hình cây để nối với các dây thần kinh va0 của nhiều lế sà0 khác h0ặc có thê nối trực Hiếp đến †hân lế sà0 của duy nhất một nor0m. Việc kết nối này đoiợc thực hiện nhờ các khớp nối (gọi 1a synapse). Số khớp nối của mỗi nơr0n có thê lên lới hàng trăm ngàn.
IIgojời ta lính 104n rang mang lodi dây thần kinh ra và các khớp nối chiếm khOảng 90% diện lích sề mặt nor0n. các fin hiệu điện truyền lrên các sợi dây thần kinh cũng nhot hiệu điện thế của nhân lế pad 1a kết quả của quá lrình phản ứng và giải phóng của các chất hữu cơ đojợc đoỊa ra lừ các khớp nối dẫn đến dây thần kinh và0. Xung điện đoỊa ra sợi trục axŨn sẽ truyền lới các khớp nối với đầu và0 của các nơr0n khác và sẽ kích thích giải phóng các chất truyền điện. Tuỳ †he0 việc lăng hay giảm hiệu điện thế mà ngơjời ta chia thành hai l0ại khớp nối là khớp nối kích thích và khớp nối ức chế.
cojờng độ lín hiệu mà một lế sà0 thần kinh nhận đojợc phụ thuộc chủ yếu và0 mức độ liên kết của khớp nối. các nghiên cứu chỉ ra rang qua trish hoc (learning) cia mạng nơr0n sinh học chính là việc thay đổi mức độ liên kết của các khớp nối. chính cấu lrúc mạng nơr0n và mức độ liên kết của các khớp nói đã lạ0 nên chức năng của hệ thần kinh c0n ngojời. Quá trình phát triển của hệ thần kinh là một quá trình “học” liên lục.
Igay lừ khi chúng †a sinh ra, một số cấu trúc thần kinh đơn giản đã đojợc hình thành. Sau đó các cấu trúc khác lần lojợt đơyợc xây dựng thêm nhờ quá trình hoc. DO đó cấu lrúc mạng nơr0n liên lục siến đôi để ngày càng phát triển h0àn thiện. Một vấn đề đặt ra là dựa trên những kết quả nghiên cứu về hệ thần kinh c0n ngojời chúng †a có thể mô phỏng, xây dựng lên các hệ thần kinh nhân lạ0 nhằm phục vụ ch0 mội chức năng nà0 đó không.
IIghiên cứu lrả lời câu hỏi này đã đoỊa ra m6t hojong phat triển mới: Mạng nor0n nhân la0. Mạng nor0n nhân ta 1. Hoe0n nhân lạ0 Ilor0n nhân taO (Arhficial Ileural) là sự rúi gọn hết sức đơn giản của norÖn sinh học. Hó có thể thực hiện nhờ chơojơng trình máy lính hOặc sằng mạch phần cứng.
Mỗi nor0n thực hiện hai chức năng là chức năng đầu và0 và chức năng kích hOat đầu ra. D0 đó †a có thể c0i mỗi nơr0n nhợi là một đơn vị xử lý (PE: pr0cessing 11 elemen!). Ió đojợc xây dựng mô phỏng †he0 cấu trúc của các nơr0n sinh học. Mỗi nơr0n có một số đầu và0 giống nhọ các dây thần kinh liếp nhận.
các đầu và0 này làm nhiệm vụ liếp nhận thông lin từ các nor0n lhác hOặc từ lập số liệu gốc và0. Tojơng lự nho nor0n sinh học, mỗi đầu và0 của nơr0n nhân ta0 co anh hojong khác nhau đối với lín 12 hiệu ra của nơr0n (còn gọi là kết xuất của nor0n ). Điều này đojợc thực hiện nhờ các hệ số đojợc gán ch0 từng đầu và0, w; là trọng số của đầu và0 †hứ ¡. Giá trị của w¡ có thể dgong hay 4m tojong tự mho việc có hai l0ại khớp nối †r0ng mạng nơr0n sinh học.
Iiếu w¡ có giá trị dojong thi loJơng đojơng với khớp nối kích thích còn nếu w¡ âm †hì lolơng đojơng với khớp nối ức chế. Thân mnơr0n sẽ làm nhiệm vụ lổng hợp các lín hiệu đầu và0 xử lý để đoỊa một tín hiệu ra đầu ra của nơr0n. Quá trình xử lý, nh l0án này sẽ đơjợc đề cập cụ thể ở phần sau. Đầu ra của nor0n nhân ta0 tojong tu mhoy soi truc axOn của nor0n sinh học.
Tín hiệu ra cũng có thể lách ra thành nhiều nhánh the0 cấu trúc hình cây để đoa đến đầu và0 của các nơr0n khác.2 : Hor0n nhân lạ0 1. Mạng noe0n nhân tạ0 các nor0n nhân lạ0 đơyợc lỗ chức thành mạng nor0n nhân lạ0 (Arlificial Heural Ietw0rk). các nơr0n thojờng đojợc sắp xếp †r0ng mạng thành lừng lớp. Đầu ra của mỗi nor0n sẽ đojợc nối đến đầu và0 của một số nơr0n khác †he0 một cầu tric phù hợp.
Tuy nhiên cấu trúc mạng nơr0n nhân †ạ0 chơia thé dat dojo độ phức tap nhơi mạng nor0n sinh học. Mạng nor0n nhân ‡a0 hiện chỉ mới là sự mô phỏng hết sức đơn giản cấu lrúc của mạng nor0n sinh học. Giữa mạng nơr0n nhân †a0 và mạng nơr0n sinh học có 3 điểm chung là 13 ° Mang dojgc xây dựng bang các phần lử lính l0án đơn giản liên kết lại với nhau một cách phức tạp và h0ạ† động †he0 nguyên lắc s0ng s0ng. 14 e_ chức năng của mạng đojợc xác định qua cấu lrúc mạng, quá trình xử lý sên tr0ng các phần tử và mức độ liên kết giữa các phần tử.
e©_ Múc độ liên kết giữa các phần lử đơyợc xác định thông qua quá trình học của mạng ( hay còn gọi là quá trình huấn luyện mạng - /aining). Điểm khác nhau về căn sản giữa mạng nor0n nhân lạ0 và mạng nơr0n sinh học là ở lốc độ lính l0án, độ phức lạp và lính s0ng s0ng. Tuy xét về lốc độ xử lý của các máy lính hiện đại là ca0 hơn rất nhiều s0 với lốc độ xử lý của nã0 sộ cỦn ngojời nhoỊng sộ nã0 lại có thé déng thoi kich hOat 10am sộ các nơr0n đề làm nhiều công việc khác nhau. Điều này mạng nơr0n nhân †ạ0 không thê thực hiện đơjợc.
Với sự phái triển nhanh chóng của kh0a học nhọ hiện nay thi ta cé thể hi vọng sẽ có những soøjớc đột phá mới lr0ng lĩnh vực mô phỏng mạng nor0n sinh học. Kế từ đây, nói đến mạng nor0n là có nghĩa ta dé cập đến mạng nơr0n nhân lạ0 1. Mô hình l0án học và kiến trúc mạng nor0n 1. Mô hình Hán học của mạng nor0n 1.
Mô hình l0án học da một noe0n nhân lạ0 Dựa trên những kiến thức cơ sản về nơr0n nhân ‡ạ0 nhơi đã trình sày ở phần trên, †a có thể xây dựng một mô hình l0án học của nơr0n nhân 1a0 nhơi hình vẽ 1.3 dojới đây: b (bias) hình 1.3: Mô hình Ián học mạng nor0n nhân 1a0 15 cac tin hiéu va0 ( con gọi là mau va0) pi G=1.T) dojgc doa tới đầu và0 của nơr0n S lạ0 thành ma trận lín hiệu và0 P. Mỗi đầu và0 của nor0n S sẽ có một trong sé ki hiệu là ws¡ (=1.T) và các trọng số này †ạ0 thành một ma trận trọng số đầu và0 W. Mức ngojỡng 9 của nơr0n có thể đojợc siêu diễn lr0ng mô hình 10án học bằng hệ số bias b (gọi là thé hiéu dich). Tho, vay tim hiéu va0 1A tne: sé doyge lính †he0 công thức sau: HuyW, 0W, 20;+.1) Viết doi dang ma trận sẽ là: Hạ =WP+b (2.2) net Xem các siêu thức lrên thi †a có thê c0i hệ số sias nhơi trong số cua mét dau vad vi tin hiéu pang 1.
có một số l0ại nor0n có thê sỏ qua hệ số bias này. hàm kích h0Oại (acHvaliOn funcHOn) hay còn gọi là hàm truyền (transfer funci0n) đojợc kí hiệu là f sẽ siến đổi lín hiệu đầu và0 n„a thành tín hiệu đầu ra nơr0n a. Ta có siểu thức: a=ƒf{nua )Ef[WP+b) (2.3) Théng thojong thì hàm kích h0ạ† sẽ đojợc chọn sởi ngojời thiết kế tuỳ †he0 mục đích của mạng. các lrọng số và hệ số sias là các thông số điều chỉnh đơiợc của mạng nơr0n.
chúng đơiợc điều chỉnh sởi một số luật học (learning rule).