*16

چکیده:
همگام با پیشرفت تکنولوژی نیاز به سیستم های بازشناسی به هنگام چهره به طور فزاینده ای رو به گسترش می باشد. این امر کلاسه‌بندی‌های متعارف و معمول در زمینه بازشناسی چهره را با چالشهایی مواجه ساخته است. زمان آموزش طولانی، پیکربندی و ساختار ثابت کلاسه بندی های موجود و عدم وجود توانایی در یادگیری نمونه های جدید بدون فراموش کردن نمونه های قبلی، از اهم این موارد می باشد. ایده استفاده از شبکه های عصبی مبتنی بر الگوریتم رزونانس تطبیقی می تواند این چالشها را تا حد زیادی مرتفع کند. این برتری ها به دلیل خصوصیات ذاتی و پویاییهای این نوع از شبکه های عصبی می باشد. نتایج شبیه سازی‌ها حکایت از برتری نسبی اما کمرنگ صحت کلاسه بندی در شبکه های عصبی پرسپترون چند لایه، نسبت به شبکه های عصبی مذکور دارند. سرعت یادگیری در شبکه های مذکور بسیار بیشتر از پرسپترون چند لایه بوده و تنظیم پارامترهای آن بسیار ساده تر می باشد. انتخاب پارامتر مراقبت به عنوان مهمترین پارامتر شبکه های مذکور، تقریباً در نیمی از بازه مجاز آن، عملکرد بهینه شبکه را تضمین می کند. همچنین انتخاب ویژگی های موثر با استفاده از الگوریتم ژنتیک و شبکه های عصبی مبتنی بر الگوریتم رزونانس تطبیقی، درصد صحت کلاسه بندی را به طور قابل توجهی افزایش داده است.
«فهرست مطالب»
TOC o “1-3” h z u چکیده:پیشگفتار: PAGEREF _Toc275631210 h 1فصل اول: کلیات
1-1- مقدمه PAGEREF _Toc275631211 h 51-2- بازشناسی چهره PAGEREF _Toc275631212 h 51-2-1- تعبیر ومفهوم بردارچهره PAGEREF _Toc275631213 h 61-2-2- مفهوم فضای چهره‌ PAGEREF _Toc275631215 h 71-2-3- صورت های ویژه PAGEREF _Toc275631217 h 81-2-4- مولفه های اساسی یک مجموعه PAGEREF _Toc275631220 h 91-2-5 روند کلی بازشناسی چهره با استفاده از مولفه های اساسی PAGEREF _Toc275631221 h 101-3- بررسی برخی چالشهای موجود PAGEREF _Toc275631222 h 111-3-1- زمان آموزش PAGEREF _Toc275631223 h 121-3-2- پیکربندی ثابت و غیر قابل تغییر در اکثر طبقه بندها PAGEREF _Toc275631224 h 121-3-3- دشواری تنظیم پارامترهای ذاتی در کلاسه بندی های متداول‌ PAGEREF _Toc275631225 h 131-3-4- افزایش پیچیدگی شبکه با افزایش تعداد نمونه های آموزش‌ PAGEREF _Toc275631226 h 131-4- استفاده از شبکه های عصبی مبتنی برالگوریتم رزونانس تطبیقی‌به‌عنوان راهکارپیشنهادی PAGEREF _Toc275631227 h 141-5- جمع بندی و خلاصه فصل PAGEREF _Toc275631228 h 15فصل دوم: بررسی الگوریتم و ساختار شبکه های عصبی مبتنی بر Fuzzy ARTMAP و مروری بر کارهای گذشته
2-1- مقدمه PAGEREF _Toc275631229 h 172-2- پیکربندی و الگوریتم شبکه ART MAP Fuzzy PAGEREF _Toc275631230 h 202-3- پیشرفت های اخیر در زمینه شبکه های عصبی بر اساس FAM PAGEREF _Toc275631235 h 272-3-1- اصلاحات و بهینه سازی FAM PAGEREF _Toc275631236 h 282-3-2- الگوریتم های جدید بر اساس FAM PAGEREF _Toc275631237 h 352-4- کاربردهای پیشرفته شبکه های عصبی مبتنی بر FAM PAGEREF _Toc275631238 h 452-5- جمع بندی و خلاصه فصل51
فصل سوم: آزمایش های انجام شده، نتایج شبیه سازیها و بحث و بررسی بر روی آنها
3-1- مقدمه PAGEREF _Toc275631246 h 533-2- معرفی بانک چهره مورد استفاده در پایان نامه‌ PAGEREF _Toc275631247 h 533-3- مختصری راجع به شبکه عصبی SFAM PAGEREF _Toc275631250 h 553-4- پیش پردازش و آماده سازی تصاویر PAGEREF _Toc275631252 h 573-5- استخراج مشخصه PAGEREF _Toc275631253 h 573-6- مشخصات داده ها و شرایط استفاده شده در آزمایشات مرحله اول PAGEREF _Toc275631254 h 583-6-1- تجزیه و تحلیل نتایج شبیه سازیها (سری اول آزمایشات) PAGEREF _Toc275631258 h 603-7- مشخصات داده ها و شرایط آزمایشهای مرحله دوم PAGEREF _Toc275631259 h 613-7-1- نتایج شبیه سازیها با استفاده از شبکه عصبی SFAM (سری دوم آزمایشات) PAGEREF _Toc275631260 h 623-7-2- تجزیه و تحلیل نتایج شبیه سازیها با استفاده از SFAM (سری دوم آزمایشات) PAGEREF _Toc275631263 h 653-7-3- نتایج شبیه سازیها با استفاده از شبکه عصبی MLP PAGEREF _Toc275631264 h 653-7-4- تجزیه و تحلیل نتایج شبیه سازیها با استفاده از شبکه عصبی MLP PAGEREF _Toc275631268 h 683-7-5- مقایسه کلی عملکرد شبکه های عصبی MLP و SFAM PAGEREF _Toc275631269 h 693-8- مشخصات داده ها و شرایط آزمایش های سری سوم PAGEREF _Toc275631270 h 703-9- مروری اجمالی بر الگوریتم ژنتیک PAGEREF _Toc275631271 h 713-9-1- بعضی از اصطلاحات الگوریتم ژنتیک PAGEREF _Toc275631272 h 723-9-2- نحوه عملکرد الگوریتم ژنتیک: PAGEREF _Toc275631273 h 733-9-3- روند انتخاب ویژگی های مؤثر با استفاده از الگوریتم ژنتیک و SFAM PAGEREF _Toc275631274 h 743-9-4- نتایج شبیه سازیها (سری سوم آزمایشات) PAGEREF _Toc275631275 h 753-9-5– تجزیه و تحلیل نتایج حاصل از آزمایش های سری سوم PAGEREF _Toc275631279 h 793-10-جمع بندی و خلاصه فصل PAGEREF _Toc275631280 h 80فصل چهارم: نتیجه گیری کلی و ارائه پیشنهاداتی برای ادامه تحقیقات
4-1- جمع بندی و نتیجه گیری82
4-2 پیشنهاداتی برای ادامه روند پژوهش83
مراجع 85

فهرست اشکال
شکل 1-1 روش بردار سازی تصاویر7
شکل 1-2 یک فضای دو بعدی به همراه دو مولفه اساسی مجموعه نمونه ها. P1 و P2 دو بردار مولفه اساسی می باشند8
شکل 1-3 برخی از صورت های ویژه پایگاه داده ORL9
شکل 1-4- بازنمایی یک چهره توسط چهره های ویژه. مجموعه ضرایب، بردار ویژگی چهره را مشخص می نماید9
شکل 2-1: شمای کلی ماژول ART: ورودی تحت کدگذاری مکمل وارد می شود و نودهای لایه F2 همان خوشه های شبکه هستند23
شکل 2-2- فلوچارت کلی ماژول ART24
شکل 2-3- پیکربندی کلی شبکه عصبی Fuzzy ART MAP27
شکل 2-4 میانگین ( انحراف معیار) درصد صحیح کلاسه بندی برای داده های آموزش و آزمایش با استفاده از FAM، جهت کلاسه بندی سیگنالهای سندرم Down با استفاده از استراتژی میانگین گیری برای مقادیر افزایشی پارامتر مراقبت با متد آموزش تک تکراری47
شکل 2-5 میانگین ( انحراف معیار) درصد صحیح کلاسه بندی برای داده های آموزش، آزمایش و ارزیابی با استفاده از FAM، جهت کلاسه بندی سیگنالهای سندرم Down با استفاده از استراتژی میانگین گیری، برای مقادیرمختلف پارامتر مراقبتبا متدآموزش همراه با ارزیابی49
شکل 2-6 میانگین ( انحراف معیار) درصد صحیح کلاسه بندی برای داده های آموزش و آزمایش با استفاده از FAM، جهت کلاسه بندی سیگنالهای سندرم Down با استفاده از استراتژی میانگین گیری، برای مقادیر مختلف پارامتر مراقبت با متد آموزش همراه با آموزش کامل 50
شکل 3-1 تصاویر بانک چهره ORL، 10تصویر برای هر یک از 40 نفر54
شکل 3-2- ساختار SFAM – ورودی به لایه F0 اعمال می شود و درF1 کدگذاری مکمل انجام شده و بعد ورودی دو برابر می شود56
شکل 3-3- درصد صحت کلاسه بندی داده های آموزش ( انحراف معیار) در SFAM به ازای مقادیر مختلف پارامتر مراقبت با استفاده از متد آموزش تک تکراری و استراتژی میانگین گیری59
شکل 3-4- تعداد نودها (خوشه ها)ی تشکیل شده در ماژول Fuzzy ART در شبکه عصبی SFAM، به ازای مقادیر مختلف پارامتر مراقبت و استفاده از متد آموزش تک تکراری و استراتژی میانگین گیری59
شکل 3-5- زمان مورد نیاز برای آموزش شبکه عصبی SFAM به ازای مقادیر مختلف پارامتر مراقبت و استفاده از متد آموزش تک تکراری و استراتژی میانگین گیری60
شکل 3-6 صحت کلاسه بندی الگوریتم های مختلف پس انتشار خطا به عقب برای شبکه عصبی MLP و دو حالت آموزش سریع و آهسته برای SFAM به ازای تعداد نمونه های آموزش مختلف68
فهرست جداول
جدول 3-1- نتایج شبیه سازیها با استفاده از شبکه عصبی SFAM در مود آموزشی تک تکراری با استفاده از استراتژی میانگین گیری63
جدول 3-2: نتایج شبیه سازیها با استفاده از SFAM درحالت آموزش آهسته با استفاده از استراتژی میانگین گیری64
جدول 3-3- نتایج شبیه سازیها با استفاده از شبکه عصبی MLP و به کارگیری چهار الگوریتم معروف پس انتشار خطا به عقب67
جدول 3-4: نتایج حاصله از انتخاب ویژگی های موثر با استفاده از الگوریتم ژنتیک و شبکه عصبی SFAM به ازای داده هایی با 2 نمونه برای آموزش76
جدول 3-5: نتایج حاصله از انتخاب ویژگی های موثر با استفاده از الگوریتم ژنتیک و شبکه عصبی SFAM به ازای داده هایی با 4 نمونه برای آموزش77
جدول 3-6: نتایج حاصله از انتخاب ویژگی های موثر با استفاده از الگوریتم ژنتیک و شبکه عصبی SFAM به ازای داده هایی با 6 نمونه برای آموزش78
پیشگفتار:
یکی از مسائل قدیمی و چالش برانگیز در زمینه هوش مصنوعی، موضوع بازشناسی چهره می باشد. قدمت تحقیقات در این زمینه مربوط به دهه هفتاد میلادی می باشد.علیرغم تحقیقات فراوانی که در حواشی این مسئله صورت گرفته، همواره عرصه های تازه و بکر برای پژوهش وجود داشته است. در حال حاضر محققین با زمینه های کاری کاملاً متفاوت اعم از روانشناسی، بازشناسی الگو،شبکه های عصبی، بینایی ماشین و گرافیک، با انگیزه های متفاوت در این رابطه فعالیت می کنند. در پایان نامه حاضر پس از طرح یک سری چالشهای موجود در زمینه بازشناسی چهره با رویکردی مبتنی بر بکارگیری دسته ای خاص از شبکه های عصبی مصنوعی به عنوان کلاسه بند، سعی شده چالشهای مذکور تا حد امکان مرتفع شود.
اکثر کلاسه بندی های مدرن الگو، نظیر شبکه های عصبی پرسپترون چند لایه و ماشین بردارهای پشتیبان در فاز آموزش عموماً نیاز به صرف بازه های زمانی طولانی داشته و همچنین بار محاسباتی سنگینی به سیستم تحمیل می کنند. امروزه در بسیاری از موارد، بخصوص در سیستم های امنیتی مدرن فرودگاه ها، ترمینالها و غیره، رویکردهای مبتنی بر تشخیص و بازشناسی به هنگام چهره، به شکل فزاینده ای رو به گسترش می باشد. بنابراین نیاز به طبقه بندی های سریع و دقیق با بار محاسباتی و الگوریتمی پایین برای چنین کاربردهایی اجتناب ناپذیر می باشد. بعلاوه در چنین سیستم هایی علاوه بر اینکه یادگیری اولیه بر روی دسته ای از داده ها به صورت یکجا انجام می شود، نیاز به نوعی یادگیری افزایشی نیز وجوددارد تا علاوه بر یادگیری فضای نمونه های اولیه، تغییرات و پویاییهای فضای نمونه ها نیز، برای کلاسه بند، قابل یادگیری بوده و قابلیت رشد و ارتقاء آموزش برای سیستم فراهم می باشد. برای مثال یک سیستم بازشناسی چهره در یک فرودگاه بین المللی را در نظر بگیرید که در ابتدا برای تشخیص هویت یک سری از افراد خاص با سابقه جرایم تروریستی، آموزش دیده است. آنچه واضح است با گذشت زمان مشخصه های چهره افراد ثابت نمانده و همچنین بازشناسی چهره مجرمین جدید نیز اجتناب ناپذیر می نماید. به دلایل ذکر شده، سیستم بازشناسی بایستی بدون فراموش کردن نمونه هایی که قبلاً دیده است، قابلیت به روزرسانی یادگیری و بازشناسی چهره های جدید را نیز داشته باشد.
در این پایان نامه سعی شده با بررسی مزایای ذاتی نوع خاصی از شبکه های عصبی مصنوعی مبتنی بر الگوریتم رزونانس تطبیقی و استفاده از آنها بعنوان کلاسه بند در بازشناسی چهره، چالشهای مذکور تا حدی مرتفع شود. همچنین با استفاده از الگوریتم های تکاملی نظیر الگوریتم ژنتیک و شبکه های مذکور، روشی کارا جهت انتخاب ویژگیهای مؤثر چهره در بازشناسی، پیشنهاد شده است.
اهداف کلی این پروسه تحقیقاتی به شرح ذیل می باشد:
استفاده از شبکه های عصبی مصنوعی مبتنی بر الگوریتم رزونانس تطبیقی در بازشناسی چهره با توجه به مزایای ذاتی این نوع شبکه هااصلاح یک سری چالشهای خاص در حیطه بازشناسی چهره با استفاده از این ویژگیها
مقایسه کارایی شبکه های مذکور با شبکه های عصبی پرسپترون چند لایه در بازشناسی چهره.
ارائه روشی جدید برای انتخاب ویژگیهای مؤثر در بازشناسی چهره با استفاده از شبکه های عصبی مبتنی بر الگوریتم رزونانس تطبیقی و الگوریتم ژنتیک
ارائه پیشنهاداتی برای ادامه کار با توجه به پتانسیل ها و دینامیک های ذاتی این نوع شبکه ها.
پایان نامه حاضر دارای چهار فصل می باشد. در فصل اول کلیاتی از روشهای بازشناسی چهره بیان شده و در ادامه به بحث راجع به یک سری چالشها در کلاسه بندی‌های پرکاربرد در حیطه بازشناسی چهره پرداخته شده است. در ادامه با بیان مختصر و اجمالی تعدادی از خصوصیات ذاتی شبکه های عصبی مبتنی بر الگوریتم رزونانس تطبیقی، مزایای احتمالی آنها در رفع چالشهای موجود بیان شده است. در فصل دوم، تاریخچه، الگوریتم، پیکربندی و انواع مختلف شبکه های عصبی مبتنی بر الگوریتم رزونانس تطبیقی به تفصیل بیان شده است. همچنین به یک سری از کاربردهای پیشین این شبکه ها به صورت خلاصه و تیتروار اشاره شده است. فصل سوم اختصاص به نتایج آزمایشات و شبیه سازیهای انجام شده دارد. آزمایشها در سه دسته مجزا انجام شده اند. در فصل چهارم که فصل نهایی می باشد،‌کلیه مطالب بیان شده جمع بندی شده و پیشنهاداتی جهت ادامه روند پژوهشی دراین زمینه ارائه شده است.

فصـل اول
کلیات
1-1- مقدمهدر این بخش پس از طرح کلیاتی از مسئله بازشناسی چهره، با تمرکز بر مسئله طبقه بندها به بیان برخی چالشهای موجود در این زمینه پرداخته شده است. در ادامه با برشمردن یک سری مزایای ذاتی شبکه های عصبی مبتنی بر الگوریتم رزونانس تطبیقی، ایده کاربرد آنها در بازشناسی چهره، جهت رفع نقایص موجود مطرح و در انتها جمع بندی مطالب فصل ارائه شده است.
1-2- بازشناسی چهره
بازشناسی چهره در یک جمله بدین صورت تعریف می شود: اخذ تصویر چهره و شناسایی آن با توجه به نمونه‌هایی که قبلاً به سیستم آموزش داده شده است. تحقیقات در زمینه بازشناسی چهره دارای قدمتی در حدود نیم قرن می باشد. هر ساله تعداد مقالات علمی که در این زمینه منتشر می شود، افزایش یافته و هر یک سعی در ارائه روشی بادرصد صحت کلاسه بندی بالاتر دارند. از آنجا که این موضوع با رشته های علمی فراوانی ارتباط دارد، محققین با دیدگاهها و انگیزه های گوناگون، از جمله روانشناسان، متخصصان در زمینه‌های بازشناسی الگو، شبکه های عصبی، بینایی ماشین و … به آن علاقه فراوان نشان می دهند.
مطالعات ابتدایی دراین زمینه مربوط به کارهای روانشناسان دردهه 1950 میلادی است. تحقیقات فنی و مهندسی در این باب یک دهه بعد، آغاز شد. اما ایده بازشناسی خودکار چهره توسط ماشین در دهه 1970 میلادی توسط کاناده و کلی مطرح گردید [53]. در سالهای نخست تحقیقات صورت گرفته با استفاده از تصاویر دوبعدی بوده است. اخیراً با پیشرفت تکنولوژی امکان تصویربرداری سه بعدی نیز فراهم شده و زمینه تحقیقات گسترده ای را گشوده شده است.
به طور کلی روشهای بازشناسی چهره را می توان به سه دسته تقسیم نمود:
الف) روشهای مبتنی بر ویژگیهای محلی
در این روشها عناصر محلی مانندچشم، دهان، بینی و … استخراج شده، خواص هندسی و موقعیت آنها نسبت به یکدیگر به عنوان ویژگی به سیستم شناسایی اعمال می شود [54].
ب) روشهای کل نگر
در این دست از متدها از اطلاعات کل تصویر چهره استفاده می شود. برای استخراج ویژگیهای تفکیک کننده چهره افراد مختلف، تکنیکهای آماری به کار برده می شوند. برخی از معروفترین و کارآمدترین این روشها به قرار ذیل می باشند:
روش آنالیز مولفه های اساسی [56 و 55]
روش آنالیز مؤلفه های مستقل [57 و 55]
روش آنالیز تفکیک کننده خطی [58 و 55]
ج) روش‌های هیبرید
این روشها بیشترین شباهت را به سیستم ادراک انسانی داشته و به شکل ترکیبی از دو روش پیشین می باشند. نتایج تحقیقات عملکرد بهتر این روش نسبت به دو روش قبل را نشان داده است [59].
از آنجا که در این پایان نامه از روش آنالیز مؤلفه های اساسی، استفاده شده، درادامه با تفصیل بیشتری مورد بررسی قرار گرفته است.
1-2-1- تعبیر ومفهوم بردارچهره [60]
تصویر دو بعدی چهره را می توان به صورت یک بردار یک بعدی در نظر گرفت. اگر عرض وطول تصویر به صورت h و w در نظر گرفته شود، این بردار دارای h×w مولفه خواهد بود. چگونگی انجام این کار در شکل 1-1 نشان داده شده است.

شکل 1-1-روش برداری سازی تصویر [Rom 1999]1-2-2- مفهوم فضای چهره‌بردار چهره معرفی شده در 1-2-1 را می توان به صورت یک نقطه در فضای h ×w بعدی در نظر گرفت که این فضا ، فضای تصویر نامیده می شود. از آنجایی که ساختار چهره ها به لحاظ کلی شبیه به یکدیگر می باشند، تمامی چهره ها منحصر به ناحیه ای محدود در این فضای خواهند شد. بنابراین فضای مذکور، یک فضای بهینه جهت توصیف افتراق چهره ها نمی باشد. در این جا هدف ایجاد یک فضای جدید به صورتی است که بتواند با ابعاد کمتر و به صورت موثرتر این کار را انجام دهد (فضای چهره). تفاوت روش های مختلف مبتنی بر ظاهر، در چگونگی ایجاد فضای چهره می باشد. در PCA ، بردارهای پایه در فضای چهره باید طوری انتخاب شوند که در صورت تصویر شدن نمونه ها بر بردارهای پایه، تفاوت نمونه ها بیشینه گردد.این بردارهای پایه در فضای چهره، مولفه‌های اساسی نامیده می شوند. در شکل 1-2 یک نمونه از فضای دو بعدی به همراه مولفه های اساسی آن نشان داده شده است.

شکل 1-2 یک فضای دو بعدی به همراه دو مولفه اساسی مجموعه نمونه ها. P1 و P2 دو بردار مولفه اساسی می باشند. [Rom 1999]1-2-3- صورت های ویژه
در صورت وجود مجموعه ای از چهره ها، اگر مولفه های اساسی این مجموعه را به دست آوریم، از آنجا که ابعاد این مولفه ها با تصویر اصلی یکسان می باشد، به فرم تصویری، قابل نمایش می باشند. لذا به هر کدام از این مولفه ها یک صورت ویژه گفته می شود. در شکل 1-3 تعدادی از این صورت های ویژه، مربوط به مجموعه چهره های پایگاه داده ORL ،‌ نمایش داده شده است.

شکل 1-3- برخی از صورت های ویژه پایگاه داده ORLدر صورت تصویر کردن هر یک از نمونه های چهره بر صورت های ویژه،‌ تعدادی ضریب بدست می آید. این ضرایب، بردار خصوصیت آن چهره را می سازد (شکل 1-4).

شکل 1-4- باز نمایی چهره توسط چهره های ویژه و مجموعه ضرایب(بردار ویژگی چهره). [Rom 1999]1-2-4- مولفه های اساسی یک مجموعه
از آنجا که در فضای تصویر، هر پیکسل به پیکسل های دیگر بستگی شدید دارد،فضای تصویر به شدت دچار افزونگی است. (رابطه 1-1)
(1-1)
در رابطه 1-1، بیانگر کواریانس میان پیکسل iام و jام می باشد. لذا ساختن یک فضای جدید به صورتی که مولفه های آن از همدیگر مستقل باشند، اجتناب ناپذیر مینماید. بدین شکل که باید ماتریس کواریانس رابطه 2-1 قطری شود. این بدان مفهوم است که شباهت هر مولفه (پایه فضای جدید) با خودش بیشینه و با مولفه های دیگر صفر گردد.با محاسبه بردارهای ویژه متناظر با ماتریس کواریانس ، این مقصود حاصل می شود. بردارهای ویژه از طریق روش های جبری قابل محاسبه می باشند.
(1-2)
در رابطه 1-2، C ماتریس کواریانس، بردارهای ویژه و مقادیر ویژه متناظر با C می باشند.
1-2-5 روند کلی بازشناسی چهره با استفاده از مولفه های اساسی
منظور از اعمال PCA کاهش ابعاد فضای ویژگی است. با مولفه های اساسی بدست آمده از اعمال PCA بر روی یک مجموعه داده، فضای جدیدی ایجاد می شود که دارای ابعادی برابر با ابعادفضای اولیه است. خاصیت PCA این است که بردارهای فضای جدید را در راستای بیشترین اختلاف، انتخاب می کند. بنابراین چنانچه تنها تعدادی از مولفه های اساسی که متناظر با بزرگترین مقادیر ویژه هستند، برای نمایش فضای جدید استفاده شوند، می توانیم تا حد زیادی مطمئن باشیم که اطلاعات تفکیک پذیری نمونه ها حفظ شده است. چنانچه بخواهیم یک روند کلی را جهت بازشناسی چهره با استفاده از مولفه های اساسی بیان نماییم، به صورت ذیل خواهد بود:
تبدیل n نمونه آموزشی w.h بعدی به یک ماتریس بعدی.
محاسبه ماتریس کواریانس X.
(1-3)
محاسبه بردارهای ویژه و مقادیر ویژه ماتریس کواریانس.
(1-4)
(1-5)
چیدمان بردارهای ویژه بر اساس مقادیر ویژه A، به صورت نزولی و انتخاب چند بردار اول به عنوان مولفه های پایه فضای جدید.
تصویر کردن نمونه های آموزشی و آزمایشی بر روی پایه های فضای جدید و در نظر گرفتن ضرایب آنها به عنوان بردار ویژگی نمونه ها .
انتخاب یک معیار مناسب جهت یافتن نزدیک ترین نمونه آموزشی به هر نمونه آزمایشی دیگر در فضای جدید.
1-3- بررسی برخی چالشهای موجودتلاش اکثر محققین در زمینه بازشناسی چهره بر ارائه روشهای جدید، جهت افزایش نرخ بازشناسی در آزمایشات، استوار بوده است. امروزه با پیشرفت تکنولوژی و از جمله در سیستم های تشخیص هویت، موضوع بازشناسی چهره به یک امر امنیتی تبدیل شده و جایگاه خود را بین سیستم های امنیتی به هنگام، باز کرده است.
همگام با افزایش کاربردهای به هنگام بازشناسی چهره، معیارهای برتری و تفوق روشهای مختلف بازشناسی بر یکدیگر نیز دچار تغییر و تحول شده است. یک سیستم بازشناسی به هنگام موفق، صرفاً به سیستمی با بالاترین نرخ بازشناسی اطلاق نمی شود. معیارهایی نظیر زمان آموزش، قابلیت تعقیب پویایی های فضای ویژگی، وجود قابلیت رشد در سیستم یادگیرنده، عدم حساسیت بالای کارایی سیستم به تنظیم دقیق پارامترهای آن و به عبارت بهتر راحتی استفاده بهینه از سیستم توسط کاربر از جمله مواردی هستند که علاوه بر نرخ بازشناسی بالا باید مورد توجه قرار گیرند.
همانطور که می دانیم روال بازشناسی چهره به طور کلی از سه بخش اساسی تشکیل شده است که عبارتند از: اخذ تصاویر چهره، استخراج ویژگیهای تصویر چهره و طبقه بندی یا کلاسه بندی چهره ها با استفاده از ویژگیهای آنها. تمرکز ما در این پایان نامه بیشتر بر موضوع طبقه بندها بوده و سعی شده چالشهای بیان شده در این حیطه مرتفع شوند. ذیلاً به تفصیل راجع به این چالشها بحث شده است.
1-3-1- زمان آموزش
اکثر کلاسه بندی های پرکابرد مانند شبکه های عصبی پرسپترون چند لایه و ماشین بردارهای پشتیبان جهت یادگیری کامل فضای ویژگیها و رسیدن به عملکرد بهینه خود، نیازمند صرف زمانهای طولانی و تحمیل بار محاسباتی و الگوریتمی سنگین بر سیستم می‌باشند. شبکه های عصبی پرسپترون چند لایه جهت رسیدن به پایین ترین خطا در خروجی نیازمند تعداد تکرارهای زیاد در فاز آموزش می باشند. در صورتی که در کاربردهای به هنگام به طبقه بندی های سریع و دقیقی نیاز داریم که با تعداد تکرارهای محدود و در کمترین زمان ممکن به عملکرد مطلوب خود برسند.
1-3-2- پیکربندی ثابت و غیر قابل تغییر در اکثر طبقه بندهادر بیشتر طبقه بندها وقتی پارامترهای مربوطه تنظیم شده و فاز آموزش طی شده باشد، کلاسه بند به یک حالت ایستا رسیده و چنانچه تغییرات جدیدی در فضای ویژگیها رخ دهد و یا اینکه تعدادنمونه ها بیشتر شوند و یا حتی کلاس جدیدی اضافه شود، سیستم برای انطباق و یادگیری فضای جدید باید مجدداً به صورت کامل آموزش دیده و پارامترهای بهینه طبقه بند تغییر کند. در صورتی که در بسیاری از کاربردهای به هنگام، علاوه بر یادگیری اولیه روی داده های آموزش، نیاز به نوعی قابلیت با عنوان یادگیری افزایشی وجوددارد. این بدان جهت است که سیستم بتواند داده های جدید و پویاییهای فضای ویژگی را که به مرور زمان واقع می‌شوند، بدون فراموش کردن هر گونه اطلاعاتی راجع به یادگیری‌های اولیه خود، به خوبی فرا گرفته و نیاز به بازآموزی و تنظیم مجدد پارامترهای آن وجود نداشته باشد.
1-3-3- دشواری تنظیم پارامترهای ذاتی در کلاسه بندی های متداول‌معمولاً تنظیم پارامترها برای رسیدن به عملکرد بهینه سیستم در اکثر طبقه بندها، امر نسبتاً دشواری است. این دشواری از آن روست که عملکرد و خروجی طبقه بند به شدت وابسته به تنظیم دقیق این پارامترها می باشد. به عنوان مثال برای این پارامترها در شبکه های عصبی پرسپترون چند لایه، می توان به تعداد لایه ها و سایز هر لایه اشاره کرد. این دشواری در این مورد از آنجا ناشی می شود که مقادیر مجاز پارامترها در محدوده وسیعی قابل تغییر بوده و تنها در بازه ای کوچک یا دقیقاً در مقدار مشخصی عملکرد بهینه را در پی دارد. با این تفاسیر طراحی طبقه بندها و یافتن پارامترهای بهینه آنها مستلزم صرف وقت و آزمایشهای متنوع و فراوان می باشد.
1-3-4- افزایش پیچیدگی شبکه با افزایش تعداد نمونه های آموزش‌در شبکه های عصبی پرسپترون چند لایه یکی از پارامترهای طبقه بند، سایز یا تعداد گره‌های هر لایه از شبکه می‌باشد. اکثر مسایل طبقه بندی با استفاده از یک شبکه عصبی پرسپترون سه لایه (تک لایه مخفی) قابل حل هستند. اما سایز لایه مخفی شبکه که عملکرد بهینه را تضمین می کند به تعداد نمونه هایی که برای آموزش اختصاص می یابند بستگی شدید دارد. به عبارت دیگر باافزایش تعداد نمونه های آموزش برای هر کلاس، شبکه نیاز به تعداد بیشتری از گره های مخفی جهت تقریب زدن صحیح فضای ویژگی، پیدا می کند. این بدان علت است که با افزایش تعداد نمونه های آموزش، فضای ویژگی دقیق تر شده و پیچیدگی های ذاتی آن دقیق تر نمود پیدا می کند.
افزایش تعدادگره های لایه میانی بر اثر افزایش نمونه های آموزش، به معنی افزایش حجم شبکه و تحمیل بار محاسباتی بیشتری بر سیستم می‌باشد. علاوه بر این زمان آموزش نیز به شکل فزاینده ای افزایش می یابد.
در سیستم های به هنگام، از این جهت که مرتباً نمونه های جدید، دیده شده و یادگیری افزایشی هم وجود دارد، به علت محدود بودن حافظه سیستم، افزایش حجم و توسعه پیکربندی شبکه نباید روند افزایشی شدیدی داشته باشد.
1-4- استفاده از شبکه های عصبی مبتنی بر الگوریتم رزونانس تطبیقی به عنوان راهکار پیشنهادیمواردی که به آنها اشاره شد، برخی ازچالشهایی بود که با به هنگام شدن سیستم های بازشناسی چهره در سالیان اخیر، نمود بیشتری یافته و تلاش جهت رفع آنها اجتناب ناپذیر می نماید. در این پایان نامه با استفاده از دسته ای خاص از شبکه های عصبی که مبتنی بر الگوریتم رزونانس تطبیقی می باشند و استفاده از آنها به عنوان کلاسه بند در بازشناسی چهره، سعی شده نقایص مذکور رفع شده یا بهبود یابند.
ویژگیهای ذاتی این نوع شبکه ها که از این به بعد از آنها با عنوان اختصاری ART و یا ARTMAP، نام برده می شود، به شرح ذیل می باشند.
یادگیری بر اساس تطابق نمونه های جدید با نمونه های دیده شده
در اکثر طبقه بندها الگوریتم آموزش بر اساس نوعی اصلاح خطا در خروجی بوده و الگوریتم سعی در کم کردن فاصله بین خروجی مطلوب و خروجی واقعی شبکه دارد. به علت خصوصیات ذاتی در این نوع الگوریتم ها از مشتقات و ماتریسهای گرادیان و… استفاده شده که بار محاسباتی و الگوریتمی سنگینی به شبکه تحمیل می کند. اما در شبکه های ART و ARTMAP الگوریتم آموزش بر اساس تطابق نمونه هاست و نه اصلاح خطای ایجاد شده. این امر باعث می شود با تعریف یک سری قوانین و معیارهای ساده آموزش برای اندازه گیری این تطابق،‌شبکه فاز اموزش را به سرعت طی کرده و بار محاسباتی و الگوریتمی تحمیل شده بر سیستم کاهش یابد.
تعریف لایه ای از گره ها در شبکه به عنوان خوشه به همراه یادگیری افزایشی
این خاصیت باعث شده که شبکه بدون فراموش کردن نمونه های قبلی قابلیت یادگیری نمونه های جدید را نیز داشته باشد. علاوه بر این تعریف گره ها به عنوان خوشه باعث شده که یادگیری در این شبکه ها، کیفی باشد بدین معنا که با تغییر در اندازه خوشه ها، نمونه های جدید به خوبی فرا گرفته شده و افزایش تعداد نمونه ها، بندرت منجر به حجیم شدن شبکه می شود.
وجود پارامترهای ذاتی با بازه تغییرات مجاز محدود و عملکرد بهینه شبکه در اکثر نقاط بازه
تعیین تعداد گره های بهینه توسط شبکه به صورت خودکار
این خاصیت از پویاییهای ذاتی شبکه های ART و ARTMAP محسوب شده و نه تنها طراحی شبکه را بسیار آسان کرده، بلکه قابلیت استفاده از آن را در کاربردهای به هنگام نیز، فراهم ساخته است. به دلیل وجوداین ویژگی ذاتی، پیکربندی شبکه های مذکور به شدت انعطاف پذیر می باشد.
مواردی که به آنها اشاره شده در فصل دوم، با معرفی تفصیلی الگوریتم و ساختار شبکه های عصبی ART و ARTMAP به صورت جامع تری مورد بررسی قرار گرفته اند.
1-5- جمع بندی و خلاصه فصلدر این فصل با بررسی اجمالی مسئله بازشناسی چهره، به یک سری از چالشهای نسبتاً جدید که در سیستم های بازشناسی چهره وجود دارند، اشاره شد. از اهم این موارد می توان به زمان آموزش طولانی، بار محاسباتی و الگوریتمی سنگین و عدم انعطاف پذیری مناسب در اکثر طبقه بندی های متداول اشاره کرد. در پایان با برشمردن اجمالی ویژگی های ذاتی و پویاییهای شبکه های عصبی مبتنی بر الگوریتم رزونانس تطبیقی، استفاده از آنها در بازشناسی چهره، جهت رفع نقایص موجود، پیشنهاد گردید.

فصل دوم
بررسی الگوریتم و ساختار شبکه های عصبی
مبتنی بر Fuzzy ARTMAP و مرور کارهای گذشته
2-1- مقدمهART یا همان تئوری رزونانس تطبیقی، توسط گراسبرگ، به عنوان تئوری شناختی پردازش اطلاعات درانسان، در سال 1976(م)، ابداع شد. در 1987(م) در رویکردی جهت حل مسئله پایداری – انعطاف پذیری در شبکه های عصبی، کارپنتر و گراسبرگ اولین عضو خانواده ART را تحت عنوان ART1، ارائه کردند. هر چند، این مدل به خاطر پیچیدگی های ریاضیاتی و اینکه فقط برای خوشه بندی خود سازمان‌دهی شده الگوهای دیجیتال، مناسب بود، چندان با اقبال مواجه نشد. علاوه بر این، در مقایسه با الگوریتم باز تعریف شده پس انتشار خطا برای شبکه های MLP ، دیگر ارزش کاربردی خاصی نداشت.
بازه زمانی بین سالهای 1987 تا 1992 (م)، شاهد معرفی و ابداع اعضای دیگر خانواده ART با تنوع زیاد و به صورت شبکه های عصبی با ناظر و بدون ناظر بود. پیشرفته‌ترین مدل خانواده ART از نوع با ناظر، تحت عنوان ARTMAP Fuzzy توانایی پردازش بر روی اطلاعات از هر دونوع باینری و آنالوگ را دارا بود. اساسی ترین نقص شبکه های عصبی از خانواده ART، که باعث عدم استقبال دیگران شده بود، پیچیدگی آنها بود. به این شکل که ابداع کنندگان، به جای توضیح الگوریتم وار و ساده، این شبکه ها را به فرم سیستم های سخت افزاری با معماری پیچیده، معرفی کرده بودند. این مشکل بعدها توسط خود ایشان شناسایی و رفع شد. بعد از آن محققین ، مدل های اصلاح شده وبهبود یافته و گاهی ساده‌تر و متنوعی را ارایه کردند. امروزه شبکه های عصبی FAM[4] به عنوان شبکه هایی با الگوریتم پیشرو جهت حل مسایل مربوط به طبقه بندی الگوها شناخته می شوند. در مقایسه با شبکه های MLP که آموزش در آنها بر اساس کمینه کردن خطا می باشد، در FAM اساس کار بر بهبود مدل نمونه های اولیه، استوار است. بدین معنی که برای هر داده ورودی، MLP، خطای بین خروجی مربوطه و برچسب مطلوب متناظر با آن ورودی را کاهش می دهد، در صورتی که در FAM ، آموزش به اساس انتخاب نزدیکترین گونه یا خوشه موجود به ورودی است. آموزش در FAM به صورت باناظر وافزایشی است و در شرایطی که به آموزش سریع و با تعداد نمونه های اولیه محدود، نیاز باشد، سیستم مناسبی را در اختیار قرار می دهد. این شبکه قادر است نمونه های جدید را بدون فراموش کردن داده های قبلی یاد بگیرد. این قابلیت که پیشتر نیز بدان اشاره شده بود نقش تعیین کننده ای را در یادگیری افزایشی ایفا می کند. با افزایش داده های ورودی و افزایش متعاقب پیچیدگی در فضای داده های آموزش، پیچیدگی FAM نیز، با افزایش تعداد نودهای شبکه به صورت دینامیک و بدون دخالت کاربر، بیشتر می شود. اکثر شبکه های عصبی دیگر دارای پیکر بندی ثابتی هستند. برای مثال در شبکه MLP تعداد لایه های مخفی و نودهای آنها باید ابتدا برآورد شوند از این رو که درطی فرایند آموزش قابل تغییر نمی باشند. بنابراین اگرتعداد نودهای مخفی شبکه کمتر یا بیشتر از تعداد مورد نیاز مسئله باشد. دو نوع مشکل اساسی در شبکه رخ می نماید. درصورت کم بودن گره ها شبکه قادر به ارایه تقریب مناسبی از پیچیدگی فضای الگوها نیست. اگر تعداد گره های میانی بیش از حد زیاد باشد، به قدری دقیق فضای مشخصه ها فراگیری شده و شبکه به آن منطبق می شود که قابلیت تعمیم دهی شبکه و با بالتبع آن، درصد صحت کلاسه بندی، بر روی داده ها آزمایش، به شدت کاهش می یابد. در هر دو مورد ذکر شده کارایی شبکه بهینه نمی باشد. لذا استفاده از FAM، به سبب انعطاف پذیری ذاتی آن، که در اکثر شبکه‌های عصبی دیگر موجود نیست، کار طراحی را بسیار ساده می کند. به صورتی که دیگر به آزمایشهای فراوان اولیه برای تخمین پارامترهای مناسب شبکه، نیازی نیست. مزیت دیگر این شبکه، عدم وابستگی طراحی آن به ریزه کاری های فراوان وتنظیم پارامترهای زیاد و پیچیده است. همچنین بازه های زمانی کوچک برای آموزش و همگرایی سریع از مزایای دیگر FAM می باشد. [7،6،4]
کارآیی FAM و دیگر گونه های منشعب از آن در بسیاری ازمسایل کلاسه بندی، به عنوان سیستم های یادگیری دقیق و سریع به اثبات رسیده است، از جمله می توان به بازشناسی خودکار هدف براساس پروفایل برد را دار [8]، باز شناسی واکه های صوتی مستقل از گوینده [9]، بازشناسی دستخت بلا درنگ [10]، بازشناسی سیگنال های QRS [11]، تشخیص انواع سرطانهای سینه و بیماری های قلبی [12]، یادگیری وتشخیص ابعاد اشیاء سه بعدی از روی سری تصاویر دو بعدی آنها [13]، کلاسه بندی سیگنالهای نویزی [14] تشخیص فرد الکلی از غیر الکلی [15]، تشخیص ناهنجاری های ژنتیکی [16]، که اخیراً بسیار مورد توجه قرار گرفته است، و بسیاری موارد دیگر [23،22،21،20،19،18،17] ، اشاره کرد.
مهمترین نقص FAM مربوط به حساسیت آن به هم پوشانی بین خوشه های ایجاد شده است. طبیعت خود سامانده بودن آموزش در این شبکه باعث می شود که علیرغم پیوستگی یادگیری نمونه های جدید، در مورد نمونه های نویزی مشکل ایجاد شود و آنها به اشتباه، خوشه جدید و منحصر به فردی را به خود نسبت دهند از این حساسیت که منجر به ایجاد خوشه ها (نودهای) بیش از حد مورد نیاز می شود. تحت عنوان پدیده تکثیر بی رویه خوشه ها یاد می شود. افزایش حافظه مورد نیاز و پیچیدگی شبکه، بار محاسباتی اضافه و در نتیجه کاهش قابل ملاحظه صحت کلاسه بندی از عواقب رخ نمودن این پدیده می باشد. [29، 28 و 27 و 26و 25و 24و 16و 9و 7]. افزایش صحت کلاسه بندی و کاهش پیچیدگی و تعداد نودهای شبکه FAM در سالهای اخیر توجه اکثر محققان را جلب کرده و بیشترین مطالعات بر روی این موارد متمرکز بوده است.
در این فصل ابتدا با مقدمات و الگوریتم Fuzzy ART و ARTMAP Fuzzy آشنا می شویم (بخش 2-2). مدلهای پیشرفته تر مبتنی بر FAM که در آنها ساختار و الگوریتم مدل پایه اصلاح شده و برخی چالشهای آن در جهت بهبود کلاسه بندی، مرتفع شده است، در بخش بعدی مورد بررسی قرار خواهند گرفت. پیکربندی این بخش بر اساس سیر تکاملی مدلهایی است که در جهت رفع یا بهبود پدیده تکثیر بی رویه خوشه ها و افزایش قابلیت تعمیم دهی شبکه FAM می باشد.
در بخش انتهایی، مروری بر کاربرهای موفق شبکه های عصبی از خانواده ARTMAP و واریته های آنها خواهیم داشت و در نهایت خلاصه فصل ارائه خواهد شد.
2-2- پیکربندی و الگوریتم شبکه ART MAP Fuzzyشبکه عصبی FAM که یادگیری در آن به صورت افزایشی و با ناظر می باشد، از اتصال دو ماژول Fuzzy ART با نامهای ARTa و ARTb پدید آمده است. این دو ماژول توسط یک ماژول میدان نگاشت، که نودها (کلاسترها) را از ARTa به ARTb، مرتبط می سازد. به هم متصلند. هر ماژول Fuzzy ART قادر است، به صورت افزایشی و بی ناظر عمل خوشه بندی نمونه های m بعدی ورودی را در ناحیه هایی به شکل ابر مستطیلی در فضای m بعدی مشخصه های ورودی، انجام دهد. [4 و 30] هر کدام از این نواحی ابر مستطیلی، نماینده یک دسته یا خوشه می باشند. هر خوشه یک نود شبکه را تشکیل می دهد.
j امین خوشه با برداری از وزنها، نشان داده می شود که در ابتدا این وزنها با 1 مقدار دهی اولیه می شوند. و در طی فرآیند یادگیری کاهش یافته یا ثابت می مانند. این خود یکی از مواردی است که ابداع کنندگان این شبکه، به عنوان عامل تکثیر بی رویه خوشه از آن یاد می کنند،‌ چون طی آموزش، عناصر بردارهای مشخصه ورودی، که ها را تشکیل می دهند،‌ فقط می توانند کوچکتر شوند. یک ماژول FA همیشه به ایجاد نمونه های بیشتر و بیشتر تمایل دارد و این بدان علت است که ممکن است انطباق الگوهای ورودی با مقادیر بزرگتر، در حالی که ها در طی یادگیری خیلی کوچک شده باشند. امکان پذیر نباشد. از این رفتار می توان بانرمال سازی ورودی به یک طول ثابت اجتناب کرد. یک روش ممکن، استفاده از نرمال سازی اقلیدسی است که یک الگوی ورودی A را به ورودی کدگذاری شده I تبدیل می کند.
(2-1)
عیب این روش، از دست دادن هر اطلاعاتی در مورد طول یک الگوی ورودی است. بنابراین جهت مقداردهی کردن همه الگوهای ورودی به یک طول ثابت از یک نرمال سازی تغییر یافته که کدگذاری مکمل نامیده می شود، استفاده می شود [4]. یک بردار اصلی ، به وسیله افزودن مکمل عناصرش به بردار اصلی، به یک الگوی کد می شود. این عمل بعد الگوهای ورودی و نمونه ها را دو برابر می کند.
(2-2)
نرم در بردارهای کدگذاری شده مکمل با بعد یکسان، مستقل از مقادیر عناصرش، مقداری ثابت دارد.
(2-3)
خوشه بندی در FA در سه مرحله اساسی انجام می شود: انتخاب دسته (choice) انطباق دسته یا آزمون مراقبت (match) و آموزش (Adaptation). در مرحله انتخاب دسته یا خوشه،‌تابع انتخاب برای ورودی حاضر I و تک تک های موجود که هر یک نماینده یک نود یا خوشه هستند، محاسبه می شود.
(2-4)
در این جا عملگر AND فازی می باشد، و نیز پارامتر انتخاب نام دارد و نماد ، معرف نرم می باشد.
خوشه ای که بیشترین مقدار را داشته باشد،‌خوشه منتخب خواهد بود و با نمایش داده می شود.
هنگامی که خوشه J انتخاب شد یک آزمون فرضی با نام آزمایش مراقبت صورت می گیرد تا میزان تطابق خوشه انتخاب شده، با ورودی I،‌مشخص شود. اگر خروجی تابع تطابق از مقدار پارامتر مراقبت بیشتر شد، خوشه انتخابی اصطلاحاً برنده شده است و یادگیری انجام می شود.
(2-5)
در غیر این صورت،‌ خوشه انتخابی از لیست خوشه های قابل جستجو برای ورودی حاضر، خارج می شود. در نتیجه یک دسته یا خوشه جدید که تابع انتخاب را بیشینه کند (رابطه 2-4)، مجدداً انتخاب شده و این پروسه آن قدر ادامه می یابد تا رابطه 2-5، ارضا شود.

شکل 2-1: شمای کلی ماژول ART: ورودی تحت کدگذاری مکمل وارد می شودو نودهای لایه F2 همان خوشه های شبکه هستندانتخاب مقادیر کوچک (نزدیک به صفر) برای پارامتر مراقبت باعث افزایش قابلیت تعمیم دهی شبکه و ایجاد خوشه های بزرگتر با تعداد کمتر می شود و بالعکس. در واقع پارامتر مراقبت تعیین کننده میزان شباهت مورد نیاز بین خوشه یا همان نود انتخابی و ورودی می باشد که در صورت محقق شدن این میزان از شباهت، آموزش صورت می گیرد. اگر هیچکدام از نودهای شبکه معیار مراقبت را ارضا نکنند، شبکه با ایجاد یک نود جدید برای آن ورودی،‌بدون آزمون مراقبت، یادگیری را انجام خواهد داد.
به هر صورت، آموزش با بروزرسانی بردار وزن نود یا خوشه برنده (یا جدید) بر اساس رابطه ذیل صورت می پذیرد.
(2-6)
که در این رابطه ، نرخ یادگیری می باشد. اگر اختیار شود،‌ اصطلاحاً یادگیری سریع انجام می شود. [4] (شبکه در مد یادگیری سریع است)

شکل 2-2- فلوچارت کلی ماژول ARTدر مسئله طبقه بندی الگو، ورودی به بردارهای مشخصه های ورودی و ورودی Ib به ، برچسب آن بردار می باشد. لذا پارامتر، مراقبت ، با مقداردهی می شود. در نتیجه هر برچسب یک کلاستر یا نود مخصوص به خود را خواهد داشت. میدان نگاشت بین و ، ماتریسی از وزنها با نماد می باشد که خوشه های و را به هم مرتبط می سازد. J امین سطر ماتریس بر نودهایی از دلالت داردکه در نتیجه برنده شدن خوشه یا نود J ام در ، فعال می شوند. خروجی میدان نگاشت بدین صورت خواهد بود:
(2-7)
که در این رابطه که خروجی می باشد، دارای مختصات بولین بدین شکل می باشد.
571500264795اگر نود kام برنده شود
در غیر این صورت
00اگر نود kام برنده شود
در غیر این صورت

(2-8)
مقدار خروجی است که پیش بینی می کند اگر نود J ام در برنده شود، کدام نود از K نود انتخاب می شود.
حین اجرای فاز آموزش، آزمون مراقبتی مشابه آنچه در اتفاق می افتد، در میدان نگاشت هم انجام می پذیرد تا حداقل مشابهت لازم بین خروجی و J امین سطر ماتریس ،‌ تایید شود.
(2-9)
در پی ارضا شدن رابطه (2-9) اصطلاحاً روزنانس به وقوع پیوسته و آموزش انجام می شود. این آزمون، پیش بینی کلاس صحیح را به واسطه برچسبی که k امین نود پیروز ، نماینده آن می باشد، تضمین می کند. در پی ارضانشدن این رابطه فرآیند ره گیری تطابق فعال شده و شبکه به دنبال یافتن خوشه مناسب دیگری در خواهد بود. این فرآیند بدین شکل صورت می گیردکه میدان نگاشت، را به شکل ذیل افزایش می دهد.
(2-10)
لذا J امین خوشه ، در آزمون مراقبت مردود شده و از صحنه رقابت خوشه ها حذف می شود. فرآیند جستجو بین نودهای آغاز می شود و تا زمانیکه خوشه مناسبی در پیدا شود، که با نود صحیح در ارتباط یابد، ادامه می یابد. در غیر این صورت یک خوشه جدید ایجاد خواهد شد. زمانی که خوشه مناسب پیدا شد. ارتباط وزنی آن با نودهای طبق رابطه ذیل به روز می شود:
(2-11)
این فرآیند زمان به وقوع پیوستن رزونانس در میدان نگاشت صورت می گیرد. در مورد یادگیری سریع، ارتباط J امین خوشه و K امین نود ، دایمی خواهد بود. به عبارت بهتر به ازای تمام ورودیها، خواهد شد. در فاز آزمایش شبکه، تنها فعال خواهد بود، لذا آزمون مراقبت در میدان نگاشت انجام نخواهد شد و پیش بینی کلاس صحیح با توجه به وزنهای ثابت مربوط به نود برنده در میدان نگاشت انجام می پذیرد.

شکل 2-3- پیکربندی کلی شبکه عصبی Fuzzy ART MAP2-3- پیشرفت های اخیر در زمینه شبکه های عصبی بر اساس FAMپس از طرح الگوریتم و ساختار FAM در مجامع بین المللی و کنفرانس های علمی در سال 1992 میلادی، پیشرفت و نوآوری در زمینه بهینه سازی الگوریتم و پیکربندی این شبکه ها و واریته های آن به شکل روزافزونی گسترش یافت. این پیشرفت ها را می توان به دو دسته کلی تقسیم بندی نمود: یکی بهینه سازی ساختار و الگوریتم ابتدایی FAM و دیگری معرفی و بهبود الگوریتمهای جدید بر پایه FAM. این تقسیم بندی در واقع کمک می کند تا بین موارد ذیل تمیز ایجاد شود.
متدهای نوین آموزش و بهینه سازی FAM
اصلاح و ساده سازی FAM
بهینه سازیهایی که در آنها تغییرات ایجاد شده، اساساً‌ باعث تغییر ساختار کلی FAM نشده اند، از یک سو و از سوی دیگر تغییراتی که بر پایه رویکردهای نوین بنا شده اند.
با این وجود، باز هم نمی توان در برخی موارد دقیقاً مرز بین این دو حیطه را مشخص کرد.
2-3-1- اصلاحات و بهینه سازی FAM
متدهای مختلف آموزش FAM نظیر تک کراری، کامل و آموزش همراه با مجموعه ارزیابی در [27 و 16] به تفصیل مورد بحث قرار گرفته اند. در روش تک تکراری همه الگوهای آموزش به صورت یک دنباله و فقط یک بار به شبکه ارائه می شوند در آموزش به روش آموزش کامل دنباله ای که از همه الگوهای یادگیری تشکیل شده به شبکه ارائه خواهد شد و آنقدر این عمل تکرار می شود تا شبکه بتواند همه داده های آموزش را درست طبقه بندی کند. یا اینکه در وزنهای شبکه و تعداد نودهای آن دیگر تغییری حاصل نشود. در آموزش همراه با مجموعه ارزیابی پس از هر تکرار آموزشی، صحت طبقه بندی با استفاده از یک مجموعه داده جداگانه، ارزیابی می شود و این فرآیند آنقدر تکرار می شود تا دیگر بهبودی در درصد صحت کلاسه بندی مشاهده نشود. این روش آموزش درمحافل علمی یادگیری ماشین، روشی معروف است که با هدف کاهش جلوگیری از آموزش بیش از حد شبکه و همچنین افزایش قابلیت تعمیم دهی سیستم یادگیری، بناشده است [1]. لذا بر روش آموزش کامل که تکرار های غیر ضروری بسیار زیادی دارد و به همین دلیل شبکه را مستعد ابتلا به انطباق بیش از حد با الگوها می کند، برتری دارد. از طرف دیگر در مقالات علمی مرتبط، روش آموزش کامل، بیشتر مدنظر و مورد علاقه محققین بوده و به کرات در آزمایشات مورد استفاده واقع شده است [27، 16، 4].
این سه روش آموزش، روی پایگاه های داده مصنوعی و طبیعی مورد آزمایش و مقایسه قرار گرفته اند [27،‌ 16]. در [27] صحت کلاسه بندی پس از ارائه هر 100 نمونه داده آموزشی، با یک مجموعه داده مجزا، مورد ارزیابی قرار گرفته شده است. در پایگاه های داده مصنوعی، اگر همپوشانی بین کلاسها متوسط یا بسیار زیاد باشد، این روش آموزش، صحت کلاسه بندی را به شکل فزاینده ای بالا خواهد برد، (درجه همپوشانی بین کلاسی در [27] توسط نویسنده مقاله معین شده است) و شبکه ایجاد شده به طور قابل ملاحظه ای کوچکتر (به دلیل ایجاد تعداد نود یا خوشه کمتر) و ساده تر خواهد بود. در پایگاه های داده طبیعی، تفاوت قابل ملاحظه ای در صحت کلاسه بندی و تعداد نودهای ایجاد شده در شبکه،‌ بین روش همراه با داده های ارزیابی و آموزش کامل وجود ندارد. درجه صحت طبقه بندی در روش همراه با داده های ارزیابی بیشتر از روش تک تکراری می باشد اما در مقابل، پیچیدگی و اندازه شبکه (تعداد نودهای آن) در روش اول بیشتر از روش دوم است.
یکی از روشهای آموزشی نوین برای FAM،‌ استفاده از الگوریتم پرندگان ) [32]،‌ است که یک الگوریتم تصادفی بر اساس جمعیت بوده و به دسته الگوریتم های تکاملی تعلق دارد. هر راه حلی در فضای جستجو، یک ذره یا همان پرنده بوده وجمعیت پرندگان دسته نامیده می شود. هر راه حل در الگوریتم پرندگان می تواند شامل وزنها، پارامترها (شامل و …) و تعداد خوشه ها یا نودهای ایجاد شده در FAM باشد و درنهایت راه حلی انتخاب می شود که خطای تعمیم دهی شبکه را کمینه کند.
معمولاً محققین برای حل مشکل حساسیت FAM به چیدمان الگوهای آموزش، یک مجموعه از کلاسه بند های FAM رابه کار گرفته و هر یک را با چیدمانی تصادفی آموزش می دهند و در نهایت اثر کلی طبقه بند ها را با میانگین گیری یا با استفاده از یک سیستم رای گیری از تک تک طبقه بندها، گزارش می کنند [27، 16، 12، 9، 4]. پژوهشگران در [24] روشی جهت کاهش وابستگی FAM به چینش الگوهای ورودی ابداع کردند. آنها با استفاده از الگوریتم خوشه بندی “max- min” یک چیدمان ثابت از الگوهای آموزش بدست آوردند که صحت کلاسه بندی و قابلیت تعمیم دهی شبکه را بهینه کرد. با این روش دیگر نیازی به آموزش چندین FAM و برآورد اثر کلی آنها نبود. یک شبکه منفرد FAM، با استفاده از چینش بدست آمده، نتیجه بهتری را نسبت به روش قبل، دربرداشت.
روش دیگری که برای آموزش به کار گرفته شد در [19] به طور مفصل معرفی شده است. این روش مبتنی بر پیش آزمایش، پس از آموزش اولیه می باشد. سپس الگوهایی را که با قطعیت بالا، کلاسه بندی نشده اند (مثلاً با استفاده از سیستم رای گیری با اکثریت ضعیفی از آراء انتخاب شده اند). دوباره به کلاسه بند ارایه شده و شبکه بازآموزی می شود. نویسندگان مقاله قطعیت کلاسه بندی را در FAM محاسبه کرده و قطعیت بدست آمده برای هر نمونه را با یک حد آستانه مقایسه کرده اند. نمونه هایی که در این مقایسه حالت مبهمی دارند، مکرراً به شبکه یاد داده می شود و دوباره نمونه های آموزش، مورد آزمایش قرار می گیرند. این عمل آنقدر ادامه می یابد تا نمونه های مبهم، کاملاً درست و با قطعیت بالا طبقه بندی شوند. با استفاده از این روش صحت کلاسه بندی FAM در مسئله طبقه بندی جوش کاری لوله ها و تجهیزات مربوط به نیروگاه های هسته ای، بعد از چهار بار تکرار مرحله بازآموزی، دوبرابر شد.
FAM ساده شده که محمد تقی وکیل باغمیشه و همکاران در [33] معرفی کرده اند یک واریته ساده تر و سریع تر FAM می باشد. در SFAM، ساختار دو ماژوله FAM به ساختاری تک ماژوله، با حفظ قابلیت ها و کارآیی اولیه، تبدیل شده و فقط پیکربندی شبکه ساده تر شده است. SFAM پیشنهادی کازوبا[34]، بسیار شبیه به مدل پیشنهادی باغمیشه است. با این تفاوت که در مدل باغمیشه، آموزش شبکه با سرعت بالاتری انجام می پذیرد. مدل دیگری که در آن پیکربندی FAM ساده تر شده است، مدل اصلاح شده SFAM می باشد (MSFAM) [35]. در این مدل نیز مشابه دو مدل قبل ساختار پر پروبال FAM، هرس شده است.
در این مدل همچنین قواعد و قوانین قابل فهم تری نسبت به قوانین الگوریتم FAMبه کار گرفته شده است. نتایج آزمایشات و شبیه سازی ها بر روی مدل کازوبا و MSFAM، حاکی از عملکرد یکسان این دو، در مسایل کلاسه بندی مشابه، می باشد [34].
یکی از رویکردهای بسیار مهم و اساسی تحقیقات در باب FAM، تلاش جهت مهار و در صورت امکان برطرف کردن پدیده تکثیر بی رویه خوشه ها یا همان نودهای شبکه می باشد. این مشکل دو منشاء اساسی دارد که عبارتند از: نمایش و ارائه داده ها به شکلی نامناسب در ساختار این نوع شبکه و حساسیت شبکه به هم پوشانی بین کلاسها.
شکل نامناسب نمایش داده ها، پیامد استفاده از عملگرهای تئوری مجموعه های فازی، () کمینه و () بیشینه فازی، می باشد که منجر به ایجاد مرزهای تصمیم گیری به شکل خوشه های ابر مستطیلی می شود و این ممکن است درنظر اول برای داده هایی که پراکندگی یکنواخت دارند مناسب به نظر برسد. اما چنانکه می دانیم پراکندگی داده های طبیعی به شکل گوسین می باشد و یک ناحیه ابر مستطیلی هیچ گاه کاملاً با ناحیه ای ابرگوسین هم پوشانی نمی کند. برای محقق شدن این امر، مرزهای تصمیم گیری در خوشه های شبکه باید به فرم ابر کروی یا ابر بیضوی باشد. اگر یک ابر مستطیل و ابر کره را در نظر بگیریم به شکلی که هر دو یک خوشه مشخص در فضای ویژگی را مدل کرده باشند و آن را در بر گرفته باشند، نسبت حجم ابر مستطیل به ابر کره با افزایش بعد مسئله طبقه بندی، افزایش می یابد [9]. این بدان معنی است که اگر ابعاد ابر مستطیل بزرگتر شوند فضای اضافی بیشتری اشغال می کند که در آن الگوهای مرتبط، قرار ندارند. این فضاهای بدون استفاده بیشتر نزدیک به کنج های ابر مستطیل به وجودمی آید. الگوهایی که در این نواحی قرار می گیرند،‌ عموماً به خوشه های اطراف تعلق دارند و به اشتباه داخل این خوشه کلاسه بندی شده اند. در چنین مواقعی پروسه ره گیری تطابق برای یافتن یک خوشه مناسب تر فعال می شود و اگر چنین خوشه ای یافت نشد، خوشه یا نود جدیدی ایجاد می شود و این، خود به ایجاد خوشه های اضافی کمک می کند.
دومین عاملی که منجر به تکثیر بی رویه خوشه میشود، حساسیت FAM به هم پوشانی بین فضاهای مربوط به مشخصه های آماری کلاسهای متفاوت است. این عامل باعث خوشه بندی نادرست حین آموزش می شود. ایجاد هر خوشه اشتباهی به علت هم پوشانی بین کلاسی، به معنی فعال شدن ره گیری تطابق و افزایش پارامتر مراقبت برای یافتن خوشه مناسب است. لذا خوشه ای که در نهایت انتخاب می شود باید بردار وزن بزرگتری داشته باشد تا بتواند با توجه به پارامتر مراقبت که افزایش یافته،‌ آزمون مراقبت را پشت سر بگذارد. بردار وزن بزرگتر به معنی کاهش ابعاد خوشه است زیرا بردار وزن با اندازه ابعاد خوشه نسبت عکس دارد [2].
هر چه این هم پوشانی بیشتر باشد تعداد دفعاتی که برای الگوهای مشابه، فرآیند مذکور تکرار می شود‌، افزایش یافته و از آنجا که خوشه های کوچک قادر به مدل کردن فضاهای بزرگ نیستند، تعدادشان افزایش می یابد. بنابراین یکی از دلایل افزایش تعداد خوشه های کوچک، وجود فضاهای هم پوشانی بزرگ و متعدد بین کلاسها می باشد. علاوه بر این، طی فرایند ره گیری تطابق، اگر خوشه مناسب پیدا نشود، خوشه جدیدی ایجاد می شود. میزان ایجاد و تکثیر بی رویه خوشه ها به این طریق، به میزان هم پوشانی بین کلاسها بستگی دارد.
در مسایل کاربردی واقعی، این میزان تکثیر گاهی اوقات به صدها بلکه هزاران خوشه کوچک می رسد که بسیاری از آنها تأثیر ناچیزی در صحت کلاسه بندی دارند و در مجموع، اکثراً زائد به نظر می رسند. نهایتاً‌ این نکته حائز اهمیت است که تکثیر بی رویه خوشه ها می تواند علامت آموزش بیش از حد شبکه و تولید تعداد فراوانی از خوشه ها برای مدل کردن دقیق تر داده ها وفضاهای هم پوشانی بین کلاسی باشد. تولید خوشه های کم اهمیت و کوچک، علاوه بر پیچیده کردن ساختار شبکه، قابلیت تعمیم دهی کلاسه بندی را نیز به طور چشم گیری کاهش می دهد.
معرفی dARTMAP را می توان در زمره نخستین تلاشهای محققین برای کاستن از تولید نودهای اضافی در FAM، به حساب آورد [36]. این شبکه قابلیت های کدگذاری توزیع شده داده ها در MLP و یادگیری سریع در FAM، با هم برخوردار است. اگر چه تحلیل و آزمایشهای کاربردی، تفاوت محسوس و تاثیرگذاری را بین نتایج حاصله از FAM و dARTMAP، نشان نمی دهد [36 و 25].
شاید مهمترین راهکار ارائه شده برای حل مشکل تکثیر خوشه، تکنیک هرس باشد. در الگوریتم FAM، هر خوشه، که به طور کلی مربوط به قاعده و معیاری می باشد، برداری از وزنها را شامل می شود که این وزنها به صورت زبانی، ترجمه الگوریتم وار سابقه معیار و قاعده متناظر با آن نود است. از آنجا که پایگاههای داده بزرگ عموماً منجر به شکل گیری قواعد و متدهای بیش از حد زیادی می شوند، استفاده از یک مکانیزم استخراج قواعد مناسب، سبب انتخاب یک مجموعه کوچک از خوشه های معنادار، که بیشترین تاثیر را در پیش بینی و نتیجه کار دارند، خواهد شد.
به عنوان مثال در اتصال سری ARTMAP [18]، دستورات و قواعد نمادین با الگوریتم ARTMAP ممزوج شده است. بعلاوه، نه تنها، قواعد زبانی (if-then) باعث افزایش صحت کلاسه بندی و کارآمدی شبکه می شود، بلکه اگر این معیارها با الگوریتم شبکه ممزوج شوند، قابل بهینه سازی و اصلاح،‌توسط خود شبکه هم می باشند. بلام و همکارانش در [37] به متدهای فراوانی جهت کاهش تکثیر خوشه اشاره کرده اند. آنها یک روش هرس خوشه های زائد را پیشنهاد کرده اند که بر اساس آن خوشه هایی که نماینده کمترین تعداد نمونه های آموزش می باشند، موقتاً حذف می شوند. روشی دیگر بر پایه محدود کردن تعداد نودهایی است که می توانند ایجاد شوند. روش سومی مربوط به اصلاح و تغییرهای بزرگتر می باشد. فراهم کردن هر دو قابلیت کوچک شدن و بزرگ شدن برای خوشه ها (برخلاف FAM که فقط خوشه ها می توانند رشد کنند). راه کار دیگری برای حل این معضل می باشد. بعلاوه بلام و همکاران روشی پیشنهاد کردند که بر اساس آن هر خوشه می تواند نماینده بیش از یک کلاس هم باشد. آنها تک تک این روشها را روی پایگاه های داده متفاوت اعمال کرده و به این نتیجه رسیدند که هیچ روشی به صورت جداگانه یا ترکیبی خاص از روشهای فوق الذکر، را نمی توان یافت به طوری که برای عموم مسایل طبقه بندی، اساساً از روشها و ترکیبهای دیگر برتر باشد.
در[38] روشهای هرس متعددی بر اساس ضرایب اطمینان خوشه ها، ارائه شده است. این ضرایب اطمینان، بر اساس میزان کاربرد خوشه ها و تاثیر آنها در صحت کلاسه بندی تعیین می شود. بر این اساس، با حذف خوشه های با ضرایب اطمینان پایین، شبکه ساختار ساده تری پیدا می کند. ARTMAP که توسط سانچز و همکاران ارائه شده [10] دارای مکانیزم خاصی، جهت جلوگیری از افزایش مقدار پارامتر مراقبت ، می باشد. چنانکه پیشتر گذشت، افزایش مقدار این پارامتر، حین ره گیری تطابق، یکی از عوامل مهم منجر به تکثیر خوشه، می باشد.
در [26]،‌از اصل کوتاهترین توصیف (MDL) جهت برقرار کردن تعادل بین افزایش صحت کلاسه بندی و افزایش پیچیدگی شبکه، که به واسطه اضافه شدن نود جدید ایجادمی شود، استفاده شده است. بر اساس اصل MDL بهترین مدل انتخابی مدلی است که کوتاهترین کدگذاری داده و با کمترین داده ممکن را شامل شود. محققین در [26] طول کدگذاری FAM را به صورت تابعی از تعداد مقادیر ممکن برای هر خوشه، تعداد خوشه ها، ابعاد مسئله و تعداد الگوها،‌ تعریف و از یک الگوریتم خاص برای یافتن مدل مطلوب از بین تعداد زیادی مدل با تعداد نودهای متفاوت استفاده کرده اند.
2-3-2- الگوریتم های جدید بر اساس FAMدو الگوریتم ARTMAP-IC و ART- EMAP [13، 12] که توسط کارپنتر و همکاران معرفی شد، از بقیه الگوریتم هایی که بر پایه FAM ایجاد شده اند، قدمت بیشتری دارند. ARTMAP-IC قادر به کد کردن موارد متناقض می باشد. این شبکه با استفاده از یک سری مفاهیم احتمالاتی که در الگوریتم آن وجود دارد، می تواند نمونه های ورودی مشابه با برچسبهای متفاوت را به درستی کدگذاری کند. ART-EMAP با استفاده از ترکیب اطلاعات هندسی خوشه ها در فضای ویژگی و تغییرات آن ها هنگام آموزش، یک نوع نگاشت دینامیک را برای تعیین خروجی مطلوب سازماندهی می کند.
لیم و هاریسون [40] مدل احتمالاتی ARTMAP را پیشنهاد کردند. در این مدل که همان تعمیم یافته مدل PROBART می باشد [7]، مولفه وزن ، به نوعی معرف فرکانس و تعداد دفعات ارتباط و پیوند بین j امین خوشه و k امین خوشه می باشد. لذا ، به نوعی تخمینی تجربی از (احتمال پسین ارتباط خوشه j ام با خوشه k ام )، می باشد. نقاط قوت الگوریتم PROBART در تفکیک داده ها و توابع رگرسیون آن می باشد، لذا در این فصل مجال بحثی برای آن وجود ندارد. به هر حال، PFAM [40]، حاصل تجمیع و اختلاط FAM و شبکه های عصبی احتمالاتی بوده و الگوریتمی هیبرید و ترکیبی دارد [41]. FAM الگوهای ورودی را خوشه بندی کرده و در نتیجه یک نمایش فشرده از الگوهای ورودی، در خروجی آن ایجاد شده که به عنوان ورودی PNN استفاده می شود. PNN از این ورودی، برای محاسبه احتمالات پسین و تخمین کلاس مربوطه استفاده می کند.
الگوریتم PNN بر اساس محاسبه بیشترین احتمال پسین یا تخمین میزان کمینه ریسکبر اساس قانون بیز، عمل کلاسه بندی را انجام می دهد. لیم و هاریسون، پیشتر، مدلی مشابه ولی ساده تر از PFAM را به نام FAM بهینه شده، ارائه داده بودند [42].
آنها با معرفی دو قانون ابتکاری یکی برای سازماندهی خوشه ها و دیگری برای پروسه انتخاب خوشه، عمل کلاسه بندی FAM را تسهیل کردند. الگوریتم آموزش و طبقه بندی در FAM بهینه شده، شباهت زیادی به PFAM دارد.

این نوشته در مقالات ارسال شده است. افزودن پیوند یکتا به علاقه‌مندی‌ها.

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *