تحقیق درسی:ماشین های بردار پشتیبان

فایل زیر شامل

۱- عدد فایل ورد (قابل ویرایش) به تعداد ۱۵ صفحه  با رفرنس دهی کامل است(این فایل برای پروژه کارشناسی بسیار عالی است و فرمت بندی کامل را دارد)

ماشین های بردار پشتیبان

Support Vector Machine

قسمتی از متن تحقیق

چکیده

در این تحقیق هدف ما معرفی روش ماشین های بردار پشتیبان بعنوان یکی از شاخه های مورد مطالعه در زمینه هوش مصنوعی است. سپس روش ماشین های بردار پشتیبان حداقل مربعات ( Least squares support vector machine ) و ماشین های بردار پشتیبان دوقلو ( ) که بعنوان ۲ متد تکامل یافته این روش را معرفی میکنیم. پس از معرفی سیر تکاملی روش ماشین های بردار پشتیبان گفته شده و بیان روابط ریاضی آنها به مقایسه عملکرد هر ۳ روش برای طبقه بندی چندکلاسه می پردازیم. برای بررسی عملکرد آنها از دیتابیس های استاندارد UCI استفاده خواهیم کرد. برای پیاده سازی این ۳ روش از نرم افزار متلب R2014b استفاده خواهیم کرد و نتایج را بصورت جدول هایی جهت مقایسه عملکرد هر یک از روش های بیان شده ارایه خواهیم داد.

معرفی

ماشین بردار پشتیبانی یکی از روش‌های یادگیری بانظارت است که از آن برای طبقه‌بندی خطی و غیرخطی و نیز رگراسیون چندبعدی استفاده می‌کنند. این روش از جمله روش‌های نسبتاً جدیدی است که در سال‌های اخیر کارایی خوبی نسبت به روش‌های قدیمی‌تر برای طبقه‌بندی از جمله شبکه‌های عصبی از خود نشان داده است. اساس کاری کلاس بندی کنندۀ SVM کلاس‌بندی خطی داده‌ها است و در کلاس بندی خطی داده‌ها خطی را انتخاب کنیم که حاشیه اطمینان بیشتری داشته باشد. مساله پیدا کردن خط بهینه برای کلاس بندی داده‌ها به وسیله روش‌های QP که در حل مسائل محدودیت‌دار شناخته شده‌ هستند صورت می‌گیرد. برای اینکه ماشین بتواند داده‌های با پیچیدگی بالا را  نیز دسته‌بندی کند داده‌ها را به وسیله یک تبدیل کرنل به فضای با ابعاد خیلی بالاتر می برند. برای اینکه بتوانیم مسئله ابعاد خیلی بالا را با استفاده از این روش‌ها حل کنیم از قضیه دوگان لاگرانژ برای تبدیلِ مسئلهی مینیمم‌سازی به فرم دوگان آن استفاده می‌کنیم. از توابع هسته مختلفی از جمله هسته‌های نمایی، چندجمله‌ای و سیگموید می‌توان استفاده نمود. الگوریتم SVM، جز الگوریتم های تشخیص الگو دسته بندی می شود. از الگوریتم SVM، در هر جایی که نیاز به تشخیص الگو یا دسته بندی اشیا در کلاس های خاص باشد می توان استفاده کرد[۱]. روش های ماشین های بردار پشتیبان حداقل مربعات و ماشین های بردار پشتیبان دوقلو نسخه های بهبود یافته از نظر سرعت و عملکرد این متد هستند که در بخش های زیر آن ها را بصورت کامل بیان خواهیم کرد.

پژوهش های انجام شده در گذشته

این الگوریتم اولین بار در سال ۱۹۶۳ میلادی بوسیله (Vladimir N.Vapnik وAlexey Ya. Chervonenkis ) ابداع شد و در سال ۱۹۹۲ میلادی توسط (Bernhard E. Boser ، Isabelle M. Guyon و Vladimir N. Vapnik ) با استفاده از ترفند کرنل(هسته) برای ساخت کلاس بندی کننده غیرخطی به کمک ابرصفحه ها، پیشنهاد شد. نسخه استاندارد که امروزه مورد استفاده قرار میگیرد در سال ۱۹۹۳ بوسیله (Corinna Cortes و Vladimir N. Vapnik) پیشنهاد و در سال ۱۹۹۵ به چاپ رسید[۲]. در سال ۱۹۹۹ میلادی روش ماشین های بردار پشتیبان حداقل مربعات توسط (Suykens و همکاران) پیشنهاد شد که از نظر زمان و عملکرد نتایج بسیار جالبی را ارایه میداد[۳]. در سال ۲۰۰۷ روش ماشین های بردار پشتیبان دوقلو توسط ( Jayadevaو همکاران) معرفی و با عملکرد آن با روش های رایج کلاس بندی مقایسه و برتری های این روش نشان داده شد[۴]. دو سال بعد از ارایه این روش نسخه ترکیبی ۲ روش ماشین های بردار پشتیبان حداقل مربعات و دوقلو با عنوان ماشین های بردار پشتیبان دوقلوی حداقل مربعات بوسیله (M. Arun Kumar, M. Gopal) ارایه شد که نتایج بهتری نسبت به روش های گفته شده ارایه داد[۵]. نسخه های مختلفی از روش ماشین های بردار پشتیبان دوقلو از سال ۲۰۰۷ تا ۲۰۱۶ براساس همین روش با اندکی تغیر معرفی و گاهی برای داده های خاصی نتایج بهتری را ارایه دادن که در شکل زیر تعدادی از آنها نشان داده شده است.

 

در ادامه هریک از متدها بصورت کامل توضیح داده خواهند شد.

کلاس بندی کننده ی  (SVM)

منظور ما از کلاس بندی کننده در واقع یافتن خطی بصورت  است که بتوانید بدرستی داده های ۲ یا چند کلاس را از یکدیگر جدا کند. از آنجایی که لفظ خط بیشتر یادآور صفحه یا در بهترین حالت خم سه بعدی است برای داده هایی با ابعاد بالاتر باید از مفهوم کلی تری استفاده شود از لفظ ریاضی ابرصفحه به جای آن استفاده خواهیم کرد. در واقع به زبان ریاضی ابرصفحه زیرفضایی از فضای مورد مطالعه است که فقط به اندازه یک بعد با فضای مورد مطالعه تفاوت دارد، بعنوان مثلا یک صفحه ۲ بعدی را بعنوان فضا در نظر بگیریم ابرصفحه متناظر با آن یک خط معمولی و برای فضای ۳ بعدی ابرصفحه ما یک صفحه ۲ بعدی است و به همین ترتیب برای ابعاد بالاتر نیز این مفهوم تعمیم میابد. شکل زیر را در نظر بگیرید.

ما مجوعه داده های آزمایش  شامل n عضو(نقطه)را در اختیار داریم که به صورت زیر تعریف می شود:

جایی که مقدار  برابر ۱ یا -۱ و هر  یک بردار حقیقی p-بعدی است. هدف پیدا کردن ابرصفحه جداکننده با بیشترین فاصله از نقاط حاشیه ای است که نقاط با  را از نقاط با    جدا کند. هر ابر صفحه می تواند به صورت مجموعه ای از نقاط  که شرط زیر را ارضا می کند نوشت:

جایی که . علامت ضرب است. بردار نرمال است، که به ابرصفحه عمود است. می خواهیم و را طوری انتخاب کنیم که بیشترین فاصله بین ابر صفحه های موازی که داده ها را از هم جدا می کنند، ایجاد شود. این ابرصفحه ها با استفاده از رابطه زیر توصیف می شوند.

و   اگر داده های آموزشی جدایی پذیر خطی باشند، می توانیم دو ابر صفحه در حاشیه نقاط به طوری که هیچ نقطه مشترکی نداشته باشند، در نظر بگیریم و سپس سعی کنیم، فاصله آنها را، ماکسیمم کنیم. با استفاده از هندسه، فاصله این دو صفحه است. بنابر این ما باید  را مینیمم کنیم. برای اینکه از ورود نقاط به حاشیه جلو گیری کنیم، شرایط زیر را اضافه می کنیم: برای هر   و  به ازای هر  متعلق به کلاس اول داشته باشیم  یا به ازای هر  متعلق به کلاس دوم داشته باشیم

می توان آن را به صورت زیر نیز نوشت:

با کنار هم قرار دادن این دو یک مسئله بهینه سازی به دست می آید:

Minimize ( )

subject to

(  )

برچسبها
محصولات مرتبط

دیدگاهی بنویسید.

0