پایان نامه کارشناسی ارشد:بهینه‌سازی الگوریتم DBSCAN با استفاده از روشMap-Reduce بر روی داده‌های ترافیک شبکه

فایل زیر شامل

۱- عدد فایل ورد پایان نامه ارشد به همراه فایل پی دی اف به تعداد ۱۳۰ صفحه است.

۲- فایل نرم افزاری و ستاپ حل برای فصل چهارم پایان نامه است.

چکیده

داده‌های حجیم به مجموعه داده‌هایی گفته می‌شود که مدیریت، کنترل و پردازش آن‌ها فراتر از توانایی ابزارهای نرم‌افزاری در یک‌زمان مورد انتظار باشد. امروزه مشکل اصلی داده‌ها، چگونگی پردازش داده‌ها با حجم بسیار بالاست. برای مقابله با حجم بالا از داده‌ها، نیاز به استفاده از ابزارهای قدرتمند برای کشف دانش و تکنیک‌های داده‌کاوی است. ترافیک شبکه‌های کامپیوتری که در این پژوهش بررسی می‌شود نیز از این امر مستثنا نیست. با آسان‌تر شدن دسترسی به اینترنت از یک‌سو و متصل شدن دستگاه‌های مختلف اعم از تلفن‌های هوشمند، رایانه‌های شخصی و تبلتها از سوی دیگر، حجم ترافیک شبکه چندین برابر شده است. استخراج اطلاعات مفید از این ترافیک و کسب دانش از الگوهای پنهان در آن، می‌تواند کاربردهای مختلفی نظیر بهبود سرویس، متعادل کردن بار، تشخیص ناهنجاری و کاربردهای مخرب در شبکه داشته باشد. خوشه‌بندی داده یک تکنیک شناخته‌شده در زمینه‌های مختلف و حوزه‌های مرتبط از علم کامپیوتر است هدف از خوشه‌بندی داده‌ها، سازمان‌دهی مجموعه‌ای از اشیاء در چند خوشه با مشخصات مشابه می‌باشد. با توجه به رشد نمایی در تولید داده‌ها این مسئله که چگونه و بر چه اساسی این داده‌ها خوشه‌بندی شوند، مطرح می‌شود. اگرچه داده‌کاوی می‌تواند به‌عنوان منشأ اصلی خوشه‌بندی در نظر گرفته شود، اما از آن در زمینه‌های دیگر نیز مانند انفورماتیک زیستی، انرژی، یادگیری ماشین، شبکه، تشخیص الگو و … استفاده می‌شود. کار با داده‌های بزرگ نیز در سال‌های اخیر با چالش‌های بیشتری روبرو شده که خواستار تحقیقات بیشتری برای بهبود الگوریتم‌های خوشه‌بندی است.با توجه به اینکه الگوریتم‌های خوشه‌بندی مطرح‌شده برای داده‌های بزرگ هرکدام یک سری معایبی دارند. در این پژوهش سعی شده است روش جدیدی ارائه شود که ضعف‌های موجود در الگوریتم‌های قبلی را از بین ببرد. روش پیشنهادی جهت خوشه‌بندی مبتنی بر چگالی داده‌ها در مدل برنامه‌نویسی نگاشت کاهش است. این روش شامل مراحل تقسیم فضای داده، خوشه‌بندی محلی، ادغام نتایج و برچسب‌زنی نهایی است که تمامی مراحل در مدل برنامه‌نویسی نگاشت کاهش ارائه شده‌اند. نتایج شبیه سازی نشانگر این است که روش پیشنهادی نسبت به روش های قبلی بهبود یافته است.

واژه‌هاي كليدي:خوشه بندی، داده های حجیم، نگاشت کاهش، ترافیک شبکه

فهرست مطالب

فصل اول: مقدمه   ۳

۱-۱- مقدمه          ۴

۱-۲- بیان مسئله                ۵

۱-۳- سوالات اصلی پژوهش              ۹

۱-۴- اهدف پژوهش            ۹

۱-۴-۱- اهداف اصلی          ۹

۱-۴-۲- اهداف فرعی         ۱۰

۱-۵- جنبه نوآوری و جديد بودن تحقيق        ۱۰

۱-۶- فرضیه‌ها     ۱۰

۱-۷- ساختار پایان‌نامه     ۱۱

فصل دوم: مفاهیم پیش‌زمینه و مروری بر ادبیات           ۱۲

۲-۱- مقدمه         ۱۳

۲-۲- تعاریف، اصول و مبانی نظری  ۱۳

۲-۲-۱- خوشه‌بندی           ۱۳

۲-۲-۲- داده‌های عظیم    ۱۵

۲-۲-۳- مدل برنامه‌نویسی نگاشت کاهش     ۱۵

۲-۳- مروری بر ادبیات موضوع         ۱۸

۲-۳-۱- روش‌های خوشه‌بندی کلاسیک        ۱۸

۲-۳-۲- روش‌های خوشه‌بندی مبتنی بر چگالی          ۲۲

۲-۳-۳- روش‌های خوشه‌بندی مبتنی بر چگالی داده‌های عظیم              ۳۰

۲-۴- نتیجه‌گیری               ۳۸

 فصل سوم:ارائه روش پیشنهادی      ۴۰

۳-۱- مقدمه         ۴۱

۳-۲- تقسیم فضای داده    ۴۳

۳-۳- خوشه‌بندی محلی   ۴۸

۳-۴- ادغام نتایج               ۵۵

۳-۵- برچسب نهایی          ۵۷

۳-۶- نتیجه‌گیری               ۵۷

فصل چهارم: ارزیابی و مقایسه کارایی روش پیشنهادی از طریق شبیه سازی          ۵۹

۴-۱- مقدمه         ۶۰

۴-۲- معرفی مجموعه داده‌ها            ۶۱

۴-۲-۱- داده‌های ساختگی               ۶۱

۴-۲-۲- داده‌های استاندارد با حجم کم         ۶۲

۴-۲-۳- داده‌های شبکه    ۶۴

۴-۳- معیارهای ارزیابی     ۶۵

۴-۳-۱- شاخص تصادفی تعدیل‌شده              ۶۶

۴-۳-۲- اطلاعات متقابل تعدیل‌شده              ۶۷

۴-۳-۳- همگن بودن، کامل بودن و امتیاز v  ۶۸

۴-۳-۴- ضریب سایه         ۷۰

۴-۴- ارزیابی خوشه‌بندی محلی      ۷۱

۴-۴-۱- خوشه‌بندی محلی داده‌های ساختگی             ۷۱

۴-۴-۲- خوشه‌بندی محلی داده‌های واقعی   ۷۶

۴-۵- ارزیابی خوشه‌بندی توزیع‌شده              ۷۷

۴-۵-۱- ارزیابی خوشه‌بندی توزیع‌شده‌ی داده‌های مصنوعی    ۷۸

۴-۵-۲- ارزیابی خوشه‌بندی توزیع‌شده داده‌های شبکه            ۷۹

۴-۶- تأثیر پارامتر انعطاف‌پذیری بر خوشه‌بندی           ۸۲

۴-۷- جمع‌بندی  ۸۶

 فصل پنجم:نتیجه گیری و پیشنهاد ادامه کار ۸۸

۵-۱- مقدمه         ۸۹

۵-۲- مروری بر مستند      ۸۹

۵-۳- نتایج دستاوردها     ۹۱

۵-۴- کارهای آینده            ۹۳

۵-۵- جمع‌بندی ۹۵

منابع      ۶۹

برای مطالعه رایگان بیش از ۵۰ درصد مطلب فوق کلیک کنید

  •  x 
  •  x 
خرید
درباره این محصول نظر دهید !