استفاده از تکنیک های داده ای برای شناخت الگو ،داده کاوی ، خوشه بندی k-means  و خوشه بندی سلسه مراتبی و KDE

در این دوره چه چیزهایی یاد خواهید گرفت ؟

• یادگیری الگوریتم K-means
• یادگیری معایب خوشه بندی k – means
• یادگیری خوشه بندی سلسله مراتبی
• توضیح کامل از کارکرد آرگومان های خوشه بندی سلسله مراتبی
• اعمال فایل های کتابخانه ای خوشه بندی به داده ها
• یادگیری چگونگی خواندن dendrogram
• یادگیری روش های مختلف معیار فاصله در خوشه بندی
• یادگیری تفاوت بین پیوندهای تکی ، پیوند کامل و پیوند های چندبخشی و UPGMA
• یادگیری مدل Gaussian mixture و چگونگی استفاده از ان برای تخمین چگالی
• یادگیری نوشتن GMM در کدنویسی پایتون
• توضیح GMM در مقابل خوشه بندی K-means
• توضیح الگوریتم expectation-maximization (به حداکثر رساندن سطح انتظار)
• یادگیری اینکه GMM چگونه برخی از معایب K-means  را برطرف میکند
• یادگیری مشکل کواریانس منحصر به فرد و نحوه رفع آن

چه چیزهایی در این دوره نیاز دارید ؟

بلد بودن نوشتن کدنویسی در پایتون و کار با فایل های کتابخانه ای (numpy )

توضیحات :

آنالیز خوشه بندی یکی از ابزار های اصلی در یادگیری ماشین بدون نظارت و علم داده ای است که بسیار در حیطه داده کاوی و داده های بزرگ کاربردی است زیرا برخلاف مدل یادگیری ماشین با نطارت بدون نیاز به برچسب زدن ، الگوهای داده ای را پیدا می کند. شاید در دنیای واقعی یک ربات یا هوش مصنوعی وجود داتشه باشد که پاسخ صحیح و بهینه ای به ما ندهد در این دوره شما قادر خواهید بود به تنهایی با  یادگیری الگوها ، جهان را کشف کنید .آیا از استفاده داده ها در الگوریتم های یادگیری ماشین  با نظارت،  تعجب میکنید ؟ ما یک csu  یا یک جدول داریم که با X_s  و Y_S در ارتباط است.اگر شما در گیر دستیابی به اطلاعات نباشید ممکن است اصلا به آن فکر نکنید اما باید کسی وجود داشته باشد که این اطلاعات را ایجاد کند. Y_Sها باید از یک جایی شروع شوند گاهی اوقات شما به این نوع اطلاعات دسترسی ندارید و یا برای دستیابی به آن باید هزینه کنید پس اگر شما در مرحله آنالیز داده ها و تشخیص الگو ها هستید در مرحله بسیار ارزشمندی هستید .در این زمان است که یادگیری ماشین بدون نظارت برای اجرا بوجود می آید .در این دوره برای اولین بار در مورد خوشه بندی صحبت میشود و بجای آموزش تگ زنی سعی میکنیم از تگ های خودمان  استفاده کنیم.که این کار با گروه بندی کردن داده ها انجام میشود. در این دوره در مورد 2 نوع خوشه بندی صحبت میکنیم : خوشه بندی k-means  و خوشه بندی سلسله مراتبی و برای توزییع احتمالات  و تخمین تراکم ها  از مدل  Gaussian mixture   استفاده میکنیم. در این دوره به یک واقعیت جالب پی میبریم این حقیقت چیز نیست جز اینکه مدل Gaussian mixture   و k-means  دقیقا یکسان هستند که این را اثبات خواهیم کرد. تمام الگوریتم هایی که ما در این دوره در مورد آن صحبت خواهیم کرد همگی براساس یادگیری ماشین و علم داده ای هستند بنابراین برای اینکه بدانیم چگونه از داده ها و الگوها الگوریتم ها را بدون نیاز به تگ کردن استخراج کنیم این دوره بسیار برای شما مناسب است. تمام اینها در این دوره رایگان است شما میتوانید numpy  و python  و scipy  را با دستورات ساده در ویندوز و لینوکس یا مک دانلود و نصب کنید. این دوره به شما کمک میکند تا طریقه ساخت را یاد بگیرید نه فقط نحوه استفاده هرکسی میتواند فقط در 15 دقیقه پس از خواندن توضیحات از یک API  استفاده کند در این دوره تجسم آنچه در مدل رخ میدهد را به شما نشان میدهد.اگر شما بیش از یک نگاه سطحی به مدل های یادگیری ماشین میخواهید این دوره برای شما مناسب است

نوشته آنالیز خوشه بندی و یادگیری ماشین بدون نظارت در پایتون اولین بار در ایران متلب پدیدار شد.

مرور اجمالی

به طور کی، داده کاوی( که گاهی اوقات موسوم به کشف دانش یا داده است)، فرایند تحلیل داده ها از نقطه نظرات مختلف و خلاصه سازی آن به اطلاعات مقید است. اطلاعاتی را که می توان برای افزایش درامد، کاهش هزینه و یا هر دو مورد استفاده قرار داد. نرم افزار داده کاوی، یکی از ابزار های تحلیلی برای تحلیل داده ها است. این نرم افزار به کاربران امکان تحلیل داده ها را از ابعاد و زوایای مختلف، طبقه بندی آن و خلاصه سازی روابط شناسایی شده می دهد. از دیدگاه فنی، داده کاوی، فرایند یافت همبستگی یا الگو های میان چندین رشته در دیتابیس های رابطه مند بزرگ می باشد.

نواوری پیوسته

اگرچه داده کاوی یک اصطلاح نسبتا جدید است، با این حال فناوری یک اصطلاح جدید نمی باشد. شرکت ها از کامپیوتر های قوی برای پردازش حجم زیادی از داده های اسکنر سوپرمارکت و تحلیل گزارش های تحقیقاتی بازاری برای چندین سال استفاده کرده اند. با این حال، نواوری های مستمر در توان پردازش کامپیوتری، حافظه دیسک و نرم افزار های اماری به شدت موجب افزایش صحت تجزیه تحلیل ها ضمن کاهش هزینه شده است.

مثال

برای مثال، یک سوپر مارکت از ظرفیت داده کاوی نرم افزار اوراکل برای تحلیل الگوهای خرید محلی استفاده کرده است. آن ها کشف کرده اند که وقتی مردان پوشک را در روز پنج شنبه یا شنبه خرید می کنند، آن ها تمایل دارند آبجو نیز بخرند. تحلیل بیشتر نشان داده است که این خریداران معمولا خرید هفتگی از سوپر مارکت را در روز شنبه انجام دهند. در پنج شنبه، با این حال آن ها چند ایتم را خریداری می کنند. خرده فروش به این نتیجه رسیده است که مردان آبجو را برای اخر هفته خریداری می کنند. سوپر مارکت می تواند از این اطلاعات جدیدا کشف شده به شیوه های مختلف برای افزایش سود و درامد استفاده کند. برای مثال،آن ها می توانند ویترین ابجو را نزدیک ویترین پوشک قرار دهند. و، آن ها می توانند اطمینان حاصل کنند که ابجو و پوشک با قیمت کامل در پنج شنبه بفروشند.

داده ها، اطلاعات و دانش

داده ها

داده ها شامل هر گونه حقایق، اعداد و متونی هستند که می توانند توسط یک کامپیوتر پردازش شوند. امروزه، سازمان ها در حال انباشت طیف وسیعی از داده ها به فرمت ها و دیتابیس های مختلف هستند از جمله :

• داده های عملیاتی یا تراکنشی نظیر فروش، هزینه، موجودی، و حسابداری
• داده های غیر عملیاتی نظیر فروش صنعتی، داده های پیش بینی و داده های اقتصادی کلان
• فرا داده ها، داده های مربوط به خود داده ها نظیر طرح دیتابیس منطقی یا تعاریف دیکشنری داده ها

اطلاعات

الگو ها، رابط و همبستگی های میان همه این داده ها می توانند اطلاعات را در اختیار بگذارند. برای مثال، تحلیل داده های نقطه تراکنش فروش خرده فروشی می توانند اطلاعاتی را در مورد نوع محصول فروشی و زمان آن ارایه کنند

دانش

اطلاعات را می توان به دانش مربوط به الگو های تاریخی و تغییرات آینده تبدیل کرد. برای مثال، اطلاعات خلاصه در خصوص فروش سوپرمارکت را می توان از حیث تلاش های تبلیغاتی برای ارایه دانش رفتار خرید مصرف کننده تحلیل کرد. از این روی، یک خرده فروش یا تولید کننده قادر به تعیین نوع گویه هایی است که بیشترین حساسیت را به تلاش های تبلیغاتی دارند.

انبار های داده ها

پیشرفت های بنیادین در جذب داده ها، توان پردازشی، انتقال داده ها و ظرفیت های ذخیره سازی و حافظه ای سازمان ها را قادر به تلفیق دیتابیس های مختلف در انبار های داده ها می کنند. انبار داده ها به صورت فرایند مدیریت داده های متمرکز و نیز بازیابی آن ها تعریف می شود. انبار داده ها نظیر داده کاوی، یک اصطلاح نسبتا جدید است اگرچه این مفهوم به خودی خود به مدت سال ها وجود داشته است. انبار داده ها یک چشم انداز ایده ال برای حفظ مخازن مرکزی داد ه های سازمانی است. متمرکز سازی داده ها برای بیشیته سازی دسترسی و تحلیل کاربر نیاز است. پیشرفت های فناوری مهم موجب شده است تا این چشم انداز به یک واقعیت برای بسیاری از شرکت ها تبدیل شود. و پیشرفت های دیگر در نرم افزار های تحلیل داده ها به کاربران امکان دسترسی به این داده ها را به طور رایگان می دهد. نرم افزار تحلیل داده ها، از داده کاوی پشتیبانی می کند.

دانلود رایگان درس داده کاوی دانشگاه اصفهان

جلسه اول

جلسه دوم

جلسه سوم

جلسه چهارم

جلسه پنجم

جلسه ششم

جلسه هفتم

جلسه هشتم

جلسه نهم

جلسه دهم

جلسه یازدهم

جلسه دوازدهم

جلسه سیزدهم

جلسه چهاردهم

جلسه پانزدهم

جلسه شانزدهم

جلسه هفدهم

جلسه هیجدهم

جلسه نوزدهم

جلسه بیستم

محصولات مرتبط

نوشته داده کاوی data mining اولین بار در ایران متلب پدیدار شد.