مرور اجمالی

به طور کی، داده کاوی( که گاهی اوقات موسوم به کشف دانش یا داده است)، فرایند تحلیل داده ها از نقطه نظرات مختلف و خلاصه سازی آن به اطلاعات مقید است. اطلاعاتی را که می توان برای افزایش درامد، کاهش هزینه و یا هر دو مورد استفاده قرار داد. نرم افزار داده کاوی، یکی از ابزار های تحلیلی برای تحلیل داده ها است. این نرم افزار به کاربران امکان تحلیل داده ها را از ابعاد و زوایای مختلف، طبقه بندی آن و خلاصه سازی روابط شناسایی شده می دهد. از دیدگاه فنی، داده کاوی، فرایند یافت همبستگی یا الگو های میان چندین رشته در دیتابیس های رابطه مند بزرگ می باشد.

نواوری پیوسته

اگرچه داده کاوی یک اصطلاح نسبتا جدید است، با این حال فناوری یک اصطلاح جدید نمی باشد. شرکت ها از کامپیوتر های قوی برای پردازش حجم زیادی از داده های اسکنر سوپرمارکت و تحلیل گزارش های تحقیقاتی بازاری برای چندین سال استفاده کرده اند. با این حال، نواوری های مستمر در توان پردازش کامپیوتری، حافظه دیسک و نرم افزار های اماری به شدت موجب افزایش صحت تجزیه تحلیل ها ضمن کاهش هزینه شده است.

مثال

برای مثال، یک سوپر مارکت از ظرفیت داده کاوی نرم افزار اوراکل برای تحلیل الگوهای خرید محلی استفاده کرده است. آن ها کشف کرده اند که وقتی مردان پوشک را در روز پنج شنبه یا شنبه خرید می کنند، آن ها تمایل دارند آبجو نیز بخرند. تحلیل بیشتر نشان داده است که این خریداران معمولا خرید هفتگی از سوپر مارکت را در روز شنبه انجام دهند. در پنج شنبه، با این حال آن ها چند ایتم را خریداری می کنند. خرده فروش به این نتیجه رسیده است که مردان آبجو را برای اخر هفته خریداری می کنند. سوپر مارکت می تواند از این اطلاعات جدیدا کشف شده به شیوه های مختلف برای افزایش سود و درامد استفاده کند. برای مثال،آن ها می توانند ویترین ابجو را نزدیک ویترین پوشک قرار دهند. و، آن ها می توانند اطمینان حاصل کنند که ابجو و پوشک با قیمت کامل در پنج شنبه بفروشند.

داده ها، اطلاعات و دانش

داده ها

داده ها شامل هر گونه حقایق، اعداد و متونی هستند که می توانند توسط یک کامپیوتر پردازش شوند. امروزه، سازمان ها در حال انباشت طیف وسیعی از داده ها به فرمت ها و دیتابیس های مختلف هستند از جمله :

• داده های عملیاتی یا تراکنشی نظیر فروش، هزینه، موجودی، و حسابداری
• داده های غیر عملیاتی نظیر فروش صنعتی، داده های پیش بینی و داده های اقتصادی کلان
• فرا داده ها، داده های مربوط به خود داده ها نظیر طرح دیتابیس منطقی یا تعاریف دیکشنری داده ها

اطلاعات

الگو ها، رابط و همبستگی های میان همه این داده ها می توانند اطلاعات را در اختیار بگذارند. برای مثال، تحلیل داده های نقطه تراکنش فروش خرده فروشی می توانند اطلاعاتی را در مورد نوع محصول فروشی و زمان آن ارایه کنند

دانش

اطلاعات را می توان به دانش مربوط به الگو های تاریخی و تغییرات آینده تبدیل کرد. برای مثال، اطلاعات خلاصه در خصوص فروش سوپرمارکت را می توان از حیث تلاش های تبلیغاتی برای ارایه دانش رفتار خرید مصرف کننده تحلیل کرد. از این روی، یک خرده فروش یا تولید کننده قادر به تعیین نوع گویه هایی است که بیشترین حساسیت را به تلاش های تبلیغاتی دارند.

انبار های داده ها

پیشرفت های بنیادین در جذب داده ها، توان پردازشی، انتقال داده ها و ظرفیت های ذخیره سازی و حافظه ای سازمان ها را قادر به تلفیق دیتابیس های مختلف در انبار های داده ها می کنند. انبار داده ها به صورت فرایند مدیریت داده های متمرکز و نیز بازیابی آن ها تعریف می شود. انبار داده ها نظیر داده کاوی، یک اصطلاح نسبتا جدید است اگرچه این مفهوم به خودی خود به مدت سال ها وجود داشته است. انبار داده ها یک چشم انداز ایده ال برای حفظ مخازن مرکزی داد ه های سازمانی است. متمرکز سازی داده ها برای بیشیته سازی دسترسی و تحلیل کاربر نیاز است. پیشرفت های فناوری مهم موجب شده است تا این چشم انداز به یک واقعیت برای بسیاری از شرکت ها تبدیل شود. و پیشرفت های دیگر در نرم افزار های تحلیل داده ها به کاربران امکان دسترسی به این داده ها را به طور رایگان می دهد. نرم افزار تحلیل داده ها، از داده کاوی پشتیبانی می کند.

دانلود رایگان درس داده کاوی دانشگاه اصفهان

جلسه اول

جلسه دوم

جلسه سوم

جلسه چهارم

جلسه پنجم

جلسه ششم

جلسه هفتم

جلسه هشتم

جلسه نهم

جلسه دهم

جلسه یازدهم

جلسه دوازدهم

جلسه سیزدهم

جلسه چهاردهم

جلسه پانزدهم

جلسه شانزدهم

جلسه هفدهم

جلسه هیجدهم

جلسه نوزدهم

جلسه بیستم

محصولات مرتبط

نوشته داده کاوی data mining اولین بار در ایران متلب پدیدار شد.

در این مقاله از ترکیب یک سیستم فازی و شبکه ماشین بردار پشتیبان برای بخش‌بندی پوست صورت استفاده شده است. ساختار شبکه مذکور (FS-FCSVM) بدین شکل است که عمل خوشه‌بندی فازی بر روی داده‌های ورودی انجام می‌گیرد که این امر منجر به کاهش تعداد قوانین فازی می‌گردد. سپس پارامترهای شبکه با استفاده از شبکه بردار ماشین پشتیبان آموزش داده می‌شوند که در نتیجه به شبکه با قابلیت تعمیم پذیری بالاتر دست می‌یابیم. برنامه نوشته شده از قسمت‌های اصلی زیر تشکیل شده است.
1) Main2: که برنامه اصلی اجرا شده برای مقایسه روشهای کلاس بندی است. اجرای این برنامه منحنی ROC و تصویر بخش‌بندی‌شده نمونه را نشان می‌دهد.
2) PointsManual و ManualSegmentation: که با اجرای ManualSegmentation می‌توان به بخش‌بندی دستی تصاویر پرداخت. این برنامه برای ناحیه بندی پوست و مقایسه آن در نتایج کلاس بندی لازم است. با اجرای برنامه تابع PointsManual فراخوانی می‌شود. برای هر تصویر با کلیک ماوس یک نقطه مشخص می‌شود. برای آخرین نقطه از کلیک راست ماوس استفاده می‌کنیم. در نتیجه یک منحنی اسپلاین به نقاط فیت شده و ناحیه صورت در تصویر مشخص می‌شود.

ساختار کد برنامه Main از قسمت‌های زیر تشکیل شده است:
1- Path & Parameters: در این قسمت از برنامه مسیرهای مهم و پارامترهای مهم برنامه را مقداردهی و مشخص می‌کنیم. این مسیرها شامل مسیر تصاویر و توابع دستورات SVM است.
2- Read Dataset: در این قسمت همه تصاویر اصلی و تصاویر بخش‌بندی شده خوانده می‌شود. در تصاویر بخش‌بندی‌شده، بافت پوست از بقیه قسمتها مجزا شده است.
3- Feature Extraction: در این قسمت ویژگی‌های Hue و Saturation از تصاویر HSI تصاویر اصلی خوانده می‌شود. این دو با هم یک بردار ویژگی دوبعدی را برای هر تصویر ایجاد می‌کنند.
4- Feature Normalization: مقادیر ویژگی‌های مورد نظر برای یکسان‌سازی به مقادیر بین صفر و یک نرمالیزه می‌شوند.
5- Separate Test & Train: دراین قسمت داده‌های موجود به دو دسته داده آموزش و تست تقسیم می‌شوند. به طور معمول دو سوم داده ها را داده آموزش انتخاب می کنیم و بقیه داده‌ها به عنوان تست درنظرگرفته می‌شوند.
6- Extract Samples: دراین قسمت که بخشی از قسمت قبل است از همه پیکسل‌ها یک تعداد مشخصی از هر تصویر را که در برنامه 100 پیکسل گذاشته‌ایم به عنوان داده ورودی آموزش و تست انتخاب می‌کنیم. این انتخاب به شکل تصادفی انجام می‌پذیرد.
7- SVM Classification: بعد از جدا کردن داده ‌های آموزش و تست، ابتدا با داده آموزشی شبکه SVM را آموزش می‌دهیم و سپس با داده تست به ارزیابی دقت آن می‌پردازیم. دقت ردیابی و خطای تشخیص خروجی این قسمت به ازای مقادیر مختلف پارامتر SVM بدست می آید و منحنی ROC رسم می‌شود.
8- Anfis Classification: بعد از جدا کردن داده ‌های آموزش و تست، ابتدا با داده آموزشی شبکه Anfis فازی را آموزش می‌دهیم و سپس با داده تست به ارزیابی دقت آن می‌پردازیم. دقت ردیابی و خطای تشخیص خروجی این قسمت به ازای مقادیر مختلف پارامتر Anfis بدست می آید و منحنی ROC رسم می‌شود.
9- FS-FCSVM Classification: در این قسمت از شبکه پیشنهادی مقاله برای آموزش و تست شبکه استفاده می‌شود. ابتدا با خوشه بندی فازی روی داده‌های ورودی، مقادیر توابع عضویت داده ها محاسبه می‌شود و سپس روی این مقادیر توابع شبکه SVM را اعمال می کنیم. دقت ردیابی و خطای تشخیص خروجی این قسمت به ازای مقادیر مختلف پارامتر FS_FCSVM بدست می آید و منحنی ROC رسم می‌شود.
10- Test Image Segmentation: در این قسمت میزان دقت شبکه ایجاد شده را برای یک تصویر آزمایشی امتحان می‌کنیم و تمام پیکسل‌های آن را به عنوان داده ورودی برای کلاس‌بندی پوست و غیرپوست به شبکه می‌دهیم. نتیجه کلاس بندی به صورت یک تصویر نشان داده می‌شود که در آن نقاط پوست دارای شدت روشنایی متناظر آن در تصویر ورودی و نقاط غیرپوست دارای شدت صفر هستند.

نوشته کد متلب سیستم آموزش دیده فازی با استفاده از شبکه فازی و ماشین بردار پشتیبان برای بخش‌بندی رنگی پوست صورت اولین بار در ایران متلب پدیدار شد.