چرا این آموزش ؟

در سالهای اخیر سیل علاقه مندان بسیار زیادی وارد بورس شده اند و برخی از آنها سودهای میلیاردی نصیب خود کرده اند. برخی از آنها به تحلیل های اقتصادی و تکنیکال بورس آشنایی دارند و می توانند روند تغییر قیمت در بورس را پیش بینی کنند. اما همه این دانش و توانایی را ندارند.

خبری در سایت CNN امده است که غول فناوری دنیا IBM ، یک سخت‌افزار ویژه برای استفاده از هوش مصنوعی در علم اقتصاد طراحی کرده است که نشان می دهد هوش مصنوعی چقدر می تواند به فعالین بورس کمک کند. 

یکی از ابزارهای بسیار پرکاربرد و مفید در جهان، هوش مصنوعی می باشد. هم اکنون ماشین های بدون راننده با کمک الگوریتم های هوش مصنوعی در خیابان های تعدادی از کشورهای دنیا در حال رفت و آمد هستند که نشان دهنده قدرت و کاربردی بودن هوش مصنوعی دارد. گروه ایران متلب بنا به تجربه طولانی خود با مدلهای مختلف هوش مصنوعی، تصمیم گرفت این آموزش منحصربفرد را تهیه و عرضه کند. برای تهیه این آموزش چندین پایان‌نامه ارشد و دکتری در رشته های اقتصاد و مهندسی و کامپیوتر مطالعه شده است.

سرفصل های آموزش :

(با توجه به انحصاری بودن این آموزش، سرفصل ها حذف شد، در آموزش اصلی که برای شما ارسال می شود، سرفصل ها کامل وجود دارند)

ما در قسمت برنامه نویسی هم از متلب و هم از پایتون استفاده کرده ایم.

نوشته بسته آموزشی جامع پیش بینی بورس با هوش مصنوعی اولین بار در ایران متلب پدیدار شد.

به کارگیری سیستمهای تشخیص خطا نقش اساسی در بهبود بهره برداری سیستمهای صنعتی و پیشگیری از وقایع منجر به خسارات سنگین دارد. طراحی کنترل فیدبک معمولی برای یک سیستم پیچیده، در شرایط خطای actuators ، sensors یا دیگر مولفه های سیستم ، ممکن است منجر به عملکرد نامطلوب یا حتی ناپایداری سیستم شود. برای غلبه بر این ضعفها ، شیوه جدیدی از طراحی کنترل کننده ها بوجود آمده، به این صورت که با حفظ عملکرد و پایداری مطلوب سیستم ، خطاهای مولفه های سیستم را تحمل می کند . برای رسیدن به این اهداف کنترل کننده هایی به نام Fault-tolerant control systems (FTCS) وجود دارند .

در حالت کلی کنترلرهای FTCSبه دو دسته Active (AFTCS) وPassive (PFTCS) طبقه بندی می شوند.

از دیدگاه روشهای کنترلی ، کنترل کننده های AFTCS به دسته های مختلفی تقسیم می شوند که یکی از این طبقه بندی ها بر اساس وابستگی به سیستم است:

1) Model-based 2) (Model-free) Data-based . این دسته بندی دوباره به دو نوع کمی (quantitative) و کیفی (qualitative) تقسیم می شود . در شکل زیر این دسته بندی بطور کامل نشان داده شده است :

در این پروژه ، مسیر حرکت در راستای شیوه data-based می باشد و وارد شاخه روشهای کیفی (Qualitative) می شویم . روشهای کنترلی در این شاخه و به ویژه روشهای Fuzzy Logic و Expert Systems مورد بررسی قرار می گیرند.

فایل های سیمولینک و متلب و گزارش خط به خط برنامه هم موجود می باشد.

نوشته طراحی سیستمهای تشخیص خطا با استفاده از روشهای کیفی مبتنی بر داده اولین بار در ایران متلب پدیدار شد.

معمولا  به صورت رکورد  ( تعداد زیاد بر روی دیسک)  و روابط بین رکورد ها سازمان دهی می شود، 

این آموزش مربوط به سیستم های مدیریت دیتابیس (DBMS) می باشد:  سیستم های ایجاد،  دست کاری، دسترسی به دیتابیس.

DBMS یک قطعه از نرم افزار است که در  جلوی مجموعه ای از داده ها قرار گرفته و موجب تعدیل  و تسهیل دسترسی نرم افزار ها به داده ها  شده و از این روی تضمین کننده بسیاری از ویژگی ها در مورد داده و دسترسی ها است.

 چرا  باید برای شما مهم باشد؟

• فراگیر بودن ( در همه جا از  گوشی های هوشمند تا  ویکی پدیا)
• اهمیت در دنیای واقعی: بازار نرم افزار( تقریبا اندازه یکسان با  بازار OS  با $20B/y (20 بیلیون دلار در سال)). وب سایت ها، شرکت های بزرگ، پروژه های علمی ، همگی  هم عملیات روزانه و هم عملیات هوش کسب و کار و داده کاوی را مدیریت می کنند
• شما اگر می خواهید به  هدف خود برسید باید از دیتابیس ها یا پایگاه داده ها اطلاع داشته باشید.

 هدف DBMS ، ساده سازی  ذخیره سازی و دسترسی داده  می باشد. برای این منظور، DBMS تسهیلاتی را ارایه می کند که عملیات رایج را بر روی  داده ها انجام می دهند. جامعه دیتابیس، تلاش زیادی را به رسمی سازی مفاهیم کلیدی که بسیاری از برنامه ها از آن برای اصلاح داده ها استفاده می کنند  تخصیص داده است.

 این خود یک زمینه رسمی را برای بحث در مورد ملزومات برنامه در خصوص دسترسی و ذخیره داده ها ارایه کرده و شیوه های رفع نیاز های DBMS را مقایسه می کند. از این روی ابزار های مفهومی قوی برای شما ارایه می شود .  

 یک دوره آموزشی برای معرفی   سیستم های دیتابیس به دانشجویان ارایه شده است که بر اصولی نظیر جبر رابطه مند و  مدل داده ها، بهینه سازی صف، پردازش صف ونیز معاملات تاکید دارند. این یک دوره امزوی مربوط به  طراحی دیتابیس یا برنامه نویسی SQL نیست.

هیچ تجربه قبلی در مورد دیتابیس نیاز نیست.

دکتر امینی استادیار دانشکده کامپیوتر دانشگاه صنعتی شریف

جلسه اول

جلسه دوم

جلسه سوم

جلسه چهارم

جلسه پنجم

جلسه ششم

جلسه هفتم

جلسه هشتم

جلسه نهم

جلسه دهم

جلسه یازدهم

جلسه دوازدهم

جلسه سیزدهم

جلسه چهاردهم

جلسه پانزدهم

جلسه شانزدهم

جلسه هفدهم

جلسه هیجدهم

جلسه نوزدهم

جلسه بیستم

جلسه بیست و یکم

جلسه بیست و دوم

جلسه بیست و سوم

جلسه بیست و چهارم

جلسه بیست و پنجم

جلسه بیست و ششم

نوشته آموزش فارسی پایگاه داده اولین بار در ایران متلب پدیدار شد.

مرور اجمالی

به طور کی، داده کاوی( که گاهی اوقات موسوم به کشف دانش یا داده است)، فرایند تحلیل داده ها از نقطه نظرات مختلف و خلاصه سازی آن به اطلاعات مقید است. اطلاعاتی را که می توان برای افزایش درامد، کاهش هزینه و یا هر دو مورد استفاده قرار داد. نرم افزار داده کاوی، یکی از ابزار های تحلیلی برای تحلیل داده ها است. این نرم افزار به کاربران امکان تحلیل داده ها را از ابعاد و زوایای مختلف، طبقه بندی آن و خلاصه سازی روابط شناسایی شده می دهد. از دیدگاه فنی، داده کاوی، فرایند یافت همبستگی یا الگو های میان چندین رشته در دیتابیس های رابطه مند بزرگ می باشد.

نواوری پیوسته

اگرچه داده کاوی یک اصطلاح نسبتا جدید است، با این حال فناوری یک اصطلاح جدید نمی باشد. شرکت ها از کامپیوتر های قوی برای پردازش حجم زیادی از داده های اسکنر سوپرمارکت و تحلیل گزارش های تحقیقاتی بازاری برای چندین سال استفاده کرده اند. با این حال، نواوری های مستمر در توان پردازش کامپیوتری، حافظه دیسک و نرم افزار های اماری به شدت موجب افزایش صحت تجزیه تحلیل ها ضمن کاهش هزینه شده است.

مثال

برای مثال، یک سوپر مارکت از ظرفیت داده کاوی نرم افزار اوراکل برای تحلیل الگوهای خرید محلی استفاده کرده است. آن ها کشف کرده اند که وقتی مردان پوشک را در روز پنج شنبه یا شنبه خرید می کنند، آن ها تمایل دارند آبجو نیز بخرند. تحلیل بیشتر نشان داده است که این خریداران معمولا خرید هفتگی از سوپر مارکت را در روز شنبه انجام دهند. در پنج شنبه، با این حال آن ها چند ایتم را خریداری می کنند. خرده فروش به این نتیجه رسیده است که مردان آبجو را برای اخر هفته خریداری می کنند. سوپر مارکت می تواند از این اطلاعات جدیدا کشف شده به شیوه های مختلف برای افزایش سود و درامد استفاده کند. برای مثال،آن ها می توانند ویترین ابجو را نزدیک ویترین پوشک قرار دهند. و، آن ها می توانند اطمینان حاصل کنند که ابجو و پوشک با قیمت کامل در پنج شنبه بفروشند.

داده ها، اطلاعات و دانش

داده ها

داده ها شامل هر گونه حقایق، اعداد و متونی هستند که می توانند توسط یک کامپیوتر پردازش شوند. امروزه، سازمان ها در حال انباشت طیف وسیعی از داده ها به فرمت ها و دیتابیس های مختلف هستند از جمله :

• داده های عملیاتی یا تراکنشی نظیر فروش، هزینه، موجودی، و حسابداری
• داده های غیر عملیاتی نظیر فروش صنعتی، داده های پیش بینی و داده های اقتصادی کلان
• فرا داده ها، داده های مربوط به خود داده ها نظیر طرح دیتابیس منطقی یا تعاریف دیکشنری داده ها

اطلاعات

الگو ها، رابط و همبستگی های میان همه این داده ها می توانند اطلاعات را در اختیار بگذارند. برای مثال، تحلیل داده های نقطه تراکنش فروش خرده فروشی می توانند اطلاعاتی را در مورد نوع محصول فروشی و زمان آن ارایه کنند

دانش

اطلاعات را می توان به دانش مربوط به الگو های تاریخی و تغییرات آینده تبدیل کرد. برای مثال، اطلاعات خلاصه در خصوص فروش سوپرمارکت را می توان از حیث تلاش های تبلیغاتی برای ارایه دانش رفتار خرید مصرف کننده تحلیل کرد. از این روی، یک خرده فروش یا تولید کننده قادر به تعیین نوع گویه هایی است که بیشترین حساسیت را به تلاش های تبلیغاتی دارند.

انبار های داده ها

پیشرفت های بنیادین در جذب داده ها، توان پردازشی، انتقال داده ها و ظرفیت های ذخیره سازی و حافظه ای سازمان ها را قادر به تلفیق دیتابیس های مختلف در انبار های داده ها می کنند. انبار داده ها به صورت فرایند مدیریت داده های متمرکز و نیز بازیابی آن ها تعریف می شود. انبار داده ها نظیر داده کاوی، یک اصطلاح نسبتا جدید است اگرچه این مفهوم به خودی خود به مدت سال ها وجود داشته است. انبار داده ها یک چشم انداز ایده ال برای حفظ مخازن مرکزی داد ه های سازمانی است. متمرکز سازی داده ها برای بیشیته سازی دسترسی و تحلیل کاربر نیاز است. پیشرفت های فناوری مهم موجب شده است تا این چشم انداز به یک واقعیت برای بسیاری از شرکت ها تبدیل شود. و پیشرفت های دیگر در نرم افزار های تحلیل داده ها به کاربران امکان دسترسی به این داده ها را به طور رایگان می دهد. نرم افزار تحلیل داده ها، از داده کاوی پشتیبانی می کند.

دانلود رایگان درس داده کاوی دانشگاه اصفهان

جلسه اول

جلسه دوم

جلسه سوم

جلسه چهارم

جلسه پنجم

جلسه ششم

جلسه هفتم

جلسه هشتم

جلسه نهم

جلسه دهم

جلسه یازدهم

جلسه دوازدهم

جلسه سیزدهم

جلسه چهاردهم

جلسه پانزدهم

جلسه شانزدهم

جلسه هفدهم

جلسه هیجدهم

جلسه نوزدهم

جلسه بیستم

محصولات مرتبط

نوشته داده کاوی data mining اولین بار در ایران متلب پدیدار شد.

یکی از سوالات علاقه مندان به big data از ما در کلاس ها و سمینارها ، نحوه استفاده از متلب برای کار با داده های حجیم است.

هم اکنون نرم افزارهای متعددی برای کار با داده های بزرگ وجود دارد مانند

IBM Bigdata Analytics

HP Big Data

SAP Bigdata Analysis

MicroSoft Bigdata

اما یادگیری این نرم افزارها زمان زیادی لازم دارد.

عده ای معتقد بودند که متلب چون یک زبان برنامه نویسی سطح بالا است ، لذا نمی تواند با داده های خیلی بزرگ کار کند و مشکل حافظه (memory) بر می خورد. صحبت این افراد کاملا درست می باشد. یکی از مشکلات متلب عدم توانایی کار با داده های حجیم می باشد. ولی گروه ایران متلب بعد از تحقیقات طولانی و تماس با کارشناسان متلب ، متوجه شد که از نسخه 2016 به بعد، متلب این مشکل را برطرف کرده است.

اکنون ما به برنامه نویسان متلب این خبر خوش را می دهیم که می توانید از این به بعد ، داده های بسیار بزرگ را در متلب بارگذاری کنید و عملیات پیچیده ای بر روی آنها انجام دهید و متلب آخ! هم نگوید.

این فیلم آموزشی به موضوع استفاده از متلب در داده های حجیم اختصاص دارد. ما به شما نحوه بارگذاری و استفاده از big data را آموزش می دهیم. در طول آموزش با چند مثال عملی ، سعی کرده ایم که نشان دهیم می توانید از داده های خیلی بزرگ هم در الگوریتم های یادگیری ماشین استفاده کنید.

امیدوارم از این محصول منحصربفرد ایران متلب نهایت استفاده و لذت را ببرید.

سرفصل :

معرفی یک سیستم آنالیز داده با متلب
به چه مقدار داده ، داده حجیم یا big data گفته می شود؟
چه مقدار داده برای یک کامپیوتر معمولی بزرگ است ؟
مشخصه های یک مسئله داده حجیم
آیا از کدهای معمولی متلب میتوان در داده بزرگ استفاده کرد؟
معرفی آرایه جدید
آیا میتوان چندین فایل را به عنوان یک متغییر در متلب تعریف کرد؟
آرایه های توزیع شده
آرایه های گرافیکی
آرایه های مخصوص داده بزرگ
محاسبات متلب در چه حافظه ای انجام می شوند؟
انجام محاسبات بر روی کارت گرافیک
چه موقع از آرایه های داده بزرگ استفاده می کنیم؟
چه نوع داده های بزرگی را متلب پشتیبانی می کند؟
کدام کلاس متغییر ها را پشتیبانی می کند؟
آیا یادگیری ماشین با داده های بزرگ میتوان در متلب انجام داد؟
وارد کردن داده های excel یا csv حجیم در متلب
پردازش موازی در داده بزرگ
تغییر داده های نا مشخص missing values
شروع برنامه نویسی متلب داده بزرگ
متغییر Tabular Text Data store
فیلد VariableNames
مفهوم … (سه نقطه)
مفهوم Delimiter
فیلد TreatAsMissing
فیلد MissingValues
فیلد TextscanFormat
فیلد ReadSize
فیلد SelectedFormat
پیش نمایش داده ها
استخراج بخشی از داده ها
فیلد SelectedVariableNames
فیلد SelectedFormats
تغییر فرمت فیلدها
عملیات بر روی داده های بزرگ درمتلب
مفهوم unevaluated
عملیات ریاضی
انتقال نتیجه حاصل به workspace
آیا هر دستوری را میتوان بر روی داده بزرگ اعمال کرد؟
دستورات حاوی NAN
استخراج قسمت های بالایی
استخراج قسمت های پایینی
اندیس دهی (logical و 1:k و end-k:end )
انتخاب خانه های مشخص
مرتب کردن
صعودی و نزولی
مرتب کردن بر اساس 2 ستون
حذف مقادیر گم missing value
رسم داده
رسم هیستوگرام
هیستوگرام دو بعدی
یک مثال یادگیری ماشین
وارد کردن دیتا به برنامه
مشخص کردن داده های ورودی و هدف آموزش
مشخص کردن داده های ورودی و هدف تست
آموزش مدل با داده های آموزش
تست مدل آموزش یافته
تبدیل داده های tabular به آرایه
ارزیابی مدل نهایی
محاسبه MSE
رسم نمودار خطا
معرفی توابع یادگیری ماشین که می توان در داده بزرگ استفاده کرد؟

مشاهده قسمت اول :

نوشته آموزش فارسی متلب برای داده بزرگ MATLAB for Big Data اولین بار در ایران متلب پدیدار شد.

شايد اين سوال براي شما ايجاد شود كه ديتابيس چه اندازه اي داشته باشد تا به عنوان يك big data در نظر گرفته شود؟ هيچ جواب مشخص و سريعي براي اين سوال وجود ندارد. بلكه به طور كلي اين اصلاح (big data) به دنبال يافتن ابزار هاو تكنيك هايي است كه قادر باشد ديتاست هاي بزرگ را هم پردازش كند. برخي از برنامه هاي اين حوزه، چندين ماشين پردازنده را با هم به طور موازي استفاده مي كنند تا بتوانند در مدت زمان قابل قبولي همه داده ها را پردازش كنند.

 كاربردهاي بسيار شاخص در اين حوزه در شبكه هاي اجتماعي و موتورهاي جستجو مي باشد. مديران شبكه هاي اجتماعي دوست دارند رفتار كابران خود را مورد تجزيه و تحليل قرار دهند تا آنرا به محتوي مورد علاقه اشان متصل كنند و هم تبليغات مرتبط با آنها را پخش كنند و همانطور كه مي دانيم برخي از اين شبكه هاي اجتماعي بيش از ميليون ها كاربر دارند. مثال بعدي موتورهاي جستجو مي باشند. موتورهاي جستجو هم با سيلي عظيمي از اطلاعات در سايتهاي مختلف در ارتباط هستند، تحليل رفتار كاربر در صفحات نتيجه جستجو به آنها خيلي كمك مي كند تا در جستجوهاي بعدي، نتايج بهتري را به كاربر خود نشان دهند و سطح رضايت او را افزايش دهند.

استاد دکتر محمد علی آبام، استاد دانشگاه صنعتی شریف

جلسه اول

جلسه دوم

جلسه سوم

جلسه چهارم

جلسه پنجم

جلسه ششم

جلسه هفتم

جلسه هشتم

جلسه نهم

جلسه دهم

جلسه یازدهم

جلسه دوازدهم

جلسه سیزدهم

جلسه چهاردهم

جلسه پانزدهم

جلسه شانزدهم

جلسه هفدهم

جلسه هیجدهم

جلسه نوزدهم

جلسه بیستم

نوشته فيلم آموزشي فارسي داده بزرگ اولین بار در ایران متلب پدیدار شد.

عمده شهرت وکا به خاطر سادگی کار با آن و تعداد زیاد روشهای موجود داده کاوی آن می باشد. شما در این نرم افزار می توانید بیشتر دسته بندی کننده های مهم را پیدا کنید. هر دسته بندی کننده برای خود تنظیماتی دارد که کاربر می تواند با تغییر آنها نحوه عملکرد آنرا تنظیم کند.

کار با نرم افزار وکا معایبی دارد. یکی از مهم ترین معایب آن بسته بودن دست کاربر در تغییر توابع این نرم افزار است. به عبارت دیگر شما نمی توانید هیچ تغییری در روال اجرای یک دسته بندی کننده به عنوان مثال شبکه عصبی بدهید. شما فقط باید دیتا بدهید. خروجی بدهید. اگر بخواهید کد جاوا شبکه عصبی را تغییر دهید و یک شبکه عصبی بنا به ایده خود داشته باشید، غیر ممکن است. اما نرم افزار متلب MATLAB این مشکل را ندارد. در متلب شما می توانید هر تغییری که خواستید در کد انجام دهید.

عیب بعدی وکا این است که همه چیز به صورت GUI انجام می شود. یعنی تمامی عملیات با کلیک کاربر انجام می شود و برای هر کاری پنجره ای تعریف شده است. لذا اگر شما بخواهید تغییری در روند برنامه انجام دهید باید همه چیز را از اول با کلیک انجام دهید. ولی در متلب شما می توانید یک پروژه بزرگ را پیاده سازی کنید و برای تغییر یک قسمت از تابع تنها به همان بخش مراجعه کرده و تغییر خود را اعمال کنید و سپس تنها با یک کلیک نتیجه تغییرات جدید را ببینید.

یکی از مشکلات متلب عدم وجود تمامی توابع وکا می باشد. نرم افزار وکا از نظر تعداد دسته بندی کننده ها نسبت به متلب کاملتر است. لذا گاهی لازم می شود که ما یکی از توابع وکا در متلب فراخوانی کنیم و از آن استفاده کنیم.

در این فیلم آموزشی قصد داریم که به شما نحوه استفاده از توابع وکا در متلب را آموزش بدهیم.

نوشته آموزش استفاده از weka در matlab اولین بار در ایران متلب پدیدار شد.

مجموعه این سه فیلم آموزشی می توانید به عنوان بسته آموزشی داده کاوی تهیه کنید.

نوشته بسته آموزشی داده کاوی اولین بار در ایران متلب پدیدار شد.

زبان برنامه نویسی پایتون یکی از زبان های برنامه نویسی است که به سرعت در حال افزایش محبوبیت و کاربرد در بین برنامه نویسان می باشد.

یکی از کاربردهای زبان برنامه نویسی پایتون در پیاده سازی الگوریتم های خوشه بندی (clustering ) می باشد.

سر فصل ها :

معرفی آنالیز عناصر پایه (principle Component Analysis ) (PCA)

آنالیز عناصر پایه PCA در پایتون

معرفی خوشه بندی K-means

خوشه بندی K-means در پایتون

معرفی DBSCAN

معرفی خوشه بندی سلسله مراتبی Hierarchical

خوشه بندی سلسله مراتبی در پایتون

نوشته خوشه بندی (clustering) در پایتون اولین بار در ایران متلب پدیدار شد.

زبان برنامه نویسی پایتون یکی از زبان های برنامه نویسی است که به سرعت در حال افزایش محبوبیت و کاربرد در بین برنامه نویسان می باشد.

تحليل رگرسيوني فن و تکنيکي آماري براي بررسي و مدل سازي ارتباط بين متغيرها است. رگرسيون تقريباً در هر زمينه اي از جمله مهندسي، فيزيک، اقتصاد، مديريت، علوم زيستي، بيولوژي و علوم اجتماعي برای برآورد و پیشبینی مورد نیاز است .

مي توان گفت تحليل رگرسيوني، پرکاربردترین روش در بين تکنيک هاي آماري است. شمايي کلي و خلاصه شده از يک تحليل رگرسيوني ساده به صورت زير مي باشد:
در ابتدا تحليل گر حدس مي زند که بين دو متغير نوعي ارتباط وجود دارد ، در حقيقت حدس مي زند که يک رابطه به شکل يک خط بين دو متغير وجود دارد و سپس به جمع آوري اطلاعات کمي از دو متغير مي پردازد و اين داده ها را به صورت نقاطي در يک نمودار دو بعدي رسم مي کند.

سرفصل مطالب :

معرفی رگرسیون خطی

مثالی از رگرسیون خطی

معرفی رگرسیون لوجستیک logistic

مفهوم cross validation

برنامه نویسی پایتون رگرسیون خطی

برنامه نویسی پایتون رگرسیون لوجستیک

مثال 1 برنامه نویسی پایتون رگرسیون : تابع سیگمویید

مثال 2 برنامه نویسی پایتون رگرسیون

مثال 3 برنامه نویسی پایتون رگرسیون : امتیازدهی اعتبار credit scoring

نوشته رگرسیون (regression) در پایتون اولین بار در ایران متلب پدیدار شد.