پردازش داده های بزرگ در اسپارک با استفاده از PySpark API پایتون

توضیحات

توضیح فیلم
اگر شما در پایتون تجربه و مهارت داشته باشید و می خواهید آن را ارتقا دهید این فیلم یک منبع مفید با راهکارهای عملی برای شما خواهد بود.فیلم های آموزشی در این دوره جامغ یادگیری ، به شما نشان می دهد که چگونه از پایتون برای پردازش وظایف سیستم های توزیع شده استفاده کنید.همچنین طریقه نمایش پردازش داده های بزرگ در اسپارک با استفاده از PySparkAPI را به شما نشان می دهد
جدول محتوا :
ساخت Data Pipelines با پایتون
به این دوره خوش آمدید
درباره نویسنده
چگونگی دسترسی به فایل های کاریتان
مقدمه ای بر اتوماسیون
ماجراجویی با سرور ها
مرااقبت صحیح از سیستم
صف چیست؟
مصرف کننده چیست؟ تولید کننده چیست ؟
چرا Celery ؟
معماری و تنظیمات Celery
چرا Dask ؟
اولین قدم با Dask
بسته های Dask
Dask توزیع شده
DataPipeline چیست ؟ Dag چیست؟
مقایسه Airflow و Luigi
اولین قدم با luigi
وظایف ترکیبی luigi
مقدمه ای از Hadoop
اولین قدم با Airflow
Airflow پیشرفته و شاخه های آن
استفاده از luigi با Hadoop
Apache Spark
شبکه های Django
و غیره ….
مقدمه ای برای تست با پایتون
تست های مبتنی بر مدیریت اموال با فرضیه
مرحله بعد چیست ؟
مقدمه ای بر Pyspark
مقدمه و بازبینی کلی
درباره نویسنده
نصب پایتون
نصب ipython و استفاده از نوت بوک ها
چگونگی دسترسی به فایل های کاریتان
دانلود و تنظیمات
راه اندازی Spark shell
راه اندازی Spark shell با پایتون
مجموعه داده های توزیع شده انعطاف پذیر (RDD) چیست؟
خواندن یک فایل متنی
اقدامات
تغییرات
داده های پایدار
نقشه
فیلتر
Flatmap
اجزای نقشه
اجزای نقشه با index
نمونه
اتحادیه
تقاطع
تمایز
دکارتی
Pipeline
جمع شدن
بازپرداخت
بازپرداخت و مرتب کردن اجزا
کاهش
جمع
شمارش
اولین
نگاهی به نمونه
ذخیره بر اساس فایل text
شمارش با کلید
دسته بندی با کلید
کاهش با کلید
جمع با کلید
پیوستن به CoGroup در کل فایل
فایل های pickle
Hadoop در فایل های ورودی
Hadoop در فایل های خروجی
متغیرهای پخشی
باتری
استفاده از یک باتری سفارشی
تقسیم بندی
خوشه بندی مستقل Spark
MesOS
نخ
مقایسه کلاینت با خوشه بندی
جریان Spark
پایگاه داده و Dataframes
MLIib
منابع و مواخذ
پایان

دیدگاهها

هیچ دیدگاهی برای این محصول نوشته نشده است.

اولین نفری باشید که دیدگاهی را ارسال می کنید برای “پردازش داده های بزرگ در اسپارک با استفاده از PySpark API پایتون”

نشانی ایمیل شما منتشر نخواهد شد.

شناسه محصول: cors033 دسته: