استخراج، تبدیل و بارگذاری داده ها (ETL) در Power BI Desktop

ETL in Power BI with Dataflow

تجزیه و تحلیل داده ها آسان شد

در اکثر سازمان ها، داده ها قبل از اینکه برای گزارش در دسترس باشند، از طریق یک فرآیند ETL (استخراج، تبدیل و بارگذاری) می گذرند.

در طول فرآیند ETL، داده‌ها از یک منبع داده استخراج می‌شوند، سپس تبدیل، اعتبارسنجی، استانداردسازی، تصحیح می‌شوند، کیفیت بررسی می‌شوند و در نهایت در یک مخزن داده بارگذاری می‌شوند . مانند دیتا مارت یا انبار داده – جایی که برای تجزیه و تحلیل و گزارش‌دهی ساده می‌شوند.

به طور معمول، فرآیند ETL توسط برنامه‌های قوی ETL درجه سازمانی مانند SQL Server Integration Services (SSIS) یا سایر ابزارهای شخص ثالث انجام می‌شود. اما در برخی از سازمان‌ها، کاربران تجاری برخی از کارهای ETL را درست در اکسل انجام می‌دهند که اغلب به عنوان شکل‌دهی و تبدیل داده‌ها از آن یاد می‌شود.

چالش با این روش؟ فرآیند ETL در اکسل معمولاً فرآیندی زمان‌بر و دستی است که خودکار کردن آن آسان نیست.

با این حال، مایکروسافت ابزاری دارد که می‌تواند این فرآیند را بسیار آسان‌تر و سریع‌تر کند: Power Query در Power BI Desktop.

Power Query چیست؟ و چگونه با Power BI Desktop کار می کند؟

Power BI Desktop و Power Query به کاربران این امکان را می دهد که فرآیند دریافت، تبدیل و بارگذاری داده ها را در جداول داخلی در Power BI خودکار کنند، که سپس می تواند به عنوان منبعی برای تجسم Power BI استفاده شود.

از آنجایی که Power Query یک رکورد گام به گام از هر اقدامی که برای جذب، تبدیل و بارگیری داده ها انجام می شود، نگه می دارد، می توانید در صورت نیاز به بازخوانی داده ها، همین مراحل را تکرار کنید.

هنگامی که داده های منبع به روز می شوند، تمام تجسم های Power BI با داده های به روز شده نیز به روز می شوند. اکنون، بیایید نگاهی به Power Query در Power BI Desktop بیندازیم.

برای پیروی از این مثال، باید Power BI Desktop را مستقیماً از مایکروسافت دانلود کنید – نگران نباشید، رایگان است – و آن را نصب کنید. برای مجموعه داده، از فایل اکسل General Aviation 2013 که برای استفاده عمومی از Data.gov در دسترس است استفاده خواهیم کرد.

فایل اکسل را دانلود کرده و در یک پوشه محلی ذخیره کنید. توجه: اگر از آفیس 2016 یا جدیدتر استفاده می کنید، ممکن است لازم باشد فایل را در اکسل باز کنید و آن را به عنوان کتاب کار اکسل 2016 ذخیره کنید.

اولین قدم راه اندازی Power BI Desktop است، سپس این مراحل را دنبال کنید:

از صفحه نمایش یا نوار ابزار Power BI، روی «Get Data» کلیک کنید، رابط Excel را انتخاب کنید و روی «Connect» کلیک کنید.

فایل اکسل را جستجو کنید، آن را از لیست انتخاب کنید و روی «Open» کلیک کنید.

در گفتگوی Navigator، “Data_GA” را انتخاب کنید و روی “Edit” کلیک کنید.

ویرایشگر Power Query برای شکل دادن و تبدیل داده های ما باز می شود.

می‌بینید که در سمت راست، پنجره Query Settings همه گام‌های کاربردی انجام شده تا کنون را فهرست می‌کند.

این مراحل به‌طور خودکار برای نشان دادن مسیر فایل منبع (Source)، ستون‌هایی که به‌طور خودکار کشف شدند (Navigation) و انواع داده‌هایی که به‌طور خودکار شناسایی شدند (نوع تغییر یافته) اعمال شدند.

در مواردی که داده ها به صورت جدولی با تمام هدرهای مناسب و بدون ردیف خالی ارائه می شوند، این مراحل کار را با دقت برای ما انجام می دهند.

در مورد ما، فایل اکسل منبع نیاز به کمی تمیز کردن دارد . نابراین داده‌ها را به‌صورتی که در زیر توضیح داده شده شکل می‌دهیم و تبدیل می‌کنیم:

سرصفحه های ستون مناسب را تنظیم کنید.

در این مرحله، ما باید ردیف اول را حذف کنیم زیرا سرصفحه ستون ما در واقع در ردیف دوم قرار دارد.

برای حذف ردیف اول، از نوار ابزار Power Query Editor بر روی Remove Rows کلیک کنید، روی Remove Top Rows کلیک کنید و در کادر محاوره ای Number of rows عبارت “1” را تایپ کنید.

اکنون می‌توانیم نشان دهیم که ردیف اول باید به عنوان سرصفحه ستون ما استفاده شود. برای انجام این کار، روی گزینه “Use First Row as Headers” در نوار ابزار Power Query کلیک کنید.

جدول ما اکنون سرصفحه های صحیح ستون را نشان می دهد.

ستون های غیر ضروری را حذف کنید

در این مرحله، باید تمام ستون هایی را که نیازی به تجزیه و تحلیل نداریم، حذف کنیم.

برای حذف ستون ها، ستون ها را با فشار دادن کلید CTRL انتخاب کنید، سپس کلیک راست کرده و “Remove Columns” را انتخاب کنید.

مقادیر تهی را جایگزین کنید

در این مرحله، برای اطمینان از تجزیه و تحلیل دقیق و استانداردسازی مقادیر، باید مقادیر null را با عدد صفر جایگزین کنیم.

در این مثال، می‌توانیم تمام مقادیر تهی ستون‌های «inj_tot_f» (آسیب‌های مرگ‌بار) و «inj_tot_s» (آسیب‌های جدی) را جایگزین کنیم.

برای انجام این کار، روی هر سطر با مقدار تهی کلیک راست کرده و «Replace Values…» را انتخاب کنید، سپس در کادر محاوره‌ای Replace With عدد «0» را تایپ کنید و روی «OK» کلیک کنید.

برای هر ستون باقیمانده با مقادیر تهی این کار را تکرار کنید. اکنون همه مقادیر تهی با 0 جایگزین می شوند.

هر یک از این مراحل شکل‌دهی و تبدیل داده‌ها در صفحه Applied Steps همانطور که در زیر مشاهده می‌کنید، ثبت شده‌اند. بنابراین، هر زمان که داده‌های منبع داده تغییر می‌کند، تنها کاری که باید انجام دهید این است که فایل Power BI خود را به‌روزرسانی کنید تا تغییرات را منعکس کند. سپس Power Query همان مراحلی را که ما اعمال کردیم، اعمال می‌کند، که داده‌های جداول داخلی و همچنین تمام تجسم‌هایی که به آنها ارجاع می‌دهند، تازه‌سازی می‌کنند.

آیا می خواهید درباره Power BI و نحوه پیاده سازی آن در سازمان خود اطلاعات بیشتری کسب کنید؟ کارشناسان VISTA Data Mining می‌توانند به شما نشان دهند که چگونه می‌توانید PowerBI را برای افزایش بهره وری در سازمان پیاده سازی کرد.

دوره آموزشی هوش تجاری با Power BI »کلیک کنید« یک برنامه جامع است که بر توسعه مهارت در تجزیه‌ و تحلیل داده‌ها، تجسم و گزارش سازی و گزارش دهی و دشبوردسازی با استفاده از ابزار Power BI تمرکز دارد.

سپاسگذاریم از وقتی که برای خواندن این مقاله گذاشتید

برای خرید لایسنس پاور بی ای Power BI کلیک کنید