خدمات سامیکس برای استقرار یک راهکار موفق هوش تجاری BI:

مشاوره:

تحلیل تخصصی استراتژی و عملکرد BI فعلی به منظور درک نیازهای آینده، مشاوره و راهنمایی بهترین تجارت به منظور:

• یکی کردن، ساختاردهی و مرتبط کردن داده ها جهت پشتیبانی از گزارش های هوش تجاری
• رمزگشایی از داده هایتان جهت تسطیح اطلاعات مرتبط و دستیابی به بینشی جهت پیش بردن تصمیمات کسب و کار

تکنولوژی:

منطقی کردن، ساختاردهی و مرتبط کردن منابع داده به منظور ایجاد گزارش‌گیری نرم افزار Power BI یکپارچه در سازمان
شناسایی و استقرار ابزار مناسب مایکروسافت به منظور فراهم کردن یک هوش تجاری (BI) موفق برای افراد، تیم ها و سازمان.
طراحی و ایجاد پرتال های شیرپوینتی به منظور تسطیح دانش هوش تجاری

خدمات:

آموزش و پشتیبانی مدیریت و کارکنان در مورد چگونگی استفاده موثر از ابزار پیاده سازی شده جهت تصمیم گیری مطلع
آموزش و پشتیبانی کادر IT (ادمین ها و توسعه دهندگان) جهت نگهداری و به روزرسانی بسته تکنولوژی ​

راهکار هوش تجاری سامیکس چه قابلیت هایی را فراهم میکند؟

• با هوش تجاری بینشی از منابع مختلف به دست آورید.
• داده هایتان را با اطمینان استنتاج کنید.
• به راحتی در اطلاعات جزئی تر تفحص کنید.
• گزارش ها و دشبوردهای متداول را اتوماتیک کنید.
• به راحتی نماها را تغییر داده، دشبوردها و گزارش های سفارشی ایجاد کنید.

مراحل استقرار BI در یک سازمان

• شناسایی اطلاعات هوشمند مورد نیاز سازمان
• استخراج و جمع آوری داده ها از منابع اطلاعاتی موجود
• متمرکز کردن و سازماندهی داده ها در یک انبار اطلاعاتی
• فراهم کردن ابزار تحلیلی مناسب و نمایش نتایج
• انجام عملیات

تکنیک ها و روش های مورد استفاده در Power BI

در هر راهکار هوش تجاری ای که برای سازمان ارائه می شود، افراد مختلفی در بخش های مختلف درگیر می شوند. این افراد باید از نرم افزارهای کاربردی و تکنولوژی های مختلف در مراحل مختلف شامل جمع آوری، ذخیره سازی و تجزیه و تحلیل اطلاعات و ارائه نتایج به دست آمده، استفاده کنند. برای این منظور، ابزارهای مختلفی توسط شرکت های مختلف تهیه شده اند. ابزارهای نرم افزار Power BI نرم افزارهای کاربردی هستند که برای فرآیندهای موجود در هوش تجاری طراحی شده اند و با آنها می توان اطلاعات را مورد تجزیه و تحلیل قرار داد و آنها را به صورت مناسبی ارائه کرد.

در مراحل مختلف BI با توجه به عملیات مورد نظر در آن مرحله از تکنیک های مختلفی استفاده می شود که در ادامه به بیان آنها خواهیم پرداخت. لازم به ذکر است ابزار طراحی شده نیز بر مبنای این تکنیک ها هستند.

• ETL
• Data Ware House
• OLAP
• داده کاوی (Data Mining)
• نرم افزارهای گزارش گیری
• On-Line Transaction Processing
• Intelligent Decision Support System
• Intelligent Agent
• Knowledge Management System
• Supply Chain Management
• Customer Relationship Management
• Enterprise Resource Planing-
• Enterprise Information Management

ابزارها و تکنیک ها در سطوح مختلفی قرار می گیرند به گونه ای که سطوح پایین تر خود، ابزارها و تکنیک های سطوح بالاتر محسوب می شود. می توان گفت برخی از تکنیک ها به صورت افقی و برخی به صورت عمودی در هوش تجاری مورد استفاده قرار می گیرند. تکنیک های افقی تکنیک هایی هستند که در اکثر بخش ها و اجزای هوش تجاری مورد استفاده قرار می گیرند. مانند OLAP، پردازش های هوشمند، داده کاوی، سیستم های خبره و… تکنیک های عمودی تکنیک هایی هستند که با استفاده از برخی تکنیک های افقی و برخی تکنیک های خاص در حوزه خاصی از فرایند تجاری سازمان کارایی دارند.

از این رو تکنیک های افقی نیازمند دقت بیشتری در پیاده سازی و گسترش هستند به طوری که بتوانند با اجزای مختلف در چارچوب های مختلف در رابطه باشند. پیاده سازی این اجزا بر اساس استانداردهای خوب یکی از چالش های مهم در رابطه با هوش تجاری است.

می توان در معماری هوش تجاری برای سازمان، این دو بخش را از همدیگر جدا کرد و هوش تجاری را سبدی از جنس ابزارهای افقی دانست که هر ابزار عمودی را می توان در آن قرار داد. ایجاد یک معماری افقی ثابت برای یک سازمان، رشد هوش تجاری در آینده را ضمانت می کند.

ETL

طی فرآیند ETL داده‌­ها از منابع اطلاعاتی مورد نیاز موجود در سازمان یا خارج از آن مانند، پایگا‌‌‌‌ه‌­های داده، فایل‌های متنی، سیستم­‌های قدیمی و صفحات گسترده استخراج شده و تبدیل به اطلاعاتی سازگار با فرمت معین می­شوند و سپس در یک مخزن اطلاعاتی که در اغلب اوقات یک DWH است، قرار داده می­‌شوند. برای انجام ETL نیاز به تخصص‌­های مختلفی چون تجزیه و تحلیل تجاری، طراحی پایگاه داده و برنامه‌­نویسی وجود دارد.

پیش از انجام فرآیند ETL ابتدا باید منابع اطلاعاتی که قرار است داده­‌های آنها به DWH منتقل شوند، شناسایی شوند، مقصد آنها در DWH مشخص شوند و تبدیلاتی که باید بر آنها انجام شود تا وارد DWH شوند، تعیین شوند. نحوه نگاشت اطلاعات به صورت اولیه، باید در مرحله جمع‌­آوری نیازها و مدل­‌سازی اطلاعات انجام شود. اطلاعات جزیی تر مربوط به نحوه نگاشت داده ها از منابع اطلاعاتی اولیه به DWH در مرحله طراحی و پیاده­سازی ETL مشخص می‌­شود.

• شناسایی منابع اطلاعاتی
• تعیین مقصد داده‌­ها:برای تمامی اطلاعات موجود در منابع اطلاعاتی شناسایی شده باید مکانی در DWH در نظر گرفته شود. داده های اطلاعاتی در قسمت‌­های مختلف DWH قرار می­گیرند.
• نگاشت داده‌­های اطلاعاتی از مبدأ به مقصد: نحوه نگاشت داده­‌ها از مبدأ به مقصد و تغییراتی که باید بر داده‌­های اولیه اعمال شود تا به فرمت مناسب برای DWH درآیند باید تعیین شوند. این تغییرات موارد زیر شامل می­شود:
  • خلاصه سازی اطلاعات.
  • تغییر اطلاعات.
  • کدگشایی اطلاعات کد شده.
  • ایجاد تغییرات لازم برای هماهنگ سازی داده‌­های اطلاعاتی مشابه که در چند منبع اطلاعاتی مختلف وجود دارند.

اطلاعات مربوط به نحوه نگاشت اطلاعات در نقشه اطلاعات (Data Map) نگهداری می شود.

در نرم افزار Power BI یک سیستم ETL دارای چهار بخش اصلی است:

• استخراج (Extraction)
• تبدیل (Transformation)
• بارگذاری (Loading)
• MetaData

فرایند ETL، یک پروسه محسوب می شود. به این معنی که به صورت پیوسته و مداوم در سیستم باید انجام شود. به ازای داده هایی عملیاتی که در طول زمان در سازمان به وجود می آید این فرایند نیز انجام می شود. آنچه که در استقرار یک هوش تجاری در سازمان مهم است ایجاد معماری و ساختاری مناسب است به طوری که این در طول اجرای عملیات مختلف، ETL با سازگاری با آن فرایند به سرعت انجام پذیرد. پس ساختار مورد استفاده برای ETL قبل از انجام آن از اهمیت بالایی برخوردار است.

فرایند ETL به دلیل اینکه روی حجم بالایی از اطلاعات انجام می شود و معمولا همراه با یکپارچه کردن داده ها همراه است می بایست در طول دوره های مختلف انجام شود. در این دوره ها و به هنگام آغاز فرایند ETL به دلیل بالا رفتن حجم ترافیک شبکه و پردازش سرورهای پایگاه داده ممکن است در انجام فرایندهای دیگر تجاری BI اختلال ایجاد شود که می بایست در طراحی هوش تجاری مورد توجه قرار گیرد.

پایگاه داده تحلیلی (Data Warehouse)

DWH یک سیستم کامپیوتری از اطلاعات است که به گونه‌­ای مناسب برای انجام عملیات گزارش­‌گیری و تحلیلی داده‌­ها بر اساس زمان، طراحی شده است. این سیستم اغلب به صورت جداگانه‌­ای از سیستم­‌های عملیاتی روزانه قرار می­گیرد. Bill Inmon که از او به عنوان پدر DWH یاد می شود آن را به این ترتیب تعریف می­کند:

 DWH متشکل از یک پایگاه داده و تعدادی جز (component) متصل است با ویژگی های زیر:

موضوع­‌گرا (Subject Oriented): پایگاه‌­داده به گونه‌­ای سازماندهی شده است که تمامی اطلاعاتی که به یک موضوع یا موجودیت خاص مربوط هستند با یکدیگر مرتبط هستند.

متغیر با زمان: تغییرات ایجاد شده در پایگاه‌­داده اولیه در آن اعمال می‌­شوند.

Non-volatile: داده­‌های اطلاعاتی هرگز حذف نشده، با داده­‌های جدید جایگزین نمی‌­شوند.

یکپارچه: اطلاعات موجود در پایگاه‌­داده از سراسر سازمان جمع‌­آوری شده‌­اند و با هم سازگاری دارند.

هدف اصلی DWH ایجاد بستری مناسب برای تولید اطلاعاتی است که به Knowledge worker های سازمان (مدیران، عوامل اجرایی و تحلیلگران) برای اتخاذ تصمیم­‌های درست کمک می­کند. برای این منظور از DWH در تهیه گزارش­ها، اطلاعات تحلیلی، تعامل بلادرنگ با سیستم­‌های عملیاتی و Profiling استفاده می­شود.

با DWH می­توان در سازمان سیستم تصمیم‌­یار (Decision support) ایجاد کرد. اطلاعاتی که در  DWH نگهداری می­شود از آنچه در پایگاه‌­های داده نگهداری می­شود (که شامل اطلاعات جزیی و روزمره است) به مراتب مهم­تر و ارزشمندتر است. در DWH تمامی اطلاعات موجود در سازمان از ابتدا تاکنون به صورت یکپارچه و سازمان‌دهی شده نگه‌داری می­شود. در این مخزن اطلاعاتی، اطلاعات از تمامی منابع اطلاعاتی و در یک بازه زمانی طولانی جمع‌­آوری می­شوند و به این دلیل حجم اطلاعات بسیار زیاد است.

در DWH نیاز به سازماندهی مناسب اطلاعات و استفاده از روش‌­های مناسب دسترسی به اطلاعات وجود دارد. DWH با طراحی متفاوت خود به صورت چندبعدی (Multi dimensional) قادر است تمامی این موارد را در نظر بگیرد. برای مثال در اطلاعات نگهداری شده برای فروش، زمان فروش، ناحیه فروش، فروشنده و محصول به فروش رفته به عنوان ابعاد مختلف در نظر گرفته می­شوند. اغلب این بعدها حالت سلسله مراتبی (Hierarchical) دارند. مثلا ممکن است زمان فروش شامل تاریخ و ساعت فروش محصول باشد. طراحی مدل داده چند بعدی با استفاده از تکنیک­‌های مرسوم در محیط­های OLTPمانند ERD و نرمال­‌سازی مناسب نیست. زیرا آنچه در DWH مهم است ایجاد امکان پرس­و­جو و بارگذاری سریع اطلاعات است.

برخی از سازمان­‌ها تمایل دارند DWH به صورت سراسری طراحی شود به طوریکه تمامی اطلاعات موجود در سازمان در آن قرار گیرند. طراحی و استفاده از DWH به این صورت کاری پیچیده و زمان­بر است. به همین علت در بسیاری از سازمان ها از Data Mart استفاده می­شود.

ویژگی های اصلی DWH

• مبتنی بر موضوع: سازماندهی داده‌­ها بسته به چگونگی ارجاع کاربران.
• یکپارچگی
• غیر قابل تغییر
• محدوده وسیع زمانی
• خلاصه شده
• حجیم
• نرمال‌­نشده

پایگاه‌داده تحلیلی در واقع پایگاهی است که خروجی فرایند ETL در آن قرار می­گیرد. داده‌­های استخراج شده و منتقل شده در این پایگاه داده load می­شوند. قابل ذکر است که در پیاده سازی یک DWH می­توان از روش‌­های مختلفی استفاده کرد که استفاده از data martها یکی از آن است. بسته به نحوه پیاده‌سازی یک DWH میزان اهمیت خصوصیات فوق تغییر می­کنند.

دقت در خصوصیات مهم فوق نشان می دهد که آنچه در پیاده سازی و کارگیری یک DWH بیشتر مهم است، میزان توانایی آن در پاسخ گویی به query ها است و هزینه را بیشتر در بخش ایجاد و وارد کردن اطلاعات وارد می کنند تا هزینه زمانی کمتر و کارآیی بالاتری را در هنگام بازیابی اطلاعات به دست آورند. این نکته مهم در می تواند در معماری سیستم بسیار مهم باشد.

Data Mart

بخشی از اطلاعات موجود در DWH در Data Mart نگهداری می شود. این اطلاعات بر حسب نیاز گروه‌هایی که در بخش IT سازمان فعالیت می کنند انتخاب و استخراج می شوند. در حالت کلی، اطلاعات مذکور از منابع اطلاعاتی مختلف موجود در سطح سازمان قابل تهیه هستند. معمولا اطلاعات موجود درData Mart از یک DWH استخراج می شود. در مجموع می­توان گفت در یک Data Mart ایجاد شده برای یک گروه knowledge worker، اطلاعاتی وجود دارد که گروه مذکور، از لحاظ تحلیلی و محتوایی به آن نیاز دارند و این اطلاعات را می­توان به فرمت مناسب برای گروه مذکور نمایش داد. Data mart ها به سه صورت وابسته، منطقی و Operational Data Store (ODS) وجود دارند.

Data Mart وابسته: یک پایگاه داده فیزیکی است که ممکن است سخت افزار آن از سخت افزار DWH مجزا باشد و شامل زیرمجموعه های کوچکی از اطلاعات می شود.

Data mart منطقی: به صورت فیزیکی وجود ندارد بلکه یک view فیلتر شده از DWH است. این نوع Data Mart نیازی به حافظه اضافی ندارد و داده ها همیشه بروز هستند. البته در این نوع Data Mart زمان پاسخ دهی سیستم بیشتر خواهد بود.

ODS: یک پایگاه داده یکپارچه از داده های عملیاتی سازمان هستند که معمولا اطلاعات باارزش یک دوره 30 یا 60 روزه را در بر دارند و برای گزارش گیری های مربوط به زمان حال که قابل دستیابی از DWH نیستند، مورد استفاده قرار می گیرند.

لازم به ذکر است از Data Mart ها به صورت جداول ایندکس هم استفاده می­شود به این صورت که به جای آنکه اطلاعات سیستم در یک پایگاه اطلاعاتی مرکزی تکرار شود، اطلاعات سازمان تنها در منابع اطلاعاتی اولیه ذخیره می شوند و ایندکس هایی از اطلاعات ایجاد می شوند. در این ایندکس ها (که همان Data Martها هستند)، مشخص شده است که هر منبع اطلاعاتی شامل چه اطلاعاتی است و چگونه می توان اطلاعات مورد نظر را از آن استخراج کرد. به این روش، روش quick and dirty گفته می شود. زیرا در این روش Data Martها را می­توان به سرعت ایجاد کرد و از طرفی اطلاعات مانند روش قبل پاکسازی نمی شوند.

یک Data warehouse برای جمع آوری تمامی اطلاعات در مورد موضوعات (subjects) مختلف مانند مشتری ها، محصولات، فروش، منابع، پرسونل و… ایجاد می شود. این اطلاعات در حوزه کل سازمان قرار دارد. ولی Data Martها اطلاعات زیر مجموعه های سازمانی را که روی یک موضوع خاص متمرکز است، در بر دارند.

برای ایجاد بستر داده ای برای نرم افزار Power BI به دو روش می توان عمل کرد:

1. بالا به پایین (top-down): گه در این روش یک DWH یکپارچه و یا یکODS برای کل یک سازمان ایجاد می شود. این پایگاه داده بزرگ تمامی اطلاعات و داده های عملیاتی سازمان را در بر دارد. ایجاد، پیاده سازی و استفاده از این نوع پایگاه داده بسیار گران، هزینه بر و سخت است.
2. پایین به بالا (down-top): در این روش داده های مرتبط با هم در یکdata mart قرار می گیرند و چندین data mart در نقاط مختلف سازمان ایجاد شده و در راستای همدیگر یک DWH برای سازمان ایجاد می کنند.

برای ایجاد بستر داده ای یک سازمان روش اول بسیار سخت و هزینه بر است و در بسیاری از کاربرد ها غیر ممکن به نظر می رسد.

با توجه به اینکه بسیاری از سازمان ها از قبل دارای منابع داده ای جدا هستند، استفاده از Data mart ها بسیار به صرفه به نظرمی آید و عملا نیز بسیاری از سازمان ها از این روش در BI استفاده می کنند. یکی از نقاط ضعف این روش این است که داده ها و اطلاعات مربوط به یک فعالیت در سازمان ممکن است در چندین data mart نگه داری شود که باعث ایجاد افزونگی در اطلاعات سازمان می شود.

Data mart ها بنا به کاربرد و انتظاراتی که از لحاظ کارآیی از آنها دارند، طراحی و پیاه سازی می شوند. در کاربرد­هایی که نیاز است آخرین تغییرات داده های سازمان در Data mart وجود داشته باشد نمی توان از Data mart های وابسته استفاده کرد و بهتر است در صورت کوچک بودن حجم پردازش مربوط به query ازData mart منطقی استفاده شود. در صورتی که حجم پردازش بالا باشد و نتوان آن را در زمان مناسبی از DWH استخراج کرد بهتر است بنا به مقدار هزینه ای که برای استقرار در نظر گرفته شده است، از Data mart های وابسته و یا ODSها استفاده شود.

با توجه به تقسیم بندی application های هوش تجاری در سطوح مختلف سازمانی (استراتژیک، تاکتیکی و عملیاتی) می­توان گفت data mart هایی که خاص منظور هستند، بیشتر ما بین سطوح عملیاتی و تاکتیکی کاربرد دارند. اینdata mart های اطلاعات ورودی خود را از سیستم های عملیاتی گرفته و با استفاده از ابزارهای هوشمند در سطوح میانی مدیریت که مربوط به مدیریت تاکتیکی می شود کاربرد دارند.

برای استفاده در سطوح استراتژیک که در سطوح بالای مدیریتی انجام می شود و در دفعات کم معمولا با انبوه اطلاعات enterprise wide سر و کار دارد، می توان از خود DWH و یا data mart های خاص استفاده کرد.

همچنین می توان از ترکیبی از روش های فوق برای پیاده سازی data mart های خاص استفاده کرد. برای مثال می توان از قسمتی از داده های یک Data mart وابسته را با استفاده از تکنیک data mart منطقی از بخش دیگری از یکData mart دیگر تهیه کرد.

مراحل ساخت پایگاه داده تحلیلی

1- آماده‌­سازی (ETL)

• استخراج داده
• پاک­سازی داده
• بایگانی کردن داده قبل و بعد از پاک­سازی

2- یکپارچگی (Integrity)

• تطبیق داده و یکپارچگی چند منبع داده­ای

3- تحلیل سطح بالا

• محاسبه دیدهای تحلیلی از دیدهای پایه -ایجاد پارامترهای تحلیلی

4- مناسب سازی

• استخراج و مناسب سازی اطلاعات -ایجاد پایگاه داده تحلیلی خاص

هر یک از این مراحل، توسط افراد خاصی باید انجام شود. در واقع تخصص های مورد نیاز برای انجام هر یک از مراحل فوق با هم دیگر فرق می کند.

باید توجه داشت که تقریبا از مرحله اول نیازمند وجود مخزنی برای ذخیره meta data ها هستیم. همچنین ممکن است در مراحل آخر نیازمندی جدیدی برای مرحله ETL پیش آید که در این صورت نیازمند انجام مجدد مراحل اولیه هستیم

معماری DWH از ETL تا پایان

معماری یک پایگاه داده تحلیلی شامل سه لایه می باشد:

1- لایه زیرین، منابع اولیه داده را تشکیل می­دهد. این لایه شامل پایگاه­های داده رابطه­ای، فایل­‌های مسطح و منابع دیگر است.

2- لایه میانی را خود پایگاه داده تحلیلی و سرویس دهنده­های پردازش تحلیلی برخط تشکیل می­دهند. سرویس دهنده­های پردازش تحلیلی بر خط، داده چند بعدی را برای ارائه به کاربران نهایی در اختیار قرار می­دهند.

3- لایه انتهایی، سرویس گیرنده‌­ها هستند که با عملیات داده‌­کاوی، پرس­وجو و تحلیل، داده را از سرویس‌­دهنده‌­های پردازش تحلیلی بر خط می­گیرند.

سرویس‌دهنده‌­های پردازش تحلیلی بر خط که در لایه میانی معماری پایگاه داده تحلیلی قرار دارند، سه نوع هستند:

1- پردازش تحلیلی برخط رابطه‌ای (Relational OLAP- ROLAP)

2- پردازش تحلیلی برخط چندبعدی (Multi-dimensional OLAP- MOLAP )

3- پردازش تحلیلی برخط ترکیبی (Hybrid OLAP – HOLAP )

در این لایه بندی به DWH به عنوان یک black box نگاه شده است و جایگاه آن در بین سایر ابزار ها بیان شده است. همانطور که مشخص است، ارتباط بین لایه اول با لایه دوم از طریق فرایند ETLبرقرار می شود. این فرایند در واقع همان مرحله اول ساخت DWH است که در بخش قبل بیان شد. لایه میانی خود DWH و گروهی از سرویس دهنده ها قرار گرفته اند، که سرویس های خاص DWHرا در اختیار ابزارهای سطح بالا قرار می دهند. این ابزار ها در واقع در مرحله سوم ساخت DWHبه وجود می آیند. در انتها لایه ای از یک سری ابزار سطح بالای تحلیلی وجود دارد که در مرحله آخر به وجود می آیند. لایه انتهایی دارای ابزارهای خاص منظوره برای انجام فرایندهای تصمیم گیری در سطوح مختلف سازمانی است. لایه میانی یک بستر عمومی است که به وسیله هوش تجاری ایجاد می شود و قابلیت به اشتراک گذاری بسیاری از امکانات خاص را برای برنامه ها و ابزار های مختلف دارد. ایجاد این بستر به طور کاملا ماجولار و جدا از سیستم های موجود در لایه پایینی و بالایی یکی از مهمترین فاکتورهای ایجاد یک هوش تجاری موفق می باشد.

گزارشات نرم افزار Power BI جدید با SQL Server 2016 :

مایکروسافت با ارائه SQL Server 2016 همزمان با شیرپوینت 2016 و خرید مجموعه Data zen قابلیت های جدیدی را در حوزه هوش تجاری اضافه کرده است که از آن جمله ارائه گزارشات موبایلی بسیار قوی و تعاملی است.
همچنین با ادغام نرم افزار R در SQL server 2016 در امکان تحلیل بر روی Big Data را فراهم آورده است.

هوش تجاری و تحلیل