Big Data داده های بزرگ

خیلی وقت پیش راجع به ویندوز آژور و بکار گیری آن در Big Data نوشتم که همین قضیه علاقه مندان به Big Data را به این سایت میکشاند که تصمیم گرفتم این بار خود Big Data را معرفی کنم. در این مطلب هدف معرفی یکسری واژه است که شما باید بدانید.

شاید در قدیم سروکار با این همه دیتا نداشتیم اما امروزه جریان به این شکل نیست. متاسفانه در ایران مردم همیشه نسبت به تکنلوژی جدید واکنش منفی نشان میدهند، هنگامیکه یک تکنولوژی جدید وارد میشود و کسی علاقه نشان میدهد اطرافیان هستند که میگویند این را میخواهید برای چه کاری. شاید موبایل مثال خوبی در این زمینه باشد. در دنیای امروز سروکله زدن با این همه دیتا بدون این device ها غیر ممکن است در قدیم کسب و کارها این همه مشتری نداشتند و سبک تجارت با دنیای امروز فرق میکرد. هم اکنون در داده ها ما غرق داریم میشیم و این قضیه دیگر تغییر نمیکند بلکه باید آمادگی مواجه با جریانات سنگین تر هم باشیم. حجم فوق العاده عظیمی از دیتاست های پیچیده را داده های بزرگ یا Big Data میگویند.

Big Data به مجموعه ای از داده ها که سایز و گوناگونی آن ها اغلب مافوق توانایی ابزار بانک های اطلاعاتی در جهت Capture، ذخیره سازی، مدیریت و تحلیل است گفته میشود که به گونه ای گردآوری ، ذخیره و استفاده میشوند که امکان جست جو و تحلیل آن ها با هدف کمک به ما در جهت اخذ تصمیم های تجاری را فراهم میکنند.
اما بزرگ یعنی چقدر بزرگ؟
با در نظر گرفتن جریان دائمی داده ها از یک منبع به منبع دیگر، ما درباره پتابایت ها (۱میلیون گیگابایت یا ۱۰۲۴ ترابایت) یا اگزابایت (۱ میلیون ترابایت یا ۱ میلیارد گیگابایت) اطلاعات حرف میزنیم. البته واژه بزرگ خودش تعریفی ندارد، زمانی که صحبت از بزرگ میشود در یک سازمان باید قابلیت های سازمان و سایز خود آن سازمان هم در نظر رفته شود وگرنه میتوانیم صحبت از مقیاس های بزرگتری همچون brontobytes که معادل ۱ و به دنبال ۲۷ صفر است هم صحبت کنیم.

Analytics
این واژه را شاید از google analytics برای شما آشنا باشد و در معنای لغت یعنی تجزیه و تحلیل. وقتی صحبت از Analytics میشود منظور معمولا سمت آمارها و الگوریستم های نرم افزار یا سخت افزار محوری است که برای بیرون کشیدن معنا از داده است. یک Analytics Platform نرم افزاری است که ابزار و توان محاسباتی مورد نیاز برای ساخت و انجام پرس و جوهای پیچیده تحلیلی را فراهم کند. چیزی که باعث معنا بخشیدن به داده ها میشود کشف الگوها است و analytics مجموعه ای از ابزارها استفاده شده برای کشف و ارتباط با آن الگوها به عنوان روشی برای توضیح و تشریح یا حتی پیش بینی کارآی تجاری است.

HANA

hana یک پلتفرم کامپیوتری نرم افزاری / سخت افزاری از sap است. hana که برای مبادله های حجیم و تحلیل های زمان واقعی طراحی شده است قادر است جست جوهای سریع و تحلیل ها را انجام دهد که بخشی از این قابلیت به واسطه این است که قسمت اعظم قدر آن در حافظه باقی میماند.
sap میگوید hana میتواند به شتاب بخشیدن به تحلیل ها، روال های تجاری، محافظت از پردازش داده ها و قابلیت های پیش بینی کننده کمک کند.

حال که صحبت از sap شد بگذارید معرفی کنم:

SAP یک شرکت آلمانی است که دومین شرکت بزرگ نرم افزاری در دنیا پس از مایکروسافت به شمار می رود.

شرکت SAP در سال ۱۹۷۲ در شهر واینهایم در آلمان تأسیس شد و بعدها مقر اصلی آن به والدورف در نزدیکی فرانکفورت منتقل شد. مؤسسان این شرکت پنج جوان بودند که در شرکت IBM با هم آشنا شده بودند. آنها برای اولین بار نرم افزاری برای امور حسابداری و محاسبه ی دستمزد اختراع کردند که اطلاعات را مستقیماً از کاربر دریافت می کرد و آن را از طریق صفحه ی نمایش به کاربر ارائه می کرد. آنها سیستم خود را Realtime می دانستند و به همین دلیل هم تا قبل از سال ۲۰۰۰، یک حرف R به عنوان پیشوند برای نام محصولات خود انتخاب می کردند (مانندSAP R/3 که مشتریان زیادی در سراسر جهان داشته است). مزیت بزرگ سیستم SAP این بود که همه ی وظایف سازمان (از ورود سفارش تا برنامه ریزی مواد و تولید و صدور صورتحساب) را در خود جمع می کرد و بنابراین تنها یک نرم افزار برای مدیریت اطلاعات کافی بود. استفاده از یک بانک اطلاعاتی واحد باعث صرفه جویی زمانی در ثبت و نگهداری اطلاعات می شد. تا ابتدای دهه ی نود، SAP تنها بر روی سخت افزارهای IBM و برخی مدل های زیمنس قابل نصب بود، اما بعد از آن با معرفی R/3 که نیازهای سخت افزاری بالاتری داشت، شرکت SAP به کامپیوترهای یونیکس روی آورد که باعث رشد سریع SAP و فراگیر شدن آن در جهان شد.

امروزه ۵۳۵۰۰ نفر در سراسر جهان مستقیماً برای شرکت SAP کار می کنند. این شرکت در سال ۲۰۱۰ با درآمد ۱۲.۵ میلیارد یورو، در ردیف چهارمین شرکت تولیدکننده ی نرم افزار در دنیا قرار گرفت. این درآمد از محل فروش نرم افزار (۳۱ درصد)، پشتیبانی (۴۰ درصد)، مشاوره (۲۲ درصد)، آموزش (۴ درصد) و غیره (۳ درصد) تشکیل شده است. SAP حدود ۱۰۰ هزار مشتری در ۱۲۰ کشور دارد و به طور تخمینی ۱۲ میلیون نفر در این کشورها در محل کار خود از محصولات SAP استفاده می کنند. بر اساس اطلاعات شرکت تحقیقات بازار گارتنر، SAP بیش از ۲۸ درصد از بازار نرم افزارهای ERP را در جهان در اختیار دارد. از مهمترین رقبای SAP می توان از مایکروسافت و اوراکل نام برد.ERP  (Enterprise Resource Planning) سيستم جامعي است كه سعي در يكپارچه سازي همه وظايف و بخشهاي موجود دريك سازمان با استفاده ازيك سيستم كامپيوتري واحد دارد كه بتواند نيازهاي خاص و ويژه اين بخشها را برآورده سازد. اين نرم افزار بوسيله يك بانک اطلاعاتی واحد، امكان به اشتراك گذاري اطلاعات و ارتباط بخشهاي مختلف را با يكديگر برقرار ميسازد. اين نرم افزار از تعدادي ماژول نرم افزاري تشكيل شده است كه هر يك بخشي از وظايف موجود در شركت را بر عهده دارند. اغلب نرم افزارهاي ERP آنقدر منعطف هستند كه شركتهاي خريدار قادرند تعدادي از ماژولهاي مورد نياز و يا همه آنها را نصب و بكارگيرند. اصلی ترین محصول SAP نیز از این ماژول ها تشکیل شده است.

Apache HADOOP

به عنوان یک سیستم توزیع شده منبع باز برای انجام تحلیل تعاملی برروی data set های حجیم ، Hadoop توسط Apache مدیریت میشود و برای اداره برنامه های کاربردی توزیع شده به اندازه کافی قدرتمند است. Hadoop بخش اعظم کارآیی خود را از طریق تقسیم برنامه های کاربردی به چندین قطعه fragment که هریک میتواند برروی هر گرهی در یک کلاستر از ماشین ها اجرا شود میگیرد.

Big Data As A Service داده های بزرگ به عنوان یک سرویس

همه کمپانی ها قادر نیستند یا اینکه نیازی ندارند که یک انبار داده data warehouse و مرکز پردازشی را ستاپ کنند تا بتوانند تحلیل داده ها را امکان پذیر کنند و شما نیاز به انجام این کارها ندارید. کمپانی های متعددی میتوانند تحلیل های با صرفه و مبتنی برابر و ذخیره سازی داده های بزرگ را فراهم کنند. از این سرویس ها با عنوان BDaaS که مخفف big data as a service است یاد میشود.

Business Intelligence هوش تجاری

شاید در آینده در سایت www.myxrm.ir بطور کامل راجع به هوش تجاری و sas صحبت خواهم کرد در یک سلسله مقاله sas را کامل خواهم شکافت اما هوش تجاری واژه ای است که شناسایی، استخراج ، و تحلیل داده ها را در برمیگیرد. یکی از اهداف اساسی داده های بزرگ، گردآوری و تحلیل تمام داده ها به منظور فراهم نمودن امکان اخذ تصمیم های تجاری آگاهانه است. کسانیکه در این زمینه خوب میتوانند موفق کار کنند کسانی هستند که در کمپانی هایی که بستر نرم افزاری مایکروسافت باسد داده را با SSRS در یک گزارش به تصویر بکشند.

clickstream ANALYTICS

تحلیل های Clickstream شامل تحلیل های فعالیت کاربر براساس آیتم هایی که بر روی یک صفحه کلیک کرده است انجام میگیرد. اگر شما بتوانید این نوع دیتا را به اندازه کافی گردآوری و یکپارچه کنید، میتوانید چیزهای بسیار زیادی درباره این که کاربران و بازدیدکنندگان یک سایت چگونه با فعالیت تجاری شما ارتباط برقرار میکنند فرا بگیرید.

Dashboard

نرم افزاری که در آن واحد گزارش دهی گرافیک را برای مدیران فراهم میکند.

DATA MINING

فرآیند استخراج الگوها یا دانش، از مجموعه بزرگی از داده DATA mining نام دارد.

DATA BASE

یک بانک اطلاعاتی نوعا در بردارنده جداول مجزا است که خودشان در جدول های بیش تر ایندکس میشوند و بدین ترتیب مجموعه ای از داده های مرتبط با هم را به وجود می آورند.

Massively Parallel Processing

معنی این واژه پردازش موازی عظیم گفته میشود که گهگاهی آنرا MPP هم میگویند. به سیستمی اشاره میکند که توان پردازش را به قطعاتی خرد میکند که هریک برروی پردازنده خودش اجرا میشود. با استفاده از چندین پردازنده برای انجام محاسبات پیچیده میتوانیم به سرعت و کارآیی بیشتری دست پیدا کنیم.

Predictive ANALYSIS

شاید ارزشمند ترین قسمت بیگ دیتا اینجا باشد پیش بینی چیزی که یک نفر خریداری کرده و یا داره بازدید میکند. یا کاری که در آینده انجام خواهد داد.

خیلی وقت است که زندگیم درگیر چنین مباحثی شده است همین قضیه باعث شده است که کمتر بتوانم مقاله ای در این سایت منتشر کنم شاید شما را آزرده کرده باشد به هر حال نظرتان را راجع به مطالب همانند گذشته بنویسید من را خوشحال خواهید کرد. این نوع مباحث تازگی دارد و به شدت در حال پیشرفت است شاید ITIL یا COBIT نشان دهد که با چه سرعتی داریم عقب میفتیم. امروزه اینها در جریان هستند فردا معلوم نیست چه چیزهایی به آی تی اضافه شود.

با تشکر
علی مختاری