پاورپوینت انبار داده (pptx) 17 اسلاید
دسته بندی : پاورپوینت
نوع فایل : PowerPoint (.pptx) ( قابل ویرایش و آماده پرینت )
تعداد اسلاید: 17 اسلاید
قسمتی از متن PowerPoint (.pptx) :
بنام خدا
Data Mining
تعریف Data warehouse انبار داده
Bill Inmon
مجموعه ای از داده های موضوع گرا ، مجتمع ، غیر فرار و وابسته به زمان که برای پشتیبانی از تصمیم گیریهای مدیریتی مورد استفاده قرار میگیرد.
انبار داده : پروسه مدیریت داده متمرکز در جمع آوری داده ها از چند منبع داده مختلف.
اجازه تحلیل و جستجو بر روی داده هایی میدهد که با یکدیگر ارتباطی نداشتند.
برای تصمیمات آنی وآتی سازمان
داده ها ی سازمانی در یک سیستم عملیاتی ذخیره میشوند. با استفاده از نرم افزار خاص ETL استخراج تبدیل و بارگذاری میشوند.پردازش شده و در یک انبار داده ذخیره میشوند. داده های انتقال یافته سازماندهی و استاندارد میشوند وبا نرم افزارهای کاربردی تحلیل میشوند.
تعریف DATA MINING
فرآیند آنالیز ، استخراج و کشف داده های جدید و مفید از منابع داده ای حجیم را داده کاوی می نامند.
داده کاوی در جهت کشف اطلاعات پنهان و روابط و الگوهای موجود در بين دادههای فعلی و پيشبينی موارد نامعلوم و يا مشاهده نشده عمل میکند
کمک به تمرکز شرکتها براطلاعات مفید data warehouse
داده کاوی از تکنیک های تشخیص الگو مانند الگوریتمهای پیچیده ریاضی و آماری و هوش مصنوعی جهت آنالیز الگوهای موجود وکشف روابط موجود در حجم وسیعی از داده ها بهره میبرد.(سایت spss)
این الگو ها و روابط به عنوان مدلهای داده کاوی در نظر گرفته میشوند.
فرآیند داده کاوی شامل گامهای :درک قلمرو ، اماده سازی داده های خام، کشف الگو های داده هابا استفاده از الگوریتمهای داده کاوی ،تجزیه و تحلیل الگو و کشف دانش،استفاده از نتایج و پیشگویی است
. هدف نهایی داده کاوی کشف دانش است .Knowledge Discovery in Data (KDD)
داده کاوی شرکتهایی که تمرکز بر مشتری دارندو سازمانهای مالی ؛اداری؛ ارتباطی را قادر به تعیین روابط بین عوامل داخلی مانند قیمت ، موقعیت محصول ،مهارت کارکنان و عوامل خارجی نظیر شاخص های اقتصادی ، رقابت و مشخصات جمعیت شناختی میکند.
تاثیر این عوامل بر فروش ، رضایت مشتری و سود دهی و ارائه عدمات به مشتری در هنگام خرید با توجه به سوابق مشتری
تاریخچه مختصر داده کاوی
قابلیت های Data mining
داده کاوی شرکتها را قادر میسازد تا روابط میان فاکتورهای داخلی مانند :قیمت ،کیفیت محصول و مهارت کارکنان را با فاکتورهای بیرونی مانند شاخص های اقتصادی ،تحقیقات و پایگاه داده های تجاری ، رقابت با سایر شرکتها و تولید کنندگان را مشخص کنند.و سود دهی و رضایت مشتری را تخمین زنند.
شناسایی الگو های ناشناخته از تحلیل داده هایی که ظاهرا با یکدیگر بی ارتباط هستند .مثال خرید های مشتری که ظاهرا ارتباطی با یکدیگر ندارند ولی در کنار هم خرید میشوند.
شناسایی تراکنشهای انجام شده با کارت اعتباری غیر معتبر که بیانگر خطاهایی در وارد کردن داده نامعتبر است.
پیش بینی روندها و رفتارها : مثال target marketing . بازاریابی هدفمند با استفاده از مرسولات تبلیفاتی پیشین ، هدف هایی که پاسخ بهتری به مرسولات آینده خواهند داد را شناسایی کند. پیش بینی ورشکستگی بانکها و...پیش بینی حجم وامهای وصول نشده ، چه مشتریانب واجد شرایط وامهای جدید هستند .پیش بینی خطاهای ماشینها ، یافتن عوامل کلیدی در بهینه سازی ظرفیت تولید....
ابزارهای داده کاوی با ابزارهای صفحات گسترده و سایر نرم افزارها ترکیب شده واستخراج داده را آسانتر نماید.
داده کاوی برخلاف OLAP که retrospective است ، دانش را به صورت آینده نگر استخراج میکند.
شالوده Server Data mining باید با olap و datawarehouse یکپارچه گردد .که تصمیمات اجرایی مستقیما گرفته شود وهرچه انبار داده بزرگتر شود شرکتها به صورت مداوم قادر به داده کاوی بهتر و تصمیم گیری بهتری برای اینده خواهند بود.
در سال 2016 مفهوم Deep Learning که یک نکنیک برای تشخیص الگوهای پیجیده است ، پاسخگوی چالشهای data mining, data science و artificial intelligenceمیتواند باشد.
یادگیری عمیق اشاره به مجموعه ای از الگوریتم های یادگیری ماشین دارد, که معمولا مبتنی بر شبکه های عصبی مصنوعی اند و تلاش دارند تا انتزاعات سطح بالای موجود در داده ها را مدل نمایند.
روش های یادگیری مدل در داده کاوی:
روش های پیش بینی (supervised method): ویژگی دسته مربوط به هر رکورد مشخص است.
Classification : داده جدید ذخیره شده برای دسته بندی در گروه های خاص به کار میرود. به عنوان مثال یک رستوران زنجیره ای میتوان خرید های مشتریان را برای تخمین زمان مراجعه و نوع سفارش داده کاوی کند.و یا اینکه میزان ماندگاری مشتری سنجیده میشود.
مجموعه داده آموزشی مدل سازی _ مجموعه داده آزمایشی برای اعتبار سنجی و محاسبه
الگوریتمهای درخت تصمیم و دسته بندی مبتنی بر قانون
Regression :
پیش بینی مقادیر یک متغیر پیوسته بر اساس مقادیر سایر متغیرها بر مبنای یک مدل وابستگی خطی یا غیر خطی رگرسیون نامیده میشود.
پیش بینی میزان فروش یک محصول جدید بر اساس میزان فروش محصولات گذشته، میزان تبلیغات و مشخصات محصول گذشته.
تشخیص انحراف Anomaly detection
تنها نمونه های با وضعیت نرمال در دسترس است و تخطی از آستانه نرمال به عنوان وضعیت غیر نرمال در نظر گرفته میشود.
مانند کلاه برداری کارتهای اعتباری یا تشخیص نفوذ به شبکه های کامپیوتری
روش های توصیفی: در این روش الگوهای قابل توصیفی پیدا میشود که روابط حاکم بر داده ها را بدون در نظر گرفتن هر گونه برچسب یا متغیر خروجی تبیین نماید.unsupervised
Clusters : فرآيند خوشهبندی سعی دارد که يک مجموعه داده را به چندين خوشه تقسيم نمايد بطوريکه دادههای قرار گرفته در يک خوشه با يکديگر شبيه بوده و با دادههای خوشههای ديگر متفاوت باشند. . ویژگی از پیش تعریف شده ارائه نمیشود. مانند مشخص کردن بخشهای بازار یا گرایشهای مصرف کننده.
تفاوت روش دسته بندی و خوشه بندی : در خوشه بندی مرز بندی و برچسب مشخصی وجود ندارد.خوشه بندی بر اساس ویژگیهای ورودی نمونه ها انجام میشود.
Associations: داده کاوی برای مشخص کردن ارتباط بین رخدادهای همزمان (کشف قواعد وابستگی). مثال خریدهای همزمان دو کالای مختلف
Sequential patterns: داده کاوی جهت تخمین الگوی رفتاری براساس مرتب سازی. زمان و ترتیب درآن مهم است. مانند کشف الگوهای ترتیبی در افت و خیز سهام شرکتهای مختلف. با دنباله های تراکنشهای فروش مانند پیشگویی گرایش به خرید کوله پشتی سفری براساس خرید کفش کوه پیمایی توسط مشتری
Forecasting : روش پیش بینی ارزشهای آینده براساس الگو های موجود در مجموعه های بزرگی از داده ها مانند پیش بینی تقاضا.
