تجزیه و تحلیل سیستماتیک در تکنیک های مختلف استخراج داده ها

نرجس شهرکی

 پایگاه داده چیست؟

پیش از این به داده کاوی اینترنت اشیا در بستر رایانش ابری پرداختیم. امروزه با پیشرفت فناوری، حجم زیادی از داده ها در پایگاه های داده ذخیره می شوند و استخراج داده ها برای تجزیه و تحلیل کارآمد برای تصمیم گیری لازم در مورد اطلاعات بسیار مهم است. مدیریت داده ها اساسا توسط سیستم مدیریت پایگاه داده، Data Ware House و Data mining انجام می شود. تکنیک های مختلفی برای ذخیره مقدار زیادی داده و سپس استخراج این داده ها برای تصمیم گیری بهتر توسعه یافته است. خانه داده از برنامه های مختلفی مانند پردازش اطلاعات، پردازش تحلیلی و داده کاوی پشتیبانی می کند. داده کاوی اولین مرحله در استخراج اطلاعات بزرگ از پایگاه داده است. داده کاوی برای کشف مقدار زیادی از اطلاعات در برخی از الگوهای خاص و به منظور اعتبارسنجی این نتایج به برخی از زیر مجموعه های جدید اطلاعات انجام می شود. در این مقاله در مورد پایگاه داده های مختلف، انبار داده ها و تکنیک های داده کاوی که برای ذخیره مقدار زیادی اطلاعات مورد استفاده قرار می گیرد، بحث می کنیم.  پایگاه داده تغییر موقعیت داده ها به صورت سازمان یافته است. این مجموعه ای از جدول ها، دستورات، طرح ها و اشیاء دیگر است. داده ها به گونه ای سازماندهی شده اند که دسترسی به آن ها باید آسان باشد. DBMS یک نرم افزار رایانه ای است که پایگاه داده و تجزیه و تحلیل آن را مدیریت می کند. وظیفه مهم DBMS شامل ایجاد، بروز رسانی، حذف و انتخاب داده ها از یک جدول است. پایگاه داده در جایی استفاده می شود که تعامل آنلاین با مشتری به طور منظم انجام می شود. انبار داده ها، ادغام داده ها از یک یا چند منبع مورد استفاده برای تجزیه و تحلیل داده ها است. این داده های فعلی و همچنین قبلی را برای ایجاد گزارش تجزیه و تحلیل ذخیره می کند. این یک دیدگاه مرکزی در مورد داده ها از منابع متعدد به ما می دهد تا عملیات پرس و جو در کل سیستم داده اعمال شود. داده کاوی فرایندی است که در آن پایگاه داده و مفهوم هوش مصنوعی با هم ترکیب شده و اطلاعات مفیدی را در اختیار کاربران قرار می دهند. این اطلاعات می تواند به آن ها در تصمیم گیری بهتر کمک کند. داده کاوی یک فرایند تعاملی است که برای ارائه اطلاعات مفید، باید بارها و بارها تکرار شود. اساساً داده کاوی روشی است که در آن اطلاعات مفیدی از مجموعه عظیمی از داده ها استخراج می شود و مجموعه عظیمی از داده ها با کمک انبار داده ها تولید می شود.

مزایای روش پایگاه داده

کنترل بر افزونگی داده ها: پایگاه داده با کنترل افزونگی داده ها سر و کار دارد، بنابراین ثبات داده های ذخیره شده در پایگاه داده را فراهم می کند.

به اشتراک گذاری داده ها: پایگاه داده امکان اشتراک گذاری داده ها را از جایی به مکان دیگر فراهم می کند زیرا داده ها می توانند بین جدول ها فرا خوانی شوند یا با استفاده از دستورات خاص به پایگاه داده خاصی دسترسی پیدا کنیم.

صداقت: پایگاه داده یکپارچگی داده ها را فراهم می کند

حذف ناسازگاری ها: همه ناسازگاری داده ها به راحتی با استفاده از روش پایگاه داده حذف می شوند

پشتیبان گیری و بازیابی: پایگاه داده امکان پشتیبان گیری و بازیابی اطلاعات را در صورت خرابی سیستم فراهم می کند

امنیت: شایان ذکر است که پایگاه داده، امنیت داده ها را فراهم می کند زیرا کنترل های دسترسی را برای دسترسی به داده توسط کاربران مختلف فراهم می کند.

آشنایی با انبار داده ها و مشخصات آن

انبار داده ها مجموعه ای از داده های موضوع گرا، یکپارچه، متغیر زمان و غیر فرار است که به تصمیم گیری کمک می کند.

مشخصات انبار داده شامل موارد زیر است:

موضوع گرا: از انبار داده برای تجزیه و تحلیل داده ها در مورد موضوع خاص استفاده می شود.

یکپارچه: انبار داده ها حاوی داده های منابع مختلف غیر فرار است، داده های تاریخی موجود در انبار را نمی توان تغییر داد

نوع زمانی: داده ها با توجه به مدت زمان نگهداری می شوند، یعنی داده های تاریخی نیز نگهداری می شوند. داده ها بر اساس هفته ها، روزها و غیره نگهداری می شوند.

معماری انبار داده ها

اجزاء معماری انبار داده شامل برنامه کاربردی، ETL، منطقه مرحله بندی انبار داده، انبار داده و Data marts است.

داده های برنامه کاربردی به یک منطقه ذخیره سازی داده ها به یک انبار داده منتقل می شود و در نهایت به گزارش (data marts) تبدیل می شود.

 از فرآیند ETL برای کلون کردن داده ها از مرحله ای به مرحله دیگر استفاده می شود.

کاربرد عملیاتی

 داده های مهم تجاری در منابع مختلف توزیع می شود، استخراج در پلتفرم های مختلف ، قطعه قطعه شدن در مکان های مختلف فیزیکی که فرایند تصمیم گیری را دشوار می کند. بنابراین ذخیره سازی داده ها مورد نیاز است. در مرحله اول داده های کاربردی عملیاتی از منابع مختلف داخلی و منابع خارجی در یک مکان ادغام می شوند. همچنین عملیات منطقه بندی داده ها در داده های ETL انجام می شود که استخراج بار تبدیل، عبارت است از:

استخراج: استخراج داده ها از منابع مختلف.

تبدیل: داده ها را به اطلاعات مفید تبدیل می کند.

بارها: داده ها را در انبار داده بارگذاری می کند.

ناحیه مرحله بندی انبار داده: 

مکانی موقتی است که در آن داده های منابع مختلف پس از فرآیند ETL برای ترکیب کل داده ها در یک مکان استفاده می شود تا همه داده های یکپارچه در یک زمان به انبار داده منتقل شوند.

انبار داده: داده های کلی جهت همکاری را ترکیب می کند. انبار داده ها حاوی مقدار زیادی داده است.

Data Marts: پس از استخراج اطلاعات از انبار داده ETL آن را به یک یا چند Data Mart تبدیل می کند که تصمیم گیری در سازمان را ساده کند.

تکنیک های مختلف استخراج داده ها

داده کاوی روشی است که در آن حجم زیادی از داده ها پردازش شده و به دانشی تبدیل می شوند که بتوانید اطلاعات مفید را از آن داده ها خارج کنید. داده کاوی فرآیند تجزیه و تحلیل داده ها از دیدگاه های مختلف است و در پایان نتایج برای به دست آوردن اطلاعات مفید ترکیب می شوند. به طور مثال جمع آوری اطلاعات با استفاده از تکینک های متن کاوی می تواند به استخراج اطلاعات مفید و تجزیه و تحلیل آن، به ما کمک فراوانی کند. بنابراین در ادامه به معرفی تکنیک های مختلف استخراج داده ها می پردازیم و همان طور که می دانید، داده کاوی فرایندی چند مرحله ای است.

ارتباط

این رایج ترین تکنیک در داده کاوی است. در این رابطه بین دو یا چند مورد که دارای رفتار یکسانی هستند ، ارتباط برقرار می شود. تکنیک تداعی به عنوان تکنیک رابطه شناخته می شود زیرا در اینجا تمرکز اصلی بر رابطه بین دو یا چند مورد مشابه است. این تکنیک به طور کلی در تجزیه و تحلیل سبد بازار استفاده می شود. به عنوان مثال مغازه دار ممکن است متوجه شود که مشتری همیشه هنگام خرید تنقلات مقداری نوشابه خریداری می کند، به همین دلیل دفعه بعد مغازه دار هر دو مورد را همزمان قرار می دهد تا در وقت مشتری صرفه جویی و افزایش یابد.

پیش بینی

پیش بینی تکنیکی است که در آن متغیرهای مستقل رابطه کشف می شوند. رابطه بین متغیرهای وابسته و مستقل نیز با تجزیه و تحلیل سوابق گذشته در نظر گرفته می شود و نتایج فعلی کشف می شود. به عنوان مثال وقتی مشتری پین دستگاه خودپرداز خود را وارد می کند، پین با اطلاعات ذخیره شده مطابقت دارد.اگر اطلاعات با پین وارد شده مطابقت داشته باشد ، اقدامات بیشتری انجام می شود در اینجا این دو در متغیرهای وابسته در نظر گرفته می شوند و مقدار برداشت شده متغیر مستقل است.

طبقه بندی

در طبقه بندی کل داده ها بر اساس ویژگی ها و انواع آن ها برای طبقه بندی تکنیک های مختلف ریاضی مانند درخت تصمیم، برنامه نویسی خطی، شبکه های عصبی و آمار طبقه بندی می شوند. برای این منظور نرم افزاری توسعه داده شده است که داده ها را بر اساس بخش های مختلف طبقه بندی می کند. به عنوان مثال، می توان افراد را بر اساس سن و گروه اجتماعی طبقه بندی کرد. (استفاده از درخت تصمیم)

خوشه بندی 

خوشه به معنی گروهی از ویژگی ها و رفتار مشابه است که در آن داده کاوی که در آن داده ها با هم ترکیب شده اند و رفتار مشابهی دارند، اطلاعات مفیدی ایجاد می کند.

الگوی متوالی

 در این تکنی ، رویدادهایی در حال کشف هستند که وقوع منظمی دارند.

برنامه های استخراج داده ها

داده کاوی در مراقبت های بهداشتی: داده کاوی در سیستم مراقبت های بهداشتی بسیار مفید است. پزشکان با کمک داده کاوی به دنبال نحوه ذخیره و استفاده بهینه از داده ها هستند

داده کاوی در تجزیه و تحلیل مبتنی بر بازار: داده کاوی به کشف رابطه بین دو یا چند موردی که مشتری در سبد خرید خود قرار داده است، کمک می کند. بنابراین خرده فروش از تکنیک داده کاوی برای پیدا کردن تمایلات و عادات مشتری استفاده می کند، بنابراین این روش به افزایش سود یک تجارت کمک می کند.

مورد استفاده در سیستم آموزشی: در قرن امروز، دولت مراقبت از آموزش دانش آموزان را از نظر کیفیت و کمیت می داند. بسیاری از دانشگاه های جدید بر اساس قانون UGC تأسیس شده اند. با استفاده از تکنیک داده کاوی می توان الگوی متفاوت آموزش را کشف کرد. به کمک تکنیک استخراج داده، می توان کارایی سیستم را بهبود بخشید و میزان ترک تحصیل دانش آموزان را کاهش داد زیرا تکنیک های استخراج داده به عنوان پل دانش بین آموزش ها عمل می کند.

داده کاوی در مهندسی تولید: داده هایی که می توان از سیستم تولید دریافت کرد، توسط مشتری برای کشف خطاها و افزایش طراحی سیستم استفاده می شود. این کار به منظور افزایش کیفیت و توانایی تصمیم گیری انجام می شود.

در علم پزشکی: علم پزشکی کاربرد اصلی داده کاوی است زیرا در این مفهوم وظایف بسیاری مانند مشخصات بیمار، سابقه، ایجاد، تشخیص بیماری و غیره گنجانده شده است. داده های پزشکی پیچیده و درک آن دشوار است. یک سیستم REMIND (استخراج قابل اعتماد و تداخل معنی دار از داده های بدون ساختار) برای ترکیب داده های ساختار یافته و بدون ساختار برای ایجاد خودکار یک پرونده بالینی با کیفیت خوب استفاده می شود. بنابراین از تکنیک های داده کاوی در مدیریت بهتر داده ها استفاده می شود تا بتوان بهره وری را بهبود بخشید.

روش داده کاوی مورد استفاده در آموزش وب: برای بهبود دوره تکنیک های داده کاوی مفید هستند. داده هایی که دانش آموزان در طول جلسه انتخاب کرده اند به عنوان پرونده ثبت می شود. این داده ها توسط معلمان یا نویسندگان برای افزایش اثر بخشی دوره استفاده می شود. بنابراین از تکنیک های داده کاوی برای افزایش آگاهی فراگیران استفاده می شود.

نمره گذاری اعتباری: با توجه به افزایش استفاده از کارت اعتباری، امتیاز دهی به اعتبار به یک موضوع مهم تبدیل شده است. تعداد زیادی از مشتریان از کارت اعتباری استفاده می کنند، بنابراین نگهداری حجم زیادی از داده ها از نظر اقتصادی و نیروی انسانی بسیار دشوار است. بنابراین از تکنیک های داده کاوی در این مورد برای کاهش پیچیدگی سیستم استفاده می شود.

بازیابی کننده های کتابخانه دیجیتال: داده هایی که به شکل دیجیتال استفاده می شوند جمع آوری و ذخیره می شوند. در قرن 21 از سیستم های کامپیوتری برای حفظ سیستم کتابخانه ای استفاده می شود که تغییر بزرگی در سیستم کتابخانه ایجاد کرده است. داده ها در قالب های مختلف مانند تصاویر، صدا، ویدئو، نقشه ها و غیره در دسترس هستند.

سخن پایانی

داده های قبلی به صورت دستی در قالب فایل ذخیره می شد. با پیشرفت تکنولوژی حجم زیادی از داده ها برای ذخیره سازی در دسترس بود. بنابراین ذخیره سازی داده ها برای مدیریت صحیح حجم زیادی از داده ها به صورت ذهنی و یکپارچه انجام شد. تکنیک های داده کاوی برای استخراج اطلاعات از پایگاه داده برای تصمیم گیری بهتر توسعه داده شد.