پیشنهاد یک معماری مقیاس پذیر مبتنی بر پروژه های متن باز برای پردازش جریان های داده
کپی شد
تاریخ ثبت: 06 خرداد 1397
نویسندگان: سیدمجتبی بنائی, مجید عبدالرزاق نژاد
کلمات کلیدی: کلان¬داده، پردازش جریان، جریان¬پردازی، معماری داده مقیاس¬پذیر
در سال¬های اخیر به یمن گسترش اینترنت و شبکه¬های اجتماعی، تصاویر ماهواره¬ای و دوربین¬های نظارتی، رشد روزافزون استفاده از حسگرها بخصوص در حوزه اینترنت اشیاء، افزایش حجم تولید فایل¬های ثبت تراکنش در سرورها، نفوذ وسایل ارتباطی همراه و نهایتاً هوشمند شدن وسایل زندگی و پزشکی، نیازمندیهای جدیدی در حوزه پردازش داده بوجود آمده است و مدل¬های سنتی پردازش کلان¬داده مانند روش توزیع و تجمیع، پاسخگوی آنها نیست. امروزه در بسیاری از کاربردها، نیاز به سامانه¬هایی داریم که بتوانند حجم عظیم داده¬های تولید شده را در همان لحظه دریافت، بررسی و پردازش کرده و سپس آنها را ذخیره کنند.
این سامانه¬ها که به طور خاص برای کار با داده¬های نامحدود طراحی شده¬اند را سامانه¬های پردازش جریان می¬نامیم و در این مقاله به این بخش نوین از اکوسیستم کلان¬داده خواهیم پرداخت . مروری بر مفاهیم و اصلاحات، بررسی چالشها و نهایتاً ابزارها و کتابخانه¬های موجود در این حوزه و راهنمایی¬هایی برای انتخاب درست یک چارچوب جریان¬پردازی و نهایتاً پیشنهاد یک معماری مقیاس¬پذیر بر اساس پروژه¬های متن¬باز حوزه پردازش جریان، شاکله اصلی این مقاله را تشکیل می¬دهند.
