وتتطلب معالجة البيانات الضخمة إدارة كميات كبيرة من المعلومات بكفاءة، وتتطلب نظم قواعد البيانات الحديثة إجراء حسابات دقيقة لقدرات التخزين والقدرة على التجهيز لضمان الأداء الأمثل، وتستكشف هذه المادة الاعتبارات الرئيسية للتخزين والتجهيز في بيئات البيانات الكبيرة.

الاحتياجات من المواد اللازمة لخزن البيانات الضخمة

وتشكل القدرة على التخزين عاملا حاسما في معالجة البيانات الضخمة، وهي تشمل تقدير حجم البيانات التي تولدت والتخطيط للنمو في المستقبل، ويجب أن تكون حلول التخزين قابلة للتوسع وموثوقة لاستيعاب زيادة عبء البيانات.

وتنظر حسابات التخزين عادة في حجم البيانات، والتكرار، والمصروفات العامة، مثلا، إذا كانت مجموعة البيانات 10 تيرابايت وزادت بنسبة 20 في المائة، فإن مجموع التخزين اللازم هو 12 تيرابايت.

القدرة على التجهيز والأداء

وتتطلب معالجة البيانات الضخمة موارد حاسوبية كبيرة، وتتوقف القدرة على التجهيز على تعقيد العمليات وحجم البيانات، وتُستخدم النظم الموزعة مثل هادوب أو سبارك عادة لتوازي المهام.

وتشمل حسابات الأداء تقدير عدد المعالم، وأساسيات وحدة البرامج القطرية، والذاكرة المطلوبة، على سبيل المثال، قد يتطلب تجهيز مجموعة بيانات تيرابايت واحدة ذات مهمة تستغرق 10 دقائق على عقد واحد عقدا واحدا عقدا متعددا للعمل في الوقت نفسه للحد من وقت التجهيز.

الموازنة بين التخزين والتجهيز

(ب) القدرة الفعالة على تخزين الأرصدة الكبيرة وإدارة البيانات والقدرة على تجهيزها - يمكن أن يؤدي الإفراط في تقدير التكاليف غير الضرورية، بينما قد يتسبب التقليل من تقدير التكاليف في حدوث تأخيرات وفقدان في البيانات، فالتقدير والتوسع المنتظمين أمران أساسيان للحفاظ على كفاءة النظام.

  • الاتجاهات التقديرية في نمو البيانات
  • خطة للتقسيم
  • نظم التجهيز الموزعة
  • رصد أداء النظام بانتظام