অ্যাপাচি স্পার্ক একটি শক্তিশালী ওপেন সোর্স কাঠামো, যা বৃহৎ মাপের তথ্য প্রক্রিয়া এবং বিশ্লেষণের জন্য নির্মিত। Samk এর ভিত্তি সঠিকভাবে কাজ করা, দক্ষতা ও দক্ষতা নিশ্চিত করার জন্য প্রকৌশলীদের জন্য কাজ করা অপরিহার্য। এই গাইডটি ইঞ্জিনিয়ারিং বিশ্লেষণের জন্য এ অ্যাপার স্পোর্ট তথ্য বিশ্লেষণের জন্য একটি পদক্ষেপ হিসেবে সরবরাহ করে।

নিয়মিত ব্যবস্থা এবং সিস্টেমের আবশ্যকতা

স্পার্ক ইনস্টল করার আগে, আপনার সিস্টেম প্রয়োজনীয় প্রয়োজনীয়তা নিশ্চিত করুন:

  • Linux অথবা Windows অপারেটিং সিস্টেমের সাথে সংযোগ স্থাপন ব্যবস্থা
  • জাভা ডেভেলপমেন্ট কিট (JDK) ৮ (JDK) বা উচ্চ এইখানে ইনস্টল করা হয়েছে
  • সঠিক কর্মক্ষমতার জন্য অন্তত ৮ গিগাবাইটটি আসন
  • PySAbian ব্যবহার করে পাইথন 3.x

জাভা এবং স্পার্ককে ইনস্টল করা

JDK ইনস্টল করার সময়, যা স্পার্ক নির্ভর করে। সরকারি ওয়েবসাইট থেকে পাওয়া নতুন সংস্করণ ডাউনলোড করুন অথবা আপনার সিস্টেমের প্যাকেজ ম্যানেজারের প্যাকেজ ম্যানেজারের নাম ব্যবহার করুন। জাভা ইনস্টল করার পর, এই ইনস্টলেশন পরীক্ষা করে দেখুন:

[[F]:

পরবর্তী, উপরোক্ত ওয়েবসাইট থেকে অ্যাপাচি SAComboe নামক একটি ফাইল ডাউনলোড করুন। অপারেটিং সিস্টেমের জন্য পূর্ববর্তী প্যাকেজ নির্বাচন করুন। পছন্দের ডিরেক্টরিতে ডাউনলোড করা আর্কাইভ এক্সট্র্যাক্ট করার জন্য ডাউনলোড করা হবে।

উদাহরণ হিসাবে এনভায়রনমেন্ট ভেরিয়েবল কনফিগার করুন [FLT:] [F1] এবং স্পার্ক [F2:] /FOPL [FLT] কমান্ড থেকে সহজে ব্যবহারযোগ্য পাথগুলি সনাক্ত করতে আপনার সিস্টেমে libPL [FLT] ডিরেক্টরী যোগ করুন ।

বড় আকারে তথ্যের বিশ্লেষণের জন্য স্কুইডিং

বিস্তারিত তথ্য বিশিষ্ট কি-রিংয়ের মধ্যে কর্ম সঞ্চালনার জন্য delay কনফিগারেশন পরিবর্তন করুন। কি সংক্রান্ত বৈশিষ্ট্য যোগ করা যাবে:

  • [[F][FLT]:[FLT]] ওয়ার্কার নোডের জন্য পর্যাপ্ত মেমরি অনুপস্থিত, e.g.][FODO:3]
  • [[F] Execers [FOP] [FLT]:] আপনার স্তরগুলো যেমন উদাহরণের ভিত্তিতে নির্ধারিত হয়, উদাহরণ [FOFO:[4]
  • [[F]DROPIO মেমরি:[FLT] [FLT], ড্রাইভার প্রোগ্রামের জন্য সমস্ত স্মৃতি ভুলে যাওয়া হবে, যেমন,[FO]

স্তবকর এনভায়রনমেন্টে স্পার্ক চলছে

বড় বিশ্লেষণের জন্য স্পার্ককে সংযুক্ত করা সুপারিশ করা হয়। জনপ্রিয় গুচ্ছ ম্যানেজার এপিএ হ্যান হ্যানএন, এ অ্যাপো মেসোস অথবা স্পার্কের স্বতন্ত্র গুচ্ছ মোড সম্পাদনা করে এর কনফিগারেশন ম্যানেজারকে কনফিগার করুন এবং URL- এর মাস্টারের URL-এর জন্য URL- এর ভূমিকা পালন করুন ।

স্পার্ক মাস্টার এবং শ্রমিক নোড চালু করুন, তারপর আপনার স্পার্ক অ্যাপ্লিকেশন ব্যবহার করে:

[[F]: ৭.৭

পাইথনের জন্য PySACompick ব্যবহার করা হয়

পিএস পার্ক ব্যবহারকারীদের pip এর মাধ্যমে পাইথন স্পার্কের ক্ষমতা ব্যবহার করতে দেয়:

[[[F]:R]

আপনার Python স্ক্রিপ্টে একটি স্পার্ক সেশন চালু করুন:

[[[[F]: [শুধু]

[[[F]: ১০

অন্তর্ভুক্ত

বড় ইঞ্জিনিয়ারিং ডাটা বিশ্লেষণের জন্য অ্যাপোক স্র্ককে প্রস্তুত করা, প্রয়োজনীয় সফটওয়্যার ইনস্টল, পদ্ধতি কনফিগার এবং স্পার্ক পরামিতিরটিকে একটি গুচ্ছ পরিবেশে স্থাপন করা।