Apache Spup เป็นโครงข่ายโอเพนซอร์สที่มีประสิทธิภาพมาก ออกแบบมาสําหรับกระบวนการประมวลผลข้อมูลและวิเคราะห์ขนาดใหญ่ การจัดทําสปาร์คอย่างถูกต้องจําเป็นสําหรับวิศวกรที่ทํางานกับชุดข้อมูลขนาดใหญ่

พรีไคไซต์และข้อห้ามของระบบ

ก่อนการติดตั้งสปาร์ค เพื่อให้แน่ใจว่าระบบของคุณจะเป็นไปตามความต้องการที่ต้องการ:

  • ระบบปฏิบัติการของลินุกซ์หรือวินโดวส์Name
  • ชุดของจาวาพัฒนา (JDK) 8 หรือรุ่นที่สูง
  • ค่าความสว่างอย่างน้อย 8 GB สําหรับประสิทธิภาพที่น้อยที่สุด
  • Python 3. x หากใช้ Pyspark

การ ติด ตั้ง ชวา และ สปาร์ค

เริ่มโดยการติดตั้ง JDK ซึ่งสปาร์กจะขึ้นอยู่กับ ดาวน์โหลดรุ่นล่าสุดจากเว็บไซต์ Oraphy หรือใช้งานตัวจัดการแพกเกจของระบบของคุณ หลังจากการติดตั้งจาวาแล้ว ให้ตรวจสอบการติดตั้งโดย กําลังทํางานอยู่:

[FLT: 0]

ถัดไป ให้ดาวน์โหลด Apache Spups จากเว็บไซต์อย่างเป็นทางการ เลือกแพกเกจที่มีการสร้างไว้ก่อนสําหรับระบบปฏิบัติการของคุณ คลายแฟ้มจัดเก็บที่ถูกดาวน์โหลดไปเป็นไดเรกทอรีที่ต้องการ

ปรับแต่งตัวแปรแวดล้อม เช่น [FLT: 1) และเพิ่ม ' ไดเร็คทอรี มายังพาธของระบบของคุณ เพื่อเปิดใช้งานง่าย ๆ จากบรรทัดคําสั่ง

ตั้งค่าประกายไฟสําหรับวิเคราะห์ข้อมูลขนาดใหญ่

ปรับค่าสปาร์คให้มีประสิทธิภาพมากที่สุดสําหรับชุดข้อมูลขนาดใหญ่ ค่ากุญแจรวม:

  • [FLT: 0]. หน่วยความจําแบบ Executor: Albook memory เพียงพอสําหรับโหนดงาน e.g.
  • [FLT: 0] เรียงลําดับของ Executter: วางตามขนาดกลุ่ม, e.g.
  • [FLT: 0] หน่วยความจํา Driver: Alated memory for the very, e.g.

การ วิ่ง สปาร์ค ใน สภาพ แวด ล้อม ที่ มี ความ มืดมน

สําหรับการวิเคราะห์ขนาดขนาดใหญ่ ขอแนะนําให้ใช้สปาร์คในกระจุกดาว ขอแนะนําให้ใช้ตัวจัดการกลุ่มดาว ที่นิยมใช้รวมไปถึง Apache Hadau Yarn, Apache Mesos หรือ Sport's Super's Martle sports. confign Manager โดยแก้ไขแฟ้ม[FLT: 6] และระบุที่อยู่ URL หลัก

เริ่มระบบต้นแบบสปาร์คและโหนดงาน จากนั้นส่งโปรแกรมสปาร์คของคุณโดยใช้:

[FLT: 7]

ใช้ PySpark สําหรับการปรับเทียบข้อมูล Python

PySpark อนุญาตให้ผู้ใช้ Python มีอํานาจในการเพิ่มอํานาจ สปาร์ค ติดตั้ง PySpark ผ่าน Ppip:

[FLT: 8]

เริ่มวาระงานของสปาร์คในสคริปต์ Python ของคุณ:

[FLT: 9]

[FLT: 10]

รูปแบบการวน

การจัดทํา Apache Spark สําหรับการวิเคราะห์ข้อมูลทางวิศวกรรมขนาดใหญ่นั้น เกี่ยวข้องกับการติดตั้งซอฟต์แวร์ที่จําเป็น ระบบปรับแต่งและตัวแปรสปาร์ค และใช้งานในสภาพแวดล้อมของกลุ่มดาว