Ang mga sistemang distributed ay naging pundasyon ng modernong digital imprastraktura, na nagpapaandar ng lahat ng bagay mula sa mga e-commerce platform hanggang sa real-time analytics engines. Ang mga sistemang ito ay binubuo ng maraming magkakaugnay na mga bahagi na mga surviser, database, microservices, at network devices na madalas na kumakalat sa iba't ibang mga rehiyon o providers. Kapag mahusay na ginawa ito ay tinitiyak ang katatagan sa isang iba't ibang kapaligiran ay isang masalimuot na gawain. Kapag ito ay ginagawa ang mga proseso ay hindi gaanong mahusay na ginagawa, napananatili ang mga gawaing pagsasaayos at ang mga gawaing pang-edyer.

Pag - unawa sa Pamamahagi ng Sistemang Pang - edukasyon

Ang pangangalaga sa isang ipinamamahaging konteksto ay hindi lamang basta mga dayace update sa Martes kundi pati ang:

  • Mga software update at mga security packs – Paglalapat ng pinakabagong mga fix sa mga operating system, middleware, at mga aplikasyon sa ibayo ng lahat ng mga node.
  • [Hardware lifecycle management – pagpapalit ng mga bumabagsak na disk, pag-angat ng memorya, o pagpapalit ng mga network switchs nang hindi nasisira ang mga serbisyo.
  • AngConfiguration ay nagbabago[ – pag-aangkop ng mga patakarang balancer ng karga, database connection pool, o mga patakarang firewall.
  • Performance confision – Optimizing query bitay, pag-iinam ng mga mapagkukunan pataas o pababa, at muling pag-iiba ng mga partikulong datos.
  • Backup at revival test – Verning na ang mga backup ay hindi pabagu-bago at maaaring ibalik sa lahat ng mga uri ng sangkap.
  • Mga audit ng Sekularidad at pagsunod sa mga tseke[ – Pag-aalsa para sa mga volnerabilidad at pagtiyak ng pagsunod sa mga pamantayan ng industriya.

Halimbawa, ang pandarayuhan ng database ay maaaring makaapekto sa maraming bahagi nito nang sabay - sabay dahil sa mga interdependensiya.

Pinakamabuting Gawain Para sa Mabisang Koordinasyon

Magtatag ng Maliwanag na mga Protocol sa Komunikasyon

Ang bawat pangkat ay nagsasangkot ng cipial development, operasyon, seguridad, at mga statholders ng negosyo na malamang na nakaaalam kung ano ang ginagawa, kailan, at bakit. Gamitin ang pamantayang mga channel gaya ng:

  • Isang dedikadong #maintenance-announcements Slack channel o Microsoft Teams group.
  • Isang kalendaryo na may mga bintanang pang-tensiyon, inaasahang pagbangga, at mga planong rollback.
  • Isang sistema ng pagbabagong pangasiwaan (katulad ng Serye Ngayon o Jira) na nangangailangan ng pagsang-ayon bago ang anumang pagbabago sa produksiyon.

Itala ang daloy ng komunikasyon: kung sino ang nagsasabi kung sino, anong impormasyon ang ibinabahagi (hal.g., inaasahang tagal, antas ng panganib), at kung paano titindi kung may mangyaring mali.

Plant Sustance Windows

Para sa mga serbisyo sa buong daigdig, maaaring mangahulugan ito ng pag - alun - along mga bintana o pag - aayos ng mga bagay na may kinalaman sa likas na mga kalmasyon.

  • Ang pag-eere ng mga updates – Update ng isang subset ng mga node sa isang panahon, na pinananatili ang natitirang naglilingkod na trapiko.
  • Blue-green repositions – Sphin ang isang ganap na bagong kapaligiran, palitan ang trapiko, at pagkatapos ay i-commission ang lumang kapaligiran.
  • AngCanary ay naglalabas – Ilabas ang isang maliit na porsiyento ng mga gumagamit nito sa bagong bersyon muna, pagkatapos ay unti-unting rampa.

Laging isama ang isang pananggalang sa iyong bintanang pang - pagmamantini upang pangasiwaan ang di - inaasahang mga pagkaantala.

Pag - aayos ng Automatang Monitor

Ang tunay na pagsubaybay sa pamamagitan ng oras ng pag - iingat ay iyong sistema ng pagbababala, at magsalansan ng isang salansan na tumatakip sa iyo:

  • Infrastructure metrics – CPU, memorya, disk I/O, network latency.
  • [[Papamagitan na pagganap – Paghingi ng latency, rate ng error, sa pamamagitan ngput.
  • [Dependensiyal na kalusugan – Datatabase connection pool useration, cache portrained ratio, message queue endies.

Ang mga kasangkapang katulad ng [ at Datadog ay nagbibigay sa iyo ng mga babala na naglalagay ng mga hudyat na nag-eeere kapag ang mga metriko ay tumatawid sa mga panimulang panimulang mga sanggunian. Ang mga ito ay maaaring ihalo sa mga dashboard na nagbibigay ng isang-pane-of-glass na pananaw ng sistema ng kalusugan sa panahon ng mantensiyon. Halimbawa, kung ang isang pamamaraan ng pagpapanatili ay nagsasangkot ng isang pag-ayos na pag-ayos ng isang serbisyo, ang bilis ay maaaring maka-clock sa stampling na hindi motiba sa stampling sa stacepornment kung ito at ma-up na stampling sa stacepth.

Panatilihin ang Detalyadong Dokumento

Ang isang Configuration Management Database (CMDB) o isang imprastrakturang grap ay tumutulong sa mga pangkat na maunawaan kung anong mga bahagi ang umiiral at kung paano ito nag-uugnay.

  • Lahat ng hardware at software imbentaryo, kabilang ang mga bersyon at mga antas ng tagtag.
  • Dependensiya Mapa na nagpapakita kung aling serbisyo ang tumatawag kung aling API o database.
  • Ang mga aklat - aralin na may mga tagubilin sa paghakbang ay nag - uutos ng mga tagubilin para sa karaniwang mga gawain sa pagmamantini.
  • Post phytoptem ay nag - uulat mula sa mga nakaraang insidente upang maiwasan ang pag - ulit ng mga pagkakamali.

Ang Documentation ay dapat ituring bilang code: bersyon ito sa isang Gitpoint, repasuhin ito nang palagian, at tiyaking madali itong mahahanap.Confluence o Ang mga kasangkapang katulad ng ] ay maaaring maging host ng impormasyon, ngunit ang susi ay ang panatilihin itong nasa petsa. Walang tumpak na docs, ang mga koponan ay sinusubukang mag-aksaya ng oras upang malaman kung bakit ang isang partikular na bahagi ay nag-aasal nang hindi inaasahan.

Kasabay na Pagsubok

Huwag na huwag gumamit ng pagbabago sa produksiyon nang hindi sinusubok. Gamitin ang kapaligirang hindi nasisira ng mga bagay na doo'y makikita ang posibleng produksiyon ng hardware, network topology, at data volume. Dapat na ilakip sa proseso ng pagsubok ang:

  • Mga pagsusulit ng unit para sa bawat mga partikulong patse.
  • [[Integration tests upang matiyak na ang mga update ay gumaganang magkakasama (e.g., ang isang bagong bersyon ng isang microservice ay maaari pa ring makipagtalastasan sa umiiral na database).
  • Load testing upang matiyak na ang sistema ay makakapaghawak ng inaasahang trapiko pagkatapos ng pagbabago.
  • Ang inhenyeriyangChaos ay nag-eehersisyo upang makita kung paano gumagawi ang sistema sa ilalim ng mga kabiguang sangkap sa panahon ng pagpapanatili.

Kung ang pagbabago sa database ay nangangailangan ng pandarayuhan ng schema, ang team ng application ay dapat munang magkaroon ng magkakabagay na bersyon. Gamitin ang mga tampok na bandila o toggle switchs upang subukin ang bagong pag-uugali sa produksiyon habang pinananatili itong hindi nakikita ng mga gumagamit.

Gamitin ang Pagkontrol ng Bersiyon sa Lahat ng Bagay

Ang infrastructure as Code (IaC) ay hindi na opsyonal. hontect ang lahat ng mga files ng pagsasaayos, mga deposition script, at mga kahulugan ng kapaligiran sa isang sistema ng pagkontrol ng bersyonGit Ang pamantayang ito ay nagbibigay sa iyo ng:

  • Buong kasaysayan ng mga pagbabago, pati na kung sino ang gumawa nito at kung bakit.
  • Ang kakayahang mag - rolling pabalik sa kilalang mabuting kalagayan sa isang iglap.
  • Isang pinagmumulan ng katotohanan na nag - aalis sa pagkaanod ng kaayusan.

Tanhanksan ang inyong Ansible Playbooks, Terraform configurations, at Docker Composse files gaya ng paglalapat ng code. Gamitin ang mga request ng draw at code review para sa mga pagbabago sa imprastraktura. Tag releases upang madali mong mai-create ang isang pangyayaring pang-tensiyon na may espesipikong configuration na bersyon.

Mga Kasangkapan at mga Technologie

Pangangasiwa sa Pagsasanggunian

Automate paulit-ulit na mga gawain na may mga kagamitang katulad ng , Puppet, o Chef]. Ipinatutupad nila ang nais na estado sa ibayo ng mga node, na tinitiyak na lahat ng server ay nagpapatakbo ng parehong bersyon ng pakete at mga setting.[TFLLLT:6] Philippinesclecleances[T]s[T]s.

Pag - iinspeksiyon at Pagiging Obserbado

Ang Prometheus na pinagsama sa Grafana[ ay nagbibigay ng popular na bukas na imbakan ng mga merics at paunawa. Para sa log agregation, isaalang-alang ELK (Elastic search, Logstash, Kibana) o [[FLT:[4]L]L&T:[TL] [[5] ] ⁇ ] ⁇ F ⁇ F ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ [ ⁇ ] ⁇ ] ⁇ ] ⁇ [[T ⁇ ] ⁇ ] ⁇ ] ⁇ ] ⁇ ] ⁇ [[T ⁇ ] ⁇ ] ⁇ ] ⁇ ] ⁇ ] ⁇ ] ⁇ [[T ⁇ ] ⁇ ] ⁇ ] ⁇ ] ⁇ ] ⁇ [[T ⁇ ] ⁇ ] ⁇ [[T ⁇ ] ⁇ ] ⁇ ] ⁇ ] ⁇ ] ⁇ [[8 ⁇ ] ⁇ ] ⁇ ] ⁇ ] ⁇ ] ⁇ [[T ⁇ ] ⁇ ] ⁇ ] ⁇ ] ⁇ ] ⁇ ] ⁇ ] ⁇ [[8

Komunikasyon at ang Di - kilalang Pangangasiwa

Ang Slack and Microsoft Teams ay nagsisilbing tunay na sentro ng panahon ng mga insidente, Ang PaagerDuty o ] Ang pag-uugnay ng mga insidente ay maaaring awtomatikong magpatindi ng mga alerto at pagtutugma ng mga elektration elements. Mapanatili ang isang video conference na pag-uugnay ng lahat kung ang isang operasyon ay magka-impluwensiya.

Pagkontrol ng Bersiyon at CI/CD

Git ang pinaka-pundasyon. supplymented ito sa pamamagitan ng isang CI/CD pipeline (Jenkins, GitLab CI, GitHub Actions) na awtomatikong naglalapat at sumusubok ng mga pagbabago sa isang kapaligirang pang-edukasyon bago itaguyod ang mga ito sa produksiyon.Ito ay nagpapagaan sa pagkakamali ng tao at nagpapatupad ng di-pagbabago.

Karaniwang mga Hamon at mga Mithiasyon

Pinag - uusapan ang Oras

Kapag ang mga pangkat ay nakakalat sa buong globo, ang isang bintanang maintenance ay maaaring bumagsak sa panahon ng negosyo para sa ilan.[1] Sa pamamagitan ng paggamit ng isang umiikot na iskedyul na namamahagi ng abala nang walang kinikilingan, o sa pamamagitan ng pag - aayos ng isang sinusundan ang grothe grossun na modelo kung saan ang bawat pangkat na panrehiyon ay nagsasagawa ng pagpapanatili sa kanilang lokal na mababang yugto ng voltraffic.

Nagkakasalungatang mga Pangyayari

Dalawang koponan ang maaaring mag - iskedyul ng magkasamang pagmamantini na nakaaapekto sa iisang dependensiya. Isaayos ang pagbabagong advisory board (CAB) na nagrereresulta sa lahat ng isinaplanong pagbabago linggu - linggo. Gamitin ang kalendaryong may kasamang kulay na mga kategoryang may calcoded (e.g., pula para sa kritikal na imprastraktura, dilaw para sa di - mapanuri) at humihiling ng mga alitan na dapat lutasin bago ang pagsang - ayon.

Mga Sistema ng Pamana na May mga Proseso ng Manwalidad

Sa gayong mga kaso, isulat ang mga hakbang sa isang runbook at ipasunod ito sa iba habang sinusubaybayan ito ng iba. Unti - unting nagpaplanong i - decommission o i - upgrade ang mga ito.

Pagkakamali ng Tao

Kahit na sa automation, nangyayari ang mga pagkakamali.

  • Paghingi ng dalawang tuntunin sa pag - aayos ng calperson para sa sensitibong mga operasyon (isa upang patayin, isa upang obserbahan).
  • Ang paggamit ng hindi mababagong imprastraktura kung saan ang mga server ay hindi kailanman tinatirhan sa lugar na ⁇ i ⁇ lamang pinalitan ng bago at binagong mga imahe.
  • Pagdaraos ng mga tagubilin bago ang pag - iingat at postscaintencing reflections.

Pagsasaayos

Ang pagsasaayos ng pagmamantini sa ibayo ng pamamahagi ng sistema ay nangangailangan ng pagsasama ng disiplina sa proseso, malinaw na komunikasyon, at tamang kagamitan. Sa pamamagitan ng pagtatatag ng mga programa sa komunikasyon, maingat na pagpaplano ng mga bintana, pagsubaybay sa pamamagitan ng paggamit ng makina, pagpapanatili ng masusing dokumentasyon, lubusang pagsusuri nang lubusan, at bersiyon na kumokontrol sa bawat sinaunang bagay, lubhang mababawasan ng mga organisasyon ang panahon at panganib sa pag - oopera.