Jatkuva integrointi ja jatkuva käyttöönotto (CI/CD) putkistot ovat tulleet nykyaikaisen ohjelmistotoimituksen selkäranka. Ne automatisoivat koodimuutosten integroinnin, testien suorittamisen ja sovellusten käyttöönoton, jolloin tiimit voivat vapauttaa ominaisuuksia nopeammin ja luotettavammin. Kuitenkin, kun putkistot kasvavat monivaiheisina, työkalut ja ympäristöt . Niiden terveyden ja suorituskyvyn ylläpitäminen tulee haasteeksi. Tässä on seuranta ja kirjautuminen askel kriittisenä mahdollistajana. Jäljittämällä putkimetrit ja kirjaamalla yksityiskohtaiset suorituslokit, tiimit voivat havaita ongelmia varhaisessa vaiheessa, ymmärtää perussyitä ja jatkuvasti parantaa sekä putkistoa että sen tarjoamia ohjelmistoja.

Seurantaa ja kirjautumista koskevan tiedon ymmärtäminen

Monitoring[] on käytäntö tarkkailla tilaa ja käyttäytymistä CI/CD putkiston reaaliajassa. Se keskittyy kvantitatiiviset mittarit kuten rakentaa kesto, onnistumisasteet, resurssien kulutus, ja jonopituudet. Dashboards ja hälytykset johdettu seurantatiedot antavat joukkueille at-a-glance näkymä putkiston terveyttä ja välitön ilmoitus, kun jokin menee vikaan.

Kirjautuminen[, sen sijaan, kaappaa rakeinen, aikaleimattu kirjaa tapahtumista, jotka tapahtuvat jokaisen putkiston aikana. Jokainen lokimerkintä sisältää yksityiskohtia siitä, mitä tapahtui, kun se tapahtui, ja usein miksi se tapahtui.Sisältää virheviestit, varoitukset, vianjäljityslähtö ja kontekstimetatiedot kuten sitoutua häsejä ja ympäristömuuttujia. Vaikka seuranta vastauksia on putkisto terve nyt? ., kirjautuminen vastauksia .Mitä tarkalleen meni pieleen aikana että epäonnistui rakentaa?. Yhdessä ne muodostavat täydellisen observability perusta.

Seuranta CI/CD:ssä

Seurantatyökalujen valinta

Tehokas seuranta alkaa oikeiden työkalujen valinnasta. Avoin lähdekoodi -vaihtoehdot kuten [Prometheus[ ja Grafana[] tarjoavat tehokasta metristä kokoelmaa ja visualisointia. Pilvipalvelut kuten [WS CloudWatch[]], []Azure Monitor[], ja []Google Cloud Monitoring[, jotka yhdistävät infrastruktuurin, sovelluksen ja putkiston.

Ratatekniikan avain

Seuranta on vain yhtä arvokasta kuin keräämäsi mittarit. Keskity näihin keskeisiin putkiston terveysindikaattoreihin:

  • Rakenna onnistumisprosentti[ . Prosentuaalinen osuus rakentaa että täydellinen ilman virhettä. Äkillinen pudotussignaalien kokoonpano tai ympäristöongelmia.
  • Keskimääräinen rakentamisen kesto[ .
  • Käyttötiheys[ . Kuinka usein käyttöönotto laukaistaan. Kytkettynä vikaan, se paljastaa yleisen julkaisuvakauden.
  • Käyttövirheiden määrä[ .
  • Ennen palautumista (MTTR)[] . Aikaa kului putkiston terveyden palauttamiseen onnettomuuden jälkeen. Lyhyempi MTTR osoittaa vankat hälytys- ja korjausmenettelyt.
  • Resource Uppersious . ... CPU, muisti, levy I/O, ja verkon käyttö rakennusagentteja tai kontteja. Pullonkauloja voidaan käsitellä skaalaamalla tai optimoimalla työpaikkoja.

Luodaan automaattisia hälytyksiä näiden mittareiden kynnysarvoja varten. Esimerkiksi hälytys käynnistetään, kun onnistumisaste laskee alle 95 prosenttia tai kun rakentamisen keskimääräinen kesto ylittää perustason 20 prosentilla.

Toteutus Kirjautuminen CI/CD:ssä

Rakennettu kirjautuminen ja tooling

Raw, unstructure logs are vaikeuslokeja etsiä ja analysoida. Hyväksyä jäsenneltyjä hakkuumuotoja (JSON, logfmt), jotka sisältävät avain-arvo paria helppo suodatus. Työkalut kuten []ELK pino[ (Elasticsearch, Logstash, Kibana), Splunk[], tai pilvi-natiiviset palvelut kuten [Google Cloud Logging[] ja [. Varmista jokainen putkijohtovaiheen lähdöt lokit, joissa on yhtenäinen metatieto: putkisto, vaihenimi, työnimi, sitoa SHA, haara, käyttäjä ja ympäristö. voi sorvatata ja indeksilokit mittakaavassa.

Mitä kirjautua jokaisessa vaiheessa

Kattava puunkorjuustrategia sisältää tietoa jokaisessa vaiheessa:

  • Lähde: kassa [ ... arkiston URL, haara, toimita, kloonin kesto.
  • Vastuuasennus[ . Pakettihallinta ulostulo, verkkovirheet, versioristiriidat.
  • Rakennukset ja koostaminen[ .
  • Testitulokset, aikakatkaisut, hiutaletestit.
  • Turvallisuuden skannaus[ .
  • Artefaktin luominen [ ...
  • Käyttöönotto[ .

Käytä log-tasoja asianmukaisesti: normaalissa edistymisessä, takaisinsaatavissa poikkeamissa, huomiota vaativissa vioissa. Vältä liiallista verbositeettia tuotantoputkistoissa; sen sijaan mahdollista vianetsintävirheiden kirjaamisen tarpeen mukaan vianetsintävaiheessa.

Seuranta- ja kirjautumistyökalujen integrointi CI/CD-työkaluihin

Jokainen CI/CD-alusta tarjoaa lisäpisteitä seurantaan ja puunkorjuuun. -Jenkins[[]-järjestelmässä voit asentaa Prometheus-liitännän, joka paljastaa rakennusmittarit tai Logstash-liitännän, jotta voit välittää lokit Elasticsearchiin. [-GitLab CI[-toiminnolla tuetaan omia mittareita -työtyypin ja integroida ne Prometheus-ohjelmaan natiivisti. [-GitHub-toiminnoilla []-toiminnoilla voidaan lähettää mittareita yleisten päätepisteiden kautta tai lähettää lokit mihin tahansa logkerijärjestelmään custom-toimien kautta.

Parhaat valvonta- ja kirjautumiskäytännöt

Saadaksesi parhaan mahdollisen hyödyn huomiokykysi investoinnistasi, noudata näitä todistettuja käytäntöjä:

  • Aloitetaan varhain.[ Integroi seuranta ja puunkorjuu alkuperäisen putkisuunnittelun aikana. Retroasennus on vaikeampaa ja usein kaipaa perusmittareita.
  • Käytä keskitettyä kojelautaa.[ Yhtenäistä näkemystä, jossa yhdistyvät reaaliaikainen putkistoterveys, viimeaikaiset viat ja lokihaku vähentävät kontekstin vaihtoa.
  • Aseta toimintakelpoiset hälytykset.[ Vältä hälytysväsymys määrittelemällä vakavuustasot ja tukahduttamalla tunnettu melu. Hälytysten pitäisi edellyttää ihmisen vastetta, ei vain olla informatiivinen.
  • Korjaa lokit ja mittarit.[] Kun rakennus epäonnistuu, hyppää nopeasti metripaneelista tiettyihin loki viivoihin kyseistä suoritusta varten. Työkalut kuten Grafana. Loki integraatio mahdollistaa tämän.
  • Pidä lokit strategisesti.[ Pidä viimeaikaiset lokit (esim. 7.30 päivää) vianmääritystä ja arkistoi vanhemmat lokit vaatimustenmukaisuuden. Purista ja tallentaa kustannustehokkaita tasot (S3 Glacier, jne.).
  • Automaattinen lokianalyysi.[ Käytä anomalian havaitsemista tai kuviontunnistusta toistuvien vikojen tunnistamiseen (esim. levytilan poisto). Tämä siirtyminen reaktiivisesta seurannasta ennakoivaan parantamiseen.
  • Sisällytä asiayhteys joka kerta.[[] Jokaisella lokiviivalla ja metrisellä tunnisteella pitäisi olla riittävästi tietoa ympäristön, koodiversion ja laukaisevan tapahtuman ymmärtämiseksi.
  • Monitor the monitoring.[ Hälytys, kun valvontaputkesi itse epäonnistuu (esim. Prometheus-kohde on alhaalla, tukit lakkaavat olemasta nielty).

Yhteinen pitfalls ja miten välttää niitä

Jopa hyvillä aikomuksilla, joukkueet usein kompastua. Tässä ovat usein sudenkuoppia ja niiden korjaustoimenpiteitä:

  • Häiriö.[ Liian monet matalan sekvenssin hälytykset aiheuttavat herkkyyttä. Ratkaisu: katsaus hälytyssäännöt neljännesvuosittain, ryhmäkohtaiset hälytykset, ja käytä hiljaisuuden väliajoin suunniteltu huolto.
  • Puuttuva konteksti lokeissa.[ Lokit ilman putkitunnistetta tai toimitus SHA tekevät korrelaation mahdottomaksi. Pakota jäsennelty kirjautuminen aikaisin mallien tai jaettujen kirjastotoimintojen kautta.
  • ] Epäjohdonmukaiset lokimuodot.[ Eri vaiheissa tuotetaan erilaisia log-skeemat. Standardoidaan yhdellä formaattilla (esim. JSON sovituilla avaimilla) kaikissa työkaluissa.
  • Tietoa trenditiedoista ei oteta huomioon.[ Joukkueet tarkastelevat usein raakalukuja, mutta eivät muutosnopeutta. Käytä aikasarjaa havaitaksesi asteittaisen hajoamisen ennen kuin se muuttuu akuutiksi.
  • Yli-instrumentointi.[[] Liian monet mittarit lisäävät melua ja kustannuksia. Keskity mittareihin, jotka vaikuttavat suoraan putkiston luotettavuuteen ja kehittäjän tuottavuuteen.
  • Ei säilytyskäytäntöä.[ Lokit ilmapallojen varastointikustannukset. Aseta selkeät säilytysikkunat/ympäristö (esim. tuotantolokit, jotka ovat pidemmät kuin kehitys).

Putkistojen suorituskyvyn parantaminen data-ajusteilla

Seuranta ja puunkorjuu don. vain auttaa korjaamaan ongelmia.Ne paljastavat optimointi mahdollisuuksia. Esimerkiksi, jos metrit osoittavat, että rakentaa kesto piikkejä aina samanaikaisesti rakentaa yli viisi, voit lisätä agentti rinnakkaisuus tai refactor monorepo rakentaa pienempiin erä työpaikkoja. Jos lokit usein osoittavat ...testi uudelleen kokeilu johtuu aikakatkaisu. Tietyn moduulin, että moduuli... testit tarvitsevat vakauttaa tai jakaa pienempiin sviitteihin. Käyttötiheys suuntaus alaspäin? Tarkista lokit lisääntynyt manuaalinen hyväksyntä pullonkaulat. Yhdistämällä korkean tason metriset suuntaukset syvä logaritmeihin analyysi, joukkueet voivat järjestelmällisesti vähentää putki kitkaa. Jotkut edistyneet joukkueet myös syöttää putki metrit osaksi suorituskyky viivatauluja, jotka johtavat aika muutoksia (aika sitoutumista tuotantoon), avain DORA (DevOps Research and Assessment) metrinen. Lue lisää CI/CD seuranta Datadog blog.

Päätelmät

Seuranta ja kirjautuminen eivät ole valinnaisia lisälaitteita. Ne ovat CI/CD-putkesi silmät ja korvat. Reaaliaikaiset kojelautat ja kohdennetut hälytykset pitävät sinut ajan tasalla putkiston terveydestä, kun taas yksityiskohtaiset lokit tarjoavat rikosteknisen näytön, jota tarvitaan ongelmien ratkaisemiseksi nopeasti. Hyväksymällä jäsenneltyä kirjautumista, valitsemalla oikea seurantapino, asettamalla älykkäitä hälytyksiä ja jatkuvasti jalostamalla havaintokykyäsi, muuntaen putkistosi mitattavissa olevaksi, improvisoituvaksi voimavaraksi. Joukkueet, jotka investoivat vankkaan seurantaan ja lyhentävät palautesilmukkaa, vähentävät käyttöönottohäiriöitä ja lopulta toimittavat vakaampia ohjelmistoja suuremmalla luottamuksella. Aloita pieni, iterata, ja anna tietojen ohjata parannuksiasi.