Web Crawling ve Pagerank Optimizasyonunda Güçlü Bağlanmış Bileşenlerin Rolü
Table of Contents
Dünya Wide Web'in yapısı rastgele değildir; Web taramaları ve SEO uygulayıcılarının her sayfayı hiperlinkler aracılığıyla diğer her sayfaya ulaşabileceğiniz web taramaları bağlamında temellenen grafiklere sahip olan farklı grafiklere (SCC)[FLT 1:0)[Döneticileri takip eder.
Güçlü bir şekilde Bağlanmış Bileşenleri Nedir?
Grafik teorisinde, yönlendirilen bir grafik düğümlerden oluşur (vertices) ve yönlendirilen kenarlar (arcs) web sitesine uygulanır, düğümler web sayfaları ve kenarlar bir başka sayfaya veya AİLDÜSÜSÜŞÜNCÜŞÜNCÜŞÜNCÜŞÜNCÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜŞÜNÜ
Basit bir örnek düşünün: A, B ve C. A bağlantılarını B, B bağlantılarını C'ye ve C bağlantılarını A'ya, sonra A, B ve C formu bir SCC oluşturur.Eğer B ile bağlantı kurmaksa, o zaman farklı SCC'ye ait değildir.
SCC'leri bulmak için Algoritmalar
İki klasik doğrusal zaman algoritmaları SCC'ye yönlendirilen bir grafik için kullanılır: [[0|Kosaraju'nun algoritması[Dönler) ve E'nin kenar sayısı (linkler).
- [FONTT:0)Kosaraju'nun algoritması[DDDÜT:1] iki geçişte çalışır. İlk olarak, ilk DFS ormanda her ağaç bir SCC'ye karşılık gelir.
- [FONT=0]Tarjan'ın algoritması[[DFLT:1] tek bir DFS kullanıyor ve bir tür veritabanları koruyor, her bir veritabanını bir SCC'nin kökünü tanımlamaya yardımcı olan bir değer veriyor.
Bu algoritmaları doğrudan web grafiklere uygulanır. Tools likeETHFLT:0)NetworkX[D:0) veya [[Python) veya [[ENFLT:0) kütüphane, SEO'ların ve mühendislerin herhangi bir tarama veri kümesi veya site yapısı için SCC'leri hesaplamasını sağlar.
Web Graph ve Bow-Tie Structure
Web'in büyük ölçekli yapısı Broder et al. 2000'de kağıtruk:0) “İnternetteki Grafik yapısı”) tarafından ünlü olarak analiz edildi.
- [FONT:0]SCC (Core): [Dönetici: [Dönetici:0) Tüm web sayfalarının yaklaşık dörtte birini içeren büyük bir merkezi güçlü bir şekilde birbirine bağlanabilir.
- [FONT:0)IN:[Dönetici:[Dönetici:0)[[Dönetici:0)[[FONT:0))|[[[FONT=0}|[FONT=0}|[FONT=0}|[FONT=0}|0] Pages that can reach the SCC, ancak bundan ulaşılamaz.
- [FONT:0) Çok fazla: [Dönemli: [Dönetici:0)[[Dönemli:[Dönemli:[Dönemli:[Dönemli:))))[[[Dönemli:[Dönemli:[Dönemli)))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))
- [FONT:0]Tubelar:[Dönetici:[Dönetici:0) Sayfalar SCC'den geçmeden önce OUT'ya bağlanır.
- [FONT:0]Tendrils ve Dis bağlantılı: Sayfalar, ya da OUT ile bağlantıya bağlanır, ancak SCC'ye tamamen bağlantı yoktur, artı sayfalar da kavisden tamamen koptu.
Büyük bir SCC varlığı, web'in büyük bir kısmının karşılıklı olarak ulaşılabilir olmasıdır. Bu, hem tarama hem de sıralama için dramatik sonuçlar doğurmaktadır.In aPhoneer, SCC, herhangi bir bağlantının ardından diğer tüm SCC sayfalarına yol açacakları bir “güvenlik alanı” temsil eder, çünkü tam kapsamaz. PageTime, SCC her iki bağlantının büyük bir rezervuar olarak hareket eder - çünkü SCC içindeki sayfalar özgürce bağlantı kurabilecektir.
Web Crawling Verimliliğindeki SCC'lerin Rolü
Web tarama ölçek iki birincil zorlukla karşı karşıya: 0,0) Kapsamlılık[[Döneticileri Keşfetmek) ve [[Döneticileri:2) Yeterlilik[Döneticileri ve kaynak tüketimi için güçlü bir çerçeve sunar.
SCC içinde Crawl'i önceden belirtmek
Çünkü bir SCC'deki her sayfa diğer sayfaya ulaşabilir, herhangi bir tek sayfayı tarayan herhangi bir sayfa tüm bileşene bir yol sunar. Akıllı bir taramacı, strateji ile stratejilenebilir:
- Sınırın SCC'lerini tanımlamak ( URL setleri keşfedildi ama henüz taramadı).
- En büyük SCC'lere daha fazla bant genişliği tahsis etmek, çünkü yoğunluk daha yüksek ve taze içerik muhtemelen SCC içinde ilişkilendirilecektir.
- SCC'yi bir “kahkaha birimi” olarak kullanarak: bir kez taramacı bir SCC'ye girer, tüm bu bileşendeki URL'leri agresif bir şekilde planlayabilir, karşılıklı bağlantıların iş ilerlemeleri olarak bulunacağını bilmek.
Bu yaklaşım, SCC dışındaki yeniden keşif sayfalarının yükünü azaltır. Örneğin, bir blog ağı tek bir SCC'ye aitse, taramacı bir sayfaya odaklanabilir ve aşağıdaki bağlantıların dış giriş noktalarına yeniden gözden geçirmeden tüm ağı açığa çıkaracağına güvenebilir.
Sonsuz Halkalardan ve Tuzaklardan Kaçınmak
SCC analizi olmadan, taramacılar döngülerle karşılaşdıkları zaman sonsuz döngülere düşebilir - takvim sayfalarında, paginasyon veya yorum bölümleri.In Computing SCCs, aPhoneer, döngünün tamamen içsel olduğunu tespit edebilir (yani tüm döngü bir SCC içinde) ve şöyle kurallar geçerlidir:
- Ekran derinliğini sonsuz traversal önlemek için çok büyük SCC'ler içinde sınırlandırmak.
- Her bir SCC'yi blok seviyesindeki kararlar için tek bir mantıksal site olarak tedavi etmek (örneğin, SCC bilinen bir tuzaksa tüm iç bağlantıları takip etmeyin).
- SCC'de çiçekli filtreleri kullanarak URL'leri birden fazla giriş noktasıyla silmelerini sağlayın.
Kaynak Allocation ve Freshness
Web dinamiktir. Pages değişir, bağlantılar görünür ve kaybolur. Bir SCC'de taze bir indeksin yeniden açılmasına ihtiyaç duyan bir tarama cihazı, bir kullanıcının genel tazeliğini ve tekrar-kahkaha frekansına uygun olarak ayarlamasına yardımcı olur.
Web siteleri için, aynı ilke site-internally. Bu kırık bağlantıları sadece tarama verimliliğini artırmak değil aynı zamanda bir e-ticaret sitesi milyonlarca ürün sayfası ile) ayrıştırılmış kümeleri ortaya çıkarabilir - ana navigasyondan ulaşılamayan sayfalar.
SCC'lerin Sayfa Sıra Optimizasyonu Üzerine Etkisi
Page Rank, Google tarafından kullanılan orijinal algoritma (bölümde belirtilen) bir sayfanın, büyük bir Genel olarak Hipermetin Web Arama Motorunın Anatomisi (Dönetici ve Sayfa) ile bağlantı grafiğine dayanan sayfalara bağlı olarak oldukça bağlı olduğunu gösterir.Ana fikir, bir sayfanın buna birçok önemli sayfasının bağlantısını hesaplarsa önemlidir.
SCCs içinde Hissetme
Bir SCC içinde, her sayfa her başka sayfaya bağlanabilir. Bu, Page Rank'in tüm üyeleri arasında özgürce hareket ettiği anlamına gelir, puanları eşitleme eğilimindedir - özellikle de SCC dışındaki sayfalar için benzer sayıda bağlantı oluşturmak anlamına gelir. Sonuç, grubun her sayfasının sıralama potansiyelini basitleştirir: Hiçbir tek sayfa alışılmadık güçlü dış bağlantılar olmadıkça hükmedemez.For SEO uygulayıcıları için, bu, bu, güçlü bir iç bağlantı yapısına sahip bir SCC bağlantı kurmanın anlamına gelir.
Rank Lavabo ve Damping Faktörü
Bir baraj faktörü olmadan, Page Rank grafikten “leak” olabilir. Standart formülasyon, içinde kalan bir teleportasyon olasılığı (genellikle 0.85) içerir, çünkü başka yerlerde dağıtmaya yönelik bağlantılar yoktur.
Sıralamayı her şeyden alıkoymak için, teleportasyon terimi etkili bir şekilde grafikte herhangi bir yerde rastgele bir sayfaya atlamak için küçük bir olasılık ekler. Ancak optimizasyon perspektifinden, bir lavabodaki sayfalar hala OUT veya eğilimiz bölgelerde sayfalara kıyasla ağırlık paylaşımını alır.Bir sitenin bir lavabo SCC'ye ait olduğunu fark edin (örneğin, dış bağlantılarla bir forum) gerçekçi beklentilere yardımcı olur: iç bağlantı noktası PageTimes içinde tutmak için gerekli olacaktır, ancak dış bağlantı binası, SCC'nin ötesinde görünürlüğü kazanmak için gereklidir.
Siteleri Favorable SCCs oluşturmak için
Goal odaklı SEOlar, tüm önemli sayfaları içeren büyük, yoğun bir SCC oluşturmak için bir web sitesinin bağlantı yapısını kasıtlı olarak tasarlayabilirler. Örneğin:
- Ana sayfa, kategori sayfaları, ürün sayfaları ve blog yazıları her sayfayı bir SCC'ye getiren bir döngüde birbirine bağlantı sağlar.
- Ana Sayfalara geri gelen ekmekli izler ekleyin ve anahtar bölümlere giden ayak bağlantıları.
- Bağlantı içeriğine geçmek için etiketler veya ilgili öğeler kullanın.
Bu uygulama yetim sayfalarını ( ana SCC dışındaki sayfalar) en aza indirir ve Sayfanın iç akışını üstlenir:0)Screaming Frog SEO Örümcek), SCC'nin sitedeki konumlarını görselleştirebilir, hangi sayfaların ulaşılamaz olduğunu vurgulayabilirsiniz.
SCC'leri Yararlamak için Pratik Stratejiler
SCC'lerin var olduğunu ve taramayı ve sıralamayı bilmek, bilgi üzerinde hareket edebilecekseniz sadece kullanışlıdır. Aşağıda, SCC analizlerini gerçek dünya SEO ve tarama operasyonlarına uygulamak için beton, üretim hazır stratejileri vardır.
1. SCC Tespiti Kullanan Denetimleri
Web sitenizin bağlantı grafiği üzerinde bir SCC analizi yapın ( düğüm ve kenarların ihracatını destekleyen bir tarama cihazı kullanın). Her SCC için 1.'den daha büyük olan tüm SCC'leri tanımlayın:
- Domain dışında tek bir giriş noktası var mı? Eğer öyleyse, giriş noktası güçlü dış bağlantılar ve dış bağlantılar kurmak için sağlam bağlantılara sahip olmasını sağlayın.
- Küçük SCC'lere düşen önemli sayfalar var ( 1 veya 2)? Page Rank kapanmış ve onları ana SCC'ye dönüştürmek için iç bağlantıları ekleyin.
- “ölük sona erdirmek” için kontrol edin – bağlantıdaki sayfalar ancak aynı SCC içinde gelen bağlantıların bile yok. ayrı bir SCC'de olabilirler, çünkü hiçbir döngü mevcut değildir.
2. Crawl Budget Optimizasyonu Optimizasyonu
Arama motorları, domain başına sınırlı bir tarama bütçesi tahsis eder.Bir site keşfedilecek tek, büyük bir SCC ile bir grafik sunarak tüm değerli sayfaları içeren bir grafik sunar, taramacının tüm siteyi bir kez girebileceğine işaret eder. Conversely, eğer bir site birçok ayrı SCC'ye sahiptir (her biri keşfedilecek bir dış bağlantıya ihtiyaç duyarsa), taramacı, önemsiz sayfalara bütçe verebilir.
- bölümler arasındaki bağlantıları ekleyerek birçok SCC (örneğin, blog → ürün → → blog).
- Düşük değerli SCC'ler oluşturan veya hiçbir aşama sayfası (örneğin, arşiv sayfaları diğer içeriğe bağlantılar yok).
- XML sitemaps'ı her bir SCC'ye doğrudan giriş puanlarını sunmak için kullanın, ancak bir veya iki farklı SCC'nin sayısını azaltmayı hedefler.
3. Page Rank Sculpting with Purpose
Google basit bir Sayfa sıra heykelinin ötesinde gelişti, SCC'de akış yönlendirme kavramı geçerli olmaya devam ediyor.SCC içindeki sayfalar, özellikle de diğer sitelere veya OUT sayfalara göre eşitsiz olarak eşitsiz olarak, birincil SCC web sayfalarınızın dışındaki sayfalara geçiş yapmak istiyorsanız.If you want to protect PageRank in your main SCC, considerINGFLT:1).
4. Zaman içinde SCC Değişimlerini Takip Etmek
Web siteleri gelişti; bağlantılar molası, yeni bölümler eklenir ve eski sayfalar silinir.Dönemli olarak sitenizin SCC yapısını tekrar ziyaret eder. SCC'lerin sayısı genellikle kırık bir navigasyon elemanına işaret eder (örneğin, bir kategori sayfası artık ürünlere bağlantılar yoktur).
SCC'leri tanımlamak için araçlar ve teknikler
Kosaraju'yu sıfırdan uygulamanız gerekmez. Çeşitli araçlar ve kütüphaneler SCC algılamasını erişilebilir hale getiriyor:
- [FONT:0)NetworkX (Python):)[/FLT:2) Bir set jeneratörü döndürür. Bir tarama ihracatından inşa edilmiş bir grafik besleyebilirsiniz.
- [[FONT+ BFS: [Döneticiler için], bir bağlantı grafiği inşa ederek ve grafik görselleştirme kullanarak SCC'leri görselleştirmeyi inceleyebilirsiniz, ancak manuel analiz büyük siteler için pratik değildir.
- [FONT:0)Enterprise Crawl Platforms:) [[[FONT:2)Kreksiyon (Crawl Analiz) ve “Link Deep Graph” özelliği ile ilgili olarak, her URL için bileşeni ID'nin ihraç ettiği SCC analizini (Crawl) sundu.
- [FONT:0)Müşteriler:[Dönetici:[Dönetici:0)[[FONT=0))) Netlemeler için birkaç Python hattı (örneğin, NetworkX kullanarak birkaç satır SCC'yi hesaplar ve bunları hızlı tanı için metin raporları olarak yazdırır.
SCC kimlikleri olduğunda, onları bir yay sayfasına aktarabilirsiniz ve her bir bileşene kaç URL'nin ait olduğunu görmek için önemli tablolar oluşturabilirsiniz. Ev sayfası en büyük SCC'de olmalıdır ve SCC'nin önemli sayfalarınızın% 99'unu içerdiği ideal olarak.
Sonuç Sonuç Sonuç Sonuç Sonuç Sonuç Sonuç Sonuç
Güçlü Connected Bileşenleri sadece teorik bir soyutlama değildir - web'in yapısı anlaşılıp optimize edilebilir ve optimize edilebilir bir şekilde ortaya çıkabilir.SCC analizi, daha akıllı önceliklendirme, atık döngüleri önler ve kaynak tahsis eder.For Page Rank optimizasyonu, SCCs, hangi bağlantı kurma şeklini ortaya koyar ve maksimum arama görünürlüğünün iç bağlantı yapısını nasıl tasarlayabilir.In this article, SEO profesyonelleri ve arama mühendislerini uygular ve arama mühendisleri, yüzey seviyesindeki bağlantı kurma ve geliştirmeyi sağlar.