המבנה של World Wide Web אינו אקראי; הוא עוקב אחר דפוסים גרף-תיאורטיים נפרדים שיש להם השלכות עמוקות על מנועי חיפוש, סורקים ברשת ומתרגלים SEO.בין המושגים החשובים ביותר להבנת דפוסים אלה הוא ה-FLT:0Strongly Connected Component (SCC)FLT:1 המוגדר במקור בהקשר של גרפים מכוונים, SCCs ללכוד את דפי האינטרנט של כל דף אינטרנט יכול לשפר באופן דרמטי של אסטרטגיות חיפוש ו-SCC.

מה הם שותפים חזק?

(ב) תלמוד ב' (ב) ב[[1924]], [[1924]]]], [[1924]]]], [[1924]]]]]], [[1924]]]], [[1924]]]]]], [[1924]]]]]]]]]], [[1924]]]]]]]]]], [[1924]]]]]]]]]], [[1924]]]]]]]]]]]], [[1924]]]]]]]]]]]]]]]]]]]], [[1924]], [[1924]]]]]]]]]]]]]]]]]], [[1924]]]]]]]]]]]]]]]]]]]], [[1924]]]]]]]]]]]], [[1924]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]], [[1924]], [[1924]]]]]], [[1924]], [[1924]], [[1924]], [[1924]]]], [[1924]]]]]], [[1924]]]]]]]], [[1924]], [[1924]]]]]]]], [[1924]]]]]]]]]], [[1924]]]]]]]]]]]], [[1924]],

קחו לדוגמה פשוטה: שלושה דפים A, B ו- C. אם קישור ל- B, B קישור ל- C, ו- C קישורים ל- A, B ו- C יוצרים SCC. אם עם זאת, A קישורים ל- B אבל B אינו מתחבר חזרה ל-A, אז הם שייכים ל-SCCs שונים. גרף האינטרנט מורכב ממרכיבים רבים כאלה, וזיהוי שלהם הוא בסיס להבנת האופן שבו המידע זורם ברשת.

אלגוריה למציאת SCCs

שני אלגוריתמים ליניאריים קלאסיים משמשים למחיקת גרף מכוון ל-SCCs: (FLT:0Kosaraju’sאלגוריתם של אלגוריתם 1 ו-FLT:2Tarjan'sאלגוריתם של SCCLT 3:2 רץ שניהם ב-FLT:4O(V + E)FLT:5 זמן, שבו V הוא מספר אותנטיות (עמוד) ומספר Elinks) ו-Elinks (S).

  • (FLT:0Kosaraju'sאלגוריתם של אלגוריתם 1FLT: 1) פועל בשני חולפים. ראשית, הוא מבצע חיפוש מעמיק-ראשון (DFS) על הגרף המקורי, מתעד את זמני הסיום של אותנטיות. שנית, הוא הופך את הכיוון של כל הקצוות ומבצע DFS שוב, עיבוד מוטציות על מנת להפחית את הזמן.
  • (FLT:0) אלגוריתם של טירןאן 1FLT משתמש ב-DFS יחיד ושומר על ערימה של אותנטיות, הקצאת כל ערך "נמוך" המסייע לזהות את שורש ה- SCC. זה יותר זיכרון יעיל מאשר של קוסארוג'ו אבל מורכב יותר מבחינה קונספטואלית.

אלגוריתמים אלה חלים ישירות על גרפים אינטרנט.כלי כמו:0NetworkearXFLT:1 (Python) או על גבי גרפים:0 ספריה לספק יישום מובנה, המאפשרים SEOs ומהנדסים למקם SCC עבור כל סוג של נתונים או מבנה אתר לסרוק.

רשת האינטרנט Graph ו- Bow-Tie Structure

המבנה הגדול של האינטרנט ניתח על ידי ברודר ואלב במאמרם משנת 2000 (FLT:0) "מבנה גלף ברשת" (Graph) 1:1; הם גילו כי הגרף של האינטרנט לוקח צורה של FLT:2bow-tieFLT 3: 3, המורכב ממספר אזורים נפרדים:

  • (ב) [ה-]0 [ה-CC] (הקור: ⁇ :1] גדול גדול המחובר באופן מרכזי המכיל כרבע מכל דפי האינטרנט.
  • (ב) עמודים (ב) אשר יכולים להגיע ל-SCC אך לא ניתן להגיע אליהם.
  • (FLT:0out:cioFLT:1) עמודים שניתן להגיע מ- SCC אבל לא יכולים להתחבר אליו.אלה כוללים אתרי חברה רבים, בלוגים ומסמכים הקשורים אך אינם מחזירים קישורים לליבת.
  • (ב) ויקרא: ויקרא י"ד): "הדפים אשר מתחברים פנימה אל מחוץ לבית הספר מבלי לעבור דרך ה-SCC.
  • (ב) עמודים (ב) שקושרים ל-In או קשורים אליהם, אך אין להם קשר ל-SCC, בתוספת דפים מנותקים לחלוטין מהקשת.

קיומו של SCC מסיבי אומר כי חלק גדול של האינטרנט הוא בהישג יד הדדית.יש לכך השלכות דרמטיות על הזחילה ודירוג. עבור סורר, SCC מייצג "אזור בטוח" שבו כל קישור יוביל בסופו של דבר לכל שאר דפי SCC, המאפשר כיסוי מלא ללא ביקורים אדומים.

תפקיד ה-SCCs באינטרנט Crawling Efficiency

⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ ⁇

עדיפויות של Crawl בתוך ה-SCC

מכיוון שכל דף ב-SCC יכול להגיע לכל דף אחר, לזחול כל דף בודד מספק דרך לכל המרכיב.סורק חכם יכול להגיע לאסטרטגיה:

  • זיהוי ה-SCCs של הגבול (ההגדרה של כתובות ה-URL התגלה אך עדיין לא זוחל).
  • הקצאת רוחב פס יותר ל-SCC הגדולה ביותר, שכן חיבור צפיפות הוא גבוה יותר ותוכן טרי צפוי להיות מקושר בתוך SCC.
  • באמצעות SCC כ"יחידה של צ'רפות": ברגע שהסורק נכנס ל-SCC, הוא יכול לקבוע את כל ה-URL המגלו בתוך רכיב זה באופן אגרסיבי, בידיעה כי קישורים הדדיים יימצאו כהתקדמות עבודה.

גישה זו מפחיתה את עמוד ה-SCC של גילוי מחדש מחוץ ל-SCC. לדוגמה, אם רשת בלוג שייכת ל-SCC יחיד, הסורק יכול להתמקד בעמוד אחד ואמון כי קישורים הבאים יחשפו את הרשת כולה מבלי צורך להחזיר את נקודות הכניסה החיצוניות.

הימנעות ממכשולים ומלכודות אינסופיים

ללא ניתוח SCC, סורקים יכולים ליפול ללולאות אינסופיות כאשר הם נתקלים במחזורים - מקורם בדפים לוח שנה, הדמיה או קטעי תגובה. על ידי מחשוב SCCs, סורר יכול לזהות מחזורים שהם פנימיים בלבד (כלומר, כל המחזור הוא בתוך SCC אחד) וליישם כללים כגון:

  • הגבלת עומק הזחל בתוך SCC גדול מאוד כדי למנוע רצף אינסופי.
  • התייחסות לכל SCC כאתר הגיוני יחיד להחלטות ברמת בלוק (למשל, nofollow all Internal קישורים אם ה-SCC היא מלכודת ידועה).
  • שימוש במסננים פורחים ל-SCC כדי למחוק את ה-URL של כתובות ברחבי נקודות כניסה מרובות.

המונחים: OUTLOTERS

האינטרנט הוא דינמי.דפים משתנים, קישורים מופיעים להיעלם. a זוחל כי חייב לשמור על אינדקס טרי צריך לבדוק מחדש דפים באופן זמני. SCCs לעזור עדיפות לניתוק מחדש: דפים השייכים לאותו SCC נוטים להיות דפוסים דומים עדכון. על ידי ניטור מדגם קטן של דפי ריכוז גבוה ב SCC, זחילה יכול להפר את הטרי הכולל של המרכיב והתאמה מחדש של התדר שלו.

עבור אתרי אינטרנט, אותו עיקרון חל על האתר-internally. A לנתח את מבנה SCC של דומיין גדול (למשל, אתר מסחר אלקטרוני עם מיליוני דפי מוצר) יכול לחשוף אשכולות מנותקים כי הם "איים קטנים" - עמודים שאינם יכולים להגיע מהניווט הראשי.תיקון קישורים שבורים אלה לא רק משפר יעילות זוחלת אלא גם מחזקים את זרימת PageRank.

השפעה של SCC על אופטימיזציה PageRank

דף רנק, האלגוריתם המקורי המשמש את Google (המפורט במאמר המילוני:0) "האנטומיה של מנוע חיפוש אינטרנט רב-Scale Hypertextual" (הנקרא "Brin and Page"), מודל את החשיבות של דפים המבוססים על גרף הקישור.הרעיון המרכזי הוא כי דף חשוב אם דפים חשובים רבים המקשרים אליו.

חלוקת הון בתוך SCCs

בתוך SCC, כל דף יכול להתחבר לכל דף אחר.זה אומר כי PageRank זורם בחופשיות בין כל חברי SCC, נוטה להשוות ציונים - במיוחד עבור דפים עם מספרים דומים של קישורים נכנסים מחוץ ל- SCC. התוצאה היא "דמוקרטיזציה" של חשיבות בתוך המרכיב: אף דף אחד לא שולט אלא אם הוא מקבל קישורים חיצוניים באופן יוצא דופן.

דירוג Handling Rank Sink ו- Damping Factor

ללא גורם לחות, PageRank יכול "לכבוש" מהגרף.הניסונלי מוסיף הסתברות לטלפורטציה (בדרך כלל 0.85) כדי לטפל בזה.עם זאת, קיומה של SCCs שהם "מצביעים" - כלומר, רכיבים ללא קישורים יוצאים לרכיבים אחרים - יוצרים ריכוז של דרגה.

כדי למנוע את הדרגות להשחית כל החשיבות, המונח הטלפורטציה מוסיף למעשה הסתברות קטנה לקפוץ לדף אקראי בכל מקום בגרף.אבל מנקודת מבט אופטימיזציה, דפים בתוך שוקור SCC עדיין מקבלים נתח מנפח של משקל בהשוואה לדפי עמודים באזורים מחוץ או נוטה.ההכרה כי אתר שייך ל- SCC (למשל, פורום ללא קישורים חיצוניים) מסייע להשיג ציפיות פנימיות, אך הוא הכרחי מעבר ל-RCC.

אתרי פיתוח כדי ליצור SCCs שלילי

SEOs מוכווני Goal יכול לעצב בכוונה מבנה קישור של אתר כדי ליצור SCC גדול, צפוף הכולל את כל הדפים החשובים.

  • ודא את דפי העמוד, העמודים של קטגוריות, דפי מוצר ובלוגים כל קישור אחד לשני במחזור שמביא כל דף ל-SCC אחת.
  • הוסף שבילי לחם המקשרים חזרה לאבות, וקישורים הדוקים מצביעים על חלקים מרכזיים.
  • השתמש בתגיות או ב-post קשורות לתכנים ב- cross-link.

תרגול זה מקטין את דפי יתומים (עמודים מחוץ ל-SCC הראשי) וממקסים את הזרם הפנימי של דפים כגון PLT:0Screaming Frog SpiderveFLT:1 יכול לדמיין את ה-SCC decomposition של אתר, המדגיש אילו דפים אינם ניתנים להשגה מעמוד הבית (כלומר, שייכים ל-SCCs שונים או מנותקים).

אסטרטגיות מעשיות למינוף SCCs

הידיעה כי SCCs קיימים ומשפיעים על זחילה ודירוג הוא רק שימושי אם אתה יכול לפעול על הידע. להלן אסטרטגיות קונקרטיות, ייצור-ready ליישום ניתוח SCC עבור SEO בעולם האמיתי ופעולות זחילה.

קישור פנימי ל-Audits Using SCC Detection

הפעל ניתוח SCC על גרף הקישור של האתר שלך (באמצעות סורר התומך ייצוא של צמתים ו הקצוות) לזהות את כל SCC עם גודל גדול יותר מ 1. עבור כל SCC, לקבוע:

  • האם יש נקודת כניסה אחת מחוץ לתחום?אם כן, ודא כי נקודת כניסה מקבלת קישורים חיצוניים חזקים וקישורים פנימיים להפצה של הון.
  • האם ישנם דפים חשובים נופלים ל-SCC זעירים (גודל 1 או 2), אלה הם "מקבץ אורפי" שבו PageRank נלכד ואינו יכול לזרום היטב.
  • בדוק את "הפסקות של מוות" - עמודים המקשרים אבל אין להם קישורים נכנסים אפילו מאותו SCC. הם עשויים להיות ב- SCC נפרד כי אין מחזור.

אופטימיזציה של תקציב Crawl

מנועי חיפוש להקצות תקציב זחיל מוגבל לדומיינים.על ידי הצגת גרף עם יחיד, גדול SCC המכיל את כל הדפים החשובים, אתה אות לסורק כי זה יכול לכסות ביעילות את האתר כולו על ידי כניסה פעם. , אם אתר יש הרבה SCCs נפרדים (כל דורש קישור חיצוני כדי להיות גילה), הסורק עשוי לבזבז תקציב על דפי טריוויה.

  • Consolidate מספר SCCs על ידי הוספת קישורים בין קטעים (למשל, בלוג מוצרים על בלוג).
  • להסיר או noindex דפים המהווים ערך נמוך SCCs (למשל, דפי ארכיון ללא קישורים לתוכן אחר).
  • השתמש ב-XML maps כדי לספק נקודות כניסה ישירות לכל SCC, אך מטרתה להפחית את מספר ה-SCCs הייחודיים לאחד או שניים.

דף הבית > PageRank Sculpting with Purpose

בעוד ש-Google התפתחה מעבר לפשטות בעמוד ה-Prank, הרעיון של הזרמת הזרימה בתוך SCC נשאר בתוקף.עמודים בתוך SCC יכול להעביר הון חופשי, אך קישורים חיצוניים מעמודי SCC לאתרים אחרים או לדפים חיצוניים מייצגים "החליפה" אם ברצונך לשמר את PageRank בתוך ה-SCC הראשי שלך, שקול באמצעות דירוג 1FLT:1 על קישורים שעולים לדפים אלה מחוץ לדפים חיוניים, במיוחד אם לא אלה.

מעקב אחר שינויים ב-SCC במהלך הזמן

אתרי אינטרנט מתפתחים; קישורים פורצים, חלקים חדשים נוספו, ודפי ישנים נמחקים. מעת לעת מחדש את מבנה SCC של האתר שלך.עלייה פתאומית במספר ה-SCCs לעתים קרובות מצביעה על אלמנט ניווט שבור (למשל, דף קטגוריה לא קישורים עוד למוצרים). versely, ירידה מציעה כלים מוצלחים של עצירות.

כלים וטכניקות לזיהוי SCCs

אין צורך ליישם את קוסארג'ו מאפס.מספר כלים וספריות להפוך את SCC לאיתור נגיש:

  • (ב) ויקרא י"א): "ה' (ב':2) ויקרא:2 ויקרא כ"ד): "ואתה יכול להאכיל אותו גרף מכוון שנבנה מייצוא זחילה.
  • (FLT:0)Graphviz + BFS:03FLT:1 עבור אתרים קטנים, אתה יכול לבדוק ויזואלית SCC על ידי בניית גרף קישור ושימוש בדמיון גרפי, אם כי ניתוח ידני הוא לא מעשי עבור אתרים גדולים.
  • (ב) [ה][דרוש מקור]] [ב]] [ה]] [ה]] [ה]]][ה]]]][ה]]][ה]]]][ה[[המאה ה-1]]]]], ו[[1924]]]]]]]] ו[[1924]]]]]]]], [[1924]]]]]]]], [[1924]]]]]]]]]]]]]]]]]], [[1924]]]]]]]]]]]], [[1924]]]]]]]], [[1924]]]]]]]]]]]]]]]]]]]]]]]]]]]]]] ו[[1924]]]]]]]]]]]]]], [[1924]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]], [[1924]]]]]]]]]], [[1924]], [[1924]], [[[[1924]]]]]]]]]], [[1924]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]]], [[[[1924]]]]]] ו[[1924]]]]]]]]]] [[[[1924]]]]]]
  • (ב) אם יש לך זחילה בתבנית CSV או JSON (רשימת החידושים), כמה שורות של Python באמצעות רשתX יתאים SCCs ויצרו אותם כדיווחי טקסט לאבחון מהיר.

ברגע שיש לך את ה-SCC IDs, אתה יכול לייבא אותם לגליון מבוזר וליצור טבלאות pivot כדי לראות כמה כתובות כתובות כתובות שייכות לכל רכיב.עמוד הבית צריך להיות ב-SCC הגדול ביותר, ובאופן אידיאלי כי SCC מכיל > 99% מהדפים החשובים שלך.

מסקנה

קומפרסים מחוברים חזקים אינם רק מופשט תיאורטית – הם עדשות מעשיות שבאמצעותו ניתן להבין את המבנה של האינטרנט וייעלו. עבור זירוז אינטרנט, ניתוח SCC מאפשר עדיפות חכמה יותר, מונע לולאות פסולת, ומשפר הקצאת משאבים. עבור אופטימיזציה PageRank, SCCs לחשוף כיצד קישורים הון מתפשט, שבו דרגות מיתר, וכיצד לעצבים את המהנדסים הפנימיים של עיצובים עבור עיצובים מתקדמים, אופטימיזציה של עיצוב חיצוני של עיצוב, החלת קישורים, ואסטרטגיות חיפוש מעבר ל-מדומים, החלים, החלים של עיצוב מעבר לאסטרטגיות עיצובים של עיצובים, עיצוב עמוק של עיצוב, ו-בשורה זו.