תקציב זחילה – גם לבוטים יש תקציב

ראשי פרקים בעמוד:

זמן קריאה: 4 דקות

הרבה אנשים סבורים בטעות שגוגל מחפשת אתרים אשר רלוונטים לשאילתת החיפוש של הגולש – ברשת האינטרנט עצמה.

האמת היא שגוגל מנהלת אינדקס ייחודי משלה, שבו היא שומרת עמודי אינטרנט שנראים לה מספיק חשובים, ואשר יהיו רלוונטיים לתוצאות חיפוש כלשהן בעתיד, ומעדכנת את האינדקס הזה מעת לעת.

כך שכאשר גולשים מבצעים חיפוש במנוע החיפוש גוגל מחזירה להם תוצאות לא מתוך הרשת עצמה, אלא מתוך האינדקס שהיא בנתה.

תיאורתית, יכול בהחלט להיות שהעמודים שמציגה גוגל בעבור שאילתת גולש השתנו מהותית מאז שהכניסה אותם לאינדקס וכבר אינם רלוונטיים לשאילתת הגולש. בדיוק לשם כך מפעילה גוגל זחלנים, שכל תפקידם לאתר שינויים או דפים חדשים שגוגל לא מכירה, ולאנדקס אותם.

גוגל בוט

 

מהו תקציב זחילה?

באופן רשמי, אין מושג כזה מבחינת גוגל שנקרא תקציב זחילה.

גוגל מודיעה שהיא משקיעה משאבי זחילה על מנת לאתר עמודים חדשים או מתחדשים בהתאם ליכולת של האתר לשרת את הבוטים של גוגל מבלי לפגוע בחווית משתמש.

זה אומר שאתרים מהירים יותר יזכו, ככל הנראה, לסריקת כמות עמודים גדולה יותר על ידי הזחלנים של גוגל בפרק זמן נתון.

כמו כן, כדי להשקיע את המשאבים שלה בצורה חכמה, כמות המשאבים שמשקיעה גוגל בזחילה כדי לאתר עמודים באתר מסוים, תלויה בקצב השינויים שחלים באתר, ברמת הפופולריות של העמודים באתר ובעוד פרמטרים רבים נוספים.

 

איך ניתן לשפר את תקציב הזחילה כך שיותאם לאתר שלכם?

כדי לדעת כיצד לשפר את תקציב הזחילה באתר שלכם, כדאי יהיה להבין מהם המקרים בהם "מתבזבז" תקציב הזחילה, ולנסות להימנע ככל האפשר מתרחישים אלו.

הנה מספר דוגמאות לתקציב זחילה שלא מנצל את מלוא הפוטנציאל שבו:

 

עמודי פרמטרים באתרים גדולים

הכוונה לעמודי מוצר, בדרך כלל, שניתן להגיע אליהם באמצעות סינונים שונים בממשק המשתמש של האתר. למעשה, מדובר באוסף גדול של כתובות url, אשר מתארות בפועל את אותו תוכן בדיוק. אם מדובר באתר גדול שמכיל אלפי עמודים כאלו, יש לקחת בחשבון שהזחלנים של גוגל יסרקו את כל הכתובות האלו. חבל על הבזבוז המיותר.

 

הגדרות יוסט נכונות

 

מהירות אתר

ככל שמהירות האתר תהיה גדולה יותר, כך תרגיש גוגל הרבה יותר נוח לזחול באתר מבלי לפגוע, לכאורה, בחווית המשתמש. שפרו את מהירות האתר שלכם, שדרגו את איכות האחסון עליו יושב האתר (יופרס זו אופציה טובה) – ותוכלו להגדיל בפועל את תקציב הסריקה המיועד לאתר שלכם.

 

ניווט שגוי באתר

אחת השיטות שבהן גוגל נעזרת כדי למצוא עמודים חדשים באתר שלכם, היא באמצעות הקישורים הפנימיים בתוך האתר. היררכית קישורים לא מיטבית תגרום לגוגל לפספס דפים חשובים, במיוחד אם מדובר בעמודים פנימיים, אשר לא מקבלים קישורים מעמודים מרכזיים באתר.

 

קיום עמודים שנפרצו ומכילים קוד זדוני

גוגל לא תרצה, מן הסתם, להוסיף לאינדקס שלה, או לעדכן אותו, בעמודי אתר שנפרצו ומסכנים את פרטיות הגולשים באתר.

 

קיום תוכן ברמה נמוכה

או מעט תוכן – עמודים בהם קיים מעט מאוד תוכן, או שהתוכן הינו ברמה נמוכה וממילא לא יוצג לגולש אשר ביצע שאילתה במנוע החיפוש – הם למעשה לא אחר מאשר בזבוז זמן הזחילה ותקציב הזחילה של הבוט, עמודים אלו נקראים גם "עמודים דלי תוכן".

 

ריבוי דפי 404 באתר

עמודים שהוסרו ולא בוצעה עבורם הפניה לעמודים חדשים, רק יקשו על המלאכה של הבוטים בעת הסריקה של עמודי האתר, ויבזבזו תקציב זחילה חשוב, שהיה יכול להיות מופנה אל עמודים חשובים שהתעדכנו באתר. תקנו קישורים שבורים באתר, ונסו להימנע ככל האפשר מהשארת עמודים לא רלוונטים באתר וממחיקת עמודים כאלו, מבלי לטפל בקישורים שנכנסו אליהם. למידע נוסף על דף 404.

 

6. דפי AMP – פרויקט ה- AMP של גוגל מאפשר לבעלי אתרים, תחת קיום תנאים מסויימים, לשפר באופן משמעותי את זמן הטעינה של עמודים מסוימים באתר בעת השימוש במכשירי מובייל. לשם כך, מייצרים בעלי האתרים דפים מיוחדים באתר, אשר מקיימים קריטריונים מסויימים, בפורמט AMP- Accelerated mobile page.

בעת יצירת הפורמט החדש, מקפידים בעלי האתרים לטפל בקבצי הסקריפט והעיצוב של האתר ולנבל את המשאבים השונים הדרושים לצורך זמן טעינת העמוד באתר, בצורה אסינכרונית. כל זה אמנם נחמד וטוב ויפה, אבל חשוב להבין שיצירת דפי AMP באתר גם מאלצת את גוגל לסרוק דפים אלו כחלק מתקציב הזחילה שלה.

 

לסיכום

תקציב הזחילה מוגדר על סמך פרמטרים שונים שמטרתם, מצד אחד, לשמר רמת עדכניות גבוהה של גוגל בכל הקשור לתכני האתר, ומאידך, לא לפגוע בחווית המשתמש של הגולשים באתר, באמצעות הפעלת הבוטים.

בעלי אתרים גדולים, אשר מעוניינים לשפר באופן משמעותי את תקציב הזחילה שלהם, צריכים להימנע מתוכן כפול באתר ומסינונים מיותרים באתר, לשפר את מהירות האתר, לדאוג להסיר קישורים שבורים ולטפל בדפי 404, לקחת בחשבון את מבנה ההירכיה של האתר, לעדכן דפים המכילים תוכן מצומצם או כזה שאינו בעל ערך עבור הגולשים, וכמובן לאבטח את האתר מפני פוגענים שונים

תקציב זחילה הוא מושג בנישת קידום האתרים שמתייחס לכמות המשאבים שמקצה מנוע החיפוש כדי לסרוק אתר בתדירות מסוימת.

לכאורה, ככל שתקציב הזחילה של מנוע החיפוש יושקע בצורה מותאמת יותר לתדירות העדכון של תכנים באתר, כך, בסבירות גבוהה יותר, הנראות של עמודי האתר בדפי תוצאות החיפוש צפויה להשתפר.

ישנן פעולות טכניות רבות, ובהן מחיקת עמודים בעלי תוכן רזה, טיפול בעמודי 404 מרובים, טיפול בעמודים שנפרצו ועוד, אשר יכולות לסייע בשיפור השקעת תקציב הזחילה של מנוע החיפוש.

היכנס כעת למאמר המלא ותוכל ללמוד כיצד לשפר את תקציב הזחילה באתר שלך.

עשהאל דרייר
עשהאל דרייר
עוסק בקידום אתרים כ- 7 שנים, מנכ"ל סוכנות הדיגיטל - עשהאל דרייר בע"מ, יזם, מדבר בפתרונות ומוביל את לקוחותיו לשפע כלכלי.

אהבתם ? שתפו את המאמר עכשיו!

שיתוף ב facebook
שיתוף ב google
שיתוף ב twitter
שיתוף ב linkedin
תג כותרת (TITLE)

תג כותרת הוא אחד האלמנטים החשובים ביותר בקידום אורגני של כל אתר, ויש לו, בין היתר, השפעה מכריעה על שיעור ההקלקות (CTR). אז מה כל

קרא עוד »
חווית משתמש טובה – 19 הכללים

מחודש לחודש, חווית המשתמש תופסת יותר ויותר מקום באלגוריתם הדירוג של גוגל. חווית משתמש מתייחסת לאוסף המפגשים של הלקוח הפוטנציאלי עם המוצר או השירות שאנחנו

קרא עוד »