חיפוש

תקציב זחילה – גם לבוטים יש תקציב

הרבה אנשים סבורים בטעות שגוגל מחפשת אתרים אשר רלוונטים לשאילתת החיפוש של הגולש – ברשת האינטרנט עצמה.

האמת היא שגוגל מנהלת אינדקס ייחודי משלה, שבו היא שומרת עמודי אינטרנט שנראים לה מספיק חשובים, ואשר יהיו רלוונטיים לתוצאות חיפוש כלשהן בעתיד, ומעדכנת את האינדקס הזה מעת לעת.

כך שכאשר גולשים מבצעים חיפוש במנוע החיפוש גוגל מחזירה להם תוצאות לא מתוך הרשת עצמה, אלא מתוך האינדקס שהיא בנתה.

תיאורתית, יכול בהחלט להיות שהעמודים שמציגה גוגל בעבור שאילתת גולש השתנו מהותית מאז שהכניסה אותם לאינדקס וכבר אינם רלוונטיים לשאילתת הגולש. בדיוק לשם כך מפעילה גוגל זחלנים, שכל תפקידם לאתר שינויים או דפים חדשים שגוגל לא מכירה, ולאנדקס אותם.

גוגל בוט

מהו תקציב זחילה?

באופן רשמי, אין מושג כזה מבחינת גוגל שנקרא תקציב זחילה.

גוגל מודיעה שהיא משקיעה משאבי זחילה על מנת לאתר עמודים חדשים או מתחדשים בהתאם ליכולת של האתר לשרת את הבוטים של גוגל מבלי לפגוע בחווית משתמש.

זה אומר שאתרים מהירים יותר יזכו, ככל הנראה, לסריקת כמות עמודים גדולה יותר על ידי הזחלנים של גוגל בפרק זמן נתון.

כמו כן, כדי להשקיע את המשאבים שלה בצורה חכמה, כמות המשאבים שמשקיעה גוגל בזחילה כדי לאתר עמודים באתר מסוים, תלויה בקצב השינויים שחלים באתר, ברמת הפופולריות של העמודים באתר ובעוד פרמטרים רבים נוספים.

 

איך ניתן לשפר את תקציב הזחילה כך שיותאם לאתר שלכם?

כדי לדעת כיצד לשפר את תקציב הזחילה באתר שלכם, כדאי יהיה להבין מהם המקרים בהם "מתבזבז" תקציב הזחילה, ולנסות להימנע ככל האפשר מתרחישים אלו.

הנה מספר דוגמאות לתקציב זחילה שלא מנצל את מלוא הפוטנציאל שבו:

 

עמודי פרמטרים באתרים גדולים

הכוונה לעמודי מוצר, בדרך כלל, שניתן להגיע אליהם באמצעות סינונים שונים בממשק המשתמש של האתר. למעשה, מדובר באוסף גדול של כתובות url, אשר מתארות בפועל את אותו תוכן בדיוק. אם מדובר באתר גדול שמכיל אלפי עמודים כאלו, יש לקחת בחשבון שהזחלנים של גוגל יסרקו את כל הכתובות האלו. חבל על הבזבוז המיותר.

 

הגדרות יוסט נכונות

 

מהירות אתר

ככל שמהירות האתר תהיה גדולה יותר, כך תרגיש גוגל הרבה יותר נוח לזחול באתר מבלי לפגוע, לכאורה, בחווית המשתמש. שפרו את מהירות האתר שלכם, שדרגו את איכות האחסון עליו יושב האתר (יופרס זו אופציה טובה) – ותוכלו להגדיל בפועל את תקציב הסריקה המיועד לאתר שלכם.

 

ניווט שגוי באתר

אחת השיטות שבהן גוגל נעזרת כדי למצוא עמודים חדשים באתר שלכם, היא באמצעות הקישורים הפנימיים בתוך האתר. היררכית קישורים לא מיטבית תגרום לגוגל לפספס דפים חשובים, במיוחד אם מדובר בעמודים פנימיים, אשר לא מקבלים קישורים מעמודים מרכזיים באתר.

 

קיום עמודים שנפרצו ומכילים קוד זדוני

גוגל לא תרצה, מן הסתם, להוסיף לאינדקס שלה, או לעדכן אותו, בעמודי אתר שנפרצו ומסכנים את פרטיות הגולשים באתר.

 

קיום תוכן ברמה נמוכה

או מעט תוכן – עמודים בהם קיים מעט מאוד תוכן, או שהתוכן הינו ברמה נמוכה וממילא לא יוצג לגולש אשר ביצע שאילתה במנוע החיפוש – הם למעשה לא אחר מאשר בזבוז זמן הזחילה ותקציב הזחילה של הבוט, עמודים אלו נקראים גם "עמודים דלי תוכן".

 

ריבוי דפי 404 באתר

עמודים שהוסרו ולא בוצעה עבורם הפניה לעמודים חדשים, רק יקשו על המלאכה של הבוטים בעת הסריקה של עמודי האתר, ויבזבזו תקציב זחילה חשוב, שהיה יכול להיות מופנה אל עמודים חשובים שהתעדכנו באתר. תקנו קישורים שבורים באתר, ונסו להימנע ככל האפשר מהשארת עמודים לא רלוונטים באתר וממחיקת עמודים כאלו, מבלי לטפל בקישורים שנכנסו אליהם. למידע נוסף על דף 404.

 

דפי AMP – פרויקט ה- AMP של גוגל מאפשר לבעלי אתרים, תחת קיום תנאים מסויימים, לשפר באופן משמעותי את זמן הטעינה של עמודים מסוימים באתר בעת השימוש במכשירי מובייל. לשם כך, מייצרים בעלי האתרים דפים מיוחדים באתר, אשר מקיימים קריטריונים מסויימים, בפורמט AMP- Accelerated mobile page.

בעת יצירת הפורמט החדש, מקפידים בעלי האתרים לטפל בקבצי הסקריפט והעיצוב של האתר ולנבל את המשאבים השונים הדרושים לצורך זמן טעינת העמוד באתר, בצורה אסינכרונית. כל זה אמנם נחמד וטוב ויפה, אבל חשוב להבין שיצירת דפי AMP באתר גם מאלצת את גוגל לסרוק דפים אלו כחלק מתקציב הזחילה שלה.

 

לסיכום

תקציב הזחילה מוגדר על סמך פרמטרים שונים שמטרתם, מצד אחד, לשמר רמת עדכניות גבוהה של גוגל בכל הקשור לתכני האתר, ומאידך, לא לפגוע בחווית המשתמש של הגולשים באתר, באמצעות הפעלת הבוטים.

בעלי אתרים גדולים, אשר מעוניינים לשפר באופן משמעותי את תקציב הזחילה שלהם, צריכים להימנע מתוכן כפול באתר ומסינונים מיותרים באתר, לשפר את מהירות האתר, לדאוג להסיר קישורים שבורים ולטפל בדפי 404, לקחת בחשבון את מבנה ההירכיה של האתר, לעדכן דפים המכילים תוכן מצומצם או כזה שאינו בעל ערך עבור הגולשים, וכמובן לאבטח את האתר מפני פוגענים שונים.

תקציב זחילה הוא מושג בנישת קידום האתרים שמתייחס לכמות המשאבים שמקצה מנוע החיפוש כדי לסרוק אתר בתדירות מסוימת.

לכאורה, ככל שתקציב הזחילה של מנוע החיפוש יושקע בצורה מותאמת יותר לתדירות העדכון של תכנים באתר, כך, בסבירות גבוהה יותר, הנראות של עמודי האתר בדפי תוצאות החיפוש צפויה להשתפר.

ישנן פעולות טכניות רבות, ובהן מחיקת עמודים בעלי תוכן רזה, טיפול בעמודי 404 מרובים, טיפול בעמודים שנפרצו ועוד, אשר יכולות לסייע בשיפור השקעת תקציב הזחילה של מנוע החיפוש.

היכנס כעת למאמר המלא ותוכל ללמוד כיצד לשפר את תקציב הזחילה באתר שלך.

תקציב זחילה - גם לבוטים יש תקציב
שלחו לחבר קישור למאמר, הוא חייב לקרוא אותו!
שלחו לחבר קישור למאמר
הוא חייב לקרוא אותו!
עשהאל דרייר
עשהאל דרייר

מנכ"ל חברת קידום אתרים ואפיליאצייה המונה כ-125 עובדים ומאות לקוחות בפריסה עולמית, מייסד דיגיפארם - חנות אונליין להזמנת תכנים וקישורים עבור אנשי SEO, מייסד רובולינק - אפליקצייה לבדיקת מיקומים חינם לאנדרואיד ולאייפון, מוביל את קבוצת אנשי ה-SEO הגדולה בישראל בפייסבוק ובווטסאפ.

מאמרים נוספים מומלצים לקריאה עבורך:

המדריך המלא להקמת אתרי לידים

בואו נשים את הדברים על השולחן: אין מי מאיתנו שלא מחפש דרכים קלות, יחסית, וחוקיות, כמובן, לייצר כסף. גם אם לא מדובר בהכנסה שניתן להסתמך

כדאי להשקיע ב-SEO בזמן מלחמה?

מדינת ישראל נמצאת במלחמה (נכון להיום – 6.11.23). אני כותב את זה בגוף ראשון כמי שלוקח בה חלק פעיל. אין ספק שמלחמה היא עניין מורכב

בדיקת מהירות אחסון אתרים קלאודוויז
עשהאל דרייר
היי כאן עשהאל ואני רוצה להמליץ לך באופן אישי לפתוח שרת בקלאודוויז ולהנות מאתרים מהירים, תמיכה 24/7 וממשק נוח. אני מאחסן למעלה מ-400 אתרים בעצמי וממליץ בחום ובלב שלם, לאחר מספר שנות ניסיון
תוכנת מעקב הדירוגים הטובה בעולם!
בואו לעקוב אחרי מיקומים של כל אתר, מכל מקום בעולם, כולל הפרדה בין מיקומי דסקטופ ומובייל, תנועה, תיעוד עבודה ואפילו תוכלו לשלוח ללקוחות שלכם לינק לדשבורד שמתעדכן אונליין!
הטבה לגולשי האתר:
14 ימי ניסיון ו-25% הנחה לחודשיים