עשהאל-דרייר

תקציב זחילה – גם לבוטים יש תקציב

הרבה אנשים סבורים בטעות שגוגל מחפשת אתרים אשר רלוונטים לשאילתת החיפוש של הגולש – ברשת האינטרנט עצמה.

האמת היא שגוגל מנהלת אינדקס ייחודי משלה, שבו היא שומרת עמודי אינטרנט שנראים לה מספיק חשובים, ואשר יהיו רלוונטיים לתוצאות חיפוש כלשהן בעתיד, ומעדכנת את האינדקס הזה מעת לעת.

כך שכאשר גולשים מבצעים חיפוש במנוע החיפוש גוגל מחזירה להם תוצאות לא מתוך הרשת עצמה, אלא מתוך האינדקס שהיא בנתה.

תיאורתית, יכול בהחלט להיות שהעמודים שמציגה גוגל בעבור שאילתת גולש השתנו מהותית מאז שהכניסה אותם לאינדקס וכבר אינם רלוונטיים לשאילתת הגולש. בדיוק לשם כך מפעילה גוגל זחלנים, שכל תפקידם לאתר שינויים או דפים חדשים שגוגל לא מכירה, ולאנדקס אותם.

גוגל בוט

 

מהו תקציב זחילה?

באופן רשמי, אין מושג כזה מבחינת גוגל שנקרא תקציב זחילה.

גוגל מודיעה שהיא משקיעה משאבי זחילה על מנת לאתר עמודים חדשים או מתחדשים בהתאם ליכולת של האתר לשרת את הבוטים של גוגל מבלי לפגוע בחווית משתמש.

זה אומר שאתרים מהירים יותר יזכו, ככל הנראה, לסריקת כמות עמודים גדולה יותר על ידי הזחלנים של גוגל בפרק זמן נתון.

כמו כן, כדי להשקיע את המשאבים שלה בצורה חכמה, כמות המשאבים שמשקיעה גוגל בזחילה כדי לאתר עמודים באתר מסוים, תלויה בקצב השינויים שחלים באתר, ברמת הפופולריות של העמודים באתר ובעוד פרמטרים רבים נוספים.

 

איך ניתן לשפר את תקציב הזחילה כך שיותאם לאתר שלכם?

כדי לדעת כיצד לשפר את תקציב הזחילה באתר שלכם, כדאי יהיה להבין מהם המקרים בהם "מתבזבז" תקציב הזחילה, ולנסות להימנע ככל האפשר מתרחישים אלו.

הנה מספר דוגמאות לתקציב זחילה שלא מנצל את מלוא הפוטנציאל שבו:

 

עמודי פרמטרים באתרים גדולים

הכוונה לעמודי מוצר, בדרך כלל, שניתן להגיע אליהם באמצעות סינונים שונים בממשק המשתמש של האתר. למעשה, מדובר באוסף גדול של כתובות url, אשר מתארות בפועל את אותו תוכן בדיוק. אם מדובר באתר גדול שמכיל אלפי עמודים כאלו, יש לקחת בחשבון שהזחלנים של גוגל יסרקו את כל הכתובות האלו. חבל על הבזבוז המיותר.

 

הגדרות יוסט נכונות

 

מהירות אתר

ככל שמהירות האתר תהיה גדולה יותר, כך תרגיש גוגל הרבה יותר נוח לזחול באתר מבלי לפגוע, לכאורה, בחווית המשתמש. שפרו את מהירות האתר שלכם, שדרגו את איכות האחסון עליו יושב האתר (יופרס זו אופציה טובה) – ותוכלו להגדיל בפועל את תקציב הסריקה המיועד לאתר שלכם.

 

ניווט שגוי באתר

אחת השיטות שבהן גוגל נעזרת כדי למצוא עמודים חדשים באתר שלכם, היא באמצעות הקישורים הפנימיים בתוך האתר. היררכית קישורים לא מיטבית תגרום לגוגל לפספס דפים חשובים, במיוחד אם מדובר בעמודים פנימיים, אשר לא מקבלים קישורים מעמודים מרכזיים באתר.

 

קיום עמודים שנפרצו ומכילים קוד זדוני

גוגל לא תרצה, מן הסתם, להוסיף לאינדקס שלה, או לעדכן אותו, בעמודי אתר שנפרצו ומסכנים את פרטיות הגולשים באתר.

 

קיום תוכן ברמה נמוכה

או מעט תוכן – עמודים בהם קיים מעט מאוד תוכן, או שהתוכן הינו ברמה נמוכה וממילא לא יוצג לגולש אשר ביצע שאילתה במנוע החיפוש – הם למעשה לא אחר מאשר בזבוז זמן הזחילה ותקציב הזחילה של הבוט, עמודים אלו נקראים גם "עמודים דלי תוכן".

 

ריבוי דפי 404 באתר

עמודים שהוסרו ולא בוצעה עבורם הפניה לעמודים חדשים, רק יקשו על המלאכה של הבוטים בעת הסריקה של עמודי האתר, ויבזבזו תקציב זחילה חשוב, שהיה יכול להיות מופנה אל עמודים חשובים שהתעדכנו באתר. תקנו קישורים שבורים באתר, ונסו להימנע ככל האפשר מהשארת עמודים לא רלוונטים באתר וממחיקת עמודים כאלו, מבלי לטפל בקישורים שנכנסו אליהם. למידע נוסף על דף 404.

 

6. דפי AMP – פרויקט ה- AMP של גוגל מאפשר לבעלי אתרים, תחת קיום תנאים מסויימים, לשפר באופן משמעותי את זמן הטעינה של עמודים מסוימים באתר בעת השימוש במכשירי מובייל. לשם כך, מייצרים בעלי האתרים דפים מיוחדים באתר, אשר מקיימים קריטריונים מסויימים, בפורמט AMP- Accelerated mobile page.

בעת יצירת הפורמט החדש, מקפידים בעלי האתרים לטפל בקבצי הסקריפט והעיצוב של האתר ולנבל את המשאבים השונים הדרושים לצורך זמן טעינת העמוד באתר, בצורה אסינכרונית. כל זה אמנם נחמד וטוב ויפה, אבל חשוב להבין שיצירת דפי AMP באתר גם מאלצת את גוגל לסרוק דפים אלו כחלק מתקציב הזחילה שלה.

 

לסיכום

תקציב הזחילה מוגדר על סמך פרמטרים שונים שמטרתם, מצד אחד, לשמר רמת עדכניות גבוהה של גוגל בכל הקשור לתכני האתר, ומאידך, לא לפגוע בחווית המשתמש של הגולשים באתר, באמצעות הפעלת הבוטים.

בעלי אתרים גדולים, אשר מעוניינים לשפר באופן משמעותי את תקציב הזחילה שלהם, צריכים להימנע מתוכן כפול באתר ומסינונים מיותרים באתר, לשפר את מהירות האתר, לדאוג להסיר קישורים שבורים ולטפל בדפי 404, לקחת בחשבון את מבנה ההירכיה של האתר, לעדכן דפים המכילים תוכן מצומצם או כזה שאינו בעל ערך עבור הגולשים, וכמובן לאבטח את האתר מפני פוגענים שונים.

אודות המחבר
עשהאל דרייר
עשהאל דרייר
עוסק בקידום אתרים כ- 5 שנים, תוצאה 1 במונח "קידום אתרים אורגני", מנכ"ל הסוכנות עשהאל דרייר בע"מ, יזם, מדבר בפתרונות ומוביל את לקוחותיו לשפע כלכלי.
מושגים נוספים מעולם ה- SEO שעשויים לעניין אותך:
קניבליזציה של מילות מפתח

השם המפוצץ והציורי משהו הזה, מתאר סיטואציה שבה מספר עמודים שונים באתר מדורגים על אותה מילת מפתח במנוע החיפוש, או גרוע מכך – שדף שלא

תג התיאור (Meta Description)

תג התיאור (כאן נקרא לו מטא דיסקריפשיין) הוא אחד משני המרכיבים (יחד עם תג הכותרת) שמהווים את שער הכניסה של הגולש לעמוד אינטרנט ספיציפי, מדף

מהי מפת אתר והאם היא חשובה לקידום אורגני

מפת אתר היא קובץ טקסטואלי שבו מנוהל מידע על מבנה האתר, רשימת העמודים הקיימים באתר, תעדופים שונים המתייחסים לצורך בחלוקת תקציב הזחילה של מנועי החיפוש

יחס המרה – מהו ואיך ניתן לשפר אותו

במאמר זה ננסה להבין מהו יחס המרה, כיצד מודדים אותו, והכי חשוב – איך לשפר אותו. אין ספק שעולם השיווק הוא עולם דינאמי, מתפתח ומשתנה

אלגוריתם Rankbrain

רגע לפני החפירות, ההגדרות, והתאריכים הרלוונטים למנוע הבינה המלאכותית של גוגל, הלא הוא ה- Rankbrain, בואו נתחיל מדוגמה קטנה שתמחיש לנו בצורה הטובה ביותר את

תוכן עניינים
לשליחת הודעה
מקצועיות זה אנחנו
השירותים שאנו מספקים

שתף את המאמר עכשיו!

שיתוף ב facebook
שיתוף ב google
שיתוף ב twitter
שיתוף ב linkedin

הצטרפו

לקבוצת הפייסבוק שלנו BLACK & GREY SEO | קידום אתרים אורגני למתקדמים

והשארו מעודכנים בכל החדשות !