שלב 1: מה זה קובץ robots.txt ואיך כדאי להגדיר אותו

קובץ ה robots.txt הוא הדרך העיקרית שלנו לתקשר עם מנועי החיפוש, לומר להם לאן הם יכולים להכנס באתר שלנו ולאן לא. מרבית מנועי החיפוש יודעים לקרוא את פקודות הבסיס בלבד בקובץ הנ"ל, אך ישנם מנועי חיפוש אשר יודעים אף לקרוא פקודות נוספות.

במדריך הבא נסביר, נציג ונדגים כיצד על קובץ הrobots.txt להראות, ממה הוא מורכב וכיצד מעלים אותו לאתר שלנו.

 

מה זה קובץ robots.txt 

הקובץ הנ"ל הוא קובץ שנקרא על ידי העכבישים / הזחלנים של מנועי החיפוש. אותם זחלנים נקראים גם "רובוטים" ומכך מקור השם של הקובץ.  

הקובץ הנ"ל משמש מעין הוראות כניסה לאותם רובוטים עבור האתר שלנו. לפני שהם נכנסים לאתר, הם סורקים את קובץ ה- robots.txt וממנו מסיקים לאלו דפים מותר להם להכנס ולאילו לא.

על כן, חשוב מאוד להקפיד שקובץ ה- robots.txt יהיה כתוב בצורה נכונה ומדויקת. אין מקום לטעויות.

 

איפה קובץ ה robots.txt ממוקם 

קובץ הרובוטס אמור להיות בתיקיית האב הראשית של הדומיין שלכם. כלומר, אם למשל האתר שלנו הוא 

https://www.a-designer.co.il, הגישה לקובץ הרוטובס צריכה להיות כך https://www.a-designer.co.il/robots.txt

  • קובץ הrobots.txt חייב להיות קרוי "robots.txt" ולהיות כתוב באותיות קטנות (הזחלנים רגישים לאותיות קטנות וגדולות).

 

יתרונות וחסרונות בשימוש של הקובץ robots.txt

יתרון: שליטה בתקציב הזחילה

תקציב הזחילה הינו משך הזמן או כמות הדפים שהזחלנים יסרקו באתר שלכם.

כלומר, בכל כניסה לאתר שלכם, לזחלנים יש תקציב שמוגדר מראש, ולכן אין זה אומר שבכל פעם שהם נכנסים לאתר שלכם, הם יסרקו את כל האתר.

המשמעות של תקציב הזחילה היא אחת – עלינו לנצל בחוכמה את תקציב הזחילה של האתר שלנו, ולא לבזבז אותו.

קובץ ה robots.txt הוא אחד הדרכים העיקריות לשליטה בתקציב הזחילה, שכן אנו מורים לזחלנים לאן להכנס ולאן לא.

רוצים ללמוד עוד על תקציב זחילה? עידן בן אור כתב על כך מאמר מצוין באתר שלו.

 

חסרון: אי אפשר להסיר דפים מתוצאות החיפוש במידה והם כבר נמצאים שם

הקובץ אמנם מורה לזחלנים לאן להכנס ולאן לא, אך הוא לא יכול לומר למנוע החיפוש, לא לאנדקס (כלומר, לא להציג) את הדף הספציפי הזה, או כתובת ה URL הזו.

לכן, אם אתם רוצים להסיר דף מסוים מתוצאות החיפוש של גוגל, עליכם להשתמש בדרך אחרת שנקראת מטה רובוטס ולתת לדף NOINDEX תג.

 

חסרון: לא מאפשר חלוקת כח של לינקים

במידה והגדרתם שדף כלשהו לא יכנס לתקציב הזחילה. הכח של הדף, לא עובר לדפים אחרים שכן נכנסים לתקציב הזחילה.

 

תחביר robots.txt

קובץ הרובוטס מורכב מבלוקים הכוללים את נתיבי האתר שלכם ואת "user-agent".

ובמילים פשוטות, אנחנו מגדירים בכל פעם על אילו כתובות באתר אנחנו מדברים ולזחלנים של אילו מנועי חיפוש אנחנו פונים.

להלן התחביר בקובץ:

  • המילה Disallow – לאן אסור להכנס. השארת השורה Disallow ריקה פירושה שמותר לזחלן להכנס לכל מקום.
  • המילה Allow – לאן מותר להכנס.
  • שימוש בכוכבית "*" פירושה "כולם" – כל קובץ, כל מנוע חיפוש, כל זחלן, כל טקסט שהוא.
  • הביטוי User-agent  – עבור איזה מנוע חיפוש, ההוראה רלוונטית.

 

לדוגמה: 

User-agent: googlebot 

Disallow: /Photo

2 השורות האלו אומרות לגוגל בוט, שאסור לו לקרוא את תיקיית Photo (או קובץ בשם Photo).

 

דוגמה נוספת:

User-agent: googlebot 

/Disallow: /Photo

2 השורות האלו אומרת לגוגל בוט, שאסור לו לקרוא את כל מה שנמצא לאחר הנתיב photo/ (כל הקבצים שבתיקייה וכו').

  • שימו לב כי שורות הקוד רגישות לאותיות גדולות וקטנות ולכן במקרה הזה למשל, הזחלנים כן יכולים להכנס לתיקיית photo (בניגוד לתיקיית Photo).

 

רשימת הזחלנים של מנועי החיפוש השונים

מנוע החיפוש תחום שם הזחלן
Baidu כללי baiduspider
Baidu תמונות baiduspider-image
Baidu מובייל baiduspider-mobile
Baidu חדשות baiduspider-news
Baidu סרטונים baiduspider-video
Bing כללי bingbot
Bing כללי msnbot
Bing סרטונים ותמונות msnbot-media
Bing Ads adidxbot
Google כללי Googlebot
Google תמונות Googlebot-Image
Google מובייל Googlebot-Mobile
Google חדשות Googlebot-News
Google סרטונים Googlebot-Video
Google AdSense Mediapartners-Google
Google AdWords AdsBot-Google
Yahoo! כללי slurp
Yandex כללי yandex

 

איך קובץ robots.txt צריך להראות בסוף

ניקח את האתר בו אנו משתמשים לדוגמאות www.a-designer.co.il .

נכנס לכתובת ה URL – https://www.a-designer.co.il/robots.txt

 

וכך זה יראה:

דוגמא robots

כך רוב אתרי הוורדפרס, צריכים להראות (אלא אם כן יש משהו מיוחד שדורש שינוי).

 

פירושן של השורות:

אנו פונים לכלל הזחלנים ואומרים להם, אל תכנסו לWP-ADMIN (פאנל הניהול) למעט admin-ajax.php.

ובשורה האחרונה ניתן לראות את מפת האתר שלנו (SITE MAP), אליה נתייחס במדריך נפרד.

 

איך ליצור קובץ robotx.txt

על מנת ליצור קובץ robots.txt יש לכם מספר אפשרויות. 2 האפשרויות הנוחות והמוכרות ביותר הן:

  1. שימוש בפלאגיני SEO – בין אם האתר שלכם מבוסס וורדפרס, WIX, ג'ומלה או כל מערכת מובנת אחרת, ניתן להתקין פלאגין SEO שמכיל גם פיצ'ר של יצירת קובץ רובוטס. בוורדפרס למשל הן YOAST SEO והן RANK MATH ייצרו לכם בקליק אחד קובץ robots.txt איכותי. חשוב לאחר ההתקנה של התוסף, לוודא שאכן נוצר קובץ robots.txt.
  2. יצירת קובץ robots.txt בצורה ידנית – זה יותר פשוט ממה שאתם חושבים. על מנת ליצור את הקובץ בצורה ידנית עליכם לפתוח במחשב, קובץ TXT פשוט, לשים בו את השורות הרלוונטיות עבורכם, ולאחר מכן להתחבר למנהל הקבצים בשרת שלכם ולהעלות את הקובץ. אנו ניתן דוגמה לכך בהמשך.

 

איך ליצור קובץ robots.txt עם הפלאגין YOAST SEO

במידה ויש לכם אתר וורדפרס, התקינו את תוסף ה SEO, יוסט. לאחר ההתקנה, בדקו אם נוצר לכם אוטומטית הקובץ. במידה ולא, הכנסו בפלאגין לכלים ->עריכת קבצים -> ייפתח לכם קובץ הרובוטס לעריכה.

 

robots yoast

איך ליצור קובץ robots.txt בצורה ידנית

  1. נפתח קובץ TXT חדש במחשב שלנו ונקרא לו robots.robots txt
  2. נעתיק אליו את השורות הנכונות לאתר שלנו:
    1. User-agent: *
    2. Disallow: /wp-admin/
    3. Allow: /wp-admin/admin-ajax.php
    4. (Sitemap: (sitemap url
  3. נשמור את הקובץ.
  4. נתחבר לשרת שלנו (עליו יושב הדומיין).
  5. נתחבר למנהל הקבצים שלנו (חלק משרתי האחסון, ידרשו ממכם להתחבר דרך חשבון FTP).
  6. בתיקיית האב הראשית, נוודא כי לא קיים כבר קובץ בשם robots.txt. במידה ולא' נבצע העלאה של הקובץ שיצרנו לתיקייה הזו. 
  7. וזהו – לכם קובץ robots.txt באתר (כמובן שנפתח את https://www.a-designer.co.il/robots.txt ונוודא שאכן זה עובד).

וזהו, יש לנו קובץ robots.

מזל טוב! למדתם כל מה שצריך על קובץ הrobots.txt, זה הזמן לעבור אל שלב מספר 2: חיבור אתר לקלאודפלייר (Cloudflare).

קובץ ה – robots.txt הוא קובץ המכיל הנחיות והוראות לזחלנים של מנועי חיפוש שונים, אילו עמודים באתר הם רשאים לסרוק, ואילו סוגי תכנים הם מורשים בעמודים אלו לאנדקס.

באמצעות שימוש בקובץ ה – robots.txt ניתן לווסת את תקציב הזחילה של מנועי החיפוש באתר, ולייעד את עיקר ההשקעה לעמודים שחשובים יותר לבעל האתר.

את קובץ ה – robots.txt אפשר לייצר בצורה ידנית באמצעות כל עורך טקסט, או לעשות שימוש בפלאגין ייעודי לצורך כך.

היכנסו כעת למאמר השלם ותראו באמצעות דוגמאות כיצד אמור להראות התחביר של הקובץ.

רוצה לחזור למשהו ספציפי בעמוד?
שיתוף ב whatsapp
שלחו לחבר קישור למאמר, הוא חייב לקרוא אותו!
שיתוף ב whatsapp
שלחו לחבר קישור למאמר
הוא חייב לקרוא אותו!
חדש!
עשהאל דרייר
עשהאל דרייר
עוסק בתוכנה ובשיווק מ-2014, מדבר בפתרונות ומוביל את לקוחותיו לשפע כלכלי. הצטרפו לקבוצת הפייסבוק, קבוצת מקדמי האתרים הגדולה והמובילה בישראל! קישור אל פרופיל הפייסבוק של עשהאל. כתובת המייל של עשהאל: [email protected]

מאמרים נוספים מומלצים לקריאה עבורך:

נמאס לכם שהאתר שלכם איטי?
רוצים אתר מהיר?
תעברו לאחסון האתרים של קלאודוויז -
זה קלי קלות!
הטבה לגולשי האתר:
30% הנחה ל- 3 חודשים ראשונים!