איך לסרוק אתר שמוגדר ב- NoIndex באמצעות סקרימינג פרוג

ניסיתם פעם לסרוק אתר שמוגדר כ-NOINDEX באמצעות סקרימינג פרוג? זה לא עבד, נכון? במאמר זה נלמד איך לעשות זאת צעד אחר צעד. בהצלחה.

 

קצת על סקרימינג פרוג

סקרימינג פרוג או בעברית הצפרדע הצורחת, הינה מערכת המחקה את פעילות הזחילה של מנועי החיפוש, שואבת ומציגה נתונים שחשוב להכיר כאשר מקדמים אתר בגוגל.

מבין הנתונים שניתן להפיק ממערכת זו:

  • תגיות שונות – לדוגמא כותרות H1, H2.
  • סטטוס http – או איזה קוד כל עמוד מחזיר – האם יש בו שגיאות כמו 301, 404 וכדומה.
  • מידע על התמונות באתר – מה גודלן, תגיות ALT בתמונות.
  • מיפוי העמודים באתר – האם קיימים עמודים שהבוטים לא יכולים לסרוק – NoIndex או NoFollow.
  • ועוד.

באתר תוכלו לראות מדריכי וידאו שונים בנושא סקרימינג פרוג אם רק התחלתם לעבוד עם הכלי הזה ואתם זקוקים להכוונה נוספת.

 

השלבים לסריקת אתר שמוגדר ב- NoIndex באמצעות סקרימינג פרוג

1. נכנסים לקונפיגורציה (configuration) >>> spider.

איך להגדיר סריקת סקרימינג פרוג

 

2. Spider configuration

מסמנים V באפשרות "Follow internal "NoFollow וגם באפשרות "Follow External "noFollow ולוחצים על OK.

מה מסמנים בספיידר

 

לאחר מכן יש ללכת שוב לקונפיגורציה ולבחור ב- robots.txt >>> settings.

robots.txt

 

3. הגדרת סריקת robots.txt

robots settings

 

בוחרים באופציה: ignore robots.txt but report staatus ולוחצים על OK.

 

4. בודקים שהכל הוגדר נכון ומבצעים סריקה לאתר שמוגדר ב-NoIndex

אם הכל הוגדר כשורה – תצליחו לסרוק את האתר. במידה ולא הצלחנו, יש לנסות לנקות קאש לאתר או לחילופין לפתוח את הסקרימינג פרוג מחדש ולהגדיר שוב את הגדרות הסריקה שלכם.

 

לסיכום

סקרימינג פרוג זמינה בחינם ולכולם בסריקה של עד 500 עמודים באתר. לפני שמעלים לאוויר אתר חדש, מומלץ להריץ אותו בסקרימינג פרוג ולפתור את כל הבעיות עוד לפני שעלה לאוויר. בהצלחה!

רוצה לחזור למשהו ספציפי בעמוד?
שיתוף ב whatsapp
שלחו לחבר קישור למאמר, הוא חייב לקרוא אותו!
שיתוף ב whatsapp
שלחו לחבר קישור למאמר
הוא חייב לקרוא אותו!
חדש!
עשהאל דרייר
עשהאל דרייר
עוסק בתוכנה ובשיווק מ-2014, מדבר בפתרונות ומוביל את לקוחותיו לשפע כלכלי. הצטרפו לקבוצת הפייסבוק, קבוצת מקדמי האתרים הגדולה והמובילה בישראל! קישור אל פרופיל הפייסבוק של עשהאל. כתובת המייל של עשהאל: [email protected]

מאמרים נוספים מומלצים לקריאה עבורך:

ביטויי זנב ארוך - המדריך המלא
ביטויי זנב ארוך – המדריך המלא

אין מקדם אתרים שלא מכיר את המושג "ביטוי זנב ארוך". לפי הגדרה אחת, ביטויי זנב ארוך הוא ביטוי המכיל מילת מפתח כלשהי בתוספת מספר מילים

נמאס לכם שהאתר שלכם איטי?
רוצים אתר מהיר?
תעברו לאחסון האתרים של קלאודוויז -
זה קלי קלות!
הטבה לגולשי האתר:
30% הנחה ל- 3 חודשים ראשונים!