איך לסרוק אתר שמוגדר ב- NoIndex באמצעות סקרימינג פרוג

ניסיתם פעם לסרוק אתר שמוגדר כ-NOINDEX באמצעות סקרימינג פרוג? זה לא עבד, נכון? במאמר זה נלמד איך לעשות זאת צעד אחר צעד. בהצלחה.

קצת על סקרימינג פרוג

סקרימינג פרוג או בעברית הצפרדע הצורחת, הינה מערכת המחקה את פעילות הזחילה של מנועי החיפוש, שואבת ומציגה נתונים שחשוב להכיר כאשר מקדמים אתר בגוגל.

מבין הנתונים שניתן להפיק ממערכת זו:

  • תגיות שונות – לדוגמא כותרות H1, H2.
  • סטטוס http – או איזה קוד כל עמוד מחזיר – האם יש בו שגיאות כמו 301, 404 וכדומה.
  • מידע על התמונות באתר – מה גודלן, תגיות ALT בתמונות.
  • מיפוי העמודים באתר – האם קיימים עמודים שהבוטים לא יכולים לסרוק – NoIndex או NoFollow.
  • ועוד.

באתר תוכלו לראות מדריכי וידאו שונים בנושא סקרימינג פרוג אם רק התחלתם לעבוד עם הכלי הזה ואתם זקוקים להכוונה נוספת.

 

השלבים לסריקת אתר שמוגדר ב- NoIndex באמצעות סקרימינג פרוג

1. נכנסים לקונפיגורציה (configuration) >>> spider.

איך להגדיר סריקת סקרימינג פרוג

 

2. Spider configuration

מסמנים V באפשרות "Follow internal "NoFollow וגם באפשרות "Follow External "noFollow ולוחצים על OK.

מה מסמנים בספיידר

 

לאחר מכן יש ללכת שוב לקונפיגורציה ולבחור ב- robots.txt >>> settings.

robots.txt

 

3. הגדרת סריקת robots.txt

robots settings

 

בוחרים באופציה: ignore robots.txt but report staatus ולוחצים על OK.

 

4. בודקים שהכל הוגדר נכון ומבצעים סריקה לאתר שמוגדר ב-NoIndex

אם הכל הוגדר כשורה – תצליחו לסרוק את האתר. במידה ולא הצלחנו, יש לנסות לנקות קאש לאתר או לחילופין לפתוח את הסקרימינג פרוג מחדש ולהגדיר שוב את הגדרות הסריקה שלכם.

 

לסיכום

סקרימינג פרוג זמינה בחינם ולכולם בסריקה של עד 500 עמודים באתר. לפני שמעלים לאוויר אתר חדש, מומלץ להריץ אותו בסקרימינג פרוג ולפתור את כל הבעיות עוד לפני שעלה לאוויר. בהצלחה!

לסרוק אתר NoIndex עם סקרימינג פרוג
רוצה לחזור למשהו ספציפי בעמוד?
שלחו לחבר קישור למאמר, הוא חייב לקרוא אותו!
שלחו לחבר קישור למאמר
הוא חייב לקרוא אותו!
דיגיפארם:
עשהאל דרייר
עשהאל דרייר
מנכ"ל חברת קידום אתרים ואפיליאצייה המונה כ-125 עובדים ומאות לקוחות בפריסה עולמית, מייסד דיגיפארם - חנות אונליין להזמנת תכנים וקישורים עבור אנשי SEO, מייסד רובולינק - אפליקצייה לבדיקת מיקומים חינם לאנדרואיד ולאייפון, מוביל את קבוצת אנשי ה-SEO הגדולה בישראל בפייסבוק ובווטסאפ.

מאמרים נוספים מומלצים לקריאה עבורך:

קורס קידום אתרים בגוגל (SEO)

קורס קידום אתרים בגוגל (SEO) פרקטיקה נטו! היי, שמי עשהאל דרייר ובשנת 2015 כשעוד הייתי לוחם ביחידת דובדבן, צרכתי שירותי SEO לעסק קודם שלי והתאכזבתי