איך לסרוק אתר שמוגדר ב- NoIndex באמצעות סקרימינג פרוג

ניסיתם פעם לסרוק אתר שמוגדר כ-NOINDEX באמצעות סקרימינג פרוג? זה לא עבד, נכון? במאמר זה נלמד איך לעשות זאת צעד אחר צעד. בהצלחה.

קצת על סקרימינג פרוג

סקרימינג פרוג או בעברית הצפרדע הצורחת, הינה מערכת המחקה את פעילות הזחילה של מנועי החיפוש, שואבת ומציגה נתונים שחשוב להכיר כאשר מקדמים אתר בגוגל.

מבין הנתונים שניתן להפיק ממערכת זו:

  • תגיות שונות – לדוגמא כותרות H1, H2.
  • סטטוס http – או איזה קוד כל עמוד מחזיר – האם יש בו שגיאות כמו 301, 404 וכדומה.
  • מידע על התמונות באתר – מה גודלן, תגיות ALT בתמונות.
  • מיפוי העמודים באתר – האם קיימים עמודים שהבוטים לא יכולים לסרוק – NoIndex או NoFollow.
  • ועוד.

באתר תוכלו לראות מדריכי וידאו שונים בנושא סקרימינג פרוג אם רק התחלתם לעבוד עם הכלי הזה ואתם זקוקים להכוונה נוספת.

 

השלבים לסריקת אתר שמוגדר ב- NoIndex באמצעות סקרימינג פרוג

1. נכנסים לקונפיגורציה (configuration) >>> spider.

איך להגדיר סריקת סקרימינג פרוג

 

2. Spider configuration

מסמנים V באפשרות "Follow internal "NoFollow וגם באפשרות "Follow External "noFollow ולוחצים על OK.

מה מסמנים בספיידר

 

לאחר מכן יש ללכת שוב לקונפיגורציה ולבחור ב- robots.txt >>> settings.

robots.txt

 

3. הגדרת סריקת robots.txt

robots settings

 

בוחרים באופציה: ignore robots.txt but report staatus ולוחצים על OK.

 

4. בודקים שהכל הוגדר נכון ומבצעים סריקה לאתר שמוגדר ב-NoIndex

אם הכל הוגדר כשורה – תצליחו לסרוק את האתר. במידה ולא הצלחנו, יש לנסות לנקות קאש לאתר או לחילופין לפתוח את הסקרימינג פרוג מחדש ולהגדיר שוב את הגדרות הסריקה שלכם.

 

לסיכום

סקרימינג פרוג זמינה בחינם ולכולם בסריקה של עד 500 עמודים באתר. לפני שמעלים לאוויר אתר חדש, מומלץ להריץ אותו בסקרימינג פרוג ולפתור את כל הבעיות עוד לפני שעלה לאוויר. בהצלחה!

לסרוק אתר NoIndex עם סקרימינג פרוג
שלחו לחבר קישור למאמר, הוא חייב לקרוא אותו!
רוצה לחזור למשהו ספציפי בעמוד?
שלחו לחבר קישור למאמר
הוא חייב לקרוא אותו!

מאמרים נוספים מומלצים לקריאה עבורך:

Best dating sites

Many local newspapers had online personals in the mid 1990s but were bought out by these big dating sites. From some of the comments it

נמאס לכם שהאתר שלכם איטי?
רוצים אתר מהיר?
תעברו לאחסון האתרים של קלאודוויז -
זה קלי קלות!


הטבה לגולשי האתר:
30% הנחה ל- 3 חודשים ראשונים!
rank ranger
תוכנת מעקב הדירוגים הטובה בעולם!
בואו לעקוב אחרי מיקומים של כל אתר, מכל מקום בעולם, כולל הפרדה בין מיקומי דסקטופ ומובייל, תנועה, תיעוד עבודה ואפילו תוכלו לשלוח ללקוחות שלכם לינק לדשבורד שמתעדכן אונליין!
הטבה לגולשי האתר:
14 ימי ניסיון ו-25% הנחה לחודשיים