איך לסרוק אתר שמוגדר ב- NoIndex באמצעות סקרימינג פרוג

ניסיתם פעם לסרוק אתר שמוגדר כ-NOINDEX באמצעות סקרימינג פרוג? זה לא עבד, נכון? במאמר זה נלמד איך לעשות זאת צעד אחר צעד. בהצלחה.

קצת על סקרימינג פרוג

סקרימינג פרוג או בעברית הצפרדע הצורחת, הינה מערכת המחקה את פעילות הזחילה של מנועי החיפוש, שואבת ומציגה נתונים שחשוב להכיר כאשר מקדמים אתר בגוגל.

מבין הנתונים שניתן להפיק ממערכת זו:

  • תגיות שונות – לדוגמא כותרות H1, H2.
  • סטטוס http – או איזה קוד כל עמוד מחזיר – האם יש בו שגיאות כמו 301, 404 וכדומה.
  • מידע על התמונות באתר – מה גודלן, תגיות ALT בתמונות.
  • מיפוי העמודים באתר – האם קיימים עמודים שהבוטים לא יכולים לסרוק – NoIndex או NoFollow.
  • ועוד.

באתר תוכלו לראות מדריכי וידאו שונים בנושא סקרימינג פרוג אם רק התחלתם לעבוד עם הכלי הזה ואתם זקוקים להכוונה נוספת.

 

השלבים לסריקת אתר שמוגדר ב- NoIndex באמצעות סקרימינג פרוג

1. נכנסים לקונפיגורציה (configuration) >>> spider.

איך להגדיר סריקת סקרימינג פרוג

 

2. Spider configuration

מסמנים V באפשרות "Follow internal "NoFollow וגם באפשרות "Follow External "noFollow ולוחצים על OK.

מה מסמנים בספיידר

 

לאחר מכן יש ללכת שוב לקונפיגורציה ולבחור ב- robots.txt >>> settings.

robots.txt

 

3. הגדרת סריקת robots.txt

robots settings

 

בוחרים באופציה: ignore robots.txt but report staatus ולוחצים על OK.

 

4. בודקים שהכל הוגדר נכון ומבצעים סריקה לאתר שמוגדר ב-NoIndex

אם הכל הוגדר כשורה – תצליחו לסרוק את האתר. במידה ולא הצלחנו, יש לנסות לנקות קאש לאתר או לחילופין לפתוח את הסקרימינג פרוג מחדש ולהגדיר שוב את הגדרות הסריקה שלכם.

 

לסיכום

סקרימינג פרוג זמינה בחינם ולכולם בסריקה של עד 500 עמודים באתר. לפני שמעלים לאוויר אתר חדש, מומלץ להריץ אותו בסקרימינג פרוג ולפתור את כל הבעיות עוד לפני שעלה לאוויר. בהצלחה!

לסרוק אתר NoIndex עם סקרימינג פרוג
שלחו לחבר קישור למאמר, הוא חייב לקרוא אותו!
שלחו לחבר קישור למאמר
הוא חייב לקרוא אותו!
עשהאל דרייר
עשהאל דרייר

מנכ"ל חברת קידום אתרים ואפיליאצייה המונה כ-125 עובדים ומאות לקוחות בפריסה עולמית, מייסד דיגיפארם - חנות אונליין להזמנת תכנים וקישורים עבור אנשי SEO, מייסד רובולינק - אפליקצייה לבדיקת מיקומים חינם לאנדרואיד ולאייפון, מוביל את קבוצת אנשי ה-SEO הגדולה בישראל בפייסבוק ובווטסאפ.

מאמרים נוספים מומלצים לקריאה עבורך:

אקספרט – אל תבחרו ספק חדש לפני שבדקתם

בשנים האחרונות חלה עליה גדולה בכמות העסקים החדשים שנפתחים, מגמה שהולכת ומתחזקת וצפויה להמשיך לגדול בשנים האחרונות. לפני שנים, רק מעטים היו מעזים לפתוח עסק,

בדיקת מהירות אחסון אתרים קלאודוויז
עשהאל דרייר
היי כאן עשהאל ואני רוצה להמליץ לך באופן אישי לפתוח שרת בקלאודוויז ולהנות מאתרים מהירים, תמיכה 24/7 וממשק נוח. אני מאחסן למעלה מ-400 אתרים בעצמי וממליץ בחום ובלב שלם, לאחר מספר שנות ניסיון
תוכנת מעקב הדירוגים הטובה בעולם!
בואו לעקוב אחרי מיקומים של כל אתר, מכל מקום בעולם, כולל הפרדה בין מיקומי דסקטופ ומובייל, תנועה, תיעוד עבודה ואפילו תוכלו לשלוח ללקוחות שלכם לינק לדשבורד שמתעדכן אונליין!
הטבה לגולשי האתר:
14 ימי ניסיון ו-25% הנחה לחודשיים