בדרך כלל, בבלוג הזה, אני מנסה לעזור לקוראים שלי להבין איך הם כן מצליחים לאנדקס ולדרג עמודים באתר שלהם במנוע החיפוש של גוגל. אבל ישנם לא מעט מקרים שבהם אנחנו נרצה שתוכן מסוים, שאונדקס על ידי גוגל, לא יוצג לגולשים שעושים שימוש במנוע החיפוש.
במדריך הבא אנסה לעזור לכם להבין מהם הצעדים שתצטרכו לבצע כדי להסיר לצמיתות את התמונה שגוגל אינדקס, ומקורה באתר שלכם.
לפני שנצלול לצעדים עצמם שעליכם יהיה לנקוט, חשוב רגע לעשות סדר בדברים ובמושגים השונים.
הסרת התמונה מן האתר איננה הסרה של התמונה מן האינדקס של גוגל
לא מעט בעלי אתרים סבורים כי אם הסירו את התמונה שהעלו בטעות או שלא בטעות מן האתר, התמונה גם לא תופיע בחיפושים השונים שעורכים גולשים במנוע החיפוש של גוגל.
ובכן, מדובר בטעות, וחשוב יהיה לעמוד על הדברים:
מחיקת התמונה מן האתר מונעת רק את הגישה אל התמונה בעת הגלישה באתר עצמו. אם גוגל כבר אינדקס את התמונה באחת מן הסריקות הקודמות שביצע, התמונה לא תוסר מן האינדקס שלו, אלא אם כן תבקשו זאת במפורש. זה אומר שמי שמגיע אל מנוע החיפוש ומחפש את התמונה המדוברת, יקבל גישה אל התמונה באינדקס של גוגל, גם אם היא הוסרה על ידכם מאתר המקור עצמו.
אם כן, איך מסירים תמונה מן האינדקס של גוגל עצמו?
כדי להסיר תמונה מן האינדקס של גוגל, עומדות בפניכם 3 אפשריות:
- הסרה זמנית ומהירה של התמונה מגוגל באמצעות הקישור הזה.
- עדכון קובץ ה robots.txt כדי להנחות את הזחלנים של מנוע החיפוש שלא לאנדקס את התמונה בכתובת עמוד נתונה.
- עדכון המענה של השרת לבקשת הדף מצד הדפדפן באמצעות הפקודה no-index.
בואו ננסה להבין לעומק כל אחת מן האפשרויות האלו.
אפשרות מספר 1: הסרה זמנית ומהירה של התמונה מגוגל
אם מדובר במקרה חירום, ואתם רוצים להסיר באופן מיידי את התמונה מן האינדקס של גוגל, באופן זמני ולא סופי, תוכלו לעשות זאת באמצעות הקישור הבא.
מכאן, מה שעליכם יהיה לעשות הוא לבחור את הנכס הרלוונטי בחשבון הקונסול שלכם בגוגל, וללחוץ על כפתור New Request.
עכשיו תצטרכו להזין את כתובת ה-URL של התמונה אותה אתם רוצים להסיר.
שימו לב שיש לכם שתי אפשרויות.
להזין כתובת url מלאה ויחידה, או כתובת url שכלל הכתובות תחתיה תהיינה כלולות בבקשת ההסרה:
מכאן הדרך אל הכפתור Next היא קצרה למדי. תצטרכו לבצע Submit Request וזהו. פשוט להמתין לגוגל שתפעל.
חשוב להבין שכדי לבצע את ההסרה הזמנית הזאת, צריכים להתקיים כמה וכמה תנאים:
א. העמוד שממנו אתם מבקשים להסיר את התמונה נמצא בבעלותכם, ורשום בקונסול של גוגל.
ב. ביצעתם כל מה שנדרש כדי להסיר את התוכן הרגיש מן האתר עצמו, וכעת אתם רק מבקשים להסיר אותו גם מן האינדקס של מנוע החיפוש.
מתי ביצוע ההסרה של התמונה באופן זמני אינו רלוונטי?
א. העמוד הרלוונטי שבו מצויה התמונה לא נמצא בבעלותכם.
ב. אתם מעוניינים להסיר את התמונה מן האינדקס של גוגל באופן קבוע.
ג. אתם מעוניינים להסיר את התוכן מן הרשת. חשוב יהיה להבין כי ההסרה במקרה הזה מבוצעת רק מן האינדקס של גוגל, ולמעשה משפיעה על יכולת הגישה לתמונה באמצעות חיפושים המבוצעים במנוע החיפוש.
ד. אתם מעוניינים להסיר את הגישה לתמונה גם ממנועי חיפוש אחרים, פרט לגוגל עצמה.
ה. אתם מנסים לטפל בשגיאת 404.
ו. אתם מנסים לטפל בשגיאות שונות שמדווח לכם עליהן הקונסול של גוגל.
ז. אתם רוצים להתחיל מחדש בבניית האתר שלכם.
ח. אתם מנסים לטפל באתר לאחר שנפרץ.
ט. אתם מנסים להשפיע על אחזור הגרסה העדכנית, כביכול של האתר, לאחר שמספר גרסאות אחרות כבר אונדקסו.
אפשרות מספר 2: עדכון קובץ ה – Robots.txt
אמנם שיטת הפעולה הזאת איטית יותר מאשר כלי ההסרה המהיר שהצגתי באפשרות מספר 1, אבל היא מאפשרת לבצע את ההסרה באופן קבוע ולא זמני, וגם מאפשרת גמישות ושליטה טובה יותר על פעולת ההסרה. מיד נבין במה מדובר. אבל לפני כן, כמה מילים על קובץ robots.txt.
מה זה קובץ robots.txt?
באופן כללי, בלי להיכנס לדקויות השונות (זה אולי עניין לפוסט אחר), קובץ robots.txt, שממוקם בדרך כלל ב – root של השרת, הוא קובץ שמטרתו לייצר הנחיות לבוטים שמגיעים על מנת לסרוק את האתר. באמצעות קובץ robots.txt אפשר, למשל, לתת הנחיה לבוטים של גוגל שלא לסרוק דפים או ספריות מסוימות (למשל כאלו המכילות תכנים פרטיים של משתמשים), ואילו לבוטים של מנועי חיפוש אחרים לסרוק חלק מסויים אחר מן האתר.
חשוב לרגע להבין: קובץ robots.txt הוא לא מנגנון אבטחת מידע. אין להשתמש בו כדי לנהל הרשאות גישה למידע או דפים הנמצים באתר, אלא על מנת לנהל את ״ההמלצות״ וההנחיות לזחלנים של מנועי החיפוש, אילו תכנים לסרוק ואילו לא. באמצעות קובץ ה – robots.txt, אגב, אפשר לייעל את תקציב הזחילה של הזחלנים השונים, באמצעות מיקוד שלהם רק בעמודים שכדאי לסרוק בתדירות שוטפת.
נחזור לענייננו:
איך משתמשים בקובץ Robots.txt כדי להסיר תמונה מגוגל?
כדי לעשות זאת, עליכם יהיה לערוך את קובץ ה – robots.txt, שנמצא, כאמור, ב root של השרת, למשל באופן הבא:
User-agent: Googlebot-Image
Disallow: /images/image.jpg
כאשר image.jpg הוא, לצורך העניין, שם קובץ התמונה.
שימו לב שאם נעשה שימוש ב * נוכל להכליל קבוצה של תמונות שעונות לתחילית מסוימת. אם למשל, אנחנו רוצים לחסום את הגישה לכל התמונות image1, image2, image3 וכו׳, נוכל לעשות שימוש בפקודה:
Disallow: /images/image*.jpg
מה יקרה כאשר נבקש באמצעות קובץ robots.txt שלא לסרוק ולאנדקס תמונה? בביקור הבא של הזחלן של גוגל, הוא יקרא את ההוראה בקובץ robots.txt ויסיר את התמונה מתוצאות החיפוש.
אפשרות מספר 3: שימוש בתגית noindex בהאדר של מענה השרת לבקשת הדפדפן
האופציה הזאת שמורה למי שיש לו גישה להגדרות השרת, ומעוניין להטמיע את התגית noindex בלי לבצע עריכה של קובץ robots.txt.
כדי להטמיע את תגית ה – noindex בהאדר של מענה השרת לדפדפן פעלו כך:
אם השרת מריץ Apache, ואתם מעוניינים, למשל, לבקש שמנוע החיפוש לא יאנדקס וגם לא יעקב אחר קישורים המוטמעים בקובץ pdf, עליכם יהיה לערוך את קובץ htaccess. ב root או את httpd.conf בצורה הבאה:
Header set X-Robots-Tag "noindex, nofollow"
הערה: המוטיבציה כאן היא גם לבקש ממנוע החיפוש שלא לאנדקס את התמונה בקובץ ה – PDF וגם לא לבזבז תקציב זחילה מיותר, באמצעות מעקב אחר קישורים המוטמעים בתוך התמונה.
לסיכום
מעת לעת קורה שאנחנו מעלים לשרת שנמצא בבעלותנו גם קבצים שלא היינו רוצים למצוא אותם אחר בדפי תוצאות החיפוש של גוגל. כאשר זה קורה, עומדות בפנינו כמה אפשרויות. הראשונה, היא להסיר באופן מהיר אך זמני את התמונה המדוברת. השניה, היא לבחור באחת משתי שיטות דומות בהשלכה שלהן, על מנת להסיר תמונה מדפי תוצאות החיפוש של גוגל. היתרון המרכזי שבבחירה בשתי השיטות הלא מיידיות הוא שליטה טובה יותר על הרכב הקשה להסרה, היכולת להכליל את הבקשה על מספר קבצים בו זמנית, וכן האפשרות להנחות מנועי חיפוש נוספים, פרט לגוגל, לבצע את שנדרש.
