קובץ רובוטס הוא הכלי שבו נשתמש על מנת למנוע מהזחלן (של גוגל) גישה לספריות או קבצים מסוימים היושבים על השרת שלנו. כאשר מנוע החיפוש מבצע סריקה של אתר, הוא מתחיל את התהליך בקובץ רובוטס שיצרתם עבורו. האלגוריתם "קורא" את ההנחיות שהגדרתם וכך יודע לאן הוא יכול ולא יכול לגשת. יש רק לציין כי אם אין לכם בעיה לחשוף את כל הדפים, התיקיות והקבצים, הרי שאין גם חובה שתגדירו קובץ רובוטס.

שימו לב, זה שאסרנו גישה לדף מסוים, עדיין לא מונע בהכרח מגוגל לאנדקס אותו.  תוכלו לקרוא בהרחבה בנושא במדריך שלנו על אינדוקס וסריקה.

כיצד נראה הקובץ?

להלן מרכיבי הפקודה:

  • User-agent – השורה הראשונה מגדירה את זהות מנוע החיפוש. באפשרותנו למשל לייחס את הפקודה לבינג, לגוגל וכיו"ב. אם נרצה לייחס אותה לגוגל בלבד, נציין זאת כך – User-agent: googlebot. לעומת זאת אם ברצוננו לא להפלות אלא לייחס את הפקודה לכל מנועי החיפוש באשר הם, נגדיר זאת כך – User-agent: *.
  • Allow – אם נחליט שברצוננו לאפשר לזחלן גישה לכל הדפים, כל שעלינו לעשות זה לכתוב בשורה הבאה – Allow: /.
  • Disallow – לעומת זאת יתכן שנרצה גם נרצה לחסום תיקיות, דפים או אזורים כאלו ואחרים. אם לדוגמה נרצה לחסום את אזור הניהול של האתר, אז כל הדפים שיופיעו אחרי ה-Admin יהיו חסומים ללא יוצא מן הכלל. כלומר אין צורך לחסום כל דף בנפרד כיוון שהתיקייה עצמה נחסמה. חשוב רק לזכור שכל אזור או תיקייה שברצוננו לחסום, חייבים להיות מופרדים בפקודה חדשה ובשורה חדשה.
  • Sitemap – כיוון שברצוננו להקל על הזחלן לראות את דפי האתר ולנווט ביניהם בחופשיות, עלינו להוסיף לקובץ רובוטס קישור גם למפת האתר. ואם לאתר יש יותר ממפת אתר אחת, יש להוסיף את כולן. הפקודה הזו נראית כך – sitemap: http//URL of your website/sitemap_index.xml.

קובץ רובוטס לדוגמה:

כיצד כל זה משפיע על קידום האתר?

ישנם מספר מצבים שבהם לקובץ רובוטס ישנה משמעות מבחינת קידום אתרים. כך לדוגמה אם חברה לקידום אתרים מעבירה את הלקוח לאתר חדש, היא לרוב תפעל על סאב דומיין בסביבת טסט על מנת שלא לחשוף אותו לגולשים. הבעיה היא שאם מתקיימת זהות מוחלטת בין תוכן האתר החדש לאתר הנוכחי, נקבל בסופו של דבר תוכן משוכפל. במצב זה אנחנו מסתכנים כמובן בפגיעה בדירוגים.

לאור זאת, כל שעלינו לעשות זה להגדיר בקובץ רובוטס של האתר שנמצא בבנייה שאנחנו לא מעוניינים שגוגל תאנדקס אותו. מובן רק שחשוב לזכור כי עלינו לשנות בקובץ רובוטס את ההגדרה ברגע שנכניס את האתר החדש לפעולה. מצב נוסף לדוגמה הוא זה שבו ברצוננו פשוט למנוע מגוגל לאנדקס תוכן ספציפי באתר שלנו. הסיבה יכולה להיות תוכן משוכפל או תוכן דל ולא איכותי. למעשה כל תוכן שגילינו שיש בו כדי לפגוע בדירוג שלנו, ניתן לחסימה בקלות על ידי הוספתו לקובץ רובוטס.

פתוח לכל אחד

מטבע הדברים, כשזה מגיע לגוגל, עדיף לשמור על פתיחות באופן כללי. יחד עם זאת, ישנם בכל זאת דפים שלא נרצה לאפשר לגוגל את הגישה אליהם ושנעדיף שלא יופיעו באינדקס. הכוונה היא בין השאר לדפים שיש להקליד סיסמה כדי להיחשף אליהם, דפי Admin וכיו"ב. חשוב להבין כי לכל משתמש ומשתמש יש גישה חופשית לקובץ הרובוטס של האתר אך לא כל משתמש רשאי להכניס בו שינויים. כדי לראות את קובץ הרובוטס של אתר מסוים, עליכם לכתוב את כתובת האתר הראשית ולהוסיף את הסיומת /robots.txt. למשל:  hayed.co.il/robots.txt

נסו זאת אפילו כעת!