התגית Robots הינה תגית HTML נפוצה שמיועדת לספק מידע והנחיות עבור הרובוטים של מנועי החיפוש בעת סריקתם את האתר שלך.
ישנה חשיבות גבוהה לתגית זו כאשר בעל אתר מעוניין להנחות את הרובוטים של מנועי החיפוש כיצד להתנהג עם דפי האתר, אם לצרכי סיוע בעת קידום אתר במנועי חיפוש ואם בכדי למנוע מתכנים מסויימים להיות מתועדים על ידי מנועי חיפוש.
לכן ועל מנת שלא לגרום "נזק" בעת שימוש לא נכון בתגית זו, מומלץ להשתמש בה בתבונה תוך שימת דגש על דיוק האפשרות שנבחרה בהתאמה לרצון בעל האתר בעת בניית אתר לראשונה, עדכון דפים קיימים באתר, הוספה של דפים חדשים וכדומה.
להלן פירוט האפשרויות עבור שדה זה שקיימות במערכת:
- all
בחירה באפשרות זו מנחה את הרובוטים של מנועי החיפוש כי ברצון בעל האתר שהרובוט יתעד ויאנדקס את תוכן הדף ובנוסף שיעקוב אחר הקישורים שיוצאים מהדף.
- index,follow
בחירה באפשרות זו מנחה את הרובוטים של מנועי החיפוש כי ברצון בעל האתר שהרובוט יתעד ויאנדקס את תוכן הדף ובנוסף שיעקוב אחר הקישורים שיוצאים מהדף.
- noindex,follow
בחירה באפשרות זו מנחה את הרובוטים של מנועי החיפוש כי ברצון בעל האתר שהרובוט לא יתעד ולא יאנדקס את תוכן הדף ובנוסף שיעקוב אחר הקישורים שיוצאים מהדף.
- index,nofollow
בחירה באפשרות זו מנחה את הרובוטים של מנועי החיפוש כי ברצון בעל האתר שהרובוט יתעד ויאנדקס את תוכן הדף ובנוסף שלא יעקוב אחר הקישורים שיוצאים מהדף.
- noindex,nofollow
בחירה באפשרות זו מנחה את הרובוטים של מנועי החיפוש כי ברצון בעל האתר שהרובוט לא יתעד ולא יאנדקס את תוכן הדף ובנוסף שלא יעקוב אחר הקישורים שיוצאים מהדף.
- השתמש בברירת מחדל
בחירה באפשרות זו קובעת למערכת שההנחיות לתגית זו עבור הדף הרלוונטי תהיינה על פי מה שהוגדר בדף הגדרות המערכת לכלל דפי המערכת שמשתמשים באפשרות זו.
חשוב לדעת:
- על פי הידוע לנו האפשרות all והאפשרות index,follow זהות בתפקודן. יש המעדיפים להשתמש ב- all ויש המעדיפים להשתמש ב- index,follow על פי שיקול דעת המשתמש.
-
על פי הידוע לנו מרבית הרובוטים של מנועי החיפוש המתקדמים והמובילים תומכים ואף מתייחסים למידע וההנחיות שבתגית זו, אך בכל מקרה היא
אינה יכולה להכריח את הרובוטים של מנועי החיפוש לציית לה. כמו כן, ישנם רובוטים שמתעלמים כליל מהאמור בתגית זו ו/או שכלל אינם תומכים בה.
לפיכך, אין כל ערובה שבהוספת תגית זו לדף, כל מנועי החיפוש יתנהגו בדיוק על פי המידע וההנחיות שבה.
- קיים מידע רב בנושא ברחבי האינטרנט ולהלן קישור רלוונטי: http://www.robotstxt.org/wc/meta-user.html
