Robots.txt

 


מדריך לשימוש יעיל בקובץ robots.txt

ישנם מקרים בהם אין אנו מעוניינים שמנוע החיפוש יסרוק דף מסוים באתר, במידה ואתם רוצים למנוע ממנועי החיפוש להיכנס לדף מסויים, robots.txt הוא הקובץ המיועד לזה.

הקובץ robots.txt מנחה את מנועי החיפוש לאלו תיקיות או קבצים עליהם להימנע מלהיכנס. כאשר מנוע החיפוש סורק את האתר שלכם, הוא בודק קודם את ההנחיות המצויות בקובץ הזה.

על הקובץ להיות רשום באותיות קטנות robots.txt ולהיות ממוקם בתיקיית הבסיס של האתר.

באופן כללי לא חובה בהגדרת קובץ robots.txt ואם זה לא הכרחי, עדיף לא לבצע חסימת גישה למנועי חיפוש אל עמודים כאלה או אחרים באתר.

נקודות חשובות -

• עליכם להיות זהירים כאשר אתם מכניסים נתונים לקובץ. טעות בהכנסת הנתונים לקובץ יכולה לעלות לכם ביוקר אם בעצירת קידומו של האתר בגוגל ואף בהסרת עמודים שלמים מהאינדקס שלו.

• תהליך זה אינו מיועד להסתיר מידע סודי או רגיש באתר. זה שמנועי החיפוש לא אמורים לסרוק את העמוד באתר, אין זה אומר שתפקיד הקובץ להסתיר את המידע בעמוד האתר ושגולשים אינם יכולים להיכנס אליו. כאמור קובץ זה הוא קובץ טקסט אשר ממוקם בתיקייה הראשית באתר כך שכל אחד יכול להיכנס ולעיין בתוכנו.

• הקליקו כאן להורדת קובץ robots.txt של אתר זה לדוגמה (ארוז כזיפ) המאפשר גישה לכל עמודי האתר.

 

אפשרויות רישום ב robots.txt

 

מאשר גישה לכל העמודים באתר -

מדריך robots.txt - קוד המאפשר סריקת כל העמודים באתר

 

מונע גישה לכל העמודים באתר -

מדריך robots.txt - קוד המונע גישה לכל העמודים באתר

 

מונע גישה לתיקייה או קובץ מסוים באתר -

מדריך robots.txt - קוד המונע גישה לתיקייה או קובץ מסוים באתר

 

לא מאפשר לגוגל לסרוק תיקייה מסויימת למעט קובץ מסויים בתוכה -

מדריך robots.txt - קוד אשר לא מאפשר לגוגל לסרוק תיקייה מסויימת למעט קובץ מסויים בתוכה

 

היזהרו לא להתבלבל! ההבדל הקטן בין קוד המאפשר סריקת כל העמודים באתר, לבין קוד המונע גישה לכל העמודים באתר...

מדריך robots.txt - חשוב להיזהר - ההבדל הקטן בין קוד מאפשר סריקת כל העמודים באתר לבין קוד המונע גישה לכל העמודים באתר

 

• יצירת הקובץ הינו תהליך פשוט, הנחיות ליצירת הקובץ תוכלו גם לקבל במדריך יצירת קובץ robots.txt מאתר העזרה של גוגל.

 

מדריכי וידאו

נציג גוגל מאט קאטס מנסה להסביר בקצרה האם ישנה חשיבות להוספת הקובץ לאתר גם אם אין לכם צורך בהגבלה של סריקת עמודים מסויימים ע"י גוגל. (1:58 דקות - אנגלית)

חזרה לתחילת מדריך גוגל אדוורדס

 

מאט קאטס נותן דוגמא איך לא כדאי להשתמש ב robots.txt. כמו לעשות הכוונות זמניות של עכביש גוגל לעמודים מסויימים באתר בעזרת הקובץ... (2:47 דקות - אנגלית)

חזרה לתחילת מדריך גוגל אדוורדס

 

במידה ואינכם מעוניינים שהאתר שלכם יופיע מאט קאטס מביא את כל האפשרויות של איך להסיר דף מסוים של האתר מהופעתו בגוגל. וממליץ על הדרכים המוצלחות ביותר מבניהן. (12:14 דקות - אנגלית)

חזרה לתחילת מדריך גוגל אדוורדס

 

נושאים קרובים מומלצים -

 

כלים שימושיים לבניית האתר.חזרה למעלה

מדריך מקיף להקמת אתר אינטרנט.

המדריך לאופטימיזציה וקידום האתר - seo.

מדריך מילות מפתח לקידום האתר.