אם אתם עוסקים בתחום של קידום אתרים אורגני, אתם וודאי יודעים שבתור בעלי אתרים יש לנו שליטה הרבה יותר גדולה במנועי החיפוש ממה שנהוג לחשוב. למעשה, יש לנו את האפשרות להגדיר מי יכול לסרוק ולאנדקס את האתר שלנו, אפילו ברמה של דפים בודדים. כדי לשלוט בכך, יש להשתמש בקובץ robots.txt., קובץ טקסט פשוט הנמצא בתוך התיקייה הראשית של האתר. קובץ זה מודיע לזחלנים שנשלחים על ידי מנועי החיפוש, אילו דפים מתוך האתר ניתן לסרוק ומאילו להתעלם.
בסופו של דבר, מדובר בכלי די חזק שמאפשר לכם להציג את האתר שלכם בפני גוגל באופן בו אתם מעוניינים שיראו אותו. מנועי חיפוש לרוב לא עושים הנחות כשמדובר בסריקת האתר, לכן אם אתם מעוניינים לייצר קידום אתרים אורגני איכותי, חשוב להשתמש ב- Robots.txt בחוכמה על מנת לשפר את תדירות הסריקה של האתר. במאמר הבא נסביר לכם צעד אחר צעד כל מה שחשוב לדעת על קובץ robots.txt.
מהו קובץ Robots.txt?
כשהאינטרנט עוד היה בחיתוליו, מפתחים פיתחו דרך לסרוק ולאנדקס דפים חדשים באינטרנט באמצעות רכיבים מסוימים המכונים- ‘רובוטים’ או ‘עכבישים’. אך מדי פעם אותם יצורים קטנים נדדו לאתרים שלא נועדו להיסרק ולהתאנדקס, כמו אתרים שנמצאים בתחזוקה. בעקבות כך, יוצר מנוע החיפוש הותיק Aliweb המליץ לייצר מפת דרכים כלשהי שכל רובוט יוכל לעקוב אחריה. מפת דרכים זו הושלמה ביוני 1994 על ידי אוסף של אנשי טכנולוגיה המתמצאים באינטרנט וכונתה – “פרוטוקול אי הכללת רובוטים” (Robots Exclusion Protocol).
קובץ robots.txt משמש למעשה כאמצעי הביצוע של פרוטוקול זה. הפרוטוקול מפרט את ההנחיות שכל רובוט אותנטי חייב לפעול על פיהן, כולל בוטים של גוגל. שכן, ישנם רובוטים לא לגיטימיים כמו- תוכנות זדוניות, תוכנות ריגול וכד’, שאינם פועלים לפי כללים אלו. כך שעל ידי הקלדת כתובת האתר והוספת robots.txt בסוף, ניתן למעשה להציץ אל מאחורי הקלעים של האתר. קובץ זה מאפשר למקד את פעולת הסריקה של הרובוטים ולאפשר לבעלי האתרים ליצור קידום אתרים אורגני יעיל ואפקטיבי יותר.
איפה ניתן לאתר את קובץ ה- Robots.txt באתר?
קובץ Robots.txt מאוחסן בתיקייה הראשית של האתר שלכם. על מנת לאתר אותו יש לפתוח את ה- cPanel FTP ולאתר את הקובץ בתיקיית ה- public_htmlשל האתר. אם אינכם מצליחים לאתר את הקובץ, תצטרכו ליצור קובץ חדש משלכם.
כיצד ניתן ליצור קובץ Robots.txt?
Robots.txt הוא קובץ טקסט בסיסי במיוחד, כך שניתן ליצור אותו בקלות באמצעות עורך טקסט פשוט כמו – Notepad. בתחילה יש לפתוח גיליון חדש בעורך הטקסטים ולשמור את הדף הריק בשם- “robots.txt”.
כעת היכנסו ל- cPanel שלכם ואתרו את התיקיה – public_html כדי לגשת לספרייה הראשית של האתר. לאחר מכן גררו את קובץ robots.txt שיצרתם לשם.
לבסוף, עליכם לוודא שהגדרתם את ההרשאות הנכונות לקובץ. בעיקרון, בתור הבעלים של האתר, יהיה עליכם לכתוב, לקרוא ולערוך את הקובץ בעצמכם, כך שלא ניתן לאפשר לאנשים אחרים לבצע זאת. כמו כן, הקובץ צריך להציג קוד הרשאה “0644”. אם הוא לא מציג קוד זה, עליכם לשנות זאת באמצעות לחיצה על הקובץ ובחירה באפשרות- “הרשאת קובץ”.
וזהו, כעת יש לכם סוף כל סוף קובץ Robots.txt. שימוש נכון בקובץ זה מהווה חלק בלתי נפרד מהתהליך של תחזוקת אתרים ויסייע לכם ליצור קידום אתרים אורגני טוב ויעיל יותר.
התחביר של Robots.txt
קובץ Robots.txt מורכב מחלקים מרובים של ‘הנחיות’, כאשר כל אחד מהם מתחיל ב- user-agent שצוין. user-agent הוא שמו של בוט הסריקה הספציפי שאליו מדבר הקוד.
קיימות שתי אפשרויות זמינות:
- ניתן להשתמש בתו כללי כדי לפנות לכל מנועי החיפוש בבת אחת.
- ניתן לפנות למנועי חיפוש ספציפיים בנפרד.
כאשר בוט נפרס לצורך סריקת אתר אינטרנט כלשהו, הוא יימשך אוטומטית לבלוקים אותם הגדרתם מלכתחילה בקובץ.
הוראת user-agent
השורות הראשונות בכל בלוק הן ה- ‘user-agent’ שמציין בוט ספציפי. ה-‘user-agent’ יתאים את השם עבור כל בוט ספציפי. כך שאם אתם רוצים להנחות את Googlebot איך לסרוק את האתר שלכם, התחילו עם – user-agent: Googlebot.
חשוב להבין שמנועי חיפוש מנסים לרוב לאתר הוראות מסוימות שמתייחסות ספציפית אליהם. כך שאם לדוגמא קיבלתם שתי הוראות, אחת ל- Googlebot-Video ואחת ל- Bingbot, בוט שיגיע יחד עם user-agent Bingbotיעקב אחר ההוראות ואילו הבוט- Googlebot-Video יעבור על ההוראות ויחפש אחר הנחיה ספציפית יותר. פעולות אלו מסייעות משמעותית לצורך קידום אתרים אורגני.
הוראת מארח
הנחיית המארח נתמכת כרגע רק על ידי Yandex, למרות שישנן כמה השערות המעידות על כך שגם גוגל מאפשרת זאת. הוראה זו מאפשרת למשתמש להחליט אם להציג את www לפני כתובת אתר המשתמשת בבלוק זה:
Webinside.co.il
מכיוון ש- Yandex היא היחידה שתומכת כרגע בהנחיה, לא מומלץ להסתמך עליה. עם זאת, הפנייה 301 תסייע לכם לנתב מחדש את שמות המארחים בהם אתם מעוניינים.
פקודת Disallow
אמנם נעסוק בכך בצורה יותר ספציפית בשלב מאוחר יותר, אך באופן כללי רק נציין שפקודת Disallow תשמש אותנו כדי לציין אילו אזורים באתר אנחנו לא מעוניינים שהזחלנים יסרקו. במידה שנשאיר את השורה הזאת ריקה, הזחלנים יפרשו זאת כהסכמה ויכנסו לכל אזור באתר.
הנחיית מפות אתר XML
השימוש בהנחיית מפת XML מורה למנועי החיפוש היכן ניתן למצוא את מפת ה-XML שלכם.
עם זאת, לרוב רצוי לשלוח כל מנוע חיפוש לכלי מנהלי האתר הספציפיים עבור אותו מנוע חיפוש. שכן, כל מנוע חיפוש יכול לספק לכם מידע וערך רב על האתר שלכם ובכך לסייע לכם לצורך קידום אתרים אורגני אפקטיבי יותר.
הנחיית עיכוב סריקה
ניתן ליצור הנחיית עיכוב סריקה המרחיקה את מנועי החיפוש לזמן מה בטרם הם פוצחים בפעולת הסריקה. על מנת לבצע זאת יש להחיל את השורה הבאה על הבלוק שלכם:
Crawl-delay: 10
באמצעות הנחייה זו תוכלו לגרום למנועי החיפוש להמתין 10 שניות לפני הסריקה של האתר, או עשר שניות לפני שהם נכנסים לאתר מחדש לאחר הסריקה.
מדוע כדאי להשתמש ב- Robots.txt
כעת, כאשר אתם מבינים לשם מה Robots.txt נועד וכיצד ניתן להשתמש בהנחיות מסוימות שהוא מכיל, תוכלו לבנות בעצמכם קובץ Robots.txt עבור האתר שלכם. עם זאת, חשוב להבין שלא מדובר במרכיב הכרחי עבור קידום אתרים אורגני, כך שסביר להניח שהאתר שלכם יוכל לתפקד מצוין ולהיות מדורג גבוה בגוגל, גם אם לא תשמשו בקובץ Robots.txt. עם זאת, לפני שאתם מוותרים עליו, חשוב להכיר במספר יתרונות מרכזיים של Robots.txt שיוכלו לסייע לאתר שלכם לתפקד טוב יותר:
- להורות לזחלנים להתרחק מתיקיות פרטיות: באמצעות שימוש בקובץ Robots.txt תוכלו למנוע מהזחלנים לסרוק ולאנדקס בגוגל תיקיות פרטיות.
- שמירה על משאבי האתר: בכל פעם שזחלנים סורקים את האתר שלכם הם שואבים רוחב פס ומשאבים אחרים מהשרת. וכאשר מדובר באתרים המכילים תוכן רב וכמות גדולה של דפים, (כמו אתרי מסחר אלקטרוני שיכולים להכיל אלפי דפים), משאבים אלו יכולים להתרוקן במהירות. לכן, רצוי להשתמש ב- Robots.txt כדי להקשות על הזחלנים לגשת לסקריפטים ולתמונות בודדות, על מנת לשמור על משאבי האתר ולמנוע פגיעה בביצועים שלו. פעולה זו תסייע לכם משמעותית לצורך תחזוקת אתרים, כך שהאתר שלכם ישמור על תפקוד מלא ותקין לאורך זמן, מבלי לפגוע בחוויית הגולשים.
- ציינו את מיקום מפת האתר שלכם: מדובר בפעולה חשובה למדי לצורך קידום אתרים אורגני, המאפשרת לכם ליידע את הזחלנים היכן ממוקמת מפת האתר שלכם, על מנת שיוכלו לסרוק אותה.
- למנוע סריקה של תוכן כפול: ניתן להוסיף הנחיה ספציפית לזחלנים על מנת למנוע מהם לסרוק ולאנקדס דפים המכילים תוכן משוכפל.
חשוב שמנועי החיפוש השונים ימצאו את דרכם לדפים החשובים ביותר באתר שלכם. באמצעות הנחיות ברורות עבור הרובוטים של מנועי החיפוש, תוכלו לשלוט בדפים שיופיעו בפני הגולשים בתוצאות החיפוש.
לדוגמא, אם נסתכל לרגע על קובץ הרובוטים של webinside נראה שכתובת האתר הזו:
Webinside.co.il/wp-admin, נפסלה, מאחר שמדובר בדף פרטי המיועד רק עבור אנשי הצוות של האתר על מנת להיכנס ללוח הבקרה. לכן, אין טעם לבזבז את זמנם של הזחלנים ולהורות על סריקתו.
Noindex
ביולי 2019 גוגל הודיעה כי תפסיק לתמוך בהוראת ה- noindex, כמו גם בהנחיות נוספות שרבים מאתנו הסתמכו עליהן בעבר, שטרם נתמכו ולא פורסמו. עם זאת, בעלי אתרים רבים החליטו לחפש דרכים חלופיות כדי ליישם את הוראת noindex. להלן מספר אפשרויות מומלצות:
- Noindex Tag/ Noindex HTTP Response Header: ניתן ליישם תג זה בשתי דרכים. ראשית, ניתן ליישם אותו בתור כותרת תגובת HTTP עם תג X-Robots או ליצור תג <meta> שיהיה צורך ליישם אותו בתוך <head> סעיף. תג ה- <meta> שלכם צריך להיראות כמו בדוגמא הבאה:
<meta name=”robots” content=”noindex”>
טיפ: זכרו שאם דף זה נחסם על ידי קובץ robots.txt, הסורק לעולם לא יראה את תג noindex שלכם, ועדיין קיים סיכוי שדף זה יוצג בתוך SERPs (Search Engine Result Page).
- הגנת סיסמא: גוגל קובעת שברוב המקרים, אם דף מסוים ניתן לצפייה רק באמצעות התחברות, יש להסיר אותו מהאינדקס של גוגל. עם זאת, במידה שתשתמשו בסימון סכמה, המציין כי הדף קשור למנויים או לתוכן הניתן בתשלום, הדף עדיין יופיע במנוע החיפוש ולא יוסתר מהצופים.
- קוד מצב 404 & 410 HTTP: קודי סטטוס 404 & 410 מייצגים דפים שכבר לא קיימים. כך שברגע שדף בעל סטטוס 404/410 נסרק ומעובד במלואו, יש להוריד אותו אוטומטית מהאינדקס של גוגל. לכן, חשוב מאוד לסרוק את האתר באופן שיטתי על מנת לוודא שלא יופיעו דפי שגיאה. כמו כן, במידת הצורך יש להשתמש בהפניית 301 על מנת להפנות את התנועה לדף קיים. מדובר בפעולה חשובה לצורך תחזוקת אתרים שתאפשר לכם לבצע קידום אתרים אורגני יעיל יותר עבור האתר שלכם.
- הנחיית Disallow ב- robots.txt: על ידי הוספת הנחייה ספציפית לקובץ ה- robots.txt שלכם, תוכלו למנוע ממנועי החיפוש לסרוק דף ספציפי מתוך האתר שלכם. כמו כן, ברוב המקרים, אותו דף לא יצורף לאינדקס. עם זאת, יש להביא בחשבון כי מנועי החיפוש עדיין מסוגלים לאנדקס את הדף על סמך מידע וקישורים מדפים אחרים.
- כלי להסרת URL של Search Console: אמנם כלי זה אינו פותר את בעיית האינדקוס במלואה, מאחר שהוא מסיר את הדף המבוקש משירותי SERP לזמן מוגבל. עם זאת, בפרק הזמן בו הדף מושבת באופן זמני, תוכלו להכין כללי ותגי רובוט נוספים שיאפשרו לכם להסיר את הדפים במלואם ממערכות SERP. תוכלו למצוא את כלי הסרת כתובת האתר מצד שמאל של הניווט הראשי ב- Google Search Console.
Noindex לעומת Disallow
סביר להניח שרבים מכם תוהים האם כדאי להשתמש בתג noindex או בהנחייה- disallow בקובץ robots.txt. בחלק הקודם כבר הסברנו לכם מדוע כלל noindex כבר אינו נתמך ב- robot.txt ופירטנו על דרכים חלופיות באמצעותן ניתן ליישם את הוראת- noindex.
אך אם אתם רוצים לוודא שדף מסוים באתר שלכם לא יאונדקס במנועי החיפוש, מומלץ להשתמש במטא תג noindex. אמנם תג זה לא מונע מהרובוטים של מנועי החיפוש לגשת לאותו דף, עם זאת, הוא ינחה אותם לא לאנדקס אותו, כך שהוא לא יופיע ב- SERPs. לעומת זאת, ייתכן כי כלל ה- disallow לא יהיה יעיל כמו תג noindex כשמדובר בחוסר אינדוקס של דפים מסוימים. אמנם הוספת כלל ה- disallow ל- robots.txt שלכם תמנע מהזחלנים לסרוק את אותו דף, אך אם דף זה מקושר לדפים אחרים באמצעות קישורים פנימיים וחיצוניים, הזחלנים עדיין עשויים להורות על אינדוקס של הדף, על סמך מידע המסופק על ידי דפים או אתרים אחרים.
כמו כן, חשוב שתזכרו שבמידה שאתם מוסיפים ל- robots.txtשלכם את כלל ה- disallow ואת תג ה- noindex בנוסף, אותם זחלנים לא יראו את תג ה- noindex, כך שהוא עדיין יכול להופיע ב- .SERPs
שימוש בביטויים רגילים ותווים כלליים
טוב, אז עכשיו, כשאתם כבר יודעים מהו קובץ robots.txt וכיצד ניתן להשתמש בו, כעת נסביר לכם איך ניתן להגדיר בו תווים כלליים. ומה הכוונה ב- ‘תווים כלליים’? נניח שיש לכם אתר מסחר אלקטרוני גדול ואתם לא מעוניינים שהזחלנים יסרקו את כל הדפים באתר שמכילים סימני שאלה. לשם כך, יש להציג תווים כלליים שניתן ליישם בתוך קובץ ה- robots.txt. נכון לעכשיו יש שני סוגים של תווים כלליים לבחירה:
- * Wildcards – where * – תווים כלליים יתאימו לכל רצף של תווים שתרצו. סוג זה של תווים כלליים יהווה פתרון מצוין עבור כתובות URL באתר שלכם אשר עוקבות אחר אותו דפוס. כך לדוגמא, ייתכן שתרצו לא לסרוק את כל הדפים המסוננים שכתובות ה-URL שלהם כוללות סימני שאלה. כדי להגדיר זאת יש לרשום את הסימון הבא:
Use-agent: *
Disallow: /*?|
- $ Wildcards – where $- תווים כלליים אלו יתאימו לסוף כתובת האתר שלכם. לדוגמא, אם אתם רוצים להבטיח שקובץ הרובוטים שלכם מונע מהזחלנים גישה לכל קבצי ה-PDF באתר, ייתכן שתרצו להוסיף את הכלל הבא:
Use-agent: *
Disallow: /*.pdf$
אז איך ניתן לפרש את הדוגמא המובאת מעלה? ניתן לראות שה- robots.txt שלכם מאפשר לכל הבוטים של ה- User-agent לסרוק את האתר שלכם, אך הוא מונע מהם גישה לדפים המכילים סיומת pdf.
טעויות שיש להימנע מהן על מנת לשמור על קידום אתרים אורגני יעיל
אז אחרי שהרחבנו לגבי הפקודות השונות שניתן ליישם בקובץ ה- robots.txt והסברנו כיצד ניתן להפעיל אותו בדרכים שונות. כעת נציין מספר פעולות מהן רצוי להימנע, על מנת לשמור על קידום אתרים אורגני תקין.
אל תחסמו תוכן טוב
לפני שאתם מונעים מהזחלנים לסרוק דפים מסוימים, חשוב שתעברו טוב טוב על התכנים השונים באתר, כך שלא תחסמו בטעות תכנים טובים באמצעות קובץ robots.txt או תג noindex. כבר ראינו בעבר לא מעט טעויות כאלו שפגעו בתוצאות ה-seo של האתר.
שימוש יתר בהנחיית עיכוב סריקה
כבר הסברנו מעלה מהי המשמעות של הנחיית עיכוב סריקה. עם זאת, רצוי שתימנעו מלבצע פעולה זו לעתים קרובות מדי, על מנת לא להגביל את הדפים שנסרקים על ידי הרובוטים. אמנם פעולה זו יכולה להיות יעילה עבור אתרים מסוימים, אך אם יש ברשותכם אתר גדול במיוחד המכיל דפים רבים, הנחיית עיכוב סריקה עלולה לפגוע באופן משמעותי בדירוג האתר בגוגל ואף להפחית את התנועה לאתר. כך שאם אתם מעוניינים לשמור על קידום אתרים אורגני יעיל, רצוי להימנע מכך.
רגישות לאותיות גדולות
קובץ Robots.txt לא מגיב לאותיות רישיות (אותיות גדולות(, כך שיש לקרוא לקובץ בשם: robots.txt ולהשתמש אך ורק באותיות קטנות, אחרת ההנחיות השונות שתטמיעו בו לא יניבו שום ערך.
שימוש ב- Robots.txt כדי למנוע אינדקוס של תכנים מסוימים
אמנם כבר נגענו מעט בסוגיה הזאת, אך חשוב לחזור על כך שוב. אי אישור של דף מסוים (הוראת (Disallow היא הדרך הטובה ביותר למנוע מבוטים לסרוק את אותו דף באופן ישיר. אם זאת, פעולה זו עלולה לא לעבוד בנסיבות הבאות:
- אם הדף מכיל קישור פנימי או חיצוני, יש סיכוי שהוא יהיה מאונדקס, גם אם הבוטים יקבלו הוראה לא לסרוק אותו.
- בוטים לא לגיטימיים עדיין יסרקו את הדף ויאנדקסו את התוכן במנועי החיפוש.
שימוש ב- Robots.txt כדי להגן על תוכן פרטי
חלק מהתוכן הפרטי המצוי באתר כמו קבצי pdf או דפי תודה, ניתנים לאינדוקס, גם אם תורו לזחלנים לא לסרוק אותם. על מנת למנוע אינדוקס של דפים אלו, רצוי שתוסיפו לקובץ ה- Robots.txt הנחיית Disallow ובמקביל יש למקם את כל אותם תכנים מאחורי מסך התחברות, כך שהם יהיו גלויים אך ורק עבור מנהלי האתר או אנשים המנויים לאתר. מדובר בפעולה חשובה לצורך תחזוקת אתרים, כך שהאתר שלכם יישאר מאובטח ואותם תכנים רגישים יהיו גלויים רק לקהל המתאים.
שימוש ב- Robots.txt כדי להסתיר תוכן כפול זדוני
אתרים רבים מכילים תכנים כפולים המאונדקסים בגוגל ובשאר מנועי החיפוש. אך בעוד שבחלק מהמקרים מדובר בתוכן תקין, כמו טקסטים המיועדים להדפסה או תכנים מסוימים שמופיעים בדפים אחרים בתור קישור, הרי שלעתים מדובר בתכנים המשוכפלים בכוונה על מנת לתעתע במנועי החיפוש ולנסות להגדיל את התנועה לאתר. עם זאת, גוגל ושאר מנועי החיפוש מספיק חכמים כדי לדעת מתי מדובר בתכנים תקינים ומתי אתם מנסים להסתיר משהו. מה גם שפעולה זו מושכת יותר תשומת לב מצד מנועי החיפוש, כך שהם מסוגלים להבחין בקלות בין דף משוכפל המיועד להדפסה לבין שכפול מכוון של תכנים.
להלן שלוש דרכים להתמודד עם תוכן מסוג זה:
- שכתבו את התוכן- יצירת תוכן מרגש ושימושי תעודד את מנועי החיפוש לדרג את האתר שלכם כמקור מהימן. פעולה זו רלוונטית במיוחד במקרה שהתוכן מועתק לחלוטין בשיטה של ”העתק הדבק”, כך שיש לשכתב ולערוך את התוכן מחדש.
- הפניית 301- הפניית 301 מודיעה למנועי החיפוש שהדף הועבר למיקום אחר, כך שניתן להפנות את המבקרים לתוכן המקורי באתר.
- Rel = “canonical – מדובר בתג המודיע לגוגל על המיקום המקורי של תוכן משוכפל. תג זה שימושי במיוחד עבור אתרי מסחר אלקטרוניים שה-CMS שלהם (מערכת לניהול תוכן) מייצרת לעתים קרובות גרסאות כפולות של אותה כתובת אתר.
רגע האמת הגיע: בדיקת קובץ ה- Robots.txt שלכם
אז אחרי ההדרכה המפורטת על בניית קובץ- Robots.txt, הפקודות שהוא המכיל והדרכים השונות להשתמש בו, הגיע זמן שתבדקו את הקובץ שלכם כדי לוודא שהוא עובד כמו שצריך.
לכלי מנהלי האתרים של גוגל יש קטע המיועד לבדיקת- Robots.txt, אך כרגע הוא זמין רק בגרסה הישנה של Google Search Console. עם זאת, בגוגל עובדים כרגע על הוספת תכונות חדשות ל-GSC (גוגל סרץ’ קונסול), כך שאולי בעתיד תהיה אפשרות לבדוק את קובץ robots.txt בניווט הראשי ב-GSC.
אז לאחר שראינו איפה לא ניתן לבצע בדיקה של קובץ robots.txt, כעת נתחיל סוף כל סוף את התהליך. ראשית, יש לבקר בדף התמיכה של גוגל על מנת לקבל סקירה כללית של הפעולות שמתבצעות על ידי בודק Robots.txt. שם גם ניתן למצוא את הכלי לבדיקת- robots.txt. לאחר מכן, יש לבחור את הנכס הדיגיטלי שאתם מעוניינים לעבוד עליו מבין הפריטים המופיעים ברשימה הנפתחת. כעת יש להסיר כל דבר שנמצא בתיבה ולהחליף זאת בקובץ robots.txt החדש שלכם ולהקיש על- ‘בדוק’. אם הבדיקה משתנה ל- Allowed, סימן שקובץ robots.txt שלכם תקין ומוכן לפעולה.
יצירת קובץ robots.txt תקין תאפשר לכם לבצע קידום אתרים אורגני יעיל ואפקטיבי ותשפר באופן ניכר את חוויית המשתמשים באתר. לכן, חשוב לעבור טוב טוב על הדפים השונים באתר ולהחליט מראש אילו מהם ניתנים לסריקה ומאילו יש להתעלם. כך תוכלו לשלוט טוב יותר על התכנים שמופיעים במנועי החיפוש ולאפשר לזחלנים של גוגל ושל שאר מנועי החיפוש לסרוק את האתר שלכם באופן נכון ויעיל.
אז למקרה שאתם מתקשים לחבר קובץ Robots.txt בעצמכם, נשמח לסייע לכם ולבצע עבורכם פעולות שונות הקשורות בתחזוקת אתרים, במטרה לוודא שהאתר שלכם עובד באופן תקין ומדורג גבוה במנועי החיפוש.
