פרוטוקול אי הכללת רובוטים
robots.txt הוא קובץ שמנהל האתר כותב כדי לקבוע חוקים לבוטים. בוטים הם תוכניות שבודקות אתרי אינטרנט. הקובץ נמצא בתיקיית השורש של האתר. החוקים אומרים למנועי החיפוש אילו דפים לא להראות בתוצאות....
robots.txt הוא קובץ שמנהל האתר כותב כדי לקבוע חוקים לבוטים. בוטים הם תוכניות שבודקות אתרי אינטרנט. הקובץ נמצא בתיקיית השורש של האתר. החוקים אומרים למנועי החיפוש אילו דפים לא להראות בתוצאות....