بسم الله الرحمن الرحيم
اهلا بك زائرنا الكريم بمدونه موقع زوار ونتمنى ان تكون سعيدا بتواجدك معنا وان يكون ما نقدمة بالمدونه هو اضافه جديدة لمعلوماتك وتكتسب خبرة بمجال جديد قد تكون تعبت بالبحث عن شئ مشابه بالشبكة العنكبوتية ولكنك لم تجد المعلومات الكافية ولنبدأ سويا .
روبوتس robots.txt
سنصل بنهاية هذ الدرس الي
– ما هو روبوتس robots.txt
– اين يوجد روبوتس robots.txt
– ما هي اهمية الملف والهدف منه
– كيف اقوم بانشاءة
ملف الروبوت هو عبارة عن ملف نصي يتم اضافه داخل المجلد الرئيسي للموقع والهدف من وجود هذا الملف هو ايصال معلومات معينه لمحركات البحث
جميع محركات البحث تطلع عناكبها والتي هي عبارة عن برمجيات خاصة تقوم بعمل محدد الا وهو اكتشاف جميع مواقع الانترنت وصفحات هذه المواقع والقيام بتسجيل هذه البيانات والمعلومات لديها لتساعد محرك البحث بالتعرف علي الصفحات الجديدة والمضافة للموقع بشكل دوري
كما وضحنا ان عناكب البحث تقوم بالدخول الي جميع الصفحات وجميع المواقع وفق برمجيتها الخاصة لتبحث عن المحتوي ولكن يجب ان تعرف ان هذه العناكب تقوم بزيارة صفحات هي بالنهاية عبارة عن اكواد برمجية قد تكون غير هامة او ملفات انت نفسك لا ترغب بأرشفتها من الاساس وقد تقوم بالخروج من موقعك دون ارشفة المواد الهامة بسبب اضاعه الوقت في ارشفة اكواد وملفات غير مرغوبة كما أن إهدار الوقت الحاصل قد يؤدي لتأخر زيارة العناكب لموقعك لاحقاً.
هنا يأتي دور ملف الروبوت robots.txt حيث يتم ادراج معلومة او مجموعة معلومات لعناكب البحث علي شكل بروتوكول عالمي متعارف عليه من جميع محركات البحث تستطيع من خلاله ان تحدد الروابط التي لا ترغب ان تقوم عناكب البحث بزيارتها وتجعل زيارتها مركزة علي الصفحات والتدوينات الهامة فقط
علي سبيل المثال انت كصاحب موقعك قمت بتركيب برمجة معينة ولكن لا ترغب ان تقوم عناكب البحث باضافه الوقت بأرشفتها لانك بالاساس قمت بالتركيب للتجربة فقط وليكن مثلا هذه البرمجة تحميل امتداد www.XXXX.com/SSSS
حيث XXXX هو دومين موقعك و SSSS هو رابط البرمجة
فهو يتم من خلال اضافه الامر التالي
وفي النهاية لا أملك إلا أن أقول أنني قد عرضت رأيي وأدليت بفكرتي في هذا الموضوع لعلي أكون قد وفقت في كتابته والتعبير عنه وأخيراً ما أنا إلا بشر قد أخطئ وقد أصيب فإن كنت قد أخطأت فأرجو مسامحتي وإن كنت فد أصبت فهذا كل ما أرجوه من الله عزوجل
