فایل robots.txt خود را تنظیم نمایید تا موتورهای جستجوگر بتوانند سایت شما را ایندکس کنند . فایل Robots.txt با توجه به قوانین که از نظر موتور های جستجوگر ارائه شده است و در تمامی سایت ها قابل پیروی است باید این فایل را تنظیم نماییم. فایل روبوت می تواند از ایندکس شدن مطالب سایت شما جلوگیری کند. در صورتی که تازه سایتی را ایجاد کرده اید یا ایندکس های سایت شما در حال کم شدن می باشد. حتما به این فایل نگاهی بندازید.
فایل robots.txt چیست ؟
فایل robots.txt در هسته اصلی سایت قرار دارد . وقتی به داخل هاست خود بروید داخل پوشه public_html فایل های اصلی سایت خود را مشاهده خواهید نمود.
مقاله ایندکس کردن مطاب سایت را ببینید. خوبه!
یکی از این فایل ها robots.txt است که می توانید آنرا ویرایش کنید. برای مشاهده فایل روبوت هر سایتی کافیست بعد از آدرس url این فایل را بنویسید.
Enter_url/robots.txt
به اینصورت شما می توانید فایل روبوت هر سایت را مشاهده کنید.
- User-agent: * در خط اول نوشته می شود و به این معناست که تمام ربات ها از قوانین این فایل برای سایتمان پیروی کنند.
- Allow یعنی آدرس هایی که با این دستور اجرا می شوند ، توسط ربات ها ایندکس شوند.
- Disallow یعنی آدرس هایی که با این دستور نمایش داده شده اند توسط ربات ها ایندکس نشوند.
فایل robots.txt وجود ندارد؟
در صورتیکه این فایل وجود نداشت، جای نگرانی نیست . فقط کافیست از داخل هاست قسمت ایجاد کردن فایل یک فایل به همین نام بسازید و محتوای داخل آنرا تکمیل نمایید.
غیر فعال کردن یک پوشه برای ربات ها
برای غیر فعال کردن یک پوشه از هاست شما باید با Disallow و آدرس پوش آن را رون فایل روبوت خود قرار دهید.
Disallow: /Name_folder/
دسترسی به تمام سایت
جهت دسترسی دادن به تمام آدرس های سایت در فایل robots خود خط زیر را بنویسید.
Allow: /
تاثیر روبوت در ایندکس کردن گوگل
در خصوص ایندکس کردن از سوی گوگل در بالا گفتیم که تمامی ربات ها قبل از اینکه وارد سایت شما شوند و شروع به خزیدن نمایند.
ابتدا از این فایل کسب اجازه می نمایند تا مطمئن شوند که شما تمایل دارید صفحات سایتتان را به اشتراک بگذارید یا خیرد.
در این فایل می توانید مدیریت کنید که صفحاتی که ربات ها دوست ندارند و باعث امتیاز منفی میشود را ببندید.
