ساخت یک robots.txt

گوگل به کسانی که هاست دارند و روی هاستشون سیستمی نصب کردند، گفته که حتما برای وب سایت خودتون یک robots.txt داشته باشید.
توسط این فایل بسیار کم حجم که ساخت آن هم به دست خودتان هست، می توانید به روبات ها بگوئید که:
۱- چه آدرسی رو ایندکس کنه یا نه
۲- یا روباتی رو به طور کامل برای ایندکس کردن صفحات وب سایت شما منع کنید.
۳- زمان ورود روبات ها رو تنظیم کنید.
۴- و …

توجه: در فایل robots.txt فایل ها یا فولدر های امنیتی (ادمین، کانفیگ و …) را قرار ندهید.

تنظیم درست این فایل موجب بهبود رنک شما در گوگل و یا در دیگر موتور های جستو می شود.

روش ساخت robots.txt
۱- یک فایل تکست با نام robots ایجاد کنید.
۲- در آن فایل ها و یا فولدر هایی که می خواهید روبات ها بیشتر روی آنها متمرکز شوند را با این کد (برای مثال):

Allow: /index.php/

۳- و فایل هایی که می خواهید روبات ها از ایندکس کردن ان ها صرف نظر کند (برای مثال):

Disallow: /index.php/

اگر شما نمی دانید درون این فایل چه چیزی قرار دهید بهتر است از سایت هایی مشابه www.seochat.com/seo-tools/robots-generator/ استفاده کنید.

شما ممکن است این را هم بپسندید

یک پاسخ

پاسخ دهید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *