فایل robots.txt یکی از مهمترین اجزای هر وبسایت است که نقش کلیدی در تعامل با موتورهای جستجو ایفا میکند. این فایل متنی کوچک به رباتها و خزندههای موتورهای جستجو دستور میدهد که کدام بخشهای سایت را بررسی و ایندکس کنند و کدام قسمتها را نادیده بگیرند. استفاده درست از robots.txt میتواند به بهبود سئو، مدیریت بهینه منابع سرور، افزایش سرعت خزش (Crawl) و جلوگیری از ایندکس شدن صفحات غیرضروری یا محرمانه کمک کند.
در این آموزش گامبهگام، روش ایجاد و ویرایش فایل robots.txt را در دو کنترلپنل محبوب هاستینگ یعنی سیپنل (cPanel) و دایرکت ادمین (DirectAdmin) بررسی میکنیم. با یادگیری این مراحل، میتوانید کنترل کاملتری بر فرآیند ایندکس شدن محتوای وبسایت خود داشته باشید و تجربه بهتری برای کاربران و موتورهای جستجو فراهم کنید.
فایل robots.txt چیست و چرا اهمیت دارد؟
فایل robots.txt یک فایل متنی ساده اما بسیار مهم است که در پوشه ریشه (Root) هاست وبسایت قرار میگیرد و به عنوان یک راهنمای مستقیم برای خزندهها و رباتهای موتورهای جستجو عمل میکند. این فایل به موتورهای جستجو میگوید کدام بخشهای وبسایت را بررسی و ایندکس کنند و کدام بخشها را نادیده بگیرند.
با استفاده از این فایل میتوانید:
- کنترل دسترسی خزندهها به بخشهای خاص سایت
بهعنوان مثال، میتوانید مسیر پوشههای مدیریتی، فایلهای سیستمی یا بخشهایی که محتوای تکراری دارند را مسدود کنید تا در نتایج جستجو نمایش داده نشوند. - جلوگیری از ایندکس شدن صفحات حساس یا آزمایشی
صفحاتی مانند صفحه ورود مدیر، بخش تست طراحی یا پیشنمایش محتوا معمولاً نباید در گوگل نمایش داده شوند. robots.txt بهترین ابزار برای محدود کردن این صفحات است. - بهینهسازی سرعت و کیفیت خزش (Crawl)
با جلوگیری از خزش بخشهای غیرضروری، منابع سرور بهتر مدیریت میشوند و رباتهای موتور جستجو زمان بیشتری را صرف بررسی و ایندکس کردن محتوای مهم سایت خواهند کرد.
به همین دلیل، تنظیم درست این فایل یکی از پایههای سئو فنی (Technical SEO) محسوب میشود و میتواند تاثیر قابلتوجهی بر عملکرد سایت در نتایج جستجو داشته باشد.
ساخت فایل robots.txt در سیپنل (cPanel)
۱. ورود به سیپنل
ابتدا وارد حساب کاربری سیپنل هاست خود شوید. آدرس ورود معمولاً به شکل زیر است:
yourdomain.com/cpanel
۲. باز کردن File Manager
در داشبورد سیپنل، روی گزینه File Manager کلیک کنید تا به فایلهای سایت دسترسی پیدا کنید.
۳. رفتن به مسیر public_html
در سمت چپ پنل، پوشه public_html را پیدا کنید. اینجا محل قرارگیری فایلهای اصلی وبسایت شماست.
۴. ایجاد فایل robots.txt
- روی دکمه + File کلیک کنید.
- نام فایل را دقیقاً robots.txt وارد کنید.
- روی Create New File بزنید.
۵. ویرایش فایل robots.txt
- روی فایل ایجادشده راست کلیک کنید و گزینه Edit را انتخاب کنید.
- دستوراتی مثل زیر را وارد کنید:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://yourdomain.com/sitemap.xml
- تغییرات را ذخیره کنید.
ساخت فایل robots.txt در دایرکت ادمین (DirectAdmin)
۱. ورود به دایرکت ادمین
وارد پنل کاربری دایرکت ادمین شوید. آدرس معمولاً به صورت زیر است:
yourdomain.com:2222
۲. ورود به File Manager
در صفحه اصلی، روی گزینه File Manager کلیک کنید.
۳. انتخاب مسیر public_html
پوشه public_html را باز کنید.
۴. ایجاد فایل robots.txt
- گزینه Create New File را انتخاب کنید.
- نام فایل را robots.txt بگذارید.
۵. ویرایش و افزودن دستورات
- روی فایل کلیک کنید و گزینه Edit را انتخاب کنید.
- دستورات لازم را مشابه نمونه زیر وارد کنید:
User-agent: *
Disallow: /private/
Allow: /
Sitemap: https://yourdomain.com/sitemap.xml
- تغییرات را ذخیره کنید.
نکات مهم برای بهینهسازی فایل robots.txt
- قرار دادن فایل در ریشه سایت (public_html)
فایل robots.txt باید در پوشه اصلی سایت (معمولاً مسیر public_html یا Root دامنه) ذخیره شود. این مکان پیشفرضی است که رباتهای موتور جستجو هنگام ورود به سایت، ابتدا آن را بررسی میکنند. اگر فایل در مسیر دیگری قرار بگیرد، احتمالاً توسط خزندهها شناسایی نخواهد شد. - دقت در وارد کردن مسیرها
هنگام تعریف مسیرهایی که باید مسدود یا مجاز شوند، بسیار دقت کنید. کوچکترین اشتباه در آدرسدهی میتواند باعث مسدود شدن صفحات مهم یا ایندکس شدن بخشهایی شود که نباید در نتایج جستجو باشند. بهتر است قبل از ذخیره، مسیرها را دوباره بررسی کنید.
افزودن آدرس نقشه سایت (Sitemap)
اضافه کردن خطی شامل آدرس کامل نقشه سایت در فایل robots.txt کمک میکند تا خزندهها ساختار صفحات سایت را سریعتر شناسایی و ایندکس کنند. مثال:
Sitemap: https://example.com/sitemap.xml
- بررسی صحت فایل با ابزار Google Robots Testing Tool
بعد از ایجاد یا ویرایش فایل، توصیه میشود از ابزار Robots Testing Tool یا ابزارهای مشابه گوگل سرچ کنسول استفاده کنید تا مطمئن شوید که مسیرها و دستورات به درستی اعمال شدهاند و صفحات مهم به اشتباه مسدود نشدهاند.
جمعبندی
ساخت و مدیریت فایل robots.txt از نظر فنی کار پیچیدهای نیست، اما تاثیر آن بر سئو و مدیریت دسترسی موتورهای جستجو بسیار قابل توجه است. چه از سیپنل (cPanel) استفاده کنید و چه از دایرکت ادمین (DirectAdmin)، با طی کردن مراحل گفتهشده میتوانید این فایل را بهسادگی ایجاد یا ویرایش کنید و کنترل دقیقی بر مسیرهایی که باید ایندکس شوند یا نشوند، داشته باشید.
با تنظیم هوشمندانه این فایل، نهتنها امنیت و حریم خصوصی بخشهای حساس سایتتان حفظ میشود، بلکه منابع سرور بهینه مصرف شده و صفحات مهم سریعتر و کاملتر توسط موتورهای جستجو ایندکس میشوند. نتیجه نهایی، بهبود عملکرد سئو و افزایش رتبه سایت در نتایج جستجو خواهد بود.