سئو وردپرس با بهینه سازی robots.txt

امروز برای کاربران پارس وی پی آموزشی درباره بهینه سازی فایل robots.txt برای سئو آماده کرده ایم . اما بهتر است در ابتدا بدانیم که اصلاً چرا فایل robots.txt برای سئو مهم و ضروری است . در این مقاله فایل robots.txt را بهینه می کنیم و همچنین نکات مفیدی درباره این فایل را بیان خواهیم کرد .

چرا فایل robots.txt برای سئو مفید است ؟

در جواب این سوال باید بگیم که فایل robots.txt نقش مهمی در عملکرد سئو سایت شما دارد . این فایل اساسا به سایت شما اجازه میدهد تا به موتور های جستجو متصل باشند و همچنین به موتور های جستجو مسیر قسمت های وبسایت که باید ایندکس شوند را نشان می دهد .

ما به فایل robots.txt نیاز داریم ؟

این را باید بدانیم که اگر این فایل را نداشته باشید باعث نمی شود موتورهای جستجو سایت شما رو بررسی و ایندکس نکنند . اگر نقشه سایتتون را در موتورهای جستجو ثبت کنید موتور های جستجو از روی همین نقشه سایت میتوانند سایت شما رو بررسی کنند پس عدم وجود فایل robots.txt دلیل بر ایندکس نشدن مطالب سایتتون در موتور های جستجو نمی باشد اما با این حال ما توصیه می کنیم که اگر این فایل رو ندارید حتما بسازید . این فایل رو معمولا در ریشه یا همون روت هاست می سازند . پس کافی است به پنل هاست بروید و یک فایل به این نام بسازید ( اگر این فایل رو ندارید )

چگونه از robots.txt استفاده نمائیم ؟

فرمت این فایل در واقع خیلی ساده  است , در خط اول عبارت user agent رو داریم . در اینجا نام رباتی را که میخواهید با آن ارتباط داشته باشید را وارد کنید. مثلا: Googlebot , Bingbot و…. همچنین با وارد کردن * اجازه برقرار ارتباط با همه موتورهای جستجو را می دهیم .

در مراحل بعدی با استفاده از Allow و Disallow قسمت هایی که موتور جستجو دسترسی داشته باشد یا نداشته باشد را مشخص می کنید .

این یک نمونه کد فایل robots.txt است :

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html

چگونه فایل robots.txt را بهینه سازی نمائیم ؟

البته این را به یاد داشته باشید که اگر میخواهید از این فایل برای جلوگیری از ایندکس شدن دسته بندی های یا صفحات آرشیو یا … استفاده کنید باید بگوئیم که این کار اصلاً درست نیست . برای این کار میتوانید از افزونه بسیار قدرتمند WordPress SEO by Yoast استفاده نمائید .

همچنین به یاد داشته باشید که هدف از این آموزش این است که بخش هایی از سایت رو که نمی خواهید ربات های گوگل در آنجا خزش کنند را تعیین کنیم و استفاده از robots.txt مانع ایندکس شدن سایت در گوگل نخواهد شد .

ما با استفاده از این فایل می توانیم دسترسی به برخی پوشه های سایت و یا حتی فایل هایی که به نظرمون اهمیتی ندارند رو قطع کنیم .

مثلا دسترسی به پوشه افزونه ها یا تم ها یا فایل readme.html یا …

اگر شما از افزونه ای مانند Yoast’s WordPress SEO یا هر افزونه دیگری برای ساخت نقشه سایت استفاده می کنید ، به طور اتوماتیک آدرس فایل نقشه سایت در فایل robots.txt قرار می گیرد .

به هر حال اگر به هر دلیلی این مورد انجام نشد می توانیم به صورت دستی این کار رو  انجام دهیم به شکل زیر :

Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml

استاندارد سازی فایل robots.txt :

خیلی از وب سایت های محبوب فایل robots.txt ساده ای دارند . به این کد پایین دقت کنید :

User-agent: *
Disallow:
 
Sitemap: https://www.example.com/post-sitemap.xml
Sitemap: https://www.example.com/page-sitemap.xml

این یک نمونه دیگر از کد می باشد :

User-Agent: *
Allow: /?display=wide
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /readme.html
Disallow: /refer/
 
Sitemap: https://www.sample.com/post-sitemap.xml
Sitemap: https://www.sample.com/page-sitemap.xml
Sitemap: https://www.sample.com/deals-sitemap.xml
Sitemap: https://www.sample.com/hosting-sitemap.xml