امروز برای کاربران پارس وی پی آموزشی درباره بهینه سازی فایل robots.txt برای سئو آماده کرده ایم . اما بهتر است در ابتدا بدانیم که اصلاً چرا فایل robots.txt برای سئو مهم و ضروری است . در این مقاله فایل robots.txt را بهینه می کنیم و همچنین نکات مفیدی درباره این فایل را بیان خواهیم کرد .
در جواب این سوال باید بگیم که فایل robots.txt نقش مهمی در عملکرد سئو سایت شما دارد . این فایل اساسا به سایت شما اجازه میدهد تا به موتور های جستجو متصل باشند و همچنین به موتور های جستجو مسیر قسمت های وبسایت که باید ایندکس شوند را نشان می دهد .
این را باید بدانیم که اگر این فایل را نداشته باشید باعث نمی شود موتورهای جستجو سایت شما رو بررسی و ایندکس نکنند . اگر نقشه سایتتون را در موتورهای جستجو ثبت کنید موتور های جستجو از روی همین نقشه سایت میتوانند سایت شما رو بررسی کنند پس عدم وجود فایل robots.txt دلیل بر ایندکس نشدن مطالب سایتتون در موتور های جستجو نمی باشد اما با این حال ما توصیه می کنیم که اگر این فایل رو ندارید حتما بسازید . این فایل رو معمولا در ریشه یا همون روت هاست می سازند . پس کافی است به پنل هاست بروید و یک فایل به این نام بسازید ( اگر این فایل رو ندارید )
فرمت این فایل در واقع خیلی ساده است , در خط اول عبارت user agent رو داریم . در اینجا نام رباتی را که میخواهید با آن ارتباط داشته باشید را وارد کنید. مثلا: Googlebot , Bingbot و…. همچنین با وارد کردن * اجازه برقرار ارتباط با همه موتورهای جستجو را می دهیم .
در مراحل بعدی با استفاده از Allow و Disallow قسمت هایی که موتور جستجو دسترسی داشته باشد یا نداشته باشد را مشخص می کنید .
این یک نمونه کد فایل robots.txt است :
User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /readme.html
البته این را به یاد داشته باشید که اگر میخواهید از این فایل برای جلوگیری از ایندکس شدن دسته بندی های یا صفحات آرشیو یا … استفاده کنید باید بگوئیم که این کار اصلاً درست نیست . برای این کار میتوانید از افزونه بسیار قدرتمند WordPress SEO by Yoast استفاده نمائید .
همچنین به یاد داشته باشید که هدف از این آموزش این است که بخش هایی از سایت رو که نمی خواهید ربات های گوگل در آنجا خزش کنند را تعیین کنیم و استفاده از robots.txt مانع ایندکس شدن سایت در گوگل نخواهد شد .
ما با استفاده از این فایل می توانیم دسترسی به برخی پوشه های سایت و یا حتی فایل هایی که به نظرمون اهمیتی ندارند رو قطع کنیم .
مثلا دسترسی به پوشه افزونه ها یا تم ها یا فایل readme.html یا …
اگر شما از افزونه ای مانند Yoast’s WordPress SEO یا هر افزونه دیگری برای ساخت نقشه سایت استفاده می کنید ، به طور اتوماتیک آدرس فایل نقشه سایت در فایل robots.txt قرار می گیرد .
به هر حال اگر به هر دلیلی این مورد انجام نشد می توانیم به صورت دستی این کار رو انجام دهیم به شکل زیر :
Sitemap: https://www.example.com/post-sitemap.xml Sitemap: https://www.example.com/page-sitemap.xml
خیلی از وب سایت های محبوب فایل robots.txt ساده ای دارند . به این کد پایین دقت کنید :
User-agent: * Disallow: Sitemap: https://www.example.com/post-sitemap.xml Sitemap: https://www.example.com/page-sitemap.xml
این یک نمونه دیگر از کد می باشد :
User-Agent: * Allow: /?display=wide Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /readme.html Disallow: /refer/ Sitemap: https://www.sample.com/post-sitemap.xml Sitemap: https://www.sample.com/page-sitemap.xml Sitemap: https://www.sample.com/deals-sitemap.xml Sitemap: https://www.sample.com/hosting-sitemap.xml
حذف نوار مدیریت وردپرس نوار مدیریت وردپرس (wordpress admin bar) یکی از ابزار های مفید ...
پیوند های یکتا وردپرس با راهنمای استفاده از پیوند یکتا وردپرس یا Permalink در در خدمت ...
مزیت های استفاده از پروتکل امن https با سلام خدمت همراهان همیشگی پارس وردپرس؛ گوگل به ...
۲۲۸۶
بازدید
۰
دیدگاه
0
علاقه مندی