رباتهای گوگل
گوگل یکسری ربات خزنده (Crawler) داراست که به طور اتومات سایت‌ها را کپی می‌نمایند و برگه‌ها را با تعقیب کردن پیوند‌ها از ورقه‌ای به کاغذ دیگر پیدا می‌نمایند. هر مورد از این ربات‌ها به طور مداوم، شیت‌های وب سایت را تحقیق می‌نمایند. شما می توانید سئو در مشهد در شکل نیاز هر یک از ربات‌ها را محصور فرمائید. لیست ذیل دربرگیرنده مهمترین رباتهای گوگل میباشد که عالی میباشد بشناسید:
AdSense: رباتی برای پژوهش برگه‌ها با مقصود اکران تبلیغات مرتبط
Googlebot Image: رباتی که تصاویر را پیدا و تحقیق می‌نماید
Googlebot News: رباتی برای ایندکس کردن وبسایت‌های خبری
Googlebot Video: ربات پژوهش ویدیوها
Googlebot: این ربات صفحه های اینترنت را کشف و ایندکس می‌نماید. رایاپارس دو نوع Desktop و Smartphone دارااست.
چه طور میتوانیم یک فولدر Robots.txt ساخت‌و‌ساز کنیم؟
فولدر robots.txt معمولا در روت هاست شما قراردارد. و شما میتوانید what is seo برای دستکاری و ساخت و ساز آن از یک FTP یا این که با فولدر منیجر در دست گرفتن‌پنل هاست خویش مبادرت فرمائید. این فولدر صحیح مثل هر پوشه متنی ساده میباشد و شما می توانید آن را با یک ویرایشگر متن معمولی مانند Notepad گشوده فرمایید.
دوستداشتنی‌ترین در دست گرفتن‌پنل‌های میزبانی اینترنت و هاستینگ
در شرایطی که هم پوشه robots.txt را در روت هاست خویش ندارید، میتوانید به آسانی آن را ساخت و ساز فرمایید. برای تولید این فولدر یک پوشه متنی تازه در رایانه خویش ساخت‌و‌ساز فرمایید و آن را تحت عنوان robots.txt ذخیره نمایید. بعد از آن، به آسانی آن را در روت هاست خویش یا این که به عبارتی فولدر public_html آپلود فرمائید. مثال معمولی‌ای از فولدر robots.txt را به‌دنبال مشاهده میکنید:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
شناخت با اصطلاحات پوشه robots.txt
اصطلاحات تحت در پرونده robots.txt استعمال میگردد:
user-agent: اسم خزنده را نماد میدهد. این اسم‌ها را می‌قدرت در مقر داده ربات‌ها یافت.
disallow: از خزیدن بعضا از پرونده‌ها، دایرکتوری‌ها یا این که صفحه های اینترنت پرهیز می‌نماید.
allow: رونویسی را مجاز نمی‌داند و اذن خزیدن پوشه‌ها، صفحه ها اینترنت و فهرست‌ها را میدهد.
sitemap (از روی اراده): محل نقشه وبسایت را علامت میدهد.
*: مخفف هر تعداد کاراکتر میباشد.
$: مخفف انتهای خط میباشد.