ایندکس شدن سایت در گوگل به چه معناست؟ + روش‌های ایندکس

احتمالا برای شما هم پیش آمده که صفحات سایتتان در نتایج گوگل نمایش داده نشده‌اند. اگر گوگل سایت شما را ایندکس نمی‌کند، پس شما تقریبا نامرئی هستید. شما برای هیچ عبارت جستجویی نمایش داده نمی‌شوید و هیچ ترافیک ارگانیکی دریافت نمی‌کنید. بیایید ابتدا با مفهوم ایندکس و کراول آشنا شویم، سپس در مورد روش‌های ایندکس شدن دستی صفحات در سرچ کنسول صحبت کنیم و در پایان دلایل ایندکس نشدن سایت یا صفحات سایتمان را بدانیم.

ابتدا با مفهوم کراول و ایندکس آشنا شویم و در ادامه در مورد راه‌های ایندکس شدن صفحات سایتمان توسط گوگل صحبت کنیم.

منظور از کراول (crawling) و ایندکس (indexing) چیست؟

گوگل صفحات وب جدیدی را با خزیدن در وب کشف می‌کند و سپس آن صفحات را به فهرست (پایگاه داده) خود اضافه می‌کند. آنها این کار را با استفاده از یک عنکبوت وب به نام Googlebot انجام می‌دهند.

بیایید چند اصطلاح کلیدی را تعریف کنیم.

• خزیدن (Crawling): فرآیند دنبال کردن لینک ها در وب، برای کشف محتوای جدید
• نمایه سازی (Indexing): فرآیند ذخیره هر صفحه وب در یک پایگاه دادۀ وسیع
• Web spider: قطعه‌ای از نرم افزار طراحی شده برای انجام فرآیند خزیدن در مقیاس
• Googlebot: عنکبوت وب گوگل

وقتی چیزی را در گوگل جستجو می‌کنید، از گوگل می‌خواهید که تمام صفحات مربوطه را از فهرست خود برگرداند. از آنجایی که اغلب میلیون‌ها صفحه متناسب با این صورت حساب وجود دارد، الگوریتم رتبه بندی گوگل تمام تلاش خود را می‌کند تا صفحات را مرتب کند تا ابتدا بهترین و مرتبط‌ترین نتایج را مشاهده کنید.

چگونه بررسی کنید که آیا در گوگل ایندکس شده اید یا خیر؟

1- به گوگل بروید، جستجو کنید: site:yourwebsite.com

این عدد که در زیر کادر جستجو نمایش داده شده، به طور تقریبی نشان می‌دهد که گوگل چه تعداد از صفحات شما را ایندکس کرده است. اگر می‌خواهید وضعیت فهرست یک URL خاص را بررسی کنید، همان URL را جلوی :site بزنید.

اگر صفحه ایندکس نشده باشد، هیچ نتیجه‌ای نشان داده نمی‌شود.

2- اگر کاربر سرچ کنسول گوگل هستید، می‌توانید از گزارش page برای مشاهده دقیق‌تر وضعیت ایندکس وب‌سایت خود استفاده کنید. فقط به این آدرس بروید: Google Search Console > Index > Page

به تعداد صفحات در دو کادر رنگی نگاه کنید. اگر مجموع این دو عدد چیزی جز صفر باشد، گوگل حداقل برخی از صفحات وب‌سایت شما را ایندکس می‌کند. اگر نه، پس مشکل شدیدی دارید زیرا هیچ یک از صفحات وب شما ایندکس نشده است.

مثل روش قبل اگر خواستید ایندکس شدن یک URL (آدرس) خاص را بررسی کنید، به قسمت  Url Inspection بروید و آدرس صفحه مورد نظرتان را در کادر بالای صفحه بزنید. اگر ایندکس شده باشد پیغام ایندکس نمایش داده می‌شود.

نکته: کاربر سرچ کنسول گوگل نیستید؟ همه کسانی که یک وب‌سایت دارند و به دریافت ترافیک از گوگل اهمیت می‌دهند باید از کنسول جستجوی گوگل استفاده کنند. خیلی مهمه. ثبت نام در سرچ کنسول رایگان است.

نحوه ایندکس شدن در گوگل به صورت دستی از طریق سرچ کنسول

اگر متوجه شدید صفحه‌ای از سایت شما در گوگل ایندکس نشده است مراحل زیر را انجام بدید:

1- به سرچ کنسول گوگل بروید

2- روی Url Inspection در ستون سمت چپ کلیک کنید

3- اگر پس از زدن آدرس پیغام ایندکس نشدن را دیدید، روی دکمه Request indexing کلیک کنید.

با این روش درخواست ایندکس شدن را به صورت دستی به گوگل اعلام می‌کنید. این فرآیند زمانی که یک پست یا صفحه جدید منتشر می‌کنید تمرین خوبی است. شما در واقع به گوگل می‌گویید که چیز جدیدی به سایت خود اضافه کرده‌اید و آنها باید به آن نگاهی بیندازند.

ایندکس سریع صفحات با Google Indexing Api

با روش دستی که در سرچ کنسول توضیح دادیم باید تک تک صفحات را درخواست داد و ممکن است مقداری زمان‌بر باشد. اگر سایتی دارید که روزانه مطلب می‌گذارید مثل سایت خبرگزاری یا سایت‌های مشابه، برای اینکه بتوانید تعداد بالاتری صفحات را به طور همزمان و با سرعت بیشتر درخواست بدهید بهتر است از روش Api گوگل برای ایندکس صفحات استفاده کنید.

نکته: بعید است که درخواست ایندکس کردن، مشکلات اساسی را که مانع از ایندکس شدن صفحات سایت شما می‌شود، حل کند. بنابراین باید دلایل اساسی ایندکس نشدن را بررسی کنید.

دو دلیل کلی وجود دارد که گوگل وب سایت یا صفحه وب شما را ایندکس نمی‌کند:

1- مسائل فنی آنها را از انجام این کار باز می‌دارد.

2- گوگل سایت یا صفحه شما را برای کاربران خود بی‌کیفیت و بی ارزش می‌بینند. اینجا در مورد ویژگی‌های محتوای خوب از دیدگاه گوگل گفته‌ام.

ممکن است که هر دوی این مسائل وجود داشته باشد. با این حال، مسائل فنی بسیار رایج‌تر است.

چند نمونه از مسائل ایندکس نشدن سایت در گوگل

1- بلاک کردن سایت و صفحات سایت با استفاده از Robots.txt

فایل robots سایت خود را بررسی کنید. این کار را با نوشتن دستور مشابه https://fmoazzemi.ir/robots.txt در نوار آدرس مرورگر چک کنید. اگر جلوی دستور Disallow، علامت / ثبت شده به این معنی است که شما اجازه وارد شدن ربات را برای سایتتان بسته‌اید. برای آشنایی با دستورات فایل robots.txt اینجا را بخوانید.

2- ایندکس نشدن صفحات به دلیل تگ noindex در کدهای سایت

3- ایندکس نشدن سایت به دلیل خطاهای DNS و سرور

4- وجود صفحات یتیم در سایت (صفحاتی که هیچ لینکی به آنها وجود ندارد)

5- وجود صفحات با خطای 404

6- کیفیت پایین محتوای سایت

7- وجود مشکل در سایت مپ سایت (sitemap)

منبع: +