تگ noindex چیست؟
تگ noindex دستوری است که در سئو برای دستور دادن به موتورهای جستجو جهت ایندکس نکردن یک صفحه وب خاص استفاده می‌شود. وقتی خزنده موتور جستجو با این تگ در یک صفحه مواجه می‌شود، می‌داند که نباید آن صفحه را در نتایج جستجوی خود قرار دهد.
در اینجا چند نمونه از مواردی که می‌توانید از تگ متا noindex استفاده کنید، آورده شده است:
- صفحه «تشکر» پس از تکمیل خرید توسط کاربر.
- یک صفحه فرود برای یک کمپین تبلیغاتی پولی.
- صفحه‌ای که در دست ساخت است یا هنوز برای بازدید عمومی آماده نشده است.
- یک صفحه تکراری که قبلاً از یک وبسایت دیگر ایندکس شده است.
- صفحه‌ای که حاوی اطلاعات حساس یا محرمانه است.
این تگ به دو صورت قابل پیاده‌سازی است:
-
- متا تگ HTML: این تگ در بخش <head> یک سند HTML قرار می‌گیرد.
<meta name=”robots” content=”noindex”>
-
- هدر HTTP: همچنین می‌تواند به عنوان یک هدر HTTP ارسال شود:
<meta name=”robots” content=”noindex”>
- Robots.txt: اگرچه برچسب «noindex» رسماً در فایل robots.txt پشتیبانی نمی‌شود، بسیاری از افراد به اشتباه معتقدند که پشتیبانی می‌شود. در عوض، فایل robots.txt برای جلوگیری از دسترسی خزنده‌ها به مسیرها یا URLهای خاص استفاده می‌شود، اما اگر صفحه‌ای از جای دیگری لینک شده باشد، از ایندکس شدن آن جلوگیری نمی‌کند.
مهم است به یاد داشته باشید که اگرچه «noindex» به موتورهای جستجو می‌گوید که یک صفحه را ایندکس نکنند، اما مانع از خزیدن آنها در آن نمی‌شود. اگر می‌خواهید از ایندکس شدن و خزیدن جلوگیری کنید، از هر دو برچسب «noindex» و «nofollow» استفاده کنید.
تفاوت‌های بین «noindex» و سایر متا تگ‌ها مانند «nofollow»، «noarchive» و «nosnippet»
این دستورالعمل یکی از چندین متا تگ یا دستورالعملی است که می‌تواند برای هدایت رفتار موتور جستجو در صفحات وب خاص استفاده شود. بیایید بررسی کنیم که چگونه با برچسب‌های مشابه متفاوت است:
بدون فهرست:
هدف: به موتورهای جستجو می‌گوید که صفحه را ایندکس نکنند. این بدان معناست که صفحه در نتایج جستجو نمایش داده نمی‌شود.
کاربرد:
<meta name=”robots” content=”noindex”>
نوفالو :
هدف: موتورهای جستجو را هدایت می‌کند تا لینک‌های موجود در صفحه را دنبال نکنند یا هیچ اعتباری (از نظر سئو “link juice”) به صفحات لینک شده ندهند. شایان ذکر است که رفتار این دستورالعمل به مرور زمان تکامل یافته است. در ابتدا، به معنای عدم انتقال هیچ گونه اعتبار به صفحه لینک شده بود. اکنون، بیشتر در مورد عدم تأیید لینک است، اما موتورهای جستجو ممکن است برای اهداف اکتشافی، آن را دنبال کنند.
کاربرد:
<meta name=”robots” content=”nofollow”>
بدون بایگانی:
هدف: جلوگیری از ذخیره نسخه ذخیره شده صفحه در حافظه پنهان موتورهای جستجو. در نتیجه، کاربران پیوند «ذخیره شده» را در نتایج جستجوی آن صفحه مشاهده نخواهند کرد.
کاربرد:
<meta name=”robots” content=”noarchive”>
بدون قطعه کد:
هدف: به موتورهای جستجو می‌گوید که هیچ قطعه‌ای (مانند توضیحات متا) یا پیش‌نمایشی (مانند پیش‌نمایش ویدیو یا تصویر کوچک) از صفحه را در نتایج جستجو نمایش ندهند. همچنین می‌تواند از نمایش محتوای صفحه به عنوان قطعه‌ای ویژه در نتایج جستجو توسط موتورهای جستجو جلوگیری کند.
کاربرد:
<meta name=”robots” content=”nosnippet”>
هر یک از این تگ‌ها هدف متمایزی را دنبال می‌کنند، اگرچه در صورت تمایل می‌توان آنها را در یک متا تگ واحد ترکیب کرد. به عنوان مثال:
<meta name=”robots” content=”noindex, nofollow, noarchive, nosnippet”>
این متا تگ به موتورهای جستجو دستور می‌دهد که صفحه را ایندکس نکنند، لینک‌های موجود در صفحه را دنبال نکنند، صفحه را ذخیره نکنند و قطعه کدها یا پیش‌نمایش‌هایی از صفحه را در نتایج جستجو نمایش ندهند.
به یاد داشته باشید، این دستورالعمل‌ها فقط «درخواست‌هایی» برای موتورهای جستجو هستند. اگرچه موتورهای جستجوی بزرگی مانند گوگل به آنها احترام می‌گذارند، اما کاملاً الزام‌آور نیستند و همیشه این احتمال وجود دارد که یک موتور جستجو آنها را نادیده بگیرد. اما در عمل، این دستورالعمل‌ها معمولاً توسط همه موتورهای جستجوی بزرگ رعایت می‌شوند.
پیامدهای سئوی Noindex
این تگ از نظر سئو (بهینه‌سازی موتور جستجو) پیامدهای متعددی دارد. در اینجا به برخی از مهمترین ملاحظات اشاره می‌کنیم:
| حذف از نتایج جستجو | وظیفه اصلی تگ noindex جلوگیری از نمایش صفحه در نتایج موتورهای جستجو است. وقتی از این تگ استفاده می‌کنید، در واقع به موتورهای جستجو می‌گویید که صفحه را از فهرست خود حذف کنند. |
| اجتناب از محتوای تکراری | اگر صفحاتی با محتوای تکراری یا بسیار مشابه دارید، noindex می‌تواند مفید باشد تا مطمئن شوید که به دلیل محتوای تکراری با هیچ جریمه یا کاهش رتبه‌ای مواجه نمی‌شوید. به عنوان مثال، اگر نسخه‌های قابل چاپ از صفحات وب دارید یا اگر محتوا را از منابع دیگر منتشر می‌کنید، ممکن است بخواهید از این برچسب برای جلوگیری از ایندکس شدن این صفحات استفاده کنید. |
| حفظ بودجه خزش | برای وب‌سایت‌هایی که تعداد صفحات زیادی دارند، موتورهای جستجو یک «بودجه خزش» مشخص اختصاص می‌دهند. این تعداد صفحاتی است که آنها در یک بازه زمانی مشخص در سایت شما خزش می‌کنند. با استفاده از noindex در صفحاتی که ارزش زیادی ندارند (مثلاً محتوای قدیمی، نتایج جستجوی داخلی یا صفحات وب تولید شده توسط سیستم)، می‌توانید مطمئن شوید که ربات‌های موتور جستجو زمان بیشتری را صرف خزش صفحات مهم و ارزشمند می‌کنند، که برای سئوی شما مهم است. |
| حفظ کیفیت سایت در SERP ها | استفاده از noindex در صفحات کم‌کیفیت یا لینک‌هایی که ارزش منحصربه‌فردی ارائه نمی‌دهند، می‌تواند به حفظ کیفیت کلی وبسایت شما در نظر موتورهای جستجو کمک کند. این امر به‌ویژه در صورتی مفید است که صفحات «نازک» با محتوای کم یا لینک‌هایی داشته باشید که ممکن است به عنوان صفحات درگاه دیده شوند. |
| حذف موقت در مقابل حذف دائمی | اگرچه noindex می‌تواند از نمایش یک صفحه در نتایج جستجو جلوگیری کند، اما صفحه را از وبسایت شما حذف نمی‌کند. اگر می‌خواهید صفحه را در آینده به نتایج جستجو برگردانید، می‌توانید به سادگی برچسب noindex را حذف کنید. اگر می‌خواهید یک صفحه به طور دائم حذف شود، باید از اقدامات شدیدتری مانند حذف صفحه و نمایش وضعیت 410 Gone استفاده کنید . |
| تداخل با تگ‌های متعارف | اگر از تگ noindex در صفحه‌ای که به عنوان نسخه متعارف یک محتوا تعیین شده است استفاده شود، می‌تواند سیگنال‌های متفاوتی به موتورهای جستجو ارسال کند. معمولاً ترکیب noindex و rel=canonical در یک صفحه توصیه نمی‌شود. |
| پتانسیل سوءاستفاده | اگر به طور تصادفی یا بدون درک درست اعمال شود، دستورالعمل noindex می‌تواند باعث شود صفحات قابل توجهی یا حتی بخش‌های کاملی از یک وبسایت از نتایج جستجو ناپدید شوند. استفاده از این برچسب با احتیاط و بررسی منظم کاربرد آن ضروری است. |
| مانع خزیدن نمی‌شود | مهم است بدانید که noindex از ایندکس شدن جلوگیری می‌کند، اما مانع خزیدن موتورهای جستجو در صفحه وب نمی‌شود. اگر می‌خواهید از خزیدن و ایندکس شدن یک صفحه جلوگیری کنید، باید از تگ‌های noindex و nofollow استفاده کنید و حتی می‌توانید از فایل robots.txt برای غیرفعال کردن خزیدن استفاده کنید. |
در پایان، اگرچه تگ noindex می‌تواند ابزاری قدرتمند در جعبه ابزار سئو باشد، اما استفاده دقیق از آن بسیار مهم است. استفاده نادرست یا بیش از حد می‌تواند منجر به عواقب ناخواسته‌ای شود و به طور بالقوه به دیده شدن و ترافیک وبسایت آسیب برساند. همیشه استفاده خود از چنین دستورالعمل‌هایی را مرتباً بررسی و حسابرسی کنید.
عیب‌یابی و حل خطاهای برچسب noindex
هنگام بهینه‌سازی وب‌سایت‌ها، ضروری است که نسبت به خطاهای احتمالی که می‌توانند مانع دیده شدن سایت و تجربه کاربری شوند، هوشیار باشید. برچسب noindex، اگرچه در برخی موارد مفید است، اما گاهی اوقات می‌تواند به اشتباه اعمال یا مدیریت شود و منجر به پیامدهای ناخواسته سئو شود. در اینجا برخی از مشکلات رایج مربوط به این برچسب و نحوه حل آنها آورده شده است:
برچسب Noindex به طور تصادفی اعمال شد
استفاده‌ی ناخواسته از تگ noindex می‌تواند باعث شود صفحات حیاتی از نتایج جستجو ناپدید شوند و به شدت بر ترافیک ارگانیک و دیده شدن سایت تأثیر بگذارد.
مرتباً متا تگ‌های صفحات مهم را بررسی کنید، به خصوص پس از به‌روزرسانی‌ها یا مهاجرت‌های سایت. مطمئن شوید که هیچ تگ noindex ناخواسته‌ای اعمال نکرده‌اید. کنسول جستجوی گوگل همچنین می‌تواند به شناسایی صفحاتی که ایندکس نشده‌اند کمک کند. پس از حذف تگ‌های noindex ناخواسته، از طریق همان ابزار درخواست ایندکس مجدد دهید.
دستورالعمل‌های متناقض در Robots.txt
داشتن هر دو دستورالعمل Disallow و Allow برای یک URL مشابه در robots.txt می‌تواند سیگنال‌های متناقضی را به موتورهای جستجو ارسال کند که به طور بالقوه منجر به خطاهای ایندکس شدن می‌شود.
فایل robots.txt خود را بررسی کنید تا مطمئن شوید هیچ تناقضی در دستورالعمل‌های شما وجود ندارد. همیشه قبل از اعمال تغییرات در robots.txt، آنها را در ابزارهایی مانند کنسول جستجوی گوگل یا Robots.txt Tester آزمایش کنید
پیاده‌سازی نادرست Noindex
اگر تگ noindex به درستی پیاده‌سازی نشده باشد، مثلاً خارج از بخش <head> قرار گرفته باشد، ممکن است توسط موتورهای جستجو شناسایی نشود.
همیشه مطمئن شوید که تگ noindex در بخش <head> سند HTML قرار دارد. کد منبع وبسایت خود را بررسی کنید یا از ابزارهای توسعه‌دهنده مرورگر برای تأیید محل قرارگیری آن استفاده کنید. اعتبارسنج‌های آنلاین HTML نیز می‌توانند در تشخیص چنین خطاهایی مفید باشند
تگ Noindex در هدرهای HTTP
گاهی اوقات، دستورالعمل noindex ممکن است بدون اطلاع شما از طریق هدرهای HTTP ارسال شود و باعث شود صفحات از نتایج جستجو حذف شوند.
هدرهای HTTP سرور خود را بررسی کنید تا ببینید آیا شامل تگ‌های noindex هستند یا خیر. ابزارهایی مانند curl یا بررسی‌کننده‌های هدر آنلاین می‌توانند کمک کنند. در صورت مشاهده، با مستندات سرور وب یا تیم فناوری اطلاعات خود مشورت کنید تا این دستورالعمل را از هدرها حذف کنند
عدم ایندکس شدن در عملیات‌های گروهی یا افزونه‌ها
سیستم‌های مدیریت محتوا یا افزونه‌های سئو ممکن است این تگ‌ها را به صورت عمده، مثلاً در تمام صفحات بایگانی شده، بدون اینکه شما متوجه شوید، اعمال کنند.
مرتباً تنظیمات CMS یا افزونه‌های سئو خود را، به خصوص پس از به‌روزرسانی‌ها، بررسی کنید. مطمئن شوید که آنها به طور خودکار برچسب‌های noindex را به صفحاتی که می‌خواهید ایندکس کنید، اعمال نمی‌کنند. اگر چنین تنظیماتی را کشف کردید، آنها را مطابق نیاز خود تنظیم کنید و صفحات آسیب‌دیده را دوباره بررسی کنید
نتیجه‌گیری
تگ «noindex» در سئو به موتورهای جستجو می‌گوید که صفحات وب خاصی را ایندکس نکنند و از عدم نمایش آنها در نتایج جستجو اطمینان حاصل کنند. این تگ می‌تواند برای اهداف مختلفی مانند حذف محتوای تکراری یا محرمانه اعمال شود. این تگ را می‌توان با استفاده از یک متا تگ HTML یا یک هدر HTTP تنظیم کرد. در حالی که دستورالعمل‌های سئو دیگری مانند «nofollow» و «noarchive» وجود دارد، هر کدام نقش منحصر به فردی را ایفا می‌کنند. اگرچه این دستورالعمل‌ها دستورالعمل‌های واضحی ارائه می‌دهند، موتورهای جستجوی اصلی مانند گوگل عموماً به آنها احترام می‌گذارند، اما آنها مصون از خطا نیستند. استفاده نادرست از «noindex» می‌تواند منجر به مشکلات سئو شود و بر دیده شدن وبسایت تأثیر بگذارد. ممیزی‌های منظم و استفاده از ابزارهایی مانند کنسول جستجوی گوگل برای اطمینان از اجرای صحیح و تشخیص خطاها بسیار مهم هستند.
