چکلیست جامع بازیابی سئو و خروج از بحران اختلالات شبکه
نقشه راه فنی بازگشت به نتایج برتر گوگل
مقدمه و تحلیل وضعیت
اختلالات گسترده و طولانیمدت اینترنت در ایران، دسترسی رباتهای گوگل (Googlebot) به سایتهای داخلی را با چالشهای جدی مواجه کرده است. زمانی که ربات گوگل نتواند سایت شما را بهدرستی بررسی (Crawl) کند، واکنشهای زنجیرهای مخربی رخ میدهد: فایلهای تاییدیه سرچ کنسول خوانده نمیشوند، خطاهای سری ۵xx در لاگها انباشته میشوند، نرخ خزش افت میکند و در نهایت، رتبه صفحات شما در نتایج جستجو بهشدت کاهش مییابد.
۱ فاز اول: بررسی زیرساخت و ارتباطات سرور
پیش از انجام هرگونه اقدام مرتبط با سئو، باید اطمینان حاصل کنید که سرور شما اصلاً برای Googlebot در دسترس است یا خیر. بدون این تاییدیه، سایر تلاشهای فنی و محتوایی شما کاملاً بینتیجه خواهد بود.
برای اینکه سریع و بدون نیاز به درگیری با لاگهای پیچیده سرور متوجه شوید که آیا گوگل به سایت شما دسترسی دارد و میتواند صفحات را رندر کند، از این ابزار رسمی استفاده کنید:
- • به آدرس Rich Results Test بروید.
- • آدرس سایت (یا یکی از مقالات اصلی خود) را وارد کرده و روی دکمه Test URL کلیک کنید.
- • در صورت موفقیت: اگر ابزار توانست صفحه را با موفقیت تحلیل کند و در تب View tested page کدهای HTML شما بدون مشکل نمایش داده شد، یعنی مسیر ارتباطی رباتهای گوگل با سرور شما کاملاً باز است.
-
•
در صورت قطعی: دریافت خطاهایی مانند
Page cannot be reachedیا خطاهای سری5xx، بهوضوح نشاندهنده مسدود بودن مسیر ارتباطی سرور یا هاست شما با شبکه گوگل است. در این شرایط باید با پشتیبانی هاستینگ خود تماس بگیرید.
برای بررسی صفحاتی که قبلاً ایندکس شدهاند، میتوانید از طریق خود سرچ کنسول و بخش «Live Test» اقدام کنید. این ابزار به شما امکان میدهد بررسی نمایید که آیا ربات کرالر گوگل به سایت شما دسترسی دارد یا خیر و در صورت وجود مشکل، نوع خطای ایجادشده را شناسایی نمایید.
گاهی اوقات تنظیمات امنیتی سختگیرانه در شبکههای توزیع محتوا (CDN) بهطور ناخواسته دسترسی گوگل را مسدود میکنند. حتماً بررسی کنید که:
-
•
حالت
Under Attack Modeدر کلادفلر خاموش باشد. - • پراکسی CDN خطاهای 521 و 522 (عدم اتصال به سرور اصلی) را پنهان نکرده باشد.
- • قوانین امنیتی (WAF) رباتهای تاییدشده گوگل را مسدود نکنند.
پیشنیاز کلیدی: چرا DNS Cluster اساس بازیابی سئو است؟
پیش از ورود به مراحل بعدی بازیابی سئو، باید به یک سوال اساسی پاسخ دهید: آیا گوگل اصلاً میتواند رکوردهای DNS سایت شما را ببیند؟
در زمان بروز اختلالات اینترنتی در ایران، نیمسرورهای (Nameservers) بسیاری از هاستینگهای داخلی که روی سرورهای ایران قرار دارند، از دسترس خارج میشوند. این یعنی وقتی گوگل تلاش میکند رکورد TXT شما را برای تاییدیه سرچ کنسول بخواند، درخواست به سروری میرسد که پاسخگو نیست. نتیجه عملی این اتفاق، شکست در تایید سرچ کنسول، عدم تمدید خودکار SSL و از کار افتادن تمامی سرویسهای خارجی وابسته به DNS است.
راهکار: DNS Cluster رایگان در لاراتاندر
مجموعه میزبانی وب لاراتاندر، برای پایان دادن به این دغدغه، سرویس پیشرفته DNS Cluster با نودهای قدرتمند بینالمللی را روی تمامی پکیجهای میزبانی سایت خود بهصورت کاملاً رایگان ارائه داده است. این زیرساخت حیاتی بهطور پیشفرض برای تمامی کاربران فعال است تا دامنه شما تحت هر شرایطی از خارج از کشور قابل شناسایی (Resolve) باشد.
این زیرساخت چه تضمینی به شما میدهد؟
رباتهای گوگل (Googlebot) میتوانند رکورد TXT را در کسری از ثانیه بخوانند و تاییدیه سرچ کنسول بدون خطا انجام میشود.
سیستم Let's Encrypt میتواند چالشهای DNS را از خارج از کشور با موفقیت تایید کرده و SSL شما را بهطور خودکار تمدید کند.
سرویسهای امنیتی برای تایید هویت ایمیلهای سایت، رکوردهای TXT شما را چک میکنند. این ساختار از اسپم شدن ایمیلها در زمان اختلال جلوگیری میکند.
۲ فاز دوم: تایید مجدد مالکیت در سرچ کنسول (حیاتیترین گام)
اگر در زمان قطعی اینترنت، تاییدیه سرچ کنسول خود را (که قبلاً با تگ متا یا فایل HTML انجام داده بودید) از دست دادهاید، باید روش خود را تغییر دهید. تایید مالکیت از طریق رکورد TXT در تنظیمات DNS، امنترین و پایدارترین روش در زمان اختلالات است. این روش نیازی به در دسترس بودن سرور وب شما ندارد و گوگل مستقیماً اطلاعات را از سیستم نام دامنه (DNS) میخواند.
- وارد گوگل سرچ کنسول شوید و از منوی کشویی روی
Add Propertyکلیک کنید. - حتماً گزینه سمت چپ یعنی «Domain» را انتخاب کنید تا تمامی نسخهها (با www، بدون www و سابدامینها) پوشش داده شوند.
- رشته متنی (توکن) ارائهشده توسط گوگل که با عبارت
google-site-verificationشروع میشود را کپی کنید. - وارد پنل مدیریت DNS خود (مانند Cloudflare، بخش Zone Editor در سیپنل و ...) شوید.
- یک رکورد جدید از نوع TXT با مشخصات زیر ایجاد کنید:
- Type: TXT
- Name/Host: @ (یا نام دامنه بدون پیشوند)
- Value/Content: [توکنی که کپی کردید]
- TTL: Auto یا 300
- پیش از کلیک روی دکمه Verify در گوگل، در سایت DNSChecker رکورد TXT دامنه خود را بررسی کنید. اگر وضعیت آن در سطح جهانی سبز بود، به سرچ کنسول برگشته و روی Verify کلیک کنید.
۳ فاز سوم: بازیابی ایندکس و درخواست به کرالرها
پس از اطمینان از ارتباط سرور و تایید مالکیت دامنه، باید به گوگل نشان دهید که سایت شما فعال و آماده است. اگرچه گوگل بهطور خودکار به سایت شما برمیگردد، اما با ارسال سیگنالهای درست، میتوانید فرآیند ایندکس مجدد را تسریع کنید:
۱. ثبت مجدد Sitemap
به بخش Indexing > Sitemaps بروید. نقشه سایت فعلی را حذف و آدرس آن را مجدداً ثبت کنید. اطمینان حاصل کنید که سایتمپ شما فقط حاوی آدرسهای معتبر (با وضعیت 200) است تا بودجه خزش سایتتان هدر نرود.
۲. درخواست ایندکس هدفمند
آدرسهای حیاتی (مانند صفحه اصلی، محصولات پرفروش و مقالات بهروزرسانی شده) را در URL Inspection وارد کرده و روی Request Indexing کلیک کنید. این کار را صرفاً برای صفحات کلیدی انجام دهید تا محدودیت روزانه گوگل تکمیل نشود.
۳. رفع خطاهای ۵xx در Pages
در گزارش Pages، ارورهای Server error (5xx) را بررسی کنید. اگر مطمئن هستید که این خطاها صرفاً به دلیل قطعی موقت اینترنت بوده و اکنون صفحات بهدرستی باز میشوند، روی دکمه Validate Fix کلیک کنید.
۴ فاز چهارم: پاکسازی، پایش و اقدامات پیشگیرانه
گاهی اوقات در شرایط بحرانی، برنامهنویسان برای کاهش بار سرور دسترسی برخی رباتها را میبندند. مطمئن شوید که دستور Disallow: / در این فایل وجود ندارد. همچنین مسیر سایتمپ را در انتهای آن درج کرده و با ابزار robots.txt Tester گوگل، صحت عملکرد آن را بسنجید. اگر در تنظیم صحیح این فایل اطمینان ندارید، میتوانید از ابزار ساخت Robots.txt استفاده کنید.
افت نرخ خزش باعث میشود گوگل نسبت به خطاهای داخلی حساستر شود. کل سایت را با ابزاری مانند Screaming Frog اسکن کنید؛ صفحات ۴۰۴ را که به دلیل تغییرات اخیر ایجاد شدهاند شناسایی کرده و آنها را فوراً به صفحات مرتبط ریدایرکت ۳۰۱ کنید.
بازگشت گوگل به سایت شما، فرصتی عالی برای بهبود رتبه است. سرعت پاسخگویی سرور (TTFB) نقش بسیار مهمی در بودجه خزش دارد. اگر در گزارش Core Web Vitals صفحات شما در محدوده Poor قرار دارند، صفحات سایت خود را به دقت بررسی کرده و تا حد امکان سعی کنید بهینهسازیهای مرسوم مثل کاهش حجم و سایز تصاویر، سیستمهای کش وردپرسی یا بروزرسانی قالب خود را انجام دهید.