مشکل لینک های ناخواسته و خطاهای 404 فراوان شناسایی شده گوگل

<p>باسمه تعالی</p> <p><strong>مشکل لینک های ناخواسته و خطاهای 404 فراوان شناسایی شده توسط گوگل</strong></p> <p>مشکل مربوط به یک سایت وردپرسی است. اخیرا ما در بررسی هامون متوجه شدیم که گوگل تعداد زیادی خطای 404 در سایت ما تشخیص داده که تعدادشون بیش از 150هزار مورده. متاسفانه گوگل فقط 1000 مورد از این خطاها رو نمایش میده و به همین خاطر بررسی بقیه این خطاها و دلیلشون غیر ممکن میشه.</p> <p>ولی به نظر میرسه که مشکل مربوط به تغییری باشه که ما چند وقت پیش روی سایت اعمال کردیم. ما یک سری لینک های ورودی به سایت داشتیم با ساختاری مشابه نمونه های زیر:</p> <ul> <li><strong> http://site.com/some-page?class256=555 </strong></li> <li><strong> http://site.com/page/12/?class32=111 </strong></li> <li><strong> http://site.com/?class165=545 </strong></li> </ul> <p>این لینک ها عملا روی سایت ما وجود دارند ولی اضافه کردن پارامترهای تصادفی class&hellip; در انتهای آن ها تاثیری در محتوای نمایش داده شده ندارد. نتیجه وجود این لینک ها در گوگل داشتن چندین صفحه با url مختلف و محتوای مشابه است که از نظر سئو خوب نیست. به همین خاطر ما تصمیم گرفتیم که این لینک ها رو 404 کنیم و با یک کد در قالب وردپرس کاری کردیم که لینک های دارای پارامتر تصادفی class&hellip; خطای 404 بده.</p> <p>بعد از این جریان تعداد خطاهای 404 گوگل به شدت بالا رفت که باعث شد ما روشمون رو تغییر بدیم و راهکار قبلی رو کلا کنسل کنیم. به جاش با اعمال یک رول در robots.txt دسترسی ربات ها رو به url هایی با این ساختار بستیم. &nbsp;ولی متاسفانه هنوز خطاهای فراوان 404 وجود دارند!</p> <p>به طور خلاصه ما دو سوال داریم که براش دنبال راه حل میگردیم:</p> <ol> <li>چطور می تونیم بفهمیم که لینک های ناخواسته از کجا اومدن و راه اصولی برای حذفشون چیه؟</li> <li>چطور می تونیم خطاهای 404 که گوگل نشون میده رو بررسی و رفع کنیم؟</li> </ol> بودجه از: 300000 تا 2500000 مهارت های مورد نیاز: (Google Analytics, HTML, PHP, وردپرس, CSS) تاریخ ثبت پروژه: 14 شهریور 1395