سه غول اینترنتی گوگل، یاهو و مایکروسافت در یک همکاری نادر اعلام کردند از استاندارد وب جدیدی پشتیبانی می کنند که به میلیونها ناشر وب امکان می دهد صفحههای تکراری را از وب سایتشان حذف کنند.
به گزارش ایسنا، در نتیجه این اقدام، موتورهای جست وجو می توانند صفحههای وب بیشتری را پیدا و ایندکس کرده و نتایج جست و جوی خود را جامع تر کنند.
بسیاری از ناشران وب بویژه کسانی مانند شرکتهای تجارت الکترونیک که سایتهای حجیم دارند آدرسهای URL متعددی دارند که همگی مربوط به یک صفحه وب است. این امر موتورهای جست وجو را سردرگم کرده و گاهی موجب می شوند آنها یک صفحه وب را به دفعات ایندکس گذاری کنند.
بنابر برخی ارزیابیهای انجام گرفته، در حدود20 درصد از آدرسهای URL در وب ممکن است تکراری باشند.
تمامی موتورهای جست و جو فن آوریهایی برای شناسایی صفحات تکراری طراحی کردهاند که کم وبیش موثر بودهاند. استاندارد جدید که به Canonical Link Tag معروف است برطرف کردن این مشکل را برای ناشران وب و موتورهای جستوجو راحت تر خواهد کرد.
استاندارد وب جدید در صورتی که موتور جست و جو صفحه دیگری با محتوای مشابه بیابد به آن نشان می دهد چه صفحه ای را باید ایندکس کند.