[بهمنیار]

ز طریق آنها اطلاعات لازم را جمع آوری کنند و در بانک اطلاعاتی خود ذخیره کنند تا کاربران بتوانند در نتایج جستجو لینک های مربوط به فلان سایت را ببینند . هر چه امتیاز سایتی بالاتر برود تعداد بیشتری از موتور های جستجو وارد آن میشوند و اطلاعاتش را لوگ میکنند . هر Spider هنگام ورود به یک وبسایت از طریق HTTP HEADER اطلاعات مربوط به خود را به صفحات میفرستد و اسکریپ یک سایتی مثل اینجا تشخیص میدهد که کدام موتور جستجو وارد وبسایت شده است . اگر آن Header توسط Spider فرستاده نشود پس احتمالن یک انسان است که بدون عضویت وارد سایت شده و سیستم آن را تحت عنوان میهمان میشناسد .
به همین سادگی

خوب مشکل همین جاست زمانی که من وارد سایت شدم دیدم نوشته 0 مهمان و چند تا موتور جستجو ! یعنی اسکریپت ها تشخیص درستی ندادند