اخبار و اطلاعیه ها

فایل robot.txt ، مصرف ترافیک و تاثیر آن در بازدید های Organic

شاید برخی از وب مستر ها متوجه مصرف زیاد و غیر عادی ترافیک ماهانه توسط سایت خود شده اند ...

"پست اختصاصی شاپ استودیو"

مصرف بی رویه ترافیک

شایددر در ماه های اخیر برخی از مشتریان متوجه مصرف زیاد و غیر عادی ترافیک ماهانه توسط سایت خود شده اند، در حدیکه لازم شده چندین بار پلن میزبانی خود را ارتقائ دهند...

به راستی این مصرف بی رویه از کجا نشئت می گیرد؟ آیا حقیقتا کاربران سایت باعث مصرف این ترافیک شده اند یا دلیل دیگری دارد؟ از کجای می توانیم آمار و ریز دقیق گزارش مصرف را مشاهده کنیم؟

برای پاسخ به این پرسش ها باید بدانیم که ترافیک مصرفی سایت به دو نوع تقسیم می شود.

Viewd Traffic و Not Viewd Traffic 

قسمت اول ترافیک مصرفی کاربران از طریق بازدید صفحات و یا دانلود و ... است.

اما قسمت دوم مرتبط با ربات های موتور های جستجو ، کرم های اینترنتی و همچنین پاسخ درخواست هایی که با کد هایی مشخصی مانند 404 و ... ارائه می شود.

در واقع در بسیاری موارد امکان دارد سایت ما کاربران کمی داشته و مصرف مشاهده ای یا Viewed Traffic آن پایین باشد اما با توجه به وجود صفحات متعدد در سایت، ربات های جستجو گر نظیر Google Bot در شبانه روز وقت زیادی را در سایت ما سپری نموده و صفحات زیادی را رصد و ضبط کرده و حجم ترافیک بالایی را از سرور دریافت می نمایند و این باعث افزایش ترافیک مصرفی سایت ما خواهد شد. 

 

ابزار مشاهده و کنترل

 به عنوان مثال در سرور های شاپ استودیو ، افزونه های قدرتمندی در پنل پلسک نسخه 12.5 نصب گردیده که گزارشات دقیقی از کلیه درخواست ها به تفکیک روز ، ساعت ، بازدید کننده ، دستکاه ، ip و ... ارائه می نمایند.

 

در تصویر زیر می توانید مشاهده کنید که طی تاریخ قید شده  در گزارش در مچموع چه میزان ترافیک مشاهده ای و چه میزان ترافیک غیر مشاهده ای مصرف شده است.

 

و گزارشات متنوعی نظیر گزارش مصرف مشاهده ای در ساعات شبانه روز ...

 

گزارش کشور هایی که از آن بازدید ها انجام شده است

 

لیست 10 رکورد اول گزارش ربات های موتور های جستجو که معمولا بیشترین یا همه مصرف غیر مشاهده ای را به خود اختصاص می دهند در مثال مذکور در پایین آمده است :

 

به صورت تقریبی و در یک بازه زمانی مشخص میزان کیلو بایت های دانلود شده در آن کزارش با مجموع BandWidth مصرف شده توسط GoogleBot در تصویر فوق باید برابر یا نزدیک به هم باشد.

 

 

بیشترین حجم مصرف مربوط به کدام صفحات و کدام ربات است؟

طبیعتا با توجه به ظرفیت بسیار بالای سخت افزاری شرکت گوگل بیشترین حجم crawl مربوط به ربات گوگل است و طبق گزارشات این ربات هیچ گونه محدودیتی در ثبت و ضبط صفحات سایت از نظر تعداد صفحات ، سرعت ، زمان و حجم دانلود وجود ندارد. 

ببیشترین حجم صفحات crawl شده توسط ربات گوگل در نرم افزار فروشگاهی شاپ استودیو مرتبط با صفحات /list (صفحات لیستی مبتنی بر نوع محصول) و /all (صفحات لیستی همه انواع محصول) می باشند که با توجه به ساختار SEO Friendly خود می توانند صد ها هزار ایندکس در موتور های جستجو ایجاد کنند. در واقع همه روزه ربات گوگل ده ها هزار صفحات سایت های شاپ استودیو را Crawl می کنند که بخش قابل توجهی از آنها مرتبط با صفحات مذکور و مشتقات آنها هستند. اما به صورت معمول در سایت های پر محتوا و پر بازدید شاپ استودیو تا ماهانه 30-40 گیگ ترافیک غیر مشاهده ای ربات ها را نیز به دنبال داشته است.

 

آیا امکان کاهش مصرف ترافیک وجود دارد؟

بلی، با درج url های مورد نظر در فایل robot.txt و قراردادن فایل robot.txt در شاخه root سایت به موتور های جستجو این پیام داده می شود که url های مذکور crawl نشده و از لیست آن موتور جستچو حذف گردند، در نتیجه زمان و ترافیکی هم برای آن مصرف نخواهد شد. نه از سمت موتور های جستجو و نه از سمت سرور سایت شما.

نمونه ای از یک فایل robot.txt :

User-agent: *
Disallow: /list/
Disallow: /all/

 

این فایل هم اکن.ن در Root  سایت شما وجود دارد و شما می توانید از طریق FTP یا از طریق پنل میزبانی آن را دانلود نموده، محتویات آن را ویرایش کرده و مجدادا آپلود نمایید. قابلیت ویرایش این فایل در پنل ادمین سایت نیز در نسخه بعدی شاپ استودیو اضافه خواهد شد.

 

حذف url ها از لیست موتور های جستجو چه آثار جنبی را به دنبال خواهد داشت؟

طبیعتا اثر حذف هر url بستگی به اهمیت آن  url (صفحه) دارد. در صورتی که صفحه مورد نظر هیچ بازدیدی نداشته ، با حذف شدن آن صفحه از موتور های جستجو چیز زیادی از دست نخواهید داد. اما اگر صفحه مذکور با اهمیت بوده و یا زیر شاخه و زیر url هایی دیگری را هم داراست که آنها نیز صفحات متعدد دیگری را شامل می شوند بخشی از بادزدید های مبتنی بر موتور های جستجوی خود را از دست خواهید داد.

به عنوان مثال اگر سایت شما ماهانه 4000 بازدید از موتور های جستجو داشته باشد ، با حذف صفحات مذکور در فایل robot.txt احتمالا 400 الی 1600 عدد از بازدید های مذکور را که با کیفیت ترین نوع بازدید هم هستند ، از دست خواهید داد.

 

منبع: تیم فنی شاپ استودیو


شما میتوانید اولین نفری باشید که در مورد این مطلب نظر میدهید.