Semalt: Как Google знае кога (и защо) да спре да обхожда вашия уебсайт?

Google паяците са също толкова важни, колкото и самата SEO кампания при пускането на уебсайт. Те обхождат уебсайтове и индексират съдържание от всички страници, които може да намери. Също така извършва повторно индексиране на актуализирани страници на сайта. Това прави редовно, въз основа на няколко фактора. Те включват, но не само, PageRank, ограничения за обхождане и връзки, намерени на страницата. Броят на паяците на Google, които обхождат сайт, ще зависи от един или повече от тези фактори.

Уебсайтът трябва да бъде лесно придвижван от посетителите, както и от паяците на Google за обхождане. Това е причината създаването на удобен за обхождане уебсайт е допълнително предимство за SEO кампанията. В противен случай Google няма да може да получи достъп до съдържанието, което впоследствие ще намали класирането на сайта на страницата за класиране на търсачките .

Рос Барбър, мениджърът за успех на клиенти на Semalt , определя, че два от най-важните фактори за индексиране, на които Google разчита, за да повлияят върху решението му или да забави или спре да обхожда вашия сайт, са времето за свързване и кодът на състоянието на HTTP. Други включват командата за дезактивиране, етикетите „не следване“ и robots.txt.

Свържете кодовете за време и HTTP

Коефициентът на време за свързване се отнася за времето, което ботът на Google за обхождане отнема, за да достигне сървъра и уеб страниците на сайта. Скоростта се цени високо от Google, тъй като е много показателна за доброто потребителско изживяване. Ако уеб страницата не е оптимизирана за скорост, след това сайтът ще се класира лошо. Google паяци ще правят опити да достигнат до уебсайта и ако времето, необходимо за създаване на връзка, е по-дълго, те се отдръпват и обхождат по-рядко. Освен това, ако Google настоява да индексира уебсайта с текущата скорост, това може да прекъсне потребителското изживяване, тъй като може значително да забави сървъра му.

Вторият коефициент на индексиране са кодовете за състоянието на HTTP, които се отнасят до това колко добре сървърът отговаря на заявка за обхождане на сайта. Ако кодовете на състоянието са в рамките на 5xx, тогава Google го приема за да спре или забави скоростта, с която обхожда текущия сайт. Всичко в обхвата на 5xx е индикатор за възможни проблеми със сървъра и отговарянето на заявката може да бъде проблематично. Поради риска от възникване на допълнителни проблеми, ботовете на Google ще отстъпят и ще проведат индексиране, когато сървърът е по-достъпен.

Кога Google възобновява обхождането на сайта?

Google вярва в предоставянето на потребителите на най-доброто изживяване и ще класира сайтове, които оптимизират техните SEO елементи за постигане на тези цели. Ако обаче уебсайтът понастоящем има гореспоменатите проблеми, той ще заповяда на своя Googlebot да опита да го обхожда по-късно. Ако проблемите продължат, собственикът ще загуби страхотна възможност Google да премине през съдържанието му и да му присвои заслужено класиране в резултатите от търсенето. В допълнение към тези проблеми, всеки знак за спам ще блокира сайта да се появява в резултатите от търсенето.

Подобно на всички други алгоритми, които Google използва, и неговите паяци също са автоматични. Те са разработени за намиране, обхождане и индексиране на съдържание въз основа на определени параметри. Ако сайтът не отговаря на определени най-добри практики, индексирането няма да се случи. Съществуват много други фактори, но винаги не забравяйте да обърнете голямо внимание на времето за свързване и кодовете за състоянието на HTTP на вашия сайт.