Читать книгу Поисковая оптимизация (Search engine optimization – SEO) сегодня и причины неудач. Факторы ранжирования Google. Спамдексинг - Маргарита Васильевна Акулич - Страница 8

Получение индексации

«На этой диаграмме, где каждый кружок представляет собой веб-сайт, программы, иногда называемые поисковыми роботами, проверяют, какие сайты ссылаются на какие другие сайты, со стрелками, представляющими эти ссылки. Веб-сайты, получающие больше входящих ссылок или более сильные ссылки, считаются более важными и являются тем, что ищет пользователь. В этом примере, поскольку веб-сайт B является получателем многочисленных входящих ссылок, занимает более высокое место в веб-поиске. И ссылки „проникают“, так что сайт C, даже если он имеет только одну входящую ссылку, имеет входящую ссылку с очень популярного сайта (B), а сайт E – нет. Примечание: проценты округлены». Источник: https://en.wikipedia.org/wiki/Search_engine_optimization

Поисковыми системами используются сложные математические алгоритмы – в целях интерпретации того, какие веб-сайты ищутся пользователями.

Такими ведущими поисковыми системами, какими в настоящее время являются Google, Bing и Yahoo!, для поиска страниц в результатах алгоритмического поиска используются краулеры (поисковые роботы, или веб-краулеры).

Страницы, на которые ведут ссылки с других проиндексированных поисковыми системами страниц, не нужно представлять, поскольку их находят автоматически. Yahoo! _ Directory и DMOZ, – это крупные каталоги, закрывшиеся в 2014-м и в 2017-м годах соответственно, требующие редакторской проверки человеком и ручной подачи.

Google предлагает (в дополнение к своей консоли отправки URL) Google Search Console, для нее можно бесплатно создать и отправить XML Sitemap, чтобы гарантировать, что все страницы будут найдены, особенно страницы, которые нереально обнаружить, автоматически переходя по ссылкам.

Прежде Yahoo! предоставлял платные услуги по отправке, гарантировавшие сканирование за стоимость клика; однако в 2009-м г. эта практика прекратилась.

При просмотре веб-сайта поисковые машины могут учитывать множество различных факторов. Поисковыми системами индексируется не каждая страница. Удаленность страниц от корневого каталога сайта также может являться фактором, влияющим на то, будут ли страницы проиндексированы.

Год 2016-й (ноябрь). Это было время объявления Google о серьезных изменениях в способе поиска веб-сайтов и начала действия его индекса mobile-first, это означает, что мобильная версия данного веб-сайта становится отправной точкой для того, что Google включает в свой индекс.

Год 2019-й (май). Это было время обновления Google движка рендеринга своего сканера до последней версии Chromium (74 на момент объявления).

Google было указано, что он будет обеспечивать регулярное обновление движка рендеринга Chromium до последней версии.

Год 2019-й (декабрь). Это было время начала обновления Google строки User-Agent своего краулера – ради отражения последней версии Chrome, используемой его службой рендеринга. Здесь наблюдалась задержка, вызванная необходимостью дать вебмастерам время на обновление кода, реагирующего на определенные строки User-Agent ботов. Google провел оценку и был уверен, что влияние окажется несущественным.

Год 2016-й (ноябрь). Это было время объявления Google о серьезных изменениях в способе поиска веб-сайтов и начала действия его индекса mobile-first, это означает, что мобильная версия данного веб-сайта становится отправной точкой для того, что Google включает в свой индекс. Сегодня, как мы знаем, большинство людей осуществляет поиск в Google с помощью мобильных устройств.

Год 2019-й (май). Это было время обновления Google движка рендеринга своего краулера до последней версии Chromium (74 на момент объявления). Google было указано, что он станет обеспечивать регулярное обновление движка рендеринга Chromium до последней версии.

Год 2019-й (декабрь). Это было время начала обновления Google строки User-Agent своего краулера – ради отражения последней версии Chrome, используемой его службой рендеринга. Здесь наблюдалась задержка, вызванная необходимостью дать вебмастерам время на обновление кода, реагирующего на определенные строки User-Agent ботов. Google провел оценку и был уверен, что влияние окажется несущественным.

Запрещение сканирования

В целях избежания нежелательного индексирования какого-то контента, веб-мастер может запретить поисковым роботам сканировать определенные файлы или каталоги – через стандартный файл robots. txt в корневом каталоге домена. Помимо этого, страницу можно явным образом исключить из базы данных поисковика (поисковой системы). Это делается с помощью специального метатега для роботов (как правило, – <meta name=«robots» content=«noindex»>).

Когда поисковая система посещает веб-сайт, файл robots. txt, – это первый, расположенный в корневом каталоге просканированный файл. Затем файл robots. txt подвергается анализу и роботу указывается, какие страницы сканировать не следует. Поскольку сканер поисковой системы способен хранить кэшированную копию данного файла, он может иногда сканировать те страницы, которые веб-мастер подвергать сканированию не желает.

Обычно запрещенные для сканирования страницы – это страницы, связанные с входом в систему, такие как корзины покупок и такой пользовательский контент, как результаты внутреннего поиска.

Год 2007-й (март). Это было время предупреждения Google вебмастеров, что им следует запретить индексацию результатов внутреннего поиска, так как эти страницы считаются поисковым спамом.

Год 2020-й был годом закрытия Google стандарта и открытия своего кода. И в настоящее время Google рассматривает его не в качестве директивы, а в качестве подсказки. Для надлежащего гарантирования того, что индексации страниц не произойдет, необходимо включение метатега робота на уровне страницы.