Почему Google-бот не следует ссылкам?

По словам Мэтта Каттса, вопрос о том, станет ли Google-бот переходить по всем ссылкам на странице В, если она считается неканонической относительно страницы А и применяет атрибут rel=”canonical”, был весьма сложным.

На самом деле, система Google может не следовать некоторым ссылкам, но обычно это происходит из-за PageRank страницы. По заявлению Мэтта Каттса, именно от PR зависит, как часто бот попадает на данную страницу. Получается, что бот может не перейти по некоторой части ссылок, то есть он всегда будет пропускать незначительное количество веб-страниц.