На днях SEO-консультант Бритни Мюллер (Britney Muller) заметила нового агента пользователя – Googlebot/Nutch-1.7. Она написала об этом в Twitter и попросила сотрудника Google Джона Мюллера прокомментировать, действительно ли такой user-agent существует.
По словам Мюллера, Google вообще не использует Nutch в агентах пользователя Googlebot – ни для поиска, ни для других вариантов использования общей инфраструктуры.
Поэтому, если в журналах сервера появился такой агент пользователя, то это не настоящий Googlebot, и при необходимости его можно заблокировать.