Подробный обзор краулера Netpeak Spider

Вы можете проверить сайты с Netpeak Spider совершенно бесплатно (временный тест на 14 дней), а потом уже взять по моему промокоду на скидку 25%!

Компания Netpeak Software разрабатывает инструменты для SEO-специалистов и вебмастеров: Netpeak Spider (SEO-аудит, быстрый поиск ошибок, системный анализ и парсинг сайтов) и Netpeak Checker (парсинг поисковой выдачи и агрегация данных из топовых SEO-сервисов для массового анализа и сравнения сайтов).

Недавно в новом Netpeak Spider команда Netpeak Software внедрила функционал, которого не было ни у одного десктопного SEO-инструмента:

• интеграция с Яндекс.Метрикой;
• анализ hreflang;
• мультидоменное сканирование (в тарифе PRO).

С Netpeak Spider вы сможете провести глубокий SEO-аудит сайта, системный анализ и парсинг данных сайтов.

Если покупаете по моей ссылке и первый раз, то получите Нетпик Спайдер со скидкой 25%. 

Netpeak Spider — мощная десктопная программа для анализа сайта, которая в первую очередь предназначена для SEO-специалистов, так как основной её фокус направлен на поиск и выявление ошибок технической оптимизации.

Но, если хорошо изучить Нетпик Спайдер, то можно увидеть, что он справляется и с задачами другого рода, помогая специалистам других сфер: разработки, PPC, контент-маркетинга, продаж (об этом и сравнение с Screaming Frog SEO читайте в самом конце поста).

О возможностях софта Netpeak Spider будет подробно в этом посте.

В самом конце поста есть и промо-код на скидку 25%!

Но, если что, есть была и пробная версия (банковской карты не надо). Можно было скачать Netpeak Spider и пользоваться бесплатно 14 дней. Раньше Netpeak предоставлял 14-дневную бесплатную, пробную версию, чтобы вы могли опробовать все функции без каких-либо ограничений. На данный момент времени все пользователи, зарегистрированные в системе имеют возможность пользоваться урезанными версиями программ без ограничений по времени. В этой версии недоступны функции экспорта, сохранения, фильтрации и копирования.

То есть вы можете провести технический SEO-аудит сайта и воспользоваться другими возможностями программы прямо сейчас, по четким пошаговым инструкциям со скриншотами!

 
Еще можно скачать прямо здесь и посмотреть пример Экспресс-аудита в PDF на примере сайта golubovich.by

Самые-самые очевидные преимущества инструмента по сравнению с аналогами, кроме широкого функционала, это:

• высокая скорость (особенно хорошо ощущается для сайтов на 100К страниц)
• можно включать/отключать определённые параметры (в том же Screaming Frog SEO, например, нельзя). Об этом хорошо кратко в своем видео-отзыве на 2 минуты рассказывает Геннадий Сивашов (Evo: Prom). Говорит и о том, в чем именно удобство работы с Нетпик Спайдер на практике с многомиллионными проектами. Например, в том же Screaming Frog SEO ограничено количество экспортов, а в Netpeak Spider можно делать любое количество отчетов. Там же он отмечает другие моменты, которые ему понравились больше всего для крупных сайтов.
• хорошая, уникальная на рынке функция сегментации (в том же видео по ссылке выше Геннадий рассказывает и про неё).
• крутой экспресс-аудит в PDF — тоже, можно сказать, лучший на рынке. (пример аудита). Идеально для быстрого понимания и исправления ошибок.
• очень большая и продвинутая таблица — в ней множество функций, в отличие от опять того же Screaming Frog SEO, интуитивно с ней можно играться долго и очень разнообразно.

Посмотреть отзывы пользователей Netpeak Spider можно тут

Начало работы с Netpeak Spider

1. Заведите аккаунт на сайте Netpeak Software.

2. Скачайте и установите специальную программу управления продуктами, которая называется Netpeak Launcher. Затем выполните процесс авторизации и в ней же, скачайте и запустите краулер.

Начало работы и запуск сканирования

Основное окно

После открытия программы вы увидите основное окно, которое будет пустым, пока вы не начнёте сканирование. Чтобы просканировать сайт с настройками по умолчанию, нужно проделать два простых действия:

1. Вставить домен сайта в адресную строку.
2. Нажать кнопку «Старт».

Сканировать можно и отдельный список URL: выберите, каким образом он попадёт в программу, с помощью меню с соответствующим названием.

Настройки

В настройках по умолчанию включены все необходимые опции, чтобы провести полный аудит сайта. Но при желании можно кастомизировать сканирование с помощью настроек. Все виды настроек в программе рассортированы по отдельным вкладкам:

1. Основные. Базовые настройки сканирования, с помощью которых меняется язык программы, количество потоков и скорость сканирования и включается/отключается рендеринг JavaScript.

Если нужно более детально узнать, за что отвечает та или иная настройка, прочтите подсказки, которые всплывают при наведении курсора на название настройки.

2. Продвинутые. Нужны для включения учёта инструкций по сканированию и индексации, а также для настройки автоматической приостановки сканирования, разрешения cookies, учёта страниц с 4xx ошибкой и относительных канонических URL.

3. Виртуальный robots.txt. Полезная функция, когда нужно проверить обновленный или новый файл. Всё, что нужно сделать — это активировать функцию, вставить содержимое файла в окно и сохранить.

4. Парсинг. На этой вкладке задаются параметры и условия поиска для парсинга данных. Если вы хотите детально ознакомиться с парсингом в краулере и понять суть его работы, нажмите «Узнать подробнее». На этой вкладке, как и на предыдущей, предусмотрена кнопка включения и отключения настройки: с её помощью можно не учитывать настройки, при этом не удаляя внесённые вами данные.

5. User Agent. Здесь можно выбрать поискового робота, браузер и устройство, через которые будет осуществляться соединение с сервером. Функция полезна, когда необходимо узнать, как различные ПС и браузеры «видят» сайт.

6. Ограничения. На этой вкладке вы можете вручную задать ограничения сканирования и учёта ошибок.

7. Правила. Правила позволяют включать или исключать различные типы URL при сканировании сайта. Это может пригодиться, например, когда нужно просканировать URL, которые содержат определённое слово/символ.

8. Экспорт. Здесь можно установить свои настройки для выгружаемых отчётов: от формата файла до выделения цветом ячеек.

9. Аутентификация. Настройка позволяет сканировать закрытые с помощью базовой аутентификации сайты. Функция полезна тем, что с её помощью можно посмотреть технические параметры сайта на любом этапе разработки.

10. Прокси. Если вы используете прокси во время аудита, вставлять и проверять их нужно на этой вкладке.

Вернуть настройки к дефолтному виду можно в один клик — с помощью кнопки «Восстановить настройки по умолчанию», которая есть на каждой вкладке.

Параметры

Кастомизировать сканирование позволяют также параметры, весь список которых представлен на боковой панели основного окна. Всего параметров 54, и они рассортированы по отдельным группам:

• Основные.
• Парсинг.
• Индексация.
• Ссылки.
• Head теги.
• Контент.

Если вам нужно подробнее узнать о группе параметров и каждом в отдельности, нажмите на любой из параметров, и в поле «Информация» отобразится подробное описание.

На этой вкладке есть набор преднастроенных параметров, объединённых в шаблоны. Всего их пять:

1. Текущий: тот, что вы выставили для открытого проекта.
2. Минимум: заточен под быстрый сбор всех страниц сайта и собирает информацию только о кодах ответа сервера, глубине и канонических URL.
3. По умолчанию (рекомендуемый): включает параметры, которые позволяют выполнить полноценный аудит сайта.
4. Для PageRank: параметры, которые нужны для расчёта внутреннего PageRank.
5. Все: включает все доступные параметры.

После запуска и окончания сканирования

Итак, когда вы начали сканирование, за ним можно наблюдать онлайн: на адаптивном дашборде показаны данные о URL, скорости, настройках и ограничениях.

Если во время сканирования вам захотелось изменить настройки, нужно нажать на паузу, внести изменения и снова нажать «Старт»: в таком случае новые настройки будут распространяться на страницы, которые ещё не попали в результаты. Чтобы перезапустить анализ по новой, после паузы нажмите на «Рестарт». Если необходимо изменить потоки сканирования, это можно делать и без паузы: просто зайти в настройки, выставить нужное количество и нажать «OK».

Анализ данных

По окончании сканирования программа начнёт выполнять анализ тяжелых данных: дубликатов, входящих ссылок, цепочек Canonical и внутреннего PageRank. При желании его можно остановить кнопкой «Отмена».

И возобновить в любой момент через меню «Анализ».

Дашборд после сканирования

Дашборд после окончания сканирования принимает иной вид: теперь на нём выводятся столбчатые и круговые диаграммы с полезными инсайтами об индексируемости, кодах ответа сервера, типах контента и других важных показателях.

Кстати, вы можете его сохранить в PNG-формате на компьютер, нажав кнопку «Экспорт».

Вот так он будет выглядеть:

Вкладка «Все результаты»

Идём дальше знакомиться с результатами на соседнюю вкладку «Все результаты». Здесь отображаются просканированные URL, а также параметры по каждому из них. Цвет ячеек сообщает о критичности ошибок, которые присутствуют на странице:

• красный — высокая;
• жёлтый — средняя;
• синий — низкая.

Обратите внимание на специальные статус-коды, отвечающие за индексацию: благодаря им прямо из колонки видно, закрыта или открыта страница для сканирования роботами.

В таблице есть всплывающие подсказки для каждого параметра:

Вкладка «Отфильтрованные результаты»

Следующая вкладка — «Отфильтрованные результаты». Здесь содержатся отфильтрованные от всех результатов страницы по параметру или ошибке на боковой панели и вкладке «Дашборд». Чтобы отфильтровать страницы, просто кликните на любую ошибку на боковой панели:

Фильтрацию также можно настроить самостоятельно: нажимаем кнопку «Настроить фильтр», добавляем условия и нажимаем «OK» ? в таблицу попадут URL, соответствующие заданному фильтру.

Вкладка «Пропущенные URL»

Если в ходе сканирования появилась вкладка «Пропущенные URL», значит на сайте есть страницы, которые краулер пропустил из-за соответствующих настроек сканирования. Причина несканируемости указывается в отдельном столбце.

Боковая панель

Далее двигаемся вправо и переходим на боковую панель, здесь содержатся важные отчёты по:

1. Ошибкам. В этом отчёте находятся все ошибки, которые были найдены во время сканирования. Включая информацию по Title, H1, Meta Description и другое. Ошибки, определяемые краулером, но которые не были найдены на сайте, находятся в отдельных разделах «Необнаруженные» и «Отключённые». Это сделано специально, чтобы вы смогли сначала обратить внимание и сфокусироваться на реально существующих данных.
2. Сводке. Это отчёт, сгруппированный по таким параметрам, как статус, тип страниц, протокол, хост, коды ответа сервера и др.
3. Структуре сайта. Это отчёт с выгрузкой полной структуры сайта, которая формируется на основе структуры просканируемых URL.
4. Парсингу. В этом отчёте находятся данные, которые были получены с помощью заданных условий парсинга.

Сегментация

Для упрощения работы с массивными данными можно сегментировать конкретную выборку и проводить анализ строго по ней. В качестве сегмента применяются любые данные, которые можно отфильтровать. Также сегментация распространяется на инструменты «Расчёт внутреннего PageRank» и «Генератор Sitemap», о которых мы поговорим ниже.

Начать работу с сегментированием можно в таблице «Отфильтрованные результаты»:

1. Выберите любой параметр, по которым будут отсортированы URL.
2. Нажмите кнопку «Применить сегмент».