Каждый хост
Число туннелей и байты по каждому хосту, с обменом CONNECT и без него, и группы для туннелей, которые не объясняет ни один запрос.
Бесплатный инструмент с открытым кодом · Просмотр отчёта в браузере
Узнайте, куда уходит прокси-трафик вашего скрейпера. Откройте отчёт в браузере.
Найдите хосты и ресурсы, на которые уходит трафик вашего скрейпера. Scrapescope — бесплатный локальный измеряющий прокси с открытым кодом для скрейперов и браузерных агентов. Установите инструмент, чтобы измерить прогон, или откройте готовый отчёт в просмотрщике ниже.
- Бесплатно, лицензия MIT
- Аккаунт ipvolt не нужен
- Отчёты остаются в вашем браузере
Используйте собственный совместимый HTTP-прокси или запустите режим прямой оценки без аккаунта у прокси-провайдера. Scrapescope и этот просмотрщик не требуют доступа к прокси ipvolt.
Автор: ipvolt · Перевод обновлён · Читать оригинал на английском
Из встроенного примера отчёта
- Три страницы, как измерено
- 783,026 байт
- Модель с блокировкой изображений, медиа и шрифтов
- 127,386 байт
Пример — реальный прогон из трёх страниц на books.toscrape.com, записанный в режиме прямой оценки. На изображения и шрифты пришлось 655,640 из 783,026 байт (84%). Значение после блокировки — это прогноз «что если» из отчёта: модель, построенная на распределённых байтах, а не второй измеренный прогон.
Просмотрщик
Откройте отчёт.
Перетащите report.json от scrapescope в рамку, выберите файл или загрузите встроенный пример. Отчёт разбирается внутри изолированного фрейма на этой странице, и ничего не загружается на сервер. Можно сравнить два прогона, оценить байты по введённой вами ставке и скачать карточку для публикации, созданную на вашем устройстве. Интерфейс просмотрщика — на английском языке.
Ваш первый отчёт
Измерьте прогон. Изучите отчёт.
После установки запустите через Scrapescope существующий Python-скрейпер, который умеет работать через прокси. Замените my_scraper.py своим скриптом. Прямая оценка использует подключение вашей машины; она не проверяет прокси-провайдера и не предсказывает, как защищённый сайт поведёт себя через прокси.
scrapescope run --direct --env-all --out report.json -- python my_scraper.pyscrapescope report report.jsonОткройте report.json в просмотрщике выше, чтобы изучить его наглядно. Обёртка задаёт переменные окружения прокси; ваш клиент должен их учитывать или использовать явную настройку прокси. Для итогов по туннелям инструментирование браузера не нужно, но для распределения по ресурсам нужен помощник Playwright для Python или хуки Requests/HTTPX, описанные в репозитории.
Для другой задачи используйте scrapescope find URL --value V --direct, чтобы найти ответ, содержащий известное значение. Замените URL адресом своей страницы, а V — нужным значением, заключив оба в кавычки в оболочке. Параметр --direct использует подключение вашей машины без аккаунта у прокси-провайдера. Команда запускает установленный Chromium и наблюдает первоначальную загрузку страницы; проверьте ограничения перехвата и результат повторного запроса, прежде чем менять задачу извлечения.
Полное описание использования, настройка помощника и вышестоящего прокси (EN)Что показывает отчёт
Найдите перехваченные ответы, содержащие ваше значение.
scrapescope find URL --value V один раз загружает страницу в headless Chromium и проверяет перехваченные текстовые ответы на указанные вами значения, включая распространённые закодированные формы. Команда ранжирует совпадения по оценке объёма передачи при отдельном запросе и отмечает cookie и токены, отправленные браузером. Она может пропустить слишком большие, вытесненные и бинарные ответы, ответы воркеров и содержимое, загруженное после первоначального перехвата. Необязательный повторный запрос проверяет кандидата без браузера; само совпадение ещё не означает, что ответ можно использовать повторно.
Локальный измеритель считает байты на своём соединении с вышестоящим прокси. Помощник браузера добавляет сведения о запросах, чтобы отчёт мог распределить эти итоги по типам ресурсов. Это разные измерения: итог по туннелю измерен, а доля, отнесённая к скрипту или изображению, распределена. Читайте пометки, прежде чем сравнивать с панелью вашего провайдера.
Типы ресурсов
Байты по типам ресурсов, таким как документ, скрипт, изображение, шрифт, медиа и XHR, распределённые из итогов туннелей каждого хоста.
Фоновый трафик браузера
Трафик, который браузер начал сам, с указанием компонента из каталога, например загрузки моделей optimisation guide в Chromium, но только когда хост есть в каталоге фонового трафика, подкреплённом доказательствами.
«Что если» и готовые исправления
Смоделированный эффект блокировки изображений, медиа и шрифтов или запрета фоновых хостов из каталога, с исправлениями для вашего стека, которые появляются, только если соответствующая проблема измерена в вашем прогоне.
Оценка до покупки
Режим прямой оценки работает без аккаунта у прокси-провайдера. Он измеряет именно этот прямой прогон; защищённый сайт может вести себя через прокси иначе, поэтому режим не предсказывает прогон через прокси или счёт. Смотрите, сколько страниц на 1 ГБ получилось этим способом на 34 публичных страницах.
Показатели на 1,000 единиц
Байты на 1,000 загрузок страниц и, если вы укажете свою ставку, оценка стоимости за прогон, за 1,000 единиц и за 1,000 успешных единиц.
Как читать отчёт
Три пометки, одна единица, никакого счёта.
Измерено по туннелю, распределено, оценено
В режиме с вышестоящим прокси итоги по хостам измерены по туннелю: это байты, записанные в сокет к вашему провайдеру и прочитанные из него, включая TLS, показанные с обменом CONNECT и без него. Прямая оценка измеряет соединение с целевым сервером и оценивает добавленный обмен CONNECT. Байты по запросам и по типам распределены из итогов хостов пропорционально размерам, о которых сообщил инструментированный клиент. Стоимость — это оценка: выбранный итог в байтах переводится в ГБ или ГиБ и умножается на введённую вами ставку.
ГБ означает 10⁹ байт
По умолчанию scrapescope считает в ГБ = 10⁹ байт; ГиБ (2³⁰ байт) примерно на 7.4% больше, а ключ --gib переключает отчёт на ГиБ. Проверьте, какую единицу использует ваш провайдер, прежде чем сравнивать.
Это не счёт
Провайдеры считают трафик по-разному: с обменом CONNECT или без него, в ГБ или ГиБ, с минимальными объёмами или округлением, с учётом неудачных запросов или без них. Сверка с биллингом какого-либо провайдера пока не опубликована, поэтому ни одно число в отчёте не имеет биллинговой точности.
Облачные браузеры не охвачены
Сервисы облачных браузеров отправляют прокси-трафик из собственной сети, поэтому локальный измеритель его не видит. scrapescope ничего о них не утверждает.
Блокировка может сломать извлечение
Блокировка изображений, медиа и шрифтов или запрет фоновых хостов может изменить поведение страницы или привлечь внимание антибот-систем, а запрет обновлений компонентов Chromium также останавливает данные об отзыве сертификатов и Safe Browsing. Каждое «что если» — это прогноз: сравните со вторым прогоном, прежде чем на него полагаться.
Заметки о методе
Как вычисляются показатели.
Scrapescope — локальный измеряющий прокси с открытым кодом для трафика скрейперов и браузерных агентов, направленного через него. Он измеряет байты туннелей по хостам; инструментированный клиент добавляет распределение по ресурсам. Команда find ранжирует перехваченные ответы, содержащие заданное значение, по оценке объёма передачи, а команда run поддерживает бюджет в байтах.
Оплачиваемая база
find ранжирует совпадения по сумме: байты закодированного тела + байты заголовков ответа + байты заголовков запроса + одна оценка нового TLS-рукопожатия в 7,200 байт для HTTPS. Это приближение одного отдельного запроса этого ответа по новому соединению клиентом, который принимает то же сжатие, что и браузер. Не учитываются обмен CONNECT, перенаправления и второе рукопожатие после неудачного возобновления сессии. В HTTP/2 и HTTP/3 нет отдельных размеров заголовков, поэтому оба поля заголовков равны 0, а совпадение помечается как multiplexed.
Оценка в 7,200 байт
Модель добавляет фиксированную оценку TLS-рукопожатия в 7,200 байт для HTTPS. Реальные цепочки сертификатов и повторное использование соединений различаются, поэтому настоящий запрос может передать больше или меньше. Это допущение модели, а не измерение рукопожатия для ответа-кандидата.
Группы
Туннели хостов без соответствующего запроса помечаются по правилам: background:<id> — только для хостов из каталога фонового трафика; before_attach — для туннелей, открытых до подключения помощника; preconnect_idle — для туннелей, которые не завершились ошибкой и передали не более 3,072 байт полезной нагрузки вверх и 6,144 вниз, что типично для соединения, открытого заранее и не использованного; иначе — unattributed. Хост вне каталога никогда не называется фоновым, а группы в сумме дают итог с CONNECT.
Стоимость
Стоимость появляется, только когда вы указываете ставку: общий объём в байтах, с CONNECT и без него, делится на 10⁹ (или на 2³⁰ с ключом --gib) и умножается на вашу ставку; то же считается на 1,000 единиц и, если известна успешность, на 1,000 успешных единиц. Пометка — estimated billable transfer (оценка оплачиваемой передачи).
Оценка по вашей ставке
Превратите измеренные байты в оценку стоимости.
Оценка стоимости передачи = байты ÷ 1,000,000,000 × ваша цена за ГБ. Для сравнения вычтите байты второго прогона из байтов первого, используя одну и ту же базу CONNECT и одинаковое число успешных единиц. В просмотрщике нет ставки по умолчанию; введите ставку своего провайдера.
Условный пример: первый прогон использует 200,000,000 байт, а второй — 150,000,000 байт на те же 100 успешных загрузок страниц. При условной цене $4 за ГБ оценки стоимости передачи составляют $0.80 и $0.60. Разница — $0.20 на 100 успешных загрузок, или $2 на 1,000, если результат повторится. Это выдуманные входные данные для демонстрации формулы, а не измеренная экономия и не предложение провайдера.
Проверьте результаты извлечения, прежде чем считать меньшее число байт улучшением. Используйте единицу (ГБ или ГиБ) и правила биллинга своего провайдера, учитывайте минимальные платежи и сравнивайте оценку со временем, которое нужно на внедрение и проверку изменения.
Конфиденциальность
Ваш отчёт остаётся на вашей машине.
Отчёт разбирается в вашем браузере внутри изолированного фрейма и никуда не загружается; никакие сведения о нём не отправляются в аналитику. Если вы согласились на необязательную аналитику, эта страница записывает только фиксированные метки: что отчёт открыт из файла, перетаскиванием или из встроенного примера и удалось ли его разобрать; что сравнивались два прогона; что скачана карточка для публикации; что скопирована команда установки; что использована ссылка на главную страницу. Имена хостов, объёмы в байтах, цены и имена файлов не покидают фрейм.
Конфиденциальность и аналитика (EN)Предшествующие работы
Основано на идеях, которые другие реализовали раньше.
Scrapescope опирается на существующие работы по инспекции запросов, локальной статистике прокси-трафика и анализу фонового трафика Chromium. README проекта называет эти источники и описывает модель измерений и её ограничения.
Полезно знать
Несколько ясных ответов.
Нужен ли аккаунт или прокси ipvolt, чтобы пользоваться scrapescope?
Нет. Используйте совместимый HTTP-прокси или режим прямой оценки без аккаунта у прокси-провайдера. В Scrapescope нет провайдера или ставки по умолчанию. Этот просмотрщик открывает файлы report.json, которые записывает инструмент.
Просмотрщик бесплатный? Что он отправляет?
Да. Страница и инструмент бесплатны. Отчёт разбирается внутри изолированного фрейма в вашем браузере и никуда не загружается. Необязательная аналитика, если вы на неё согласились, получает только фиксированные метки и никогда не получает имена хостов, объёмы в байтах, цены или имена файлов.
Почему показатели отличаются от панели моего провайдера?
scrapescope считает каждый байт на своём сокете к вашему провайдеру, включая TLS. Провайдер может считать другое подмножество: с обменом CONNECT или без него, в ГБ или ГиБ, с округлением или минимальными объёмами, с учётом неудачных запросов или без них. Относитесь к отчёту как к измерению на вашей машине, а не как к счёту.
Какие клиенты поддерживаются?
Клиенты, настроенные направлять HTTP- и HTTPS-запросы через Scrapescope, получают итоги по хостам. Запросы в обход измерителя не учитываются. Для распределения по ресурсам нужен помощник Playwright для Python или хуки Requests/HTTPX. Облачные браузеры не охвачены, потому что их трафик не проходит через ваш локальный измеритель.
Можно ли поделиться отчётом, не раскрывая целевые сайты?
Карточка для публикации создаётся на вашем устройстве, и вы сами решаете, скачивать ли её. Сам инструмент не записывает в отчёты строки запроса и может заменять хосты идентификаторами из каталога или хешами с ключом (--redact-hosts). Проверьте отчёт, прежде чем им делиться: это ваши данные.
Всегда ли блокировка уменьшает число байт?
Нет. «Что если» — это модель вашего измеренного прогона. Блокировка может изменить поведение страницы, сломать извлечение или привлечь внимание антибот-систем, а страница, которая при повторном визите загружает больше, может сдвинуть числа в обратную сторону. Измерением является второй, сравниваемый прогон; «что если» — это прогноз.
Ваше следующее соединение
Пользуйтесь инструментами уже сегодня.
Scrapescope можно бесплатно использовать с совместимым прокси или в режиме прямой оценки. Доступ к прокси ipvolt — отдельная услуга; если вам нужен и провайдер, посмотрите актуальную информацию о сервисе.
Proxy Toolkit MCP
Настройка прокси — прямо в вашем ИИ-агенте.
Генерируйте конфигурации прокси, диагностируйте ошибки подключения и находите нужное руководство.
Бесплатно · открытый код · работает с любым провайдером
Открыть MCP Toolkit (EN)