От стенда до отчёта: проверка с понятными границами.

До запуска зафиксируйте условия, которые должны оставаться понятными после теста.

• Убедитесь, что вам предоставлен доступ к закрытой проверке и настроенному серверу.
• Запишите модель телефона, версию ОС, тип сети, транспорт, наличие VPN и обозначение сервера.
• Проверьте дату, время и часовой пояс телефона и сервера: рассинхронизация мешает сопоставлять журналы.

Сначала получите базовый результат в неизменных условиях, затем меняйте только один фактор нагрузки.

• Для базового запуска сохраните один профиль данных, маршрут, транспорт и сетевое подключение.
• Для нагрузки повторите тот же сценарий с заранее записанным изменением интенсивности или параллельности.
• Не сравнивайте запуски, если одновременно изменились сеть, сервер, профиль данных и транспорт.

Сохраните исходные журналы телефона и сервера для одного и того же запуска.

• Отметьте идентификатор запуска или другой доступный признак сопоставления и точный временной интервал.
• Храните исходные файлы без редактирования; пояснения и пометки добавляйте отдельно.
• Перед передачей проверьте, что журнал не содержит закрытых данных доступа или лишних персональных данных.

Связывайте записи по идентификатору запуска, времени, серверу и транспорту, а не только по порядку строк.

• Приведите отметки времени к одному часовому поясу и сохраните исходные значения.
• Проверьте, что телефон и сервер описывают один профиль данных и один временной интервал.
• Если парная запись не найдена, отметьте пропуск; не подставляйте значение из соседнего запуска.

Рассматривайте измерение вместе с условиями и размером выборки.

• Доступность описывает успех, ошибку, таймаут и этап отказа, но сама по себе не доказывает причину.
• Задержка относится только к фактически измеренному этапу. Отсутствие измерения не равно нулю.
• Нагрузочный результат сравнивайте с базовым по распределению и ошибкам, а не по одной средней величине.

Сформируйте отчёт способом, предусмотренным конфигурацией выданного стенда.

• Включите условия запуска, временной интервал, объём выборки, измеренные этапы и ошибки.
• Добавьте ссылки на исходные журналы и явно перечислите пропуски, допущения и ограничения.
• Публичный сайт не формирует отчёт и не принимает экспортированный файл.