Table of Contents

Почему тестирование прототипов является фазой макияжа или укора

Тестирование прототипов находится на пересечении инженерии, дизайна и психологии пользователей. Для потребительской электроники впервые концепция становится тем, что вы можете держать, нажимать и ломать. Данные, которые вы собираете здесь, определяют, запускает ли ваш продукт в качестве лидера рынка или дорогостоящей статистики отзыва. Правильное получение показателей отделяет команды, которые уверенно от тех, которые отправляют слепые. Эта статья разбивает каждую критическую категорию, которую вам нужно измерить, почему каждая имеет значение и как собирать данные, не отравляя ваш образец.

Метрики производительности: за пределами таблицы данных

Лабораторные стендовые тесты необходимы, но никогда не достаточны — истинные поверхности производительности, когда устройства обрабатываются человеческими руками в непредсказуемых условиях.

Жизнь батареи в реальных моделях использования

Производители часто приводят срок службы батареи с использованием идеализированных тестов непрерывного использования (постоянный экран на, без фоновых приложений). Реальные пользователи разные. Они берут устройство, помещают его вниз, получают уведомления, периодически потоковые и оставляют приложения запущенными. Измеряют срок службы батареи со сценарием смешанного использования, который имитирует реальное поведение: переменный холостой ход, активное использование и циклы сна. Лог кривой напряжения и время до 0%. Для продуктов с перезаряжаемыми батареями также отслеживают деградацию цикла после 100 и 500 циклов зарядки. Потеря емкости 10% после 300 циклов может быть приемлемой для фитнес-трекера, но не для ноутбука.

Скорость обработки и тепловое дросселирование

Исходные показатели скорости обработки (Geekbench, Antutu, внутренние скрипты) полезны, но метрика, которая имеет значение в прототипе, - это устойчивая производительность. Многие потребительские электроники дроссельной CPU / GPU скорости после 5-10 минут интенсивного использования для предотвращения перегрева. Измерьте время дроссельной заслонки, процентное падение и время восстановления после охлаждения устройства. Для гарнитур AR / VR и высококачественных смартфонов тепловое дросселирование может испортить опыт. Документировать температуру окружающей среды во время тестирования - 22 ° C лабораторные данные не будут соответствовать 35 ° C наружное летнее использование.

Время отклика и задержка ввода

Человеческое восприятие задержки составляет около 100 миллисекунд для визуальной обратной связи и 20 мс для тактильной обратной связи. Время отклика включает задержку сенсорного дигитайзера, обработку системы и обновление дисплея. Используйте высокоскоростные камеры (240 кадров в секунду или быстрее) с роботом сенсорного ввода для измерения точной задержки между нажатием и обновлением экрана. Для аудиоустройств задержка туда и обратно от источника до динамика имеет решающее значение для мониторинга в реальном времени. Цель для <10 мс в профессиональном аудио и <40 мс в потребительских наушниках Bluetooth.

Стабильность подключения под стрессом

Wi-Fi, Bluetooth и сотовые соединения, как известно, являются привередливыми. Тест стабильность подключения путем моделирования помех: совместное размещение нескольких устройств Bluetooth, потоковое по Wi-Fi с другими пользователями на том же канале и измерение времени потери пакетов и переподключения. Для устройств IoT, проверьте диапазон на 10, 30 и 50 метров через стены. Логировать количество отключений в час и время для автоматического восстановления связи. Умный домашний концентратор, который падает свой Wi-Fi после трех настенных рабочих мест, является продуктом, который возвращается.

Метрики пользовательского опыта: что люди на самом деле чувствуют

Вы можете иметь производительность мирового класса, но если пользователи найдут устройство запутанным или неудобным, оно выйдет из строя. UX-метрики требуют сочетания поведенческих наблюдений и самоотчетных данных.

Простота использования: первые пять минут

Настройка в первый раз является самым высоким барьером в потребительской электронике. Измерить время, которое требуется наивному пользователю для разблокировки, пары / соединения, и выполнения основной задачи (например, сделать звонок, записать видео, настроить громкость). Отслеживать скорость успеха задачи без каких-либо инструкций - если более 20% пользователей терпят неудачу, поток на борту нуждается в редизайне. Используйте шкалу юзабилити системы (SUS) анкета после первой сессии, чтобы получить стандартизированный балл. Оценка SUS ниже 68 указывает на серьезные проблемы юзабилити.

Удовлетворенность пользователей и показатель Net Promoter

Удовлетворенность — это больше, чем смайлик. Используйте комбинацию вопросов масштаба Likert (1-7) и открытых подсказок, таких как «Что вас больше всего расстроило?». Рассчитайте оценку Net Promoter Score (NPS) , задав вопрос «С какой вероятностью вы порекомендуете этот продукт другу?» по шкале 0-10. Оценки выше 50 отлично подходят для потребительской электроники. Также отслеживайте эмоциональный ответ с помощью опросника пользовательского опыта (UEQ) , который охватывает привлекательность, проницательность, эффективность, надежность, стимуляцию и новизну.

Ошибка и исправление Grace

Скорость ошибок не только о сбоях — она включает в себя ошибки пользователя, такие как нажатие неправильной кнопки, неспособность найти настройку или непонимание подсказки. Подсчитайте каждое действие, которое отклоняется от оптимального пути. время восстановления: сколько времени требуется пользователям, чтобы исправить ошибку и продолжить? Высокий уровень ошибок с быстрым восстановлением приемлем; низкий уровень ошибок, но катастрофическое восстановление (потеря данных, сброс заводских данных) является показательным.

Кривая обучения: как быстро они становятся мощными пользователями?

Отслеживайте количество сеансов, необходимых пользователям для выполнения общей задачи (например, изменение конфигурации) без помощи ссылок. Зафиксируйте кривую обучения, измеряя время выполнения задачи через сеансы. Идеально подходит крутая кривая с быстрым улучшением. Для продуктов со сложным управлением (например, беззеркальные камеры или 3D-принтеры) приемлемое время для владения может составлять 2-3 часа использования. Если пользователи все еще теряются после 10 часов, парадигма интерфейса нуждается в серьезном переосмыслении.

Метрики надежности: долгосрочный характер продукта

Показатели надежности предсказывают, что произойдет после начального периода медового месяца покупателя. Их трудно измерить в коротких прототипных циклах, но существуют ранние показатели.

Уровень отказов и режимы отказов

Документируйте каждый сбой (неожиданное поведение) во время тестирования, даже незначительные, такие как ненадежный светодиод. Категоризируйте сбои по степени тяжести: критические (устройство непригодно для использования), основные (потеря функции с обходным ходом), незначительные (косметический). Используйте режим сбоя и анализ эффектов (FMEA) для присвоения приоритетных номеров риска. Ранние прототипы часто имеют фазу младенческой смертности — высокий сбой в первые 10-20 часов использования. Это нормально, но цель состоит в том, чтобы устранить все критические сбои до бета-сборок.

Долговечность: Механическая и экологическая

Потребительская электроника должна выживать в ежедневном злоупотреблении. Испытание на падение с 1 метра на бетон является стандартным, но добавьте сценарии кармана и сумки. Метрики долговечности включают устойчивость к царапинам (карманный песок), количество циклов шарнира (для складных или ноутбуков) и циклы вставки / вывода разъема (порты USB-C должны выдерживать 10 000 циклов). Используйте автоматические приводы для повторения общих действий тысячи раз. Продукт, который выходит из строя после 2000 циклов складывания, не готов к рынку.

Среднее время между неудачами (MTBF) и его ограничениями

MTBF — это статистическая оценка от тестирования на надежность. Запустите партию прототипов в тестах на ускоренный срок службы (например, питайтесь в течение 1000 часов при температуре окружающей среды 50°C). Расчитайте MTBF как общее количество рабочих часов, разделенное на количество отказов. Однако MTBF предполагает постоянную частоту отказов, что редко бывает верно для электроники. Используйте его в качестве грубой направленной метрики, но соедините его с анализом Weibull для моделирования различных моделей отказов. Для умных часов MTBF в 50 000 часов минимален; для промышленного датчика ожидается 200 000 часов.

Стабильность программного обеспечения: скорость сбоя и отслеживание утечки памяти

Крахи в программном обеспечении и приложениях являются основной причиной возврата. Логировать каждое программное обеспечение ошибка со следом стека и классифицировать по частоте в час использования. Отслеживать использование памяти с течением времени — медленная утечка памяти, которая падает после 72 часов, не появится в 4-часовом лабораторном тесте. Используйте автоматизированные скрипты, которые имитируют длительные периоды простоя, фоновое переключение приложений и быстрый вход, чтобы спровоцировать условия гонки. Частота аварий выше 0,1% сеансов неприемлема для продукта доставки.

Физическая и эргономичная метрика: ощущение устройства

Аппаратные средства трудно оценить, но вы должны, если хотите стабильное качество. Эти показатели сочетают промышленный дизайн и комфорт.

Распределение веса и центр тяжести

Устройство, которое сверху тяжелое, чувствует себя неуравновешенным в руке. Измерьте центр тяжести относительно точки захвата. Для портативных инструментов (например, умный пульт, игровой контроллер) COG должен лежать в области ладони. Используйте датчик силы для измерения крутящего момента, необходимого для наклона устройства на 30 градусов. Сравните с продуктами конкурентов. Пользователи могут не сформулировать «это чувствует себя выключенным», но они избегнут его использования.

Кнопка Сила и актуация Чувство

Механические кнопки, клавиши клавиатуры и тачпады имеют специфические кривые силы . Используйте тестер с перемещением силы для измерения пиковой силы и тактильной точки обратной связи. Кнопки должны требовать 1,5-2,5 Н силы для положительной обратной связи щелчка, не будучи слишком жесткими. Мембранные переключатели на пультах дистанционного управления нуждаются в 1,0-1,5 Н. Измерять гистерезис — разницу между силой активации и силой высвобождения — для обеспечения постоянного ощущения. Слишком много мертвой полосы, и пользователь будет случайно нажимать двойное давление.

Температура поверхности повышается

Во время зарядки или тяжелой обработки устройства становятся теплыми. Измерять температуру поверхности в точках касания после 30 минут работы максимальной мощности. Любое пятно, превышающее 45 °C, неудобно; выше 50°C может вызвать ожоги низкой степени при длительном контакте (30+ минут). Используйте термопары или тепловые камеры. Также отслеживайте скорость повышения температуры — постепенное повышение более терпимо, чем внезапный всплеск.

Экологические и нормативные показатели

Они часто рассматриваются как отдельные этапы квалификации, но раннее измерение прототипа может предотвратить дорогостоящие изменения дизайна.

Рейтинги защиты от проникновения (IP)

Если продукт требует какой-либо устойчивости к воде или пыли, тестирование прототипа должно подтвердить рейтинг IP . Даже для негерметичных устройств измеряйте попадание пыли через 8 часов в пылевой камере Talcum. Для проверки водостойкости используйте капельные, распылительные и погружение в соответствии с IEC 60529. Зарегистрируйте любую влагу внутри корпуса. Ранние прототипы часто протекают при механических уплотнениях - улавливание этого перед затвердеванием инструментов экономит месяцы.

Электромагнитная совместимость (EMC)

Потребительская электроника не должна излучать чрезмерные электромагнитные помехи (ЭМИ) и должна выдерживать внешние поля. Используйте анализатор спектра для предварительного сканирования проводимых и излучаемых выбросов. Сравните с ограничениями FCC Part 15 или EN 55032. Также проверьте иммунитет — вызывает ли близлежащий сотовый телефон сбой дисплея или шум звука? Ранние исправления прототипа EMC стоят гораздо меньше, чем после сертификации повторных спинов.

Методы сбора данных, которые не лгут

Хорошие метрики бесполезны, если метод сбора вводит предвзятость. Вот проверенные подходы для каждой категории.

Автоматическая регистрация для объективных данных

Прибор прототипа прошивки для регистрации всех событий системы: напряжение батареи, частота процессора, Wi-Fi RSSI, нажатия кнопок, касания экрана, сбои и пути возобновления. Отметьте все с точностью до миллисекунды. Храните журналы на SD-карте или поток по USB, чтобы избежать ограничений памяти. Для показателей производительности автоматизированное ведение журналов устраняет человеческие ошибки и захватывает крайние случаи, которые наблюдатели пропускают.

Контролируемые пользовательские исследования с помощью записи экрана

Для UX и эргономики, запустите между-субъектов или внутри-субъектных тестов. Используйте специальную лабораторию юзабилити с двумя камерами — одна на лице пользователя (для эмоциональных реакций), одна на экране устройства. Запишите взаимодействие экран в 60 кадров в секунду. Захват аудиокомментариев пользователя, как они думают вслух. Анализ видео для точек колебания , повторные входы и выражения разочарования. Назначьте каждой точке колебания оценку тяжести.

Опросы с заостряющими вопросами

Используйте проверенные анкеты, а не домашние. SUS, UEQ и NPS широко распространены в категориях электроники. Избегайте ведущих вопросов, таких как «Было ли устройство удобным?» Вместо этого используйте «Стоимость этого устройства по шкале от 1 (очень неудобно) до 7 (очень удобно)». Включите раздел с открытым концом для неспешной обратной связи. Объясните пользователям сразу после теста, а не через несколько дней, чтобы захватить свежие впечатления.

Стресс-тестирование как доказательство слабости

Намеренно выталкивайте устройство за пределы предполагаемой среды. Запустите стресс-тесты: быстрая циркуляция температуры (от -10°C до 60°C за 1 час), вибрация (1-10 Г rms случайный), электростатический разряд (8 кВ контакт, 15 кВ воздух). Также нажмите на кнопку питания 20 000 раз, вставьте/удалите зарядный кабель 10 000 раз. Документируйте самое слабое звено — это почти всегда разъем, шарнир или тепловой интерфейс. Исправьте это, затем повторите тест.

Объединяя метрики с заинтересованными сторонами

Сырые показатели не определяют решения; четкая визуализация и приоритетность. Создайте панель результатов тестирования с индикаторами светофора (зеленый = пропуск, желтый = предельный, красный = отказ) для каждой основной метрики. Включите диаграмму Парето режимов отказа - 20% причин, которые приводят к 80% проблем, должны быть очевидными. Свяжите каждую красную метрику с конкретным действием (например, «увеличение площади теплоотвода на 20%»). Избегайте закапывания исполнительного резюме в сырые данные; поместите сначала ключевые выводы, а затем методологию для инженеров, которым нужны детали.

Заключение

Прототипное тестирование для потребительской электроники — это не одно событие — это непрерывная петля обратной связи, которая начинается с самого первого функционального щита и заканчивается только тогда, когда продукт поставляется. Систематически измеряя производительность, пользовательский опыт, надежность, эргономику и устойчивость к окружающей среде, команды снижают риск запуска и создания продуктов, которым люди доверяют и которым наслаждаются. Метрики в этой статье формируют всеобъемлющий инструментарий, но наиболее важной метрикой всего является , как быстро вы учитесь . Каждый провал на этапе прототипа — это урок, который, если его поймать и действовать, делает конечный продукт сильнее. Измеряйте мудро, безжалостно итеративно, и ваш продукт будет занимать свое место на рынке.

Для дальнейшего чтения по конкретным методологиям см. руководство по тестированию юзабилити Nielsen Norman Group , процедуры тестирования потребительских отчетов и библиотеку стандартов надежности .