Есть несколько способов проверки:
Эвристическая оценка - проверка на соответствие списку критериев, т.е. проверка по чек-листам. Например, по эвристикам Нильсена.
Сценарная оценка - проверка на соответствие предложенного решения сценариям использования. Решение, идеальное для геймеров, проводящих 12 часов в день перед большим экраном десктопа, будет неудобным для таксистов, заходящих с мобилы 10 раз в день по 1 минуте в ожидании заказа.
Веб-аналитика. Получение статистики по заранее настроенным "точкам". Есть несколько видов, их эффективность зависит от настроек сбора данных. Можно узнать, где проблемы интерфейса.
Но можно получить ложную информацию, т.к. бывает, что одним устройством пользуются разные люди (проблема cookies). И бывает что пользователь начал работать утром за ноутом, а продолжил в обед с мобилы.
Тестирования на пользователях. Самый объективный и быстрый способ получить количественные данные при правильном проведении тестирования. Подобрать группу, соответствующую образу "персонажей", а не согнать семью/друзей. Перед тестированием пользователям нужно дать задание, а не подсказки. Во время тестов фиксировать процесс, а не комментировать, и т.д.
Интервью или опрос тестируемых. Особенно интересные результаты дает опрос тех, у кого был негативный опыт. Это позволит выявить "боль" пользователя. Этот сбор не количественных, а качественных данных гораздо более длительный/дорогой процесс, но он может дать принципиально иную информацию, нежели остальные способы сбора информации.
Есть еще разновидности и подвиды перечисленных способов. Например, A/B-тестирование. С его помощью можно сравнить эффективность разных решений. Но это не метод оценки, а метод сравнения.
Популярный метод оценки по 10 эвристикам Якоба Нильсена используют в качестве эталона. Но есть и другие, более полные методы эвристической проверки. Наиболее полный список состоит из почти 1000 критериев.
При проверке прототипа важно учитывать, что проверяются одновременно и UX и UI. Если в прототипе мелкие кнопки или Call-to-Action незаметный, то это негативно повлияет на прохождение теста на пользователях, при том, что UX идеальный, а UI плох.