Аутсорс-исследование пользователей для финансовой компании

Из-за NDA не можем раскрывать детали этого проекта, поэтому расскажем о нем без лишней конкретики. Даже название компании разглашать не можем, поэтому поменяем его: пусть она зовется «Мелкий шрифт».

«Мелкий шрифт» — один из крупнейших банков в России. У компании много продуктов и собственная исследовательская команда, но ресурсов не хватает, чтобы закрывать все задачи. Поэтому подключают внешних специалистов на аутсорс.

Мы часто работаем как UX-отдел на аутсорсе, не только создавая дизайн интерфейсов, но и, если нужно, выполняя продуктовые исследования.

Мы собрали для заказчика список возможных работ: сбор требований, интервью, тестирования, гайды, отчёты, презентации — всего больше 20 пунктов. «Мелкий шрифт» может в любой момент прийти с задачей, а мы соберём из этих пунктов нужное исследование.

В этом кейсе расскажем про один такой проект от запроса до результата.

Задачи бизнеса

Заказчик пересматривал концепцию переводов в мобильном приложении. Раньше для переводов себе, другому человеку, юрлицу или в бюджет были отдельные точки входа.

Теперь их заменили одной универсальной строкой: пользователь вводит любые данные, а система сама определяет тип перевода и ведёт по нужному сценарию.

Нужно было проверить, как люди справляются с новыми интерфейсами.

Мы, конечно, изучали не именно этих пользователей. Но вполне, вполне могли бы и их

Задачи исследования

• Понять, как клиенты воспринимают и используют новый сценарий переводов, и дать рекомендации по улучшению.
• Провести модерируемое юзабилити-тестирование четырёх ключевых user-flow и замерить Single Usability Metric (SUM)

Результат

По итогам проекта заказчик получил внешнюю оценку интерфейсов, проверку гипотез и рекомендации по устранению критических проблем, что должно положительно сказаться на продуктовых метриках.

Наша работа полностью соответствует оговорённым в начале года пунктам меню, и даже включает несколько дополнительных кусочков на десерт.

UJM по итогам исследования

Что мы сделали

• Собрали запросы со стороны разных команд внутри продукта, на их основе сформулировали 33 гипотезы на проверку.
• Составили гайд для модерируемого юзабилити-тестирования четырех user-flow с элементами А/Б-теста и сценарий для прототипа.
• Провели весемь модерируемых юзабилити-тестирований с замером Single Usability Metric.
• Выделили более 200 ключевых цитат и наблюдений по ~40 кодам.
• Составили UJM по четырем user-flow, отразили на ней ~50 ключевых инсайтов
• Выделили 10 наиболее критических проблем и предоставили рекомендации по их решению.
• Провели презентацию для более чем тридцати сотрудников заказчика.

Результаты проверки гипотез

Дополнительно

Любой выход к пользователям — это соблазн проверить больше, чем позволяет рамка проекта. Этот случай не стал исключением: заказчик собрал гипотезы из разных команд, и часть из них выходила за пределы основной задачи.

Мы трижды пересобирали список гипотез и гайд. Что-то пришлось отложить, но многие вопросы всё же попали в тестирования.

В итоге заказчик получил не только данные по основным сценариям, но и ценные инсайты по другим интересующим его темам.

Три итерации работы над списком гипотез и гайдом

Помимо записей и расшифровок, передали заказчику таблицу тематического кодирования с более чем 200 ключевыми цитатами и наблюдениями. Эти данные аналитики заказчика могут использовать по своему усмотрению.

Особенности

Один из запросов заказчика — сравнить несколько интерфейсных решений и выбрать лучшее на основе Single Usability Metric (SUM). Это скорее запрос на A/B-тест, чем на классическое модерируемое тестирование.

Мы предложили способ, как встроить такой тест в текущую методологию. Один из флоу показывали в двух вариантах: половине участников версию А, другой — версию Б.

По обеим группам замерили SUM. Выборка было небольшой, и мы заранее проговорили, что к ней нельзя применять полноценную статистику, но даже такими с ограничениями заказчик получил полезный результат.

Уровень успешности оказался одинаковым, но по удовлетворённости вариант А оказался сильнее — именно его мы рекомендовали к внедрению.

Замерили Single Usability Metric для двух вариантов одного из флоу.

У заказчика были и точечные вопросы — вроде «как лучше скомпоновать информацию на экране Х». Такие запросы мы вынесли в отдельный блиц-опрос в конце сессии.

Показывали пользователям пары экранов и просили короткую обратную связь. Этот формат помог закрыть ещё несколько продуктовых и интерфейсных задач.

Нюансы процесса

Самый трудоёмкий этап таких проектов — аналитика.

По методологии нужно применять тематическое кодирование: выписывать цитаты по каждому фокусу анализа и сопоставлять высказывания между собой. Если делать руками, это занимает недели.

Мы ускорили процесс в разы за счёт ИИ — без потери качества.

Чтобы избежать типичных для нейросетей галлюцинаций, используем строгую методику. Если просто закинуть в модель транскрипты и попросить цитаты — она их нафантазирует. А нам нужна точность.

Что мы делаем:

• Первое интервью кодируем вручную и строим на его основе кодификатор.
• Промпты для анализа следующих интервью пишем на базе кодификатора. Многократно повторяем, что перевирать – нельзя.
• Транскрипты подаём модельке порциями — строго в пределах лимита по токенам. Если его превысить — будут галлюцинации.
• Цитаты от ИИ сверяем вручную. Если хоть одна не совпадает — повторяем прогон с уменьшенным объёмом входных данных.

Так нам удаётся сохранить точность академического уровня и при этом ускорить аналитику с недель до нескольких дней.

Таблица тематического кодирования