Кто ни будь занимался A/B – тестированием своих проектов?

[setevoi]

Думаю, что большинство тех кто работает над юзабилити своих проектов знает что такое вебвизер.
Он позволяет нам выработать версию, что же такого улучшить в сайте, но любая версия нуждается в проверке.
Ну а проверку версии можно сделать только через A/B тестирование.

Какие инструменты и сервизы вы используете для A/B тестирования ?
Какие результаты были достигнуты?

делитесь опытом

 

[BACZ]

Инет-магаз + корп. сайт СДЛ, розница и опт
Скорее не А/В а "вот поменяли что то, люди отреагируют как то, если что накатим бекап обратно"
а) Если поменяли с хорошего на фигню резко увеличивается количество отказов на эту страницу (до +10%)
б) Иногда они удивительно откликаются на минимальные перемены - переименовали раздел "Дисконт" в раздел "Распродажа" - количество просмотров в день для раздела увеличилось вдвое
в) Им (посетителям) почти пофиг вырвиглазная графика - если они протоптали дорожку к любимым популярным товарам то не мешает даже реклама с отрицательной художественной ценностью (например от региональных партнеров которые за размещение их рекламы что то там в продажах делают важное - закупают и продают больше например в ихних розничных магазинах)
г) Офигенно любят слова "распродажа", жмут на любые баннеры и реально раскупают то что распродается.

а вообще решает директ, а не дизайн

 

[setevoi]

Скорее не А/В а "вот поменяли что то, люди отреагируют как то, если что накатим бекап обратно"а) Если поменяли с хорошего на фигню резко увеличивается количество отказов на эту страницу (до +10%)

Ну именно так у многих и происходит.
Поменяли какую то фигнюну например: увеличили размеры картинок на карточке товара.
% отказов не изменился по остальным критериям тоже не оч понятно.
Конверсия в заказы на коротком промежутке тоже не всегда явный показатель.
Тоесть мы что то сделали, но на
Вопрос: Какой результат мы получили?
Ответ: А хрен его знает

в) Им (посетителям) почти пофиг вырвиглазная графика - если они протоптали дорожку к любимым популярным товарам то не мешает даже реклама с отрицательной художественной ценностью (например от региональных партнеров которые за размещение их рекламы что то там в продажах делают важное - закупают и продают больше например в ихних розничных магазинах)

Вот это утверждение совсем спорно.
если графика вырви глаз это смертельно для маленького и среднего интернет-магазина.

Такую графигу могут простить только магазинам и известным именем
Например Юлмарту или Розетке, если они перекрасят свой сайт в ядовито зеленый или розовый то люди не перестанут там покупать.
Они будут материться, ругаться и кричать какой звездец у них сайт, но будут покупать

 

[jDony]

Во-первых:
- A/B тестирование надо проводить только если у вас есть стабильно-большой поток трафика. На маленьком трафике(<1000 в день) ни о каком тестировании речи быть не может. Да, оно даст результаты, но эти результаты будут недостоверные.

Во-вторых:
- Для проведения A/B тестирования необходимо отслеживать посетителя ОТ и ДО. Т.е, отслежнивание посетителя начинается сразу как только он попадает на страницу, и заканчивается только ПОСЛЕ совершения конечного действия (покупки\ввода email\etc...)

Общее:
- Отдельный тест(например: смена цвета ссылок) может показать увеличение продаж на 10%(допустим), но в совокупности с другим тестом(перемещение блока ссылок в другое место) кол-во продаж может снизиться на 50%.
Для отслеживания всех этих показателей - необходимо иметь довольно таки сложную систему аналитики, что для обычного сайт дикий оверхед.


Для мелких сайтов существуют готовые решения, как на PHP, так и на остальных языках(Split на ruby например).
Я сейчас не вспомню названия готовых решений, но они есть на хабре, в хабе "Тестирование", там можно поискать.

Так же на хабре была небольшая статья-перевод про оптимизацию лендинга с помощью тепловой карты.

Быстрым поиском нашел только Для просмотра ссылки Войди или Зарегистрируйся эту статью с подборкой инструментов для юзабилити тестирования.

Вот небольшая статья анализ тепловой карты Для просмотра ссылки Войди или Зарегистрируйся

Можно так же глянуть Для просмотра ссылки Войди или Зарегистрируйся ролики, там описывается имеено сама реализация A/B тестирования.

 

[setevoi]

- Отдельный тест(например: смена цвета ссылок) может показать увеличение продаж на 10%(допустим), но в совокупности с другим тестом(перемещение блока ссылок в другое место) кол-во продаж может снизиться на 50%.
Для отслеживания всех этих показателей - необходимо иметь довольно таки сложную систему аналитики, что для обычного сайт дикий оверхед.

Поэтому я думаю хорошим тоном будет тестировать не более одного изменения за раз.

 

[jDony]

Поэтому я думаю хорошим тоном будет тестировать не более одного изменения за раз.

Это само собой.

Так же я забыл упомянуть про то, что итоговую конверсию(по результатам тестирования) необходимо смотреть не только по общему соотношению посетители\конверсии, но и по отдельным показателям, таким как: пол, возраст, время.
Чем больше дополнительных данных есть на каждого посетителя - тем лучше.

Как пример:
Предмет тестирования: главный баннер.
ТестА - текст на баннере "Купите товары с сумашедшой СКИДКОЙ 50%".
ТестБ - текст на баннере "РАСПРОДАЖА товаров со скидкой 50%".

По итогам тестиорвания у вас может сложиться такая ситуация:
- ТестА показал увеличение конверсии на 15%
- ТестБ показал рост на 5%.

Можно сделать вывод что ТестА показал себя лучше, и следует использовать его.

Но если посмотреть результаты тестирования по отдельным параметрам(например пол
- ТестА показал что кол-во продаж мужчинам было 80%, женщинам 20%
- ТестБ показал что кол-во продаж мужчинам было 30%, женщинам 70%

Таким образом у нас есть четкий вывод:
Для мужчин и для посетителей у которых мы не можем определить пол - мы будем показывать баннер из тестаА
Для женщин будем показывать баннер из тестаБ.

Такое разделение позволит эффективно использовать результаты теста, и охватить всю аудиторию сайта.

Разумеется после этого стоит провести еще несколько этапов тестирования, для подтвержения наших догадок, и для более полного анализа.

 

[balck]

Вот мое мнение:
1. Ab тестирование оправдано даже на сайтах с посещаемостью 10-60 человек - это первое. Проверено неоднократно.

2. Сервис например Для просмотра ссылки Войди или Зарегистрируйся этот. Но считаю, что сервисы это не для каждого: мы смотри. Сами и меняем страницы сами.

3. Считаю что при небольшой посещаемости вполне реально менять по одному элементу как по расположению блоков лендинга так и по дизайну

4. При массовом а/б тестировании мы заметили (что крайне удобно) по тепловизору yandex на что больше внимание. Отсюда и пляшем: усиливаем блок/кеопку и толкаем к клику эмоциями (графикой) или текстом

Вот и вся тема.

Хотя, смысл имеет, скорее только при комплексной работе с воронкой продаж сайта. Сам по себе в/б тест почти бесполезен

 

[dandandan]

На английском языке про А/В тестирования с посощью Гугл Оптимайзера
Для просмотра ссылки Войди или Зарегистрируйся
Для просмотра ссылки Войди или Зарегистрируйся

 

[Vyrd2014]

Сколько по времени (примерно) вы анализируете, чтоб принять решение, что нужно что-то добавить / изменить?

 

[ivanoff12]

Поэтому я думаю хорошим тоном будет тестировать не более одного изменения за раз.

полностью согласен. дизайнер должен управлять что на первом плане, что на втором, что первым бросается в глаза, что потом и так далее.
тестировать можно только мультивариантность - именно то самое одно изменение; один баннер; одно сообщение и так далее.
все остальное должно быть хорошо и правильно