A/B тест: технология, которая меняет правила бизнеса

Очень интересная статья о работе над дизайном (хотя это был конечно не только дизайн) во время предвыборной компании Обамы The A/B Test: Inside the Technology That’s Changing the Rules of Business

"For the button, an A/B test of three new word choices—”Learn More,” “Join Us Now,” and “Sign Up Now”—revealed that “Learn More” garnered 18.6 percent more signups per visitor than the default of “Sign Up.” Similarly, a black-and-white photo of the Obama family outperformed the default turquoise image by 13.1 percent. Using both the family image and “Learn More,” signups increased by a thundering 40 percent."

Т.е. за счет простой процедуры получили больше на 40 % регистраций пользователей. Нереально?
Суть A/B теста проста: респондентам предъявляются разные версии сайта (см. картинку внизу: какую версию вы бы предпочли?) и считаются их реакции:

• количество лайков
• время, проведенное на сайте
• больше переходов по ссылкам
• И т.п..

а потом считается стат значимость различий и принимается решение, какая версия дает лучшие показатели.

Мне кажется, это не заоблачная технология, требующая серьезных вложений, а вполне обычная процедура анализа логов

Процедура:

1. мы меняем дизайн и даем его случайно выбранной выборке сотрудников (рандомизация нужна для корректности принятия решения)
2. записываем реакции в логи
3. выгружаем логи и анализируем