Dobre praktyki w testach A/B

|
|
Kategorie: Analityka Internetowa

Testy A/B pozwalają wcielić się w eksperymentatora. Obserwujemy, stawiamy hipotezy, przygotowujemy wersję testową i w końcu – pstryk – połowa użytkowników ląduje w alternatywnej rzeczywistości. Jak jednak właściwie wykorzystywać możliwości, które daje nam Google Optimize i podobne narzędzia? Poniżej przedstawiamy kilka wskazówek, które mogą pomóc ci lepiej prowadzić testy A/B.

Poprzyj swoje hipotezy rzetelnymi przesłankami…

Postaraj się nie wyważać otwartych drzwi. Nie testuj oczywistych błędów na stronie. Jeżeli rozlejesz kawę, to nie pytasz osób wchodzących do kuchni, czy podłoga spodoba im się bardziej, jeśli ją wytrzesz. Nie pukaj też w ścianę z nadzieją, że ci otworzą. Przed rozpoczęciem testów upewnij się, że twoje hipotezy są solidnie ugruntowane – w danych z twojej strony, w opiniach o niej, w dobrych praktykach lub w wiedzy naukowej.

… a czasem własną intuicją!

Bo ona przychodzi nam z pomocą tam, gdzie zawodzą nas ograniczenia naszych umysłów w przetwarzaniu danych. To dzięki niej jesteśmy w stanie sprawnie funkcjonować w dzisiejszym, zalanym informacjami świecie. Pamiętaj jednak, że sprawna intuicja wymaga najpierw bogatego doświadczenia, z którego może korzystać. Nie zawsze udaje się znaleźć konkretne dane na poparcie hipotez, a to co zadziałało w jednym przypadku, niekoniecznie zadziała w drugim. Zanim jednak porwie cię artystyczny szał upewnij się, że dane przynajmniej nie przeczą twojej hipotezie.

Ewa Kanczuk wywiad

Daj testom czas

Kiedy eksperymentujemy z czymś nowym odczuwamy dreszcz ekscytacji – czy to się uda? Co się wydarzy? Być może kiedy puszczasz nowy test zaglądasz co jakiś czas, czy spłynęły już jakieś dane. Nierzadko zdarza się, że następnego dnia test wygląda fatalnie: wersja testowa przyniosła o połowę mniej konwersji, które alarmują swoim czerwonym kolorem. Pojawia się strach i impuls do zamknięcia testu. Nie poddawaj się mu jednak! Sprawdź, czy wszystko działa jak należy, przyjrzyj się danym strony, a jeśli nie znajdziesz nic alarmującego – zachowaj cierpliwość.

Twój test jest tylko jednym z niezliczonych czynników, wpływających na złożoną istotę ludzką, która stała się użytkownikiem twojej strony na ścieżce swojej egzystencji. A mówiąc prościej: algorytm mógł wylosować do wersji testowej osoby, które miały gorszy dzień albo mniej pieniędzy. Dlatego tak ważne jest, aby zebrać wystarczająco dużą liczbę danych z wystarczająco długiego okresu czasu. To zmniejsza wpływ czynników zakłócających. Jeżeli rzucisz kością 6 razy, to mało prawdopodobne, że wypadnie ci każda liczba. Ale rzuć kością 6 tysięcy razy, a proporcje zaczną się wyrównywać.

Postępuj podobnie w przypadku, kiedy po paru dniach wyniki będą oszałamiająco dobre. Pozwól testowi trwać, bo to niestety także może być kwestią przypadku.

Wykres Google Optimize

Źródło: Google Optimize. Przedziały ufności zawężają się wraz z napływem danych.

Mierz unikalne i wielokrotne konwersje swojego celu

W bibliotece odbył się konkurs na najlepszego czytelnika. Policzono, które dzieci najczęściej wypożyczały książki i zwycięzcą ogłoszono Jasia, który z książką w plecaku wyszedł z biblioteki w tym roku 47 razy. Gdyby jednak bibliotekarz, odpowiedzialny za konkurs, policzył wypożyczone książki, mógłby się zdziwić, ponieważ Maciek pomimo, że był w bibliotece tylko 23 razy, to łącznie wypożyczył aż 83 książki.

Nawet jeżeli na twojej stronie w testowy przycisk nie klika więcej użytkowników, to okazać się może, że jeżeli już klikają – to klikają częściej.

Gogle Optimize zrzut

Źródło: Google Optimize. Widocznie większa różnica w wielu konwersjach na sesję.

Wykorzystuj wszystkie trzy cele w pełni

W 1945 roku niejaki Maine Spancer, pracujący nad udoskonaleniem radaru, wszedł do pokoju testowego z czekoladowym batonikiem w kieszeni. Po chwili zauważył, że batonik zaczął się roztapiać – i tak odkryto mikrofalę, w której być może podgrzałeś dziś lunch. Ponieważ Google Optimize umożliwia nam mierzenie do 3 celów, to nawet jeżeli testujesz CTA przycisku dodania do koszyka i potrzebujesz wykorzystać tylko 2, dodaj jeszcze i trzeci – choćby pozornie nie powiązany z testem, jak średnia wartość koszyka. Może okazać się, że choć użytkownicy nie klikają w przycisk chętniej, to wydają więcej pieniędzy. A po takim odkryciu możesz już tylko otworzyć szampana, który… też jest dziełem przypadku!

Wykorzystaj własne obliczenia

W raportowaniu Google Optimize znaleźć możesz informację o prawdopodobieństwie najlepszej kombinacji i przekroczenia wartości podstawowej. Nie warto jednak ślepo wierzyć wynikom obliczeń, których nie możemy zobaczyć. Dlatego oprócz nich warto oprzeć się na odpowiednich testach statystycznych. Kanapka ze sklepu może wyglądać kusząco i być smaczna, ale będziesz mieć pewność co znajduje się w środku tylko wtedy, jeżeli sam ją przygotujesz.

Szybki Audyt Google Analytics - baner

Komentarze do artykułu: Dobre praktyki w testach A/B