Počet odberateľov sa po kampani zvýšil, ale samotná časová nadväznosť nepreukazuje príčinu. Naučte sa zmenu presne zapísať, preveriť iné vysvetlenia a formulovať obhájiteľný záver.
Kampaň odišla v pondelok a od utorka začal počet odberateľov rásť. Na prvý pohľad sa ponúka jednoduchý záver: kampaň priviedla nových odberateľov. Takéto tvrdenie však zo samotného poradia udalostí nevyplýva.
Graf potvrdzuje, kedy sa zobrazený počet zmenil, nie čo zmenu spôsobilo. Medzi kampaňou a rastom môže existovať súvislosť, ale časová zhoda ešte nie je dôkazom príčiny. Presnejšie vyhodnotenie preto nezačína hodnotením kampane. Začína neutrálnym zápisom zmeny a otázkou, akými cestami mohli noví odberatelia skutočne pribudnúť.
Dve pravdivé vety, ktoré nemožno automaticky spojiť
Predstavte si, že máte doložené tieto dve skutočnosti:
1. V určitý deň bola odoslaná webová push kampaň.
2. V nasledujúcich dňoch sa zvýšil zobrazený počet odberateľov.
Obe vety môžu byť pravdivé. Napriek tomu z nich bez ďalších podkladov nevzniká tretia veta: „Počet odberateľov vzrástol vďaka kampani.“ Tá už obsahuje tvrdenie o príčine.
Dôležitá je aj samotná cesta k odberu. Webová push kampaň oslovuje ľudí, ktorí už odber povolili. Aby jej odoslanie viedlo k novým odberateľom, musel by existovať ďalší doložiteľný mechanizmus — napríklad následná návšteva webu niekým, kto zatiaľ odberateľom nebol, a jeho nové prihlásenie. Samotný graf počtu odberateľov takúto nadväznosť neukazuje.
Bez jej overenia sú bezpečné iba formulácie:
- počet odberateľov sa po odoslaní kampane zvýšil;
- rast nastal v rovnakom období ako kampaň;
- dostupný graf príčinu zmeny neurčuje;
- súvislosť s kampaňou je hypotéza, nie potvrdený výsledok.
Modelový zápis zmeny bez domyslenej príčiny
Užitočný záznam oddeľuje nameranú zmenu, časovú súvislosť a interpretáciu. Vďaka tomu sa neskôr nestane, že pracovná domnienka začne v reporte pôsobiť ako preukázaný fakt.
Modelový príklad s fiktívnymi hodnotami:
| Položka | Modelový zápis |
|---|---|
| Stav pred sledovaným úsekom | 1 240 odberateľov k 3. marcu |
| Stav po sledovanom úseku | 1 308 odberateľov k 10. marcu |
| Pozorovaná zmena | zvýšenie o 68 odberateľov |
| Súčinná udalosť | 5. marca bola odoslaná web push kampaň |
| Čo dáta potvrdzujú | počet odberateľov sa vo vymedzenom období zvýšil |
| Čo dáta nepotvrdzujú | že zvýšenie spôsobila práve uvedená kampaň |
| Ďalší krok | preveriť iné zmeny, ktoré mohli ovplyvniť vznik nových odberov |
Číselné údaje v tabuľke sú iba modelové. V skutočnom zápise použite presný dátum odčítania a hodnoty z vlastných podkladov. Dôležité je zaznamenať oba krajných stavy, nie iba vetu „pribudlo 68 odberateľov“. Bez počiatočného a koncového bodu sa zmena neskôr ťažko kontroluje.
NOTIFEE Manager poskytuje prehľad vývoja odberateľov. Tento prehľad možno použiť na opis zmeny v čase, sám však neurčuje jej príčinu. Základné informácie o nástroji nájdete na stránke NOTIFEE – správa webových push notifikácií.
Aké iné vysvetlenia treba preveriť
Rast mohol nastať v dňoch po kampani a napriek tomu súvisieť s inou udalosťou. Skôr než účinok pripíšete jednej aktivite, skontrolujte, čo ďalšie sa v rovnakom období zmenilo.
Položte si najmä tieto otázky:
- Zvýšil sa počet návštev webu z iného doloženého zdroja?
- Prebiehala súčasne reklama, e-mailová komunikácia, mediálna zmienka alebo iná propagácia?
- Zmenilo sa umiestnenie, text alebo načasovanie ponuky odberu na webe?
- Nebol v danom období spustený nový web, upravený inštalačný kód alebo zmenená technická konfigurácia?
- Nevstúpila do platnosti sezónna ponuka či iná udalosť, ktorá mohla priviesť odlišných návštevníkov?
- Nejde o pokračovanie trendu, ktorý začal už pred kampaňou?
- Je spôsob odčítania na začiatku a na konci obdobia skutočne rovnaký?
Nejde o zoznam automaticky dostupných funkcií NOTIFEE. Sú to kontrolné otázky pre interné vyhodnotenie. Odpovede hľadajte iba v podkladoch, ktoré vaša organizácia skutočne má.
Zvlášť dôležitá je posledná časť trendu pred odoslaním. Ak počet odberateľov rástol podobným tempom už niekoľko dní pred kampaňou, následné pokračovanie rastu nie je samo osebe presvedčivým dôkazom nového účinku. Kampaň sa iba odohrala uprostred už prebiehajúcej zmeny.
Čo by tvrdenie o účinku kampane posilnilo
Silnejší záver si vyžaduje viac než jeden graf a jedno dátum. Pomôcť môžu porovnateľné úseky pred a po udalosti, záznam ostatných súbežných aktivít a doložená cesta, ktorá vysvetľuje vznik nového odberu.
Pri overovaní postupujte v tomto poradí:
1. Vymedzte zmenu. Uveďte presný počiatočný a koncový stav aj čas medzi nimi.
2. Skontrolujte predchádzajúci vývoj. Overte, či rast nezačal ešte pred kampaňou.
3. Spíšte súbežné udalosti. Zaznamenajte iba doložené zmeny, nie spätné dohady.
4. Opíšte možný mechanizmus. Vysvetlite, ako by konkrétna kampaň mohla viesť k návšteve človeka, ktorý doteraz nebol odberateľom.
5. Hľadajte rozlišujúci podklad. Zistite, či dostupné dáta podporujú práve toto vysvetlenie viac než ostatné možnosti.
Ani tento postup nemusí vždy priniesť definitívnu odpoveď. Je však rozdiel medzi tvrdením bez podkladu a hypotézou, ktorá prešla kontrolou alternatívnych vysvetlení. Ak príčinu nemožno odlíšiť, správnym výsledkom je práve toto obmedzenie priznať.
Ako napísať záver primeraný dostupným dôkazom
Sila formulácie by mala zodpovedať sile podkladov. Pre interný report môžete použiť jednu z nasledujúcich úrovní.
Samotné pozorovanie:
> V dňoch 3. – 10. marca sa počet odberateľov zvýšil z 1 240 na 1 308. Uvedené hodnoty sú modelovým príkladom.
Pozorovanie s časovou súvislosťou:
> Vo sledovanom období sa počet odberateľov zvýšil. V rovnakom týždni bola odoslaná web push kampaň, dostupný prehľad však neurčuje príčinu rastu.
Pracovná hypotéza:
> Kampaň mohla so zmenou časovo súvisieť, ale pred priradením účinku je potrebné preveriť predchádzajúci trend, návštevnosť a ďalšie súbežné aktivity.
Nevhodná je naopak veta „kampaň získala 68 nových odberateľov“, ak máte iba rozdiel medzi dvoma stavmi. Taká formulácia mení pozorovanú zmenu na priradený výsledok, bez toho, aby bola doložená príčinná väzba.
FAQ
Dokazuje rast bezprostredne po kampani jej účinok?
Nie. Tesná časová nadväznosť môže byť dôvodom na ďalšie preverenie, ale sama nepreukazuje príčinu. Je potrebné skontrolovať predchádzajúci trend, súbežné aktivity a možnú cestu vzniku nových odberov.
Môžeme do reportu uviesť presný počet nových odberateľov?
Môžete uviesť presný rozdiel medzi doloženým počiatočným a koncovým stavom. Bez ďalších podkladov ho však nepripisujte konkrétnej kampani. Presnejšie je napísať, že vo vymedzenom období počet vzrástol o danú hodnotu.
Čo ak príčinu rastu nevieme určiť?
Uveďte to otvorene. Záver môže znieť: „Rast je v dostupných dátach viditeľný, jeho príčinu však nemožno spoľahlivo odlíšiť od ďalších zmien v rovnakom období.“ Taký zápis je presnejší než nepodložené priradenie výsledku kampani.