Blogi | Relevant Digital

Case Study: Ohjelmallisen myynnin monimuuttujatestaus

Kirjoittanut Thuy Ho | 9.7.2023 9:11

Ennen omien teknologioiden kehittämisen aloittamista, Relevant Digital on tarjonnut ohjelmallisen mainosmyynnin hallintaa ja myyntipalveluita yli 150 suomalaiselle julkaisijalle vuodesta 2012 lähtien. Matkan varrella olemme sitkeästi tunnistaneet ja tehneet aktiivisesti työtä ohjelmallisen mainonnan haasteiden parissa, oli kyse sitten teknologisesta monimutkaisuudesta, operatiivisista tehottomuuksista tai läpinäkyvyyden puutteesta.

Mainosmyynnin kasvattaminen edellyttää jatkuvaa innovointia ja kokeiluja. Kyse ei ole pelkästään kysynnän lisäämisestä tai luovien strategioiden käytöstä. Relevant Programmatic -tiimimme pyrkiikin jatkuvasti löytämään uusia tapoja lisätä julkaisija-asiakkaidemme tuloja toteuttamalla erilaisia testejä.

 

Testausfilosofiamme

Onnistunut testi alkaa kysymysten asettamisella. Mikä tahansa idea saattaa olla testaamisen arvoinen, sillä kaikella voi olla suora vaikutus tuloihin. On kuitenkin tarpeen olla kokemusta ja asiantuntemusta omasta teknologiakokonaisuudesta, jotta osataan asettaa oikeat painopisteet.

On myös järkevintä testata yksi asia kerrallaan, jotta pysytään selvillä kokonaisvaikutuksista. Harkitse esimerkiksi pienemmän liikenteenosuuden testaamista erilaisin hinnoin, mutta niin että SSP:t, mainospaikat ja sivusto pysyvät samana.

Toinen huomio testatessa on hypoteesien eroavaisuus. Tärkeä osa testausta on selvittää, ovatko havaitut erot varianttien välillä tilastollisesti merkittäviä vai johtuvatko ne sattumasta. On myös olennaista ottaa huomioon havaittujen erojen käytännön merkitys. Pienet erot suorituskyvyssä eivät välttämättä vaikuta merkittävästi keskeisiin mittareihin tai käyttäjäkokemukseen, mikä voi tehdä niistä vähemmän arvokkaita päätöksenteon tai optimointitoimenpiteiden kannalta.

Testien suorittaminen ilman siihen tarkoitettua työkalua vaatii paljon aikaa, vaivaa ja resursseja. Keskittyminen pieniin eroihin, jotka eivät välttämättä johda merkittäviin parannuksiin, voi ohjata resursseja pois merkityksellisempien varianttien testaamisesta tai käyttäjäkokemuksen osa-alueiden optimoinnista.

 

Meidän oivallukset

Matkan varrella olemme huomanneet, että perinteinen testausprosessi voi olla hankala ja aikaa vievä, vaikka GAMia käytettäisiinkin. Tämä valitettavasti saa ammattilaiset epäröimään testaamista, koska tulokset eivät välttämättä oikeuta henkilöstöresurssien ja operatiivisten kustannusten aiheuttamia kuluja.

Juuri tästä syystä olemme kehittäneet edistyneen monimuuttujatestauksen osaksi Relevant Yield -ratkaisuamme, joka on kattava työkalu ohjelmallisen myynnin operatiiviseen tekemiseen. Tuotteemme on suunniteltu täyttämään tarkoituksensa. Relevant Yield tarjoaa käytännöllisiä ominaisuuksia, jotka auttavat myyjiä ratkaisemaan todellisia ongelmia.

Miten voit ylittää GAM:in rajoitukset A/B-testauksessa käyttämällä Relevant Yield -työkaluamme? Tutustumme tarkemmin Relevant Programmatic -tiimimme toteuttamaan liikevaihdon kasvattamisen projektiin, jotta voit saada lisätietoa Relevant Yieldin testausmahdollisuuksista ja testausfilosofiastamme. Jos jaat näkemyksemme, olisi hienoa keskustella kanssasi lisää!

 

Projekti: Liikevaihdon kasvattaimen

Julkaisijan profiili ja testin laajuus:

  • Desktop sivu A (6 miljoonaa käyntiä/kk). Testattu tietyillä mainospaikoilla.
  • Mobiilisivusto B (1 miljoonaa käyntiä/kk). Testattu tietyillä mainospaikoilla.

Testijakso: tammikuu - kesäkuu 2023.

 

Suorittamamme testit ja niiden toteuttamistapa:

  1. Floor price: Oletetaan, että nykyinen pohjahintasi on 0,4 €. Tässä tilanteessa voisi olla mielenkiintoista testata, millainen olisi vaikutus, jos pohjahinta olisi esimerkiksi 0,1€, 1€ tai 1,5€.

    Tämäntyyppinen testi on haastava toteuttaa Google Ad Manager -alustalla, koska alusta sallii vain yhden säännön kerrallaan kokeessa. Tämä tarkoittaa, että jotta testi olisi tehokas, asiantuntijoiden on asetettava se seuraavasti:

    Testi 1: Alkuperäinen hinta 0,4 € ja vaihteluväli 0,1 € 10 %:lle liikenteestä.
    Testi 2: Alkuperäinen hinta 0,4 € ja vaihteluväli 1 € 10 %:lle liikenteestä.
    Testi 3: Alkuperäinen hinta 0,4 € ja vaihteluväli 1,5 € 10 %:lle liikenteestä.

    Jokainen testi kestää X ajan, eli 3X ajan kuluttua tuloksia voidaan arvioida ja vertailla selvittääksemme, mikä hintataso tarjoaa korkeimman näkyvyyden ja täyttöasteen. Toki tämä toimii, mutta se vaatii PALJON aikaa, ei pelkästään testin luomiseen, vaan myös seurantaan.

    (Esimerkki virheestä, joka näkyy Google Ad Managerissa, kun yrität asettaa yhtäaikaisia kokeiluja.)


  2. Client-side VS. Server-side: Joillakin SSP:llä on parempi suorituskyky Client-puolella, ja toisilla taas toisilla ei. Teimme testin tähän aiheeseen liittyen huhtikuussa, josta voit lukea siitä täältä. Yleensä tällaiseen testiin tarvitaan kehittäjiä, koska se vaatii koodausta. Spoileri: emme tarvinneet koodaria ollenkaan 😊.

    Mitä jos testin aloittamiseen menisi vain 2 minuuttia? Ja kaikki variantit sekä seurantaan tarvittavat näkymät voitaisiin määrittää tuossa ajassa.


    Vai etkö käytä vielä Server-puolen ratkaisua, koska se vaatii liikaa resursseja? Suosittelemme tutustumaan oppaaseen: "Miten pääset alkuun Prebid Serverin kanssa?".

    SSP:n määrittämiseksi kehittäjien täytyy tutkia sivuston skriptejä ja tehdä muutoksia koodiin. Tämä tehtävä vie paljon aikaa ja on riskialtista, koska inhimillisiä virheitä voi tapahtua ja ne voivat vaikuttaa ikävästi tuottoihin. Lisäksi kehittäjät voivat olla kiireisiä, joten saatat joutua odottamaan päiviä tai viikkoja  tehtävän suorittamiseksi. Toki, jos sinulla on käytettävissäsi kehittäjätiimi, aika ei välttämättä ole ongelma, mutta kustannukset voivat siltikin olla.

    Verrattuna hintatestaukseen, tämä vaatii enemmän resursseja ja sisältää enemmän riskejä. Eikö olisi parempi välttyä niiltä, jotta tiimisi aika ja osaaminen voitaisiin keskittää tulonhankintaan?

  3. Prebid Time-out: Tämän kokeilun tavoitteena on löytää tasapaino tarjousten määrän maksimoimisen ja sivun latausajan välillä header biddingissä.

    Keskimääräinen aikakatkaisu oli 700ms, joten testasimme sen rinnalla 800ms:n ja 900ms:n aikakatkaisuja. Kullekin vaihtoehdolle annettiin  ⅓ liikenteestä ja testit suoritettiin samanaikaisesti.

    Kokeilemalla erilaisia aikakatkaisuja julkaisijat voivat optimoida tarjousprosessinsa ja parantaa kokonaissuorituskykyä. Pidemmät aikakatkaisut antavat enemmän aikaa biddereille vastata, mikä lisää tarjousten määrää ja kilpailua. Toisaalta tämä voi myös johtaa hitaampiin sivun latausaikoihin ja mahdollisesti aiheuttaa näin käyttäjille ärsytystä.

    Kokeilemalla lyhyempiä aikakatkaisuja voit selvittää, parantaako viiveen vähentäminen käyttäjäkokemusta samalla säilyttäen tulojen tason. On tärkeää ottaa huomioon verkon olosuhteet ja laitteiden suorituskyky testaamisen aikana, jotta voidaan varmistaa optimaalinen toiminta erilaisissa tilanteissa.

    Seuraamalla suorituskykyä ja tekemällä vianmääritystä julkaisijat voivat tunnistaa ja korjata mahdolliset ongelmat sekä hienosäätää asetuksiaan parempien tulosten saavuttamiseksi. Relevant Yieldissä jokaiselle testatulle vaihtoehdolle luodaan automaattisesti seurantanäkymä, joka varmistaa testin helpon tarkkailun ja minimoi manuaalisen työn tarpeen.


Johtopäätökset

Älä anna testaamisen vaatimien resurssien estää kehitystä. Relevant Digitalilla me uskomme vakaasti, että jokainen testi, tuloksesta riippumatta, tarjoaa arvokkaita oivalluksia. Ymmärrämme, että menestyksen mittaaminen voi olla joskus haastavaa, mutta jo pelkästään sen tunnistaminen, mikä ei toimi, on itsessään merkittävää.

Erityisesti Relevant Yieldin avulla sinun ei tarvitse enää huolehtia aikaa vievistä ja monimutkaisista testausprosesseista. Olemme täällä luomassa jännittävää seikkailua, jossa jokainen testattu hypoteesi vie sinut lähemmäs menestystä.

Ole valmis testaamaan, optimoimaan ja valloittamaan ohjelmallisen mainonnan maailma Relevant Yieldin avulla! Ota yhteyttä meihin ja anna hauskanpidon alkaa.