Igra bez podataka k’o torta bez oraha – snaga data analitike u gejmingu

Nikola Vasiljević,
Analytics & Insights Manager, Mad Head Games
17.11.2023.
Stručnjaka za analizu podataka u gejmingu nema mnogo, a i oni koji se time bave grade nešto od nule. Zato je Nikola Vasiljević (Analytics & Insights Manager, Mad Head Games) rešio da osnuje peer grupu sa kolegama iz industrije kako bi zajedno učili i gradili ovaj mali, ali važan deo gejming zajednice.

SGA: Kako bi opisao data u gejmingu? Koje sve vrste podataka merimo i šta čitamo iz tih podataka? Koji sve departmani u okviru jedne kompanije mogu/treba da se oslanjaju na data? Koji alati se koriste?

Nikola: Mi se trudimo da na naše igrače gledamo holistički i želimo da saznamo a) šta oni rade u igrama b) kakav im je iskustveni doživljaj. To merimo kroz dva izvora podataka – telemetrijsku analitiku, kojom beležimo ponašanje igrača (skočio, pucao, zaginuo…), i istraživanja, gde sa igračima pričamo i pokušavamo da saznamo što više o njihovom doživljaju; razgovaramo o tome šta im se svidelo, šta nije, šta bi promenili, šta im je bilo teško, lako, počevši od uopštenih pitanja, pa sve do veoma konkretnih i ciljanih koji se odnose na različite aspekte igre – borbu, animaciju, zvuk, atmosferu… Pa onda još granularnije 😊 Bitno se samo postavljati pitanje “Zašto”, dok ne dođeš do aksiomatskog odgovora i stvarnog razumevanja razloga igračevih akcija i doživljaja.

Cilj našeg tima je da imamo data-driven organizaciju. Ako pričamo o game designu, tu sarađujemo prvenstveno sa game designerima, ali i sa leadovima ostalih sektora (sound, programming, level design…), i ta saradnja postaje sve šira. Kako se mi trudimo da aktivno edukujemo što više kolega, tako sve više kolega nalaze načine da im pomognemo. Zanimljiv primer je skorašnja saradnja sa timom narativnih dizajnera. Ko bi rekao da mi “ekselaši” i kreativni narativci možemo da se nađemo na polju analitike? 😊Pored igara, mi se bavimo analitikom na svim poljima – napravili smo alate za HR i PM timove. Gde ima podataka, tu smo i mi.

Za te potrebe koristimo razne alate. Deo našeg stalnog stack-a su Tableau, MySQL, MongoDB, BigQuery i Jupyter Notebooks (Python), ali ima ih znatno više. Naravno, Excel se ne sme zaboraviti, a ni PowerPoint 😊

 SGA: Šta radi data tim u MHG-u?

Nikola: Ako krenemo od high-levela, naša misija je da kreiramo data-driven organizaciju i da svim donosiocima odluka budemo podrška i opskrbimo im nalazima i preporukama koji će im pomoći da bolje razumeju problematiku i da donesu edukovaniju odluku.

Ako pričamo samo o podršci dizajnu igara, osmislili smo i implementirali naš framework kojim podržavamo razvoj video igre od ideje pa do nakon lansiranja. U okviru tog frejmvorka radimo:

  1. Ispitivanje stanja tržišta i tržišnih trendova
  2. Segmentaciju igrača
  3. Analize potencijala predložene igre kroz forecasting prodaje
  4. Analizu konkurencije
  5. Analizu preferencija ciljne grupe da bismo saznali šta ih privlači nekom žanru
  6. Pomažemo pri definisanju pilara naše igre
  7. Pravimo plan za analitiku i istraživanja
  8. Kreiramo sistem za telemetriju
  9. Kreiramo analize zasnovane na mašinskom učenju (radimo Sentiment i Topic analize fidbeka igrača koji oni ostavljaju na internetu)
  10. Sprovodimo playtestove
  11. Analiziramo podatke iz UX research-a, telemetrije
  12. Komuniciramo glavne nalaze i preporuke
  13. Učestvujemo u definisanju akcionih koraka
  14. Radimo follow-up testove i post-mortem analize

Ili, prostim jezikom, analiziramo sve dostupne podatke da bismo pomogli našem timu da napravi bolje igre, u skladu sa očekivanjima igrača.

SGA: Šta je konkretno tvoja uloga?

Nikola: Inicijalno, da osmislim šta naš sektor treba da radi, pošto sam bio i njegov začetnik. Sada, rekao bih da je moja uloga da razumem potrebe našeg biznisa i da na osnovu toga osmišljam strategiju za naš sektor i načine njenog sprovođenja, da se pobrinem da smo inovativni, što u korišćenju novih tehnologija i metoda, što u samom pristupu. U praksi, vodim tim za analitiku i istraživanja i koordiniram rad sektora, uključujući i kolege iz drugih sektora (shoutout za naše technology i programming timove i naše sinkove utorkom, bez kojih nam nema ‘leba😊), sa krajnjim ciljem da obezbedimo da svaki donosilac odluka dobije pravovremeni insajt na osnovu koga može da donese odluku i opredeli se za akcione korake. Deo mojih zaduženja je, dakle, menadžerske prirode, ali i dalje sam veoma uključen u operativni rad. To je nešto što me ispunjava i čega se ne odričem 😊 Ipak, trudim se da moj glavni doprinos bude na strateškom nivou. Da postoji da biznis veza, da sve što mi radimo zapravo ima primenu, da osmišljam nove inicijative i poboljšanja. Jer prostora za poboljšanje uvek ima. I naravno, da svoje znanje prenesem dalje. Veoma sam ponosan na sve što smo dosad postigli, ali sam istovremeno nekad i zastrašen svim onim što mi je na umu, a što još nismo, jer je potencijal za korišćenje podataka stvarno ogroman, i nije lako ispratiti dinamiku kojom se sve dešava. Ali, idemo korak po korak 😊

 

SGA: Očigledno ti je veoma stalo do toga što radiš i tako je nastala ideja za ovu inicijativu? Da li ona ima zvaničo ime? Koji su joj ciljevi?

Nikola: Sada se već može reći da je zvanično ime Data in Gaming Meetup. Ideja je nastala nakon prošlogodišnje Data Science Conference, odnosno Pandora eventa, koji je okupio gejming data profesionalce. Ja sam imao priliku da održim predavanje na temu “Boosting Game Design with Analytics” i reakcija kolega iz industrije bila sjajna. Upoznali smo se, razmenili iskustva i generalno se videlo da tu postoji jedna zdrava energija i potencijal i za nešto više. I prosto je bilo šteta čekati još godinu dana da nas neko drugi okupi. Tako da sam rešio da uzmem stvari u svoje ruke. Neko vreme mi se krčkala ideja i razmišljao sam šta sa tim. Ideja je super, ali realizacija dodatnih aktivnosti zna da bude obaveza, i to obeshrabri. Međutim, uz podršku kolega iz MHG, pre svega tima komunikacija, sve smo lako i efikasno sproveli u delo. Naravno, preduslov je bio podrška i odziv kolega iz industrije. Tako da smo se letos sastali na jednom neobaveznom druženju u našem studiju, gde sam im predstavio ideju, a reakcija je bila pozitivna. Ništa drugo nisam ni očekivao, inače se ne bih baktao svim ovim. Stvarno u našoj industriji rade neki sjajni ljudi.

Format meetupa je takav da imamo formalni, edukativni deo, gde se prezentuje neka metodologija, business case, zanimljivost… bilo šta iz oblasti analitike i istraživanja. A drugi deo je naravno opušten, družimo se, ćaskamo, klopamo. Tako da, cilj je sa jedne strane da razmenujemo iskustva i učimo jedni od drugih, a sa druge, da se povežemo i napravimo zajednicu.

SGA: Do sada ste imali dva mitapa da opipate teren. Kakvo je zatečeno stanje?

Nikola: Kao što pomenuh, inicijalna reakcija na prvom mitapu je bila pozitivna, a na drugom se nekako sve još dodatno sleglo. Retention ljudi je bio solidan 😊Svi su se dodatno opustili, upoznali, isćaskali. Formalni deo je bio koristan… nadam se… mislim, bilo je dosta pitanja, to valjda nešto govori 😊 Par kolega je već izrazilo želju da budu domaćini sledećeg puta, ili da prezentuju kod nas. Tako da, rekao bih da ima potencijala za ovaj naš karavan 😊 Zato je bitno podržati ga u startu, obezediti priliv nove energije, dok se već to sve ne zakotrlja.

...A u poslednjih godinu dana je tematika ispitivanja sentimenta postala baš hot-topic, uz razvoj Natural Language Processing (NLP) i Large Language modela, OpenAI-ja… Kako smo mi sve to uklopili i do kakvih smo rezultata došli, uz praktične savete kako to može da se uradi, o tome ću pričati na Pandori.

SGA: Šta će svi zainteresovani imati prilike da čuju na narednim okupljanjima? Koje formate/predavače/teme imate u planu? 

Nikola: Na prvom zvaničnom mitapu smo predstavili naš 360 frejmvork za analitiku i istraživanja, kroz temu ,,STRATEŠKA ULOGA ANALITIKE I ISTRAŽIVANJA U DIZAJNU VIDEO IGARA“. Bilo je još kandidata za temu, od analize emocija u review-ima, do data pipeline-a, zaštite podataka… Spektar je širok. Ideja je da već od sledećeg mitapa neki drugi studio podeli svoja iskustva, a možda bude i domaćin. Oko tema ćemo se dogovarati u hodu. Ne želimo da se od ove inicijative stvara neki dodatni pritisak i obaveza, već da učestvuju oni koji stvarno to žele i uživaju. A siguran sam da svi koji su već sada deo inicijative imaju dosta toga da podele. Pa, samo na casual delu druženja sam čuo toliko zanimljivih tema. Znaš ono, vodiš razgovor sa par kolega na veoma zanimljivu temu, kao što su recimo inteligentni dinamički sistemi za AI NPC-jeva ili speedrunning Super Maria, a istovremeno načujješ o čemu priča druga grupa i to je ultra zanimljivo. Materijala ima dovoljno, to je sasvim sigurno! Za dalje je ideja da polako širimo priču, ne samo među analitičarima i istraživačima u gejmingu, nego i među svima onima kojima to može biti zanimljivo i korisno. A kome jeste, tu je i forma za prijavu 😊

SGA: Da ne ostane nedorečeno – sve ovo je i za core i za mobile deo industrije?

Nikola: Apsolutno.

SGA: Održaćeš i predavanje na ovogodišnjem izdanju Pandora konferencije? O čemu ćeš pričati?

Nikola: Tako je. Moje predavanje zatvara program Pandore u sredu 22. novembra. Tema je Leveraging Sentiment And Topic Detection For Decoding Player Feedback. U poslednjih godinu dana smo se veoma intenzivno bavili analizom komentara i rivjua koji igrači ostavljaju na Steamu, YouTube-u, Redditu… Zanimalo nas je o čemu pričaju i kakav im je stav. Radili smo analize za igru Scars Above koju smo izdali u februaru, ali i za konkurentske igre i izgradili jedan novi alat koji je postao deo našeg stack-a. Prosto, igrači vam daju sav taj besplatni fidbek, takva prilika se ne propušta. A u poslednjih godinu dana je tematika ispitivanja sentimenta postala baš hot-topic, uz razvoj Natural Language Processing (NLP) i Large Language modela, OpenAI-ja… Kako smo mi sve to uklopili i do kakvih smo rezultata došli, uz praktične savete kako to može da se uradi, o tome ću pričati na Pandori.

SGA: Koje bi još predavanje izdvojio sa Pandore?

Nikola: Auf, ovo je baaaaš teško pitanje. Ja evo danima pravim svoj plan posete predavanjima i onlajn sesijama i već me boli glava jer ne znam kako sve da uklopim 😊 Deluje da ima mnogo više materijala nego prošle godine, tako da sam baš na slatkim mukama. Ako gledamo samo Pandoru, deluje dosta raznovrsnije nego prošle godine. Zavisi šta vas najviše zanima, data protection, analitika, research. Ako bih izdvojio jedno predavanje, neka to bude uvodno – Konrad Tolmar, Research Director iz EA, pre svega zato što mislim da je ovo jedinstvena prilika da čujete tako nešto. Ali, ako vas stvarno zanima gaming, idite na sva predavanja sa Pandore. Ja sam prošle godine tako, i nisam se pokajao.