Setetellerautomat

[OrionPax]

Fotballbitter og grim som få (andre gangen i år vi har to tap på rad, jeg kan myrde) så jeg satt meg ned for å banke løs på STAut-problematikken igjen. Her er det jo noen gode nyheter å oppdrive.

For det første var vi ganske nære på annonsert tall på stadion i kveld. Viser at det er datasankingen og ikke selve tellingen vi må jobbe med.

For det andre; Hovedproblemet med ticketmaster er at de motarbeider oss ved å forsøke å stoppe bots fra å laste ned dataene deres. Dette gjør de ved å ikke tillate setedata med mindre sesjonen man kommer fra allerede har vært igjennom en captcha variant (ala den "Jeg er ikke en robot" man finner rundt omkring på nettet). Dette er ekstremt vanskelig å omgå for et program som datasankeren til STAut uten å i praksis implementere en moderne webbrowser for å gjøre det som skal til for å få tilgang.

Etter å ha utforsket diverse alternativer landet vi på at det enkleste da er å bruke en ekte webbrowser, gå inn på ticketmaster sine sider (så vi oppfyller deres krav), og la de laste "Kjøp billett"-siden som et normalt menneske ville. Så har vi avansert lureri med at det ligger en proxyserver imellom og lukter på alle data som overføres til browseren. Denne er satt opp med sertifikater så den også kan se innholdet i kryptert https-trafikk (som ticketmaster benytter seg av), og jeg har nå laget et script som ved match på URL lagrer datafilene som browseren mottar. Og det funker!

Dette er en betydelig seier for STAut, men det betyr ikke at vi er i mål. Det er ting som mangler både foran og bak.

Noe må åpne en browser på riktig side og få den til å gå inn på de forskjellige kampene for å trigge datasank. Vi må også erstatte den eksisterende mekanismen som lister kamper som ligger ute for salg, da den er utsatt for samme problem. Dette bør ikke være veldig vanskelig, men det er litt jobb for å få det riktig.

Så er det sånn at STAut sitt Ingest-program - som er hjernen, hjertet og vaktmesteren i hele rallemikket - er vant til å få data servert fra Vemundo sin datasanker. Ettersom den nå er stengt ute, må vi dra til med en ny cajigger som henter data fra den nye sankemekanismen og gjør de klare til prosessering og data-pipeline for import og datatygging. Dette er egentlig veldig enkelt, men igjen en del jobb.

Det finnes noen potensielle skjær i sjøen her, men det å få tak i datafilene i det hele tatt var det jeg i utgangspunktet var mest skeptisk til, og det har vi faktisk nå en fungerende løsning på. Så får vi se hvor lang tid det tar å løse resten.
_________________
Rosenborg for alltid - uansett! | Troillprat.no

[2mas]

Semifinalen ikke tilgjengelig?

[larsarus]

Sveiva må vel dras rundt en runde manuelt. Og auto-oppdatering er ikke på plass andre steder enn i hodet på de som skal implementere det ennå...

[OrionPax]

Skal se om jeg kan dra nevnte sveiv en runde i morra. Dataene får vi tak i, det er bare en ganske omfattende manuell prosess for tiden.
_________________
Rosenborg for alltid - uansett! | Troillprat.no

[larsarus]

slettet

[haavarl]

Viktig at STAut holder seg over treshold, si.
_________________
Embrace science - resist ignorance

[JohnTiger]

Fantastisk flott at du tar deg tid til å kjøre manuell oppdatering på B/G og Celtic såpass ofte nå OrionPax.


_________________
Rosenborg e laget!

Twitter : @JohnTiger67

[OrionPax]

Har strømlinjeformet det en del for meg selv - i påvente av å få det 100% automatisert - så nå er det utelukkende et spørsmål om å huske å gjøre det. Og det gjør jeg jo innimellom.
_________________
Rosenborg for alltid - uansett! | Troillprat.no

[OrionPax]

Så, etter masse kjip venting, og koding i tre forskjellige programmeringsspråk for å komme seg rundt forsøkene til TicketMaster på å blokkere oss...


_________________
Rosenborg for alltid - uansett! | Troillprat.no

[Mustrum Ridcully]

Herlige greier, dere jobber veldig bra! Det er bra sikkert.
_________________
Agbogbloshie park inspector.
Quis custodiet ipsos custodes?

[MkBerg]

Billetter til Maribor-kampen ute. Kjør STAut!

[OrionPax]

STAut har kjørt siden salget startet.


_________________
Rosenborg for alltid - uansett! | Troillprat.no

[Captain]

Fantastisk! Dere gjør en enormt god jobb, til glede for mange her inne
_________________
Stolt fortid, stor fremtid

[angvik]

Det å sitte og telle prikker hadde sin sjarm det óg. Men dette er jo rett og slett ren luksus. Glimrende arbeid av OrionPax.

[OrionPax]

Tusen takk for det.

Har fått brukt siste feriedag til å gjøre ferdige (i den grad noe software noensinne er ferdig) scriptene som omgår siste del av sabotasjen til TicketMaster. Nå er systemet nært opptil helautomatisk igjen, og vil ikke stoppe opp slik det gjorde foran f.eks. begge de to første hjemmekampene i CL-kvaliken da jeg var bortreist. Systemet finner selv alle RBK-events på siden til TicketMaster og gjennomfører datasank. Egentlig akkurat det Vemundo sitt opprinnelige sankesystem gjorde, men på en måte som er vanskeligere for TicketMaster å holde ute. Dog ikke umulig, venter bare på neste trekk fra dem...

Det mangler en liten bit fortsatt, som gjør litt nødvendig husarbeid når en helt ny kamp dukker opp i event-lista. Satser på å ha dette på plass innen altfor lenge. Når dette er på plass, blir det forsøksvis flyttet fra min maskin til STAut-serveren (mesteparten av jobben skjer fortsatt der, bare ikke selve sankingen). Håpet mitt er at ingen skal merke noe til noe av dette, og at STAut bare skal levere tall fortløpende.

Har også noen planer om å endelig få oppdatert graf-renderingen litt. Ikke de helt store endringene, men litt småtteri så det ser litt mindre håpløst ut.
_________________
Rosenborg for alltid - uansett! | Troillprat.no

[Macha]

Dette er så latterlig bra

[Kom_igjen_troillan]

Er det lov å spørre hvorfor det bare er 10796 billetter til salgs?

[hello]

Sikkert gjenkjøp av sesongkort pluss VIP som blir reservert.

[OrionPax]

Ja, noe sånt - generelt kan RBK frigi billetter i puljer. Noen plasser blir først sluppet når andre er solgt, billettene til ev. bortesupportere er ikke tilgjengelig gjennom åpent salg osv. Skulle 21k ha lyst til å komme på kamp ordner det seg nok.
_________________
Rosenborg for alltid - uansett! | Troillprat.no

[OrionPax]

Liten oppdatering på graf-rendering på STAut. Som kan sees av Maribor-grafen over her, forsøker STAut nå å skalere både X- og Y-aksene etter forholdene i den enkelte kampen. Da først og fremst hvor mange dager før kamp vi har data for på X-aksen, og hvor mange tusen billetter som er solgt på Y-aksen.

Dette betyr altså IKKE at alt er konge og Lerkendal er utsolgt fordi en graf nærmer seg toppen! Det betyr bare at vi nærmer oss neste hele tusen. Når vi passerer denne grenseverdien vil grafen justere seg igjen. Les alltid tallene på aksene for å orientere deg.

Dette er ikke helt ferdig, fordi man skriver ikke feilfri kode kl. 3 natt til lørdag. Spesielt grid lines er litt funky akkurat nå, men det kommer. Det blir bedre. Jeg må bare finne de casene hvor det blir feil/kunne vært bedre, og sørge for å bli enig med meg selv om hva som er rett i de forskjellige tilfellene.

Kom gjerne med tilbakemeldinger. Men vit da at kamper skaleres individuelt, og ikke statisk med utgangspunkt i 30 dagers datainnsamling og 22k som max.
_________________
Rosenborg for alltid - uansett! | Troillprat.no

[ace]

Vil det implementeres asymptoter etterhvert?
_________________
Svart og hvit for alltid!

[OrionPax]

Det må nok noen med mer forståelse for matematikk og statistikk til for å vurdere hvordan vi skal gjøre noe sånt - det har vært noen diskusjoner underveis om å legge til funksjonalitet for å "gjette" endelig tilskuertall underveis, og forskjellige måter å gjøre dette på - alt fra enkel ekstrapolering til maskinlæring kan jo i teorien bidra med meninger om hvor ting ender opp.

Jeg tenker at det beste jeg kan gjøre er å gjøre dataene tilgjengelige, så kan smartere hoder enn mitt forske på forskjellige muligheter vi har med dataene.
_________________
Rosenborg for alltid - uansett! | Troillprat.no

[OrionPax]

Argh, ny robot-verifikasjon hos TicketMaster dukket opp i dag. Tror jeg skal komme rundt den også. Men de vil virkelig ikke at noen skal ha tak i dataene...
_________________
Rosenborg for alltid - uansett! | Troillprat.no

[Macha]

Kjedelig, lurer på hva årsaken bak denne motviljen er.

For øvrig; er det mulig å kunne sanke data for bortekamper slik at man kan se på tilskuertallene for RBK borte i fremtiden?

[OrionPax]

Det er litt komplisert å svarte kort og konsist på.

For bortelag som selger billetter gjennom TicketMaster kan man jo i teorien hente ned data med STAut. Men så har man spørsmålet med statuskoder. Vi har jo brukt en stund på å fintune vår tolkning av de mange forskjellige statuskodene et sete på Lerkendal kan ha - det er mye mer komplisert enn bare "til salgs" eller "ikke til salgs". Ved hjelp av bl.a. folk som har fortalt oss om billettene sine og kjøpstidspunkt har vi klart å identifisere såpass med koder at vi får tall som er ganske nær fasit.

Men bruker andre klubber samme koder? Er dette styrt av TicketMaster eller RBK i vårt tilfelle? RBK har jo en haug med forskjellige koder for sesongkort (svart, hvitt, gull) og enkeltbilletter (vennebillett, Trøndelag på kamp, alt hva det heter), bruker nødvendigvis en annen klubb tilsvarende?

Det kan hende det ville ha virket, men sjansen er også ganske stor for at det ikke ville det, dessverre. Og jeg har så langt ikke lagt så mye av den begrensede STAut-tiden jeg har i å forske på dette.
_________________
Rosenborg for alltid - uansett! | Troillprat.no