English version 
Rosenborg Web
SESONGEN 2019
 NYHETER
 KAMPER
 SPILLERE
 STATISTIKK
KLUBBEN
 HISTORIE
 KLUBBFAKTA
 MERITTER
 REKORDER
 LERKENDAL STADION
EKSKLUSIVT
 LESESTOFF
 I GAMLE DAGER
 LEGENDER
 BILDESPESIAL
 LERKENDAL360°
MENINGER
 DEBATTFORUM
 KOMMENTAR
 DIN MENING
RBKweb
 OM RBKweb
 ANNONSEINFORMASJON
 RSS-KANAL
 ARKIV
 TA KONTAKT
SØK I ARTIKLER
Debattforum

Alle kan lese innleggene, men man må registrere seg for å delta aktivt i diskusjonene.
Everyone can read the posts, but you have to register before writing your own posts.

 FAQFAQ   SearchSearch   MemberlistMemberlist   UsergroupsUsergroups   StatistikkStatistikk   RegisterRegister 
 ProfileProfile   Log in to check your private messagesLog in to check your private messages   Log inLog in 
Setetellerautomat
Goto page Previous  1, 2, 3 ... 59, 60, 61, 62  Next
 
Post new topic   Reply to topic    Forum -> På sidelinja
View previous topic :: View next topic  
Author Message
OrionPax
Forumsjef


Joined: 12 Aug 2011
Posts: 7845
Location: Drammen

PostPosted: 04.10.2018 21:25    Post subject: Reply with quote

Fotballbitter og grim som få (andre gangen i år vi har to tap på rad, jeg kan myrde) så jeg satt meg ned for å banke løs på STAut-problematikken igjen. Her er det jo noen gode nyheter å oppdrive.

For det første var vi ganske nære på annonsert tall på stadion i kveld. Viser at det er datasankingen og ikke selve tellingen vi må jobbe med.

For det andre; Hovedproblemet med ticketmaster er at de motarbeider oss ved å forsøke å stoppe bots fra å laste ned dataene deres. Dette gjør de ved å ikke tillate setedata med mindre sesjonen man kommer fra allerede har vært igjennom en captcha variant (ala den "Jeg er ikke en robot" man finner rundt omkring på nettet). Dette er ekstremt vanskelig å omgå for et program som datasankeren til STAut uten å i praksis implementere en moderne webbrowser for å gjøre det som skal til for å få tilgang.

Etter å ha utforsket diverse alternativer landet vi på at det enkleste da er å bruke en ekte webbrowser, gå inn på ticketmaster sine sider (så vi oppfyller deres krav), og la de laste "Kjøp billett"-siden som et normalt menneske ville. Så har vi avansert lureri med at det ligger en proxyserver imellom og lukter på alle data som overføres til browseren. Denne er satt opp med sertifikater så den også kan se innholdet i kryptert https-trafikk (som ticketmaster benytter seg av), og jeg har nå laget et script som ved match på URL lagrer datafilene som browseren mottar. Og det funker!

Dette er en betydelig seier for STAut, men det betyr ikke at vi er i mål. Det er ting som mangler både foran og bak.

Noe må åpne en browser på riktig side og få den til å gå inn på de forskjellige kampene for å trigge datasank. Vi må også erstatte den eksisterende mekanismen som lister kamper som ligger ute for salg, da den er utsatt for samme problem. Dette bør ikke være veldig vanskelig, men det er litt jobb for å få det riktig.

Så er det sånn at STAut sitt Ingest-program - som er hjernen, hjertet og vaktmesteren i hele rallemikket - er vant til å få data servert fra Vemundo sin datasanker. Ettersom den nå er stengt ute, må vi dra til med en ny cajigger som henter data fra den nye sankemekanismen og gjør de klare til prosessering og data-pipeline for import og datatygging. Dette er egentlig veldig enkelt, men igjen en del jobb.

Det finnes noen potensielle skjær i sjøen her, men det å få tak i datafilene i det hele tatt var det jeg i utgangspunktet var mest skeptisk til, og det har vi faktisk nå en fungerende løsning på. Så får vi se hvor lang tid det tar å løse resten.
_________________
Rosenborg for alltid - uansett! | Troillprat.no
Back to top
View user's profile Send private message Visit poster's website
2mas
Sjef


Joined: 06 Sep 2002
Posts: 50768
Location: Trondhjem

PostPosted: 20.10.2018 20:52    Post subject: Reply with quote

Semifinalen ikke tilgjengelig?
Back to top
View user's profile Send private message Send e-mail
larsarus
Veteran


Joined: 12 Oct 2010
Posts: 9453
Location: Trolla

PostPosted: 20.10.2018 21:19    Post subject: Reply with quote

Sveiva må vel dras rundt en runde manuelt. Og auto-oppdatering er ikke på plass andre steder enn i hodet på de som skal implementere det ennå...
_________________
RUSK

- "Prøv å bli god " -- Nils Arne Eggen
Back to top
View user's profile Send private message
OrionPax
Forumsjef


Joined: 12 Aug 2011
Posts: 7845
Location: Drammen

PostPosted: 20.10.2018 22:58    Post subject: Reply with quote

Skal se om jeg kan dra nevnte sveiv en runde i morra. Dataene får vi tak i, det er bare en ganske omfattende manuell prosess for tiden.
_________________
Rosenborg for alltid - uansett! | Troillprat.no
Back to top
View user's profile Send private message Visit poster's website
larsarus
Veteran


Joined: 12 Oct 2010
Posts: 9453
Location: Trolla

PostPosted: 20.10.2018 23:04    Post subject: Reply with quote

slettet
_________________
RUSK

- "Prøv å bli god " -- Nils Arne Eggen


Last edited by larsarus on 21.10.2018 13:47; edited 1 time in total
Back to top
View user's profile Send private message
haavarl
Forumsjef


Joined: 10 Sep 2002
Posts: 13837
Location: Askim

PostPosted: 21.10.2018 10:59    Post subject: Reply with quote

Viktig at STAut holder seg over treshold, si.
_________________
Si ifra når det trengs - www.facebook.com/motfylla
Back to top
View user's profile Send private message
JohnTiger
Veteran


Joined: 27 Nov 2007
Posts: 1894
Location: Heimdal

PostPosted: 21.11.2018 09:31    Post subject: Reply with quote

Fantastisk flott at du tar deg tid til å kjøre manuell oppdatering på B/G og Celtic såpass ofte nå OrionPax.

Tommel'n opp! Tommel'n opp! Tommel'n opp!
_________________
Rosenborg e laget!

Twitter : @JohnTiger67
Back to top
View user's profile Send private message
OrionPax
Forumsjef


Joined: 12 Aug 2011
Posts: 7845
Location: Drammen

PostPosted: 21.11.2018 10:21    Post subject: Reply with quote

Har strømlinjeformet det en del for meg selv - i påvente av å få det 100% automatisert - så nå er det utelukkende et spørsmål om å huske å gjøre det. Og det gjør jeg jo innimellom. Smile
_________________
Rosenborg for alltid - uansett! | Troillprat.no
Back to top
View user's profile Send private message Visit poster's website
OrionPax
Forumsjef


Joined: 12 Aug 2011
Posts: 7845
Location: Drammen

PostPosted: 16.05.2019 20:51    Post subject: Reply with quote

Så, etter masse kjip venting, og koding i tre forskjellige programmeringsspråk for å komme seg rundt forsøkene til TicketMaster på å blokkere oss...


_________________
Rosenborg for alltid - uansett! | Troillprat.no
Back to top
View user's profile Send private message Visit poster's website
Mustrum Ridcully
Veteran


Joined: 15 Nov 2011
Posts: 8961
Location: Helt Apoel

PostPosted: 16.05.2019 20:54    Post subject: Reply with quote

Herlige greier, dere jobber veldig bra! Det er bra sikkert. Tommel'n opp!
_________________
Agbogbloshie park inspector.
Quis custodiet ipsos custodes?
Back to top
View user's profile Send private message
MkBerg
Veteran


Joined: 26 Sep 2012
Posts: 1286
Location: Volda

PostPosted: 02.08.2019 11:18    Post subject: Reply with quote

Billetter til Maribor-kampen ute. Kjør STAut!
Back to top
View user's profile Send private message
OrionPax
Forumsjef


Joined: 12 Aug 2011
Posts: 7845
Location: Drammen

PostPosted: 02.08.2019 11:23    Post subject: Reply with quote

STAut har kjørt siden salget startet. Smile


_________________
Rosenborg for alltid - uansett! | Troillprat.no
Back to top
View user's profile Send private message Visit poster's website
Captain
Veteran


Joined: 13 Jul 2016
Posts: 1890

PostPosted: 02.08.2019 11:27    Post subject: Reply with quote

Fantastisk! Dere gjør en enormt god jobb, til glede for mange her inne Very Happy
_________________
Stolt fortid, stor fremtid
Back to top
View user's profile Send private message
angvik
Proff


Joined: 25 Mar 2014
Posts: 461
Location: Brussel

PostPosted: 02.08.2019 12:03    Post subject: Reply with quote

Det å sitte og telle prikker hadde sin sjarm det óg. Men dette er jo rett og slett ren luksus. Glimrende arbeid av OrionPax.
Back to top
View user's profile Send private message
OrionPax
Forumsjef


Joined: 12 Aug 2011
Posts: 7845
Location: Drammen

PostPosted: 02.08.2019 17:00    Post subject: Reply with quote

Tusen takk for det. Smile

Har fått brukt siste feriedag til å gjøre ferdige (i den grad noe software noensinne er ferdig) scriptene som omgår siste del av sabotasjen til TicketMaster. Nå er systemet nært opptil helautomatisk igjen, og vil ikke stoppe opp slik det gjorde foran f.eks. begge de to første hjemmekampene i CL-kvaliken da jeg var bortreist. Systemet finner selv alle RBK-events på siden til TicketMaster og gjennomfører datasank. Egentlig akkurat det Vemundo sitt opprinnelige sankesystem gjorde, men på en måte som er vanskeligere for TicketMaster å holde ute. Dog ikke umulig, venter bare på neste trekk fra dem...

Det mangler en liten bit fortsatt, som gjør litt nødvendig husarbeid når en helt ny kamp dukker opp i event-lista. Satser på å ha dette på plass innen altfor lenge. Når dette er på plass, blir det forsøksvis flyttet fra min maskin til STAut-serveren (mesteparten av jobben skjer fortsatt der, bare ikke selve sankingen). Håpet mitt er at ingen skal merke noe til noe av dette, og at STAut bare skal levere tall fortløpende.

Har også noen planer om å endelig få oppdatert graf-renderingen litt. Ikke de helt store endringene, men litt småtteri så det ser litt mindre håpløst ut.
_________________
Rosenborg for alltid - uansett! | Troillprat.no
Back to top
View user's profile Send private message Visit poster's website
Macha
Veteran


Joined: 05 Nov 2008
Posts: 4058

PostPosted: 02.08.2019 17:07    Post subject: Reply with quote

Dette er så latterlig bra Tommel'n opp!
Back to top
View user's profile Send private message
RBK_1917
Senior


Joined: 20 Jul 2018
Posts: 233
Location: Oslo

PostPosted: 02.08.2019 17:28    Post subject: Reply with quote

Er det lov å spørre hvorfor det bare er 10796 billetter til salgs? Engel/uskyldig
Back to top
View user's profile Send private message
hello
Veteran


Joined: 04 Apr 2008
Posts: 7646

PostPosted: 02.08.2019 17:34    Post subject: Reply with quote

Sikkert gjenkjøp av sesongkort pluss VIP som blir reservert.
Back to top
View user's profile Send private message
OrionPax
Forumsjef


Joined: 12 Aug 2011
Posts: 7845
Location: Drammen

PostPosted: 02.08.2019 20:15    Post subject: Reply with quote

Ja, noe sånt - generelt kan RBK frigi billetter i puljer. Noen plasser blir først sluppet når andre er solgt, billettene til ev. bortesupportere er ikke tilgjengelig gjennom åpent salg osv. Skulle 21k ha lyst til å komme på kamp ordner det seg nok. Smile
_________________
Rosenborg for alltid - uansett! | Troillprat.no
Back to top
View user's profile Send private message Visit poster's website
OrionPax
Forumsjef


Joined: 12 Aug 2011
Posts: 7845
Location: Drammen

PostPosted: 03.08.2019 02:08    Post subject: Reply with quote

Liten oppdatering på graf-rendering på STAut. Som kan sees av Maribor-grafen over her, forsøker STAut nå å skalere både X- og Y-aksene etter forholdene i den enkelte kampen. Da først og fremst hvor mange dager før kamp vi har data for på X-aksen, og hvor mange tusen billetter som er solgt på Y-aksen.

Dette betyr altså IKKE at alt er konge og Lerkendal er utsolgt fordi en graf nærmer seg toppen! Det betyr bare at vi nærmer oss neste hele tusen. Når vi passerer denne grenseverdien vil grafen justere seg igjen. Les alltid tallene på aksene for å orientere deg. Smile

Dette er ikke helt ferdig, fordi man skriver ikke feilfri kode kl. 3 natt til lørdag. Spesielt grid lines er litt funky akkurat nå, men det kommer. Det blir bedre. Jeg må bare finne de casene hvor det blir feil/kunne vært bedre, og sørge for å bli enig med meg selv om hva som er rett i de forskjellige tilfellene.

Kom gjerne med tilbakemeldinger. Men vit da at kamper skaleres individuelt, og ikke statisk med utgangspunkt i 30 dagers datainnsamling og 22k som max.
_________________
Rosenborg for alltid - uansett! | Troillprat.no
Back to top
View user's profile Send private message Visit poster's website
ace
Veteran


Joined: 05 Apr 2005
Posts: 3776
Location: Stiftstaden

PostPosted: 03.08.2019 08:41    Post subject: Reply with quote

Vil det implementeres asymptoter etterhvert?
_________________
Svart og hvit for alltid!
Back to top
View user's profile Send private message Send e-mail MSN Messenger
OrionPax
Forumsjef


Joined: 12 Aug 2011
Posts: 7845
Location: Drammen

PostPosted: 03.08.2019 09:49    Post subject: Reply with quote

Det må nok noen med mer forståelse for matematikk og statistikk til for å vurdere hvordan vi skal gjøre noe sånt - det har vært noen diskusjoner underveis om å legge til funksjonalitet for å "gjette" endelig tilskuertall underveis, og forskjellige måter å gjøre dette på - alt fra enkel ekstrapolering til maskinlæring kan jo i teorien bidra med meninger om hvor ting ender opp.

Jeg tenker at det beste jeg kan gjøre er å gjøre dataene tilgjengelige, så kan smartere hoder enn mitt forske på forskjellige muligheter vi har med dataene. Smile
_________________
Rosenborg for alltid - uansett! | Troillprat.no
Back to top
View user's profile Send private message Visit poster's website
OrionPax
Forumsjef


Joined: 12 Aug 2011
Posts: 7845
Location: Drammen

PostPosted: 03.08.2019 13:41    Post subject: Reply with quote

Argh, ny robot-verifikasjon hos TicketMaster dukket opp i dag. Tror jeg skal komme rundt den også. Men de vil virkelig ikke at noen skal ha tak i dataene...
_________________
Rosenborg for alltid - uansett! | Troillprat.no
Back to top
View user's profile Send private message Visit poster's website
Macha
Veteran


Joined: 05 Nov 2008
Posts: 4058

PostPosted: 03.08.2019 13:53    Post subject: Reply with quote

Kjedelig, lurer på hva årsaken bak denne motviljen er.

For øvrig; er det mulig å kunne sanke data for bortekamper slik at man kan se på tilskuertallene for RBK borte i fremtiden?
Back to top
View user's profile Send private message
OrionPax
Forumsjef


Joined: 12 Aug 2011
Posts: 7845
Location: Drammen

PostPosted: 03.08.2019 14:08    Post subject: Reply with quote

Det er litt komplisert å svarte kort og konsist på. Smile

For bortelag som selger billetter gjennom TicketMaster kan man jo i teorien hente ned data med STAut. Men så har man spørsmålet med statuskoder. Vi har jo brukt en stund på å fintune vår tolkning av de mange forskjellige statuskodene et sete på Lerkendal kan ha - det er mye mer komplisert enn bare "til salgs" eller "ikke til salgs". Ved hjelp av bl.a. folk som har fortalt oss om billettene sine og kjøpstidspunkt har vi klart å identifisere såpass med koder at vi får tall som er ganske nær fasit.

Men bruker andre klubber samme koder? Er dette styrt av TicketMaster eller RBK i vårt tilfelle? RBK har jo en haug med forskjellige koder for sesongkort (svart, hvitt, gull) og enkeltbilletter (vennebillett, Trøndelag på kamp, alt hva det heter), bruker nødvendigvis en annen klubb tilsvarende?

Det kan hende det ville ha virket, men sjansen er også ganske stor for at det ikke ville det, dessverre. Og jeg har så langt ikke lagt så mye av den begrensede STAut-tiden jeg har i å forske på dette. Smile
_________________
Rosenborg for alltid - uansett! | Troillprat.no
Back to top
View user's profile Send private message Visit poster's website
Display posts from previous:   
Post new topic   Reply to topic    Forum -> På sidelinja All times are GMT + 1 Hour
Goto page Previous  1, 2, 3 ... 59, 60, 61, 62  Next
Page 60 of 62

 
Jump to:  


Utviklet av phpBB. Tilrettelagt for RBKweb.

ANNONSE
SITATET
© 1999-2019 RBKweb