View previous topic :: View next topic |
Author |
Message |
OrionPax Forumsjef
Joined: 12 Aug 2011 Posts: 9664 Location: Drammen
|
Posted: 25.03.2017 13:19 Post subject: Generell Rapporteringsautomat (GRAut) |
|
|
Hepp,
På initiativ fra bolgebah har jeg sett litt på muligheten til å skrape sammen data om vår kjære klubb fra jungelen av websider - det er jo ikke bare setetelling som kan være interessant, og tilgang til "vår egen" statistikk er aldri negativt.
Så i går begynte jeg så vidt å se på muligheten til å trekke ut informasjon om RBKs kamper fra websider. I første omgang startet jeg med altomfotball.no fordi det er en ganske enkel struktur der, og lett å følge linker fra en sesong til en annen osv. Har fått tips om andre sider med statistikk og info også, men har klart å dra ut en del herfra allerede.
Per nå drar programmet ut kampinformasjon (motstander, hjemme/bortekamp, mål, resultat for RBK, dommer, tilskuertall m.m.) fra det øverste norske nivået 1999-2016 (1998 og bakover har altomfotball kun resultater, ikke detaljer på kampene så vidt jeg kan finne).
Jeg har fått tips om at sider som fotball.no har mer komplett informasjon, og andre tips mottas også med takk - min tanke er at jo flere steder vi kan lese fra, jo mer komplett blir informasjonen.
Dette er et prosjekt som er 2 timer gammelt i effektiv koding, så det er fryktelig langt unna å kunne gjøre noe imponerende nyttig, men som et lite eksempel, så kommer her den første "rapporten" generert med det. Det handler om poengsnittet til RBK med forskjellige dommere fra og med 1999 til og med 2016. Ikke for å henge ut noen, bare som et utgangspunkt for diskusjon. Overbevisende?
Code: |
Dommer;Kamper;Poeng;Snitt
Øyvind Alapnes;4;12;3
Ole Kamben;2;6;3
Svein-Erik Edvartsen;23;62;2.695652
Anders Johansen;6;16;2.666667
Tommy Skjerven;56;133;2.375
Jon Eilif Skjervold;12;28;2.333333
Kai Erik Steen;3;7;2.333333
Trond Ivar Døvle;7;16;2.285714
Ken Henry Johnsen;11;25;2.272727
Ola Hobber Nilsen;8;18;2.25
Rune Pedersen;15;32;2.133333
Per Ivar Staberg;29;61;2.103448
Kjetil Sølen;21;44;2.095238
Jonny Ditlefsen;12;25;2.083333
Kristoffer Helgerud;7;14;2
Omar Rafiq;3;6;2
Svein Oddvar Moen;36;71;1.972222
Tom Harald Hagen;24;45;1.875
Tore Hansen;12;22;1.833333
Tom Henning Øvrebø;44;80;1.818182
Brage Sandmoen;32;57;1.78125
Terje Hauge;51;87;1.705882
Espen Berntsen;39;66;1.692308
Roy Helge Olsen;33;54;1.636364
Kjell Alseth;2;3;1.5
Martin Lundby;3;4;1.333333
Trygve Kjensli;5;6;1.2
|
Enkelt og greit:
Dommer: Personnavnet
Kamper: Antall kamper dommeren har dømt oss i perioden
Poeng: Summen av poeng vi har fått i kampene dommeren har dømt
Snitt: Poengsnitt i kamper dømt av denne dommeren
Så er dette ren matte, det er ikke tatt hensyn til nivå på motstander, hjemme/borte eller andre faktorer som måtte spille inn.
Hvis noen er interessert i å bidra, så står tråden til disp.
Kode kommer på github etterhvert. Prosjektet er skrevet i C#. _________________ Rosenborg for alltid - uansett! | Troillprat.no |
|
Back to top |
|
|
attach Forumsjef
Joined: 05 Jul 2005 Posts: 25183 Location: Rosenborg
|
Posted: 25.03.2017 13:30 Post subject: |
|
|
Herlig Vil anbefale nifs.no (Norsk & Internasjonal Fotballstatistikk). Den har det meste av statistikk til både GRAut og annet. |
|
Back to top |
|
|
Mustrum Ridcully Legende
Joined: 15 Nov 2011 Posts: 10089 Location: Helt Apoel
|
Posted: 25.03.2017 14:01 Post subject: |
|
|
Rett og slett fantastisk! _________________ Agbogbloshie park inspector.
Quis custodiet ipsos custodes? |
|
Back to top |
|
|
waterfalls Veteran
Joined: 21 Oct 2013 Posts: 1845 Location: Stjørdal
|
Posted: 25.03.2017 14:32 Post subject: |
|
|
Må bare slenge meg med på hyllesten! Jeg er rett og slett imponert over innsatsen du legger ned, både med STaut og nå også GRaut |
|
Back to top |
|
|
apresthus Proff
Joined: 02 Sep 2007 Posts: 369 Location: Trentino, Italia
|
Posted: 25.03.2017 15:10 Post subject: |
|
|
Heisann Orion, kult initativ! Beklager hvis dette er off topic men...
Jeg har sittet å puslet litt på et enkelt analyseverktøy som jeg tenkte å presentere til forumet hvis det en eller annen dag kunne ha noen nytteverdi, men det aller vanskeligste var datainnsamling. Jeg så på det å skrape fra websider (altomfotball bruker vel opta?), men såvidt jeg forstod det, så har opta gått til skritt for å obfuscate kode og data for nettopp å forhindre scraping (iallefall av in match events). Vet ikke om du har sett noe slikt? VGNett ser iallefall ut til å bruke Opta i automatisk liveoppdateringer.
Spurte også opta folka om hvor mye de skulle ha for tilgang til dataene, og selv om det hadde vært kult å gitt noe slikt til forumet, er jeg ikke så bemidlet for å si det sånn |
|
Back to top |
|
|
OrionPax Forumsjef
Joined: 12 Aug 2011 Posts: 9664 Location: Drammen
|
Posted: 25.03.2017 15:24 Post subject: |
|
|
attach: Takk, skal sjekkes ut!
Og takk for positive meldinger.
apresthus: Synes ikke det er off topic i det hele tatt, om flere kan bidra til forumets beste er jo det helt glimrende.
Et par av sidene jeg har sett på driver med diverse obfuscation ja, alt fra karakter-encoding til at sidene blir laget dynamisk ved runtime vha. javascript f.eks. Jeg brukte ScrapySharp til dette, den er nok ikke egnet til å overvinne noe sånt, den har nok trøbbel bare med å få til norske tegn.
Men det ser ut til at det finnes nok sider med data til at vi skal klare å skrape ut det vi trenger. Jeg har heller ikke "Opta-penger" å bruke på sånt, så tipper at hvis vi klarer å lage et system som henter fra flere steder så får vi nært opptil det vi kan håpe på av data.
Får vi skikkelig dreis på dette kan vi jo ev. dytte det inn i en database som er eksponert via et HTTP REST-interface som deler ut JSON.
Tankene er ikke ferdig tenkt, men håper er altså at vi skal ha nok potensielle datakilder til at de slemme ikke stopper oss. _________________ Rosenborg for alltid - uansett! | Troillprat.no |
|
Back to top |
|
|
BalleK Veteran
Joined: 06 Mar 2015 Posts: 3338 Location: Sandnes
|
Posted: 25.03.2017 15:57 Post subject: |
|
|
Genialt! _________________ RBK fjepper
Toillat folk e folk det å |
|
Back to top |
|
|
JellyFish Veteran
Joined: 12 Jan 2004 Posts: 1540 Location: Bergen
|
Posted: 25.03.2017 16:27 Post subject: |
|
|
Dette er gøy! Bra levert, OrionPax. Regner med vi finner opptil flere mandler i GRAuten etter hvert.
Jeg ønsker å piggybacke litt på dette arbeidet med å gjøre noen visualiseringer av uttrekket. Dette er noe jeg lenge har tenkt å lære litt om, så håper å øke ferdighetene etter hvert. Får se hva tiden strekker til. Først en enkel plot av dommerne. Ingen tvil om at Skjerven drar opp snittet, ellers en litt negativ trend blant de mest brukte dommerne (som nevnt over).
Oppdatert med hvem som aktiv og ikke. Merk at snittet er ganske så likt hvis du ser på årets aktive dommere og totalen. _________________
Mikael Dorsin wrote: | Fotball er ganske enkelt når man gjør det enkelt. |
Last edited by JellyFish on 25.03.2017 17:45; edited 1 time in total |
|
Back to top |
|
|
apresthus Proff
Joined: 02 Sep 2007 Posts: 369 Location: Trentino, Italia
|
Posted: 25.03.2017 17:02 Post subject: |
|
|
Kul visualisering, kan virkelig bli et spennende verktøy!
@Orion
Jeg liker tankegangen med et REST API og JSON, det er ialelfall noe jeg har en god del erfaring med. Har holdt på med et annet hobbyprosjekt i et par år nå med å hente inn RSS feeds (og konstruere egne), fra mange ulike kilder, standarisere det til et JSON format å pulle informasjonen gennom et REST API til slutt, det er vel akkurat noe slikt vi trenger ville jeg tro (bortsett fra at kildedataen er XML og ikke RSS selvfølgelig). Sist jeg sjekket brukte iallefall Opta XML som dataformat, men har som du nevner også sett det du nevner ved at siden blir konstruert i runtime. Tenker at så lenge dataene er mange nok og gode nok, så er mulighetene mange for funksjonalitet.
Hele grunnen til at jeg forøvrig startet med "PitchVision" prosjektet mitt, var at jeg ville se for eks hvor vi hadde flest balltap på banen og om det var mulig å se noen mønster på hvilke faser av spillet vi var mest sårbare for dette, kunne vært et godt eksempel på en use case for dette programmet iallefall, hvis vi får tak i in match data. Nå er selvsagt mye av dette idemyldring uten veldig mye konkret implementasjon enda. |
|
Back to top |
|
|
OrionPax Forumsjef
Joined: 12 Aug 2011 Posts: 9664 Location: Drammen
|
Posted: 25.03.2017 22:11 Post subject: |
|
|
Dette her er det jeg håpet på - litt synergi og kreativitet og forsøk på å bygge videre på ting.
Ingen tvil om at det er flere her med spennende tanker rundt dette. Det er så tidlig i livssyklusen til dette prosjektet at jeg tenker alt er lov, ingen er uansett ansatt på forumet for å drive med disse tingene, så som med STAut så blir det litt "lystbetont". Det vi kanskje først bør kartlegge er hva slags info vi trenger å skaffe fra kampene for å åpne for mest mulig kreativitet, og så jobbe med å skaffe det. Databasestrukturer og sånt blir vi enige om når det trengs.
Sørger vi for et solid datagrunnlag blir det en "the sky is the limit"-situasjon som jeg tror vil komme alle RBK-supportere til gode. Det er mange som har ideer om dette her, ikke bare de som skriver om det offentlig i forumet, så dette blir bra!
Jeg har tatt overdose på pizza i familieselskap så hjernen min virker ikke i kveld, men skal se om jeg kan bli enig med meg selv om en god vei fremover kjapt. _________________ Rosenborg for alltid - uansett! | Troillprat.no |
|
Back to top |
|
|
Torbjørn Veteran
Joined: 18 Jul 2005 Posts: 5183
|
Posted: 26.03.2017 11:58 Post subject: |
|
|
Faktorer som kan påvirke dommer/poeng-analysen og som må justeres for:
- hjemme/borte-bane
- spillertilgjengelighet (har det ene laget viktige spillere ute?)
- kampfrekvens (er det ene laget mer slitne/utladet? antall spilte kamper (hjemme eller i Europa) kan være et mål)
- tabellsituasjon (er det ene laget mer motivert? Spiller det ene laget med hjertet utenpå drakta mens det andre ikke har så mye å spille for? Tabellsituasjon/poengavstand til andre lag/nedrykk kan være et mål)
Sikkert flere andre som kan legges til lista! _________________ Nils Arne Eggen. |
|
Back to top |
|
|
OrionPax Forumsjef
Joined: 12 Aug 2011 Posts: 9664 Location: Drammen
|
Posted: 26.03.2017 22:10 Post subject: |
|
|
Viktige momenter. Denne typer faktorer er sånt som vi må tenke på at skal være tilgjengelig i systemet. Ikke bare pga. dommer-tallene, men fordi det kan være interessant for andre ting.
F.eks. hvordan gjør RBK det når det kun er tre dager siden sist kamp? Hvordan gjør RBK det når det er tre dager siden sist kamp vs. 3 dager siden sist kamp og det var cupkamp eller ecup som gikk til ekstraomganger? Hvordan gjør vi det i straffekonk (NM) vs. lag på øvre halvdel kontra nedre halvdel av tabellen?
Hva slags data må vi spore for å dekke alle mulige "vinklinger"? _________________ Rosenborg for alltid - uansett! | Troillprat.no |
|
Back to top |
|
|
bolgebah Veteran
Joined: 01 Aug 2006 Posts: 6059
|
Posted: 26.03.2017 22:53 Post subject: |
|
|
Jeg tror det vil være et blindspor å la alle disse faktorene påvirke "dommerpoengene", ja. Tallene er rett og slett for små. Som jeg har mast om før må man i så fall innføre ikke-parametriske substitutter for det man ønsker å se på, men jeg tviler på at de finnes i dette tilfellet. Jeg synes vi skal nøye oss med poengtallene og heller la diskusjonen gå om årsakene til at det er sånn, ellers stratifiserer vi tallene i hjel. |
|
Back to top |
|
|
OrionPax Forumsjef
Joined: 12 Aug 2011 Posts: 9664 Location: Drammen
|
Posted: 27.03.2017 08:14 Post subject: |
|
|
I tilfellet dommerne er jeg enig i at vi nok aldri finner en formel som sier noe ala "Dette beviser bortenfor enhver tvil at Terje Hauge var mer negativ til RBK enn han burde ha vært" eller noe sånt. I beste fall blir det enda en kilde til diskusjon.
Det jeg tenker er at vi må ha alle mulige statistikker rundt RBK sine kamper uansett, så får vi forsøke å forvalte det med visdom. Hvis noen ønsker å se en liste over poeng til RBK med Terje Hauge som dommer mot topp 5 ved sesongslutt i ligaen, kontra mot alle andre, så er det greit at vi teknisk sett skal være i stand til å dra ut dataene, men så må vi diskutere verdien av det.
Drømmen min er jo å kunne ta ut statistikker på sånt som "gi meg topp 10 kamper hvor vi slo smurfene, sortert etter måldifferanse, fordelt på måneder kampen ble spilt".
Det ER begrensede kildedata, men det har heldigvis aldri stoppet en supporter. _________________ Rosenborg for alltid - uansett! | Troillprat.no |
|
Back to top |
|
|
Torbjørn Veteran
Joined: 18 Jul 2005 Posts: 5183
|
Posted: 27.03.2017 13:53 Post subject: |
|
|
Vil heller si det er et blindspor å ikke justere eventuelle konfoundere, Bolge. Klart, det er lett og gøy å nå raske konklusjoner, men det er bortkastet tid og arbeid (for ikke å si uetterettelig) å konkludere med f.eks. at "RBK tok færre poeng med Hauge som dommer", hvis den egentlig grunnen til RBK tok færre poeng i disse kampene var en helt annen, og ikke hadde noe med Hauge å gjøre. Dette finnes det så klart statistiske verktøy for å justere for (ikke veldig avansert, men litt mer avansert enn å "stratifisere" dataene). _________________ Nils Arne Eggen. |
|
Back to top |
|
|
bolgebah Veteran
Joined: 01 Aug 2006 Posts: 6059
|
Posted: 27.03.2017 14:25 Post subject: |
|
|
Jada, jeg har da pådratt meg noen studiepoeng i statistikk på universitetet sjøl, så jeg kjenner til de triksene der. Og igjen vil jeg si at tallene umiddelbart ser alt for små ut. Dessuten vil jeg imøtegå den andre påstanden din - det er helt i orden å si "RBK tok færre poeng med Hauge som dommer". Det er jo nettopp det Orion har funnet ut for oss. Det som vil være uetterrettelig er å si "RBK tok færre poeng fordi Hauge dømte". En slik eventuell konklusjon vil kreve en langt høyere statistisk presisjon som vi ikke kommer til å nå fordi de potensielle confounderne er for mange. |
|
Back to top |
|
|
haavarl Forumsjef
Joined: 10 Sep 2002 Posts: 15253 Location: Askim
|
Posted: 27.03.2017 14:44 Post subject: |
|
|
bolgebah wrote: | det er helt i orden å si "RBK tok færre poeng med Hauge som dommer" |
Ja, men hvilken mening ligger i et slikt utsagn? Det høres ut som om man skal frem til et eller annet som faktisk har med dommeren å gjøre. Og det skal man jo ikke, fordi det er så mange faktorer som påvirker.
Men klart, som tilskudd til overtroiske betraktninger før kamp kan det vel ha effekt ... _________________ Embrace science - resist ignorance |
|
Back to top |
|
|
bolgebah Veteran
Joined: 01 Aug 2006 Posts: 6059
|
Posted: 27.03.2017 15:12 Post subject: |
|
|
Hadde vi ikke nettopp i en annen tråd en diskusjon om antallet straffespark RBK får? Det å telle straffespark for forskjellige klubber kan da ikke være så veldig forskjellig fra å telle poeng i kamper med forskjellige dommere? Jeg er svoren tilhenger av deretter å fremsette teorier om hvorfor poengene fordeler seg som de gjør, og jeg tar gladelig av meg hatten for den som eventuelt kan regne inn ukedager, motstandere, suspensjoner, skader, vær og føre, kompliserte reiser til bortekamper og annet som kan innvirke på utfallet, og deretter komme fram til tall med konfidensintervaller som viser at det har noe for seg, men jeg tviler sterkt på at det er mulig. Utgangspunktet for diskusjon er jo hele poenget her. |
|
Back to top |
|
|
Torbjørn Veteran
Joined: 18 Jul 2005 Posts: 5183
|
Posted: 28.03.2017 10:31 Post subject: |
|
|
Uten at jeg har sterke meninger om verdien av å telle straffespark, vil jeg tro der en hel rekke flere variabler som kan påvirke sluttresultatet i en kamp, enn variabler som kan påvirke antall straffespark? Dommeren virker mye mer sentral i sistnevnte funksjon. _________________ Nils Arne Eggen. |
|
Back to top |
|
|
OrionPax Forumsjef
Joined: 12 Aug 2011 Posts: 9664 Location: Drammen
|
Posted: 28.03.2017 11:21 Post subject: |
|
|
Nå har ikke jeg spesielt god peiling på statistikk og hva slags slutninger som er gyldige å trekke fra hvilke tall og sånt, for min del handler det mest om å skaffe datagrunnlaget som kan starte noen diskusjoner og en og annen bar-fight.
Men "nivå 1" her er at nå har vi snittpoeng fra dommerne som har dømt RBK i serien 99-16. Neste nivå - kanskje å se, hva var snittet når Hauge dømte Viking? Hvordan dømmer Skjerven mfk eller vif?
Vi har et høyere poengsnitt enn andre lag fordi vi har vunnet mest, men forskjellene kan likevel være interessante. Hvis vi kan se vårt generelle poengsnitt opp mot poengsnitt på en viss bane, med en viss dommer, på en viss tid av året, så vil det på et forum som dette være bensin til masse god diskusjon. Om det så bare brukes for å avkrefte noen konspirasjonsteorier istedenfor å starte noen, så er vel det også greit.
Kanskje vi til og med kan koke det ned til de optimale forholdene for å få et straffespark i en kamp. Hvis det viser seg at Rune Pedersen på Lerkendal mot vif er garantist for 0.8 straffer pr. kamp så er jo det en kul ting å vite om, selv om det kun er et tall og ikke en forklaring.
Anyway, disse diskusjonene om hva som er gyldig å trekke ut av tallene vil det nok bli flere av etterhvert som tallene blir mer tilgjengelige. _________________ Rosenborg for alltid - uansett! | Troillprat.no |
|
Back to top |
|
|
attach Forumsjef
Joined: 05 Jul 2005 Posts: 25183 Location: Rosenborg
|
Posted: 10.04.2017 13:26 Post subject: |
|
|
Tilskuersnitt på bakgrunn av kamptidspunkt kunne vært interessant:
shadwell wrote: | om du har veldig god tid hadde det vært intr å sett kamptidspunkt i 15, 16 og i år for å se om det kan ha noe å si |
|
|
Back to top |
|
|
OrionPax Forumsjef
Joined: 12 Aug 2011 Posts: 9664 Location: Drammen
|
Posted: 10.04.2017 13:55 Post subject: |
|
|
Notert! Er inne i en intens STAut-periode så GRAut har fått ligge litt lenger bak i hjernen for modning, skal ta den frem igjen når vi begynner å få skikk på salgstallene igjen. _________________ Rosenborg for alltid - uansett! | Troillprat.no |
|
Back to top |
|
|
Moenguten Junior
Joined: 21 Jul 2017 Posts: 16
|
Posted: 03.08.2018 16:31 Post subject: |
|
|
Tillater meg å bumpe denne tråden |
|
Back to top |
|
|
OrionPax Forumsjef
Joined: 12 Aug 2011 Posts: 9664 Location: Drammen
|
Posted: 03.08.2018 17:03 Post subject: |
|
|
Velkommen til forumet, bra start å begynne her
Har hatt et tungt video-prosjekt denne sommeren, så GRAut har fått ligge i fred. Men det er egentlig ganske greit på vei, og har mye på plass. Det store som mangler er å hente data for flere sesonger samt å lagre ting i en ordentlig database. Skal gjøre litt med dette når jeg er i mål på det andre.
Har selvfølgelig masse obskur statistikk jeg har lyst til å produsere med dette selv. _________________ Rosenborg for alltid - uansett! | Troillprat.no |
|
Back to top |
|
|
bolgebah Veteran
Joined: 01 Aug 2006 Posts: 6059
|
Posted: 03.12.2019 09:45 Post subject: |
|
|
Orion, kan du skrive et eller annet som regner ut poengsum, tabell og maratontabell fra tabelltips-tråden, Attaboy-style? Gjerne før lunsj, om det ikke er for mye bry. |
|
Back to top |
|
|
|