English version 
Rosenborg Web
SESONGEN 2024
 NYHETER
 KAMPER
 SPILLERE
KLUBBEN
 HISTORIE
 KLUBBFAKTA
 MERITTER
 REKORDER
 STATISTIKK
 LERKENDAL STADION
EKSKLUSIVT
 LESESTOFF
 I GAMLE DAGER
 LEGENDER
 BILDESPESIAL
MENINGER
 DEBATTFORUM
 KOMMENTAR
 DIN MENING
RBKweb
 OM RBKweb
 ANNONSEINFORMASJON
 RSS-KANAL
 ARKIV
 TA KONTAKT
SØK I ARTIKLER
Debattforum

Alle kan lese innleggene, men man må registrere seg for å delta aktivt i diskusjonene.
Everyone can read the posts, but you have to register before writing your own posts.

 FAQFAQ   SearchSearch   MemberlistMemberlist   UsergroupsUsergroups   StatistikkStatistikk   RegisterRegister 
 ProfileProfile   Log in to check your private messagesLog in to check your private messages   Log inLog in 
Generell Rapporteringsautomat (GRAut)
Goto page 1, 2  Next
 
Post new topic   Reply to topic    Forum -> PÃ¥ sidelinja
View previous topic :: View next topic  
Author Message
OrionPax
Forumsjef


Joined: 12 Aug 2011
Posts: 9653
Location: Drammen

PostPosted: 25.03.2017 12:19    Post subject: Generell Rapporteringsautomat (GRAut) Reply with quote

Hepp,

På initiativ fra bolgebah har jeg sett litt på muligheten til å skrape sammen data om vår kjære klubb fra jungelen av websider - det er jo ikke bare setetelling som kan være interessant, og tilgang til "vår egen" statistikk er aldri negativt.

Så i går begynte jeg så vidt å se på muligheten til å trekke ut informasjon om RBKs kamper fra websider. I første omgang startet jeg med altomfotball.no fordi det er en ganske enkel struktur der, og lett å følge linker fra en sesong til en annen osv. Har fått tips om andre sider med statistikk og info også, men har klart å dra ut en del herfra allerede.

Per nå drar programmet ut kampinformasjon (motstander, hjemme/bortekamp, mål, resultat for RBK, dommer, tilskuertall m.m.) fra det øverste norske nivået 1999-2016 (1998 og bakover har altomfotball kun resultater, ikke detaljer på kampene så vidt jeg kan finne).

Jeg har fått tips om at sider som fotball.no har mer komplett informasjon, og andre tips mottas også med takk - min tanke er at jo flere steder vi kan lese fra, jo mer komplett blir informasjonen.

Dette er et prosjekt som er 2 timer gammelt i effektiv koding, så det er fryktelig langt unna å kunne gjøre noe imponerende nyttig, men som et lite eksempel, så kommer her den første "rapporten" generert med det. Det handler om poengsnittet til RBK med forskjellige dommere fra og med 1999 til og med 2016. Ikke for å henge ut noen, bare som et utgangspunkt for diskusjon. Overbevisende?

Code:

Dommer;Kamper;Poeng;Snitt
Øyvind Alapnes;4;12;3
Ole Kamben;2;6;3
Svein-Erik Edvartsen;23;62;2.695652
Anders Johansen;6;16;2.666667
Tommy Skjerven;56;133;2.375
Jon Eilif Skjervold;12;28;2.333333
Kai Erik Steen;3;7;2.333333
Trond Ivar Døvle;7;16;2.285714
Ken Henry Johnsen;11;25;2.272727
Ola Hobber Nilsen;8;18;2.25
Rune Pedersen;15;32;2.133333
Per Ivar Staberg;29;61;2.103448
Kjetil Sølen;21;44;2.095238
Jonny Ditlefsen;12;25;2.083333
Kristoffer Helgerud;7;14;2
Omar Rafiq;3;6;2
Svein Oddvar Moen;36;71;1.972222
Tom Harald Hagen;24;45;1.875
Tore Hansen;12;22;1.833333
Tom Henning Øvrebø;44;80;1.818182
Brage Sandmoen;32;57;1.78125
Terje Hauge;51;87;1.705882
Espen Berntsen;39;66;1.692308
Roy Helge Olsen;33;54;1.636364
Kjell Alseth;2;3;1.5
Martin Lundby;3;4;1.333333
Trygve Kjensli;5;6;1.2


Enkelt og greit:

Dommer: Personnavnet
Kamper: Antall kamper dommeren har dømt oss i perioden
Poeng: Summen av poeng vi har fått i kampene dommeren har dømt
Snitt: Poengsnitt i kamper dømt av denne dommeren

Så er dette ren matte, det er ikke tatt hensyn til nivå på motstander, hjemme/borte eller andre faktorer som måtte spille inn.

Hvis noen er interessert i å bidra, så står tråden til disp. Smile

Kode kommer på github etterhvert. Prosjektet er skrevet i C#.
_________________
Rosenborg for alltid - uansett! | Troillprat.no
Back to top
View user's profile Send private message Visit poster's website
attach
Forumsjef


Joined: 05 Jul 2005
Posts: 25183
Location: Rosenborg

PostPosted: 25.03.2017 12:30    Post subject: Reply with quote

Herlig Tommel'n opp! Vil anbefale nifs.no (Norsk & Internasjonal Fotballstatistikk). Den har det meste av statistikk til både GRAut og annet.
Back to top
View user's profile Send private message
Mustrum Ridcully
Legende


Joined: 15 Nov 2011
Posts: 10089
Location: Helt Apoel

PostPosted: 25.03.2017 13:01    Post subject: Reply with quote

Rett og slett fantastisk! Tommel'n opp!
_________________
Agbogbloshie park inspector.
Quis custodiet ipsos custodes?
Back to top
View user's profile Send private message
waterfalls
Veteran


Joined: 21 Oct 2013
Posts: 1806
Location: Stjørdal

PostPosted: 25.03.2017 13:32    Post subject: Reply with quote

Må bare slenge meg med på hyllesten! Jeg er rett og slett imponert over innsatsen du legger ned, både med STaut og nå også GRaut Tommel'n opp!
Back to top
View user's profile Send private message
apresthus
Proff


Joined: 02 Sep 2007
Posts: 369
Location: Trentino, Italia

PostPosted: 25.03.2017 14:10    Post subject: Reply with quote

Heisann Orion, kult initativ! Beklager hvis dette er off topic men...
Jeg har sittet å puslet litt på et enkelt analyseverktøy som jeg tenkte å presentere til forumet hvis det en eller annen dag kunne ha noen nytteverdi, men det aller vanskeligste var datainnsamling. Jeg så på det å skrape fra websider (altomfotball bruker vel opta?), men såvidt jeg forstod det, så har opta gått til skritt for å obfuscate kode og data for nettopp å forhindre scraping (iallefall av in match events). Vet ikke om du har sett noe slikt? VGNett ser iallefall ut til å bruke Opta i automatisk liveoppdateringer.

Spurte også opta folka om hvor mye de skulle ha for tilgang til dataene, og selv om det hadde vært kult å gitt noe slikt til forumet, er jeg ikke så bemidlet for å si det sånn Razz
Back to top
View user's profile Send private message
OrionPax
Forumsjef


Joined: 12 Aug 2011
Posts: 9653
Location: Drammen

PostPosted: 25.03.2017 14:24    Post subject: Reply with quote

attach: Takk, skal sjekkes ut!

Og takk for positive meldinger. Smile

apresthus: Synes ikke det er off topic i det hele tatt, om flere kan bidra til forumets beste er jo det helt glimrende. Smile

Et par av sidene jeg har sett på driver med diverse obfuscation ja, alt fra karakter-encoding til at sidene blir laget dynamisk ved runtime vha. javascript f.eks. Jeg brukte ScrapySharp til dette, den er nok ikke egnet til å overvinne noe sånt, den har nok trøbbel bare med å få til norske tegn. Wink

Men det ser ut til at det finnes nok sider med data til at vi skal klare å skrape ut det vi trenger. Jeg har heller ikke "Opta-penger" å bruke på sånt, så tipper at hvis vi klarer å lage et system som henter fra flere steder så får vi nært opptil det vi kan håpe på av data.

Får vi skikkelig dreis på dette kan vi jo ev. dytte det inn i en database som er eksponert via et HTTP REST-interface som deler ut JSON.

Tankene er ikke ferdig tenkt, men håper er altså at vi skal ha nok potensielle datakilder til at de slemme ikke stopper oss. Smile
_________________
Rosenborg for alltid - uansett! | Troillprat.no
Back to top
View user's profile Send private message Visit poster's website
BalleK
Veteran


Joined: 06 Mar 2015
Posts: 3331
Location: Sandnes

PostPosted: 25.03.2017 14:57    Post subject: Reply with quote

Genialt!
_________________
RBK fjepper
Toillat folk e folk det å
Back to top
View user's profile Send private message
JellyFish
Veteran


Joined: 12 Jan 2004
Posts: 1540
Location: Bergen

PostPosted: 25.03.2017 15:27    Post subject: Reply with quote

Dette er gøy! Bra levert, OrionPax. Regner med vi finner opptil flere mandler i GRAuten etter hvert.

Jeg ønsker å piggybacke litt på dette arbeidet med å gjøre noen visualiseringer av uttrekket. Dette er noe jeg lenge har tenkt å lære litt om, så håper å øke ferdighetene etter hvert. Får se hva tiden strekker til. Først en enkel plot av dommerne. Ingen tvil om at Skjerven drar opp snittet, ellers en litt negativ trend blant de mest brukte dommerne (som nevnt over).



Oppdatert med hvem som aktiv og ikke. Merk at snittet er ganske så likt hvis du ser på årets aktive dommere og totalen.
_________________
Mikael Dorsin wrote:
Fotball er ganske enkelt når man gjør det enkelt.


Last edited by JellyFish on 25.03.2017 16:45; edited 1 time in total
Back to top
View user's profile Send private message
apresthus
Proff


Joined: 02 Sep 2007
Posts: 369
Location: Trentino, Italia

PostPosted: 25.03.2017 16:02    Post subject: Reply with quote

Kul visualisering, kan virkelig bli et spennende verktøy!

@Orion

Jeg liker tankegangen med et REST API og JSON, det er ialelfall noe jeg har en god del erfaring med. Har holdt på med et annet hobbyprosjekt i et par år nå med å hente inn RSS feeds (og konstruere egne), fra mange ulike kilder, standarisere det til et JSON format å pulle informasjonen gennom et REST API til slutt, det er vel akkurat noe slikt vi trenger ville jeg tro (bortsett fra at kildedataen er XML og ikke RSS selvfølgelig). Sist jeg sjekket brukte iallefall Opta XML som dataformat, men har som du nevner også sett det du nevner ved at siden blir konstruert i runtime. Tenker at så lenge dataene er mange nok og gode nok, så er mulighetene mange for funksjonalitet.

Hele grunnen til at jeg forøvrig startet med "PitchVision" prosjektet mitt, var at jeg ville se for eks hvor vi hadde flest balltap på banen og om det var mulig å se noen mønster på hvilke faser av spillet vi var mest sårbare for dette, kunne vært et godt eksempel på en use case for dette programmet iallefall, hvis vi får tak i in match data. Nå er selvsagt mye av dette idemyldring uten veldig mye konkret implementasjon enda. Smile
Back to top
View user's profile Send private message
OrionPax
Forumsjef


Joined: 12 Aug 2011
Posts: 9653
Location: Drammen

PostPosted: 25.03.2017 21:11    Post subject: Reply with quote

Dette her er det jeg håpet på - litt synergi og kreativitet og forsøk på å bygge videre på ting. Smile

Ingen tvil om at det er flere her med spennende tanker rundt dette. Det er så tidlig i livssyklusen til dette prosjektet at jeg tenker alt er lov, ingen er uansett ansatt på forumet for å drive med disse tingene, så som med STAut så blir det litt "lystbetont". Det vi kanskje først bør kartlegge er hva slags info vi trenger å skaffe fra kampene for å åpne for mest mulig kreativitet, og så jobbe med å skaffe det. Databasestrukturer og sånt blir vi enige om når det trengs.

Sørger vi for et solid datagrunnlag blir det en "the sky is the limit"-situasjon som jeg tror vil komme alle RBK-supportere til gode. Det er mange som har ideer om dette her, ikke bare de som skriver om det offentlig i forumet, så dette blir bra!

Jeg har tatt overdose på pizza i familieselskap så hjernen min virker ikke i kveld, men skal se om jeg kan bli enig med meg selv om en god vei fremover kjapt. Smile
_________________
Rosenborg for alltid - uansett! | Troillprat.no
Back to top
View user's profile Send private message Visit poster's website
Torbjørn
Veteran


Joined: 18 Jul 2005
Posts: 5183

PostPosted: 26.03.2017 10:58    Post subject: Reply with quote

Faktorer som kan påvirke dommer/poeng-analysen og som må justeres for:

- hjemme/borte-bane
- spillertilgjengelighet (har det ene laget viktige spillere ute?)
- kampfrekvens (er det ene laget mer slitne/utladet? antall spilte kamper (hjemme eller i Europa) kan være et mål)
- tabellsituasjon (er det ene laget mer motivert? Spiller det ene laget med hjertet utenpå drakta mens det andre ikke har så mye å spille for? Tabellsituasjon/poengavstand til andre lag/nedrykk kan være et mål)

Sikkert flere andre som kan legges til lista!
_________________
Nils Arne Eggen.
Back to top
View user's profile Send private message
OrionPax
Forumsjef


Joined: 12 Aug 2011
Posts: 9653
Location: Drammen

PostPosted: 26.03.2017 21:10    Post subject: Reply with quote

Viktige momenter. Denne typer faktorer er sånt som vi må tenke på at skal være tilgjengelig i systemet. Ikke bare pga. dommer-tallene, men fordi det kan være interessant for andre ting.

F.eks. hvordan gjør RBK det når det kun er tre dager siden sist kamp? Hvordan gjør RBK det når det er tre dager siden sist kamp vs. 3 dager siden sist kamp og det var cupkamp eller ecup som gikk til ekstraomganger? Hvordan gjør vi det i straffekonk (NM) vs. lag på øvre halvdel kontra nedre halvdel av tabellen?

Hva slags data må vi spore for å dekke alle mulige "vinklinger"?
_________________
Rosenborg for alltid - uansett! | Troillprat.no
Back to top
View user's profile Send private message Visit poster's website
bolgebah
Veteran


Joined: 01 Aug 2006
Posts: 6059

PostPosted: 26.03.2017 21:53    Post subject: Reply with quote

Jeg tror det vil være et blindspor å la alle disse faktorene påvirke "dommerpoengene", ja. Tallene er rett og slett for små. Som jeg har mast om før må man i så fall innføre ikke-parametriske substitutter for det man ønsker å se på, men jeg tviler på at de finnes i dette tilfellet. Jeg synes vi skal nøye oss med poengtallene og heller la diskusjonen gå om årsakene til at det er sånn, ellers stratifiserer vi tallene i hjel.
Back to top
View user's profile Send private message
OrionPax
Forumsjef


Joined: 12 Aug 2011
Posts: 9653
Location: Drammen

PostPosted: 27.03.2017 07:14    Post subject: Reply with quote

I tilfellet dommerne er jeg enig i at vi nok aldri finner en formel som sier noe ala "Dette beviser bortenfor enhver tvil at Terje Hauge var mer negativ til RBK enn han burde ha vært" eller noe sånt. I beste fall blir det enda en kilde til diskusjon.

Det jeg tenker er at vi må ha alle mulige statistikker rundt RBK sine kamper uansett, så får vi forsøke å forvalte det med visdom. Hvis noen ønsker å se en liste over poeng til RBK med Terje Hauge som dommer mot topp 5 ved sesongslutt i ligaen, kontra mot alle andre, så er det greit at vi teknisk sett skal være i stand til å dra ut dataene, men så må vi diskutere verdien av det.

Drømmen min er jo å kunne ta ut statistikker på sånt som "gi meg topp 10 kamper hvor vi slo smurfene, sortert etter måldifferanse, fordelt på måneder kampen ble spilt".

Det ER begrensede kildedata, men det har heldigvis aldri stoppet en supporter. Very Happy
_________________
Rosenborg for alltid - uansett! | Troillprat.no
Back to top
View user's profile Send private message Visit poster's website
Torbjørn
Veteran


Joined: 18 Jul 2005
Posts: 5183

PostPosted: 27.03.2017 12:53    Post subject: Reply with quote

Vil heller si det er et blindspor å ikke justere eventuelle konfoundere, Bolge. Klart, det er lett og gøy å nå raske konklusjoner, men det er bortkastet tid og arbeid (for ikke å si uetterettelig) å konkludere med f.eks. at "RBK tok færre poeng med Hauge som dommer", hvis den egentlig grunnen til RBK tok færre poeng i disse kampene var en helt annen, og ikke hadde noe med Hauge å gjøre. Dette finnes det så klart statistiske verktøy for å justere for (ikke veldig avansert, men litt mer avansert enn å "stratifisere" dataene).
_________________
Nils Arne Eggen.
Back to top
View user's profile Send private message
bolgebah
Veteran


Joined: 01 Aug 2006
Posts: 6059

PostPosted: 27.03.2017 13:25    Post subject: Reply with quote

Jada, jeg har da pådratt meg noen studiepoeng i statistikk på universitetet sjøl, så jeg kjenner til de triksene der. Og igjen vil jeg si at tallene umiddelbart ser alt for små ut. Dessuten vil jeg imøtegå den andre påstanden din - det er helt i orden å si "RBK tok færre poeng med Hauge som dommer". Det er jo nettopp det Orion har funnet ut for oss. Det som vil være uetterrettelig er å si "RBK tok færre poeng fordi Hauge dømte". En slik eventuell konklusjon vil kreve en langt høyere statistisk presisjon som vi ikke kommer til å nå fordi de potensielle confounderne er for mange.
Back to top
View user's profile Send private message
haavarl
Forumsjef


Joined: 10 Sep 2002
Posts: 15252
Location: Askim

PostPosted: 27.03.2017 13:44    Post subject: Reply with quote

bolgebah wrote:
det er helt i orden å si "RBK tok færre poeng med Hauge som dommer"


Ja, men hvilken mening ligger i et slikt utsagn? Det høres ut som om man skal frem til et eller annet som faktisk har med dommeren å gjøre. Og det skal man jo ikke, fordi det er så mange faktorer som påvirker.

Men klart, som tilskudd til overtroiske betraktninger før kamp kan det vel ha effekt ...
_________________
Embrace science - resist ignorance
Back to top
View user's profile Send private message
bolgebah
Veteran


Joined: 01 Aug 2006
Posts: 6059

PostPosted: 27.03.2017 14:12    Post subject: Reply with quote

Hadde vi ikke nettopp i en annen tråd en diskusjon om antallet straffespark RBK får? Det å telle straffespark for forskjellige klubber kan da ikke være så veldig forskjellig fra å telle poeng i kamper med forskjellige dommere? Jeg er svoren tilhenger av deretter å fremsette teorier om hvorfor poengene fordeler seg som de gjør, og jeg tar gladelig av meg hatten for den som eventuelt kan regne inn ukedager, motstandere, suspensjoner, skader, vær og føre, kompliserte reiser til bortekamper og annet som kan innvirke på utfallet, og deretter komme fram til tall med konfidensintervaller som viser at det har noe for seg, men jeg tviler sterkt på at det er mulig. Utgangspunktet for diskusjon er jo hele poenget her.
Back to top
View user's profile Send private message
Torbjørn
Veteran


Joined: 18 Jul 2005
Posts: 5183

PostPosted: 28.03.2017 09:31    Post subject: Reply with quote

Uten at jeg har sterke meninger om verdien av å telle straffespark, vil jeg tro der en hel rekke flere variabler som kan påvirke sluttresultatet i en kamp, enn variabler som kan påvirke antall straffespark? Dommeren virker mye mer sentral i sistnevnte funksjon.
_________________
Nils Arne Eggen.
Back to top
View user's profile Send private message
OrionPax
Forumsjef


Joined: 12 Aug 2011
Posts: 9653
Location: Drammen

PostPosted: 28.03.2017 10:21    Post subject: Reply with quote

Nå har ikke jeg spesielt god peiling på statistikk og hva slags slutninger som er gyldige å trekke fra hvilke tall og sånt, for min del handler det mest om å skaffe datagrunnlaget som kan starte noen diskusjoner og en og annen bar-fight. Smile

Men "nivå 1" her er at nå har vi snittpoeng fra dommerne som har dømt RBK i serien 99-16. Neste nivå - kanskje å se, hva var snittet når Hauge dømte Viking? Hvordan dømmer Skjerven mfk eller vif?

Vi har et høyere poengsnitt enn andre lag fordi vi har vunnet mest, men forskjellene kan likevel være interessante. Hvis vi kan se vårt generelle poengsnitt opp mot poengsnitt på en viss bane, med en viss dommer, på en viss tid av året, så vil det på et forum som dette være bensin til masse god diskusjon. Om det så bare brukes for å avkrefte noen konspirasjonsteorier istedenfor å starte noen, så er vel det også greit. Smile

Kanskje vi til og med kan koke det ned til de optimale forholdene for å få et straffespark i en kamp. Hvis det viser seg at Rune Pedersen på Lerkendal mot vif er garantist for 0.8 straffer pr. kamp så er jo det en kul ting å vite om, selv om det kun er et tall og ikke en forklaring.

Anyway, disse diskusjonene om hva som er gyldig å trekke ut av tallene vil det nok bli flere av etterhvert som tallene blir mer tilgjengelige.
_________________
Rosenborg for alltid - uansett! | Troillprat.no
Back to top
View user's profile Send private message Visit poster's website
attach
Forumsjef


Joined: 05 Jul 2005
Posts: 25183
Location: Rosenborg

PostPosted: 10.04.2017 12:26    Post subject: Reply with quote

Tilskuersnitt på bakgrunn av kamptidspunkt kunne vært interessant:
shadwell wrote:
om du har veldig god tid hadde det vært intr å sett kamptidspunkt i 15, 16 og i år for å se om det kan ha noe å si
Back to top
View user's profile Send private message
OrionPax
Forumsjef


Joined: 12 Aug 2011
Posts: 9653
Location: Drammen

PostPosted: 10.04.2017 12:55    Post subject: Reply with quote

Notert! Er inne i en intens STAut-periode så GRAut har fått ligge litt lenger bak i hjernen for modning, skal ta den frem igjen når vi begynner å få skikk på salgstallene igjen. Smile
_________________
Rosenborg for alltid - uansett! | Troillprat.no
Back to top
View user's profile Send private message Visit poster's website
Moenguten
Junior


Joined: 21 Jul 2017
Posts: 16

PostPosted: 03.08.2018 15:31    Post subject: Reply with quote

Tillater meg å bumpe denne tråden Engel/uskyldig
Back to top
View user's profile Send private message
OrionPax
Forumsjef


Joined: 12 Aug 2011
Posts: 9653
Location: Drammen

PostPosted: 03.08.2018 16:03    Post subject: Reply with quote

Velkommen til forumet, bra start å begynne her Wink

Har hatt et tungt video-prosjekt denne sommeren, så GRAut har fått ligge i fred. Men det er egentlig ganske greit på vei, og har mye på plass. Det store som mangler er å hente data for flere sesonger samt å lagre ting i en ordentlig database. Skal gjøre litt med dette når jeg er i mål på det andre.

Har selvfølgelig masse obskur statistikk jeg har lyst til å produsere med dette selv. Smile
_________________
Rosenborg for alltid - uansett! | Troillprat.no
Back to top
View user's profile Send private message Visit poster's website
bolgebah
Veteran


Joined: 01 Aug 2006
Posts: 6059

PostPosted: 03.12.2019 08:45    Post subject: Reply with quote

Orion, kan du skrive et eller annet som regner ut poengsum, tabell og maratontabell fra tabelltips-tråden, Attaboy-style? Gjerne før lunsj, om det ikke er for mye bry.
Back to top
View user's profile Send private message
Display posts from previous:   
Post new topic   Reply to topic    Forum -> PÃ¥ sidelinja All times are GMT + 1 Hour
Goto page 1, 2  Next
Page 1 of 2

 
Jump to:  


Utviklet av phpBB. Tilrettelagt for RBKweb.

ANNONSE
SITATET
© 1999-2024 RBKweb