Schaatsen heeft een oncomfortabele starthouding, dat vergroot het effect. Bovendien gebruiken atletiek, zwemmen en baanwielrennen elektronische timing waardoor de verschillen kleiner c.q. nul zijn. Omdat je dan de media kan laten roepen dat er medailles naar de verkeerde zijn gegaan en meer aandacht genereert? Ja, maar hoe wil je slaapdronken c.q. brakke studenten om acht uur 's ochtends ooit naar topsporters in de belangrijkste wedstrijd van hun leven extrapoleren?
Ik heb die link hier gedeeld, omdat ik vind dat mijn forumgenoten recht hebben om alles te lezen wat over dit onderzoek wordt geschreven. Ondanks een wetenschappelijke opleiding gaat mijn eigen kennis niet ver genoeg om het op waarde te kunnen schatten. Jouw reactie hier vind ik sowieso zeer lovenswaardig, daarom heb ik hem meteen geliked. Ik sta absoluut niet aan een andere kant. Elk onderzoek dat schaatsen kan verbeteren juich ik toe. Verstuurd vanaf mijn GT-I9515 met Tapatalk
Deze discussie in interessant genoeg om me aan te melden voor dit forum. Beste Edwin, Het is heel goed dat jullie vanuit een invalshoek die niemand anders had bedacht met theorieën uit de psychologie een probleem willen aankaarten om onze sport eerlijker te maken. Het is alleen dat het oorspronkelijke artikel, voordat jullie deze update op je blog plaatsten, mij niet de juiste manier leken. Een effect dat zo groot is (0.2-0.6 seconden!) kan natuurlijk nooit het gevolg zijn van een seconde langer stilstaan. Als ik binnen mijn vakgebied zo'n enorm effect vind, dan weet iedereen dat ik iets fout heb gedaan omdat het absoluut niet kan (of ik heb een nature publicatie te pakken). Het is heel nobel van jullie om dit dan zo sterk mogelijk ("This randomly benefits some athletes over others, and significantly biases race times" beweert dat het door jullie gevonden effect 100% waar is, zonder enige twijfel) proberen op te schrijven (zonder significante andere redenen te noemen) om zo de discussie uit te lokken en bewust de media op te zoeken, alleen moet je er dan ook niet verbaasd van staan te kijken dat het ook gebeurt. Er waren, dat moet je toch met iedereen eens zijn, genoeg op- of aanmerkingen. Tot ik dus deze update zag waarin heel veel twijfels al zijn weggenomen. Die plot lijkt inderdaad op een echt effect te duiden en verreweg de meeste twijfels zijn daar ook weggenomen. Ook een veel logischer effect van 0.17 s voor een seconde langer stilstaan, dat is een veel realistischer waarde (ook al had ik het eigenlijk nog kleiner verwacht, ongeveer 0.1 seconde). Maar dan zijn er nog steeds een hoop vragen: - De data en analyse waaruit je het idee hebt gekregen (spelen van Vancouver in je inmiddels al gefalsifieerde artikel), mag je niet gebruiken om het effect te bewijzen. Het artikel was de aanleiding, je blog was het bewijs. Maar dat komt van één dataset. Je moet het dus ook op een andere dataset kunnen aantonen (bijv. andere spelen). Om een wijze heer te citeren: - Kan je één schaatser lange tijd volgen? Om te corrigeren voor vorm van de dag of ijscondities, kan je net als in je blog perfect de twee tijden op de twee 500m's nemen. En dat van één schaatser bij heel veel wedstrijden. Zie je dan nog steeds een effect? Dan kan je namelijk heel veel andere effecten uitsluiten (startvolgorde, goede/slechte tijden eerste run veranderende condities gedurende de wedstrijd, en nog veel meer). - Hoe sterk zijn bepaalde schaatsers beïnvloedbaar hierdoor? Is het voor iedereen hetzelfde? Als je dus voor meerdere schaatsers veel wedstrijden bekijkt, is elke schaatser dan even veel langzamer bij een trager startschot? Of zijn er zelfs schaatsers die sneller zijn bij een trager startschot? Dat kan veel informatie opleveren over de werkelijke reden. Traag inzakken heeft misschien wel redenen. - Klopt het statistisch allemaal nog als iedereen anders reageert? - Als ik heel simpel naar de data kijk (is niet een objectieve methode, dat klopt), dan zie ik in het artikel dat de mannen tot 4.7 seconden volledig vlak zijn, geen invloed dus, en vanaf 4.7 seconden gaat het heel hard omhoog. Misschien kunnen schaatsers wel niet zo lang stil staan en verzuren ze dan waardoor ze langzamer zijn, of misschien kunnen die langzame mensen het wel niet. - Heb je de tijden genomen tussen Ready en het schot, of tussen het stilstaan en het schot? Dat tweede lijkt me veel belangrijker, dan pas gaan schaatsers actief opletten. - Welk effect heeft nu invloed? De slower of de less precise? ("In the lab, participants are quicker (Posner and Boies,1971; Adams and Lambos, 1986) and more precise (Klein and Kerr, 1974) to respond after an optimal interval duration of around 500 ms, and are progressively slower and less precise after longer durations.") - Geldt dit alleen voor de 500m, of kan je het al in de 100m zien? Slower zijn je alleen in de 100m moeten kunnen zien, less precise gaan ze slechter van schaatsen en dus in zowel 100m als het rondje erna. Of is het toch gewoon verzuring, wat een veel logischer verklaring is voor zo'n enorm verschil van 0.17 seconden. - Met verzuring zou je mogelijk een verschil kunnen zien tussen de traditionele start en de downstart (tweede verzuur je misschien minder?). - Kan je in je blog de regressies maken voor mannen en vrouwen apart? Ook daar lijkt de data niet helemaal eerlijk verdeeld over mannen en vrouwen. Hebben ze allebei 0.17s nadeel? (De kwaliteit, r- en p-waardes zeggen mij niet zo veel binnen dit soort plots, ik ben namelijk zelf binnen de natuurkunde al extreem ontevreden met een r-waarde van 0.8). - Als de langzamere tijden in je oorspronkelijke artikel niet lineair lopen, kan je je blog-analyse niet toepassen. En zeker bij de mannen lijkt die niet lineair te lopen. Nogmaals heel goed dat jullie dit willen uitzoeken, en ik hoop dat er ook gedegen vervolgonderzoek op komt. Klinkt alsof jullie een nieuw masterproject kunnen vullen hiermee. Succes ermee!
dank esdalmayer voor het mengen in deze discussie, maar voor een goede discussie zijn meerdere discussianten nodig, dus dank ook Spintmaster voor een kritische reactie. Ik zal beide nog eens leen als ik er tijd voor vind (maak). Tijdgebrek lag ook ten grondslag aan mijn recactie dat het 'slechts' een afstudeer porject betrof, dat bleek dus niet juist. Vervelend dan ook, dat juist twee andere van mijn kritiekpunten, nl waarom niet 100 meter, en waarom niet rijder X alleen afzetten tegen rijder X in een adere wedstrijd, niet werden beantwoord. 0,67, het was te onwerkelijk dat ik dat herhaalde maar nu las ik het weer, is echt absurd. Dat is langer dan de hele start zelf. Als er dan toch (bijna-) significante uitkomsten uit komen, dan lijkt er iets anders aan de hand. Cum hoc ergo propter hoc. Zaken waarbij ik bij schaatsen aan kan denken, is dat een rijder met zo'n trage start al half wegslipt, en gedesillusioneerd zijn rondje afmaakt. Of juist nog overhaaste dingen gaat doen waardoor je op je punten gaat lopen, de slag niet meer maakt etc. 0,3 is overigens net zo onwerkelijk. Ik moet het nog kritisch doorlezen, maar is er ook rekening gehouden met valse starts? Ik kan me goed voorstellen dat minimaal één rijder trager gaat staan bij de eerste start het ready-start interval wordt dan langer. Voor de rijder die wel als eerste staat, zal dit negatief werken
Ik volg dit nu verder op Edwin's blog - net dit daar geplaatst (maar wacht nog op the moderation): Edwin, thanls a lot for take time to ‘meet the Dutch (= critics)’ Skipping in your article to the paragraph ‘A Potential Solution’ “The fairness of any racing sports’ starting procedure could be improved by introducing an extra step, and removing temporal variability. In our remedied start, a referee signals athletes to get ready (“Get Set”), and explicitly cues the impeding start only after everyone has assumed position (“Ready”). After a fixed time, the starting shot should sound. Ideally, to prevent human timing error, the referee could simply press a button after all athletes have assumed their starting positions. This would activate a computerized system that produces both the “Ready” cue and the starting shot, separated by a fixed interval. Although using a fixed interval will equalize general alerting benefits, it will not remove the effects of selective temporal expectancy. In fact, it will increase athletes’ ability to anticipate the starting shot. Importantly, incorporating a fixed ready-start interval in official rules and regulations will allow athletes to train their response times for that specific interval. This would make an athlete’s temporal attention an individual quality that contributes to their likelihood to win. In our view, this would be fairer than the current starting procedure, which is essentially a lottery.” a few things spring to mind; this is one of them: Knowing (beforehand – everyone does, as it clear in all races) that a substantial part of the ready-start interval is taken by the ‘setting’ procedure of the two competitors and knowing too that some competitors’ setting takes (deliberately or not) quite a bit longer than others’ (thus influencing the overall ready-start interval value), why did you take the ready-start interval (being the same for both skaters) and not the set-start interval for the individual skaters?
Ze hebben naar het 'ready-start' interval gekeken (voor het paar, neem ik aan), niet naar de set (stilstaan)-start' intervallen van beide rijd(st)ers. Zijn antwoord op mijn vraag waarom, zie zijn blog, vind ik weinig overtuigend: dat het moeilijk is wil niet zeggen dat het onmogelijk is noch dat het niet veel beter zou zijn het zo gedaan te hebben - kan nog steeds trouwens...
Inderdaad toch wel opvallend: de aanbeveling van het artikel is om het interval van stilstaan tot het schot een vast tijdstip te laten gaan, terwijl ze het effect van dat interval nooit hebben onderzocht. Dat is letterlijk appels bekijken en de peren aanbevelen. Heeft iets van elkaar weg, maar is het niet helemaal. Het is inderdaad best lastig om dat stilstaan exact te bepalen en daardoor creëer je inderdaad ruis in je waarneming, maar dat is exact waar je statistiek voor hebt, om daar toch iets uit te kunnen halen. Dus je kunt daar zeker iets over zeggen door de videobeelden te bekijken. Om het startproces eerlijk te maken: daar heeft Edwin gelijk in. Voor deze analyse: maakt niet uit. Het gaat erom hoe lang de schaatsers stil staan tot het moment van wegschieten. De scheidsrechter bepaalt dat niet, dat mag je als onderzoeker bepalen. Dit is precies wat Erben Wennemars in DWDD al heeft genoemd (Poutala is een langzame starter). Dit heeft te maken met de bewijslast. De bewijslast ligt hier bij jullie als onderzoekers: is het aannemelijk dat het effect dat jullie noemen ('langzamere reactietijd') ook de werkelijke reden is? Of is het een van de vele andere effecten die door iedereen wordt genoemd? Je moet als onderzoeker al die effecten moeten kunnen ontkrachten voordat je je eigen effect sterk naar voren schuift. Zolang je dat niet gedaan hebt, mag je geen conclusies trekken anders dan 'mogelijk kan dit de oorzaak zijn, en als voorzorgsmaatregel voor het geval het echt waar is, is het handiger om een bepaalde maatregel in te voeren'. Dat kan je niet onder de noemer Perspective verstoppen (of de Perspective artikelen zouden dus afgeschaft moeten worden, ik heb namelijk als wetenschapper nog nooit van dergelijke artikelen gehoord).
3x Helemaal mee eens - zie mijn correspondentie met Edwin op zijn blog: http://www.pygaze.org/2015/10/is-sk...ven-in-extra-stringent-analysis/#comment-2155 Ik heb be/geargumenteerd dat de voorgestelde oplossing (juist) aangeeft dat het gekozen interval (ready-start) gecompromiteerd is en dat er naar de individuele set-start intervals gekeken moet worden. PS: Ik heb hem de link naar de integrale video gegeven.
alvast skippend naar de remedie: het is natuurlijk helemaal niet noodzakelijk dat een schaatser ook stilstaat. Wel zou ik hem/haar tussen de beide lijntjes willen, zodat je geen vleigende startkunt maken, maar waarom helemaal stil? Dat levert op die gladde ijzers al genoeg problemen op. Vergelijk het met de keeper bij een strafschop, die hoeft ook niet (meer) stil te staan. Een procedure met een langer ready-start interval, volledig op de computer, vereist natuurlijk wel een meetmoment dat de schaatser helemaal stil staat, en da's lastig. Tenzij je dus die voorwaarde laat vallen.
Maar je zou wel alvast slechts op het ook binnen elk paar de langzame en de snelle 'setter' kunnen bepalen en je 'ready-start interval tov eindtijd' analyse daarvoor corrigeren, lijkt mij. Overigens lijkt Edwin in zijn reacties op mijn commentaren de keuze voor ready-start (ipv set-start) te verdedigen vanuit theoretisch oogpunt: zij vinden dat de alertheid-periode (al) vanaf het 'ready' moment gemeten moet worden. Ik betwijfel dat en heb hem dan ook gevraagd welke studies aanleiding geven te denken dat de ready-set periode, waarin dus een schaats(t)er zijn/haar starthouding aanneemt, causaal gerelateerd is aan zijn/haar alertheid (en dus eindtijd).
Edwin Dalmaijer 30th October 2015 at 15:33 Ah, I see where the issue is. In our opinion, the alerting cue is the referee’s “Ready”. The target signal is the starting shot. Therefore, the appropriate window for testing alerting effects is the ready-start interval. But please do feel inspired to do a follow-up study that separates the ready-set and the set-start intervals. I’d love to see that! Please do let me know if you need any help or further input . Tja, moet ik toch nog aan de slag - heeft iemand de originele NOS tapes zodat ik ze in slo-mo kan terugkijken?
Dag allemaal, Hierbij de antwoorden op de vragen die jullie sinds mijn vorige reactie gesteld hebben. In het algemeen raad ik aan om zowel het artikel, als mijn daaropvolgende blogpost te lezen. Veel van de punten die jullie noemen zijn daarin namelijk al behandeld. Soms zal ik dan ook passages daaruit citeren. Dat zal in het Engels zijn, waarvoor excuses. 1. Waarom is eigenlijk niet naar de 100m tijden gekeken in plaats van eindtijden? Is er een reden om aan te nemen dat de rondetijd nog beïnvloed wordt door de startprocedure? Wat voor effect meet je eigenlijk als je niet naar eindtijden kijkt, maar naar 100m tijden? En hoe zit het met de correlatie van startproceduretijd en de rondetijd? Goede vraag, die ook in de comments in mijn blog is gesteld. Hier mijn antwoord: "Regarding your question about using the opener time: We used the finishing times, because this is all that matters in the end. A direct relation between ready-start interval and race time is the only way in which we could demonstrate that this is a problem in actual competitions. The 100 meter times would be a very interesting thing to look at, but it would also mean that compensatory strategies can be present in the first 100 or the last 300 meters. Any analysis that would not include the actual race times would miss those. An example: Suppose a skater realises (perhaps unconsciously) that their start was kinda slow due to a long ready-start interval. They could put in extra effort to make up for that, and show a decent time at the 100-meter point. However, they would also suffer from putting in that extra effort in the following 300 meters, therefore they would still experience a negative effect of the longer ready-start interval, which might not have been present at the 100 meter point yet." 2. In het artikel is er vooraf een groot verhaal dat verklaart waarom je een effect zou verwachten. Is er eigenlijk uit dit theoretische vooraf-verhaal een schatting te maken van hoe groot zo'n effect zou kunnen zijn? En hoe verhoudt zich dat tot het gemeten effect? De theoretische achtergrond is de kern van het artikel, de analyse is een proof-of-concept. Er zou een schatting gemaakt kunnen worden van hoe sterk het alerting effect op de reactietijd van schaatsers is, maar het is moeilijk tot onmogelijk om in te schatten wat voor verdere gevolgen dat heeft (zie de eerder genoemde compensatiestrategieën). Het gemeten effect is groot, vermoedelijk omdat er meerdere factoren in meespelen. Deel zal absoluut het alerting effect zijn. Maar een ander deel zou verklaard kunnen worden door suggesties die wij (de onderzoekers), collega-wetenschappers, schaatsers, en sommige mensen hier hebben geopperd. De meest veelbelovenden, mijns insziens, zijn de ideeën dat snelle schaatsers iets sneller hun startpositie aannemen, en dat langer stilstaan een negatief effect zou kunnen hebben op de spieren. Voor de duidelijkheid: het effect dat wij in het paper rapporteren is een combinatie van al deze factoren! Het effect dat we in de blog rapporteren is een veel puurdere meting van het effect van het ready-start interval op de eindtijd. Dat komt uit op 174 ms extra racetijd bij iedere extra seconde ready-start interval binnen de door ons gemeten verschillen (met een verschilspreiding van zo'n twee seconden - voorzichtigheid is geboden als je daarbuiten wil extrapoleren!). Dit is een groot effect, maar gezien de hoeveelheid spiergroepen die gemoeid zijn met de respons op het startschot, is het niet een onmogelijk groot effect (althans, in de context van de wettenschappelijke literatuur over complexe reactietijden). 3. PS Overigens lof voor het publiceren met een CC-licentie zodat wij allen het artikel kunnen lezen. Graag gedaan! We (de onderzoekers) zijn groot fan van open science: alle artikelen beschikbaar, en alle data beschikbaar (op aanvraag, ik heb het al aan diverse collega's uitgedeeld). Als ik jullie aandacht toch heb, zou ik 'm even willen vestigen op de voordelen van open access wetenschap. Als wij artiekelen publiceren, dan kunnen we kiezen uit heel veel journals: tijdschriften die wetenschappelijk werk aannemen, grondig laten controleren door peer reviewers (andere wetenschappers in hetzelfde vakgebied), en vervolgens publiceren de journals het werk als het goed genoeg bevonden is (vaak vragen de reviewers eerst om bepaalde aanpassingen en/of extra experimenten en analyses te doen). Om deze journals in te kunnen zien, moeten universiteiten betalen. Heel erg veel betalen. En als je wetenschappelijke artikelen in deze journals wil lezen, bijvoorbeeld omdat ze over je favoriete sport gaan, dan moet jij ook betalen (reken op 30-50 euro per artikel!). Dat slaat natuurlijk nergens op, want die wetenschap is bekostigd met publieke middelen. Een alternatief is open access, waar de kostenlast omgedraaid is. Daar betaalt niet meer de lezer, maar de auteur. Veel journals vragen hiervoor krankzinnige bedragen, denk aan 2000 euro per artikel. Dat is veel meer geld dan dat het kost om een artikel online te publiceren en beschikbaar te doen blijven. Het belangrijk kan zijn om alle wetenschap open te hebben, omdat het voor niet-wetenschappers belangrijk kan zijn, maar ook omdat sommige wetenschappers niet aangesloten zijn bij een rijke universiteit (denk aan ontwikkelingslanden, of gewoon aan kleine instituten in Westerse landen). Nederland is een van de eerste landen die grote publishers (bedrijven die heel veel journals publiceren) het vuur aan de schenen legt. De universiteiten en overheid zijn aan het proberen om een soort groepssom af te spreken: een bedrag dat Nederland aan een publisher betaalt om voortaan alle artikelen die we indienen open access gepubliceerd te krijgen. Dat is al bij diverse publishers gelukt, maar o.a. Elsevier (een hele grote speler) ligt nog dwars. Zie ook deze website: http://www.openaccess.nl/ (Sorry, dat was off topic, maar wel superbelangrijk!) 4. Celebithil wil graag weten waarom er niet naar de 100m tijd is gekeken. Ik ben ook benieuwd. Is er een tabel met de wachttijd en de 100m doorkomsten van Michel Mulder? Mulder gaf zelf aan dat hij in veel belangrijke races 9.5 opende. Zie mijn antwoord op vraag 1. Wat betreft die tabel: dat wordt on getwijfeld ergens bijgehouden. Neem aan dat de ICU die tijden heeft. Let wel: als Mulder 9.5 opent, dan kan dat best betekenen dat hij in een race met korte ready-start interval minder moeite heeft moeten doen om 9.5 te halen, dan in een race met lange ready-start interval. Die extra moeite zou 'm later in de race nadelig kunnen beïnvloeden. Topsporters zijn zwaar overgetraind in hun sport, dus er zijn (veelal onderbewust) allemaal van dit soort processen aan de gang. 5. Interessant topic. Conclusie van velen (inclusief mijzelf) is dat de grootte van het effect zo groot is (0,67 seconden langzamere tijd bij vrouwen als de starter 1 seconde langer wacht met schieten) dat het bijna onmogelijk is dat het verband causaal is. Zie onze tweede analyse, die wel degelijk causale kracht heeft: http://www.pygaze.org/2015/10/is-skating-really-unfair-yes-even-in-extra-stringent-analysis/ . Korte samenvatting: zelfs als je controleert voor alle dingen die mensen hier en elders genoemd hebben, dan blijft er een effect van ready-start interval op racetijd. Het effect is kleiner dan in eerste instantie ingeschat, maar zeker nog groot genoeg om een probleem te kunnen zijn. Vervolgonderzoek en voorzichtigheid met de huidige startprocedure zijn dus nodig.
6. Statistische power is achteraf alleen relevant als er geen significant verband gevonden is. Power hangt niet af van wat voor resultaat er uiteindelijk gevonden is. Een p-waarde van 0.045 is even geldig in een onderzoek met 20 proefpersonen als in een onderzoek met 20.000 proefpersonen. Voorwaarde is wel dat de analyse methodologisch klopt. En daar zijn dus wat twijfels over... Zoals Beorn zei tegen Van Nieuwkerk: Dat is dus precies niet waar. Power is altijd belangrijk, of je nu wel of niet de nul-hypothese verwerpt. Het beschrijft de gevoeligheid van je statistische test, kort door de bocht is dat de kans dat je test in staat is om een effect aan te tonen. De p-waarde is overigens niet de power: de p is hier verbonden aan een andere waarschijnlijkheidsinschatting. De analyse die wij doen is methodologisch prima, ondanks wat de statistiekgehandicapten van TopSport Topics zeggen. Onze tweede analyse is nog veel beter: http://www.pygaze.org/2015/10/is-skating-really-unfair-yes-even-in-extra-stringent-analysis/ 7. Als dit het geval is, dan kun je wel 146 personen hebben geanalyseerd, maar je hebt dan slechts twee starters geanalyseerd. Als deze redenering klopt, is het dan wel terecht om de uitkomst van het onderzoek te extrapoleren naar de gehele startprocedure? Tenzij alle andere starters ervoor zorgen dat alle ready-start intervallen precies even lang duren, is onze analyse wel degelijk representatief voor de startprocedure. Het gaat niet om de individuele starters, het gaat om het effect dat het ready-start interval (aanwezig in iedere start) op de eindtijd heeft. In het schaatsen is het zo, zoals jullie ongetwijfeld weten, dat een starter verplicht is om een halve seconde temporal jitter te introduceren. Er is dus in iedere start een ander ready-start interval, en dat is precies het probleem. 8. Ik vroeg me ook af hoe er rekening is gehouden met valse starts. De relatie tussen een tweede keer starten (en ook net iets langer wachten omdat je geen risico kan nemen) en de eindtijd lijkt me groter dan de relatie tussen een lange start en de eindtijd. Valse starts waren een beetje een moeilijk punt, omdat er zo weinig waren. In de damesdata zitten er maar twee. Bij de heren zijn het er iets meer, maar zowel de ready-start intervallen als de eindtijden zijn zeer verspreid na de valse starts. Kortom: valse starts lijken geen effect te hebben op het ready-start interval of de relatie tussen ready-start interval en eindtijd. Overigens is dat sowieso de conclusie die we moeten trekken op basis van de data, want er waren simpelweg te weinig valse starts om een statistisch verschil te kunnen ontdekken. Overigens worden de valse starts in het oorspronkelijke artikel benoemd. 9. Misschien heb ik het gemist, maar heb je nu ergens "rit nr." versus "duur startprocedure" geplot? Hebben we inderdaad niet meer gedaan, omdat dat geen effect heeft op onze tweede analyse. Die kijkt namelijk naar hoe de verschillen tussen de eerste en tweede race in ready-start interval de verschillen in eindtijd beinvloeden, Dat zijn relatieve waarden, dus de analyse is ongevoelig voor de absolute ready-start intervalduur. Er is hier eerder voorgesteld dat starters misschien wel sneller schieten naarmate de wedstrijd vordert, maar dat is dus geen probleem voor onze tweede analyse. 10. Waarom 500m schaatsen, in plaats van 100m hardlopen? Binnen het schaatsen is het startprobleem groter: de finale wordt met verschillende ready-start intervallen gespeeld. Bij hardlopen is er ongelijkheid tussen de heats, maar niet meer in de finale. Dat betekent dat mensen die starten in heats met een kortere ready-start interval voordeel hebben t.o.v. mensen die starten in een heat met een lange ready-start interval, en dus makkelijker in de finale zouden kunnen komen. Maar in de finale start iedereen met hetzelfde ready-start interval. Dat is een niet te onderschatten probleem: voor een individuele sporter en zijn sponsoren kan het in de finale komen onzettend belangrijk zijn, zelfs al worden ze laatste in die race. Maar voor schaatsers is er dus mogelijk een direct effect op wie de medailes krijgen. Overigens was het ook logischer om schaatsen te analyseren: Beorn Nijenhuis was geen hardloper.
11. Waarom topsporters, in plaats van gewone sporters? Omdat we wilden aantonen dat dit een probleem was voor topsporters, waar veel meer geld in omgaat, en waar veel meer mensen thuis op de bank naar zitten te kijken. Oneerlijkheid is naar voor gewone sporters, maar op topsportniveau hebben niet alleen de sporters, maar ook sponsoren en fans er last van. 12. Waarom een vormpiek op een groot toernooi, in plaats van een dagelijkse test? Omdat dit de natuurlijke omgeving van de topsporter is, en het moment waarop talloze fans (en sponsordollars!) vol verwachting en hoop mee zitten te kijken. Hier is het probleem het grootst, en dus is dit het beste moment om het te analyseren. 13. In jullie plaats zou ik 10 studenten hebben ingehuurd om een maand lang elke dag 's ochtends om 8 uur 100m te sprinten. Met een starter die de startduur random varieert tussen 3,5 en 5 sec. Dan heb je zoveel mogelijk variabelen in eigen hand. En een 100m parcours is veel eenvoudiger te regelen dan een 400m ijsbaan. Dit zou, na een paar aanpassingen, een redelijk experiment zijn. Maar het is super kostbaar, en het blijft achteraf de vraag of de ongetrainde studenten wel vergelijkbaar zijn met zwaar overgetrainde atleten (de meeste literatuur over experts zegt overigens dat die niet vergelijkbaar zijn met niet-experts). Om het echt goed te doen, zou je bijv. 70 atleten in een soortgelijk experiment moeten zetten, bij voorkeur tijdens hun vormpiek. Een scheidsrechter kan dan random het ready-start interval variëren tussen twee metingen voor dezelfde atleet, en een supersysteem zou dan de eindtijd kunnen vastleggen. Wij kunnen dan analyseren of er een effect is van het verschil in ready-start interval en eindtijd. Eigenlijk is dat precies wat we hier doen: http://www.pygaze.org/2015/10/is-skating-really-unfair-yes-even-in-extra-stringent-analysis/ (Serieus, als experimenteel psycholoog kan ik heel erg genieten van hoe erg een schaatswedstrijd op een experiment lijkt, met de hypergevoelige meetapparatuur en de dubbele meting per 'proefpersoon'.) 14. Nu gebruiken jullie statistische methoden om voor deze variabelen te controleren. Maar die methoden zijn volledig gebaseerd op de aanname, dat er geen enkele correlatie is tussen de duur van de startprocedure en enige andere variabele. Als experimenteel natuurkundige vind ik dit een fundamenteel verkeerde benadering. Een correlatie op groepsniveau is altijd het eerste waar je naar kijkt. Dat is in de psychologie zo, dat is in het kankeronderzoek zo, en dat is zelfs in de natuurkunde het geval. Pas als je een mogelijk interessant verband tussen twee variabelen vindt, ga je experimenteel onderzoek doen om uit te sluiten dat het wel echt variabele A is die variabele B voorspelt, en niet andersom, en niet via een derde variabele C. Wij hebben de eerste stap gezet in ons paper, en we hebben zelfs een analyse kunnen draaien die ongevoelig is voor 'derde variabelen', omdat we gebruik konden maken van het feit dat een schaatswedstrijd een beetje opgezet is als een psychologisch experiment. Zie hier: http://www.pygaze.org/2015/10/is-skating-really-unfair-yes-even-in-extra-stringent-analysis/ 15. Na de eerste omloop zijn sommige schaatsers positief, andere negatief verrast met hun tijd. Dit heeft een psychologisch effect op het resultaat van hun tweede omloop. Als dit effect voor de meeste schaatsers evenredig is (een positieve verrassing werkt prestatieverhogend, en andersom), dan zullen tegenvallende schaatsers eerder van start gaan in de tweede omloop dan meevallende. Als de gemiddelde startduur inderdaad korter wordt naarmate de spanning toeneemt, is dit nog steeds een mogelijke verklaring voor het resultaat van jullie tweede analyse. Wat je in eerste instantie zegt is waar: schaatsers kunnen beïnvloed zijn door hun eigen tijd, en dat kan een effect hebben op hun volgende tijd. Als je vervolgens ook aanneemt dat de tijd die schaatsers gaan rijden invloed heeft op hun ready-start interval, dan zijn kruiscorrelaties tussen de ready-start intervallen en tijden van de twee verschillende races per schaatser dus mogelijk gemodereerd door een derde variabele, namelijk de staat van de schaatser. Dit is een probleem in de eerder genoemde analyse van Prof. Lex Borghans (zie hier: http://www.economie.nl/weblog/schaatsers-moeten-niet-te-snel-zijn ), waar de genoemde correlaties dus overdreven kunnen zijn. Wat je in tweede instantie zegt is niet waar: de genoemde effecten hebben geen invloed op onze tweede analyse. Deze kijkt namelijk naar het effect van het verschil in ready-start interval op het verschil in eindtijd, voor de twee races van iedere schaatser. De staat van de schaatser kan misschien (dat is een ongetoetste aanname van je) invloed hebben op zijn/haar eindtijd en zijn/haar ready-start interval, maar dat verschuift enkel de absolute waarde van die twee. De relatieve verhouding blijft hetzelfde. En dat is waarom het verschil in eindtijd en het verschil in ready-start interval ongevoelig zijn voor de staat van de schaatser. En als de staat van de schaatser alleen invloed heeft op zijn/haar eindtijd, dan zou dan niet samen moeten hangen met het ready-start interval, en dus zou dat in onze tweede analyse in de residuals verdwijnen en niet het effect van ready-start interval op eindtijd beïnvloeden. Kortom: onze tweede analyse zou ongevoelig moeten zijn voor derde effecten, en wel degelijk een causaal verband aan moeten kunnen tonen. Overigens ben ik het met je eens dat er uiteraard een experimenteel vervolgonderzoek moet komen! Je zult geen enkele wetenschapper vinden die niet vindt dat zijn/haar resultaten gerepliceerd moeten worden in experimenteel vervolgonderzoek. Je zult er ook geen vinden die zonder aanleiding dat soort vervolgonderzoek gaat doen. Ons paper is een Perspective: het zet een probleem op de wetenschappelijke kaart, en geeft aan waar vervolgonderzoek naar uit zou moeten gaan. (Meer antwoorden volgen in volgende posts; ben nog aan het typen, dus wacht even als je jouw vraag er nog niet tussen ziet staan.)
16. Ik heb die link hier gedeeld, omdat ik vind dat mijn forumgenoten recht hebben om alles te lezen wat over dit onderzoek wordt geschreven. Ondanks een wetenschappelijke opleiding gaat mijn eigen kennis niet ver genoeg om het op waarde te kunnen schatten. Jouw reactie hier vind ik sowieso zeer lovenswaardig, daarom heb ik hem meteen geliked. Ik sta absoluut niet aan een andere kant. Elk onderzoek dat schaatsen kan verbeteren juich ik toe. Mooi! Ik probeerde niet te suggereren dat je aan de verkeerde kant stond, noch dat je die post niet had moeten delen. Ik baal gewoon van die post, omdat die vol met verschrikkelijk kortzichtig gebrabbel staat, dat qua statistiek en methodologie nergens op slaat. En dat kan niet iedereen op waarde schatten, dus er wordt ten onrechte de suggestie gewekt dat ons onderzoek nergens op slaat. Dat is heel kwalijk, zeker op een website die gesponsord wordt door het Rijk en ondersteund wordt door universiteiten. Daar verwacht je dat het niveau van artikelen hoger is, en niet gebaseerd is op absolute onzin. 17. Het is alleen dat het oorspronkelijke artikel, voordat jullie deze update op je blog plaatsten, mij niet de juiste manier leken. Een effect dat zo groot is (0.2-0.6 seconden!) kan natuurlijk nooit het gevolg zijn van een seconde langer stilstaan. Als ik binnen mijn vakgebied zo'n enorm effect vind, dan weet iedereen dat ik iets fout heb gedaan omdat het absoluut niet kan (of ik heb een nature publicatie te pakken). Zoals eerder gezegd: we hadden geen enkele reden om aan te nemen dat de causaliteit andersom zou lopen. Waarom zou de eindtijd van een race het daarvoor gebeurde ready-start interval beïnvloeden? Zelfs onze voormalig prof-schaatsende co-auteur, Beorn Nijenhuis, had niet de ervaring dat snelle schaatsers sneller hun startpositie aannemen. Dat het effect groot is, is niet altijd een aanwijzing dat er iets fout gegaan is. We hebben die analyse zeer grondig tegen het licht gehouden, en alles is precies volgens de statistische regeltjes verlopen. Er zijn twee onafhankelijke wetenschappers geweest die ons paper en onze resultaten ook tegen het licht hebben gehouden, en die hebben publicatie aangeraden (dat heet peer review, en zul je in je eigen vakgebied ook hebben). Onze tweede analyse hebben we gedraaid om tegemoet te komen aan kritiek en vragen van buitenstaanders, en die toont met controleren voor alle factoren nog steeds aan dat ready-start intervallen effect hebben op eindtijden. Waarmee dus aangetoond is dat ons artikel nog steeds steek houdt, al is het wellicht met een kleinere effectgrootte. Overigens doet dat verschil in effectgrootte vermoeden dat er inderdaad een effect is van schaatser op ready-start interval, en dat vind ik ook best een opmerkelijke bevinding! 18. Tot ik dus deze update zag waarin heel veel twijfels al zijn weggenomen. Die plot lijkt inderdaad op een echt effect te duiden en verreweg de meeste twijfels zijn daar ook weggenomen. Ook een veel logischer effect van 0.17 s voor een seconde langer stilstaan, dat is een veel realistischer waarde (ook al had ik het eigenlijk nog kleiner verwacht, ongeveer 0.1 seconde). Fijn dat we het eens zijn 19. De data en analyse waaruit je het idee hebt gekregen (spelen van Vancouver in je inmiddels al gefalsifieerde artikel), mag je niet gebruiken om het effect te bewijzen. Het artikel was de aanleiding, je blog was het bewijs. Maar dat komt van één dataset. Je moet het dus ook op een andere dataset kunnen aantonen (bijv. andere spelen). Het zijn opmerkingen als deze die mij doen vermoeden dat je misschien niet zo’n ervaren wetenschapper bent als je probeert te doen overkomen. Dat klinkt misschien een beetje naar, maar je lokt het wel een beetje uit door de basis van de wetenschapsfilosofie achter de moderne wetenschap zo verschrikkelijk fout uit te leggen. “Falsification” is een principe dat populair gemaakt is door Karl Popper. Je zult het wellicht kennen van het bekende zwanenvoorbeeld: Als je wil stellen dat alle zwanen wit zijn, dan kun je dat niet bewijzen door alleen maar witte zwanen te laten zien. Je kunt de bewering alleen fasificeren door een keer een zwarte (of andersgekleurde) zwaan te vinden. Je kunt dus nooit een idee bewijzen, je kunt alleen zijn ongeldigheid bewijzen. De frequentiestatistiek draait hier een beetje om: de hul-hypothese is meestal dat er geen effect bestaat, en de alternatieve hypothese is dat dit effect wel bestaat. In het voorbeeld van ons artikel tonen we aan dat de nul-hypothese van geen effect van ready-start interval op eindtijd niet waar is. We falsificeren dus de aanname dat er niet zo’n effect bestaat, door aan te tonen dat het er wel is. Overigens kunnen onze resultaten ook weer gefalsificeerd worden in vervolgonderzoek, als blijkt dat er geen ready-start interval in onze eigen data zit. Dat kan gedaan worden met een specifiekere analyse. Die hebben we gedaan, en die liet zien dat er wel degelijk een effect is van ready-start interval op eindtijd: http://www.pygaze.org/2015/10/is-skating-really-unfair-yes-even-in-extra-stringent-analysis/ Je kunt het met onze analyse oneens zijn op inhoudelijke gronden, zoals “misschien bepaalt de eindtijd wel het ready-start interval en niet andersom”. Daarom hebben we een tweede analyse gedaan op dezelfde data die zoiets uitsluit, en nog steeds aantoont dat er een effect is van ready-start interval op eindtijd. Nergens is daarmee ons artikel ‘gefalsificeerd’, zoals jij beweert. Zoiets beweren is heel gevaarlijk, omdat mensen die niet als wetenschapper opgeleid zijn je misschien wel serieus zouden kunnen nemen, omdat ze nooit geleerd hebben dat je absolute onzin aan het verkondigen bent. Wederom: excuses als dat hard klinkt, maar je roept het over jezelf af door basis-wetenschapsfilosofie zo verkeerd uit te leggen. Dan je argument over “idee-dataset” en “bewijs-dataset”. Ook dat is onzin. Je hebt helemaal niet twee aparte datasets nodig om eerst een idee te krijgen en daarna dat idee te toetsen. Sterker nog: er wordt in de wetenschap continu nieuw inzicht verkregen door oude data op een nieuwe manier te analyseren (een beetje zoals wij gedaan hebben in die tweede analyse). Uiteraard is het heel goed als dit gerepliceerd kan worden in een andere dataset. Nog beter is als het effect van ready-start interval op eindtijd direct aangetoond kan worden in een experimenteel design, waar geen twijfel kan bestaan over de richting van causaliteit. Echter is dat voer voor vervolgonderzoek: ons Perspective paper zet dit probleem op de kaart, en andere wetenschappers kunnen er nu verder onderzoek aan doen. Het is belangrijk dat anderen dit doen, omdat er anders de mogelijkheid is dat mensen gaan roepen dat wij belang hebben bij vervolgonderzoek dat in lijn is met ons paper. 20. Kan je één schaatser lange tijd volgen? Om te corrigeren voor vorm van de dag of ijscondities, kan je net als in je blog perfect de twee tijden op de twee 500m's nemen. En dat van één schaatser bij heel veel wedstrijden. Zie je dan nog steeds een effect? Dan kan je namelijk heel veel andere effecten uitsluiten (startvolgorde, goede/slechte tijden eerste run veranderende condities gedurende de wedstrijd, en nog veel meer). Dat is een goede opzet, en dat zou (mits je het bij meer dan 1 schaatser doet) een goed onderzoek zijn. Het is een van de dingen die hopelijk door anderen gedaan gaat worden als vervolg op ons onderzoek.
21. Hoe sterk zijn bepaalde schaatsers beïnvloedbaar hierdoor? Is het voor iedereen hetzelfde? Als je dus voor meerdere schaatsers veel wedstrijden bekijkt, is elke schaatser dan even veel langzamer bij een trager startschot? Of zijn er zelfs schaatsers die sneller zijn bij een trager startschot? Dat kan veel informatie opleveren over de werkelijke reden. Traag inzakken heeft misschien wel redenen. Alerting is een vrij sterk, ingebouwd concept. Eigenlijk heeft iedereen het. Echter kan het, naar gelang de omstandigheden en het individu, een net iets andere effectgrootte hebben. Je kunt dus niet zomaar aan de hand van de gemiddelde effectgrootte voorspelen wat de uitkomst van een individuele race geweest zou zijn, zoals ze in DWDD wilden suggereren. Of er mensen zijn die sneller starten na een langer ready-start interval is een andere vraag. Ik zou het niet uitsluiten, maar dat zou dan (inderdaad) vermoedelijk niet aan alerting liggen. Dit is precies waar de waarde van experimenteel vervolgonderzoek duidelijk wordt: om precies dit soort dingen te testen. 22. Klopt het statistisch allemaal nog als iedereen anders reageert? Ja, dat is juist het kernconcept van groepsstatistiek. Iedereen reageert anders, maar door naar de overeenkomsten in reacties te kijken kun je onderliggende factoren vinden. Precies zoals wij doen in onze analyses, dus. 23. Als ik heel simpel naar de data kijk (is niet een objectieve methode, dat klopt), dan zie ik in het artikel dat de mannen tot 4.7 seconden volledig vlak zijn, geen invloed dus, en vanaf 4.7 seconden gaat het heel hard omhoog. Misschien kunnen schaatsers wel niet zo lang stil staan en verzuren ze dan waardoor ze langzamer zijn, of misschien kunnen die langzame mensen het wel niet. Je kunt niet naar een puntenwolk kijken en er resultaten uit beredeneren. Het zijn simpelweg teveel punten om te kunnen overzien. Daarom hebben we statistiek, dat is een objectievere methode. 24. Heb je de tijden genomen tussen Ready en het schot, of tussen het stilstaan en het schot? Dat tweede lijkt me veel belangrijker, dan pas gaan schaatsers actief opletten. De tijden zijn tussen “Ready” en het schot, en je tweede bewering is niet waar. Uit de comments op mijn blog: As I argue, the ‘set’ moment is not one precise instant in time. It’s a decision process. Alerting, from the outset, has been described and tested as a response to a non-specific cue, usually an auditory and sometimes a visual event. With a very clear onset, unlike the ‘set’ moment. To highlight a few references on alerting (quoted in our paper): Posner, M.I. , and Boies, S.J. (1971). Components of attention. Psychol. Rev. 78, 391–408. doi:10.1037/h0031333 Lawrence, M.A., and Klein, R.M. (2013). Isolating exogenous and endogenous modes of temporal attention. J. Exp. Psychol. Gen. 142, 560–572. doi:10.1037/a0029023 Weinbach, N., and Henik, A. (2012). Temporal orienting and alertin — the same or different? Front. Psychol. 3:236. doi:10.3389/fpsyg.2012.00236 Weinbach, N., and Henik, A. (2012). The relationship between alertness and executive control. J. Exp. Psychol. Hum. Percept. Perform. 38, 1530–1540. doi:10.1037/a0027875 Weinbach, N., and Henik, A. (2013). The interaction between alerting and executive control: dissociating phasic arousal and temporal expectancy. Attent. Percept. Psychophys. 75, 1374–1381. doi:10.3758/s13414-013-0501-6 In all fairness, I think it would be a great idea to test to what extend an ambiguous decision process could produce a similar alerting effect. It would be a hard study to do, as it requires you to find a way to pinpoint the decision moment in some way, but I’m sure one could find a way. Probably through modelling: the decision making literature offers so many different options to do that, that it seems like a plausible option. 25. Welk effect heeft nu invloed? De slower of de less precise? ("In the lab, participants are quicker (Posner and Boies,1971; Adams and Lambos, 1986) and more precise (Klein and Kerr, 1974) to respond after an optimal interval duration of around 500 ms, and are progressively slower and less precise after longer durations.") Onderzoekers hebben in het verleden aangetoond dat alerting zowel je reactietijd als je precisie op een detectietaak verhoogt. In een schaatswedstrijd is er geen sprake van een detectietaak, alleen van zo snel mogelijk reageren. Kortom: de effecten van alerting zijn daar alleen duidelijk in de reactietijd, en de invloed daarvan op het verloop van de race. Dat we precisie noemen is voor de volledigheid van het literatuuroverzicht, en niet relevant voor de schaatsers.
26. Geldt dit alleen voor de 500m, of kan je het al in de 100m zien? Slower zijn je alleen in de 100m moeten kunnen zien, less precise gaan ze slechter van schaatsen en dus in zowel 100m als het rondje erna. Of is het toch gewoon verzuring, wat een veel logischer verklaring is voor zo'n enorm verschil van 0.17 seconden. Je zou het wellicht bij de 100 meter ook kunnen zien, maar dat is afhankelijk van de eerder genoemde compensatiestrategieën die topsporters toe kunnen passen. Zie vragen 1 en 4. Wat betreft die verzuring: dat is een interessante hypothese, en die dient apart onderzocht te worden. Kunnen we op basis van de huidige materialen niets over zeggen. Mijn voorspelling zou zijn dat het effect van ready-start interval op eindtijd dat wij vinden een product zou zijn van zowel alerting, als mogelijke verzuring. Onze voorgedragen oplossing (extra cue als atleten klaarstaan) neemt alleen het effect van alerting weg, en als verzuring een rol speelt zou er ook een regel moeten komen dat atleten binnen een bepaalde tijd moeten gaan klaarstaan. 27. Met verzuring zou je mogelijk een verschil kunnen zien tussen de traditionele start en de downstart (tweede verzuur je misschien minder?). Interessant punt, onderzoek het! 28. Kan je in je blog de regressies maken voor mannen en vrouwen apart? Ook daar lijkt de data niet helemaal eerlijk verdeeld over mannen en vrouwen. Hebben ze allebei 0.17s nadeel? (De kwaliteit, r- en p-waardes zeggen mij niet zo veel binnen dit soort plots, ik ben namelijk zelf binnen de natuurkunde al extreem ontevreden met een r-waarde van 0.8). De regressie-coefficiënten van de mannen en vrouwen worden apart genoemd (0.21 en 0.26, resp.). In de natuurkunde heb je te maken met veel minder ruizige systemen dan mensen en hun omgeving, dus jullie correlaties zijn stukken hoger. Dat neemt niet weg dat een lagere correlatie niet een echt effect zou kunnen zijn: we hebben voldoende statistische power (91.42%) om een significant effect met de grootte die we rapporteren te vinden. Het effect is dus echt, zelfs al zijn de r en de p lager dan je gewend bent in de natuurkunde. Er is overigens geen aantoonbaar verschil tussen mannen en vrouwen in onze tweede analyse, dus het effect (die 174 ms) is representatief voor beide sexen. 29. Als de langzamere tijden in je oorspronkelijke artikel niet lineair lopen, kan je je blog-analyse niet toepassen. En zeker bij de mannen lijkt die niet lineair te lopen. De enige manier om dit te toetsen, is een niet-lineair model toe te passen. Daar zijn twee problemen mee: A) We hebben op basis van de bestaande literatuur geen reden om aan te nemen dat het effect niet linear zou zijn, en B) Zulke modellen leggen het in een formele modelvergelijking vermoedelijk af tegen een lineair model, omdat ze gestraft worden voor de grotere hoeveelheid vrije parameters. 30. Nogmaals heel goed dat jullie dit willen uitzoeken, en ik hoop dat er ook gedegen vervolgonderzoek op komt. Klinkt alsof jullie een nieuw masterproject kunnen vullen hiermee. Thanks! En stuur maar een email als je plannen hebt
31. Vervelend dan ook, dat juist twee andere van mijn kritiekpunten, nl waarom niet 100 meter, en waarom niet rijder X alleen afzetten tegen rijder X in een adere wedstrijd, niet werden beantwoord. Die vragen zijn wel degelijk gelezen, en het antwoord is terug te vinden in de nieuwe analyse (die feitelijk schaatser X tegen schaatser X in twee verschillende races vergelijkt), en in vragen 1, 4, en 26 hier. 32. 0,67, het was te onwerkelijk dat ik dat herhaalde maar nu las ik het weer, is echt absurd. Dat is langer dan de hele start zelf. Als er dan toch (bijna-) significante uitkomsten uit komen, dan lijkt er iets anders aan de hand. Cum hoc ergo propter hoc. Zaken waarbij ik bij schaatsen aan kan denken, is dat een rijder met zo'n trage start al half wegslipt, en gedesillusioneerd zijn rondje afmaakt. Of juist nog overhaaste dingen gaat doen waardoor je op je punten gaat lopen, de slag niet meer maakt etc. 0,3 is overigens net zo onwerkelijk. Genoemde effecten zijn zeker niet langer dan de start zelf, maar er is inderdaad reden om aan te nemen dat niet enkel alerting een rol spelen. Daarom hebben we het in onze beschrijving van de statistiek ook over het meer neutrale ‘effect van het ready-start interval’. Onze tweede analyse doet vermoeden dat het ware effect kleiner is dan in eerste instantie gedacht (174 ms), en ook dat kan nog steeds bestaan uit meerdere factoren dan enkel alerting. Echter is alerting waar we in de wetenschappelijke literatuur bekend mee zijn, en is dat het effect dat we van tevoren dachten te gaan vinden. Naar andere factoren moet nog onderzoek gedaan worden, en dat moedigen wij met ons paper en in onze verdere communicatie ook van harte aan. 33. Ik moet het nog kritisch doorlezen, maar is er ook rekening gehouden met valse starts? Ik kan me goed voorstellen dat minimaal één rijder trager gaat staan bij de eerste start het ready-start interval wordt dan langer. Voor de rijder die wel als eerste staat, zal dit negatief werken. Dit wordt behandeld in het paper, in eerdere vragen hier, en in de comments op mijn blogpost. 34. Inderdaad toch wel opvallend: de aanbeveling van het artikel is om het interval van stilstaan tot het schot een vast tijdstip te laten gaan, terwijl ze het effect van dat interval nooit hebben onderzocht. Dat is onwaar: De “Ready” cue is de enige cue die een alerting effect teweeg brengt. Het stil gaan staan van beide schaatsers is voor beide schaatsers en voor de scheidsrechter niet 1 vast moment in tijd: ze moeten er goed voor opletten, en op een bepaald moment de afweging maken of er nu wel of niet stilgestaan wordt door alle partijen. Dat is voornamelijk een onderbewust beslissingsproces, en geeft geen alerting effect. Althans, niet voor zover we in de huidige literatuur weten. Zie ook vraag 24 voor verdere ondersteuning in literatuur, en een idee voor vervolgonderzoek naar of er eventueel alerting zou kunnen ontstaan in een ambigue beslissingsproces. 35. Het is inderdaad best lastig om dat stilstaan exact te bepalen en daardoor creëer je inderdaad ruis in je waarneming, maar dat is exact waar je statistiek voor hebt, om daar toch iets uit te kunnen halen. Dus je kunt daar zeker iets over zeggen door de videobeelden te bekijken. Alleen als er goede videobeelden beschikbaar zouden zijn, dan zouden we dat eruit kunnen filteren. En dan bedoel ik beelden die een superhoge resolutie hebben, en een superhoge framerate. De bewegingen die mensen kunnen zien zijn heel klein, zo klein dat het op de huidige beelden niet te zien is (ik kon zelfs de valse starts niet eens oppikken!). En zelfs als het zou kunnen, dan is de precieze tijd nu niet vast te stellen door de lage framerate. Dat is waarom we pleitten voor vervolgonderzoek met top-camera’s bij echte wedstrijden. Verzamel die data, want ons onderzoek geeft aanwijzingen dat er weleens iets aan de hand zou kunnen zijn in de startprocedure.
35. Het is inderdaad best lastig om dat stilstaan exact te bepalen en daardoor creëer je inderdaad ruis in je waarneming, maar dat is exact waar je statistiek voor hebt, om daar toch iets uit te kunnen halen. Dus je kunt daar zeker iets over zeggen door de videobeelden te bekijken. Alleen als er goede videobeelden beschikbaar zouden zijn, dan zouden we dat eruit kunnen filteren. En dan bedoel ik beelden die een superhoge resolutie hebben, en een superhoge framerate. De bewegingen die mensen kunnen zien zijn heel klein, zo klein dat het op de huidige beelden niet te zien is (ik kon zelfs de valse starts niet eens oppikken!). En zelfs als het zou kunnen, dan is de precieze tijd nu niet vast te stellen door de lage framerate. Dat is waarom we pleitten voor vervolgonderzoek met top-camera’s bij echte wedstrijden. Verzamel die data, want ons onderzoek geeft aanwijzingen dat er weleens iets aan de hand zou kunnen zijn in de startprocedure. 36. Om het startproces eerlijk te maken: daar heeft Edwin gelijk in. Voor deze analyse: maakt niet uit. Het gaat erom hoe lang de schaatsers stil staan tot het moment van wegschieten. De scheidsrechter bepaalt dat niet, dat mag je als onderzoeker bepalen. Het maakt dus wel degelijk uit, want deze analyse is ervoor om te pleiten dat het startproces eerlijker moet. De tijd die schaatsers nodig hebben om stil te gaan staan zou ook belangrijk kunnen zijn, dat is in meerdere vragen hier en in de blogpost naar voren gekomen. Maar ook daar is verder onderzoek voor nodig: In hoeverre is het effect van ready-start interval op de racetijd bepaald door alerting, en in hoeverre door andere factoren zoals spiervermoeidheid? 37. Dit heeft te maken met de bewijslast. De bewijslast ligt hier bij jullie als onderzoekers: is het aannemelijk dat het effect dat jullie noemen ('langzamere reactietijd') ook de werkelijke reden is? Of is het een van de vele andere effecten die door iedereen wordt genoemd? Je moet als onderzoeker al die effecten moeten kunnen ontkrachten voordat je je eigen effect sterk naar voren schuift. Zolang je dat niet gedaan hebt, mag je geen conclusies trekken anders dan 'mogelijk kan dit de oorzaak zijn, en als voorzorgsmaatregel voor het geval het echt waar is, is het handiger om een bepaalde maatregel in te voeren'. Dat kan je niet onder de noemer Perspective verstoppen (of de Perspective artikelen zouden dus afgeschaft moeten worden, ik heb namelijk als wetenschapper nog nooit van dergelijke artikelen gehoord). Paar verschillende punten, maar we kunnen ze tegelijk behandelen: A) Perspectives en Opinions zijn een zeer wijdverspreid fenomeen in onze tak van sport; dat je er nog nooit van gehoord hebt geeft dus aan dat je te weinig leest (vast niet het geval), of dat je in een ander vakgebied actief bent (dat vermoed ik). B) We hebben duidelijk gemaakt dat het ready-start interval een effect heeft op de eindtijd. We schrijven in het artikel eigenlijk bijna precies wat jij hier voorstelt dat we hadden moeten schrijven: “In our view, the correlation between ready-start interval duration and race time is driven by alertness: athletes starting with a shorter ready-start interval are more alert at the time of the starting shot, and thus quicker to finish. Even if one could conceive another explanation, it would not render the correlation invalid. It is clear that something is amiss, and whether this is really due to the “ready” cue’s alerting effect is an important question for future research.” C) De door ons voorgestelde startprocedure wordt al gebruikt in andere sporten, en doet in ieder geval de effecten van alerting wegnemen. Lijkt me, zeker in het licht van vorige citaat uit ons paper, duidelijk waarom we dat nodig achten. 38. Ik heb be/geargumenteerd dat de voorgestelde oplossing (juist) aangeeft dat het gekozen interval (ready-start) gecompromiteerd is en dat er naar de individuele set-start intervals gekeken moet worden. PS: Ik heb hem de link naar de integrale video gegeven. Die link hadden we, en is precies waarom we besloten hebben om niet het beeldmateriaal te analyseren: veel te lage kwaliteit. Bovendien zijn er theoretische redenen om er niet voor te kiezen het beeldmateriaal op de voorgestelde manier te analyseren; zie vragen 34 en 35. 39. het is natuurlijk helemaal niet noodzakelijk dat een schaatser ook stilstaat. Wel zou ik hem/haar tussen de beide lijntjes willen, zodat je geen vleigende startkunt maken, maar waarom helemaal stil? Dat levert op die gladde ijzers al genoeg problemen op. Vergelijk het met de keeper bij een strafschop, die hoeft ook niet (meer) stil te staan. Een procedure met een langer ready-start interval, volledig op de computer, vereist natuurlijk wel een meetmoment dat de schaatser helemaal stil staat, en da's lastig. Tenzij je dus die voorwaarde laat vallen. In ons voorstel is de scheidsrechter degene die bepaalt wanneer iedereen stilstaat, en daarna tijdens de ge-automatiseerde start slechts oplet of er niemand vals start. Ik denk dat de rol van de scheidsrechter ook helemaal ge-automatiseerd kan worden, maar dat leek ons een beetje een verregaand voorstel op basis van onze data, en ook op basis van de haalbaarheid. Ik ben het dus eens met je punt: er zijn op meerdere manieren nog mogelijke verdere verbeteringen in de startprocedure aan te brengen. 40. Overigens lijkt Edwin in zijn reacties op mijn commentaren de keuze voor ready-start (ipv set-start) te verdedigen vanuit theoretisch oogpunt: zij vinden dat de alertheid-periode (al) vanaf het 'ready' moment gemeten moet worden. Ik betwijfel dat en heb hem dan ook gevraagd welke studies aanleiding geven te denken dat de ready-set periode, waarin dus een schaats(t)er zijn/haar starthouding aanneemt, causaal gerelateerd is aan zijn/haar alertheid (en dus eindtijd). Eeeeeeen die studies heb je gehad, en de zaken zijn in vragen hiervoor besproken. Dit commentaar is dan ook alleen om je even te bedanken voor de leuke discussie die we op mijn blog voerden
ZO, DAT WAS HET! Julie houden me wel bezig zo Ik heb er inmiddels best wel veel tijd in gestoken, en ik denk dat eigenlijk alle mogelijke vragen en opmerkingen hier, op mijn blog, en in het paper wel beantwoord zijn. Mocht je toch nog met iets zitten, dan raad ik je aan alles dat ik hier, op mijn blog, en in het paper geschreven heb nogmaals goed door te lezen. Ik kan helaas niet beloven dat ik hier blijf antwoorden, omdat ik ook gewoon weer aan het werk moet (En omdat alles dus al wel gezegd is, eigenlijk.) Nogmaals bedankt voor al jullie input! Ik vond het heel leuk om met jullie over deze dingen te praten. Hopelijk zijn voor jullie de zaken nu ook wat duidelijker. En laten we met zijn alleen ook hopen op veel vervolgonderzoek, en uiteindelijk op een zo eerlijk mogelijke startprocedure. Het ga jullie goed! Edwin
