Průběžné výsledky turnaje v předpovídání

Následuje průběžná historie výsledků turnaje v předpovídání (jehož vrcholem bude vyhlášení Superprognostika 2016), kterého se můžete i nadále účastnit zde.

Prognostici podle Brierova skóre

Zatím zveřejňujeme žebříček Brierova skóre pro prognostiky, kteří odpověděli aspoň na 5 otázek (které již mohly být vyhodnoceny). Výsledky zatím nejsou úplně relevantní, stále může pro mnohé jít o šťastnou náhodu, než o výsledek kvalitního a systematického prognostického úsudku. Přesto se nám to rýsuje… (pokud chcete vidět jednotlivé prognózy jednotlivých prognostiků, najdete je dole na stránce se soutěží).

Připomínáme, že čím nižší je skóre, tím lépe pro prognostika. Nulové skóre odpovídá tomu, že prognostik předpověděl všechny události správně a vždy se 100% rozhodností. Skóre 1 odpovídá tomu, že se 100% rozhodností předpověděl všechny události nesprávně.


1. KOLO

Otázka: „V říjnu 2016 napadne někde v ČR sníh [ano/ne]“
Hlasování uzavřeno:  30. září o půlnoci,
Vyhodnocení provedeno: 5. října díky zprávám o tom, že v ČR nasněžilo.
Výsledek: vítězem prvního kola turnaje se stává soutěžící s nickem adelazukalova. Vítězi (vítězce :) gratulujeme a kontaktujeme ji ohledně výhry. Níže můžete rozkliknout tabulku se všemi soutěžícími:

prognozy_and_vytvorit_novou_stranku__jan_melvil_publishing_-_wordpress


2. KOLO

Otázka: „Zvítězí v referendu o poloze brněnského nádraží příznivci setrvání v centru? [ano/ne]“
Hlasování uzavřeno:  6. října 2016 o půlnoci,
Vyhodnocení provedeno: 12. října 2016 na základě výsledků referenda zveřejněných na oficiálním webu města Brna.
Výsledek: vítězem druhého kola turnaje se stává soutěžící s nickem George, jenž pravděpodobnost své předpovědi vyčíslil jako 90%. Vítězi gratulujeme a kontaktujeme jej ohledně výhry. Tabulka se soutěžícími, kteří odpověděli správně, je níže.
Diskuse: vyhodnocení tohoto kola je metodicky poněkud vachrlaté, protože jsme coby pořadatelé turnaje formulovali nejednoznačnou otázku. Je to typická ukázka problému, který Tetlock popisuje ve své knize Superprognózy: prognóza (otázka) musí být formulována tak, aby její chápání bylo jednoznačné a vyhodnocení mohlo být provedeno jednoznačně. Vzhledem k tomu, že brněnské referendum kvůli nízké volební účasti nebylo platné, mohl by být pojem „vítězství“ a „prohry“ vykládán různě. Zvláště v situaci, kdy 80,94 % osob, které hlasovaly, odpovědělo „ANO“, což je „svým způsobem a v rámci těch, co hlasovali“ (nikoli oficiálně ani prakticky) jednoznačná výhra příznivců zachování stávající polohy. Protože byla ale řeč o reálném referendu, rozhodli jsme se zde i přes jiné možné výklady  „vítězství“ (v jiných kontextech) přidržet chápání, kdy se za „vítězství“ považuje výsledná kombinace obou oficiálních podmínek: tedy získání patřičné většiny v platném referendu.

prognozy


3. KOLO

Otázka: „Získá Michal Hašek v nastávajících volbách 10/2016 post hejtmana JM kraje? [ano/ne]“
Hlasování uzavřeno:  6. října 2016 o půlnoci,
Vyhodnocení provedeno: 13. října 2016 na základě výsledků koaličních jednání, kde padlo rozhodnutí o novém hejtmanovi JM kraje, jímž zcela jistě nebude Hašek.
Výsledek: vítězem druhého kola turnaje se stává opět soutěžící adelazukalova, která pravděpodobnost své předpovědi vyčíslila na 99 %. Vítězce gratulujeme a kontaktujeme ji ohledně výhry. Tabulka se všemi soutěžícími, kteří odpověděli správně, je níže.
Komentář: Soutěžící a vítězka tohoto kola turnaje v obou případech uvedla 99% pravděpodobnost naplnění své prognózy, čímž se dostala dopředu proti méně rozhodným soutěžícím. Může se zdát, že je tedy zárukou výhry vsadit na svého koně, uvést co nejvyšší procento a doufat. Potíž je v tom, že tato strategie funguje jen pro jedno kolo soutěže, ale dlouhodobě je riziková. Tetlock dokazuje, že uvedení „100%“ či „99% jistoty“ je navíc většinou známkou biasu a špatného postupu při výpočtu skutečné pravděpodobnosti – a z hlediska dlouhodobého hodnocení kvality předpovědí se vymstí. Teprve důkladně promyšlené a vážené odhady pravděpodobnosti na základě analýzy faktů a odstranění biasů pohybující se na celé škále 0-100 % mohou vést k vysokému skóre. Soutěžící, který se v případě své „99% jistoty“ netrefí do správného výsledku, zásadně utrpí v hodnocení svých předpovídacích kvalit, což se týká i naší soutěže o „Superprognostika 2016“, do níž se zapojuje každá realizovaná prognóza u soutěžících, kteří odpoví aspoň na 5 otázek.

prognozy


4. KOLO

Otázka: „Vyhraje H. Clintonová třetí televizní debatu s D. Trumpem (podle yougov.com)? [ano/ne]“
Hlasování uzavřeno:  18. října 2016 o půlnoci,
Vyhodnocení provedeno: 30. října 2016 na základě výsledků průzkumu na YouGov.com, který proběhl po debatě mezi 1503 registrovanými voliči, kteří debatu sledovali. Dle 49 % účastníků průzkumu v debatě zvítězila Clintonová, dle 39 % to byl Donald Trump, 12 % účastníků považovalo výsledek za remízu.
Výsledek: vítězem druhého kola našeho turnaje se stává soutěžící Denso20, který odpověděl správně a pravděpodobnost své předpovědi vyčíslil na 100 %. Vítězi gratulujeme a kontaktujeme jej ohledně výhry. Tabulka se všemi soutěžícími, kteří odpověděli správně, je níže.
Komentář: Soutěžící a vítěz tohoto kola turnaje uvedl 100% pravděpodobnost naplnění své prognózy, čímž se dostal dopředu proti méně rozhodným soutěžícím. „100%“ jistota v takovýchto situacích ve skutečnosti neexistuje, ostatně o tom svědčí i docela těsný výsledek průzkumu. Jak vysvětlujeme v komentáři 3. kola, strategie uvádění 100% pravděpodobnosti je z dlouhodobého hlediska v předpovídání velice riskantní. Po kontrole rozhodnosti jiných prognóz uživatele Denso20 jsme však dospěli k závěru, že nešlo o kalkul s cílem získat knihu, nýbrž o poctivý pokus (byť z odborného hlediska chybný). Pokud chce své odhady dělat správně, měl by si přečíst Superprognózy, což se týká samozřejmě každého :).

cursor_and_prognozy


5. KOLO

Otázka: „Kdy se hodnota Apple Inc. (NASDAQ:AAPL) dostane níže než je 110 dolarů za akcii? [datum]“
Hlasování uzavřeno:  3. listopadu 2016 , 13:09 EDT (18:09 našeho času).
Vyhodnocení provedeno: 3. listopadu 2016 na základě zveřejněného vývoje ceny akcie NASDAQ:AAPL, která v 18:09 našeho času poprvé od vyhlášení turnaje klesla pod 110 dolarů za akcii.
Výsledek: vítěz druhého kola není stanoven, neboť nikdo ze soutěžících neuhodl přesný čas události.
Komentář: Tady jsme si formulací otázky bez doplňujících parametrů trochu naběhli. Je vidět, že se navzdory důkladnému studiu knihy máme určitě co učit. Potíž je totiž v tom, že pokud má být předpovězeno nějaké datum (nebo číslo), je důležité definovat i pravidla (většinou v podobě rozpětí), dle nichž se budou posuzovat přibližné předpovědi. Jediní dva soutěžící, kteří se pokusili odpovědět na otázku ohledně pádu akcií Applu pod 110 dolarů, tipovali poměrně vzdálená data: 30. 11. 2016 a 15. 12. 2016 a my jsme se rozhodli ani jednu předpověď nepovažovat za správnou. Kdyby se soutěž ovšem odehrávala v  delším časovém horizontu, například let, mohl by se odhad počítat s přesností na měsíce apod.

fullscreen_03_11_16_21_38


6. KOLO

Otázka: „Zvítězí v amerických prezidentských volbách D. Trump? [ano/ne]“
Hlasování uzavřeno:  7. listopadu 2016, 5:59pm EDT (7. 11. v 23:59 našeho času).
Vyhodnocení provedeno: 11. listopadu 2016 na základě oficiálních výsledků amerických voleb, v nichž zvítězil Donald Trump.
Výsledek: vítězi druhého kola jsou dva soutěžící ST4RK a Marek, kteří na Trumpa vsadili se 100% rozhodností.
Komentář: Volba amerického 45. prezidenta se z více důvodů zapíše do dějin. Jedním z těchto důvodů je selhání řady předpovědí a prognóz. Sami nejsme experty na předpovídání, pouze poučenými laiky, takže skutečné důvody v tomto směru jen stěží popíšeme lépe, než odborníci, kteří se tématem nyní jistě zabývají. Jisté je, že na toto „selhání předpovědí“ se nelze dívat jako na selhání „oboru předpovídání“ jako celku, jako spíše na selhání konkrétních modelů předpovědí voleb a způsobů, jakými jsou získávána data pro tyto modely. Odstup mezi oběma kandidáty nebyl mimochodem nijak velký. Podle Nate Silvera (viz odkaz níže) by například stačilo, aby Clintonová v závěru zvítězila ve Floridě a Pensylvánii o 1 % (a Trump měl o 1 % méně) a situace by se vyvinula jinak. Zájemcům doporučujeme některé doplňkové materiály, na něž odkazujeme níže.
Zajímavostí též je, že v našem turnaji sázelo na vítězství Trumpa 12 soutěžících a 28 nevěřilo, že vyhraje.

Živý (teď již uzavřený) blog slavného prognostika Nate Silvera

Rozhovor s Josefem Šlerkou, předním českým datovým analytikem

Rozhovor s Allanem J. Lichtmanem, jehož model naopak předpovídal správně (Šlerka se o něm zmiňuje)

prognozy


7. KOLO

Otázka: „Kolik žen v Podzimním běhu lyžařů (8km trať) bude v cíli v čase menším než 40 min? [číslo]“
Hlasování uzavřeno:  27. listopadu 2016, po skončení běhu
Vyhodnocení provedeno: 4. prosince 2016 na základě oficiálních výsledků
Výsledek: 6 žen se dostalo v dané kategorii pod 40 minut; nikdo ze soutěžících neuhádl
Komentář: Tohle byla zajímavá otázka od čtenáře Jonnyho, která byla současně velkou výzvou a testem ochoty soutěžících skutečně rešeršovat a dávat dohromady data o něčem, o čem asi neměli dosud potuchy. Jde vlastně o okrajové téma s lokálním významem, o němž pravděpodobně nemá neznalý řadový soutěžící žádné povědomí či názor. To stupňuje nutnost tyto informace získat a vydolovat z veřejných zdrojů (například zjistit si časy z předchozích ročníků apod.). Právě proto si uživatelé Denso20 a EvcaL zaslouží pochvalu za účast hlasování, i když neuspěli – jejich výsledky byly 4 a 11, což je na „laiky“ docela slušný odhad. Jonnymu děkujeme za soutěžní otázku a posíláme mu knihu za to, že ji poslal. Nicméně ač o daném běhu věděl asi více než ostatní (když navrhl otázku) také se s odhadem 9 netrefil. Níže vidíte tabulku včetně pravděpodobností. Nejméně si „poničil“ své skóre Denso20 (Brier = 0.040), protože si byl konkrétním odhadem jist jen na 20 % (což byl dobrý postup), naopak EvcaL velice riskovala, když vsadila na číslo 11 vše a neuspěla (pak Brier = 1).

prognozy


Otázka: „Bude křestní jméno Osobnosti roku Křišťálové lupy 2016 začínat na „J“? [ano/ne]“
Hlasování uzavřeno:  30. listopadu 2016, den před vyhlášením výsledků
Vyhodnocení provedeno: 4. prosince 2016 na základě oficiálních výsledků
Výsledek: V kategorii „Osobnost roku“ získali první místo ve skutečnosti osobnosti dvě: a to Eduard Kučera a Pavel Baudiš; žádný z nich nemá křestní jméno začínající na „J“; správná odpověď je tedy „NE“. Správně odpovědělo 12 soutěžících, z toho dva se 100% rozhodností: George a EvcaL. George již jednou v kole zvítězil, knihu tentokrát pošleme EvčeL.
Komentář: Je překvapující, že zejména George znal správnou odpověď již od 1. října na 100 % :) Každopádně, v tomto případě šlo dosáhnout kvalifikovaného odhadu pomocí výpočtu pravděpodobnosti výskytu prvních písmen křestních jmen mezi nominovanými v kombinaci s jejich skutečnými šancemi (trocha rešerše mohla následně maličko vychýlit váhy).

prognozy


Otázka: „Stane se Osobností roku Křišťálové lupy 2016 žena? [ano/ne]“
Hlasování uzavřeno:  30. listopadu 2016, den před vyhlášením výsledků
Vyhodnocení provedeno: 4. prosince 2016 na základě oficiálních výsledků
Výsledek: V kategorii „Osobnost roku“ získali první místo dvě osobnosti: a to Eduard Kučera a Pavel Baudiš; žádný z nich není žena, a proto bylo správnou odpovědí „NE“. V souladu s tím odpovědělo 22 soutěžících, z toho tři se 100% rozhodností: fndrLaudrino a mzdr. Kontaktujeme je ohledně výhry a současně tímto kolem ukončujeme možnost vyhrát knihu v jednokolovém závodě. Jedinou možnou výhrou se tedy nadále stává hlavní cena Superprognostika roku.
Komentář: Vzhledem k tomu, že z deseti nominovaných na Osobnost roku bylo 9 mužů, dalo se bez uvážení dalších okolností odpíchnout od kotvy 90 % pravděpodobnost výhry pro muže. Případným subjektivním porovnáváním relativních „zásluh“ a šancí jediné nominované ženy Dity Přikrylové se zásluhami ostatních pak mohl být odhad upraven nahoru či dolů. Při pohledu na tabulku hlasování níže je zřejmé, že většina soutěžících postupovala podobně. Je škoda, že poměr pohlaví mezi počtem nominovaných je takový, jaký je, neboť to zřejmě reflektuje i kariérní možnosti žen v oboru.

prognozy

Do turnaje se můžete zapojit kdykoli, i dnes, a opakovaně. Až nashromáždíme dost předpovědí, začneme průběžně zveřejňovat i pořadník se skóre nejlepších prognostiků. Můžete též navrhnout další otázky!