slider

Umělá inteligence porazila pokerové profesionály

03.03.2017

Na vývoji počítačového programu, který obehrál profesionální hráče v pokeru, se podíleli odborníci z Matematicko-fyzikální fakulty Univerzity Karlovy a Fakulty elektrotechnické ČVUT v Praze.

Vědci z Univerzity Karlovy, Českého vysokého učení technického v Praze a Albertské univerzity v Kanadě dosáhli zásadního úspěchu na poli umělé inteligence. Mezinárodní tým vyvinul počítačový program DeepStack, který v prosinci 2016 poprvé v historii porazil profesionální hráče v jedné z nejpopulárnějších karetních her na světě – dvouhráčovém no-limit Texas hold´em pokeru. Vědecké objevy, které vedly k tomto výsledku, publikuje Science, jeden z nejprestižnějších vědeckých časopisů.

DeepStack vytvořil další historický milník, kdy lidé v populárních hrách podlehli počítačům. Po backgammonu, dámě, šachu a go je tedy dalším v pořadí no-limit poker. Oproti předchozím hrám je tu však jeden zásadní rozdíl. „Poker byl dlouholetou výzvou pro umělou inteligenci,“ říká Michael Bowling, profesor z Albertské univerzity, který výzkumný tým vedl. „Je to typická hra s neúplnou informací, ve které hráči během hry nemají stejnou informaci a pohled na hru.“

Fakt, že hráč nevidí karty oponenta a oponent nevidí jeho karty, dělá problém výrazně složitějším z teoretického hlediska. Na druhou stranu je však tato neurčitost informace v reálném světě běžná. Matematické modely her umožňují popsat situace z ekonomie, aukcí, síťové bezpečnosti, ochrany důležitých cílů nebo kontroly jízdného. „V těchto reálných situacích se jednotlivé strany jen velmi zřídka rozhodují na základě úplných a totožných informací. Proto je pokrok v řešení her s neúplnou informací zásadní pro praktické aplikace,“ vysvětluje Michael Bowling.

První dva autoři DeepStacku, Martin Schmid a Matej Moravčík z Katedry aplikované matematiky Matematicko-fyzikální fakulty UK, popisují začátky projektu: „Jak už to tak v pokeru bývá, velkou roli sehrála náhoda. Při přátelském rozhovoru s profesorem Bowlingem na konferenci v Montrealu slovo dalo slovo a na stole bylo pozvání odjet na rok do Kanady a stát se členy Mikova týmu s odvážným cílem, který se nakonec více než povedl.“ Náročnost projektu podtrhuje také fakt, že desetičlenný tým pracoval na projektu téměř rok. „Celý Mikův tým je plný skvělých a šikovných lidí, těšíme se na další projekty v rámci tohoto týmu,“ shrnuli Martin a Matej.

Další z českých vědců, Viliam Lisý z Centra umělé inteligence na katedře počítačů Fakulty elektrotechnické ČVUT, v té době na Albertské univerzitě již působil v rámci své post-doktorské stáže: „Albertská univerzita má jednu z nejvlivnějších výzkumných skupin v oblasti výpočetní teorie her. Když mi Michael Bowling po doktorátu v této oblasti nabídl možnost absolvovat u něj post-doktorskou stáž, rozhodování bylo jednoduché.“

„Algoritmus DeepStacku je přelomový, protože se nám podařilo přenést myšlenky, které byly klíčové v hrách s úplnou informací, do světa her s neúplnou informaci. Doposud nebylo jasné, zda je podobný přístup vůbec možný,“ říká Schmid. DeepStack umožňuje vypočítat vhodnou strategii pro situaci v pokeru až v momentě, kdy situace nastane, tedy bez nutnosti uvažovat o úplně celé hře předem naráz, což byl doteď převládající přístup.

Tato zásadní změna principů řešení byla umožněna mimo jiné rozvojem strojového učení pomocí hlubokých neuronových sítí. Tato neuronová síť v případě DeepStacku vyhodnocuje jednotlivé pokerové situace, a jde tedy o jistou formu intuice, kterou algoritmus využívá pro správná rozhodnutí. „Podobně jako v případě člověka, musí i DeepStack svoji intuici trénovat hraním mnoha pokerových partií. Naše síť v průběhu učení viděla miliony pokerových situací,“ dodává Moravčík.

 

„Schopnost uvažovat o jednotlivých pokerových situacích až v momentě když nastanou je klíčová pro složité hry, jako je no-limit Texas Hold’em, ve kterých může nastat mnohem víc různých situací, než je počet atomů ve vesmíru,“ vysvětluje Lisý. I takto složitou hru hraje DeepStack rychleji než lidi. V průměru potřebuje jen tři sekundy „myšlení“ na každé rozhodnutí a funguje i na běžném laptopu s výkonnější grafickou kartou od Nvidie, kterou používá pro své výpočty.

DeepStack hrál proti skupině profesionálních hráčů pokeru v prosinci 2016. Třicet tři hráčů vybraných Mezinárodní federací pokeru pocházelo ze sedmnácti států. Každý hráč měl možnost hrát 3000 her během čtyř týdnů. DeepStack tyto hráče v průměru porazil s obrovskou převahou. Každého z jedenácti hráčů, kteří dohráli všech 3000 her, porazil i individuálně a pouze v jednom případě výhra nebyla statisticky signifikantní. DeepStack je tedy první počítačový program, který porazil profesionální hráče v dvouhráčovém no-limit Texas hold’em pokeru.

Profesor Michael Bowling přiletí na zvanou přednášku do Prahy koncem března. Detaily návštěvy budou zveřejněny s předstihem.

-LiM

 

 

Související články

Projekt jehož cílem je vybudování unikátního centra pro simulace a modelování v medicíně, byl podpořen k financování

VFN v Praze ve spolupráci s ČVUT, jako partnerem, připravila projekt na vybudování Simulačního centra VFN. Jeho cílem je rekonstrukce budovy Na Bojišti 1, Praha 2, a její vybavení...

V Litvínově testují biosložky pohonných hmot druhé generace

Výzkumní pracovníci Unipetrol začali ve svých laboratořích v Chemparku Záluží u Litvínova testovat látky, které by v blízké budoucnosti mohly sloužit...

Petra Kutálková je novou posilu výzkumného týmu

Dobrý web do své výzkumné laboratoře přijala novou posilu. Petra Kutálková, která nastupuje na pozici UX researcher, se ve své dosavadní kariéře zaměřovala na pomoc...

Novátorský přístup využití kvantového počítače k chemickým simulacím

Vědci z IBM vyvinuli nový způsob simulace molekul na kvantovém počítači, který by jednoho dne mohl přinést revoluci v chemii a nauce o materiálech. V rámci náročné simulace...

kalendář akcí
UNIT s.r.o.

Konference Radiokomunikace

17.10.2017 - 19.10.2017
IDC

IOT FORUM 2017

19.10.2017
Techo a.s.

TechoCon 2017

19.10.2017
Czechinno

Smart Business Festival 2017

24.10.2017 - 25.10.2017
SmartEnergyForum.cz / SolarniNovinky.cz

Smart Energy Forum

26.10.2017
Alternetivo

OPTIKA PODZIM 2017

1.11.2017
Arrow

Virtualization forum 2017

1.11.2017
Reliant Group

SpeedCHAIN

1.11.2017 - 2.11.2017
MKTI / IIK

Konference Tak ukaž

1.11.2017
Reliant s.r.o.

SpeedCHAIN 2017

8.11.2017 - 2.11.2017
Marketing Festival s.r.o

Marketing Festival 2017

9.11.2017 - 10.11.2017
Eva Škorničková / Deloitte

Intenzivní a interaktivní seminář GDPR

13.11.2017
Gopas

Java Days 2017

13.11.2017 - 14.11.2017
DellEMC

Dell EMC Forum 2017

14.11.2017
Internet Info

WebTop100

15.11.2017
Czech Smart City Cluster

Trendy evropské energetiky

21.11.2017
BusinessIT

Datová centra pro business 2017

23.11.2017
Terinvest

Amper 2018

20.3.2018 - 23.3.2018