slider

Umělá inteligence porazila pokerové profesionály

03.03.2017

Na vývoji počítačového programu, který obehrál profesionální hráče v pokeru, se podíleli odborníci z Matematicko-fyzikální fakulty Univerzity Karlovy a Fakulty elektrotechnické ČVUT v Praze.

Vědci z Univerzity Karlovy, Českého vysokého učení technického v Praze a Albertské univerzity v Kanadě dosáhli zásadního úspěchu na poli umělé inteligence. Mezinárodní tým vyvinul počítačový program DeepStack, který v prosinci 2016 poprvé v historii porazil profesionální hráče v jedné z nejpopulárnějších karetních her na světě – dvouhráčovém no-limit Texas hold´em pokeru. Vědecké objevy, které vedly k tomto výsledku, publikuje Science, jeden z nejprestižnějších vědeckých časopisů.

DeepStack vytvořil další historický milník, kdy lidé v populárních hrách podlehli počítačům. Po backgammonu, dámě, šachu a go je tedy dalším v pořadí no-limit poker. Oproti předchozím hrám je tu však jeden zásadní rozdíl. „Poker byl dlouholetou výzvou pro umělou inteligenci,“ říká Michael Bowling, profesor z Albertské univerzity, který výzkumný tým vedl. „Je to typická hra s neúplnou informací, ve které hráči během hry nemají stejnou informaci a pohled na hru.“

Fakt, že hráč nevidí karty oponenta a oponent nevidí jeho karty, dělá problém výrazně složitějším z teoretického hlediska. Na druhou stranu je však tato neurčitost informace v reálném světě běžná. Matematické modely her umožňují popsat situace z ekonomie, aukcí, síťové bezpečnosti, ochrany důležitých cílů nebo kontroly jízdného. „V těchto reálných situacích se jednotlivé strany jen velmi zřídka rozhodují na základě úplných a totožných informací. Proto je pokrok v řešení her s neúplnou informací zásadní pro praktické aplikace,“ vysvětluje Michael Bowling.

První dva autoři DeepStacku, Martin Schmid a Matej Moravčík z Katedry aplikované matematiky Matematicko-fyzikální fakulty UK, popisují začátky projektu: „Jak už to tak v pokeru bývá, velkou roli sehrála náhoda. Při přátelském rozhovoru s profesorem Bowlingem na konferenci v Montrealu slovo dalo slovo a na stole bylo pozvání odjet na rok do Kanady a stát se členy Mikova týmu s odvážným cílem, který se nakonec více než povedl.“ Náročnost projektu podtrhuje také fakt, že desetičlenný tým pracoval na projektu téměř rok. „Celý Mikův tým je plný skvělých a šikovných lidí, těšíme se na další projekty v rámci tohoto týmu,“ shrnuli Martin a Matej.

Další z českých vědců, Viliam Lisý z Centra umělé inteligence na katedře počítačů Fakulty elektrotechnické ČVUT, v té době na Albertské univerzitě již působil v rámci své post-doktorské stáže: „Albertská univerzita má jednu z nejvlivnějších výzkumných skupin v oblasti výpočetní teorie her. Když mi Michael Bowling po doktorátu v této oblasti nabídl možnost absolvovat u něj post-doktorskou stáž, rozhodování bylo jednoduché.“

„Algoritmus DeepStacku je přelomový, protože se nám podařilo přenést myšlenky, které byly klíčové v hrách s úplnou informací, do světa her s neúplnou informaci. Doposud nebylo jasné, zda je podobný přístup vůbec možný,“ říká Schmid. DeepStack umožňuje vypočítat vhodnou strategii pro situaci v pokeru až v momentě, kdy situace nastane, tedy bez nutnosti uvažovat o úplně celé hře předem naráz, což byl doteď převládající přístup.

Tato zásadní změna principů řešení byla umožněna mimo jiné rozvojem strojového učení pomocí hlubokých neuronových sítí. Tato neuronová síť v případě DeepStacku vyhodnocuje jednotlivé pokerové situace, a jde tedy o jistou formu intuice, kterou algoritmus využívá pro správná rozhodnutí. „Podobně jako v případě člověka, musí i DeepStack svoji intuici trénovat hraním mnoha pokerových partií. Naše síť v průběhu učení viděla miliony pokerových situací,“ dodává Moravčík.

 

„Schopnost uvažovat o jednotlivých pokerových situacích až v momentě když nastanou je klíčová pro složité hry, jako je no-limit Texas Hold’em, ve kterých může nastat mnohem víc různých situací, než je počet atomů ve vesmíru,“ vysvětluje Lisý. I takto složitou hru hraje DeepStack rychleji než lidi. V průměru potřebuje jen tři sekundy „myšlení“ na každé rozhodnutí a funguje i na běžném laptopu s výkonnější grafickou kartou od Nvidie, kterou používá pro své výpočty.

DeepStack hrál proti skupině profesionálních hráčů pokeru v prosinci 2016. Třicet tři hráčů vybraných Mezinárodní federací pokeru pocházelo ze sedmnácti států. Každý hráč měl možnost hrát 3000 her během čtyř týdnů. DeepStack tyto hráče v průměru porazil s obrovskou převahou. Každého z jedenácti hráčů, kteří dohráli všech 3000 her, porazil i individuálně a pouze v jednom případě výhra nebyla statisticky signifikantní. DeepStack je tedy první počítačový program, který porazil profesionální hráče v dvouhráčovém no-limit Texas hold’em pokeru.

Profesor Michael Bowling přiletí na zvanou přednášku do Prahy koncem března. Detaily návštěvy budou zveřejněny s předstihem.

-LiM

 

 

Související články

NASA financuje vývoj autonomní kosmické lodi

Národní agentura pro letectví a vesmír (NASA) udělila nový grant, který podporuje rozvoj autonomní kosmické lodi, která by mohla rozhodovat bez lidského zásahu...

Česká technologie HE3DA: dosud nevídané 3D lithiové baterie

Současný trh baterií určených k akumulaci elektrické energie se rozrostl o patentovanou technologii HE3DA. Pod touto zkratkou se skrývá technologie s vysokou výtěžností, přitom...

Mlžné komory studentů z Fakulty elektrotechnické ČVUT dobývají svět

V roce 2016 studenti Fakulty elektrotechnické ČVUT v Praze Ondřej Zbytek a Ondřej Svoboda spolu s Valerym Mezentsevem z VŠE vyvinuli a dodali Evropské organizaci pro jaderný výzkum (CERN) celosvětově...

Díky nově koupené platformě, rozšíří společnost metody sběru dat

Společnost, která klientům pomáhá inovovat produkty, služby a business modely prostřednictvím metody Inovačních farem, skoupila firmu, jež poskytuje nové metody sběru dat. Doplní tak své...

kalendář akcí
GoodAI

Human Level AI 2018

22.8.2018 - 25.8.2018
Blueevents

Přátelské město 2018

12.9.2018
ACHB

SMART BUILDING 2018

12.9.2018
Omnis

Marketing Mix Praha

13.9.2018
Gopas

HackerFest 2018

17.9.2018 - 19.9.2018
Blueevents

Brand Management 2018

19.9.2018
Business IT

MOBILNÍ ŘEŠENÍ PRO BUSINESS 2018

20.9.2018
RADANAL, Ltd.

INDC 2018

22.9.2018 - 25.9.2018
Omnis

Marketing Mix Brno

25.9.2018
Konference Leadership Brno

Konference Leadership Brno 2018

4.10.2018
Sabris

Docuride 2018

4.10.2018
WeMakeMedia

Ekonomie zdravotnictví

15.10.2018
Česká a Slovenská společnost pro fotoniku ČVUT v Praze, fakulta elektrotechnická Agentura Action M

OPTICKÉ KOMUNIKACE 2018

25.10.2018 - 26.10.2018