Historia de la inteligencia artificial en el Poker

El Póker es un juego de información incompleta, por lo que el desarrollo de inteligencia artificial para este juego ha sido siempre un verdadero y constante desafío para los científicos, pero, ¿porque ese interés junto con el desembolso de grandes inversiones en su estudio? Evidentemente, el estudio del Póker como juego y el desarrollo de la inteligencia artificial capaz de vencer a humanos al mismo va más allá de la ambición de ganar en el juego en sí mismo. El desarrollo de una tecnología capaz de ganar a humanos en un juego en el que la información es incompleta, además de la posibilidad de aplicar estrategias de engaño como método de juego es una tecnología ambicionada por grandes empresas de múltiples sectores tales como finanzas, bolsa, marketing, salud, táctica militar, seguridad, videojuegos, demoscopia y un largo etc. que generaría beneficios de valor incalculable, que superan la lógica ambición de ganar al Póker a pesar de las grandes cifras que mueve. Esta apasionante historia en el desarrollo de la inteligencia artificial necesaria para ganar a humanos al Póker comienza en 1984 con un rudimentario software generado por el siempre inquieto cartómago Mike Caro, uniéndose posteriormente en este intento otros investigadores independientes y universidades tan importantes como la Carnegie Mellon de Estados Unidos de América y la de Alberta en Canadá.

Pero veamos de forma resumida como ha sido esta apasionante historia:

1984: Mike Caro, cartómago y jugador de Póker profesional, diseña un rudimentario software que presentó en la World Series of Poker del mismo año, donde lo enfrentó a varios jugadores profesionales de Póker, entre ellos a Doyle Brunson a quien venció. A pesar de haber estado dos años desarrollándolo en un Apple II, el programa llamado Orac, (Caro del revés), era bastante simple comparado con los actuales, además no era totalmente independiente del ser humano, ya que sus cartas debían ser escaneadas mediante un código de barras. Orac se enfrentó además a Bob Stupak en una partida promocional en el casino Stratosphere de las Vegas en el que en su primera partida al mejor de tres sucedió un extraño suceso, Orac fue desconectado por alguien y tuvo que ser reiniciado, en este caso fue derrotado, aunque siempre quedará la duda de que habría pasado de no haber sido saboteado.

Los primeros bots de Inteligencia artificial para el juego del Póker se basaban fundamentalmente en el concepto de Equilibrio de John Nash, que consiste sencillamente en que el robot toma la mejor decisión posible en base a la decisión tomada por los otros jugadores oponentes.

1991: Este año marca un hito en el desarrollo de la inteligencia artificial en el Póker, ya que por primera vez una gran universidad como la de Alberta en Canadá se preocupa por el desarrollo de este tipo de tecnología. En su equipo cuenta además de prestigiosos investigadores como Duane Szafron, Denis Richard Pap, Neil Burch, Michael Bradley Johanson, Jonathn Schaeffer, y Michael Bowling, con jugadores de Póker y expertos en juego como Darse Billings. Este equipo se convertiría en un referente mundial.

1996: En este año inicia su carrera en el estudio sobre la inteligencia artificial otra gran universidad, la Carnegie Mellon comenzando un proyecto originalmente llamado Deep Thought desarrollado por Feng-hsiung Hsu y que acabaría siendo la máquina de IBM Deep Blue que se enfrentó al campeón del mundo de ajedrez Gary Kasparov derrotándolo. Este hecho impulsó el desarrollo de la inteligencia artificial, generándose nuevo software de inteligencia artificial.

1997: La Universidad de Alberta, Canadá, lanza el programa Loki desarrollado por Darse Billings con la ayuda de dos estudiantes y la supervisión científica de los ingenieros informáticos Jonathan Schaeffer y Duane Szafron. Este programa fue diseñado para jugar en mesas completas de Póker Hold'em en su variante de limit Hold'em. Los desarrolladores tenían la esperanza de hacerlo participar en la World Series of Poker, pero a última hora el casino Caesars cambió las reglas de participación en el mismo para que únicamente fueran humanos los participantes. Loki tenía una habilidad por ligeramente por debajo de la de un jugador de Póker promedio.

1999: Loki es renombrado como Poki, diseñado para jugar al Póker Hold'em mano a mano, ya que de este modo se manejan menos variables estAdÍsticas. Este programa consiguió la licencia para integrarse en el videojuego Stacked, que tuvo como imagen a Daniel Negreanu.

2002: Este año es el año de creación del robot de inteligencia artificial conocido como Sparbot, y de otros como PsOpti, desarrollados también por el equipo de la Universidad de Alberta en Canadá. Estaban programados para jugar al Póker Texas Hold'em en su variante Heads-up, es decir mano a mano. Aunque los resultados obtenidos no pasaron de superar a jugadores de Póker intermedios, posteriormente el bot fue enfrentado al jugador profesional Gautam Rao conocido como "The Count", que opinó que el programa era muy fuerte y que no necesitaba más que añadirle modelos de oponentes para convertirse en invencible.

2003: Este año es considerado crucial en el desarrollo de la inteligencia artificial, ya que los investigadores se alejan por primera vez del enfoque metodológico que llevó al éxito al robot Deep Blue en el Ajedrez, patrón en el que se basaban todas las investigaciones hasta el momento.

Además, en este año se produce el traslado de Michael Bowling desde la Universidad de Carnegie Mellon, en la que hizo su doctorado, a la Universidad de Alberta en la que trabajará y liderará la investigación sobre inteligencia artificial en la próxima década. 

2004: Este es también un año importante para la investigación de la inteligencia artificial, ya que es en este año cuando el profesor Toumas Sandholm, todo un referente, comienza a trabajar en la Universidad Carnegie Mellon, presentando su bot Libratus y enfrentándolo con éxito a jugadores profesionales de Póker. Este programa fue mejorado con el paso de los años, recibiendo aportaciones de Noam Brown y de Sam Ganzfried.

Este mismo año fue convocado por el ICCM Poker Bot Callenge un torneo mundial de Póker para bots de inteligencia artificial, del que resultó vencedor Ace Gruber de la Universidad de Toronto, Canadá.

2005: En este año el Póker Texas Hold'em se encuentra en pleno apogeo haciéndose numerosos eventos promocionales del mismo por parte de los casinos, por ejemplo, el casino Golden Palace acogió en el casino Binion un torneo con sustanciosos premios, en la World Series of Poker Robots fue ganador Hilton Givens, que se impuso con su robot PokerProbot derrotando a Poki-X, versión mejorada de Poki, (actualización de Loki), de la Universidad de Alberta, Canadá. Durante esta competición PokerProbot se enfrentó mano a mano al jugador profesional de Póker Phil Laak, venciendo este último. El jugador profesional e ingeniero informático Kenneth Jones más conocido como "The Clone", que se encontraba presente dijo que muy posiblemente en cinco años los robots de inteligencia artificial vencerían a expertos jugadores humanos.

2006: En este año comienza la Annual Computer Poker Competition conocida como la ACPC o ACM, en la que se enfrentan varias universidades con sus respectivos proyectos, destacando entre ellas la Universidad Carnegie Mellon o la Universidad de Alberta, ganadoras de varios premios. Este evento supuso un aliciente en la investigación de la inteligencia artificial.

2007: La Universidad de Alberta, Canadá presenta a Polaris, un bot que enfrentaron al jugador profesional de Póker Phil Laak, venciendo este último por muy poco, este hecho lo convirtió en uno de los mejores bot del mundo en ese momento. Polaris es en realidad un conjunto de bot que trabajan conjuntamente, entre ellos el Hyperborean08. El programa cuenta con una base de datos de estrategias fijas, eligiendo durante la partida de Póker, de entre ellas la más conveniente según las circunstancias del momento.

2008: Durante la Gaming Life Expo Polaris, mejorado respecto a su predecesor, juega al Póker contra seis oponentes humanos, arrojando un resultado de tres victorias, dos derrotas y un empate, por lo que puede decirse que por primera vez un bot de inteligencia artificial gana a jugadores humanos en el Poker Texas Hold'em.

2009: La universidad de Auckland presenta a su robot Sartre, (Similarity Assessment Reasoning for Texas Hold'em via Recall of Experience), uno de los robots para Póker que extrañamente no procedía de las universidades dominantes en este campo, la Carnegie Mellon y la de Alberta. Este robot llegó a ser un serio competidor para estas dos importantes universidades, ya que se posicionaba muy bien en los campeonatos.

2011: A partir del año 2008 comenzaron a oírse rumores de la presencia de bot de inteligencia artificial en las salas de Póker online y aunque Darse Billings de la Universidad de Alberta, Canadá, afirmó que más del 90 por ciento de estos robots perderían dinero, ya que no eran todavía lo suficientemente buenos, no fue suficiente para impedir que empresas como Shanky Technologies vendiera de forma totalmente abierta robot de inteligencia artificial para jugar online al Poker Texas Hold'em. Esto hizo que las casas de apuestas online hicieran un enorme esfuerzo para localizar y expulsar a los bot de inteligencia artificial de sus partidas de Póker, cuando un jugador es identificado como tal, es inmediatamente expulsado y sus fondos son confiscados. Este interés de las grandes empresas de juego de azar online demuestra que el nivel alcanzado por estos robots es muy alto, solo era cuestión de tiempo que jugadores deshonestos usaran los mismos como ventaja en el Póker, convirtiéndose de este modo en modernos tahúres tecnológicos.

2014: La universidad de Oslo presenta su robot Limit Heads-Up, diseñado por Fredrik Dahl y fabricado por IGT fabricante de máquinas de video poker y máquinas tragaperras, la empresa nunca consiguió que la máquina tuviera éxito, regaló dos de ellas a los jugadores de Póker profesionales Johnny Chan y Phil Hellmuth, a de este último todavía puede verse en el casino Bellagio de las Vegas. Este bot fue enfrentado al jugador de Póker profesional Tom Dwan quién lo venció, embolsándose una suma millonaria. Al parecer Limit Heads-Up Machine usaba una red neutra para aprender nuevas estrategias de juego.

2015: Tras años de desarrollo de las distintas universidades y científicos, por fin la inteligencia artificial para el juego del Póker da sus primeros resultados fiables, la Universidad de Alberta, Canadá presenta su bot Cepheus desarrollado para el Póker Texas hold'em con límite en partidas Heads-up o mano a mano. El bot posee un férreo control sobre el juego, pero para el Póker sin límite, (Poker Texas Hold'em non limit), la cuestión de los bots sigue sin resolverse debido a la naturaleza altamente impredecible de este juego.

En este mismo año Tuomas Sandholm de la Universidad Carnegie Mellon presenta su bot Claudico, que se diferencia de Cepheus porque es capaz de jugar al Póker Texas Hold'em Non Limit, juego mucho más difícil de dominar. El equipo de investigación de la universidad desafió públicamente a jugadores profesionales de Póker por un importe de 100.000 Dólares para que jugaran contra Claudicus un total de 200.000 manos durante trece días. Entre estos jugadores de Póker se encontraban los conocidos Bjorn Li, Doug Polk, Dong Kim y Jason Les, el desafío se llevó a cabo en el casino Rivers de Pittsburg y finalmente resultaron ganadores los jugadores humanos, obteniendo un beneficio figurado sobre la máquina de 732.713 dólares, aunque con muchas dificultades. Jason Les dijo que no era más que una cuestión de tiempo el que los robots de inteligencia artificial fueran capaces de vencer de forma rutinaria al Póker.

2017: Michael Bowling de la universidad de Alberta, lanza el bot DeepStack, obteniendo este un gran éxito en partidas frente a humanos, pero los expertos todavía están discutiendo si fue o no un éxito, ya que según las declaraciones hechas por el profesor Tuomas Sandholm de la Universidad Carnegie Mellon, a la revista Wired, el programa fue enfrentado a jugadores de Póker normales, no a jugadores de primer nivel como si lo hizo el bot Claudico/Libratus.

En enero de 2017 el bot Libratus, desarrollado por Tuomas Sandholm, venció a un equipo humano de jugadores de Póker profesionales entre los que estaban Jimmy Chou, Dan McAulay, Dong Kim y Jason Les. Lo hizo en la variedad de Poker Texas Hold'em Heads-up Non Limit. El desafío duró veinte días durante los cuales se jugó un total de 120.000 manos, en el momento de la última mano el bot Libratus acumulaba una ganancia total de 1.766.250 dólares.

Este bot no tiene estrategias fijas incorporadas, sino que se basa en un algoritmo que calcula la estrategia más adecuada en cada momento de la partida de Póker. los jugadores apreciaron cambios en la estrategia de Libratus, debido a que el robot analiza su propio juego, corrigiendo sus errores. Para poder realizar esta función necesitaba estar impulsado por un ordenador 7.250 veces más potente que un ordenador normal, el Pittsburgh Super Computer. El éxito de Libratus supone un hito en el estudio de la inteligencia artificial, aunque todavía quedaba el desafío de ganar a varios jugadores humanos a la vez en un juego tan complejo como es el Póker Texas Hold'em sin límite.

2019: El profesor Tuomas Sandholm lanza Pluribus, por fin un algoritmo es capaz de ganar en una partida de Póker Texas Hold'em sin límite y contra varios jugadores a la vez, tras casi veinticinco años de complejas investigaciones, pruebas, desafíos entre máquinas y humanos y mucha rivalidad entre las competitivas universidades de Alberta y Carnegie Mellon, podemos asegurar que en la actualidad la inteligencia artificial puede vencer al Póker en el cien por cien de las ocasiones, en un entorno tan complejo como es el de una partida de Póker sin límite y con varios jugadores humanos a la vez. Para un estudio más amplio sobre el programa Pluribus visita el siguiente enlace.

 En la siguiente tabla se muestran algunos de los software creados a lo largo de estos años de dura investigación y desarrollo en inteligencia artificial en el Póker.