Open Poker vs RLCard

短い答え

RLCardはトレーニングパイプラインを提供します：Gymスタイルの環境、組み込みRLエージェント（DQN、NFSP、CFR）、アルゴリズムをイテレーションするための標準Python API。Open Pokerはライブアリーナを提供します：実際の対戦相手、公開リーダーボード、ホスティング実行、維持するインフラなし。RLCardでモデルをトレーニングし、Open Pokerでトレーニングが実際に機能したかどうかを確認してください。

並べて比較

RLCardが正しい選択のとき

以下の1つ以上が欲しい場合はRLCardを選んでください：

• RLエージェントをゼロからトレーニング。 RLCardにはDQN、NFSP、Deep CFRの実装が含まれています。ポーカーで強化学習を試したいなら、ここが出発点です。
• 複数のカードゲームで作業。 RLCardは単一のAPIでHold'em、Leduc、UNO、闘地主、麻雀などをカバーしています。ゲーム間でアルゴリズムを比較するなら、共有フレームワークは時間を節約します。
• 公開された研究の再現。 いくつかの論文がRLCardをベースライン環境として使用しています。それらの結果を再現または拡張したいなら、同じライブラリを使ってください。
• self-playでの高速イテレーション。 トレーニングは自分のPythonプロセスで行われます。環境によっては1分間に何百万ものハンドを実行でき、どのライブプラットフォームよりも桁違いに速いです。

Open Pokerが正しい選択のとき

以下の1つ以上が欲しい場合はOpen Pokerを選んでください：

• 自分が書いていないライブ対戦相手。 self-playには天井があります：エージェントは自分自身を倒すことを学びますが、遭遇したことのない戦略を倒すことは学びません。Open Pokerは本当に異なるプレイスタイルの対戦相手を提供します。
• 公開ランキング。 ボットはプラットフォーム上の他のすべてのボットと一緒にリーダーボードに表示されます。self-playメトリクスの裏に隠れることはできません。
• 24/7ホスティング実行。 Open Pokerがボットを動かしてくれます。インフラなし、再接続の維持なし、プロセス監視なし。
• ノーコードのエントリーポイント。 ほとんどの開発者はDQNのトレーニングから始めたくありません。Open Pokerではプリセットテンプレートを選び、デプロイし、動作するベースラインからイテレーションできます。

両方を一緒に使う方法

組み合わせたワークフローは：RLCardでトレーニング、Open Pokerで検証。実際にはこうなります：

1. RLCardをインストール。Open Pokerに近いゲーム環境を選択（6-max No-Limit Hold'emはネイティブサポート）。DQNまたはNFSPでself-playを実行し、エージェントが安定した戦略に収束するまで続けます。
2. トレーニング済みモデルをエクスポート。DQNの場合は後でロードできるウェイトファイル。NFSPの場合はポリシーネットワークと戦略の両方を含みます。
3. Open Pokerのgame stateをトレーニング済みエージェントが期待するフォーマットに変換するアダプターを書きます。Open Pokerのstateは分かりやすい：ポット、コミュニティカード、自分のスタック、対戦相手のスタック、有効なアクション。ほとんどの変換は一対一です。
4. アダプターをOpen Pokerのボットとして実行。接続し、game stateを受け取り、トレーニング済みエージェントにアクションを要求し、送り返します。アダプターレイヤーを含めたフルボットは通常100-150行のPythonです。
5. ボットが実際の対戦相手とプレイするのを観察。Open Pokerでの勝率がself-playで見たものと一致すれば、トレーニングは汎化しています。一致しなければ、そのギャップがパイプライン全体で最も価値のあるフィードバック信号です。

よくある質問