MLを使用してビデオゲームをプレイすることを学習するAIエージェントを作成する割り当てがあります。既存の環境を使用したくないので、OpenAI Gymを使用して新しい環境を作成します。新しいカスタム環境を作成するにはどうすればよいですか?
また、OpenAIジムの助けを借りずに特定のビデオゲームをプレイするAIエージェントの開発を開始できる他の方法はありますか?
非常に小さな環境については、私の banana-gym
を参照してください。
リポジトリのメインページを参照してください。
https://github.com/openai/gym/blob/master/docs/creating-environments.md
手順は次のとおりです。
このように見えるはずです
gym-foo/
README.md
setup.py
gym_foo/
__init__.py
envs/
__init__.py
foo_env.py
foo_extrahard_env.py
その内容については、上記のリンクに従ってください。言及されていない詳細は、特にfoo_env.py
の一部の関数がどのように見えるかです。例と gym.openai.com/docs/ を参照すると役立ちます。以下に例を示します。
class FooEnv(gym.Env):
metadata = {'render.modes': ['human']}
def __init__(self):
pass
def _step(self, action):
"""
Parameters
----------
action :
Returns
-------
ob, reward, episode_over, info : Tuple
ob (object) :
an environment-specific object representing your observation of
the environment.
reward (float) :
amount of reward achieved by the previous action. The scale
varies between environments, but the goal is always to increase
your total reward.
episode_over (bool) :
whether it's time to reset the environment again. Most (but not
all) tasks are divided up into well-defined episodes, and done
being True indicates the episode has terminated. (For example,
perhaps the pole tipped too far, or you lost your last life.)
info (dict) :
diagnostic information useful for debugging. It can sometimes
be useful for learning (for example, it might contain the raw
probabilities behind the environment's last state change).
However, official evaluations of your agent are not allowed to
use this for learning.
"""
self._take_action(action)
self.status = self.env.step()
reward = self._get_reward()
ob = self.env.getState()
episode_over = self.status != hfo_py.IN_GAME
return ob, reward, episode_over, {}
def _reset(self):
pass
def _render(self, mode='human', close=False):
pass
def _take_action(self, action):
pass
def _get_reward(self):
""" Reward is given for XY. """
if self.status == FOOBAR:
return 1
Elif self.status == ABC:
return self.somestate ** 2
else:
return 0
import gym
import gym_foo
env = gym.make('MyEnv-v0')
間違いなく可能です。彼らはドキュメントのページの終わり近くでそう言っています。
その方法については、既存の環境のソースコードを参考にしてください。 githubで利用可能:
https://github.com/openai/gym#installation
彼らの環境のほとんどは、ゼロから実装するのではなく、既存の環境のラッパーを作成し、強化学習に便利なすべてのインターフェースを提供しました。
独自に作成したい場合は、おそらくこの方向に進んで、すでに存在するものをジムのインターフェイスに適応させるようにしてください。ただし、これには非常に時間がかかる可能性があります。
あなたの目的にとって興味深いかもしれない別のオプションがあります。 OpenAIのユニバースです
たとえば、Webサイトと統合して、モデルをkongregateゲームでトレーニングできます。しかし、宇宙はジムほど使いやすいものではありません。
初心者の場合、標準環境でのVanilla実装から始めることをお勧めします。基本的な問題に合格したら、次に進みます...