Cualquier duda o comentario de la lección podéis dejarla en el foro del curso.

Hemos visto cómo instalar el entorno de Anaconda.

Nos descargamos anaconda desde su pagina: https://www.anaconda.com/products/individual.

Aunque en el vídeo la versión descargada sea la que usa python 3.7 no hay forma de asegurar qué versión estará disponible cuando veáis el vídeo. Os dejo la lista de las versiones probadas:

• python 3.7
• python 3.8

Como el entorno cambia y las herramientas evolucionan, hay veces que los componentes dejan de ser compatibles entre ellos, y nos podemos encontrar problemas al instalar los ML-Agents de Unity, por eso es importante la versión de cada uno de los componentes que se instalan. Los usuarios del canal de youtube, en especial S SKY, han encontrado el conjuro perfecto:

Crear el entorno: conda create -n ml-agents python=3.8

Activar el entorno: conda activate ml-agents

instalar numpy: pip install numpy==1.19.0

instalar ml-agents: pip install mlagents

instalar pytorch: conda install -c pytorch pytorch

Si lo estáis instalando en MAC Os Catalina, os dejo un enlace donde se explican los pasos, ya que da algún problema: https://martra.uadla.com/instalar-anaconda-en-mac-os-catalina/

Mucha suerte con la instalación, y no desfallezcáis, este paso suele ser el que da mas problemas, pero Google esta llena de información.

Comandos de Conda que vamos a usar:

conda env list //Nos muestra una lista de los entornos que tenemos disponibles en conda.

conda create -n nombreDelEntorno python=3.7 //Crea un nuevo entorno con el nombre que le indiquemos, usando la versión de python indicada.

conda activate entornoaActivar 

conda deactivate entornoaDesactivar

pip install mlagents //Instala los MLAgents en el entorno de conda que tengamos activado.

Para cada entorno creado creo un directorio que contendrá su fichero de configuración y los ficheros con el resultado de los diferentes entrenos .

Tenéis muchos ficheros de configuración disponibles desde la pagina oficial de MLAgents en github: https://github.com/Unity-Technologies/ml-agents/tree/release_3_branch/config/ppo

El contenido del fichero de configuración usado para nuestro ejemplo es:

behaviors:
  bolaml:
    trainer_type: ppo
    hyperparameters:
      batch_size: 64
      buffer_size: 12000
      learning_rate: 0.0003
      beta: 0.001
      epsilon: 0.2
      lambd: 0.99
      num_epoch: 3
      learning_rate_schedule: linear
    network_settings:
      normalize: true
      hidden_units: 128
      num_layers: 2
      vis_encode_type: simple
    reward_signals:
      extrinsic:
        gamma: 0.99
        strength: 1.0
    keep_checkpoints: 5
    max_steps: 10000000
    time_horizon: 1000
    summary_freq: 12000
    threaded: true

¿Problemas al arrancar el entorno? ¿Problemas con la instalación?

Muchas veces instalar este tipo de software se convierte en una lucha entre versiones de python, pythorch, tensorflow, pip…. sobretodo si tenemos en nuestro ordenador otro software que utiliza estas librerías y actualizamos alguna de ellas sin tener en cuenta que nuestros ML-Agents quizas no soporten la nueva versión. Una practica recomendable es crear un entorno virtual con el software necesario y mantener el entorno más estable.

Podéis acudir a la fuente original:

https://github.com/Unity-Technologies/ml-agents/blob/master/docs/Using-Virtual-Environment.md

Crear un entorno virtual para ML-agents.

Windows 10.

1. Creemos una carpeta a partir de la que guardaremos nuestros entorno virtuales: md entornos-python
2. Creamos un nuevo entorno llamado mlagentsenv (podemos escoger cualquier nombre): python -m venv entornos-python\mlagentsenv
3. Activamos el entorno creado:entornos-python\mlagentsenv\Scripts\activate
4. Actualizamos pip: pip install --upgrade pip
5. Podemos desactivar el entorno escribiendo deactivate. Para volverlo a activar usamos el comando del punto 3.

Mac OS.

1. Creemos una carpeta a partir de la que guardaremos nuestros entorno virtuales: mkdir ~/entornos-python
2. Creamos un nuevo entorno llamado mlagentsenv (podemos escoger cualquier nombre): python3 -m venv ~/entornos-python/mlagentsenv
3. Activamos el entorno creado: source ~/entornos-python/mlagentsenv/bin/activate
4. Actualizamos pip: pip install --upgrade pip
5. Actualizamos setup tools: pip install --upgrade setuptols
6. Podemos desactivar el entorno escribiendo deactivate. Para volverlo a activar usamos el comando del punto 3.

A partir de aquí podemos realizar la instalación de nuestro entorno sin tener problemas por versiones anteriores o sin que nos afecten modificaciones futuras. Pero recordad, siempre que queramos trabajar con MLAgents tendremos que activar su entorno correspondiente!!!!