Aprender a pintar como un artista

6 de Noviembre de 2022

Deep learning, aprendizaje por refuerzo, procesamiento de imágenes

Los modelos actuales de generación de imágenes están dando resultados espectaculares, pero en el campo de la IA siempre se ha buscado imitar a los humanos. En este sentido, más allá de generar imágenes a partir de textos [1], generar imágenes aleatorias [2] o alterar imágenes para transferirlas de dominios o cambiar el estilo [4] [5], es interesante investigar como enseñar a un agente a pintar como lo hace un artísta (paso a paso, pincelada a pincelada) [6].

Este trabajo sería una continuación del presentado en 2022 en el que se consiguió entrenar a un agente para pintar con trazos que simulan a un trazo real (con un color, un pincel con un grosos, número de pelos, cierta curvatura, ...). El siguiente paso sería hacer que este agente sea capaz de pintar con un estilo pictórico determinado, es decir, no solo que pinte pincelada a pincelada capturando el contenido, sino que además durante el proceso aplique un determinado estilo pictórico.

Para este trabajo se requerirá o será necesario adquirir los siguientes conocimientos:

  • Conocimientos de aprendiza automático.
  • Deep Learning (curso impartido en el máster MULCIA).
  • Tensorflow (Keras) o Pytorch.
  • Procesamiento de imágenes con OpenCV y/o PIL.

Referencias:

  • Huang, Zhewei, Wen Heng, and Shuchang Zhou. "Learning to paint with model-based deep reinforcement learning." Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019.

  • Gatys, Leon A., Alexander S. Ecker, and Matthias Bethge. "Image style transfer using convolutional neural networks." Proceedings of the IEEE conference on computer vision and pattern recognition. 2016.

  • Huang, Xun, and Serge Belongie. "Arbitrary style transfer in real-time with adaptive instance normalization." Proceedings of the IEEE international conference on computer vision. 2017.

  • Johnson, Justin, Alexandre Alahi, and Li Fei-Fei. "Perceptual losses for real-time style transfer and super-resolution." European conference on computer vision. Springer, Cham, 2016.

  • Li, Yanghao, et al. "Demystifying neural style transfer." arXiv preprint arXiv:1701.01036 (2017).