Ads Top

Sintetizador neuronal de fuente abierta de Google para crear sonidos totalmente nuevos

google crea un sintetizador de codigo abierto para generar nuevos sonidos


NSynth Super, parte de la unidad Google Brain AI, utiliza el aprendizaje automático para interpretar música y crear algo completamente diferente

¿Qué obtienes cuando cruzas un sitar, una marimba, un perro y un auto? Permita que el sintetizador neuronal de Google lo reproduzca, con cientos de variaciones en timbre, tono y tono. El nuevo juguete de la empresa, conocido como NSynth Super, permite a los músicos usar el aprendizaje automático para producir sonidos nunca antes escuchados y tocar los límites de la creatividad mejorada por computadora.

El trabajo es parte de Magenta, un proyecto de investigación que se ubica en Google Brain, la unidad de inteligencia artificial de aprendizaje profundo de Google, que explora el papel del aprendizaje automático en la creación de arte y música. La investigación de NSynth se detalló por primera vez en mayo de 2017 y ahora Google tiene acceso abierto a las especificaciones y la interfaz del hardware para que cualquiera pueda hackear su propio instrumento de alta tecnología. Google describe el Nysnth Super como un "instrumento experimental de código abierto".


Las incursiones previas en música artificialmente inteligente generalmente han involucrado la generación de melodías para suministrar partes faltantes: las personas tocaron dúos con computadoras, o los instrumentos faltantes de una orquesta han rellenado sus partes. El algoritmo NSynth lleva las cosas más allá al permitir a los músicos crear sonidos totalmente nuevos. Usando redes neuronales profundas, aprende las características de diferentes instrumentos y puede combinar estas partes para formar nuevas totalidades.

El algoritmo también puede discernir qué hace que cada sonido sea único. "En principio, tenemos dos sonidos: el sonido de una caja y el sonido de un bajo. El algoritmo crea todo el sonido que existe entre ellos, pero no solo los mezcla, sino que entiende la calidad de los sonidos, por lo que en el caso de la caja y el bajo producirá un sonido intermedio, que de alguna manera tendrá el ataque de la trampa, con el golpe, pero también tiene los armónicos del bajo ", dice João Wilbert, líder de tecnología creativa en Creative Lab de Google en Londres. Esta capacidad de conservar las cualidades definitorias produce sonidos genuinamente inusuales.



El algoritmo original fue entrenado en más de 300,000 sonidos de instrumento, lo que lo convierte en el conjunto de datos musicales más grande disponible públicamente. Magenta construyó NSynth utilizando TensorFlow, la tecnología de aprendizaje automático de Google, que abrió en 2015. Todos sus modelos y herramientas también son de código abierto y están disponibles en GitHub.

"¿Cómo lo hacemos accesible sin necesidad de grandes cantidades de código para entenderlo?", Dice el líder del equipo, Peter Semple. En el pasado, el mismo equipo creó Project Bloks, una actividad de codificación práctica que utiliza bloques de construcción para aprovechar el tacto de los niños y lograr que construyan y secuencian estructuras tecnológicas.

Aquí, Wilbert y la tecnóloga creativa Zebedee Pedersen querían construir una herramienta que cualquiera pudiera usar. Tanto Wilbert como Pedersen hacen y tocan su propia música, y diseñaron el NSynth Super para que sea barato de construir: se puede construir a partir de unas pocas hojas de perspex, algunas perillas impresas en 3D en cada esquina y una Raspberry Pi.

Los usuarios pueden cargar su propio 'paquete de sonido' grabado de 16 sonidos fuente preprocesados ​​y dejar que el algoritmo haga su trabajo mientras arrastran sus dedos por la pantalla para crear nueva acústica, en algún lugar dentro de la matriz de los cuatro sonidos fuente en cada esquina. usando los diales para definir el espacio de sonido representado en el panel táctil. Este panel táctil se representa a su vez en una pantalla analógica con un mapa de puntos que se iluminan en respuesta a los movimientos de los dedos. Ha sido diseñado para adaptarse a los métodos de creación de música existentes, por lo que puede conectar un teclado, por ejemplo, utilizando un controlador MIDI.

Pedersen dice que el algoritmo presta a los sonidos sus propias cualidades granuladas particulares y que, en su experiencia, los músicos disfrutaron de poder jugar con las limitaciones y las nuevas posibilidades. Añadiendo una nueva textura extraña a un sonido tan clásico como el piano, por ejemplo, fue algo que NSynth abrió. En el futuro, dicen Wilbert y Pedersen, esperan poder construir la tecnología para crear sonidos intermedios en tiempo real, pero todavía no está allí y necesitarían interpolar sonidos a una velocidad muy alta.

En definitiva, el objetivo del proyecto es lograr que los humanos y las máquinas colaboren, no compitan. "No queremos crear algo que genere la música, las notas en sí, porque eso es realmente lo que hace un músico. Queríamos darles la parte complementaria", dice Wilbert.

No hay comentarios:

Con la tecnología de Blogger.