Una multitud se reunió en el MIT Media Lab en septiembre para un concierto del músico Jordan Rudess y dos colaboradores. Una de ellas, la violinista y vocalista Camilla Bäckman, ha actuado anteriormente con Rudess. El otro, un modelo de inteligencia synthetic denominado informalmente jam_bot, que Rudess desarrolló con un equipo del MIT durante los meses anteriores, estaba haciendo su debut público como un trabajo en progreso.
A lo largo del espectáculo, Rudess y Bäckman intercambiaron señales y sonrisas de músicos experimentados que encuentran el ritmo juntos. Las interacciones de Rudess con el jam_bot sugirieron un tipo de intercambio diferente y desconocido. Durante un dúo inspirado en Bach, Rudess alternó entre tocar algunos compases y permitir que la IA continuara la música en un estilo barroco comparable. Cada vez que la modelo tomaba su turno, una variedad de expresiones cruzaban el rostro de Rudess: desconcierto, concentración, curiosidad. Al closing de la pieza, Rudess admitió ante la audiencia: “Esa es una combinación de mucha diversión y un verdadero desafío”.
Rudess es un teclista aclamado, el mejor de todos los tiempos, según una encuesta de la revista Music Radar, conocido por su trabajo con la banda de steel progresivo ganadora de un Grammy y con ventas de platino, Dream Theater, que se embarca este otoño en una gira por su 40 aniversario. También es solista cuyo último álbum, “Permiso para volar”, fue lanzado el 6 de septiembre; un educador que comparte sus habilidades a través de detallados tutoriales en línea; y fundador de la empresa de software program Wizdom Music. Su obra combina una base clásica rigurosa (comenzó sus estudios de piano en The Juilliard Faculty a los 9 años) con un genio para la improvisación y un apetito por la experimentación.
La primavera pasada, Rudess se convirtió en artista visitante del Centro de Arte, Ciencia y Tecnología (CAST) del MIT, colaborando con el grupo de investigación Responsive Environments del MIT Media Lab en la creación de nueva tecnología musical impulsada por IA. Los principales colaboradores de Rudess en la empresa son los estudiantes graduados de Media Lab, Lancelot Blanchard, que investiga aplicaciones musicales de la IA generativa (informada por sus propios estudios en piano clásico), y Perry Naseck, un artista e ingeniero especializado en música interactiva, cinética, luminosa y medios basados en el tiempo. Supervisando el proyecto está el profesor Joseph Paradiso, jefe del grupo Responsive Environments y fanático de Rudess desde hace mucho tiempo. Paradiso llegó al Media Lab en 1994 con un CV en física e ingeniería y una actividad paralela diseñando y construyendo sintetizadores para explorar sus gustos musicales de vanguardia. Su grupo tiene una tradición de investigar las fronteras musicales a través de novedosas interfaces de usuario, redes de sensores y conjuntos de datos no convencionales.
Los investigadores se propusieron desarrollar un modelo de aprendizaje automático que canalizara el estilo y la técnica musical distintivos de Rudess. en un papel Publicado en línea por MIT Press en septiembre, en coautoría con el profesor de tecnología musical del MIT, Eran Egozy, articulan su visión de lo que llaman “virtuosismo simbiótico”: que humanos y computadoras hagan duetos en tiempo actual, aprendiendo de cada dúo que realizan juntos. y crear nueva música digna de interpretación frente a una audiencia en vivo.
Rudess aportó los datos con los que Blanchard entrenó el modelo de IA. Rudess también proporcionó pruebas y comentarios continuos, mientras Naseck experimentaba con formas de visualizar la tecnología para la audiencia.
“El público está acostumbrado a ver iluminación, gráficos y elementos escénicos en muchos conciertos, por lo que necesitábamos una plataforma que permitiera a la IA construir su propia relación con el público”, cube Naseck. En las primeras demostraciones, esto tomó la forma de una instalación escultórica con iluminación que cambiaba cada vez que la IA cambiaba de acorde. Durante el concierto del 21 de septiembre, una rejilla de paneles en forma de pétalos montados detrás de Rudess cobró vida a través de una coreografía basada en la actividad y la futura generación del modelo de IA.
“Si ves a los músicos de jazz establecer contacto visible y asentir con la cabeza, el público anticipa lo que va a suceder”, cube Naseck. “La IA genera efectivamente partituras y luego las reproduce. ¿Cómo mostramos lo que viene a continuación y lo comunicamos?
Naseck diseñó y programó la estructura desde cero en el Media Lab con la ayuda de Brian Mayton (diseño mecánico) y Carlo Mandolini (fabricación), extrayendo algunos de sus movimientos de un modelo experimental de aprendizaje automático desarrollado por el estudiante visitante Madhav Lavakare que asigna música a puntos. moviéndose en el espacio. Con la capacidad de girar e inclinar sus pétalos a velocidades que van desde sutiles hasta dramáticas, la escultura cinética distinguió las contribuciones de la IA durante el concierto de las de los intérpretes humanos, al tiempo que transmitía la emoción y la energía de su producción: balanceándose suavemente cuando Rudess tomó el plomo, por ejemplo, o enrollarse y desplegarse como una flor mientras el modelo de IA generaba majestuosos acordes para un adagio improvisado. Este último fue uno de los momentos favoritos del programa para Naseck.
“Al closing, Jordan y Camilla abandonaron el escenario y permitieron que la IA explorara plenamente su propia dirección”, recuerda. “La escultura hizo que este momento fuera muy poderoso: permitió que el escenario permaneciera animado e intensificó la naturaleza grandiosa de los acordes que tocaba la IA. El público quedó claramente cautivado por esta parte, sentado en los bordes de sus asientos”.
“El objetivo es crear una experiencia visible musical”, cube Rudess, “para mostrar lo que es posible y mejorar el juego”.
Futuros musicales
Como punto de partida para su modelo, Blanchard utilizó un transformador musical, una arquitectura de pink neuronal de código abierto desarrollada por la profesora asistente del MIT Anna Huang SM ’08, quien se unió a la facultad del MIT en septiembre.
“Los transformadores de música funcionan de forma comparable a los grandes modelos de lenguaje”, explica Blanchard. “De la misma manera que ChatGPT generaría la siguiente palabra más possible, el modelo que tenemos predeciría las siguientes notas más probables”.
Blanchard afinó el modelo utilizando la propia interpretación de elementos de Rudess, desde líneas de bajo hasta acordes y melodías, cuyas variaciones Rudess grabó en su estudio de Nueva York. En el camino, Blanchard se aseguró de que la IA fuera lo suficientemente ágil como para responder en tiempo actual a las improvisaciones de Rudess.
“Replanteamos el proyecto”, cube Blanchard, “en términos de futuros musicales que el modelo planteaba como hipótesis y que sólo se estaban realizando en ese momento en función de lo que Jordan estaba decidiendo”.
Como cube Rudess: “¿Cómo puede responder la IA? ¿Cómo puedo dialogar con ella? Esa es la parte de vanguardia de lo que estamos haciendo”.
Surgió otra prioridad: “En el campo de la IA generativa y la música, se oye hablar de startups como Suno o Udio que son capaces de generar música basada en mensajes de texto. Son muy interesantes, pero carecen de controlabilidad”, afirma Blanchard. “Para Jordan period importante poder anticipar lo que iba a suceder. Si pudiera ver que la IA iba a tomar una decisión que no quería, podría reiniciar la generación o tener un interruptor de apagado para poder tomar el management nuevamente”.
Además de darle a Rudess una pantalla con una vista previa de las decisiones musicales del modelo, Blanchard incorporó diferentes modalidades que el músico podría activar mientras toca: incitando a la IA a generar acordes o melodías principales, por ejemplo, o iniciando un patrón de llamada y respuesta. .
“Jordan es el cerebro de todo lo que está sucediendo”, afirma.
¿Qué haría Jordania?
Aunque la residencia ha concluido, los colaboradores ven muchos caminos para continuar la investigación. Por ejemplo, a Naseck le gustaría experimentar con más formas en que Rudess podría interactuar directamente con su instalación, a través de funciones como la detección capacitiva. “Esperamos que en el futuro podamos trabajar con más movimientos y posturas sutiles”, cube Naseck.
Si bien la colaboración del MIT se centró en cómo Rudess puede utilizar la herramienta para mejorar su propio desempeño, es fácil imaginar otras aplicaciones. Paradiso recuerda un encuentro temprano con el técnico: “Toqué una secuencia de acordes y el modelo de Jordan generaba las pistas. Period como tener una ‘abeja’ musical de Jordan Rudess zumbando alrededor de la base melódica que estaba estableciendo, haciendo algo como lo haría Jordan, pero sujeto a la progresión easy que estaba tocando”, recuerda, con su rostro reflejando el deleite que sentía. En el momento. “Verás complementos de IA para tu músico favorito que podrás incorporar a tus propias composiciones, con algunas perillas que te permitirán controlar los detalles”, plantea. “Es ese tipo de mundo el que estamos abriendo con esto”.
Rudess también está interesado en explorar usos educativos. Debido a que las muestras que grabó para entrenar el modelo eran similares a los ejercicios de entrenamiento auditivo que ha utilizado con los estudiantes, cree que el modelo en sí podría algún día usarse para la enseñanza. “Este trabajo va más allá del easy valor de entretenimiento”, cube.
La incursión en la inteligencia synthetic es una progresión pure del interés de Rudess en la tecnología musical. “Este es el siguiente paso”, cree. Sin embargo, cuando habla del trabajo con otros músicos, su entusiasmo por la IA a menudo encuentra resistencia. “Puedo sentir simpatía o compasión por un músico que se siente amenazado, lo entiendo totalmente”, admite. “Pero mi misión es ser una de las personas que impulsa esta tecnología hacia cosas positivas”.
“En el Media Lab, es muy importante pensar en cómo la IA y los humanos se unen para el beneficio de todos”, cube Paradiso. “¿Cómo nos va a ayudar la IA a todos? Idealmente, hará lo que tantas tecnologías han hecho: llevarnos a otra perspectiva en la que estemos más capacitados”.
“Jordan está a la cabeza”, añade Paradiso. “Una vez que se establezca con él, la gente lo seguirá”.
Tocando con el MIT
El Media Lab aterrizó por primera vez en el radar de Rudess antes de su residencia porque quería probar el teclado tejido creado por otro miembro de Responsive Environments, el investigador textil Irmandy Wickasono PhD ’24. A partir de ese momento, “ha sido un descubrimiento para mí aprender sobre las cosas interesantes que están sucediendo en el MIT en el mundo de la música”, cube Rudess.
Durante dos visitas a Cambridge la primavera pasada (con la asistencia de su esposa, la productora de teatro y música Danielle Rudess), Rudess revisó los proyectos finales del curso de Paradiso sobre controladores de música electrónica, cuyo programa de estudios incluía vídeos de sus propias actuaciones pasadas. Llevó un nuevo sintetizador basado en gestos llamado Osmose a una clase sobre sistemas musicales interactivos impartida por Egozy, cuyos créditos incluyen la cocreación del videojuego “Guitar Hero”. Rudess también brindó consejos sobre improvisación en una clase de composición; tocó GeoShred, un instrumento musical con pantalla táctil que co-creó con investigadores de la Universidad de Stanford, con estudiantes de música en el programa MIT Laptop computer Ensemble y Arts Students; y experimentó audio inmersivo en el MIT Spatial Sound Lab. Durante su viaje más reciente al campus en septiembre, impartió una clase magistral para pianistas en el Programa Emerson/Harris del MIT, que brinda a un complete de 67 académicos y becarios apoyo para la instrucción musical a nivel de conservatorio.
“Me da una especie de prisa cada vez que vengo a la universidad”, cube Rudess. “Siento la sensación de que, vaya, todas mis concepts musicales, mi inspiración y mis intereses se han unido de esta manera realmente genial”.
