¿Le resulta difícil conseguir el ángulo perfecto para su toma? FotoBot puede toma la foto para ti. Dígale cómo quiere que se vea la foto y su fotógrafo robotic Le presentará referencias para imitar. Elija su favorito y PhotoBot, un brazo robótico con una cámara, ajustará su posición para que coincida con la referencia y su imagen. Lo más possible es que te guste más que tu propia fotografía.
“Fue un proyecto realmente divertido”, cube Oliver Limoyo, uno de los creadores de PhotoBot. Le gustaba trabajar en la intersección de varios campos; interacción humano-robot, grandes modelos de lenguajey la visión por computadora clásica fueron necesarias para crear el robotic.
Limoyo trabajó en PhotoBot mientras estaba en Samsungcon su supervisor Jimmy Li. Estaban trabajando en un proyecto para que un robotic tomara fotografías, pero les costaba encontrar una buena métrica estética. Entonces vieron el Desafío de imagen Gettydonde la gente recreó obras de arte famosas en casa durante el confinamiento por COVID. El desafío les dio a Limoyo y Li la concept de que el robotic seleccionara una imagen de referencia para inspirar la fotografía.
Para que PhotoBot funcionara, Limoyo y Li tuvieron que descubrir dos cosas: cuál es la mejor manera de encontrar imágenes de referencia del tipo de fotografía que desea y cómo ajustar la cámara para que coincida con esa referencia.
Sugerir una fotografía de referencia
Para comenzar a utilizar PhotoBot, primero debes proporcionarle una descripción escrita de la foto que deseas. (Por ejemplo, podrías escribir “una foto mía luciendo feliz”). Luego, PhotoBot escanea el entorno a tu alrededor, identificando las personas y los objetos que puede ver. Luego encuentra un conjunto de fotografías similares de una base de datos de imágenes etiquetadas que tienen esos mismos objetos.
siguiente un LLM compara su descripción y los objetos del entorno con ese conjunto más pequeño de imágenes etiquetadas, proporcionando las coincidencias más cercanas para usar como imágenes de referencia. El LLM se puede programar para devolver cualquier número de fotografías de referencia.
Por ejemplo, cuando se le pide “una foto mía luciendo de mal humor”, podría identificar a una persona, gafas, una camiseta y una taza, en el entorno. Luego, PhotoBot entregaría una imagen de referencia de un hombre agotado sosteniendo una taza frente a su cara, entre otras opciones.
Después de que el usuario selecciona la fotografía de referencia que desea que imite su imagen, PhotoBot mueve su brazo robótico para colocar correctamente la cámara y tomar una fotografía related.
Ajustar la cámara para que se ajuste a una referencia
Para mover la cámara a la posición perfecta, PhotoBot comienza identificando características que son iguales en ambas imágenes, por ejemplo, la barbilla de alguien o la parte superior de un hombro. Luego resuelve un problema de “perspectiva-n-punto” (PnP), que implica tomar la vista 2D de una cámara y igualándolo a una posición 3D en el espacio. Una vez que PhotoBot se ha ubicado en el espacio, resuelve cómo mover el brazo del robotic para transformar su vista y parecerse a la imagen de referencia. Repite este proceso varias veces, haciendo ajustes incrementales a medida que se acerca a la postura correcta.
Luego PhotoBot toma tu fotografía.
Los desarrolladores de Photobot compararon retratos con y sin su sistema.Samsung/IEEE
Para probar si las imágenes tomadas por PhotoBot eran más atractivas que la fotografía humana newbie, el equipo de Limoyo hizo que ocho personas usaran el brazo y la cámara del robotic para tomar fotografías de sí mismas y luego usaron PhotoBot para tomar una fotografía asistida por robotic. Luego pidieron a 20 personas nuevas que evaluaran las dos fotografías, preguntando cuál period más estéticamente agradable y cumplía con las especificaciones del usuario (como feliz, emocionado, sorprendido). En basic, PhotoBot fue el fotógrafo preferido 242 veces de 360 fotografías, el 67 por ciento de las veces.
PhotoBot fue presentado el pasado 16 de octubre en la Conferencia internacional IEEE/RSJ sobre robots y sistemas inteligentes.
Aunque el proyecto ya no está en desarrollo, Li cree que alguien debería crear una aplicación basada en la programación subyacente, que permita a los amigos tomar mejores fotos unos de otros. “Imagínese que en su teléfono ve una foto de referencia. Pero también ves lo que el teléfono está viendo en este momento, y eso te permite moverte y alinearte”.
De los artículos de su sitio
Artículos relacionados en la Internet
