presentamos Antologíaun método para condicionar los LLM a personas virtuales representativas, consistentes y diversas mediante la generación y utilización de historias de fondo naturalistas con ricos detalles de valores y experiencias individuales.
¿Qué significa para los grandes modelos de lenguaje (LLM) entrenarse en corpus de textos masivos, producidos colectivamente por millones y miles de millones de autores humanos distintivos?
En “Modelos de lenguaje como modelos de agentes”evidencia convincente sugiere que los modelos lingüísticos recientes podrían considerarse modelos de agentes: provistos de un contexto textual, los LLM son capaces de generar texto condicional que representa las características de un agente que probablemente haya producido ese contexto. Esto sugiere que, con un condicionamiento apropiado, los LLM podrían ser guiados para aproximarse a las respuestas de una voz humana specific, en lugar de la mezcla de voces que de otro modo emerge. Si se realiza, esta capacidad de los LLM tendría implicaciones significativas para la investigación de usuarios y las ciencias sociales: modelos de lenguaje condicionados como personajes virtuales de sujetos humanos podrían servir como estudios piloto rentables y apoyar las mejores prácticas en estudios humanos, por ejemplo, los principios de justicia y beneficencia de Belmont.
En este trabajo presentamos Antologíaun enfoque para dirigir los LLM hacia personas virtuales representativas, consistentes y diversas al proporcionar narrativas de vida ricamente detalladas de individuos como contexto condicionante de los modelos.
Al hacerlo, también presentamos métodos para generar historias de fondo a partir de los propios LLM como un medio para producir de manera eficiente conjuntos masivos que cubran una amplia gama de datos demográficos humanos. Al basar los modelos de lenguaje en historias de fondo naturalistas, Anthology permite a los LLM simular muestras humanas individuales con mayor fidelidad, medida en términos de coincidencia de las distribuciones y consistencias de las respuestas humanas.
Nuestro enfoque: Antología
Generación de modelos de lenguaje condicionante con narrativas de vida individuales
Una limitación significativa de los métodos anteriores para dirigir los LLM hacia personas virtuales ha sido la incapacidad de aproximarse de manera confiable particular person muestras humanas. Previo aproches Indique a los LLM información demográfica amplia, por ejemplo, “Soy un joven de 25 años de California. Mi nivel educativo más alto es inferior al de la escuela secundaria”, que son esencialmente cuerpos de texto generados a partir de una tupla de variables demográficas. Con estos métodos, sólo podemos aproximarnos a muestras humanas a una nivel de poblaciónno a nivel particular person, lo que resulta en:
- Las respuestas son propensas a que los LLM recurran a representaciones estereotipadas y/o prototípicas, ya que solo están condicionadas a variables demográficas (por ejemplo, raza y género).
- Incapacidad para proporcionar métricas de interés importantes, como la covarianza y la significación estadística, ya que se requieren respuestas individuales para dichos cálculos.
Antología permite la aproximación de temas individuales mediante el condicionamiento con historias de fondo ricamente detalladas. A través de estas historias de fondo, el modelo captura marcadores implícitos y explícitos de identidad private, incluidos rasgos demográficos y referencias espontáneas a entornos culturales, socioeconómicos y filosofías de vida. Nuestro enfoque implica generar un amplio conjunto de historias de fondo que representan una amplia gama de atributos demográficos a través de modelos de lenguaje consultados con preguntas abiertas y sin restricciones, como “Háblame de ti”. Luego comparamos personajes virtuales condicionados por cada historia de fondo con muestras de encuestas del mundo actual.
Resultados: Mayor aproximación de las encuestas de opinión pública
Para la evaluación, comparamos la efectividad de diferentes métodos para condicionar personas virtuales en el contexto de la aproximación de tres encuestas ATP del Pew Analysis Middle: Ondas 34, 92 y 99.
Resultados sobre la aproximación de las respuestas humanas para las encuestas ATP del Pew Analysis Middle. Los resultados en negrita y subrayados indican los valores más cercanos y el segundo más cercano a los de los humanos, respectivamente.
Como medidas de éxito en la aproximación de muestras humanas con personas virtuales, consideramos las siguientes métricas:
- Distancia de Wasserstein promedio (WD) entre distribuciones de respuestas como medida de representatividad
- Norma de Frobenius (Fro.) entre matrices de correlación como medida de consistencia
- El alfa de Cronbach como medida adicional de consistencia interna
Antes de analizar sujetos virtuales, estimamos los límites inferiores de cada métrica de evaluación dividiendo repetidamente la población humana en dos grupos de igual tamaño al azar y calculando estas métricas entre los subgrupos. Tomamos valores promedio de 100 iteraciones para representar las estimaciones del límite inferior.
Observamos constantemente que Antología supera a otros métodos de acondicionamiento con respecto a todas las métricas, tanto para el Llama-3-70B como para el Mixtral-8x22B. Al comparar dos métodos de emparejamiento, el método de emparejamiento codicioso tiende a mostrar un mejor rendimiento en la distancia promedio de Wasserstein en todas las ondas. Atribuimos las diferencias en los métodos de comparación a la condición de correspondencia uno a uno de coincidencia de peso máximo y al número limitado de usuarios virtuales disponibles. Específicamente, los pesos asignados a sujetos virtuales emparejados en el emparejamiento de peso máximo son inevitablemente más bajos que los del emparejamiento codicioso, ya que este último relaja las limitaciones de la correspondencia uno a uno. Esta discrepancia puede resultar en una menor similitud demográfica entre usuarios humanos y virtuales emparejados en comparación con la contraparte de emparejamiento codicioso. Estos resultados sugieren que la riqueza de las historias de fondo generadas en nuestro enfoque provoca respuestas más matizadas en comparación con las líneas de base.
Pensamientos finales
Anthology marca una nueva dirección prometedora en el acondicionamiento de personas virtuales en los LLM que potencialmente podría remodelar la forma en que llevamos a cabo investigaciones de usuarios, encuestas de opinión pública y otras aplicaciones de ciencias sociales al ofrecer una alternativa escalable y, en ocasiones, ética a las encuestas humanas tradicionales. Sin embargo, el uso de Anthology, como cualquier otra aplicación de modelos lingüísticos en las ciencias sociales, también pone en primer plano varias consideraciones: aunque las historias de fondo generadas ayudan a crear personajes más representativos, sigue existiendo el riesgo de perpetuar sesgos o infringir la privacidad. por lo que los resultados deben usarse e interpretarse con precaución.
En términos de pasos futuros, imaginamos que nuestro enfoque se beneficiará de un conjunto más amplio y diverso de historias de fondo, cada una de las cuales representa una narrativa de vida consistente de los individuos. Además, una valiosa extensión del trabajo sería considerar la generación de respuestas de forma libre, lo que permitiría simulaciones de personas más naturales y matizadas más allá de los formatos de encuestas estructuradas, como las de opción múltiple. Finalmente, una siguiente dimensión interesante en la aplicación de LLM en estudios de comportamiento implicaría simular efectos a más largo plazo, permitiendo a personas virtuales modelar y examinar retrospectivamente los cambios a lo largo del tiempo.
Todas estas direcciones presentan multitud de desafíos técnicos; ¡Háganos saber si está interesado en colaborar o desea hablar más sobre nuestro trabajo!
Conozca más sobre nuestro trabajo: enlace al artículo completo
@article{moon2024virtual,
title={Digital personas for language fashions by way of an anthology of backstories},
writer={Moon, Suhong and Abdulhai, Marwa and Kang, Minwoo and Suh, Joseph and Soedarmadji, Widyadewi and Behar, Eran Kohen and Chan, David M},
journal={arXiv preprint arXiv:2407.06576},
yr={2024}
}
