Los dispositivos portátiles que miden las señales fisiológicas y de comportamiento se han vuelto comunes. Hay evidencia creciente que estos dispositivos pueden tener un impacto significativo que promueva comportamientos saludables, detecte enfermedades y mejore el diseño e implementación de tratamientos. Estos dispositivos generan grandes cantidades de datos continuos, longitudinales y multimodales. Sin embargo, datos sin procesar de señales como actividad electrodérmica o los valores del acelerómetro son difíciles de interpretar para los consumidores y los expertos. Para abordar este desafío, se han desarrollado algoritmos para convertir las salidas de sensores en representaciones más significativas.
Históricamente, los algoritmos para sensores portátiles se han basado en supervisados, modelos discriminativos (es decir, una clase de modelos a menudo utilizados para la clasificación) diseñada para detectar eventos o actividades específicas (por ejemplo, reconociendo si un usuario se está ejecutando). Este enfoque, sin embargo, enfrenta varias limitaciones significativas. Primero, el volumen limitado y el severo desequilibrio de clase De los eventos etiquetados significa que hay grandes cantidades de datos no etiquetados potencialmente valiosos que quedan sin usar. En segundo lugar, los modelos supervisados están capacitados para hacer una sola tarea (por ejemplo, clasificación) y, por lo tanto, crear representaciones que pueden no generalizarse a otras tareas. En tercer lugar, puede haber una heterogeneidad limitada en los datos de capacitación, ya que con frecuencia se recopila de pequeñas poblaciones de estudio (generalmente decenas o cientos de participantes).
Aprendizaje auto-supervisado (SSL) El uso de tareas genéricas de pretexto (por ejemplo, reorganizar parches de imagen similares a resolver un rompecabezas o rellenar partes faltantes de una imagen) pueden producir representaciones versátiles que son útiles para múltiples tipos de aplicaciones posteriores. SSL se puede utilizar para aprovechar una proporción mucho mayor de los datos disponibles, sin sesgo a las regiones de datos etiquetadas (por ejemplo, un número limitado de sujetos con etiquetas autoinformadas de segmentos de ejercicio). Estos beneficios han inspirado esfuerzos para aplicar estrategias de capacitación similares para crear modelos con grandes volúmenes de datos no etiquetados de dispositivos portátiles.
Sobre la base de esto, el éxito empírico y teórico de las leyes de escala en los modelos neuronales indica que El rendimiento del modelo mejora previsiblemente con aumentos en los datos, calculadores y parámetros. Estos resultados solicitan una pregunta crítica: ¿Se aplican las leyes de escala a los modelos capacitados en datos de sensores portátiles? La respuesta a esta pregunta no es inmediatamente obvia, ya que las entradas del sensor capturan información que es bastante diferente del lenguaje, el video o el audio. Comprender cómo se manifiesta la escala en este dominio no solo podría dar forma al diseño del modelo, sino también mejorar la generalización en diversas tareas y conjuntos de datos.
En “Escalado de modelos de base portátil“, Investigamos si los principios que impulsan la escala de las redes neuronales en dominios como los datos de texto y de imagen también se extienden a los datos de sensores portátiles multimodales a gran escala. Presentamos los resultados de nuestros experimentos de escala en el mayor conjunto de datos portátiles publicados a la fecha, que consiste en más de 40 millones de horas de datos multimodal de los sensores de 165,000 usuarios. Llevamos a este modelo de datos a una base de basura que se refiere a un modelo de base que se refiere a un modelo de base de base que es un modelo de base que se referimos en la base de la base de la base de la base de la base de la base. (LSM).
