Google Research, en colaboración con DeepMind, ha presentado VaultGemma, un modelo de lenguaje de 1.000 millones de parámetros entrenado desde cero con privacidad diferencial. Según la compañía, se trata del modelo abierto más avanzado en esta categoría y está diseñado para reducir el riesgo de memorización de datos sensibles.
VaultGemma evita la memorización de datos sensibles en el entrenamiento
La privacidad diferencial (DP, por sus siglas en inglés) introduce ruido matemáticamente calibrado durante el entrenamiento de la inteligencia artificial, evitando que pueda reproducir información concreta de los datos utilizados. Sin embargo, este enfoque plantea desafíos técnicos, como la estabilidad del entrenamiento, el aumento de los costes de computación y la necesidad de utilizar lotes de datos más grandes.
Para abordar estas limitaciones, los investigadores de Google han definido nuevas leyes de escalado para modelos con privacidad diferencial, que permiten ajustar el equilibrio entre potencia de cálculo, nivel de privacidad y volumen de datos. Con esta metodología, VaultGemma alcanza resultados comparables a los de modelos no privados desarrollados hace cinco años, con la ventaja añadida de incorporar garantías sólidas de privacidad.
El modelo se ha entrenado con técnicas de DP-SGD escalable, que limitan la influencia de cada secuencia de datos en el resultado final. Esto significa que VaultGemma no memoriza información específica, incluso cuando se le expone a fragmentos de su propio conjunto de entrenamiento.
Google ha puesto a disposición de la comunidad tanto los pesos del modelo en Hugging Face y Kaggle como un informe técnico detallado. El objetivo es facilitar el desarrollo de nuevas generaciones de modelos de inteligencia artificial con privacidad diferencial.
Aunque aún persiste una diferencia de utilidad frente a los modelos sin este tipo de protección, los investigadores consideran que se trata de un avance significativo y confían en que la brecha se reduzca con futuras mejoras en los mecanismos de entrenamiento.
