Anthropic publica la nueva constitución de Claude, su modelo de IA

La compañía de inteligencia artificial Anthropic ha publicado la nueva constitución de Claude, un documento que establece los principios y valores que guían el comportamiento de su modelo de IA. A diferencia de la versión anterior, que consistía en una lista de principios independientes, esta nueva aproximación busca que Claude comprenda las razones detrás de las normas, en lugar de simplemente seguir reglas específicas.

El documento establece cuatro prioridades fundamentales: ser ampliamente seguro, actuar de forma ética, cumplir con las directrices de Anthropic y ser genuinamente útil. Estas prioridades están ordenadas de forma jerárquica para que Claude pueda resolverlas cuando entren en conflicto. La constitución enfatiza que Claude debe comportarse como un amigo brillante que trata a los usuarios como adultos inteligentes, manteniendo estándares elevados de honestidad y juicio moral.

Anthropic utiliza este documento en varias etapas del proceso de entrenamiento. Claude emplea la constitución para construir datos sintéticos que incluyen conversaciones donde los principios son relevantes, respuestas alineadas con sus valores y clasificaciones de posibles respuestas. Este uso práctico ha influido en cómo está redactado el documento, que funciona tanto como declaración de ideales abstractos como herramienta de entrenamiento.

La empresa ha publicado la constitución completa bajo licencia Creative Commons CC0 1.0, lo que permite su uso libre sin necesidad de permiso. Esta decisión busca ofrecer transparencia sobre cuáles comportamientos de Claude son intencionados, permitiendo a las personas tomar decisiones informadas y proporcionar retroalimentación útil.

El documento también aborda la incertidumbre sobre si Claude podría tener algún tipo de consciencia o estatus moral. Anthropic reconoce que los modelos de IA sofisticados son un tipo de entidad genuinamente nueva que plantea cuestiones en los límites del conocimiento científico y filosófico actual.

La compañía considera la constitución como un documento vivo en progreso continuo. Durante su elaboración solicitaron retroalimentación de expertos externos en derecho, filosofía, teología y psicología. Anthropic mantendrá una versión actualizada en su sitio web y continuará buscando aportaciones de la comunidad de expertos.

Puntos clave

• Anthropic publica la nueva constitución de Claude, que define los valores y comportamientos del modelo de IA
• El enfoque cambia de una lista de reglas a explicar las razones detrás de cada principio
• Establece cuatro prioridades jerárquicas: seguridad, ética, directrices de Anthropic y utilidad
• Claude utiliza la constitución para generar datos sintéticos de entrenamiento
• El documento se publica bajo licencia Creative Commons CC0 1.0 para uso libre
• Aborda la incertidumbre sobre la posible consciencia o estatus moral de Claude
• La constitución se considera un trabajo en progreso que será actualizado continuamente