Anthropic abrió sus sistemas internos a seis evaluadores de METR, una organización que investiga los riesgos de la inteligencia artificial. Los investigadores contarán con computadores de la compañía, espacio en las oficinas y acceso a herramientas similares a las que utiliza el personal de la empresa para evaluar riesgos.

La compañía anunció el acuerdo el 15 de octubre. METR podrá publicar sus conclusiones sin que Anthropic vete la publicación.

El acceso tiene límites para la información confidencial

Quedarán restringidos datos de clientes, información protegida por secreto profesional y detalles de la arquitectura de los modelos. Anthropic podrá exigir que se retiren antecedentes de esas categorías y decidirá qué información entra en ellas.

METR, a su vez, conservará la posibilidad de hacer determinadas declaraciones públicas sobre el acceso y los antecedentes que recibió. El comunicado fue actualizado el 16 de octubre para precisar esas condiciones.

Qué revisa METR y por qué importa el acceso

METR se dedica a estudiar las capacidades de los sistemas avanzados de IA y los riesgos de que actúen fuera del control humano. En su explicación de cómo trabaja con estas empresas, publicada el 14 de octubre, la organización señala que su objetivo es reunir evidencia para que el público pueda formarse una opinión sobre esos riesgos.

Eso incluye explicar qué pudo examinar y qué quedó fuera de su alcance. Si una empresa limita el acceso o retira información importante para sus conclusiones, METR sostiene que el lector debería saberlo.

La organización también establece que debe informar sobre conflictos de interés y mantener independencia financiera y operativa respecto de las compañías que evalúa. Su trabajo puede incluir pruebas de modelos, investigaciones de incidentes y revisión de informes internos.

METR aclara que su tarea es aportar evidencia, no decidir cómo las empresas deben desarrollar o lanzar sus agentes. Las conclusiones que publique dependerán tanto de lo que encuentre como de las condiciones bajo las cuales haya podido investigarlo.