Cómo evaluar un agente de IA antes de conectarlo a tu operación comercial

Escribir el contrato de la tarea

Describe qué activa al agente, qué información recibe, qué herramientas puede usar, qué salida entrega y cuándo debe detenerse. Si el resultado correcto depende de una frase como “que haga lo necesario”, el alcance todavía no está listo.

• Entrada y condición de inicio.
• Herramientas, fuentes y acciones permitidas.
• Salida esperada y receptor.
• Condiciones de rechazo, escalamiento y término.

Aplicar mínimo privilegio

Usa una identidad propia para el agente y entrega solo los permisos necesarios. Separa lectura, borrador y ejecución. Protege secretos en un gestor adecuado y evita incluir credenciales, datos personales o instrucciones sensibles dentro del prompt.

Construir un conjunto de evaluación

Prepara casos normales, ambiguos, incompletos y adversariales con resultados esperados. Evalúa no solo la respuesta final: revisa si eligió la herramienta correcta, respetó límites, citó evidencia y se detuvo cuando faltaba información.

• Exactitud y cobertura.
• Uso correcto de herramientas y fuentes.
• Resistencia a instrucciones maliciosas presentes en datos externos.
• Tasa de escalamiento, latencia y costo por tarea.

Registrar decisiones sin filtrar secretos

Conserva identificador de ejecución, versión, herramientas llamadas, estado, duración, costo y resultado. Minimiza o redacta contenido sensible. Los logs deben permitir investigar un incidente sin convertirse en una copia insegura de todos los datos procesados.

Desplegar por niveles de autonomía

Empieza leyendo y recomendando; después permite preparar un borrador; luego ejecutar acciones reversibles con aprobación. Solo amplía autonomía cuando evaluaciones y operación demuestren que el control anterior es estable.

• Fallback humano con contexto suficiente.
• Límite de tiempo, pasos y presupuesto.
• Kill switch y procedimiento de incidente.
• Responsable de producto y responsable técnico.