
Agente de IA en el contact center: las pruebas de aceptación antes de pasarlo a producción
La demo del agente de IA siempre funciona: la llamada es limpia, el cliente pregunta lo que el guion espera y la respuesta suena natural. El problema empieza cuando entra una llamada real: ruido, acento, dos preguntas en una frase, un cliente enojado o alguien que pide algo que el bot no sabe resolver. Pasar de la demo a producción sin pruebas de aceptación es apostar la operación a una coincidencia.
Qué se prueba (y qué no)
No se prueba si el bot «entiende»: eso es una impresión. Se prueban cinco comportamientos medibles:
- Intención: clasifica correctamente lo que el cliente quiere, incluso con ruido y con frases incompletas.
- Entidades: captura bien los datos críticos (número de cliente, pedido, fecha, monto).
- Transferencia: pasa al humano cuando debe, con contexto y sin repetir la pregunta.
- Límites: no inventa precios, plazos ni políticas que no están en su base.
- Tono: responde con el registro de la marca, no con el de un asistente genérico.
El set de pruebas: 50 llamadas etiquetadas
Toma cincuenta llamadas reales de los últimos tres meses, transcritas y etiquetadas. Deben incluir los diez casos más frecuentes y los cinco más difíciles: queja, cancelación, cliente que interrumpe, ruido de fondo y alguien que pide hablar con una persona de inmediato. Con ese set se corre el agente y se compara contra la respuesta humana.
Si no tienes transcripciones, el primer entregable del proyecto no es el bot: es la transcripción. Sin datos reales, las pruebas miden la imaginación del proveedor.
Métricas de aceptación
| Métrica | Qué mide | Umbral de corte sugerido |
|---|---|---|
| Contención | Llamadas resueltas sin humano | ≥ 40% en el primer mes |
| Transferencia correcta | Pasa al área que corresponde | ≥ 90% |
| Tiempo a humano | Segundos hasta un agente | ≤ 30 s |
| Datos capturados | Entidades correctas por llamada | ≥ 95% en campos críticos |
| Alucinaciones | Respuestas sin respaldo en la base | 0 en precios y políticas |
| Satisfacción | CSAT de las llamadas atendidas por IA | No más de 5 puntos bajo el humano |
Criterios de go / no-go
El agente sale a producción cuando cumple los umbrales en el set de pruebas y en un piloto controlado con un porcentaje del tráfico. Si falla una sola métrica crítica (alucinaciones o transferencia), no sale: se corrige el prompt, la base o el flujo, y se vuelve a medir.
El piloto debe tener un grupo de control: llamadas que siguen yendo a humanos, para comparar. Sin grupo de control, cualquier mejora se atribuye al bot aunque venga de la estacionalidad.
Plan de reversión
Todo piloto necesita un interruptor: una ruta que devuelva el 100% del tráfico a humanos en menos de un minuto. Se prueba antes del lanzamiento, no después. También se define quién puede activarlo y con qué criterio (por ejemplo, dos quejas por alucinación en una hora).
Después del go-live
El trabajo no termina con el lanzamiento. Hay que revisar transcripciones semanalmente, vigilar el drift (cuando el modelo empieza a responder distinto por cambios en la base o en el prompt) y actualizar el set de pruebas con los casos nuevos que aparezcan en producción.
Qué documentar antes de encender el agente
El agente es software y como software tiene versión. Documenta el prompt inicial, la base de conocimiento con la que responde, la matriz de escalamiento y los límites explícitos: qué temas no toca y a quién transfiere. Sin esa documentación, cuando algo falle nadie sabrá qué cambió.
Define también quién es el dueño del agente dentro de la operación. No el proveedor: alguien de tu equipo que revise transcripciones, apruebe cambios de prompt y pueda apagar el piloto. Un agente sin dueño es un experimento permanente.
Preguntas frecuentes
¿Cuánto tarda un piloto?
Entre cuatro y ocho semanas: dos para preparar datos y flujo, dos de pruebas y dos de piloto controlado. Lo que más tarda es conseguir y etiquetar las llamadas reales.
¿El agente de IA reemplaza a los agentes humanos?
En la mayoría de las operaciones, no: absorbe el volumen repetitivo y deja al humano los casos complejos. El objetivo es contención, no despido.
¿Qué pasa con las grabaciones y datos personales?
Deben quedar bajo tu control, con retención definida y aviso de privacidad actualizado. Pide que el proveedor documente dónde se almacenan y por cuánto tiempo.
Si estás evaluando automatizar atención, conoce nuestro contact center con IA y el artículo sobre contact center omnicanal con agente virtual.