Agente de IA en el contact center: las pruebas de aceptación antes de pasarlo a producción

Agente de IA en el contact center: las pruebas de aceptación antes de pasarlo a producción

Equipo Editorial ITELRevisión: Ingeniería de Soluciones
Publicado:

La demo del agente de IA siempre funciona: la llamada es limpia, el cliente pregunta lo que el guion espera y la respuesta suena natural. El problema empieza cuando entra una llamada real: ruido, acento, dos preguntas en una frase, un cliente enojado o alguien que pide algo que el bot no sabe resolver. Pasar de la demo a producción sin pruebas de aceptación es apostar la operación a una coincidencia.

Qué se prueba (y qué no)

No se prueba si el bot «entiende»: eso es una impresión. Se prueban cinco comportamientos medibles:

  • Intención: clasifica correctamente lo que el cliente quiere, incluso con ruido y con frases incompletas.
  • Entidades: captura bien los datos críticos (número de cliente, pedido, fecha, monto).
  • Transferencia: pasa al humano cuando debe, con contexto y sin repetir la pregunta.
  • Límites: no inventa precios, plazos ni políticas que no están en su base.
  • Tono: responde con el registro de la marca, no con el de un asistente genérico.

El set de pruebas: 50 llamadas etiquetadas

Toma cincuenta llamadas reales de los últimos tres meses, transcritas y etiquetadas. Deben incluir los diez casos más frecuentes y los cinco más difíciles: queja, cancelación, cliente que interrumpe, ruido de fondo y alguien que pide hablar con una persona de inmediato. Con ese set se corre el agente y se compara contra la respuesta humana.

Si no tienes transcripciones, el primer entregable del proyecto no es el bot: es la transcripción. Sin datos reales, las pruebas miden la imaginación del proveedor.

Métricas de aceptación

Métrica Qué mide Umbral de corte sugerido
Contención Llamadas resueltas sin humano ≥ 40% en el primer mes
Transferencia correcta Pasa al área que corresponde ≥ 90%
Tiempo a humano Segundos hasta un agente ≤ 30 s
Datos capturados Entidades correctas por llamada ≥ 95% en campos críticos
Alucinaciones Respuestas sin respaldo en la base 0 en precios y políticas
Satisfacción CSAT de las llamadas atendidas por IA No más de 5 puntos bajo el humano

Criterios de go / no-go

El agente sale a producción cuando cumple los umbrales en el set de pruebas y en un piloto controlado con un porcentaje del tráfico. Si falla una sola métrica crítica (alucinaciones o transferencia), no sale: se corrige el prompt, la base o el flujo, y se vuelve a medir.

El piloto debe tener un grupo de control: llamadas que siguen yendo a humanos, para comparar. Sin grupo de control, cualquier mejora se atribuye al bot aunque venga de la estacionalidad.

Plan de reversión

Todo piloto necesita un interruptor: una ruta que devuelva el 100% del tráfico a humanos en menos de un minuto. Se prueba antes del lanzamiento, no después. También se define quién puede activarlo y con qué criterio (por ejemplo, dos quejas por alucinación en una hora).

Después del go-live

El trabajo no termina con el lanzamiento. Hay que revisar transcripciones semanalmente, vigilar el drift (cuando el modelo empieza a responder distinto por cambios en la base o en el prompt) y actualizar el set de pruebas con los casos nuevos que aparezcan en producción.

Qué documentar antes de encender el agente

El agente es software y como software tiene versión. Documenta el prompt inicial, la base de conocimiento con la que responde, la matriz de escalamiento y los límites explícitos: qué temas no toca y a quién transfiere. Sin esa documentación, cuando algo falle nadie sabrá qué cambió.

Define también quién es el dueño del agente dentro de la operación. No el proveedor: alguien de tu equipo que revise transcripciones, apruebe cambios de prompt y pueda apagar el piloto. Un agente sin dueño es un experimento permanente.

Preguntas frecuentes

¿Cuánto tarda un piloto?

Entre cuatro y ocho semanas: dos para preparar datos y flujo, dos de pruebas y dos de piloto controlado. Lo que más tarda es conseguir y etiquetar las llamadas reales.

¿El agente de IA reemplaza a los agentes humanos?

En la mayoría de las operaciones, no: absorbe el volumen repetitivo y deja al humano los casos complejos. El objetivo es contención, no despido.

¿Qué pasa con las grabaciones y datos personales?

Deben quedar bajo tu control, con retención definida y aviso de privacidad actualizado. Pide que el proveedor documente dónde se almacenan y por cuánto tiempo.

Si estás evaluando automatizar atención, conoce nuestro contact center con IA y el artículo sobre contact center omnicanal con agente virtual.

Telefonía Fija

  • Conmutador en la nube
  • UCaaS México
  • Contact Center
  • Contact Center con IA
  • DIDs México y el mundo
  • SMS masivos
  • Troncal SIP Call Center
  • Troncal SIP empresas
  • Troncal SIP por licencia
  • VoIP PBX con teléfono IP
  • VoIP PBX pago mensual
  • Itel

  • Nosotros
  • Cobertura
  • Blog
  • Distribuidores
  • Contacto
  • Contacto

  • hola@itel.mx
  • +52 55 9417 5000
  • +52 55 9417 5000
  • Facebook
  • LinkedIn