Cinco preguntas reales, inéditas, al estilo del examen CCA-F para Gestión de Contexto y Confiabilidad (15% del examen). Intenta responder cada una tú mismo antes de revelar la explicación — así es como realmente encuentras los vacíos en tu comprensión.
Practica el conjunto completo filtrado por dominio en AICert Study →
Pregunta 1
La herramienta lookup_order devuelve un JSON con 47 campos por pedido (metadatos del transportista, centro de fulfillment, peso, dimensiones, códigos aduaneros, etc.). El agente normalmente solo necesita order_id, status, total, refundable_amount y tracking_url. Tras muchas llamadas en una sesión larga, el agente empieza a olvidar compromisos anteriores del cliente. ¿Cuál es la corrección más apropiada?
- A. Proyectar la respuesta de la herramienta a los cinco campos relevantes antes de que entre en el historial, para que las respuestas verbosas dejen de consumir contexto de forma desproporcionada.
- B. Aumentar el max_tokens del modelo para que el payload completo de 47 campos siempre quepa.
- C. Cambiar a un modelo más pequeño que sea más eficiente con entradas largas.
- D. Dejar de llamar a lookup_order tras el tercer turno y confiar en la memoria del modelo sobre resultados anteriores.
Ver respuesta y explicación
Respuesta correcta: A
Las salidas verbosas de herramientas se acumulan y desplazan información crítica previa. Recortar la respuesta a solo los campos que el agente realmente usa es el patrón recomendado.
- Aumentar el max_tokens del modelo: max_tokens controla la longitud de la salida, no la capacidad de entrada; no resuelve la sobrecarga de resultados de herramientas en el contexto.
- Cambiar a un modelo más pequeño: Los modelos más pequeños no son intrínsecamente mejores con entradas largas, y cambiar el tamaño del modelo no corrige el problema subyacente de campos irrelevantes consumiendo tokens.
- Dejar de llamar a lookup_order: Saltar llamadas necesarias produce datos obsoletos o fabricados y daña la calidad de la resolución; lo correcto es hacer cada llamada más barata en tokens.
Compartir esta pregunta en LinkedIn →
Pregunta 2
Un coordinador de investigación agrega las salidas de cinco subagentes en una entrada de 60 páginas para el subagente de síntesis. Tras la revisión, el informe omite de forma consistente hallazgos de los subagentes cuyas salidas quedan en el medio de la entrada agregada, mientras que los hallazgos del primero y del último están bien representados. ¿Qué mitigación aborda directamente el efecto subyacente?
- A. Colocar un resumen estructurado de hallazgos clave al inicio de la entrada agregada para que el modelo encuentre afirmaciones importantes en una posición de alta confiabilidad.
- B. Reducir la temperatura del modelo a 0 para que no omita texto.
- C. Mezclar aleatoriamente el orden de las salidas de los subagentes en cada ejecución.
- D. Pedirle al agente de síntesis que 'lea con atención' en el prompt del sistema.
Ver respuesta y explicación
Respuesta correcta: A
El efecto 'perdido en el medio' significa que los modelos atienden de forma confiable al inicio y al final de entradas largas. Mostrar un resumen de hallazgos clave al comienzo asegura que las afirmaciones más importantes queden en una posición de alta atención.
- Reducir la temperatura del modelo a 0: La temperatura afecta la aleatoriedad del muestreo, no la dinámica de atención posicional que causa omisiones en el medio del contexto.
- Mezclar aleatoriamente el orden: El orden aleatorio solo cambia qué hallazgos se pierden; no corrige el sesgo estructural de atención.
- Pedirle al agente que 'lea con atención': Las instrucciones vagas no anulan el sesgo posicional y no sustituyen la ingeniería estructural del prompt.
Compartir esta pregunta en LinkedIn →
Pregunta 3
Un ingeniero observa que el agente de soporte envía solo los dos mensajes más recientes del usuario a la API en cada turno para ahorrar tokens. Ahora el agente contradice con frecuencia compromisos anteriores y le pide al cliente información ya entregada. ¿Cuál es la causa raíz más probable?
- A. No se está pasando el historial completo de la conversación en las solicitudes posteriores, por lo que el modelo no puede mantener coherencia conversacional.
- B. La temperatura del modelo es demasiado alta.
- C. El modelo necesita ser reentrenado con datos de soporte al cliente.
- D. El prompt del sistema es demasiado largo y está desplazando los mensajes del usuario.
Ver respuesta y explicación
Respuesta correcta: A
Claude es stateless entre llamadas a la API; la aplicación debe incluir el historial completo de la conversación para que el modelo razone sobre turnos previos. Enviar solo los dos últimos mensajes descarta la fuente de verdad.
- La temperatura del modelo es demasiado alta: La temperatura controla la aleatoriedad del muestreo, no la memoria; incluso con temperatura 0 el modelo no puede recordar turnos no incluidos en la entrada.
- El modelo necesita ser reentrenado: Los modelos fundacionales no se reentrenan por cliente; este es un error arquitectónico del lado de la aplicación.
- El prompt del sistema es demasiado largo: Un prompt de sistema largo no borra los mensajes del usuario; los mensajes nunca se enviaron.
Compartir esta pregunta en LinkedIn →
Pregunta 4
Un coordinador de investigación que lleva 90 minutos comienza a producir resúmenes que mencionan 'patrones típicos de la industria' en vez de los nombres específicos de competidores y cifras de ingresos descubiertos antes por el subagente de análisis de documentos. La síntesis aún afirma alta confianza. ¿Qué combinación de técnicas aborda más directamente esa degradación?
- A. Persistir hallazgos clave (nombres literales, cifras, fechas) en un archivo scratchpad y recargarlo en el contexto tras la compactación; delegar escaneos verbosos de documentos a subagentes que devuelvan solo resúmenes estructurados.
- B. Aumentar la verbosidad del prompt del sistema para recordarle al modelo que no generalice.
- C. Desactivar la delegación de subagentes y hacer que el coordinador lea todos los documentos fuente directamente.
- D. Confiar en la confianza autodeclarada del modelo para decidir cuándo rebuscar fuentes.
Ver respuesta y explicación
Respuesta correcta: A
La degradación del contexto en sesiones largas lleva a generalidades vagas. Dos primitivos correctos son un scratchpad persistente con hechos literales y delegación a subagentes que aísle la exploración verbosa para que el coordinador siga enfocado.
- Aumentar la verbosidad del prompt del sistema: Agregar más instrucciones no resuelve la degradación causada por la erosión del contexto; incluso puede empeorarla al consumir más tokens.
- Desactivar la delegación de subagentes: Hacer que el coordinador lea todo directamente es justamente el patrón que causa la degradación; la delegación a subagentes es la mitigación, no el problema.
- Confiar en la confianza autodeclarada: La confianza autodeclarada es un proxy poco fiable de la precisión, especialmente cuando el modelo ya está derivando hacia respuestas vagas.
Compartir esta pregunta en LinkedIn →
Pregunta 5
Un cliente escribe: 'Quiero hablar con un supervisor humano ahora. No quiero un bot tratando de ayudarme.' El agente tiene herramientas para consultar el pedido y procesar reembolsos. ¿Cuál es el comportamiento correcto?
- A. Llamar inmediatamente a escalate_to_human con el contexto de la conversación; no intentar investigar primero ni disuadir al cliente.
- B. Pedirle al cliente que describa el problema primero; escalar solo si la solicitud parece compleja tras el triaje.
- C. Tranquilizar al cliente diciendo que el agente probablemente puede ayudar e intentar un reembolso antes de escalar.
- D. Usar análisis de sentimiento para confirmar que el cliente está realmente molesto antes de escalar.
Ver respuesta y explicación
Respuesta correcta: A
Una solicitud explícita del cliente de un humano es un disparador categórico de escalado que debe respetarse de inmediato, sin investigación previa.
- Pedirle al cliente que describa el problema primero: Ignora la solicitud explícita y erosiona la confianza; las solicitudes explícitas de humanos no son una decisión de triaje.
- Intentar un reembolso antes de escalar: Actuar sobre el caso después de que el cliente pidió un humano viola la solicitud explícita y arriesga hacer algo equivocado.
- Usar análisis de sentimiento para confirmar: El sentimiento es un proxy poco fiable; una solicitud verbal explícita supera cualquier sentimiento inferido.
Compartir esta pregunta en LinkedIn →
¿Quieres más? Nuestro banco gratuito tiene cientos de preguntas de Gestión de Contexto y Confiabilidad. Practícalas todas →