Últimamente han aparecido decenas de herramientas y dashboards diseñados para medir la visibilidad de las marcas en ChatGPT, Gemini o Claude. Todas prometen lo mismo: rankings detallados, gráficos impecables y porcentajes precisos de aparición. Sin embargo, muy pocas se hacen la pregunta que realmente importa: ¿cuándo podemos confiar en esos porcentajes?

Decir que nuestra marca apareció en el 42% de las respuestas asuena robusto en una reunión o en un reporte mensual. El problema es que, en el mundo de los Modelos de Lenguaje (LLMs), ese número por sí solo no significa absolutamente nada.

Como consultores de Marketing, nuestro desafío es doble. Por un lado, debemos entender estas herramientas y por otro, lograr medir nuestros esfuerzos por posicionarnos. Pero para hacerlo bien, primero tenemos que entender con qué tipo de tecnología estamos lidiando.

Los LLMs no son deterministas (y está bien que así sea)

Hace tiempo que sabemos que los modelos de lenguaje no son deterministas. Si ejecutas exactamente el mismo prompt dos veces, obtener respuestas distintas es completamente esperable. No es un bug, no es un problema de configuración de temperatura y tampoco es algo que haya que “arreglar”; es simplemente la esencia probabilística de la tecnología.

Por eso resulta contradictorio que sigamos tratando el resultado de una consulta aislada como una verdad absoluta. Si aceptamos que el comportamiento de la IA varía por naturaleza, la consecuencia lógica es evidente: las métricas que construimos para medirla tampoco pueden ser rígidas.

Ahí es donde el desafío se pone interesante. En D2B llevamos meses desarrollando herramientas para entender cómo se comportan las marcas en estos nuevos entornos. Por un lado, monitoreamos Google AI Overviews para entender qué volumen de búsquedas activa respuestas de IA y qué lugar ocupamos cuando aparecemos. Por otro, construimos un Share of Search Analyzer que ejecuta cientos de prompts en distintos modelos para evaluar la presencia y la competencia.

Al principio, esto parece un simple problema de ingeniería: configurar APIs, armar pipelines en Python, hacer scraping y procesar texto. Pero el verdadero reto analítico empieza cuando los datos están sobre la mesa y nos preguntamos: “Nuestra marca apareció en un 38% de las respuestas. ¿Eso es bueno?”.

La respuesta correcta nos obliga a hacernos una segunda pregunta: ¿Qué tan seguros estamos de ese 38%?

El prompt no es la unidad de medida, es el fenómeno

El error de la mayoría de las metodologías actuales es que intentan medir prompts individuales. A nivel de negocio, a nadie le importa demasiado qué respondió ChatGPT en un segundo exacto cuando alguien escribió una frase ultra específica. Lo que realmente nos interesa es otra cosa: ¿Cuál es la probabilidad de que nuestra marca aparezca cuando un usuario muestra una intención de compra o una duda asociada a nuestra categoría?

Este cambio de enfoque lo transforma todo. Ya no estás midiendo un evento aislado; estás modelando un fenómeno. Y un fenómeno probabilístico no se observa una sola vez: se estima.

Para lograrlo, la solución no es repetir el mismo prompt de forma masiva, sino ampliar el espacio de observación. Necesitamos más variantes de redacción, más contextos simulados, más modelos en paralelo y una muestra lo suficientemente robusta. Cada respuesta individual deja de ser “la verdad” y pasa a ser un punto de datos dentro de una muestra mucho mayor.

Menos decimales, más intervalos de confianza

La paradoja actual del software de analítica es que nos encanta mostrar dashboards con dos decimales de precisión, pero escondemos la incertidumbre bajo la alfombra. Monitorear sistemas probabilísticos nos exige usar métricas probabilísticas.

Construir el pipeline para conectarse a las APIs de OpenAI o Google es la parte predecible del trabajo. Lo verdaderamente complejo —y lo que nos mueve en D2B— es aceptar que un buen reporte de AI Visibility no puede limitarse a entregar un porcentaje estático. Debe ser capaz de responder, con rigor y honestidad, qué nivel de confianza tiene ese dato y cuál es su margen de error.

A medida que esta industria madure, dejaremos de discutir por prompts individuales y empezaremos a hablar de metodologías serias: tamaño efectivo de la muestra, intervalos de confianza y diseño de experimentos. Al final del día, si queremos medir con éxito nuestros esfuerzos de posicionamiento en la era de la IA, esa es la conversación que realmente necesitamos tener.

Cosas para llevarnos

Mapear tu marca en la era de la IA no se trata de perseguir un porcentaje fijo en un prompt aislado, sino de entender probabilidades. Deja de medir respuestas individuales y empieza a medir tendencias con rigor metodológico. La verdadera visibilidad en LLMs no te da un número perfecto de dos decimales; te da un intervalo de confianza en el que sí puedes basar decisiones de negocio.