· NERVICO · inteligencia-artificial · 10 min read
Evaluación de vendors de IA: checklist completo para empresas
Checklist exhaustivo para evaluar proveedores de IA: criterios técnicos, comerciales, de seguridad y operativos con framework de scoring para tomar decisiones informadas.
El mercado de herramientas de IA para empresas ha pasado de unas pocas opciones consolidadas a cientos de proveedores compitiendo en cada categoría. Cada uno promete transformar tu negocio. Cada uno tiene un pitch impecable. Y cada uno tiene limitaciones que no mencionará hasta que firmes el contrato.
Según Gartner, el 30% de los proyectos de IA generativa en empresas se abandonarán después de la fase de prueba de concepto antes de finalizar 2025, en parte por una selección incorrecta de proveedores. No porque la tecnología falle, sino porque el vendor elegido no encaja con las necesidades reales de la empresa.
Este artículo presenta un framework completo de evaluación con criterios específicos, preguntas que hacer a cada vendor y un sistema de scoring que permite comparar opciones de forma objetiva. No es una guía genérica. Es el proceso que usamos internamente para evaluar tecnología antes de recomendarla a nuestros clientes.
Por qué la evaluación de vendors de IA es diferente
Evaluar un proveedor de IA no es como evaluar un SaaS convencional. Hay diferencias fundamentales:
La tecnología cambia cada trimestre. El vendor que lidera hoy puede ser irrelevante en 6 meses. Los modelos mejoran constantemente, los precios bajan, y nuevos competidores aparecen cada semana. Tu evaluación debe considerar no solo el estado actual sino la capacidad de adaptación del vendor.
Los resultados dependen de tus datos. Un modelo que funciona perfectamente con los datos de demo puede fallar con los tuyos. La evaluación debe incluir pruebas con datos reales de tu empresa.
El lock-in es real y costoso. Migrar de un proveedor de IA a otro no es cambiar un SaaS por otro. Implica reentrenar modelos, reescribir integraciones, reconstruir bases de conocimiento y, en muchos casos, perder meses de optimización.
La seguridad tiene implicaciones nuevas. Cuando un modelo de lenguaje accede a tus datos internos, las preguntas sobre privacidad, compliance y seguridad son diferentes y más complejas que en un SaaS tradicional.
El framework de evaluación: siete dimensiones
Dimensión 1: capacidad técnica
Esta dimensión evalúa si la herramienta puede hacer lo que promete a nivel técnico.
Criterios de evaluación:
| Criterio | Pregunta clave | Cómo verificar |
|---|---|---|
| Calidad del modelo | ¿Qué precisión tiene en tu caso de uso? | Prueba con 100+ casos reales de tu empresa |
| Latencia | ¿Cuánto tarda en responder? | Mide tiempos en condiciones reales, no en demo |
| Escalabilidad | ¿Funciona con tu volumen esperado? | Prueba de carga con volumen 3x el actual |
| Personalización | ¿Puedes adaptar el modelo a tu dominio? | Verifica fine-tuning, RAG, prompts personalizados |
| Multilingue | ¿Funciona en los idiomas que necesitas? | Prueba en todos los idiomas requeridos, no solo inglés |
| Multimodal | ¿Procesa los formatos que necesitas? | Prueba con documentos reales (PDF, imágenes, audio) |
Preguntas para el vendor:
- Qué modelo base utilizas y con qué frecuencia lo actualizas.
- Puedo traer mi propio modelo o estoy limitado al tuyo.
- Cómo manejas las alucinaciones y qué tasa de error documentas.
- Cuál es tu uptime garantizado y qué SLA ofreces sobre latencia.
- Qué pasa con la calidad del servicio durante picos de demanda.
Dimensión 2: seguridad y compliance
La más importante y la más frecuentemente subestimada.
Criterios de evaluación:
| Criterio | Pregunta clave | Cómo verificar |
|---|---|---|
| Residencia de datos | ¿Dónde se procesan y almacenan tus datos? | Pide documentación de infraestructura y regiones |
| Certificaciones | ¿Qué certificaciones de seguridad tiene? | Verifica SOC 2, ISO 27001, GDPR compliance |
| Privacidad | ¿Se usan tus datos para entrenar modelos? | Lee los ToS detalladamente, no te fíes de la respuesta verbal |
| Control de acceso | ¿Quién puede ver qué datos? | Revisa el modelo de permisos y roles |
| Auditoría | ¿Se puede auditar cada interacción? | Verifica logs completos con timestamps |
| Retención | ¿Cuánto tiempo retienen tus datos y puedes eliminarlo? | Pide la política de retención por escrito |
Preguntas para el vendor:
- Mis datos, ¿se utilizan en algún momento para entrenar o mejorar vuestros modelos?
- ¿Puedo exigir que mis datos se procesen exclusivamente en la UE?
- ¿Qué pasa con mis datos si cancelo el contrato?
- ¿Tenéis un DPA (Data Processing Agreement) estándar?
- ¿Habéis tenido algún incidente de seguridad en los últimos 24 meses?
- ¿Quién dentro de vuestra organización tiene acceso a los datos de los clientes?
Dimensión 3: integración y arquitectura
Cómo se conecta la herramienta con tu infraestructura existente.
Criterios de evaluación:
| Criterio | Pregunta clave | Cómo verificar |
|---|---|---|
| APIs | ¿Tiene APIs documentadas y estables? | Revisa la documentación de la API |
| Integraciones nativas | ¿Se conecta con tus herramientas actuales? | Lista tus herramientas y verifica compatibilidad |
| Webhooks/eventos | ¿Puede reaccionar a eventos en tiempo real? | Prueba la integración con un caso simple |
| SDK | ¿Tiene SDK para tu stack tecnológico? | Verifica soporte para tus lenguajes y frameworks |
| Exportación | ¿Puedes exportar tus datos y configuraciones? | Prueba una exportación completa durante la evaluación |
| On-premise | ¿Puede desplegarse en tu infraestructura? | Si es requisito, verifica que es una opción real |
Preguntas para el vendor:
- ¿Con qué frecuencia cambias la API y cómo gestionas el versionado?
- ¿Cuál es el tiempo medio de integración para una empresa de nuestro tamaño?
- Si queremos migrar a otro proveedor, ¿qué datos y configuraciones podemos llevar?
- ¿Qué rate limits tiene la API y cómo manejas picos de tráfico?
Dimensión 4: modelo de pricing
El coste real de una herramienta de IA rara vez es el precio de la licencia.
Criterios de evaluación:
| Criterio | Pregunta clave | Cómo verificar |
|---|---|---|
| Modelo de facturación | ¿Por usuario, por uso, por volumen? | Pide la estructura completa de pricing |
| Costes ocultos | ¿Hay costes de setup, formación, soporte premium? | Pide un desglose detallado |
| Escalado de costes | ¿Cómo cambia el precio al crecer? | Calcula el coste para 2x y 5x tu volumen actual |
| Compromiso | ¿Requiere contrato anual o mensual? | Negocia flexibilidad en los primeros meses |
| Penalizaciones | ¿Hay penalizaciones por exceder el uso? | Lee la letra pequeña del contrato |
Preguntas para el vendor:
- Cuál es el coste total para nuestro volumen actual y para 3x ese volumen.
- ¿Hay costes adicionales por soporte técnico, integraciones personalizadas o formación?
- ¿Qué pasa si excedemos el volumen contratado?
- ¿Ofrecéis un período de prueba con datos reales antes de firmar?
- ¿Cómo han evolucionado vuestros precios en los últimos 12 meses?
Dimensión 5: soporte y éxito del cliente
Qué pasa después de firmar el contrato.
Criterios de evaluación:
| Criterio | Pregunta clave | Cómo verificar |
|---|---|---|
| Onboarding | ¿Incluye soporte de implementación? | Pide el plan de onboarding detallado |
| Tiempos de respuesta | ¿Cuánto tardan en responder a incidencias? | Verifica SLAs por escrito |
| Canales de soporte | ¿Cómo contactas en caso de problema? | Prueba el soporte durante la evaluación |
| Documentación | ¿La documentación técnica está actualizada? | Revisa la documentación y compara con el producto |
| Comunidad | ¿Hay comunidad de usuarios activa? | Busca foros, Slack, Discord del producto |
| Account manager | ¿Tienes un contacto dedicado? | Pregunta a partir de qué nivel de contrato |
Preguntas para el vendor:
- ¿Qué pasa si encontramos un bug crítico un viernes por la noche?
- ¿Quién será nuestro punto de contacto y qué nivel de acceso tiene internamente?
- ¿Con qué frecuencia nos informáis de cambios, actualizaciones o problemas conocidos?
- ¿Podemos hablar con otros clientes de tamaño similar al nuestro?
Dimensión 6: madurez del vendor
Qué tan sólido es el proveedor como empresa.
Criterios de evaluación:
| Criterio | Pregunta clave | Cómo verificar |
|---|---|---|
| Financiación | ¿La empresa tiene financiación para los próximos 18-24 meses? | Busca información pública sobre rondas e inversores |
| Equipo | ¿Quién está detrás del producto? | Investiga el equipo fundador y técnico |
| Tracción | ¿Cuántos clientes tienen en tu segmento? | Pide referencias específicas de tu industria |
| Roadmap | ¿Hacia dónde va el producto? | Pide el roadmap y evalúa si se alinea con tus necesidades |
| Dependencias | ¿Dependen de un proveedor externo de modelo? | Evalúa el riesgo si ese proveedor cambia precios o términos |
| Competencia | ¿Cómo se posicionan respecto a alternativas? | Pide una comparativa honesta, no solo sus fortalezas |
Preguntas para el vendor:
- Si mañana OpenAI (o Anthropic, o Google) sube los precios un 200%, ¿cómo afecta a vuestro servicio?
- ¿Cuál es vuestra ventaja competitiva real frente a alternativas open source?
- ¿Qué porcentaje de vuestros clientes renuevan?
- ¿Habéis perdido clientes en los últimos 6 meses y por qué?
Dimensión 7: adecuación al caso de uso
La más importante y la que con más frecuencia se evalúa mal.
Criterios de evaluación:
| Criterio | Pregunta clave | Cómo verificar |
|---|---|---|
| Ajuste funcional | ¿Resuelve tu problema específico? | Define 10 escenarios y pruébalos |
| Experiencia en tu industria | ¿Han trabajado con empresas como la tuya? | Pide casos de éxito de tu sector |
| Complejidad vs. necesidad | ¿Estás comprando más de lo que necesitas? | Evalúa si una solución más simple resolvería |
| Time-to-value | ¿Cuándo verás resultados? | Pide un timeline realista con hitos |
| Esfuerzo interno | ¿Cuánto necesitas invertir de tu equipo? | Estima las horas internas necesarias |
El sistema de scoring
Para comparar vendors de forma objetiva, asigna peso a cada dimensión según tus prioridades y puntúa cada vendor de 1 a 5.
Ejemplo de ponderación
| Dimensión | Peso (empresa regulada) | Peso (startup crecimiento) |
|---|---|---|
| Capacidad técnica | 20% | 25% |
| Seguridad y compliance | 30% | 10% |
| Integración | 15% | 20% |
| Pricing | 10% | 20% |
| Soporte | 10% | 10% |
| Madurez del vendor | 10% | 5% |
| Adecuación al caso | 5% | 10% |
Cómo puntuar
5 puntos: cumple todos los criterios de la dimensión sin reservas. 4 puntos: cumple la mayoría de criterios con aspectos menores a mejorar. 3 puntos: cumple los criterios mínimos pero tiene gaps significativos. 2 puntos: no cumple varios criterios importantes. 1 punto: no cumple los criterios fundamentales de la dimensión.
Cálculo del score final
Score final = Suma de (Puntuación dimensión x Peso dimensión)Score superior a 4.0: candidato fuerte, procede a negociación. Score entre 3.0 y 4.0: candidato viable con reservas, negocia mejoras en las áreas débiles. Score inferior a 3.0: descarta o re-evalúa si tus requisitos son correctos.
El proceso de evaluación completo
Semana 1: preparación
- Define tus requisitos funcionales, técnicos y de seguridad.
- Prepara 50-100 casos de prueba con datos reales.
- Lista los 3-5 vendors candidatos.
- Prepara la matriz de evaluación con los pesos por dimensión.
Semana 2: demos y evaluación inicial
- Solicita demos personalizadas (no genéricas) con tu caso de uso.
- Haz las preguntas de cada dimensión durante la demo.
- Completa la puntuación inicial basada en la demo y la documentación.
- Descarta vendors que puntúen por debajo de 2.5.
Semanas 3-4: prueba técnica (Proof of Concept)
- Solicita acceso a un entorno de prueba con los 2-3 finalistas.
- Ejecuta tus 50-100 casos de prueba con datos reales.
- Mide latencia, precisión y calidad de respuestas.
- Prueba las integraciones con tus sistemas actuales.
- Involucra a los usuarios finales en las pruebas.
Semana 5: evaluación final y decisión
- Completa la puntuación de todas las dimensiones con datos del PoC.
- Compara scores finales.
- Negocia términos comerciales con el finalista.
- Documenta la decisión y los criterios para referencia futura.
Señales de alerta: cuándo descartar un vendor
Descartar inmediatamente si:
- No permite probar con tus datos antes de firmar contrato.
- No puede confirmar por escrito dónde se procesan tus datos.
- No tiene DPA o se resiste a firmar el tuyo.
- Elude preguntas sobre pricing con “depende del caso”.
- No tiene clientes verificables en tu segmento.
Evaluar con precaución si:
- Es una startup con menos de 18 meses de financiación asegurada.
- Depende exclusivamente de un proveedor de modelo (ej: solo GPT-4).
- La documentación técnica está incompleta o desactualizada.
- El soporte durante la evaluación es lento o genérico.
- El roadmap no incluye funcionalidades que necesitas a corto plazo.
Errores comunes en la evaluación
Error 1: evaluar solo la demo
Las demos están optimizadas para impresionar. Siempre prueba con tus datos reales, tus volúmenes y tus edge cases. Un vendor que brilla en demo puede fracasar con datos reales.
Error 2: no involucrar al equipo técnico
Las decisiones de compra de IA no pueden tomarse solo desde negocio. El equipo técnico debe evaluar la integración, la arquitectura y las implicaciones de mantenimiento.
Error 3: optimizar solo por precio
El vendor más barato puede costar el doble si requiere el triple de horas internas de integración, tiene peor soporte o genera más errores que necesitan corrección humana.
Error 4: no considerar el coste de cambio
Pregúntate: si en 12 meses este vendor no funciona, cuánto me costará migrar a otro. Si la respuesta es “mucho”, exige flexibilidad contractual y garantiza que puedes exportar tus datos y configuraciones.
Error 5: dejarse influir por la marca
Que un vendor tenga la marca más conocida no significa que sea el mejor para tu caso. Evalúa la adecuación a tu problema específico, no la cuota de mercado.
Conclusión: decidir con datos, no con demos
La evaluación de vendors de IA es un proceso que requiere rigor porque las consecuencias de una mala elección son costosas: dinero perdido, tiempo perdido y, en algunos casos, relaciones con clientes deterioradas.
El framework que hemos presentado no elimina el riesgo, pero lo reduce significativamente al convertir una decisión subjetiva (“este vendor me gustó más en la demo”) en una evaluación objetiva basada en criterios medibles.
Si necesitas ayuda para evaluar proveedores de IA para tu empresa, puedes explorar nuestros servicios de asistentes de IA donde incluimos asesoramiento en selección de tecnología. También ofrecemos una auditoría gratuita de IA que incluye una evaluación inicial de tu caso de uso y recomendaciones de vendors alineados con tus necesidades.
