Un juez que bloquea, una persona que aprueba

evals · judge panel
  1. Estación de modelo
  2. Panel de jueces
  3. Una persona aprueba
  4. Registro de costos
Reporte de evals
ResultadoVeredicto del juezMotivoPersonaCosto por tarea
Correo de reembolsoPasóSin defecto verificableAprobado
Resumen de contratoBloqueadoDefecto verificableNo se muestra
Extracción de facturaPasóSin defecto verificableAprobado
Respuesta de soporteBloqueadoDefecto verificableNo se muestra
Descripción de productoPasóSin defecto verificableAprobado
  • Los jueces bloquean, nunca aprueban
  • Cada juez se mide con ejemplos etiquetados antes de contar
  • El costo por pieza aprobada elige el modelo
  • largo de la barra = costo relativo
El formato del reporte de evals del piloto. Las filas y las barras de costo son ilustrativas: el piloto mide tu caso de uso.

¿Qué es la integración de inteligencia artificial en una empresa?

Integrar inteligencia artificial en una empresa es conectar un modelo a los sistemas, los datos y las personas que ya operan el negocio: elegir el modelo, escribir las instrucciones y el contexto, conectar herramientas y datos, y revisar la salida antes de que alguien dependa de ella. En Clouditive la puerta de entrada es el Piloto de agente de IA: un agente en un caso de uso real tuyo, evaluaciones que califican su resultado y el costo por tarea, por USD 5.000 en 2 semanas.

Llamar a un modelo es la parte sencilla. Lo caro es la salida casi correcta: alguien tiene que detectarla y alguien paga cada llamada que la produjo.

Tratamos la salida de un modelo como cualquier dato no confiable: pasa controles antes de llegar a una persona, y cada control se mide contra ejemplos etiquetados, casos cuya respuesta correcta ya se conoce, antes de confiar en él.

¿No sabes si tu caso de uso está listo? Discovery es nuestra evaluación de preparación para IA: USD 7.000, de 1 a 4 semanas. Recorre tu producto y su configuración de punta a punta y termina con una hoja de ruta completa, para que el piloto parta de un caso de uso comprobado y no supuesto.

Qué recibes, paso a paso

Todo lo que incluye el paquete, en el orden en que llega. El precio y la duración no cambian.

  1. Paso 1: El agente

    Un agente de IA trabajando en un caso de uso real de tu empresa.

  2. Paso 2: Los evals

    Evals que califican su resultado en ese caso de uso.

  3. Paso 3: El costo

    Costo por tarea, medido.

  4. 2 semanas

    USD 5.000

¿Quieres seguir después del paquete? Suma ingenieros por hora con las tarifas publicadas, con un plazo mínimo de 6 meses. Cómo funciona staff augmentation.

Probado en trabajo real

Clientes reales, cifras con fecha y una nota clara de lo que no se hizo.

Clouditive construyó nuestro producto con nosotros, objetivo por objetivo: la IA con su panel de jueces, la plataforma en Google Cloud y 854 archivos de pruebas. Publicamos 89 versiones en 10 días, cada una verificada contra la compilación probada, y una persona sigue aprobando cada pieza.

Sebastian Tavul, CEOSebastian Tavul, CEO

Consultoría de implementación de IA: lo que construimos para una plataforma de marketing con IA

Rendimiento leído de cuatro redes sobre 57 piezas de tres marcas.

Una consultoría de implementación de IA debería terminar con algo funcionando. La nuestra parte de un caso de uso, construye el agente, lo califica con evaluaciones y mide el costo por tarea: es el Piloto de agente de IA, USD 5.000 por 2 semanas. El ejemplo que podemos mostrar es Autonomah.

El servicio de publicidad de Autonomah diagnostica la marca de un cliente, planifica campañas, genera las piezas (texto, imagen, carrusel, documento, video corto con voz) y las programa en sus redes sociales. Una persona aprueba cada pieza.

Nuestro trabajo allí:

  • Varios modelos sobre Vertex AI, abiertos y Gemini, sin depender de un único proveedor.
  • Un panel independiente de jueces de IA que rechaza errores verificables y nunca aprueba. Cada juez se probó con ejemplos de respuesta conocida antes de entrar en servicio.
  • El costo por pieza aprobada como regla para elegir modelos.
  • Herramientas que ajustan a los jueces con las calificaciones de personas.
  • Una base de conocimiento del oficio con fuentes, por industria, nicho y país, en 39 países de las Américas; cada principio con su fuente y su cita.

¿Prefieres pagar por hora?

Suma ingenieros a tu propio equipo con las tarifas publicadas, en lugar de comprar un paquete.

  • Tú entrevistasConoces al ingeniero que hará el trabajo.
  • Mínimo de 6 mesesSe factura por hora trabajada.
  • Reemplazo sin costoSi se va o no encaja, lo reemplazamos y cubrimos el traspaso sin costo.
Ver cómo funciona staff augmentation
  • Lead / ArquitectoUSD55–⁠60por hora
  • SeniorUSD45–⁠50por hora
  • Mid / Semi seniorUSD35–⁠40por hora
  • JuniorUSD30por hora

USD por hora, dibujado en una sola escala

Preguntas frecuentes

¿Qué IA conviene usar en una empresa?

Depende de la tarea y del costo por resultado útil. En Autonomah combinamos modelos abiertos y Gemini sobre Vertex AI y elegimos según el costo por pieza aprobada.

¿Qué tipo de IA usan las empresas?

En nuestro caso publicado, Autonomah, modelos abiertos y Gemini sobre Vertex AI generan textos, imágenes, documentos y videos cortos con voz; un panel de jueces de IA bloquea defectos y una persona aprueba cada pieza.

¿Qué es una evaluación de preparación para IA?

Una revisión de si tu producto y tus sistemas están listos para un agente, antes de gastar en uno. La nuestra es Discovery: USD 7.000, de 1 a 4 semanas, con reuniones diarias y revisiones de avance.

Discovery entiende tu producto y su configuración de punta a punta y entrega una hoja de ruta completa: backlog, roles, cambios críticos y necesidades. Sirve para decidir por dónde puede empezar un agente y qué hay que cambiar primero. Después, el Piloto de agente de IA, USD 5.000 por 2 semanas, prueba un caso de uso de verdad.

¿Qué incluye el Piloto de agente de IA?

Un agente de IA trabajando en un caso de uso real de tu empresa, evaluaciones que califican su resultado y el costo por tarea, medido. USD 5.000, 2 semanas.

¿Cuánto cuesta el Piloto de agente de IA?

USD 5.000 por 2 semanas, a precio fijo, y al cabo de ellas sabes si el agente hace el trabajo y cuánto cuesta cada tarea. El costo de operar los modelos depende de tus modelos y de tu tráfico, así que lo medimos. Después, el trabajo sigue por hora: USD 55–⁠60 un Lead o Arquitecto, 45–⁠50 un Senior, 35–⁠40 un Mid y 30 un Junior.

¿Qué se necesita para crear una IA?

Además del modelo, tres cosas: una tarea concreta con un resultado que se pueda revisar, controles que rechacen la salida incorrecta antes de que llegue a una persona y la medición del costo por resultado. En Autonomah se resolvió con jueces de IA medidos contra datos etiquetados y un registro de costo por llamada.

¿Cómo se evita que la IA entregue resultados incorrectos?

Con controles independientes. En Autonomah, un panel de jueces de IA bloquea defectos verificables y nunca aprueba; cada juez se prueba antes con ejemplos de respuesta conocida y una persona aprueba cada pieza.

¿En qué idioma trabaja el equipo?

100 % en español, inglés o portugués, según tu equipo. Los ingenieros están en LATAM y entrevistas al que hará el trabajo.

¿Se puede seguir después del piloto?

Sí, sumando ingenieros por hora a tu equipo: USD 55–⁠60 un Lead o Arquitecto, 45–⁠50 un Senior, 35–⁠40 un Mid y 30 un Junior.

¿Qué son los agentes de IA?

Un agente de IA es un programa que usa un modelo de lenguaje para decidir pasos y ejecutar acciones con herramientas, como leer un documento, consultar una base o enviar un correo, hasta cumplir una tarea. Existen agentes que solo sugieren y agentes que actúan; en los que construimos, unos jueces automáticos bloquean errores verificables y una persona aprueba antes de publicar.

¿Qué necesitas resolver?

Respondemos cada pedido en 1 día hábil. Firmamos un NDA antes de la llamada si lo pides.