Saltar al contenido
For the complete documentation index, see llms.txt. This page is also available as Markdown.

Middleware

Interactúa con el flujo de ejecución del agente para personalizar su comportamiento.

Middleware es una característica del componente básico Workflow. Así que también puedes adjuntar middleware personalizado a Agent y RAG para engancharte a su ciclo de ejecución.

El flujo de trabajo del agente

La clase Agent es una extensión del componente Workflow. Workflow es la pieza fundamental del rompecabezas en Neuron. Muchas características de los componentes Agent y RAG heredan su lógica de las capacidades del Workflow subyacente.

Aquí tienes un esquema simple del flujo de trabajo utilizado para crear la implementación del agente:

Con esta arquitectura en mente, eres libre de usar middleware para enganchar el flujo de trabajo del agente, interrupciones para mantener a los humanos en el circuito, o mirar abajo para ver un conjunto de componentes integrados que proporcionamos para casos de uso comunes.

Resumen de contexto

Este middleware está diseñado para envolver el nodo donde el agente realmente llama al LLM, para resumir automáticamente el historial de la conversación cuando se acercan los límites de tokens. En Neuron hay tres nodos posibles encargados de esta tarea según el tipo de llamada que quieras realizar: ChatNode, StreamingNode, y StructuredNode. Debes adjuntar el middleware a todos estos nodos para asegurarte de que funcione sin importar el modo en que se esté ejecutando el agente.

maxTokens y messagesToKeep trabajan juntas para definir el umbral a partir del cual debe realizarse el resumen. En el ejemplo anterior, si el contexto alcanza 30K tokens, debe haber al menos 10 mensajes en el historial del chat para que comience el resumen. Añadir nuevos mensajes al historial del chat terminará por cruzar ambos umbrales, activando el resumen.

Búsqueda de herramientas

Por defecto, cada vez que se invoca al proveedor, se cargan todas las herramientas y se transmiten al LLM backend. Un agente de producción complejo conectado a correo electrónico, calendario, drive, CRM y múltiples servidores MCP puede alcanzar fácilmente cientos de herramientas, cada una con su nombre, descripción, esquema de parámetros y sugerencias de uso.

Esto quema miles de tokens en cada turno, pero el problema más doloroso es la calidad: cuando un modelo ve demasiadas herramientas a la vez, las descripciones se mezclan, las herramientas con nombres parecidos compiten por la atención, y el agente empieza a tomar decisiones sutilmente erróneas, confundiendo parámetros o inventando argumentos porque está intentando mantener demasiadas firmas en la memoria de trabajo al mismo tiempo.

La búsqueda de herramientas replantea el catálogo de herramientas como algo que el agente consulta bajo demanda, en lugar de algo que lleva en cada solicitud.

Puedes usar el middleware global ToolSearchMiddleware para activar la selección dinámica de herramientas en tu agente:

El middleware inyecta automáticamente la ToolSearch herramienta en la lista predeterminada de herramientas disponible para el modelo en cada solicitud, y mantiene la lista de herramientas que proporcionas en un arreglo interno.

El agente comienza un turno con un conjunto mínimo de herramientas, normalmente solo ToolSearch él mismo, además de las herramientas principales que siempre quieras disponibles, y cuando necesita una capacidad que no tiene actualmente, llama a ToolSearch con una consulta en lenguaje natural que devuelve una lista ordenada de descriptores de herramientas con sus esquemas completos. En este punto, un middleware situado entre el agente y la siguiente llamada de inferencia inspecciona el resultado de la búsqueda, extrae los identificadores de las herramientas, los busca en el registro subyacente y añade sus definiciones completas al arreglo de herramientas que se enviará en la siguiente solicitud al modelo.

Desde la perspectiva del modelo, el siguiente turno simplemente llega con una lista de herramientas más rica, y puede invocar cualquiera de esas herramientas recién expuestas directamente con una validación de esquema adecuada, exactamente como si hubieran estado allí desde el principio.

Última actualización