KI-Agenten nutzen oft sequenzielles Tool Calling, bei dem jeder Schritt einen vollständigen Round-Trip zum Large Language Model erfordert. Diese Architektur führt zu erheblicher Latenz und erhöhtem Token-Verbrauch, da Zwischenergebnisse wiederholt den Modellkontext durchlaufen.
Programmatic Tool Calling (PTC) bietet eine effizientere Alternative. Durch die Verlagerung der Logik vom Modell in eine Sandbox-Ausführungsumgebung können Architekten den Overhead reduzieren und die Leistung komplexer Workflows von KI-Agenten verbessern.
Kurz gesagt
- •
Agent SDKs sind wertvoll, wenn ihre Primitives Orchestrierungsarbeit reduzieren, die Teams sonst selbst bauen müssten.
- •
Tech Leads bekommen klarere Workflow-Grenzen rund um Agenten, Tools und Schemas.
- •
Der Trade-off liegt in SDK-Kopplung und Review-Disziplin, bevor ein Demo-Pattern zur Produktionsarchitektur wird.
Über sequenzielle Round-Trips hinaus
In einer standardmäßigen Tool-Calling-Schleife ruft das Modell ein Tool auf, wartet auf die Ausgabe und verarbeitet diese, bevor es über den nächsten Schritt entscheidet. Dieser Zyklus wiederholt sich für jede Aktion. Bei komplexen Aufgaben entsteht so ein Engpass, bei dem das Modell mehr Zeit mit Warten auf I/O verbringt als mit der eigentlichen Verarbeitung.
PTC ändert dies, indem das Modell Code generiert, beispielsweise in Python, der mehrere Tool-Aufrufe kapselt. Dieser Code wird in einer sicheren Sandbox-Umgebung ausgeführt. Das Modell wird nur einmal abgefragt, um die Logik zu erzeugen, und die Ausführungsumgebung übernimmt die Iteration, Filterung und Aggregation. Nur das endgültige, verarbeitete Ergebnis kehrt in den Modellkontext zurück.
Implementierung und Trade-offs
Die Implementierung von PTC erfordert eine robuste Ausführungsumgebung. Die Optionen reichen von selbst gehosteten Docker-Containern auf Plattformen wie ECS für volle Kontrolle bis hin zu Managed Services wie dem Bedrock AgentCore Code Interpreter. Die Wahl hängt von der Fähigkeit des Teams ab, die Infrastruktur zu verwalten, im Vergleich zur Notwendigkeit spezifischer Security Guardrails.
Obwohl PTC die Leistung verbessert, verlagert es die Last der Fehlerbehandlung auf die Ausführungsumgebung. Wenn der generierte Code fehlschlägt oder einen Laufzeitfehler aufweist, muss der Agent in der Lage sein, die Ausnahme zu behandeln, ohne den gesamten Workflow zum Absturz zu bringen. Architekten sollten sicherstellen, dass die Sandbox-Umgebung streng isoliert ist, um unbefugten Zugriff auf Systemressourcen während der Codeausführung zu verhindern.
Quelle
Implementing programmatic tool calling on Amazon Bedrock
https://aws.amazon.com/blogs/machine-learning/implementing-programmatic-tool-calling-on-amazon-bedrock
