Agents: AWS Bedrock mit lite-llm

Fragen
, ,
1

Problem/Fehler/Frage beschreiben

Seit Version 2.43.0 führt die Verwendung von Agents mit AWS Bedrock via lite-llm und OpenAI-Anmeldedaten via geänderter Basis-URL zu dem folgenden Fehler.

Wie lautet die Fehlermeldung (falls vorhanden)?

litellm.UnsupportedParamsError: bedrock does not support parameters: [‘prompt_cache_key’], for model=eu.anthropic.claude-sonnet-5. To drop these, set `litellm.drop_params=True` or for proxy: `litellm_settings: drop_params: true` . If you want to use these params dynamically send allowed_openai_params=[‘prompt_cache_key’] in your request.. Received Model Group=claude-sonnet-5 Available Model Group Fallbacks=None

Bitte teile deinen Workflow

(Wähle die Knoten auf deinem Canvas und verwende die Tastenkombinationen CMD+C/STRG+C und CMD+V/STRG+V, um den Workflow zu kopieren und einzufügen.)

Gib die Ausgabe des letzten Knotens aus

Informationen zu deinem n8n-Setup

  • n8n-Version:
  • Datenbank (Standard: SQLite):
  • n8n EXECUTIONS_PROCESS-Einstellung (Standard: own, main):
  • n8n läuft via (Docker, npm, n8n cloud, Desktop-App):
  • Betriebssystem:
2

Informationen zu deinem n8n-Setup

  • n8n-Version: 2.43.1
  • Datenbank (Standard: SQLite): Postgress
  • n8n EXECUTIONS_PROCESS-Einstellung (Standard: own, main): Queue
  • n8n wird ausgeführt über (Docker, npm, n8n cloud, desktop app): Docker
  • Betriebssystem: EC2 AWS AMI Linux
3

@Kool_Baudrillard

Mach das

in deiner litellm-Konfigurationsdatei für das jeweilige Modell

4

Thx,

das ist es, was die Fehlermeldung besagt. Aber hat sich zwischen 2.42.0 und 2.43.0 etwas geändert?

Das tritt seit dem neuesten Beta auf

5

Das ist möglich.
Ich bin dem auch bei anderen Open-AI- und Anthropic-kompatiblen Anbietern begegnet.

6
7

@Kool_Baudrillard sieht so aus. Der Fehler zeigt, dass n8n jetzt prompt_cache_key sendet, und es hat bei dir auf 2.42 funktioniert, also hat 2.43 wahrscheinlich angefangen, es auf dem OpenAI-kompatiblen Pfad hinzuzufügen. Bedrock lehnt es ab.

Dein GitHub-Issue ist die richtige Stelle für die echte Lösung. Bis dahin kannst du, wenn du Parameter nicht global löschen möchtest, nur diesen einen Schlüssel in deiner LiteLLM-Konfiguration für das Bedrock-Modell löschen:

- model_name: claude-sonnet-5
  litellm_params:
    model: bedrock/eu.anthropic.claude-sonnet-5
    additional_drop_params: ["prompt_cache_key"]

So schlagen andere nicht unterstützte Parameter immer noch laut Alarm, statt stillschweigend gelöscht zu werden. Das Festlegen von n8n auf 2.42.x funktioniert auch, wenn du den Proxy vorerst lieber nicht anfassen möchtest.

8

Das wurde behoben mit: fix(core): Let agents turn off prompt caching for endpoints that reject the cache fields (backport to release-candidate/2.48.x) by n8n-assistant[bot] · Pull Request #43672 · n8n-io/n8n · GitHub