Wähle das KI-Modell, das deine Routing-Dateien bearbeitet
Segment Route läuft nicht mit einem festen Modell. Du verbindest einen Cloud-KI-Anbieter über einen Standard-API-Endpunkt, ein Modell, das lokal auf deinem PC läuft, oder das eingebaute Modell. Die Wahl entscheidet, wohin deine Prompts gehen und was ein Fehler kostet.
Drei Möglichkeiten, ein Modell zu verbinden
Ein Cloud-KI-Anbieter
Ein Cloud-Anbieter wird über einen Standard-API-Endpunkt erreicht, und du gibst die Endpunkt-Adresse und deinen API-Schlüssel in die App ein. Der Schlüssel bleibt auf deinem PC. Größere Cloud-Modelle bewältigen oft eine lange Routing-Datei oder eine verschlungene Weiterleitungskette besser. Die Konsequenz für die Privatsphäre ist klar: Dein Prompt, einschließlich des Textes jeder Datei, die der Agent liest, geht an diesen Anbieter. Der Anbieter kann auch für seine eigene Nutzung Gebühren verlangen, was eine Sache zwischen dir und dem Anbieter ist. Überlege, bevor du den Agenten eine Datei mit internen Host-Namen lesen lässt.
Ein Modell auf deinem eigenen PC
Ein lokal auf deinem PC laufendes Modell ist die Wahl, wenn Routing-Dateien die Maschine nicht verlassen dürfen. Bei einem lokalen Modell verlässt nichts den PC, denn deine Prompts gehen nur an den Modell-Endpunkt, den du auswählst, und dieser Endpunkt befindet sich auf deinem eigenen Computer. Lokale Modelle sind normalerweise kleiner als Cloud-Modelle, also erwarte, den Diff sorgfältiger zu lesen und eine große Aufgabe in kleine Schritte aufzuteilen. Verwende die Schaltfläche Test, um die Antwortzeit und den Kontextfenster zu sehen, bevor du startest.
Das eingebaute Modell
Das eingebaute Modell ist ohne eigenen Endpunkt einsatzbereit, also ist es der schnellste Weg, Segment Route nach der Installation auszuprobieren. Du gibst keine Adresse oder keinen Schlüssel ein. Es eignet sich für eine erste kleine Aufgabe, wie das Lesen einer Routenliste und das Vorschlagen einer einzigen Weiterleitung, und lässt dich sehen, wie Karten, Diffs und Genehmigungsmodi funktionieren. Wenn eine Aufgabe über das hinausgeht, was es gut bewältigt, verbinde ein größeres Modell und führe die gleiche Aufgabe erneut aus.
Überprüfe die Verbindung mit der Schaltfläche Test
Die Schaltfläche Test überprüft einen Endpunkt, bevor du dich darauf verlässt. Sie zeigt die Antwortzeit und das Kontextfenster, also die Menge an Text, die das Modell gleichzeitig halten kann. Eine kurze Antwortzeit macht eine lange Sitzung mit vielen Karten angenehmer, und ein kleines Kontextfenster sagt dir, dass du an einer Routing-Datei gleichzeitig arbeiten sollst, anstatt eine ganze Konfiguration einzufügen. Wenn der Test fehlschlägt, überprüfe zuerst die Endpunkt-Adresse und den Schlüssel, und teste dann erneut. Führe den Test aus, wann immer du ein anderes Modell oder einen anderen Endpunkt verbindest, damit du seine Antwortzeit und sein Kontextfenner kennst, bevor die erste Aufgabe beginnt.
Passe das Modell an die Aufgabe an
Verwende ein größeres Modell für Aufgaben mit vielen beweglichen Teilen: die Umstrukturierung einer langen Routing-Datei, die Analyse, warum eine Weiterleitungskette in einer Schleife hängt, oder der Vergleich der Regeln von zwei Ebenen. Verwende ein kleineres Modell für kleine Änderungen, wie das Ändern eines Codes von 302 auf 301 oder das Hinzufügen eines Pfads. Das Tool run_on_model sendet einen einzelnen harten Schritt an ein größeres Modell, sodass der Rest des Chats auf einem kleineren Modell bleiben kann. Das hält das große Modell für den Moment bereit, in dem es zählt, und du liest trotzdem jede Karte und jeden Diff selbst.
Die Qualität variiert von Modell zu Modell, und kein Modell ist immer korrekt. Behandle jeden Vorschlag als Entwurf. Lies den Diff, führe deinen eigenen Konfigurationstestbefehl aus und rufe die Adresse ab, um den tatsächlichen Statuscode zu sehen. Ask first ist eine sinnvolle Standardeinstellung für Live-Dateien, denn der Agent pausiert vor Aktionen, die etwas ändern, und Plan only lässt dich einen Plan lesen, bevor etwas ausgeführt wird.
