Hop til hovedindhold

Forbind en AI-udbyder

Lotti opdeler en AI-opsætning i tre lag: en udbyder er den tjeneste, der oprettes forbindelse til, en model er én model, der eksponeres gennem den tjeneste, og en inferensprofil ruter hver type arbejde til en model. Start med udbyderen, og gennemgå derefter de modeller og profiler, der er oprettet omkring den.

Alle skærmbilleder
AI-indstillinger samler cloud- og lokale forbindelser ét sted. Hvert kort viser forbindelsesstatus, og hvor mange gemte modeller der bruger den.
SkærmbilledeMobil visning
Lottis AI-indstillinger med udbyderne Mission Control Router, Habitat Local Lab, Orbital Vision og Penguin Audio Bay

Vælg lokalt eller fjernt​

  • En cloud-udbyder er som regel den hurtigste opsætning og kræver ofte en API-nøgle. Tekst, lyd eller billeder, der sendes igennem den, forlader enheden.
  • En lokal udbyder kan holde inferensen på din egen maskine eller et lokalt endpoint, du kontrollerer, men dens tjeneste skal køre og kunne nås fra den enhed, hvor Lotti kalder den. En LAN-adresse kan stadig flytte en prompt mellem dine enheder; "lokal" betyder, at den ikke sendes til en hostet modeludbyder, ikke at der ikke findes noget netværkshop.
  • En brugerdefineret basis-URL kan pege en understøttet udbydertype mod en kompatibel proxy eller gateway. Udbydertypen styrer stadig protokolspecifik adfærd.

Forbind en udbyder​

  1. Åbn Indstillinger → AI-indstillinger → Udbydere.
  2. Vælg +-knappen.
  3. Vælg en understøttet udbyder.
  4. Indtast dens visningsnavn, endpoint og API-nøgle, hvor det kræves.
  5. Tilføj de foreslåede modeller, du ønsker, og gem så.

For understøttede førstegangsudbydere opretter Lotti nyttige modeller og en eller flere inferensprofiler. Resultatskærmen opsummerer, hvad der blev oprettet.

Alle skærmbilleder
Legitimationsoplysninger forbliver maskerede. Foreslåede modeller er genveje, ikke et krav — du kan tilføje udbyderspecifikke model-ID'er senere.
SkærmbilledeMobil visning
Lottis udbyderredigering for Mission Control Router med OpenRouter valgt, en basis-URL, maskeret API-nøgle og foreslåede modeller

Inspicer og vedligehold forbindelsen​

Åbn et udbyderkort for at inspicere dets maskerede legitimationsoplysning, basis-URL, gemte modeller og enhver aktiv profil, der afhænger af disse modeller. Herfra kan du redigere forbindelsen, tilføje en model mere eller fjerne udbyderen.

Alle skærmbilleder
Afhængighedsoversigten gør konsekvensernes omfang synligt, før du ændrer eller fjerner en udbyder.
SkærmbilledeMobil visning
Udbyderdetaljer for Mission Control Router med dens forbindelse, Waddle Kommando-modeller og den aktive Project Waddle-profil

Ændring af en basis-URL eller API-nøgle påvirker alle modeller, der er knyttet til den pågældende udbyder. Når du har ændret en af værdierne, så verificér en repræsentativ AI-handling, før du antager, at forbindelsen er sund. At fjerne en udbyder kan også påvirke profiler, der ruter arbejde gennem dens modeller; gennemgå afhængighedsoplysningerne først.

Gennemgå profil-routing​

Åbn Modeller og inferensprofiler for at verificere, hvad udbyderen eksponerer, og hvordan Lotti ruter hver kapacitet. Kategorier kan sætte en standardprofil for deres arbejde, mens individuel automatisering kan vælge eller tilsidesætte en model, hvor arbejdsgangen tilbyder det valg.

Privatlivsgrænse​

Før du sender følsom tekst, lyd eller billeder, så bekræft, om det konfigurerede endpoint er lokalt eller fjernt. Et venligt navn som "Habitat Local Lab" er ikke sikkerhedsgrænsen — det er basis-URL'en, netværksstien og den maskine, der betjener den. Lotti gemmer logbogen lokalt uanset hvad; denne beslutning gælder selve inferenskaldet.

API-nøgler

Behandl udbydernøgler som hemmeligheder. Indsæt dem aldrig i dokumentation, issues eller skærmbilleder.