Rutearbejde med modeller og profiler
En udbyder fortæller Lotti, hvor hun skal forbinde. En model registrerer én udbydermodel-ID og dens kapaciteter. En inferensprofil tildeler derefter disse modeller til jobs, forstår Lotti. Dette udelukker "hvilken model håndterer lyd?" fra alle Individuelle opgaver og automatiseringsregler.
Gennemgå gemte modeller
Åbn Indstillinger → AI-indstillinger → modeller. Listen grupperer modeller efter udbyder og eksponerer kapacitetsfiltre for tekst, billede, lyd og ræsonnement.
Samtidig agent vågner-kontrollen øverst i AI-indstillinger begrænser hvordan Mange forskellige agenter kan lave slutninger på én gang. En højere værdi kan forbedres gennemstrømning, men det øger også samtidige udbyderforespørgsler og lokale Enhed indlæst. Hold det forsigtigt, når en udbyder har strenge prisbegrænsninger eller en Lokal model server har begrænset hukommelse.
Tilføj eller rediger en model
Vælg et modelkort, eller brug + til at tilføje et. En modeldefinition inkluderer:
- udbyderforbindelsen;
- et venligt visningsnavn og valgfri beskrivelse;
- udbyderens præcise model-ID;
- den maksimale fuldførelsestoken-grænse;
- input- og outputmodaliteter; og
- kapabilitetsflag såsom ræsonnement eller funktionskald.
Brug den præcise identifikator, som udbyderen forventer. Visningsnavnet er kun for mennesker; At ændre det ændrer ikke, hvad udbyderen kører. Gør ikke krav på image, Lyd-, værktøjs- eller ræsonnementstøtte, medmindre modellen og endpointet faktisk er Giv det.
Byg en inferensprofil
Åbn Indstillinger → AI-indstillinger → Inferensprofiler. Hver profil er genanvendelig Rutingpolitik. Oversigten viser, hvilken model der betjener hver konfigureret slot.
Rediger en profil for at tildele modeller til de funktioner, du bruger:
- Tænkning er den krævede generelle tekstmodel.
- Thinking (High-End) kan håndtere arbejde, der eksplicit kræver mere En kompetent ræsonnementsvej.
- ** billedgenkendelse** analyserer billeder.
- Transskription konverterer lyd til tekst.
- Billedgenerering skaber opgavekunstværker og andre genererede billeder. Den Den nuværende indbyggede billedgenereringsvej bruger en konfigureret fjernudbyder, så Vælg den udbyder og de referencer, du sender, med samme omhu som enhver anden Anden cloud-inferensrute.
Kun for desktop skjuler en profil på mobile platforme, hvilket er nyttigt, når det er tilfældet Det afhænger af en model, der kun kan nås fra en arbejdsstation. Enhedsfastgørelse er til Automatisk synkroniseret lydbehandling: Nål kun, når den valgte enhed annoncerer De udbydere, der er nødvendige for profilen. Uden en fastgjort enhed er synkroniseret lyd ikke automatisk transskriberet af den profil.
Vælg en model uden at huske ID'er
Modeludvælger starter med leverandøren og viser kun kompatible gemte modeller. Pickeren i en profilslot vil for eksempel ikke tilbyde en lyd-only model Til tekst-ræsonnering.
Sæt en kategori som standard
En kategori kan vælge en standard inferensprofil under Indstillinger → Definitioner → kategorier. Nyt arbejde i den kategori kan derefter arve en Sammenhængende rutepolitik. Vælg den profil, hvis privatliv og kapacitet kombineres matcher kategorien i stedet for kun at vælge ud fra hastighed.
Legacy-profilrute
Den ældre selvstændige Inference Profiles-rute er stadig tilgængelig for Kompatibilitet og redigering af de samme gemte profilposter. Det eksponerer indre model-IDs og giver mindre afhængighedskontekst end AI-indstillinger, så foretræk nuværende AI-indstillings- → Inferensprofiler-side til normal vedligeholdelse.
Continue with AI skills to see how the selected profile becomes en handling på en opgave eller indtastning.