Rutearbejde med modeller og profiler
En udbyder fortæller Lotti, hvor der skal oprettes forbindelse. En model registrerer ét udbydermodel-ID og dets kapaciteter. En inferensprofil tildeler derefter disse modeller til de jobs, Lotti forstår. Det holder spørgsmålet "hvilken model håndterer lyd?" ude af hver enkelt opgave og automatiseringsregel.
Gennemgå gemte modeller
Åbn Indstillinger → AI-indstillinger → Modeller. Listen grupperer modeller efter udbyder og viser kapacitetsfiltre for tekst, vision, lyd og ræsonnement.
Kontrollen Samtidig agent vågner øverst i AI-indstillinger begrænser, hvor mange forskellige agenter der må køre inferens på én gang. En højere værdi kan forbedre gennemløbet, men den øger også antallet af samtidige udbyderforespørgsler og belastningen på den lokale enhed. Hold den konservativ, når en udbyder har strenge hastighedsgrænser, eller en lokal modelserver har begrænset hukommelse.
Tilføj eller rediger en model
Vælg et modelkort, eller brug + til at tilføje et. En modeldefinition omfatter:
- udbyderforbindelsen;
- et venligt visningsnavn og en valgfri beskrivelse;
- udbyderens præcise model-ID;
- den maksimale grænse for fuldførelsestokens;
- input- og outputmodaliteter; og
- kapacitetsflag såsom ræsonnement eller funktionskald.
Brug den præcise identifikator, som udbyderen forventer. Visningsnavnet er kun til mennesker; at ændre det ændrer ikke, hvad udbyderen kører. Angiv ikke understøttelse af billeder, lyd, værktøjer eller ræsonnement, medmindre modellen og endpointet faktisk leverer den.
Byg en inferensprofil
Åbn Indstillinger → AI-indstillinger → Inferensprofiler. Hver profil er en genanvendelig rutingpolitik. Oversigten viser, hvilken model der betjener hver konfigureret slot.
Rediger en profil for at tildele modeller til de kapaciteter, du bruger:
- Tænkning er den påkrævede generelle tekstmodel.
- Tænkning (High-End) kan håndtere arbejde, der eksplicit beder om den mere kapable ræsonnementsvej.
- Billedgenkendelse analyserer billeder.
- Udskrift konverterer lyd til tekst.
- Billedgenerering skaber opgavekunst og andre genererede billeder. Den nuværende indbyggede billedgenereringsvej bruger en konfigureret fjernudbyder, så vælg den udbyder og de referencer, du sender, med samme omhu som enhver anden cloud-inferensrute.
Kun skrivebord skjuler en profil på mobile platforme, hvilket er nyttigt, når den afhænger af en model, der kun kan nås fra en arbejdsstation. Enhedsfastgørelse er til automatisk behandling af synkroniseret lyd: fastgør kun, når den valgte enhed annoncerer de udbydere, profilen kræver. Uden en fastgjort enhed bliver synkroniseret lyd ikke automatisk transskriberet af den profil.
Vælg en model uden at huske ID'er
Modelvælgere starter med udbyderen og viser kun kompatible gemte modeller. Vælgeren i en profilslot vil for eksempel ikke tilbyde en ren lydmodel til tekstræsonnement.
Sæt en kategoristandard
En kategori kan vælge en standard-inferensprofil under Indstillinger → Definitioner → Kategorier. Nyt arbejde i den kategori kan derefter arve en sammenhængende rutingpolitik. Vælg den profil, hvis blanding af privatliv og kapacitet matcher kategorien, i stedet for kun at vælge efter hastighed.
Legacy-profilrute
Den ældre selvstændige Inferensprofiler-rute er stadig tilgængelig af kompatibilitetshensyn og redigerer de samme gemte profilposter. Den viser interne model-ID'er og giver mindre afhængighedskontekst end AI-indstillinger, så foretræk den nuværende side AI-indstillinger → Inferensprofiler til normal vedligeholdelse.
Fortsæt med AI-færdigheder for at se, hvordan den valgte profil bliver til en handling på en opgave eller post.