Direcționați munca prin modele și profiluri
Un furnizor îi spune lui Lotti unde să se conecteze. Un model înregistrează ID-ul unui model de furnizor și capabilitățile lui. Un profil de inferență atribuie apoi acele modele tipurilor de muncă pe care le înțelege Lotti. Astfel, întrebarea „ce model se ocupă de audio?” nu mai apare în fiecare sarcină și regulă de automatizare.
Revizuiți modelele salvate
Deschideți Setări → Setări AI → Modele. Lista grupează modelele după furnizor și oferă filtre pentru text, viziune, audio și raționament.
Controlul Activări concurente ale agenților din partea de sus a Setărilor AI limitează câți agenți diferiți pot rula inferență simultan. O valoare mai mare poate îmbunătăți debitul, dar crește și cererile simultane către furnizor, precum și încărcarea dispozitivului local. Păstrați o valoare prudentă dacă furnizorul are limite stricte de rată sau serverul local de modele are memorie limitată.
Adăugați sau editați un model
Selectați un card de model sau folosiți + pentru a adăuga unul. Definiția unui model include conexiunea furnizorului, un nume afișat și o descriere opțională, ID-ul exact al modelului la furnizor, limita maximă de tokenuri pentru completare, modalitățile de intrare și ieșire, precum și marcaje de capabilitate, de exemplu raționament sau apelare de funcții.
Folosiți identificatorul exact așteptat de furnizor. Numele afișat este doar pentru oameni; schimbarea lui nu schimbă ce rulează furnizorul. Nu declarați suport pentru imagini, audio, instrumente sau raționament decât dacă modelul și punctul final îl oferă cu adevărat.
Construiți un profil de inferență
Deschideți Setări → Setări AI → Profiluri de inferență. Fiecare profil este o politică reutilizabilă de rutare. Prezentarea arată ce model deservește fiecare slot configurat.
Editați un profil pentru a atribui modele capabilităților utilizate:
- Raționament este modelul general de text obligatoriu.
- Raționament (avansat) poate gestiona munca ce solicită explicit o cale de raționament mai capabilă.
- Recunoaștere imagine analizează imagini.
- Transcriere convertește audio în text.
- Generare imagine creează ilustrații pentru sarcini și alte imagini generate. Ruta încorporată actuală folosește un furnizor la distanță; alegeți furnizorul și referințele trimise cu aceeași grijă ca pentru orice altă inferență cloud.
Numai desktop ascunde un profil pe platformele mobile, util când depinde de un model accesibil doar de pe o stație de lucru. Fixarea pe dispozitiv este pentru procesarea automată a materialului audio sincronizat: fixați numai când dispozitivul ales expune furnizorii necesari profilului. Fără dispozitiv fixat, materialul audio sincronizat nu este transcris automat de acel profil.
Alegeți un model fără a memora ID-uri
Selectoarele de modele încep cu furnizorul și arată numai modelele salvate compatibile. Selectorul unui slot de profil, de exemplu, nu va oferi un model numai audio pentru raționament textual.
Stabiliți o valoare implicită pentru categorie
O categorie poate alege un profil de inferență implicit în Setări → Definiții → Categorii. Munca nouă din acea categorie poate moșteni astfel o politică de rutare coerentă. Alegeți profilul al cărui amestec de confidențialitate și capabilități se potrivește categoriei, nu numai după viteză.
Ruta veche de profil
Ruta veche independentă Profiluri de inferență rămâne disponibilă pentru compatibilitate și editează aceleași înregistrări de profil stocate. Ea expune ID-uri interne de modele și oferă mai puțin context despre dependențe decât Setările AI, așa că preferați pagina actuală Setări AI → Profiluri de inferență pentru întreținerea obișnuită.
Continuați cu Abilități AI pentru a vedea cum profilul selectat devine o acțiune asupra unei sarcini sau înregistrări.