Přeskočit na hlavní obsah

Směrování práce pomocí modelů a profilů

Poskytovatel říká Lotti, kam se připojit. Model představuje jedno ID modelu poskytovatele a jeho schopnosti. Profil inference potom přiřazuje tyto modely k úlohám, pro které Lotti nabízí volby. Otázku „který model zpracovává zvuk?“ tak nemusíš řešit v každém úkolu a pravidle automatizace.

Prohlížej uložené modely​

Otevři Nastavení → Nastavení AI → Modely. Seznam seskupuje modely podle poskytovatele a nabízí filtry schopností pro text, obraz, zvuk a uvažování.

Všechny snímky
Prostor Project Waddle kombinuje cloudové a místní modely a schopnosti každého modelu drží výslovně viditelné.
Snímek obrazovkyMobilní pohled
Seznam modelů AI v Lotti s textovými, uvažovacími, obrazovými, přepisovacími a generativními modely Project Waddle

Ovládání Souběžná probuzení agentů nahoře v Nastavení AI omezuje počet různých agentů, kteří mohou současně spouštět inferenci. Vyšší hodnota může zvýšit propustnost, ale také počet souběžných požadavků na poskytovatele a zátěž místního zařízení. Nech ji raději nižší, když má poskytovatel přísné limity nebo místní server modelů omezenou paměť.

Přidej nebo uprav model​

Vyber kartu modelu nebo ho přidej pomocí +. Definice obsahuje:

  • připojení poskytovatele;
  • zobrazený název a volitelný popis;
  • přesné ID modelu u poskytovatele;
  • nejvyšší počet tokenů dokončení;
  • vstupní a výstupní modality; a
  • příznaky schopností jako uvažování nebo volání funkcí.
Všechny snímky
Metadata schopností jsou důležitá: Lotti podle nich rozhoduje, které modely lze použít v jednotlivých pozicích profilu a jednorázových výběrech.
Snímek obrazovkyMobilní pohled
Editor modelu Lotti pro Waddle Command 70B s poskytovatelem, ID modelu, limitem dokončení, modalitami a schopností uvažování

Použij přesný identifikátor očekávaný poskytovatelem. Zobrazovaný název je jen pro lidi; jeho změna nemění model, který poskytovatel spouští. Neuváděj podporu obrázků, zvuku, nástrojů nebo uvažování, pokud je daný model a koncový bod skutečně neposkytují.

Sestav profil inference​

Otevři Nastavení → Nastavení AI → Profily inference. Každý profil je opakovaně použitelné pravidlo směrování. Přehled ukazuje model přiřazený ke každé nastavené pozici.

Všechny snímky
Profily mohou optimalizovat odlišné hranice: široký cloudový profil, místní profil jen pro počítač nebo specializovaný profil uvažování.
Snímek obrazovkyMobilní pohled
Profily inference Lotti Velení Project Waddle, Obydlí přednostně místně a Rybí diplomacie s jejich směrovanými modely

Uprav profil a přiřaď modely používaným schopnostem:

  • Přemýšlení je povinný obecný textový model.
  • Přemýšlení (špičkové) může zpracovat práci výslovně žádající schopnější cestu uvažování.
  • Rozpoznání obrázků analyzuje obrázky.
  • Přepis převádí zvuk na text.
  • Generování obrázků vytváří grafiku úkolů a další generované obrázky. Aktuální vestavěná cesta generování obrázků používá nastaveného vzdáleného poskytovatele; poskytovatele i odeslané reference proto vybírej se stejnou péčí jako u jiné cloudové inference.
Všechny snímky
Jeden profil směruje všechny modality Project Waddle bez opakování voleb modelů v jednotlivých úkolech.
Snímek obrazovkyMobilní pohled
Editor profilu Velení Project Waddle s přiřazeným modelem přemýšlení, špičkového uvažování, rozpoznání obrázků, přepisu a generování obrázků

Přepínač Jen pro počítač skryje profil na mobilních platformách, což se hodí, pokud závisí na modelu dostupném pouze z pracovní stanice. Připnutí zařízení slouží pro automatické zpracování synchronizovaného zvuku: připínej jen zařízení, které nabízí poskytovatele vyžadované profilem. Bez připnutého zařízení se synchronizovaný zvuk tímto profilem automaticky nepřepisuje.

Vyber model bez pamatování ID​

Výběr modelu začíná poskytovatelem a ukazuje jen kompatibilní uložené modely. Výběr v textové pozici profilu například nenabídne model určený pouze pro zvuk.

Všechny snímky
Nejdřív vyber poskytovatele; Lotti potom zúží další stránku na vhodné modely z tohoto připojení.
Snímek obrazovkyMobilní pohled
Dialog Vybrat model v Lotti s poskytovateli OpenRouter, Ollama a Google Gemini nad editorem profilu Project Waddle

Nastav výchozí profil kategorie​

Kategorie může zvolit výchozí profil inference v Nastavení → Definice → Kategorie. Nová práce v kategorii potom může zdědit ucelené směrování. Vyber profil, jehož kombinace soukromí a schopností odpovídá kategorii, ne pouze nejrychlejší možnost.

Všechny snímky
Označení Jen pro počítač zviditelňuje platformní omezení před výběrem výchozího profilu kategorie.
Snímek obrazovkyMobilní pohled
Editor kategorie Tučňáčí provoz s dialogem profilů Velení Project Waddle, Obydlí přednostně místně a Rybí diplomacie

Starší cesta profilu​

Starší samostatná cesta Profily inference zůstává kvůli kompatibilitě a upravuje stejné uložené profily. Ukazuje interní ID modelů a méně kontextu závislostí než Nastavení AI, proto pro běžnou údržbu používej aktuální stránku Nastavení AI → Profily inference.

Všechny snímky
Tuto obrazovku kompatibility použij jen při příchodu ze staršího odkazu; aktuální karty profilů v Nastavení AI se lépe kontrolují.
Snímek obrazovkyMobilní pohled
Starší stránka Profily inference Lotti zobrazující pozice profilu Project Waddle jako interní identifikátory modelů

V části Dovednosti AI zjistíš, jak se vybraný profil stane akcí na úkolu nebo záznamu.