Skip to main content
Paid AddonPurchase Ultimate AI Connector for WebLLM | Install via your site's addon page or download from your account

Ultimate AI Connector for WebLLM

Ultimate AI Connector for WebLLM prináša natívnu AI inferenciu v prehliadači do vašej WordPress multisite siete. Spúšťa veľké jazykové modely celé v prehliadači pomocou WebLLM a MLC enginu — bez API kľúčov, bez externých volaní, bez odchodu dát zo zariadenia používateľa.

Kľúčové funkcie​

  • Inferencia na strane prehliadača: LLM beží lokálne v prehliadači návštevníka cez WebLLM/MLC — nie je potrebný serverový GPU
  • Plávajúci chat widget: Prihlásení používatelia môžu zadávať prompty pre LLM na strane prehliadača priamo z front endu
  • Indikátor stavu v admin lište: Stav WebLLM enginu v reálnom čase viditeľný v WordPress admin lište
  • SharedWorker runtime: Viaceré karty prehliadača zdieľajú jednu GPU reláciu namiesto toho, aby súperili o GPU zdroje
  • apiFetch middleware: WordPress REST požiadavky zodpovedajúce vzoru AI Client SDK sa transparentne smerujú do lokálneho WebLLM brokera — bez spätného HTTP obehového volania
  • UI nastavení widgetu: Nastavenia panela konektora na prepnutie chat widgetu a konfiguráciu správania automatického promptu
  • IndexedDB cache: Sťahovania váh modelu prežijú CDN presmerovania, ktoré narušia predvolenú cestu Cache API
  • Integrácia wpai filtra: Napája sa na filter wpai_preferred_text_models, takže funkcia AI Experiments smeruje na engine prehliadača, keď je nakonfigurovaná

Požiadavky​

  • WordPress 5.3 alebo vyšší
  • PHP 7.4 alebo vyšší
  • Ultimate Multisite plugin (aktívny)
  • Prehliadač s podporou WebGPU (Chrome 113+, Edge 113+ alebo Firefox Nightly so zapnutým WebGPU)

Inštalácia​

  1. Nahrajte súbory addonu do adresára /wp-content/plugins/
  2. Aktivujte plugin cez menu „Pluginy“ vo WordPress
  3. Prejdite na Ultimate Multisite → AI Connector a nakonfigurujte addon

Plávajúci chat widget​

Plávajúci chat widget umožňuje akémukoľvek prihlásenému používateľovi interagovať s LLM na strane prehliadača priamo z vášho front endu bez opustenia stránky, na ktorej sa nachádza.

Čo robí​

Keď je zapnutý, v rohu každej front-end stránky sa prihláseným používateľom zobrazí ikona chatu. Kliknutím na ikonu sa otvorí chat panel, kde môže používateľ písať prompty a prijímať odpovede od lokálne bežiaceho WebLLM modelu. Keďže model beží celý v prehliadači, odpovede sú súkromné a nezahŕňajú žiadne spracovanie na strane servera.

Indikátor stavu v admin lište​

WordPress admin lišta obsahuje indikátor stavu, ktorý zobrazuje aktuálny stav WebLLM enginu:

StavVýznam
Načítava saMLC engine sa inicializuje alebo sťahuje váhy modelu
PripravenéModel je načítaný a dostupný na inferenciu
NečinnéEngine je načítaný, ale karta SharedWorker nie je aktívna
ChybaEngine sa nepodarilo inicializovať — podrobnosti nájdete v konzole prehliadača

Indikátor sa aktualizuje v reálnom čase bez potreby opätovného načítania stránky.

Ako zapnúť alebo vypnúť widget​

  1. Prejdite na Ultimate Multisite → AI Connector v správe siete
  2. Nájdite panel Connector
  3. Zapnite alebo vypnite Enable floating chat widget
  4. Uložte nastavenia

Widget možno zapnúť alebo vypnúť aj pre jednotlivé stránky z ich vlastnej administrácie, ak správca siete udelil túto možnosť.

Nastavenia widgetu​

Panel Connector v Ultimate Multisite → AI Connector obsahuje nasledujúce nastavenia pre plávajúci chat widget:

Zapnúť plávajúci chat widget​

Zapína alebo vypína chat widget pre celú sieť. Keď je vypnutý, widget sa nezobrazí na žiadnej front-end stránke bez ohľadu na rolu používateľa.

Predvolené: Vypnuté

Správanie automatického promptu​

Určuje, či chat widget automaticky odošle prompt, keď ho používateľ otvorí.

MožnosťSprávanie
VypnutéWidget sa otvorí s prázdnym chatom — používateľ napíše vlastný prompt
Kontext stránkyWidget sa otvorí s predvyplneným promptom na základe názvu a obsahu aktuálnej stránky
Vlastný promptWidget sa otvorí s vlastným promptom, ktorý definujete v poli nižšie

Keď je nastavené Vlastný prompt, zobrazí sa dodatočné textové pole, do ktorého môžete zadať predvolený text promptu. Podporuje základné premenné šablóny:

  • {site_name} — názov aktuálnej stránky
  • {page_title} — názov aktuálnej stránky
  • {user_display_name} — zobrazované meno prihláseného používateľa

Predvolené: Vypnuté

SharedWorker Runtime​

Verzia 1.1.0 zavádza SharedWorker runtime pre MLC engine. Predtým každá karta prehliadača, ktorá používala WebLLM, načítala vlastnú inštanciu modelu, súťažila o GPU pamäť a spôsobovala problémy s výkonom na zariadeniach s obmedzenou VRAM.

So SharedWorker runtime jedna karta funguje ako hostiteľ enginu. Všetky ostatné karty komunikujú s touto jedinou inštanciou cez kanál správ workera. Výsledok:

  • Jedna GPU relácia zdieľaná naprieč všetkými otvorenými kartami
  • Rýchlejšie odpovede po načítaní modelu (bez opakovanej inicializácie)
  • Nižšie špičkové využitie pamäte na zariadení

SharedWorker je pre používateľov transparentný. Indikátor stavu v admin lište vždy odráža stav zdieľaného enginu, nie jednotlivú kartu.

apiFetch Middleware​

Addon inštaluje apiFetch middleware, ktorý zachytáva WordPress REST API požiadavky zodpovedajúce vzoru AI Client SDK. Namiesto vykonania spätného HTTP obehového volania na server sa tieto požiadavky smerujú priamo do lokálneho WebLLM brokera bežiaceho v SharedWorker.

To znamená, že pluginy a témy, ktoré používajú štandardné WordPress apiFetch API na volanie AI endpointov, budú automaticky využívať model na strane prehliadača, keď je dostupný, bez potreby zmien v kóde.

Hooky a filtre​

Filtre​

  • wpai_preferred_text_models — Zaregistruje prehliadačový engine WebLLM ako preferovaný textový model. Addon sa automaticky napojí na tento filter, keď je engine nakonfigurovaný a dostupný.
  • ultimate_webllm_widget_enabled — Prepíše stav povolenia widgetu pre konkrétneho používateľa alebo kontext. Vráťte true alebo false.
  • ultimate_webllm_auto_prompt — Upraví text automatickej výzvy pred jeho odoslaním do widgetu. Prijíma reťazec výzvy a aktuálny objekt WP_Post.

Riešenie problémov​

Chatovací widget sa nezobrazuje​

  • Skontrolujte, či je používateľ prihlásený — widget sa zobrazuje iba overeným používateľom
  • Skontrolujte, či je v paneli Connector zapnutá možnosť Enable floating chat widget
  • Overte, či prehliadač používateľa podporuje WebGPU (pozrite si požiadavky vyššie)

Indikátor v admin-bare zobrazuje „Error“​

Otvorte vývojársku konzolu prehliadača (F12) a vyhľadajte chyby súvisiace s WebLLM. Bežné príčiny:

  • Prehliadač nepodporuje WebGPU
  • Stiahnutie váh modelu zlyhalo — skontrolujte sieťové pripojenie a skúste vymazať vyrovnávaciu pamäť IndexedDB vo vývojárskych nástrojoch prehliadača (Application → IndexedDB)
  • Rozšírenie prehliadača blokuje SharedWorker

Váhy modelu sa sťahujú zakaždým​

Addon používa IndexedDB ako backend vyrovnávacej pamäte, aby sa zabezpečilo, že váhy modelu prežijú presmerovania CDN. Ak sa váhy znova sťahujú pri každej návšteve, skontrolujte, či IndexedDB nevymazáva nastavenie ochrany súkromia prehliadača alebo rozšírenie.

Zoznam zmien​

Úplnú históriu verzií nájdete v časti Zoznam zmien.