Skip to main content
Paid AddonPurchase Ultimate AI Connector for WebLLM | Install via your site's addon page or download from your account

Ultimate AI Connector for WebLLM

Die Ultimate AI Connector for WebLLM bring AI-inferensie direk in die browser na jou WordPress multisite-netwerk. Dit laat groot taalmodelle (LLM's) heeltemal in die browser loop deur WebLLM en die MLC-enjin te gebruik — geen API-sleutels, geen eksterne oproepe, en geen data verlaat die gebruiker se toestel nie.

Sleutelkenmerke​

  • Inferensie in die browser: LLM loop plaaslik in die besoeker se browser via WebLLM/MLC — geen server-GPU vereis nie
  • Vloeiende chat-widget: Ingelogde gebruikers kan die browser-side LLM direk vanaf die front-end aanstuur
  • Admin-balk statusaanwysing: Real-tyd status van die WebLLM-enjin is sigbaar in die WordPress admin-balk
  • SharedWorker runtime: Meerdere browser-tabs deel een GPU-sessie in plaas daarvan om om GPU-hulpbronne te veg
  • apiFetch middleware: WordPress REST-versoeke wat die AI Client SDK-patroon pas, word deurskynlik na die plaaslike WebLLM-broker gerouteer — geen loopback HTTP-rondreis nie
  • Widget-instellings-UI: Connector-paneelinstellings om die chat-widget te skakel en die outo-promp-gedrag te konfigureer
  • IndexedDB cache: Modelgewig-downloads oorleef CDN-herroepinge wat die standaard Cache API-pad breek
  • wpai filter-integrasie: Haak in die wpai_preferred_text_models filter sodat die AI Experiments-funksie na die browser-enjin gerouteer word wanneer dit gekonfigureer is

Vereistes​

  • WordPress 5.3 of hoër
  • PHP 7.4 of hoër
  • Ultimate Multisite plugin (aktief)
  • 'n Browser met WebGPU-ondersteuning (Chrome 113+, Edge 113+, of Firefox Nightly met WebGPU geaktiveer)

Instalering​

  1. Laai die addon-lêre op na jou /wp-content/plugins/ gids.
  2. Aktiveer die plugin deur die 'Plugins'-menu in WordPress.
  3. Navigeer na Ultimate Multisite → AI Connector om die addon te konfigureer.

Vloeiende Chat-Widget​

Die vloeiende chat-widget laat enige ingelogde gebruiker toe om met die browser-side LLM te interaksieer direk vanaf jou front-end, sonder om die bladsy wat hulle op is, te verlaat.

Wat Dit Doen​

Wanneer dit geaktiveer word, verskyn 'n chat-ikoon in die hoek van elke front-end bladsy vir ingelogde gebruikers. Om op die ikoon te klik, maak 'n chat-paneel oop waar die gebruiker prompts kan tik en antwoorde kan ontvang van die plaaslik loop WebLLM-model. Aangesien die model heeltemal in die browser loop, is die antwoorde privaat en behels geen enige server-kant verwerking nie.

Admin-Balk Statusaanwysing​

Die WordPress admin-balk sluit 'n statusaanwysing in wat die huidige toestand van die WebLLM-enjin toon:

StatusBetekenis
LoadingDie MLC-enjin initialiseer of laai modelgewigte af
ReadyDie model is gelaai en beskikbaar vir inferensie
IdleDie enjin is gelaai, maar die SharedWorker-tab is nie aktief nie
ErrorDie enjin kon nie initialiseer nie — kyk na die browser-konsola vir besonderhede

Die aanwysing word in real-time opgedateer sonder dat 'n bladsyherlaai vereis word.

Hoe om die Widget te Aktiveer of Deaktiveer​

  1. Gaan na Ultimate Multisite → AI Connector in die netwerk-admin.
  2. Vind die Connector paneel.
  3. Skakel Enable floating chat widget aan of af.
  4. Stoor die instellings.

Die widget kan ook per-site geaktiveer of gedeaktiveer word vanaf die site se eie admin as die netwerkbeheerder daardie vermoë gegee het.

Widget-instellings​

Die Connector-paneel in Ultimate Multisite → AI Connector bevat die volgende instellings vir die vloeiende chat-widget:

Enable Floating Chat Widget​

Skakel die chat-widget vir die hele netwerk aan of af. Wanneer dit gedeaktiveer word, verskyn die widget nie op enige front-end bladsy nie, ongeag die gebruiker se rol.

Standaard: Af

Auto-Prompt Gedrag​

Beheer of die chat-widget outomaties 'n prompt stuur wanneer 'n gebruiker dit oopmaak.

OpsieGedrag
DisabledDie widget maak oop met 'n leë chat — die gebruiker tik hul eie prompt.
Page contextDie widget maak oop met 'n voorafgevulde prompt gebaseer op die huidige bladsy se titel en inhoud.
Custom promptDie widget maak oop met 'n aangepaste prompt wat jy in die veld hieronder definieer.

Wanneer dit op Custom prompt gestel word, verskyn 'n bykomende teksveld waar jy die standaard-prompt teks kan invoer. Ondersteun basiese sjabloonvariabels:

  • {site_name} — die naam van die huidige site
  • {page_title} — die titel van die huidige bladsy
  • {user_display_name} — die ingelogde gebruiker se vertoonnaam

Standaard: Af

SharedWorker Runtime​

Weergawe 1.1.0 stel 'n SharedWorker runtime bekend vir die MLC-enjin. Voorheen het elke browser-tab wat WebLLM gebruik, sy eie model-instans gelaai, wat gekonkurreer het om GPU-geheue en prestasieprobleme veroorsaak het op toestelle met beperkte VRAM.

Met die SharedWorker runtime funksioneer een tab as die enjin-werder. Alle ander tabs kommunikeer met daardie enkele instans deur die werker se boodskapkanaal. Die resultaat:

  • Een GPU-sessie wat oor al die oop tabs gedeel word
  • Vinniger antwoorde sodra die model gelaai is (geen herhaalde initialisering nie)
  • Laer piekgeheuegebruik op die toestel

Die SharedWorker is deurskynlik vir gebruikers. Die admin-balk statusaanwysing weerspieël altyd die toestand van die gedeelde enjin, nie die individuele tab nie.

apiFetch Middleware​

Die addon installeer 'n apiFetch middleware wat WordPress REST API-versoeke onderskep wat die AI Client SDK-patroon pas. In plaas daarvan om 'n loopback HTTP-versoek na die bediener te maak, word hierdie versoeke direk na die plaaslike WebLLM-broker gerouteer wat in die SharedWorker loop.

Dit beteken dat plugins en temas wat die standaard WordPress apiFetch API gebruik om AI-eindpunte aan te roep, outomaties sal baat by die browser-side model wanneer dit beskikbaar is, sonder dat enige kodeveranderinge benodig word.

Hooks en Filters​

Filters​

  • wpai_preferred_text_models — Registreer die WebLLM browser-enjin as 'n voorkeur teksmodel. Die addon haak outomaties in hierdie filter wanneer die enjin gekonfigureer en beskikbaar is.
  • ultimate_webllm_widget_enabled — Oorskry die widget-geaktiveerde status vir 'n spesifieke gebruiker of konteks. Gee true of false terug.
  • ultimate_webllm_auto_prompt — Modifiseer die outo-prompt teks voordat dit na die widget gestuur word. Ontvang die prompt-string en die huidige WP_Post objek.

Probleemoplossing​

Die chat-widget verskyn nie​

  • Bevestig dat die gebruiker ingelog is — die widget word slegs vir geauthentiseerde gebruikers getoon.
  • Kontroleer of Enable floating chat widget in die Connector-paneel opgeskakel is.
  • Verifieer dat die gebruiker se browser WebGPU ondersteun (kyk na Vereistes hierbo).

Die admin-balk aanwysing wys "Error"​

Maak die browser-ontwikkelaarskonsola oop (F12) en kyk na WebLLM-verwante foute. Algemene oorsake:

  • Die browser ondersteun nie WebGPU nie.
  • Modelgewig-aflaai misluk — kyk na netwerkverbinding en probeer om die IndexedDB-cache in die browserontwikkelaarhulplewenare te skoon te maak (Application → IndexedDB).
  • 'n Browser-uitbreiding blokkeer die SharedWorker.

Modelgewigte laai elke keer af​

Die addon gebruik IndexedDB as die cache-backend om te verseker dat modelgewigte oorleef CDN-herroepinge. As gewigte by elke besoek herlaai word, kyk of IndexedDB nie deur 'n browser-privaatinstellings of uitbreiding skoongemaak word nie.

Changelog​

Sien Changelog vir die volledige weergawegeskiedenis.