Skip to main content
Paid AddonPurchase Ultimate AI Connector for WebLLM | Install via your site's addon page or download from your account

Ultimate AI Connector for WebLLM

Ultimate AI Connector for WebLLM nodrošina pārlūkā natīvu AI inferenci jūsu WordPress multisite tīklā. Tas palaiž lielos valodas modeļus pilnībā pārlūkā, izmantojot WebLLM un MLC dzini — bez API atslēgām, bez ārējiem izsaukumiem, bez datu atstāšanas no lietotāja ierīces.

Galvenās funkcijas​

  • Inference pārlūka pusē: LLM darbojas lokāli apmeklētāja pārlūkā, izmantojot WebLLM/MLC — servera GPU nav nepieciešams
  • Peldošs tērzēšanas logrīks: Pieteikušies lietotāji var dot uzvednes pārlūka puses LLM tieši no priekšgala
  • Admin joslas statusa indikators: WebLLM dzinēja reāllaika statuss ir redzams WordPress admin joslā
  • SharedWorker izpildlaiks: Vairākas pārlūka cilnes koplieto vienu GPU sesiju, nevis sacenšas par GPU resursiem
  • apiFetch starpprogrammatūra: WordPress REST pieprasījumi, kas atbilst AI Client SDK modelim, tiek caurspīdīgi maršrutēti uz lokālo WebLLM brokeri — bez atgriezeniska HTTP pieprasījuma
  • Logrīka iestatījumu UI: Savienotāja paneļa iestatījumi tērzēšanas logrīka ieslēgšanai vai izslēgšanai un automātiskās uzvednes darbības konfigurēšanai
  • IndexedDB kešatmiņa: Modeļa svaru lejupielādes saglabājas arī pēc CDN pāradresācijām, kas sabojā noklusējuma Cache API ceļu
  • wpai filtra integrācija: Pieslēdzas wpai_preferred_text_models filtram, lai AI Experiments funkcija maršrutētu uz pārlūka dzini, kad tas ir konfigurēts

Prasības​

  • WordPress 5.3 vai jaunāka versija
  • PHP 7.4 vai jaunāka versija
  • Ultimate Multisite plugin (aktīvs)
  • Pārlūks ar WebGPU atbalstu (Chrome 113+, Edge 113+ vai Firefox Nightly ar iespējotu WebGPU)

Instalēšana​

  1. Augšupielādējiet papildinājuma failus savā /wp-content/plugins/ direktorijā
  2. Aktivizējiet plugin, izmantojot WordPress izvēlni “Plugins”
  3. Dodieties uz Ultimate Multisite → AI Connector, lai konfigurētu papildinājumu

Peldošs tērzēšanas logrīks​

Peldošais tērzēšanas logrīks ļauj jebkuram pieteikušamies lietotājam mijiedarboties ar pārlūka puses LLM tieši no jūsu priekšgala, neatstājot lapu, kurā viņš atrodas.

Ko tas dara​

Kad tas ir iespējots, katras priekšgala lapas stūrī pieteikušiem lietotājiem parādās tērzēšanas ikona. Noklikšķinot uz ikonas, tiek atvērts tērzēšanas panelis, kur lietotājs var ierakstīt uzvednes un saņemt atbildes no lokāli darbojošā WebLLM modeļa. Tā kā modelis darbojas pilnībā pārlūkā, atbildes ir privātas un neietver nekādu servera puses apstrādi.

Admin joslas statusa indikators​

WordPress admin joslā ir statusa indikators, kas rāda pašreizējo WebLLM dzinēja stāvokli:

StatussNozīme
IelādējasMLC dzinis inicializējas vai lejupielādē modeļa svarus
GatavsModelis ir ielādēts un pieejams inferencei
DīkstāvēDzinis ir ielādēts, bet SharedWorker cilne nav aktīva
KļūdaDzinim neizdevās inicializēties — pārbaudiet pārlūka konsoli, lai iegūtu informāciju

Indikators tiek atjaunināts reāllaikā, neprasot lapas pārlādēšanu.

Kā iespējot vai atspējot logrīku​

  1. Tīkla administrācijā dodieties uz Ultimate Multisite → AI Connector
  2. Atrodiet Connector paneli
  3. Ieslēdziet vai izslēdziet Enable floating chat widget
  4. Saglabājiet iestatījumus

Logrīku var iespējot vai atspējot arī katrai vietnei atsevišķi no pašas vietnes administrācijas, ja tīkla administrators ir piešķīris šo iespēju.

Logrīka iestatījumi​

Ultimate Multisite → AI Connector sadaļas Connector panelī ir šādi peldošā tērzēšanas logrīka iestatījumi:

Iespējot peldošo tērzēšanas logrīku​

Ieslēdz vai izslēdz tērzēšanas logrīku visam tīklam. Kad tas ir atspējots, logrīks neparādās nevienā priekšgala lapā neatkarīgi no lietotāja lomas.

Noklusējums: Izslēgts

Automātiskās uzvednes darbība​

Nosaka, vai tērzēšanas logrīks automātiski nosūta uzvedni, kad lietotājs to atver.

OpcijaDarbība
AtspējotsLogrīks tiek atvērts tukšā tērzēšanā — lietotājs ieraksta savu uzvedni
Lapas kontekstsLogrīks tiek atvērts ar iepriekš aizpildītu uzvedni, pamatojoties uz pašreizējās lapas virsrakstu un saturu
Pielāgota uzvedneLogrīks tiek atvērts ar pielāgotu uzvedni, kuru definējat tālāk esošajā laukā

Kad ir iestatīts Pielāgota uzvedne, parādās papildu teksta lauks, kurā varat ievadīt noklusējuma uzvednes tekstu. Atbalsta pamata veidņu mainīgos:

  • {site_name} — pašreizējās vietnes nosaukums
  • {page_title} — pašreizējās lapas virsraksts
  • {user_display_name} — pieteikušā lietotāja parādāmais vārds

Noklusējums: Atspējots

SharedWorker izpildlaiks​

Versija 1.1.0 ievieš SharedWorker izpildlaiku MLC dzinim. Iepriekš katra pārlūka cilne, kas izmantoja WebLLM, ielādēja savu modeļa instanci, sacenšoties par GPU atmiņu un radot veiktspējas problēmas ierīcēs ar ierobežotu VRAM.

Ar SharedWorker izpildlaiku viena cilne darbojas kā dzinēja resursdators. Visas pārējās cilnes sazinās ar šo vienīgo instanci, izmantojot worker ziņojumu kanālu. Rezultāts:

  • Viena GPU sesija, kas koplietota visās atvērtajās cilnēs
  • Ātrākas atbildes pēc modeļa ielādes (bez atkārtotas inicializācijas)
  • Mazāks maksimālais atmiņas lietojums ierīcē

SharedWorker lietotājiem ir caurspīdīgs. Admin joslas statusa indikators vienmēr atspoguļo koplietotā dzinēja stāvokli, nevis atsevišķas cilnes stāvokli.

apiFetch starpprogrammatūra​

Papildinājums instalē apiFetch starpprogrammatūru, kas pārtver WordPress REST API pieprasījumus, kuri atbilst AI Client SDK modelim. Tā vietā, lai veiktu atgriezenisku HTTP pieprasījumu uz serveri, šie pieprasījumi tiek maršrutēti tieši uz lokālo WebLLM brokeri, kas darbojas SharedWorker.

Tas nozīmē, ka plugin un tēmas, kas izmanto standarta WordPress apiFetch API, lai izsauktu AI endpointus, automātiski gūs labumu no pārlūka puses modeļa, kad tas būs pieejams, bez nepieciešamām koda izmaiņām.

Āķi un filtri​

Filtri​

  • wpai_preferred_text_models — Reģistrē WebLLM pārlūka dzini kā vēlamo teksta modeli. Papildinājums automātiski pieslēdzas šim filtram, kad dzinis ir konfigurēts un pieejams.
  • ultimate_webllm_widget_enabled — Pārraksta logrīka iespējoto stāvokli konkrētam lietotājam vai kontekstam. Atgriež true vai false.
  • ultimate_webllm_auto_prompt — Maina automātiskās uzvednes tekstu, pirms tas tiek nosūtīts uz logrīku. Saņem uzvednes virkni un pašreizējo WP_Post objektu.

Problēmu novēršana​

Tērzēšanas logrīks neparādās​

  • Pārliecinieties, ka lietotājs ir pieteicies — logrīks tiek rādīts tikai autentificētiem lietotājiem
  • Pārbaudiet, vai Connector panelī ir ieslēgta opcija Iespējot peldošo tērzēšanas logrīku
  • Pārbaudiet, vai lietotāja pārlūks atbalsta WebGPU (skatiet prasības iepriekš)

Admin joslas indikators rāda "Kļūda"​

Atveriet pārlūka izstrādātāja konsoli (F12) un meklējiet ar WebLLM saistītas kļūdas. Biežākie iemesli:

  • Pārlūks neatbalsta WebGPU
  • Modeļa svaru lejupielāde neizdevās — pārbaudiet tīkla savienojumu un mēģiniet notīrīt IndexedDB kešatmiņu pārlūka izstrādātāja rīkos (Application → IndexedDB)
  • Pārlūka paplašinājums bloķē SharedWorker

Modeļa svari tiek lejupielādēti katru reizi​

Papildinājums izmanto IndexedDB kā kešatmiņas aizmugursistēmu, lai nodrošinātu, ka modeļa svari saglabājas pēc CDN pāradresācijām. Ja svari tiek atkārtoti lejupielādēti katrā apmeklējumā, pārbaudiet, vai IndexedDB netiek notīrīts pārlūka privātuma iestatījuma vai paplašinājuma dēļ.

Izmaiņu žurnāls​

Pilnu versiju vēsturi skatiet Izmaiņu žurnālā.