Paid AddonPurchase Ultimate AI Connector for WebLLM | Install via your site's addon page or download from your account

Ultimate AI Connector for WebLLM

Ultimate AI Connector for WebLLM donosi AI inferenciju izvornu za preglednik u vašu WordPress multisite mrežu. Pokreće velike jezične modele u potpunosti u pregledniku koristeći WebLLM i MLC engine — bez API ključeva, bez vanjskih poziva, bez napuštanja podataka korisnikova uređaja.

Ključne značajke

• Inferencija na strani preglednika: LLM se pokreće lokalno u posjetiteljevu pregledniku putem WebLLM/MLC — nije potreban serverski GPU
• Plutajući widget za chat: Prijavljeni korisnici mogu slati upite LLM-u na strani preglednika izravno s front enda
• Indikator statusa u admin traci: Status WebLLM enginea u stvarnom vremenu vidljiv u WordPress admin traci
• SharedWorker runtime: Više kartica preglednika dijeli jednu GPU sesiju umjesto da se natječu za GPU resurse
• apiFetch middleware: WordPress REST zahtjevi koji odgovaraju AI Client SDK obrascu transparentno se usmjeravaju lokalnom WebLLM brokeru — bez povratnog HTTP obilaska
• UI postavki widgeta: Postavke panela konektora za uključivanje ili isključivanje widgeta za chat i konfiguriranje ponašanja automatskog upita
• IndexedDB predmemorija: Preuzimanja težina modela preživljavaju CDN preusmjeravanja koja prekidaju zadanu Cache API putanju
• wpai filter integracija: Povezuje se s filterom wpai_preferred_text_models kako bi značajka AI Experiments usmjeravala na engine u pregledniku kada je konfigurirano

Zahtjevi

• WordPress 5.3 ili noviji
• PHP 7.4 ili noviji
• Ultimate Multisite plugin (aktivan)
• Preglednik s podrškom za WebGPU (Chrome 113+, Edge 113+ ili Firefox Nightly s omogućenim WebGPU-om)

Instalacija

1. Prenesite datoteke dodatka u svoj /wp-content/plugins/ direktorij
2. Aktivirajte plugin kroz izbornik 'Plugins' u WordPress
3. Idite na Ultimate Multisite → AI Connector kako biste konfigurirali dodatak

Plutajući widget za chat

Plutajući widget za chat omogućuje svakom prijavljenom korisniku interakciju s LLM-om na strani preglednika izravno s vašeg front enda, bez napuštanja stranice na kojoj se nalazi.

Što radi

Kada je omogućen, ikona chata pojavljuje se u kutu svake front-end stranice za prijavljene korisnike. Klikom na ikonu otvara se panel za chat u kojem korisnik može upisivati upite i primati odgovore od lokalno pokrenutog WebLLM modela. Budući da se model pokreće u potpunosti u pregledniku, odgovori su privatni i ne uključuju nikakvu obradu na strani servera.

Indikator statusa u admin traci

WordPress admin traka uključuje indikator statusa koji prikazuje trenutačno stanje WebLLM enginea:

Status	Značenje
Učitavanje	MLC engine se inicijalizira ili preuzima težine modela
Spremno	Model je učitan i dostupan za inferenciju
Neaktivno	Engine je učitan, ali SharedWorker kartica nije aktivna
Pogreška	Engine se nije uspio inicijalizirati — provjerite konzolu preglednika za detalje

Indikator se ažurira u stvarnom vremenu bez potrebe za ponovnim učitavanjem stranice.

Kako omogućiti ili onemogućiti widget

1. Idite na Ultimate Multisite → AI Connector u mrežnom adminu
2. Pronađite panel Connector
3. Uključite ili isključite Omogući plutajući widget za chat
4. Spremite postavke

Widget se također može omogućiti ili onemogućiti po web-mjestu iz vlastitog admina web-mjesta ako je mrežni administrator dodijelio tu mogućnost.

Postavke widgeta

Panel Connector u Ultimate Multisite → AI Connector sadrži sljedeće postavke za plutajući widget za chat:

Omogući plutajući widget za chat

Uključuje ili isključuje widget za chat za cijelu mrežu. Kada je onemogućen, widget se ne pojavljuje ni na jednoj front-end stranici, bez obzira na korisničku ulogu.

Zadano: Isključeno

Ponašanje automatskog upita

Kontrolira šalje li widget za chat automatski upit kada ga korisnik otvori.

Opcija	Ponašanje
Onemogućeno	Widget se otvara s praznim chatom — korisnik upisuje vlastiti upit
Kontekst stranice	Widget se otvara s unaprijed popunjenim upitom na temelju naslova i sadržaja trenutačne stranice
Prilagođeni upit	Widget se otvara s prilagođenim upitom koji definirate u polju ispod

Kada je postavljeno na Prilagođeni upit, pojavljuje se dodatno tekstno polje u koje možete unijeti zadani tekst upita. Podržava osnovne varijable predložaka:

• {site_name} — naziv trenutačnog web-mjesta
• {page_title} — naslov trenutačne stranice
• {user_display_name} — prikazano ime prijavljenog korisnika

Zadano: Onemogućeno

SharedWorker Runtime

Verzija 1.1.0 uvodi SharedWorker runtime za MLC engine. Prije je svaka kartica preglednika koja je koristila WebLLM učitavala vlastitu instancu modela, natječući se za GPU memoriju i uzrokujući probleme s performansama na uređajima s ograničenim VRAM-om.

Uz SharedWorker runtime, jedna kartica djeluje kao domaćin enginea. Sve ostale kartice komuniciraju s tom jednom instancom putem kanala poruka workera. Rezultat:

• Jedna GPU sesija dijeljena među svim otvorenim karticama
• Brži odgovori nakon što se model učita (bez ponovljene inicijalizacije)
• Niža vršna potrošnja memorije na uređaju

SharedWorker je transparentan korisnicima. Indikator statusa u admin traci uvijek odražava stanje dijeljenog enginea, a ne pojedinačne kartice.

apiFetch Middleware

Dodatak instalira apiFetch middleware koji presreće WordPress REST API zahtjeve koji odgovaraju AI Client SDK obrascu. Umjesto upućivanja povratnog HTTP zahtjeva serveru, ti se zahtjevi usmjeravaju izravno lokalnom WebLLM brokeru koji se pokreće u SharedWorkeru.

To znači da će pluginovi i teme koji koriste standardni WordPress apiFetch API za pozivanje AI endpointa automatski imati koristi od modela na strani preglednika kada je dostupan, bez potrebnih izmjena koda.

Hookovi i filteri

Filteri

• wpai_preferred_text_models — Registrirajte WebLLM preglednički engine kao preferirani tekstualni model. Addon se automatski povezuje s ovim filterom kada je engine konfiguriran i dostupan.
• ultimate_webllm_widget_enabled — Nadjačajte omogućeno stanje widgeta za određenog korisnika ili kontekst. Vratite true ili false.
• ultimate_webllm_auto_prompt — Izmijenite tekst automatskog prompta prije nego što se pošalje widgetu. Prima niz prompta i trenutačni WP_Post objekt.

Rješavanje problema

Chat widget se ne pojavljuje

• Potvrdite da je korisnik prijavljen — widget se prikazuje samo autentificiranim korisnicima
• Provjerite je li Enable floating chat widget uključeno u panelu Connector
• Provjerite podržava li korisnikov preglednik WebGPU (pogledajte Zahtjeve iznad)

Indikator admin trake prikazuje "Error"

Otvorite konzolu za razvojne programere u pregledniku (F12) i potražite pogreške povezane s WebLLM-om. Uobičajeni uzroci:

• Preglednik ne podržava WebGPU
• Preuzimanje težina modela nije uspjelo — provjerite mrežnu povezivost i pokušajte očistiti IndexedDB predmemoriju u alatima za razvojne programere preglednika (Application → IndexedDB)
• Proširenje preglednika blokira SharedWorker

Težine modela preuzimaju se svaki put

Addon koristi IndexedDB kao cache backend kako bi osigurao da težine modela prežive CDN preusmjeravanja. Ako se težine ponovno preuzimaju pri svakom posjetu, provjerite briše li IndexedDB neka postavka privatnosti preglednika ili proširenje.

Dnevnik promjena

Pogledajte Dnevnik promjena za potpunu povijest verzija.