Paid AddonPurchase Ultimate AI Connector for WebLLM | Install via your site's addon page or download from your account

Ultimate AI Connector for WebLLM

Ultimate AI Connector for WebLLM sjell inferencën AI natyrale në shfletues në rrjetin tuaj multisite WordPress. Ai ekzekuton modele të mëdha gjuhësore tërësisht në shfletues duke përdorur WebLLM dhe motorin MLC — pa API keys, pa thirrje të jashtme, pa të dhëna që largohen nga pajisja e përdoruesit.

Veçoritë Kryesore

• Inferencë në anën e shfletuesit: LLM ekzekutohet lokalisht në shfletuesin e vizitorit përmes WebLLM/MLC — nuk kërkohet GPU serveri
• Widget chat-i lundrues: Përdoruesit e identifikuar mund t’i japin prompt LLM-së në anën e shfletuesit drejtpërdrejt nga pjesa e përparme
• Tregues statusi në shiritin e adminit: Statusi në kohë reale i motorit WebLLM i dukshëm në shiritin e adminit të WordPress
• Runtime SharedWorker: Disa skeda shfletuesi ndajnë një sesion GPU në vend që të konkurrojnë për burimet GPU
• Middleware apiFetch: Kërkesat WordPress REST që përputhen me modelin AI Client SDK drejtohen në mënyrë transparente te brokeri lokal WebLLM — pa udhëtim vajtje-ardhje loopback HTTP
• UI e cilësimeve të widget-it: Cilësime të panelit të konektorit për të aktivizuar/çaktivizuar widget-in e chat-it dhe për të konfiguruar sjelljen e auto-prompt
• Cache IndexedDB: Shkarkimet e peshave të modelit i mbijetojnë ridrejtimeve CDN që prishin shtegun e parazgjedhur të Cache API
• Integrim me filtrin wpai: Lidhet me filtrin wpai_preferred_text_models në mënyrë që veçoria AI Experiments të drejtohet te motori i shfletuesit kur konfigurohet

Kërkesat

• WordPress 5.3 ose më i lartë
• PHP 7.4 ose më i lartë
• Plugin Ultimate Multisite (aktiv)
• Një shfletues me mbështetje WebGPU (Chrome 113+, Edge 113+, ose Firefox Nightly me WebGPU të aktivizuar)

Instalimi

1. Ngarkoni skedarët e addon-it në direktoriumin tuaj /wp-content/plugins/
2. Aktivizoni plugin-in përmes menusë 'Plugins' në WordPress
3. Shkoni te Ultimate Multisite → AI Connector për të konfiguruar addon-in

Widget Chat-i Lundrues

Widget-i lundrues i chat-it i lejon çdo përdoruesi të identifikuar të ndërveprojë me LLM-në në anën e shfletuesit drejtpërdrejt nga pjesa juaj e përparme, pa u larguar nga faqja ku ndodhen.

Çfarë Bën

Kur aktivizohet, një ikonë chat-i shfaqet në cepin e çdo faqeje të pjesës së përparme për përdoruesit e identifikuar. Klikimi i ikonës hap një panel chat-i ku përdoruesi mund të shkruajë prompt-e dhe të marrë përgjigje nga modeli WebLLM që ekzekutohet lokalisht. Meqenëse modeli ekzekutohet tërësisht në shfletues, përgjigjet janë private dhe nuk përfshijnë asnjë përpunim në anën e serverit.

Treguesi i Statusit në Shiritin e Adminit

Shiriti i adminit i WordPress përfshin një tregues statusi që shfaq gjendjen aktuale të motorit WebLLM:

Statusi	Kuptimi
Duke u ngarkuar	Motori MLC po inicializohet ose po shkarkon peshat e modelit
Gati	Modeli është ngarkuar dhe i disponueshëm për inferencë
Joaktiv	Motori është ngarkuar, por skeda SharedWorker nuk është aktive
Gabim	Motori dështoi të inicializohej — kontrolloni konsolën e shfletuesit për detaje

Treguesi përditësohet në kohë reale pa kërkuar ringarkim të faqes.

Si ta Aktivizoni ose Çaktivizoni Widget-in

1. Shkoni te Ultimate Multisite → AI Connector në adminin e rrjetit
2. Gjeni panelin Connector
3. Aktivizoni ose çaktivizoni Enable floating chat widget
4. Ruani cilësimet

Widget-i mund të aktivizohet ose çaktivizohet gjithashtu për çdo site nga admini i vetë site-it nëse administratori i rrjetit e ka dhënë atë aftësi.

Cilësimet e Widget-it

Paneli Connector në Ultimate Multisite → AI Connector përmban cilësimet e mëposhtme për widget-in lundrues të chat-it:

Aktivizo Widget-in Lundrues të Chat-it

Aktivizon ose çaktivizon widget-in e chat-it për të gjithë rrjetin. Kur është i çaktivizuar, widget-i nuk shfaqet në asnjë faqe të pjesës së përparme, pavarësisht rolit të përdoruesit.

Parazgjedhja: Joaktiv

Sjellja e Auto-Prompt

Kontrollon nëse widget-i i chat-it dërgon automatikisht një prompt kur një përdorues e hap atë.

Opsioni	Sjellja
I çaktivizuar	Widget-i hapet me një chat bosh — përdoruesi shkruan prompt-in e vet
Konteksti i faqes	Widget-i hapet me një prompt të paraplotësuar bazuar në titullin dhe përmbajtjen e faqes aktuale
Prompt i personalizuar	Widget-i hapet me një prompt të personalizuar që e përcaktoni në fushën më poshtë

Kur vendoset në Prompt i personalizuar, shfaqet një fushë shtesë teksti ku mund të futni tekstin e parazgjedhur të prompt-it. Mbështet variabla bazë template:

• {site_name} — emri i site-it aktual
• {page_title} — titulli i faqes aktuale
• {user_display_name} — emri i shfaqur i përdoruesit të identifikuar

Parazgjedhja: I çaktivizuar

Runtime SharedWorker

Versioni 1.1.0 prezanton një runtime SharedWorker për motorin MLC. Më parë, çdo skedë shfletuesi që përdorte WebLLM ngarkonte instancën e vet të modelit, duke konkurruar për memorien GPU dhe duke shkaktuar probleme performance në pajisje me VRAM të kufizuar.

Me runtime-in SharedWorker, një skedë vepron si host i motorit. Të gjitha skedat e tjera komunikojnë me atë instancë të vetme përmes kanalit të mesazheve të worker-it. Rezultati:

• Një sesion GPU i ndarë në të gjitha skedat e hapura
• Përgjigje më të shpejta pasi modeli të jetë ngarkuar (pa inicializim të përsëritur)
• Përdorim më i ulët i memories maksimale në pajisje

SharedWorker është transparent për përdoruesit. Treguesi i statusit në shiritin e adminit gjithmonë pasqyron gjendjen e motorit të përbashkët, jo të skedës individuale.

Middleware apiFetch

Addon-i instalon një middleware apiFetch që intercepton kërkesat WordPress REST API që përputhen me modelin AI Client SDK. Në vend që të bëhen kërkesa loopback HTTP te serveri, këto kërkesa drejtohen drejtpërdrejt te brokeri lokal WebLLM që ekzekutohet në SharedWorker.

Kjo do të thotë se plugin-et dhe theme-et që përdorin API-n standarde apiFetch të WordPress për të thirrur endpoint-e AI do të përfitojnë automatikisht nga modeli në anën e shfletuesit kur ai është i disponueshëm, pa kërkuar ndryshime në kod.

Hooks dhe Filtra

Filtra

• wpai_preferred_text_models — Regjistron motorin e shfletuesit WebLLM si një model teksti të preferuar. Shtesa lidhet automatikisht me këtë filtër kur motori është i konfiguruar dhe i disponueshëm.
• ultimate_webllm_widget_enabled — Mbishkruan gjendjen e aktivizimit të widget-it për një përdorues ose kontekst specifik. Kthe true ose false.
• ultimate_webllm_auto_prompt — Modifikon tekstin e auto-prompt-it përpara se të dërgohet te widget-i. Merr vargun e prompt-it dhe objektin aktual WP_Post.

Zgjidhja e problemeve

Widget-i i chat-it nuk shfaqet

• Konfirmo që përdoruesi është i identifikuar — widget-i shfaqet vetëm për përdoruesit e autentikuar
• Kontrollo që Enable floating chat widget është i aktivizuar në panelin Connector
• Verifiko që shfletuesi i përdoruesit mbështet WebGPU (shih Kërkesat më sipër)

Treguesi i shiritit të adminit tregon "Gabim"

Hap konsolën e zhvilluesit të shfletuesit (F12) dhe kërko gabime të lidhura me WebLLM. Shkaqe të zakonshme:

• Shfletuesi nuk mbështet WebGPU
• Shkarkimi i peshave të modelit dështoi — kontrollo lidhjen e rrjetit dhe provo të pastrosh cache-in IndexedDB në mjetet e zhvilluesit të shfletuesit (Application → IndexedDB)
• Një extension i shfletuesit po bllokon SharedWorker

Peshat e modelit shkarkohen çdo herë

Shtesa përdor IndexedDB si backend cache për të siguruar që peshat e modelit t’u mbijetojnë ridrejtimeve CDN. Nëse peshat po rishkarkohen në çdo vizitë, kontrollo që IndexedDB të mos po pastrohet nga një cilësim privatësie i shfletuesit ose nga një extension.

Changelog

Shih Changelog për historikun e plotë të versioneve.