Skip to main content
Paid AddonPurchase Ultimate AI Connector for WebLLM | Install via your site's addon page or download from your account

Ultimate AI Connector for WebLLM

Ultimate AI Connector for WebLLM прыносіць інферэнцыю AI на ўласным браўзеры ў вашу WordPress multisite сетку. Ён працуе з вялікімі модэлямі моў («large language models») цалкам у браўзер выкарыстоўваючы WebLLM і рухавік MLC — не патрэбны API ключы, не знешнія выклікі, і ніякія дадзеныя не пакідаюць прылады карыстальніка.

Асноўныя функцыі​

  • Інферэнцыя на боку браўзера: LLM працуе мясцова ў браўзер наведвальніка праз WebLLM/MLC — не патрэбна GPU сервера
  • Плывучы чат-віджэт: Узыковалі карыстальнікі могуць даць пасыл (prompt) браўзер-LLM непасрэдна з фронтэнда
  • Паказальнік стану ў адмін-бары: Рэальны час стан рухавіка WebLLM бачны ў адмін-бары WordPress
  • Рабочая сэсія SharedWorker: Нескваражнія ў многіх табах браўзера падільляюць адзін сеанс GPU, замест таго, каб канкурэваць за рэсурсы GPU
  • Middleware apiFetch: Запыты WordPress REST, якія адпавядаюць пасылу AI Client SDK, празрачна маршрутуюцца да мясцовага брокера WebLLM — без лупбэк HTTP павернення
  • Інтерфейс на ўстаўкі віджэта: Панель Connector для пераключэння чат-віджэта і канфігурацыі паводзінаў аўтаматычнага пасыла
  • Кеш IndexedDB: Загрузкі вагтаў модэлі перажываюць перанаправання CDN, якія ламаюць пачатковы шлях Cache API
  • Інтеграцыя wpai filter: Хукаваецца ў фільтр wpai_preferred_text_models, таму функцыя AI Experiments маршрутуюцца да браўзер-ружыня, калі яна сканфігуравана

Патрабаванні​

  • WordPress 5.3 або больш высокі
  • PHP 7.4 або больш высокі
  • Плагін Ultimate Multisite (актыўны)
  • Браўзер з падтрымкай WebGPU (Chrome 113+, Edge 113+, або Firefox Nightly з уключанай WebGPU)

Устаноўка​

  1. Загрузіце файлы аддонка ў каталог /wp-content/plugins/
  2. Актывуйце плагін праз меню 'Plugins' у WordPress
  3. Адыйце ў Ultimate Multisite → AI Connector, каб сканфігураваць адданак

Плывучы чат-віджэт​

Плывучы чат-віджэт дазваляе любым узыковалым карыстальнікам ад interactваць з браўзер-LLM непасрэдна з вашага фронтэнда, не пакідаjąчы страночку, на якой яны знаходзяцца.

Што ён робіць​

Калі ён актыўны, у кутку кожнай страночкі фронтэнда з'яўляецца значок чату для узыковалых карыстальнікаў. Націску на значок адкрывае панель чату, дзе карыстальнік можа набраць пасыл і атрымаць адказ ад мясцова працуючай модэлі WebLLM. Паколькі модэль працуе цалкам у браўзер, адказы прыватныя і не патрабуюць ніякіх працэсавання на серверы.

Паказальнік стану ў адмін-бары​

Адмін-бар WordPress ўключае паказальнік стану, які паказвае бягучы стан рухавіка WebLLM:

СтатусЗначэнне
LoadingРухавік MLC ініцыялізуецца або загружае вагты модэлі
ReadyМодэль загружана і гатова для інферэнцыі
IdleРухавік загружаны, але таб SharedWorker не актыўны
ErrorРухавік не змог ініцыялізавацца — праверце кансоль браўзера на наяўнасць падрабязнай інфармацыі

Паказальнік абнаўляецца ў рэальным часе без патрабавання паўнавартачнай перазагрузкі страночкі.

Як актываваць або выключыць віджэт​

  1. Адыйце ў Ultimate Multisite → AI Connector у адмініструванні сеткі
  2. Знайдзіце панель Connector
  3. Пераключыце Enable floating chat widget ў выключнае або ў актыўнае
  4. Захаваць налады

Віджэт таксама можна актываваць або выключыць для кожнай страночкі з адміністрування самой страночкі, калі адміністратар сеткі надасць такую магчымасць.

Налады віджэта​

Панель Connector у Ultimate Multisite → AI Connector ўтрымлівае наступныя налады для плывучага чат-віджэта:

Enable Floating Chat Widget​

Пераключае чат-віджэт ў актыўнае або выключнае для ўсей сеткі. Калі ён выключэнне, віджэт не з'яўляецца на якой-лі фронтэнд страночцы, незалежна ад ролі карыстальніка.

Па спілкуванню (Default): Выключна

Auto-Prompt Behaviour​

Кантролюе, ці аўтаматычна адпраўляе чат-віджэт пасыл, калі карыстальнік яго адкрывае.

ВарыянтПаводзіны
DisabledВіджэт адкрываецца з пустым чатом — карыстальнік сам набіра пасыл
Page contextВіджэт адкрываецца з пасылам, якія ўжо зафарбаваны на аснове спасылкі і кантэнту бягучай страночкі
Custom promptВіджэт адкрываецца з карытарным пасылам, які вы вызначаеце ў полі ніжэй

Калі ўстаноўлена Custom prompt, з'яўляецца дадатковае текстовае поле, дзе вы можаце ўвесці карытарны тэкст пасыла. Падтрымліваецца асноўныя тэмаўныя пераменныя:

  • {site_name} — назва бягучай страночкі
  • {page_title} — спасылка бягучай страночкі
  • {user_display_name} — імя карыстальніка, які ўвайшоў

Па спілкуванню (Default): Выключна

SharedWorker Runtime​

Версія 1.1.0 прадстаўляе рабочую сэсію SharedWorker для рухавіка MLC. Ранікам, кожны таб браўзера, які выкарыстоўваў WebLLM, загружаў ўласную ўкарыну модэлі, канкуруючы за памяць GPU і выкOrFailваючы праблемы з прадуктыўнасцю на прыладах з абмежаванай VRAM.

З рабочай сэсіяй SharedWorker адзін таб выступае ў ролі хоста рухавіка. Усе іншыя табы спілкуюцца з гэтай адзінай ўкарынай праз карыстальніцкі канал паведамлення SharedWorker. Вынік:

  • Адна GPU сесія, падільенная ўсімі адкрытымі табамі
  • Більш хуткія адказы пасля загрузкі модэлі (без паўторнай ініцыялізацыі)
  • Ніжэйшы пікавы выкарыстанне памяці на прыладзе

SharedWorker не бачны для карыстальнікаў. Паказальнік стану ў адмін-бары заўсёды адлюстроўвае стан падільнага рухавіка, а не індывідуальнага таба.

Middleware apiFetch​

Адданак устанаўлівае middleware apiFetch, які перахоплюе запыты WordPress REST API, якія адпавядаюць пасылу AI Client SDK. Замест выкаліку HTTP лупбэка на сервер, гэтыя запыты непасрэдна маршрутуюцца да мясцовага брокера WebLLM, які працуе ў SharedWorker.

Гэта азначае, што плагіны і тэмы, якія выкарыстоўваюць стандартны API apiFetch WordPress для выкліку AI endpoints, аўтаматычна атрымаюць выгаду ад браўзер-модэлі, калі яна даступна, без неабходнасці змены кода.

Хукі і фільтры​

Фільтры​

  • wpai_preferred_text_models — Рэгістрацыя браўзер-ружыні WebLLM як пераканаванай тэкставай модэлі. Адданак хукаваецца ў гэты фільтр аўтаматычна, калі рухавік сканфігураваны і даступны.
  • ultimate_webllm_widget_enabled — Пэравызначэнне стану актыўнасці віджэта для канкрэтнага карыстальніка або кантэксту. Паверніце true або false.
  • ultimate_webllm_auto_prompt — Змены тэксту аўтаматычнага пасыла перад яго адпраўленнем у віджэт. Атримуе стрынг пасыла і бягучы актуалны аб'ект WP_Post.

Выяўленне праблем​

Віджэт чату не з'яўляецца​

  • Патвердзіце, што карыстальнік ўвайшоў — віджэт паказваецца толькі аўтэнтыфікаваным карыстальнікам
  • Праверце, што ў панелі Connector пераключэнне Enable floating chat widget актыўнае
  • Праверце, што браўзер карыстальніка падтрымлівае WebGPU (глядзіце "Патрабаванні" вышэй)

Паказальнік адмін-бара паказвае "Error"​

Адкройце кансоль браўзера (F12) і знайце памылкі, звязаныя з WebLLM. Частыя прычыны:

  • Браўзер не падтрымлівае WebGPU
  • Не пайшло загружаванне вагтаў модэлі — праверце падключэнне да сеткі і паспрабуйце очисціць кеш IndexedDB ў інструментах браўзера (Application → IndexedDB)
  • Расшлення браўзера блокуе SharedWorker

Вагты модэлі загружаваецца кожны раз​

Адданак выкарыстоўвае IndexedDB як бекэнд кешу, каб гарантаваць, што вагты модэлі перажываюць перанаправання CDN. Калі вагты перазагружаваецца пры кожнай навіцыгаванні, праверце, што IndexedDB не вычышчаецца ў настаўдыках прыватнасці браўзера або расшленням.

Журнал змены​

Гэта ўсеме можна знайсці ў Changelog для поўнай гісторыі версій.