Skip to main content
Paid AddonPurchase Ultimate AI Connector for WebLLM | Install via your site's addon page or download from your account

Ultimate AI Connector for WebLLM

Ultimate AI Connector for WebLLM носи AI изведување нативно во прелистувачот во вашата WordPress multisite мрежа. Извршува големи јазични модели целосно во прелистувачот со користење WebLLM и MLC engine — без API клучеви, без надворешни повици, без податоци што го напуштаат уредот на корисникот.

Клучни функции​

  • Изведување на страната на прелистувачот: LLM се извршува локално во прелистувачот на посетителот преку WebLLM/MLC — не е потребен серверски GPU
  • Пловечки додаток за разговор: Најавените корисници можат да испраќаат барања до LLM на страната на прелистувачот директно од предниот дел
  • Индикатор за статус во администраторската лента: Статусот во реално време на WebLLM engine е видлив во WordPress администраторската лента
  • SharedWorker извршување: Повеќе јазичиња во прелистувачот споделуваат една GPU сесија наместо да се натпреваруваат за GPU ресурси
  • apiFetch посреднички слој: WordPress REST барањата што се совпаѓаат со AI Client SDK образецот транспарентно се насочуваат кон локалниот WebLLM посредник — без loopback HTTP кружно патување
  • Кориснички интерфејс за поставки на додатокот: Поставки во панелот на поврзувачот за вклучување или исклучување на додатокот за разговор и конфигурирање на однесувањето за автоматско барање
  • IndexedDB кеш: Преземањата на тежините на моделот преживуваат CDN пренасочувања што ја нарушуваат стандардната Cache API патека
  • wpai интеграција со филтер: Се поврзува со филтерот wpai_preferred_text_models за функцијата AI Experiments да се насочува кон engine-от во прелистувачот кога е конфигурирано

Барања​

  • WordPress 5.3 или понова верзија
  • PHP 7.4 или понова верзија
  • Ultimate Multisite plugin (активен)
  • Прелистувач со WebGPU поддршка (Chrome 113+, Edge 113+ или Firefox Nightly со овозможен WebGPU)

Инсталација​

  1. Качете ги датотеките на додатокот во вашиот /wp-content/plugins/ директориум
  2. Активирајте го plugin-от преку менито 'Plugins' во WordPress
  3. Одете до Ultimate Multisite → AI Connector за да го конфигурирате додатокот

Пловечки додаток за разговор​

Пловечкиот додаток за разговор му овозможува на секој најавен корисник да комуницира со LLM на страната на прелистувачот директно од вашиот преден дел, без да ја напушти страницата на која се наоѓа.

Што прави​

Кога е овозможено, икона за разговор се појавува во аголот на секоја страница од предниот дел за најавени корисници. Со кликнување на иконата се отвора панел за разговор каде што корисникот може да внесува барања и да добива одговори од локално извршуваниот WebLLM модел. Бидејќи моделот се извршува целосно во прелистувачот, одговорите се приватни и не вклучуваат никаква обработка на серверската страна.

Индикатор за статус во администраторската лента​

WordPress администраторската лента вклучува индикатор за статус што ја прикажува тековната состојба на WebLLM engine:

СтатусЗначење
Се вчитуваMLC engine се иницијализира или презема тежини на моделот
ПодготвеноМоделот е вчитан и достапен за изведување
НеактивноEngine-от е вчитан, но SharedWorker јазичето не е активно
ГрешкаEngine-от не успеа да се иницијализира — проверете ја конзолата на прелистувачот за детали

Индикаторот се ажурира во реално време без потреба од повторно вчитување на страницата.

Како да го овозможите или оневозможите додатокот​

  1. Одете до Ultimate Multisite → AI Connector во мрежната администрација
  2. Најдете го панелот Connector
  3. Вклучете или исклучете Овозможи пловечки додаток за разговор
  4. Зачувајте ги поставките

Додатокот исто така може да се овозможи или оневозможи по site од сопствената администрација на site-от ако мрежниот администратор ја доделил таа можност.

Поставки на додатокот​

Панелот Connector во Ultimate Multisite → AI Connector ги содржи следниве поставки за пловечкиот додаток за разговор:

Овозможи пловечки додаток за разговор​

Го вклучува или исклучува додатокот за разговор за целата мрежа. Кога е оневозможен, додатокот не се појавува на ниту една страница од предниот дел, без оглед на корисничката улога.

Стандардно: Исклучено

Однесување за автоматско барање​

Контролира дали додатокот за разговор автоматски испраќа барање кога корисникот ќе го отвори.

ОпцијаОднесување
ОневозможеноДодатокот се отвора со празен разговор — корисникот го внесува сопственото барање
Контекст на страницатаДодатокот се отвора со однапред пополнето барање врз основа на насловот и содржината на тековната страница
Прилагодено барањеДодатокот се отвора со прилагодено барање што го дефинирате во полето подолу

Кога е поставено на Прилагодено барање, се појавува дополнително текстуално поле каде што можете да го внесете стандардниот текст на барањето. Поддржува основни променливи за шаблон:

  • {site_name} — името на тековниот site
  • {page_title} — насловот на тековната страница
  • {user_display_name} — приказното име на најавениот корисник

Стандардно: Оневозможено

SharedWorker извршување​

Верзијата 1.1.0 воведува SharedWorker извршување за MLC engine. Претходно, секое јазиче во прелистувачот што користеше WebLLM вчитуваше своја инстанца од моделот, натпреварувајќи се за GPU меморија и предизвикувајќи проблеми со перформансите на уреди со ограничен VRAM.

Со SharedWorker извршувањето, едно јазиче дејствува како домаќин на engine-от. Сите други јазичиња комуницираат со таа единствена инстанца преку каналот за пораки на worker-от. Резултатот:

  • Една GPU сесија споделена низ сите отворени јазичиња
  • Побрзи одговори откако моделот ќе се вчита (без повторена иницијализација)
  • Помала врвна употреба на меморија на уредот

SharedWorker е транспарентен за корисниците. Индикаторот за статус во администраторската лента секогаш ја одразува состојбата на споделениот engine, а не на поединечното јазиче.

apiFetch посреднички слој​

Додатокот инсталира apiFetch посреднички слој што ги пресретнува WordPress REST API барањата што се совпаѓаат со AI Client SDK образецот. Наместо да прават loopback HTTP барање до серверот, овие барања се насочуваат директно кон локалниот WebLLM посредник што работи во SharedWorker.

Ова значи дека plugin-и и теми што го користат стандардниот WordPress apiFetch API за повикување AI endpoint-и автоматски ќе имаат корист од моделот на страната на прелистувачот кога е достапен, без потреба од промени во кодот.

Hooks и филтри​

Филтри​

  • wpai_preferred_text_models — Регистрирајте го WebLLM browser engine како претпочитан текстуален модел. Додатокот автоматски се поврзува со овој филтер кога engine е конфигуриран и достапен.
  • ultimate_webllm_widget_enabled — Презапишете ја овозможената состојба на виџетот за конкретен корисник или контекст. Вратете true или false.
  • ultimate_webllm_auto_prompt — Изменете го текстот за auto-prompt пред да се испрати до виџетот. Ги прима prompt низата и тековниот WP_Post објект.

Решавање проблеми​

Виџетот за разговор не се појавува​

  • Потврдете дека корисникот е најавен — виџетот се прикажува само на автентицирани корисници
  • Проверете дали Овозможи лебдечки виџет за разговор е вклучено во Connector панелот
  • Потврдете дека прелистувачот на корисникот поддржува WebGPU (видете ги Барањата погоре)

Индикаторот во admin-bar прикажува „Грешка“​

Отворете ја конзолата за програмери во прелистувачот (F12) и побарајте грешки поврзани со WebLLM. Чести причини:

  • Прелистувачот не поддржува WebGPU
  • Преземањето на тежините на моделот не успеа — проверете ја мрежната поврзаност и обидете се да го исчистите IndexedDB кешот во алатките за програмери на прелистувачот (Application → IndexedDB)
  • Екстензија на прелистувач го блокира SharedWorker

Тежините на моделот се преземаат секојпат​

Додатокот користи IndexedDB како кеш backend за да обезбеди тежините на моделот да преживеат CDN пренасочувања. Ако тежините повторно се преземаат при секоја посета, проверете дали IndexedDB не се чисти од поставка за приватност на прелистувачот или од екстензија.

Дневник на измени​

Видете Дневник на измени за целосната историја на верзии.