Пређи на главни садржај
Paid AddonPurchase Ultimate AI Connector for WebLLM | Install via your site's addon page or download from your account

Ultimate AI Connector за WebLLM

Ultimate AI Connector за WebLLM доноси AI закључивање изворно у прегледачу у вашу WordPress мрежу више сајтова. Покреће велике језичке моделе у потпуности у прегледачу користећи WebLLM и MLC engine — без API кључева, без спољних позива, без напуштања података са уређаја корисника.

Кључне функције​

  • Закључивање на страни прегледача: LLM ради локално у прегледачу посетиоца преко WebLLM/MLC — није потребан серверски GPU
  • Плутајући виџет за ћаскање: Пријављени корисници могу да шаљу упите LLM-у на страни прегледача директно са предњег дела
  • Индикатор статуса у администраторској траци: Статус WebLLM engine-а у реалном времену видљив у WordPress администраторској траци
  • SharedWorker runtime: Више картица прегледача дели једну GPU сесију уместо да се надмеће за GPU ресурсе
  • apiFetch middleware: WordPress REST захтеви који одговарају AI Client SDK обрасцу транспарентно се усмеравају ка локалном WebLLM посреднику — без loopback HTTP повратног пута
  • UI подешавања виџета: Подешавања панела конектора за укључивање/искључивање виџета за ћаскање и конфигурисање понашања аутоматског упита
  • IndexedDB кеш: Преузимања тежина модела преживљавају CDN преусмеравања која кваре подразумевану Cache API путању
  • wpai интеграција филтера: Повезује се са филтером wpai_preferred_text_models тако да функција AI Experiments усмерава ка engine-у прегледача када је конфигурисано

Захтеви​

  • WordPress 5.3 или новији
  • PHP 7.4 или новији
  • Ultimate Multisite plugin (активан)
  • Прегледач са WebGPU подршком (Chrome 113+, Edge 113+ или Firefox Nightly са омогућеним WebGPU)

Инсталација​

  1. Отпремите датотеке додатка у ваш /wp-content/plugins/ директоријум
  2. Активирајте plugin преко менија „Plugins“ у WordPress-у
  3. Идите на Ultimate Multisite → AI Connector да конфигуришете додатак

Плутајући виџет за ћаскање​

Плутајући виџет за ћаскање омогућава сваком пријављеном кориснику да комуницира са LLM-ом на страни прегледача директно са вашег предњег дела, без напуштања странице на којој се налази.

Шта ради​

Када је омогућено, икона за ћаскање појављује се у углу сваке странице предњег дела за пријављене кориснике. Кликом на икону отвара се панел за ћаскање где корисник може да унесе упите и прими одговоре од локално покренутог WebLLM модела. Пошто модел ради у потпуности у прегледачу, одговори су приватни и не укључују никакву обраду на страни сервера.

Индикатор статуса у администраторској траци​

WordPress администраторска трака укључује индикатор статуса који приказује тренутно стање WebLLM engine-а:

СтатусЗначење
УчитавањеMLC engine се иницијализује или преузима тежине модела
СпремноМодел је учитан и доступан за закључивање
НеактивноEngine је учитан, али SharedWorker картица није активна
ГрешкаEngine није успео да се иницијализује — проверите конзолу прегледача за детаље

Индикатор се ажурира у реалном времену без потребе за поновним учитавањем странице.

Како омогућити или онемогућити виџет​

  1. Идите на Ultimate Multisite → AI Connector у мрежној администрацији
  2. Пронађите панел Connector
  3. Укључите или искључите Enable floating chat widget
  4. Сачувајте подешавања

Виџет се такође може омогућити или онемогућити по сајту из сопствене администрације сајта ако је администратор мреже доделио ту могућност.

Подешавања виџета​

Панел Connector у Ultimate Multisite → AI Connector садржи следећа подешавања за плутајући виџет за ћаскање:

Омогући плутајући виџет за ћаскање​

Укључује или искључује виџет за ћаскање за целу мрежу. Када је онемогућен, виџет се не појављује ни на једној страници предњег дела, без обзира на улогу корисника.

Подразумевано: Искључено

Понашање аутоматског упита​

Контролише да ли виџет за ћаскање аутоматски шаље упит када га корисник отвори.

ОпцијаПонашање
ОнемогућеноВиџет се отвара са празним ћаскањем — корисник уноси сопствени упит
Контекст страницеВиџет се отвара са унапред попуњеним упитом на основу наслова и садржаја тренутне странице
Прилагођени упитВиџет се отвара са прилагођеним упитом који дефинишете у пољу испод

Када је подешено на Прилагођени упит, појављује се додатно текстуално поље у које можете да унесете подразумевани текст упита. Подржава основне променљиве шаблона:

  • {site_name} — назив тренутног сајта
  • {page_title} — наслов тренутне странице
  • {user_display_name} — приказано име пријављеног корисника

Подразумевано: Онемогућено

SharedWorker Runtime​

Верзија 1.1.0 уводи SharedWorker runtime за MLC engine. Раније је свака картица прегледача која је користила WebLLM учитавала сопствену инстанцу модела, такмичећи се за GPU меморију и изазивајући проблеме са перформансама на уређајима са ограниченим VRAM-ом.

Са SharedWorker runtime-ом, једна картица делује као домаћин engine-а. Све остале картице комуницирају са том једном инстанцом кроз канал порука worker-а. Резултат:

  • Једна GPU сесија дељена преко свих отворених картица
  • Бржи одговори када је модел учитан (без поновљене иницијализације)
  • Мања вршна употреба меморије на уређају

SharedWorker је транспарентан за кориснике. Индикатор статуса у администраторској траци увек одражава стање дељеног engine-а, а не појединачне картице.

apiFetch Middleware​

Додатак инсталира apiFetch middleware који пресреће WordPress REST API захтеве који одговарају AI Client SDK обрасцу. Уместо прављења loopback HTTP захтева ка серверу, ови захтеви се усмеравају директно ка локалном WebLLM посреднику који ради у SharedWorker-у.

То значи да ће plugin-ови и теме које користе стандардни WordPress apiFetch API за позивање AI endpoint-а аутоматски имати користи од модела на страни прегледача када је доступан, без потребе за изменама кода.

Куке и филтери​

Филтери​

  • wpai_preferred_text_models — Региструје WebLLM browser engine као пожељни текстуални модел. Додатак се аутоматски повезује на овај филтер када је engine конфигурисан и доступан.
  • ultimate_webllm_widget_enabled — Замењује омогућено стање виџета за одређеног корисника или контекст. Вратите true или false.
  • ultimate_webllm_auto_prompt — Мења текст аутоматског упита пре него што се пошаље виџету. Прима ниску упита и тренутни WP_Post објекат.

Решавање проблема​

Виџет за ћаскање се не појављује​

  • Потврдите да је корисник пријављен — виџет се приказује само аутентификованим корисницима
  • Проверите да је Enable floating chat widget укључено у панелу Connector
  • Проверите да ли прегледач корисника подржава WebGPU (погледајте Захтеве изнад)

Индикатор у администраторској траци приказује „Error“​

Отворите конзолу за програмере у прегледачу (F12) и потражите грешке повезане са WebLLM. Уобичајени узроци:

  • Прегледач не подржава WebGPU
  • Преузимање тежина модела није успело — проверите мрежну повезаност и покушајте да обришете IndexedDB кеш у алатима за програмере у прегледачу (Application → IndexedDB)
  • Екстензија прегледача блокира SharedWorker

Тежине модела се преузимају сваки пут​

Додатак користи IndexedDB као позадински систем кеша како би осигурао да тежине модела преживе CDN преусмеравања. Ако се тежине поново преузимају при свакој посети, проверите да IndexedDB не брише подешавање приватности прегледача или екстензија.

Дневник измена​

Погледајте Дневник измена за пуну историју верзија.