Skip to main content
Paid AddonPurchase Ultimate AI Connector for WebLLM | Install via your site's addon page or download from your account

Ultimate AI Connector for WebLLM

Ultimate AI Connector for WebLLM браузерге кіріктірілген AI inference мүмкіндігін WordPress multisite желіңізге әкеледі. Ол WebLLM және MLC қозғалтқышын пайдаланып, үлкен тілдік модельдерді толығымен браузерде іске қосады — API кілттері жоқ, сыртқы шақырулар жоқ, пайдаланушы құрылғысынан дерек шықпайды.

Негізгі мүмкіндіктер​

  • Браузер жағындағы inference: LLM WebLLM/MLC арқылы келушінің браузерінде жергілікті іске қосылады — серверлік GPU қажет емес
  • Қалқымалы чат виджеті: Жүйеге кірген пайдаланушылар браузер жағындағы LLM-ге тікелей front end-тен prompt жібере алады
  • Admin-bar күй индикаторы: WordPress admin bar ішінде WebLLM қозғалтқышының нақты уақыттағы күйі көрінеді
  • SharedWorker орындау ортасы: Бірнеше браузер қойындысы GPU ресурстары үшін таласпай, бір GPU сессиясын ортақ пайдаланады
  • apiFetch middleware: AI Client SDK үлгісіне сәйкес келетін WordPress REST сұраулары жергілікті WebLLM broker-ге мөлдір түрде бағытталады — loopback HTTP айналма сұрауы жоқ
  • Виджет параметрлерінің UI: Чат виджетін қосып-өшіруге және auto-prompt әрекетін баптауға арналған Connector панелі параметрлері
  • IndexedDB кэші: Модель салмақтарын жүктеулер әдепкі Cache API жолын бұзатын CDN қайта бағыттауларынан кейін де сақталады
  • wpai filter интеграциясы: AI Experiments мүмкіндігі бапталған кезде браузер қозғалтқышына бағытталуы үшін wpai_preferred_text_models filter-іне қосылады

Талаптар​

  • WordPress 5.3 немесе одан жоғары
  • PHP 7.4 немесе одан жоғары
  • Ultimate Multisite plugin (белсенді)
  • WebGPU қолдауы бар браузер (Chrome 113+, Edge 113+ немесе WebGPU қосылған Firefox Nightly)

Орнату​

  1. Addon файлдарын /wp-content/plugins/ каталогыңызға жүктеңіз
  2. Plugin-ді WordPress ішіндегі 'Plugins' мәзірі арқылы белсендіріңіз
  3. Addon-ды баптау үшін Ultimate Multisite → AI Connector бөліміне өтіңіз

Қалқымалы чат виджеті​

Қалқымалы чат виджеті жүйеге кірген кез келген пайдаланушыға өзі тұрған беттен шықпай-ақ, браузер жағындағы LLM-мен тікелей front end арқылы әрекеттесуге мүмкіндік береді.

Ол не істейді​

Қосылған кезде, жүйеге кірген пайдаланушылар үшін әрбір front-end беттің бұрышында чат белгішесі пайда болады. Белгішені басқанда, пайдаланушы prompt-тар теріп, жергілікті іске қосылған WebLLM моделінен жауаптар ала алатын чат панелі ашылады. Модель толығымен браузерде іске қосылатындықтан, жауаптар жеке болып қалады және ешқандай сервер жағындағы өңдеуді қамтымайды.

Admin-Bar күй индикаторы​

WordPress admin bar құрамында WebLLM қозғалтқышының ағымдағы күйін көрсететін күй индикаторы бар:

КүйМағынасы
ЖүктелудеMLC қозғалтқышы инициализацияланып жатыр немесе модель салмақтарын жүктеп жатыр
ДайынМодель жүктелген және inference үшін қолжетімді
БосҚозғалтқыш жүктелген, бірақ SharedWorker қойындысы белсенді емес
ҚатеҚозғалтқышты инициализациялау сәтсіз аяқталды — мәліметтер үшін браузер консолін тексеріңіз

Индикатор бетті қайта жүктеуді қажет етпей, нақты уақытта жаңартылады.

Виджетті қалай қосуға немесе өшіруге болады​

  1. Желі әкімшілігінде Ultimate Multisite → AI Connector бөліміне өтіңіз
  2. Connector панелін табыңыз
  3. Қалқымалы чат виджетін қосу параметрін қосыңыз немесе өшіріңіз
  4. Параметрлерді сақтаңыз

Желі әкімшісі бұл мүмкіндікті берген болса, виджетті әр site үшін сол site-тың өз admin бөлімінен де қосуға немесе өшіруге болады.

Виджет параметрлері​

Ultimate Multisite → AI Connector ішіндегі Connector панелінде қалқымалы чат виджетіне арналған келесі параметрлер бар:

Қалқымалы чат виджетін қосу​

Бүкіл желі үшін чат виджетін қосады немесе өшіреді. Өшірулі кезде, пайдаланушы рөліне қарамастан, виджет ешбір front-end бетте пайда болмайды.

Әдепкі: Өшірулі

Auto-Prompt әрекеті​

Пайдаланушы чат виджетін ашқанда, виджет prompt-ты автоматты түрде жіберетін-жібермейтінін басқарады.

ОпцияӘрекет
ӨшірілгенВиджет бос чатпен ашылады — пайдаланушы өз prompt-ын тереді
Бет контекстіВиджет ағымдағы беттің тақырыбы мен мазмұны негізінде алдын ала толтырылған prompt-пен ашылады
Теңшелетін promptВиджет төмендегі өрісте анықтайтын теңшелетін prompt-пен ашылады

Теңшелетін prompt мәніне орнатылғанда, әдепкі prompt мәтінін енгізуге болатын қосымша мәтін өрісі пайда болады. Негізгі шаблон айнымалыларына қолдау көрсетіледі:

  • {site_name} — ағымдағы site атауы
  • {page_title} — ағымдағы беттің тақырыбы
  • {user_display_name} — жүйеге кірген пайдаланушының көрсетілетін аты

Әдепкі: Өшірілген

SharedWorker орындау ортасы​

1.1.0 нұсқасы MLC қозғалтқышы үшін SharedWorker орындау ортасын енгізеді. Бұрын WebLLM пайдаланған әрбір браузер қойындысы модельдің өз данасын жүктеп, GPU жады үшін бәсекелесетін және VRAM көлемі шектеулі құрылғыларда өнімділік мәселелерін туындататын.

SharedWorker орындау ортасымен бір қойынды қозғалтқыш host-ы ретінде әрекет етеді. Барлық басқа қойындылар worker хабар арнасы арқылы сол бір данамен байланысады. Нәтиже:

  • Барлық ашық қойындылар бойынша ортақ пайдаланылатын бір GPU сессиясы
  • Модель жүктелгеннен кейін жылдамырақ жауаптар (қайталанатын инициализация жоқ)
  • Құрылғыдағы ең жоғары жады қолдануы төменірек

SharedWorker пайдаланушылар үшін мөлдір. Admin-bar күй индикаторы жеке қойындының емес, әрқашан ортақ қозғалтқыштың күйін көрсетеді.

apiFetch Middleware​

Addon AI Client SDK үлгісіне сәйкес келетін WordPress REST API сұрауларын ұстап алатын apiFetch middleware орнатады. Серверге loopback HTTP сұрауын жасаудың орнына, бұл сұраулар SharedWorker ішінде жұмыс істейтін жергілікті WebLLM broker-ге тікелей бағытталады.

Бұл стандартты WordPress apiFetch API-ын AI endpoint-терін шақыру үшін пайдаланатын plugin-дер мен theme-дер модель қолжетімді болған кезде ешқандай код өзгерісін қажет етпей-ақ, браузер жағындағы модельдің пайдасын автоматты түрде көретінін білдіреді.

Hook-тар және Filter-лер​

Filter-лер​

  • wpai_preferred_text_models — WebLLM браузер қозғалтқышын таңдаулы мәтін моделі ретінде тіркеу. Қозғалтқыш бапталып, қолжетімді болғанда, addon бұл filter-ге автоматты түрде қосылады.
  • ultimate_webllm_widget_enabled — Нақты пайдаланушы немесе контекст үшін widget қосылған күйін қайта анықтау. true немесе false қайтарыңыз.
  • ultimate_webllm_auto_prompt — Auto-prompt мәтінін widget-ке жіберілмес бұрын өзгерту. Prompt жолын және ағымдағы WP_Post объектісін қабылдайды.

Ақауларды жою​

Chat widget көрінбейді​

  • Пайдаланушы жүйеге кіргенін растаңыз — widget тек аутентификацияланған пайдаланушыларға көрсетіледі
  • Connector панелінде Қалқымалы chat widget-ті қосу қосулы екенін тексеріңіз
  • Пайдаланушы браузері WebGPU-ді қолдайтынын тексеріңіз (жоғарыдағы Талаптарды қараңыз)

Admin-bar индикаторы "Қате" көрсетеді​

Браузер әзірлеуші консолін (F12) ашып, WebLLM-ге қатысты қателерді іздеңіз. Жиі себептер:

  • Браузер WebGPU-ді қолдамайды
  • Модель салмақтарын жүктеп алу сәтсіз аяқталды — желі байланысын тексеріп, браузер әзірлеуші құралдарында IndexedDB кэшін тазалап көріңіз (Application → IndexedDB)
  • Браузер кеңейтімі SharedWorker-ді бұғаттап тұр

Модель салмақтары әр жолы жүктеледі​

Addon модель салмақтары CDN қайта бағыттауларынан кейін де сақталуын қамтамасыз ету үшін кэш backend ретінде IndexedDB қолданады. Егер салмақтар әр кірген сайын қайта жүктелсе, IndexedDB браузердің құпиялылық баптауы немесе кеңейтім арқылы тазаланбайтынын тексеріңіз.

Өзгерістер журналы​

Толық нұсқа тарихын Өзгерістер журналынан қараңыз.