Skip to main content
Paid AddonPurchase Ultimate AI Connector for WebLLM | Install via your site's addon page or download from your account

Ultimate AI Connector for WebLLM

Ultimate AI Connector for WebLLM сиздин WordPress мультисайт тармагыңызга браузерде түз иштеген AI inference алып келет. Ал чоң тил моделдерин WebLLM жана MLC кыймылдаткычы аркылуу толугу менен браузерде иштетет — API ачкычтары жок, тышкы чакыруулар жок, колдонуучунун түзмөгүнөн маалымат чыкпайт.

Негизги мүмкүнчүлүктөр​

  • Браузер тараптагы inference: LLM WebLLM/MLC аркылуу коноктун браузеринде жергиликтүү иштейт — сервердик GPU талап кылынбайт
  • Калкыма чат виджети: Кирген колдонуучулар браузер тараптагы LLMге түз эле алдыңкы бөлүктөн суроо жөнөтө алышат
  • Admin-bar абал көрсөткүчү: WebLLM кыймылдаткычынын реалдуу убакыттагы абалы WordPress админ тилкесинде көрүнөт
  • SharedWorker иштөө чөйрөсү: Бир нече браузер өтмөктөрү GPU ресурстары үчүн атаандашпай, бир GPU сеансын бөлүшөт
  • apiFetch ортомчусу: AI Client SDK үлгүсүнө дал келген WordPress REST сурамдары жергиликтүү WebLLM брокерине ачык-айкын багытталат — loopback HTTP айланып өтүү чакыруусу жок
  • Виджет жөндөөлөрүнүн UI: Чат виджетин күйгүзүп-өчүрүү жана авто-суроо жүрүм-турумун конфигурациялоо үчүн коннектор панелинин жөндөөлөрү
  • IndexedDB кэши: Модель салмактарын жүктөөлөр демейки Cache API жолун бузган CDN кайра багыттоолорунан кийин да сакталат
  • wpai чыпка интеграциясы: wpai_preferred_text_models чыпкасына туташып, AI Experiments мүмкүнчүлүгү конфигурацияланганда браузер кыймылдаткычына багытталышын камсыздайт

Талаптар​

  • WordPress 5.3 же андан жогору
  • PHP 7.4 же андан жогору
  • Ultimate Multisite плагини (активдүү)
  • WebGPU колдоосу бар браузер (Chrome 113+, Edge 113+ же WebGPU иштетилген Firefox Nightly)

Орнотуу​

  1. Кошумча файлдарын /wp-content/plugins/ каталогуңузга жүктөңүз
  2. Плагинди WordPress ичиндеги 'Plugins' менюсу аркылуу активдештириңиз
  3. Кошумчаны конфигурациялоо үчүн Ultimate Multisite → AI Connector бөлүмүнө өтүңүз

Калкыма чат виджети​

Калкыма чат виджети кирген каалаган колдонуучуга учурдагы барактан чыкпастан, сиздин алдыңкы бөлүгүңүздөн браузер тараптагы LLM менен түз өз ара аракеттенүүгө мүмкүндүк берет.

Ал эмне кылат​

Иштетилгенде, кирген колдонуучулар үчүн ар бир алдыңкы беттин бурчунда чат сөлөкөтү пайда болот. Сөлөкөттү басканда, колдонуучу суроолорду терип, жергиликтүү иштеп жаткан WebLLM моделинен жооп ала турган чат панели ачылат. Модель толугу менен браузерде иштегендиктен, жооптор купуя жана эч кандай сервер тараптагы иштетүүнү камтыбайт.

Admin-Bar абал көрсөткүчү​

WordPress админ тилкеси WebLLM кыймылдаткычынын учурдагы абалын көрсөткөн абал көрсөткүчүн камтыйт:

АбалМааниси
ЖүктөлүүдөMLC кыймылдаткычы баштапкы абалга келүүдө же модель салмактарын жүктөп жатат
ДаярМодель жүктөлдү жана inference үчүн жеткиликтүү
БошКыймылдаткыч жүктөлгөн, бирок SharedWorker өтмөгү активдүү эмес
КатаКыймылдаткычты баштапкы абалга келтирүү ишке ашкан жок — толук маалымат үчүн браузер консолун текшериңиз

Көрсөткүч баракты кайра жүктөөнү талап кылбастан реалдуу убакытта жаңыртылат.

Виджетти кантип иштетүү же өчүрүү керек​

  1. Тармак администраторунда Ultimate Multisite → AI Connector бөлүмүнө өтүңүз
  2. Connector панелин табыңыз
  3. Enable floating chat widget параметрин күйгүзүңүз же өчүрүңүз
  4. Жөндөөлөрдү сактаңыз

Эгер тармак администратору ошол мүмкүнчүлүктү берген болсо, виджетти сайттын өз админ бөлүгүнөн ар бир сайт үчүн өзүнчө да иштетүүгө же өчүрүүгө болот.

Виджет жөндөөлөрү​

Ultimate Multisite → AI Connector ичиндеги Connector панели калкыма чат виджети үчүн төмөнкү жөндөөлөрдү камтыйт:

Калкыма чат виджетин иштетүү​

Чат виджетин бүтүндөй тармак үчүн күйгүзөт же өчүрөт. Өчүрүлгөндө, колдонуучу ролуна карабастан виджет эч бир алдыңкы бетте көрүнбөйт.

Демейки: Өчүк

Авто-суроо жүрүм-туруму​

Колдонуучу чат виджетин ачканда, виджет автоматтык түрдө суроо жөнөтөр-жөнөтпөсүн башкарат.

ПараметрЖүрүм-турум
ӨчүрүлгөнВиджет бош чат менен ачылат — колдонуучу өз суроосун терет
Барак контекстиВиджет учурдагы барактын аталышына жана мазмунуна негизделип алдын ала толтурулган суроо менен ачылат
Ыңгайлаштырылган сурооВиджет төмөнкү талаада сиз аныктаган ыңгайлаштырылган суроо менен ачылат

Ыңгайлаштырылган суроо деп коюлганда, демейки суроо текстин киргизе турган кошумча текст талаасы пайда болот. Негизги шаблон өзгөрмөлөрүн колдойт:

  • {site_name} — учурдагы сайттын аты
  • {page_title} — учурдагы барактын аталышы
  • {user_display_name} — кирген колдонуучунун көрсөтүлүүчү аты

Демейки: Өчүрүлгөн

SharedWorker иштөө чөйрөсү​

1.1.0 версиясы MLC кыймылдаткычы үчүн SharedWorker иштөө чөйрөсүн киргизет. Мурда WebLLM колдонгон ар бир браузер өтмөгү моделдин өз нускасын жүктөп, GPU эс тутуму үчүн атаандашып, VRAM чектелген түзмөктөрдө өндүрүмдүүлүк көйгөйлөрүн жаратчу.

SharedWorker иштөө чөйрөсү менен бир өтмөк кыймылдаткыч хосту катары иштейт. Бардык башка өтмөктөр ошол жалгыз нуска менен workerдин билдирүү каналы аркылуу байланышат. Натыйжа:

  • Бардык ачык өтмөктөр боюнча бөлүшүлгөн бир GPU сеансы
  • Модель жүктөлгөндөн кийин тезирээк жооптор (кайталанган баштапкы абалга келтирүү жок)
  • Түзмөктө эң жогорку эс тутум колдонулушунун төмөндөшү

SharedWorker колдонуучулар үчүн ачык-айкын иштейт. Admin-bar абал көрсөткүчү ар дайым жеке өтмөктүн эмес, бөлүшүлгөн кыймылдаткычтын абалын чагылдырат.

apiFetch ортомчусу​

Кошумча AI Client SDK үлгүсүнө дал келген WordPress REST API сурамдарын кармап калуучу apiFetch ортомчусун орнотот. Серверге loopback HTTP сурамын жасоонун ордуна, бул сурамдар түздөн-түз SharedWorker ичинде иштеп жаткан жергиликтүү WebLLM брокерине багытталат.

Бул стандарттык WordPress apiFetch APIсын колдонуп AI endpointтерин чакырган плагиндер жана темалар жеткиликтүү болгондо браузер тараптагы моделден автоматтык түрдө пайда көрөт дегенди билдирет, кодго өзгөртүү киргизүү талап кылынбайт.

Hooks жана чыпкалар​

Чыпкалар​

  • wpai_preferred_text_models — WebLLM браузер кыймылдаткычын артыкчылыктуу текст модели катары каттаңыз. Кыймылдаткыч конфигурацияланып, жеткиликтүү болгондо кошумча бул filter'ге автоматтык түрдө туташат.
  • ultimate_webllm_widget_enabled — Белгилүү бир колдонуучу же контекст үчүн виджеттин иштетилген абалын өзгөртүңүз. true же false кайтарыңыз.
  • ultimate_webllm_auto_prompt — Авто-суроо-талап тексти виджетке жөнөтүлөрдөн мурун аны өзгөртүңүз. Суроо-талап сабын жана учурдагы WP_Post объектин алат.

Мүчүлүштүктөрдү чечүү​

Чат виджети көрүнбөйт​

  • Колдонуучу киргенин ырастаңыз — виджет аутентификацияланган колдонуучуларга гана көрсөтүлөт
  • Connector панелинде Калкыма чат виджетин иштетүү күйгүзүлгөнүн текшериңиз
  • Колдонуучунун браузери WebGPU колдоорун текшериңиз (жогорудагы Талаптарды караңыз)

admin-bar индикатору "Ката" көрсөтөт​

Браузердин иштеп чыгуучу консолун (F12) ачыңыз жана WebLLM менен байланышкан каталарды издеңиз. Көп кездешкен себептер:

  • Браузер WebGPU колдобойт
  • Моделдин салмактарын жүктөп алуу ишке ашкан жок — тармак туташуусун текшериңиз жана браузердин иштеп чыгуучу куралдарында IndexedDB кэшин тазалап көрүңүз (Application → IndexedDB)
  • Браузер кеңейтүүсү SharedWorker'ди бөгөттөп жатат

Моделдин салмактары ар бир жолу жүктөлөт​

Кошумча моделдин салмактары CDN багыттоолорунан кийин да сакталышын камсыз кылуу үчүн IndexedDB'ди кэш backend катары колдонот. Эгер салмактар ар бир кирген сайын кайра жүктөлүп жатса, IndexedDB браузердин купуялык жөндөөсү же кеңейтүүсү тарабынан тазаланбай жатканын текшериңиз.

Өзгөртүүлөр журналы​

Толук версия таржымалы үчүн Өзгөртүүлөр журналын караңыз.