Ultimate AI Connector for WebLLM
Ultimate AI Connector for WebLLM-ը բերում է բրաուզերում բնիկ AI inference ձեր WordPress multisite ցանցին։ Այն աշխատեցնում է մեծ լեզվական մոդելները ամբողջությամբ բրաուզերում՝ օգտագործելով WebLLM և MLC շարժիչը — առանց API բանալիների, առանց արտաքին կանչերի, առանց օգտատիրոջ սարքից տվյալների դուրս գալու։
Հիմնական հնարավորություններ
- Բրաուզերի կողմում inference: LLM-ը տեղային աշխատում է այցելուի բրաուզերում WebLLM/MLC-ի միջոցով — սերվերային GPU չի պահանջվում
- Լողացող չաթի վիջեթ: Մուտք գործած օգտատերերը կարող են front end-ից անմիջապես հուշումներ ուղարկել բրաուզերի կողմում աշխատող LLM-ին
- Admin-bar կարգավիճակի ցուցիչ: WebLLM շարժիչի իրական ժամանակի կարգավիճակը տեսանելի է WordPress admin bar-ում
- SharedWorker գործարկման միջավայր: Բրաուզերի մի քանի ներդիրներ GPU ռեսուրսների համար մրցելու փոխարեն կիսում են մեկ GPU սեսիա
- apiFetch middleware: WordPress REST հարցումները, որոնք համապատասխանում են AI Client SDK օրինաչափությանը, թափանցիկորեն ուղղորդվում են տեղային WebLLM broker-ին — առանց loopback HTTP շրջադարձային կանչի
- Վիջեթի կարգավորումների UI: Connector վահանակի կարգավորումներ՝ չաթի վիջեթը միացնելու/անջատելու և auto-prompt վարքագիծը կազմաձևելու համար
- IndexedDB քեշ: Մոդելի քաշերի ներբեռնումները պահպանվում են CDN վերահղումներից հետո, որոնք խախտում են կանխադրված Cache API ուղին
- wpai զտիչի ինտեգրում: Միանում է
wpai_preferred_text_modelsզտիչին, որպեսզի AI Experiments հնարավորությունը կազմաձևման դեպքում ուղղորդվի դեպի բրաուզերի շարժիչ
Պահանջներ
- WordPress 5.3 կամ ավելի բարձր
- PHP 7.4 կամ ավելի բարձր
- Ultimate Multisite plugin (ակտիվ)
- WebGPU աջակցությամբ բրաուզեր (Chrome 113+, Edge 113+ կամ Firefox Nightly՝ միացված WebGPU-ով)
Տեղադրում
- Վերբեռնեք addon-ի ֆայլերը ձեր
/wp-content/plugins/պանակ - Ակտիվացրեք plugin-ը WordPress-ի 'Plugins' մենյուի միջոցով
- Անցեք Ultimate Multisite → AI Connector՝ addon-ը կազմաձևելու համար
Լողացող չաթի վիջեթ
Լողացող չաթի վիջեթը թույլ է տալիս ցանկացած մուտք գործած օգտատիրոջ փոխազդել բրաուզերի կողմում աշխատող LLM-ի հետ անմիջապես ձեր front end-ից՝ առանց լքելու այն էջը, որտեղ գտնվում է։
Ինչ է այն անում
Միացված լինելու դեպքում մուտք գործած օգտատերերի համար յուրաքանչյուր front-end էջի անկյունում հայտնվում է չաթի պատկերակ։ Պատկերակին սեղմելը բացում է չաթի վահանակ, որտեղ օգտատերը կարող է մուտքագրել հուշումներ և ստանալ պատասխաններ տեղային աշխատող WebLLM մոդելից։ Քանի որ մոդելը աշխատում է ամբողջությամբ բրաուզերում, պատասխանները մասնավոր են և չեն ներառում որևէ սերվերային մշակում։
Admin-Bar կարգավիճակի ցուցիչ
WordPress admin bar-ը ներառում է կարգավիճակի ցուցիչ, որը ցույց է տալիս WebLLM շարժիչի ընթացիկ վիճակը.
| Կարգավիճակ | Նշանակություն |
|---|---|
| Բեռնվում է | MLC շարժիչը սկզբնավորվում է կամ ներբեռնում է մոդելի քաշերը |
| Պատրաստ է | Մոդելը բեռնված է և հասանելի inference-ի համար |
| Անգործուն | Շարժիչը բեռնված է, բայց SharedWorker ներդիրը ակտիվ չէ |
| Սխալ | Շարժիչի սկզբնավորումը ձախողվել է — մանրամասների համար ստուգեք բրաուզերի կոնսոլը |
Ցուցիչը թարմացվում է իրական ժա մանակում՝ առանց էջի վերաբեռնում պահանջելու։
Ինչպես միացնել կամ անջատել վիջեթը
- Ցանցի admin-ում գնացեք Ultimate Multisite → AI Connector
- Գտեք Connector վահանակը
- Միացրեք կամ անջատեք Միացնել լողացող չաթի վիջեթը
- Պահպանեք կարգավորումները
Վիջեթը կարող է նաև միացվել կամ անջատվել առանձին site-ի մակարդակով՝ site-ի սեփական admin-ից, եթե ցանցի ադմինիստրատորը տրամադրել է այդ հնարավորությունը։
Վիջեթի կարգավորումներ
Ultimate Multisite → AI Connector-ի Connector վահանակը պարունակում է հետևյալ կարգավորումները լողացող չաթի վիջեթի համար.
Միացնել լողացող չաթի վիջեթը
Միացնում կամ անջատում է չաթի վիջեթը ամբողջ ցանցի համար։ Անջատված լինելու դեպքում վիջեթը չի հայտնվում ոչ մի front-end էջում՝ անկախ օգտատիրոջ դերից։
Կանխադրված: Անջատված
Auto-Prompt վարքագիծ
Կառավարում է՝ արդյոք չաթի վիջեթը ավտոմատ ուղարկում է հուշում, երբ օգտատերը բացում է այն։
| Տարբերակ | Վարքագիծ |
|---|---|
| Անջատված | Վիջեթը բացվում է դատարկ չաթով — օգտատերը մուտքագրում է իր սեփական հուշումը |
| Էջի համատեքստ | Վիջեթը բացվում է նախապես լրացված հուշումով՝ հիմնված ընթացիկ էջի վերնագրի և բովանդակության վրա |
| Հատուկ հուշում | Վիջեթը բացվում է ձեր սահմանած հատուկ հուշումով ստորև գտնվող դաշտում |
Երբ սահմանված է Հատուկ հուշում, հայտնվում է լրացուցիչ տեքստային դաշտ, որտեղ կարող եք մուտքագրել կանխադրված հուշման տեքստը։ Աջակցում է հիմնական ձևանմուշային փոփոխականներին.
{site_name}— ընթացիկ site-ի անունը{page_title}— ընթացիկ էջի վերնագիրը{user_display_name}— մուտք գործած օգտատիրոջ ցուցադրվող անունը
Կանխադրված: Անջատված
SharedWorker գործարկման միջավայր
Տարբերակ 1.1.0-ը ներկայացնում է SharedWorker գործարկման միջավայր MLC շարժիչի համար։ Նախկինում WebLLM օգտագործող բրաուզերի յուրաքանչյուր ներդիր բեռնում էր մոդելի իր սեփական instance-ը՝ մրցելով GPU հիշողության համար և առաջացնելով կատարողականի խնդիրներ սահմանափակ VRAM ունեցող սարքերում։
SharedWorker գործարկման միջավայրով մեկ ներդիր գործում է որպես շարժիչի host։ Մյուս բոլոր ներդիրները հաղորդակցվում են այդ մեկ instance-ի հետ worker-ի հաղորդագրությունների ալիքի միջոցով։ Արդյունքը՝
- Մեկ GPU սեսիա՝ կիսված բոլոր բաց ներդիրների միջև
- Ավելի արագ պատասխաններ մոդելի բեռնումից հետո (առանց կրկնվող սկզբնավորման)
- Սարքի վրա ավելի ցածր պիկային հիշողության օգտագործում
SharedWorker-ը թափանցիկ է օգտատերերի համար։ Admin-bar կարգավիճակի ցուցիչը միշտ արտացոլում է կիսված շարժիչի վիճակը, ոչ թե առանձին ներդիրինը։
apiFetch Middleware
Addon-ը տեղադրում է apiFetch middleware, որը ընդհատում է WordPress REST API հարցումները, որոնք համապատասխանում են AI Client SDK օրինաչափությանը։ Սերվերին loopback HTTP հարցում կատարելու փոխարեն այս հարցումները ուղղակիորեն ուղղորդվում են SharedWorker-ում աշխատող տեղային WebLLM broker-ին։
Սա նշանակում է, որ plugin-ներն ու theme-երը, որոնք օգտագործում են ստանդարտ WordPress apiFetch API-ն AI endpoint-եր կանչելու համար, ավտոմատ կօգտվեն բրաուզերի կողմում աշխատող մոդելից, երբ այն հասանելի է՝ առանց կոդի փոփոխությունների պահանջի։
Hook-եր և զտիչներ
Զտիչներ
wpai_preferred_text_models— Գրանցում է WebLLM զննարկչային շարժիչը որպես նախընտրելի տեքստային մոդել։ Հավելումը ավտոմատ կերպով միանում է այս զտիչին, երբ շարժիչը կարգավորված է և հասանելի։ultimate_webllm_widget_enabled— Վերագրում է վիջեթի միացված վիճակը կոնկրետ օգտատիրոջ կամ համատեքստի համար։ Վերադարձրեքtrueկամfalse։ultimate_webllm_auto_prompt— Փոփոխում է ավտոմատ հուշման տեքստը նախքան այն վիջեթին ուղարկվելը։ Ստանում է հուշման տողը և ընթացիկWP_Postօբյեկտը։
Խնդիրների լուծում
Չատի վիջեթը չի հայտնվում
- Հաստատեք, որ օգտատերը մուտք է գործել — վիջեթը ցուցադրվում է միայն նույնականացված օգտատերերին
- Ստուգեք, որ Միացնել լողացող չատի վիջեթը միացված է Connector վահանակում
- Ստուգեք, որ օգտատիրոջ զննարկիչը աջակցում է WebGPU-ին (տես վերևի Պահանջները)
Ադմինիստրատորի վահանակի ցուցիչը ցույց է տալիս «Սխալ»
Բացեք զննարկչի մշակողի կոնսոլը (F12) և փնտրեք WebLLM-ի հետ կապված սխալներ։ Ընդհանուր պատճառներ՝
- Զննարկիչը չի աջակցում WebGPU
- Մոդելի քաշերի ներբեռնումը ձախողվել է — ստուգեք ցանցային կապը և փորձեք մաքրել IndexedDB քեշը զննարկչի մշակողի գործիքներում (Application → IndexedDB)
- Զննարկչի ընդլայնումը արգելափակում է SharedWorker-ը
Մոդելի քաշերը ամեն անգամ ներբեռնվում են
Հավելումը օգտագործում է IndexedDB-ը որպես քեշի հետնամաս, որպեսզի ապահովի, որ մոդելի քաշերը պահպանվեն CDN վերահղումներից հետո։ Եթե քաշերը կրկին ներբեռնվում են յուրաքանչյուր այցելության ժամանակ, ստուգեք, որ IndexedDB-ը չի մաքրվում զննարկչի գաղտնիության կարգավորմամբ կամ ընդլայնմամբ։
Փոփոխությունների մատյան
Տեսեք Փոփոխությունների մատյանը՝ տարբերակների ամբողջական պատմության համար։