Skip to main content
Paid AddonPurchase Ultimate AI Connector for WebLLM | Install via your site's addon page or download from your account

Ultimate AI Connector for WebLLM

Ultimate AI Connector for WebLLM तुमच्या WordPress multisite network मध्ये ब्राउझर-आधारित AI inference आणते. हे WebLLM आणि MLC engine वापरून मोठे भाषा मॉडेल (large language models) पूर्णपणे ब्राउझरमध्ये चालवते — यासाठी कोणतेही API keys, कोणतेही बाह्य कॉल किंवा वापरकर्त्याच्या डिव्हाइसमधून डेटा बाहेर जाण्याची गरज नाही.

मुख्य वैशिष्ट्ये (Key Features)​

  • ब्राउझर-साइड inference: LLM WebLLM/MLC द्वारे स्थानिकरित्या (locally) वापरकर्त्याच्या ब्राउझरमध्ये चालते — यासाठी सर्व्हर GPU ची गरज नाही.
  • फ्लोटिंग चॅट विजेट (Floating chat widget): लॉग-इन वापरकर्ते थेट फ्रंट-एंडमधून ब्राउझर-साइड LLM ला प्रॉम्प्ट देऊ शकतात.
  • एडमिन-बार स्टेटस इंडिकेटर (Admin-bar status indicator): WordPress admin bar मध्ये WebLLM engine ची रिअल-टाइम स्थिती दिसते.
  • SharedWorker runtime: एकाच GPU सेशनमध्ये अनेक ब्राउझर टॅब कार्य करतात, ज्यामुळे GPU संसाधनांसाठी स्पर्धा होत नाही.
  • apiFetch middleware: AI Client SDK पॅटर्नशी जुळणारे WordPress REST विनंत्या (requests) आपोआप स्थानिक WebLLM ब्रोकरकडे (broker) रूट केल्या जातात — त्यामुळे लूपबॅक HTTP राउंड-ट्रिप होत नाही.
  • विजेट सेटिंग UI: चॅट विजेट चालू/बंद करण्यासाठी आणि ऑटो-प्रॉम्प्ट वर्तन (auto-prompt behaviour) कॉन्फिगर करण्यासाठी कनेक्टर पॅनेल सेटिंग्ज.
  • IndexedDB cache: मॉडेल वेट डाउनलोड्स (Model weight downloads) अशा CDN redirects मधून टिकून राहतात ज्यामुळे डिफॉल्ट Cache API चा मार्ग तुटतो.
  • wpai filter integration: wpai_preferred_text_models फिल्टरमध्ये हुक होते, जेणेकरून AI Experiments फीचर कॉन्फिगर केल्यास ब्राउझर engine कडे रूट होईल.

आवश्यकता (Requirements)​

  • WordPress 5.3 किंवा त्याहून अधिक
  • PHP 7.4 किंवा त्याहून अधिक
  • Ultimate Multisite plugin (सक्रिय)
  • WebGPU सपोर्ट असलेला ब्राउझर (Chrome 113+, Edge 113+, किंवा WebGPU सक्षम असलेला Firefox Nightly)

स्थापना (Installation)​

  1. addon फाइल्स तुमच्या /wp-content/plugins/ डिरेक्टरीमध्ये अपलोड करा.
  2. WordPress मधील 'Plugins' मेनूद्वारे प्लगइन सक्रिय करा.
  3. addon कॉन्फिगर करण्यासाठी Ultimate Multisite → AI Connector वर जा.

फ्लोटिंग चॅट विजेट (Floating Chat Widget)​

हे फ्लोटिंग चॅट विजेट कोणत्याही लॉग-इन वापरकर्त्याला त्यांच्या सध्याच्या पेजला सोडण्याची गरज न पडता, थेट फ्रंट-एंडमधून ब्राउझर-साइड LLM सोबत संवाद साधण्याची परवानगी देते.

हे काय करते (What It Does)​

सक्षम केल्यावर, लॉग-इन वापरकर्त्यांसाठी प्रत्येक फ्रंट-एंड पेजच्या कोपऱ्यात एक चॅट आयकॉन दिसतो. या आयकॉनवर क्लिक केल्यावर एक चॅट पॅनेल उघडते, जिथे वापरकर्ता प्रॉम्प्ट टाइप करू शकतो आणि स्थानिकरित्या चाललेल्या WebLLM मॉडेलकडून प्रतिसाद प्राप्त करू शकतो. मॉडेल पूर्णपणे ब्राउझरमध्ये चालत असल्यामुळे, प्रतिसाद खाजगी असतात आणि त्यासाठी कोणत्याही सर्व्हर-साइड प्रोसेसिंगची गरज नसते.

एडमिन-बार स्टेटस इंडिकेटर (Admin-Bar Status Indicator)​

WordPress admin bar मध्ये एक स्टेटस इंडिकेटर असतो जो WebLLM engine ची सध्याची स्थिती दाखवतो:

StatusMeaning
LoadingMLC engine सुरू होत आहे किंवा मॉडेल वेट डाउनलोड करत आहे.
Readyमॉडेल लोड झाले आहे आणि inference साठी उपलब्ध आहे.
Idleengine लोड झाले आहे, परंतु SharedWorker टॅब सक्रिय नाही.
Errorengine सुरू करण्यात अयशस्वी झाले — तपशीलांसाठी ब्राउझर कन्सोल तपासा.

हा इंडिकेटर पेज रीलोड करण्याची गरज न पडता रिअल-टाइममध्ये अपडेट होतो.

विजेट सक्षम किंवा अक्षम कसे करावे (How to Enable or Disable the Widget)​

  1. नेटवर्क admin मध्ये Ultimate Multisite → AI Connector वर जा.
  2. Connector पॅनेल शोधा.
  3. Enable floating chat widget टॉगल ऑन किंवा ऑफ करा.
  4. सेटिंग्ज सेव्ह करा.

जर नेटवर्क प्रशासकाने ही क्षमता दिली असेल, तर साइटच्या स्वतःच्या admin मधूनही विजेट सक्षम किंवा अक्षम केले जाऊ शकते.

विजेट सेटिंग्ज (Widget Settings)​

Ultimate Multisite → AI Connector मधील कनेक्टर पॅनेलमध्ये फ्लोटिंग चॅट विजेटसाठी खालील सेटिंग्ज आहेत:

Enable Floating Chat Widget​

संपूर्ण नेटवर्कसाठी चॅट विजेट ऑन किंवा ऑफ करते. अक्षम केल्यास, वापरकर्त्याच्या भूमिकेचा विचार न करता, कोणत्याही फ्रंट-एंड पेजवर विजेट दिसणार नाही.

Default: Off

Auto-Prompt Behaviour​

वापरकर्त्याने चॅट विजेट उघडल्यावर ते आपोआप प्रॉम्प्ट पाठवेल की नाही, हे नियंत्रित करते.

OptionBehaviour
Disabledविजेट रिकाम्या चॅटवर उघडते — वापरकर्ता स्वतःचा प्रॉम्प्ट टाइप करतो.
Page contextविजेट सध्याच्या पेजच्या शीर्षक आणि सामग्रीवर आधारित प्रॉम्प्टसह उघडते.
Custom promptविजेट खालील फील्डमध्ये तुम्ही परिभाषित केलेल्या कस्टम प्रॉम्प्टसह उघडते.

Custom prompt वर सेट केल्यास, एक अतिरिक्त टेक्स्ट फील्ड दिसते जिथे तुम्ही डिफॉल्ट प्रॉम्प्ट मजकूर टाकू शकता. मूलभूत टेम्पलेट व्हेरिएबल्सला सपोर्ट करते:

  • {site_name} — सध्याच्या साइटचे नाव
  • {page_title} — सध्याच्या पेजचे शीर्षक
  • {user_display_name} — लॉग-इन वापरकर्त्याचे डिस्प्ले नाव

Default: Disabled

SharedWorker Runtime​

Version 1.1.0 मध्ये MLC engine साठी SharedWorker runtime सादर केला आहे. यापूर्वी, WebLLM वापरणारे प्रत्येक ब्राउझर टॅब मॉडेलची स्वतःची इन्स्टन्स लोड करत असे, ज्यामुळे GPU मेमरीसाठी स्पर्धा होत असे आणि मर्यादित VRAM असलेल्या डिव्हाइसेसवर कार्यक्षमतेच्या समस्या येत होत्या.

SharedWorker runtime सह, एक टॅब engine होस्ट म्हणून कार्य करतो. इतर सर्व टॅब कार्यकर्त्याच्या (worker's) मेसेज चॅनेलद्वारे त्या एकाच इन्स्टन्सशी संवाद साधतात. परिणाम:

  • सर्व उघड्या टॅबमध्ये सामायिक GPU सेशन.
  • मॉडेल लोड झाल्यावर जलद प्रतिसाद (पुन्हा सुरू करण्याची गरज नाही).
  • डिव्हाइसवर कमी पीक मेमरी वापर.

SharedWorker वापरकर्त्यांसाठी अदृश्य असतो. admin-bar स्टेटस इंडिकेटर नेहमी सामायिक engine ची स्थिती दर्शवतो, न की वैयक्तिक टॅबची.

apiFetch Middleware​

हे addon एक apiFetch middleware स्थापित करते जे AI Client SDK पॅटर्नशी जुळणाऱ्या WordPress REST API विनंत्यांना (requests) अडथळा आणते (intercepts). सर्व्हरवर लूपबॅक HTTP विनंती करण्याऐवजी, या विनंत्या थेट SharedWorker मध्ये चालणाऱ्या स्थानिक WebLLM ब्रोकरकडे रूट केल्या जातात.

याचा अर्थ असा की प्लगइन्स आणि थीम्स जे AI endpoints ला कॉल करण्यासाठी मानक WordPress apiFetch API वापरतात, त्यांना कोडमध्ये कोणताही बदल न करता, मॉडेल उपलब्ध झाल्यावर आपोआप ब्राउझर-साइड मॉडेलचा फायदा मिळेल.

Hooks and Filters​

Filters​

  • wpai_preferred_text_models — WebLLM ब्राउझर engine ला पसंतीचे टेक्स्ट मॉडेल म्हणून नोंदणीकृत करा. engine कॉन्फिगर केले आणि उपलब्ध झाल्यावर addon आपोआप या फिल्टरमध्ये हुक होते.
  • ultimate_webllm_widget_enabled — विशिष्ट वापरकर्ता किंवा संदर्भासाठी विजेट सक्षम स्थिती ओव्हरराईड करा. true किंवा false परत करा.
  • ultimate_webllm_auto_prompt — हे विजेटला पाठवण्यापूर्वी ऑटो-प्रॉम्प्ट मजकूर बदला. हे प्रॉम्प्ट स्ट्रिंग आणि सध्याचा WP_Post ऑब्जेक्ट प्राप्त करते.

समस्या निवारण (Troubleshooting)​

चॅट विजेट दिसत नाही​

  • वापरकर्ता लॉग-इन आहे याची खात्री करा — हे विजेट फक्त प्रमाणित वापरकर्त्यांना (authenticated users) दाखवले जाते.
  • कनेक्टर पॅनेलमध्ये Enable floating chat widget टॉगल ऑन केले आहे की नाही तपासा.
  • वापरकर्त्याचा ब्राउझर WebGPU ला सपोर्ट करतो की नाही याची पडताळणी करा (वर आवश्यकता पहा).

एडमिन-बार इंडिकेटरवर "Error" दिसतो​

ब्राउझर डेव्हलपर कन्सोल (F12) उघडा आणि WebLLM संबंधित त्रुटी (errors) शोधा. सामान्य कारणे:

  • ब्राउझरला WebGPU सपोर्ट नाही.
  • मॉडेल वेट डाउनलोड अयशस्वी झाले — नेटवर्क कनेक्टिव्हिटी तपासा आणि ब्राउझर डेव्हलपर टूल्समध्ये IndexedDB कॅशे साफ करण्याचा प्रयत्न करा (Application → IndexedDB).
  • एखादे ब्राउझर एक्सटेंशन SharedWorker ला ब्लॉक करत आहे.

मॉडेल वेट प्रत्येक वेळी डाउनलोड होतात​

addon मॉडेल वेट टिकवून ठेवण्यासाठी IndexedDB चा वापर कॅशे बॅकएंड म्हणून करतो. जर प्रत्येक भेटीवर वेट पुन्हा डाउनलोड होत असतील, तर IndexedDB ब्राउझर गोपनीयता सेटिंग्ज किंवा एक्सटेंशनद्वारे साफ केले जात नाही याची खात्री करा.

Changelog​

पूर्ण व्हर्जन इतिहासासाठी Changelog पहा.