Paid AddonPurchase Ultimate AI Connector for WebLLM | Install via your site's addon page or download from your account

Ultimate AI Connector for WebLLM

Ultimate AI Connector for WebLLM உங்கள் WordPress multisite network-க்கு உலாவி-உள்ளூர் (browser-native) AI அனுமானத்தை (inference) கொண்டு வருகிறது. இது WebLLM மற்றும் MLC engine ஆகியவற்றைப் பயன்படுத்தி பெரிய மொழி மாதிரிகளை (large language models) முழுவதுமாக உலாவிக்குள் இயங்கச் செய்கிறது — இதற்கு API keys தேவையில்லை, வெளிப்புற அழைப்புகள் தேவையில்லை, மேலும் தரவு பயனரின் சாதனத்தை விட்டு வெளியே செல்லாது.

முக்கிய அம்சங்கள் (Key Features)

• உலாவி-பக்க அனுமானம் (Browser-side inference): LLM ஆனது WebLLM/MLC மூலம் பார்வையாளரின் உலாவிக்குள் உள்ளூரில் இயங்குகிறது — சர்வர் GPU தேவையில்லை.
• மிதக்கும் chat widget: உள்நுழைந்த பயனர்கள் பிரண்ட் எண்டில் இருந்து நேரடியாக உலாவி-பக்க LLM-க்கு கேள்விகளைக் கேட்க முடியும்.
• Admin-bar நிலை குறிகாட்டி: WebLLM engine-இன் நிகழ்நேர நிலை WordPress admin bar-இல் தெரியும்.
• SharedWorker runtime: பல உலாவி Tabs, GPU வளங்களுக்காகப் போட்டியிடுவதற்குப் பதிலாக, ஒரே GPU அமர்வைப் (session) பகிர்ந்து கொள்கின்றன.
• apiFetch middleware: AI Client SDK வடிவத்துடன் பொருந்தும் WordPress REST கோரிக்கைகள், உள்ளூர் WebLLM broker-க்கு வெளிப்படையாக அனுப்பப்படுகின்றன — இதனால் loopback HTTP round-trip தேவையில்லை.
• Widget அமைப்புகள் UI: chat widget-ஐ இயக்கவும், தானியங்கி prompt நடத்தையை (auto-prompt behaviour) கட்டமைக்கவும் Connector பேனல் அமைப்புகள்.
• IndexedDB cache: மாதிரி எடை பதிவிறக்கங்கள் (Model weight downloads), இயல்புநிலை Cache API பாதையை உடைக்கும் CDN திருப்பிவிட்டல்களுக்குப் பிறகும் நிலைத்திருக்கும்.
• wpai filter ஒருங்கிணைப்பு: wpai_preferred_text_models filter-இல் இணைக்கப்பட்டுள்ளது, இதனால் AI Experiments அம்சம், கட்டமைக்கப்பட்டிருந்தால், உலாவி engine-க்கு அனுப்பப்படும்.

தேவைகள் (Requirements)

• WordPress 5.3 அல்லது அதற்கு மேல்
• PHP 7.4 அல்லது அதற்கு மேல்
• Ultimate Multisite plugin (செயல்படுத்தப்பட்டிருக்க வேண்டும்)
• WebGPU ஆதரவு கொண்ட உலாவி (Chrome 113+, Edge 113+, அல்லது WebGPU இயக்கப்பட்ட Firefox Nightly)

நிறுவுதல் (Installation)

1. addon கோப்புகளை உங்கள் /wp-content/plugins/ கோப்பகத்தில் பதிவேற்றவும்.
2. WordPress-இல் உள்ள 'Plugins' மெனு மூலம் plugin-ஐ செயல்படுத்தவும்.
3. addon-ஐ கட்டமைக்க Ultimate Multisite → AI Connector என்பதற்குச் செல்லவும்.

மிதக்கும் Chat Widget (Floating Chat Widget)

மிதக்கும் chat widget ஆனது, எந்த ஒரு உள்நுழைந்த பயனரும், தாங்கள் இருக்கும் பக்கத்தை விட்டு வெளியேறாமல், பிரண்ட் எண்டில் இருந்து நேரடியாக உலாவி-பக்க LLM உடன் தொடர்பு கொள்ள அனுமதிக்கிறது.

இது என்ன செய்கிறது (What It Does)

இது இயக்கப்படும்போது, உள்நுழைந்த பயனர்களுக்கான ஒவ்வொரு பிரண்ட்-எண்ட் பக்கத்தின் மூலையிலும் ஒரு chat ஐகான் மூலையில் தோன்றும். அந்த ஐகானை கிளிக் செய்வதன் மூலம் ஒரு chat பேனல் திறக்கும், அங்கு பயனர் prompt-களை டைப் செய்து, உள்ளூரில் இயங்கும் WebLLM model-லிருந்து பதில்களைப் பெற முடியும். மாதிரி முழுவதுமாக உலாவிக்குள் இயங்குவதால், பதில்கள் தனிப்பட்டவை (private) மற்றும் எந்த சர்வர்-பக்க செயலாக்கத்தையும் (server-side processing) உள்ளடக்குவதில்லை.

Admin-Bar நிலை குறிகாட்டி (Admin-Bar Status Indicator)

WordPress admin bar ஆனது, WebLLM engine-இன் தற்போதைய நிலையை காட்டும் ஒரு நிலை குறிகாட்டியைக் கொண்டுள்ளது:

நிலை (Status)	பொருள் (Meaning)
Loading	MLC engine ஆரம்பிக்கப்படுகிறது அல்லது மாதிரி எடைகள் (model weights) பதிவிறக்கம் செய்யப்படுகிறது
Ready	மாதிரி ஏற்றப்பட்டு, அனுமானத்திற்கு (inference) தயாராக உள்ளது
Idle	engine ஏற்றப்பட்டிருந்தாலும், SharedWorker tab செயல்படவில்லை
Error	engine ஆரம்பிக்கத் தவறிவிட்டது — விவரங்களுக்கு உலாவி கன்சோலைச் சரிபார்க்கவும்

இந்த குறிகாட்டி பக்கத்தை மீண்டும் ஏற்ற வேண்டிய அவசியம் இல்லாமல் நிகழ்நேரத்தில் புதுப்பிக்கப்படும்.

Widget-ஐ இயக்குவது அல்லது முட기는 முறை (How to Enable or Disable the Widget)

1. network admin-இல் Ultimate Multisite → AI Connector என்பதற்குச் செல்லவும்.
2. Connector பேனலைக் கண்டறியவும்.
3. Enable floating chat widget என்பதை இயக்கவும் அல்லது முடக்கவும் (Toggle).
4. அமைப்புகளைச் சேமிக்கவும் (Save settings).

network administrator அந்த சலுகையை வழங்கியிருந்தால், அந்த தளத்தின் சொந்த admin மூலமாகவும் widget-ஐ இயக்கவோ அல்லது முடக்கவோ முடியும்.

Widget அமைப்புகள் (Widget Settings)

Ultimate Multisite → AI Connector இல் உள்ள Connector பேனல், மிதக்கும் chat widget-க்கான பின்வரும் அமைப்புகளைக் கொண்டுள்ளது:

Enable Floating Chat Widget

இது முழு network-க்கும் chat widget-ஐ இயக்கவோ அல்லது முடக்கவோ செய்கிறது. இது முடக்கப்படும்போது, பயனர் பங்கு (user role) எதுவாக இருந்தாலும், எந்த பிரண்ட்-எண்ட் பக்கத்திலும் widget தோன்றாது.

இயல்புநிலை (Default): Off

Auto-Prompt Behaviour

பயனர் அதைத் திறக்கும்போது chat widget தானாகவே ஒரு prompt-ஐ அனுप्तするか என்பதைக் கட்டுப்படுத்துகிறது.

விருப்பம் (Option)	நடத்தை (Behaviour)
Disabled	widget காலியான chat உடன் திறக்கும் — பயனர் சொந்த prompt-ஐ டைப் செய்வார்
Page context	widget, தற்போதைய பக்கத்தின் தலைப்பு மற்றும் உள்ளடக்கத்தின் அடிப்படையில் முன்பே நிரப்பப்பட்ட prompt உடன் திறக்கும்
Custom prompt	widget, கீழே உள்ள புலத்தில் நீங்கள் வரையறுக்கும் தனிப்பயன் prompt உடன் திறக்கும்

Custom prompt என்று அமைக்கப்பட்டால், நீங்கள் இயல்புநிலை prompt உரையை உள்ளிடக்கூடிய கூடுதல் உரை புலம் தோன்றும். அடிப்படை template மாறிகளை ஆதரிக்கிறது:

• {site_name} — தற்போதைய தளத்தின் பெயர்
• {page_title} — தற்போதைய பக்கத்தின் தலைப்பு
• {user_display_name} — உள்நுழைந்த பயனரின் காட்சிப் பெயர்

இயல்புநிலை (Default): Disabled

SharedWorker Runtime

Version 1.1.0 ஆனது MLC engine-க்கு ஒரு SharedWorker runtime-ஐ அறிமுகப்படுத்துகிறது. இதற்கு முன், WebLLM பயன்படுத்தும் ஒவ்வொரு உலாவி Tab-ம் அதன் சொந்த மாதிரி நிகழ்வை (instance) ஏற்றிக்கொள்வதால், GPU நினைவகத்திற்காகப் போட்டியிடுவதாலும், வரையறுக்கப்பட்ட VRAM கொண்ட சாதனங்களில் செயல்திறன் சிக்கல்களை ஏற்படுத்தியதாலும் இது நிகழ்ந்தது.

SharedWorker runtime உடன், ஒரு Tab engine ஹோஸ்டாகச் செயல்படுகிறது. மற்ற அனைத்து Tabs-களும் அந்த ஒற்றை நிகழ்வின் மூலம் worker-இன் செய்தி சேனல் (message channel) வழியாகத் தொடர்பு கொள்கின்றன. இதன் விளைவு:

• திறந்த அனைத்து Tabs-களுக்கும் பகிரப்பட்ட ஒரே GPU அமர்வு.
• மாதிரி ஏற்றப்பட்ட பிறகு வேகமான பதில்கள் (மீண்டும் ஆரம்பிக்க வேண்டிய அவசியம் இல்லை).
• சாதனத்தில் குறைந்த உச்ச நினைவகப் பயன்பாடு.

SharedWorker ஆனது பயனர்களுக்கு வெளிப்படையானது. admin-bar நிலை குறிகாட்டி எப்போதும் பகிரப்பட்ட engine-இன் நிலையைத்தான் பிரதிபலிக்கும், தனிப்பட்ட Tab-இன் நிலையை அல்ல.

apiFetch Middleware

addon ஆனது apiFetch middleware-ஐ நிறுவுகிறது. இது AI Client SDK வடிவத்துடன் பொருந்தும் WordPress REST API கோரிக்கைகளை இடைமறிக்கிறது (intercepts). இந்த கோரிக்கைகள் சர்வருக்கு loopback HTTP கோரிக்கையாகச் செல்வதற்குப் பதிலாக, SharedWorker-இல் இயங்கும் உள்ளூர் WebLLM broker-க்கு நேரடியாக அனுப்பப்படுகின்றன.

இதன் பொருள் என்னவென்றால், AI endpoints-ஐ அழைப்பதற்காக நிலையான WordPress apiFetch API-ஐப் பயன்படுத்தும் plugins மற்றும் themes, எந்த குறியீடு மாற்றமும் இல்லாமல், அது கிடைக்கும்போது உலாவி-பக்க model-இன் பலனை தானாகவே பெறும்.

Hooks and Filters

Filters

• wpai_preferred_text_models — WebLLM உலாவி engine-ஐ ஒரு விருப்பமான உரை model ஆகப் பதிவு செய்கிறது. engine கட்டமைக்கப்பட்டு கிடைக்கும்போது, addon தானாகவே இந்த filter-இல் இணைக்கப்படுகிறது.
• ultimate_webllm_widget_enabled — ஒரு குறிப்பிட்ட பயனர் அல்லது சூழலுக்கான widget இயக்க நிலையை மாற்றியமைக்கலாம். true அல்லது false ஐத் திருப்பி அனுப்பவும்.
• ultimate_webllm_auto_prompt — இது widget-க்கு அனுப்பப்படுவதற்கு முன் தானியங்கி prompt உரையை மாற்றியமைக்கிறது. prompt string மற்றும் தற்போதைய WP_Post object-ஐப் பெறுகிறது.

சிக்கல் தீர்க்கும் வழிகாட்டி (Troubleshooting)

chat widget தோன்றவில்லை

• பயனர் உள்நுழைந்துள்ளாரா என்பதை உறுதிப்படுத்தவும் — இந்த widget அங்கீகரிக்கப்பட்ட பயனர்களுக்கு மட்டுமே காட்டப்படும்.
• Connector பேனலில் Enable floating chat widget இயக்கப்பட்டுள்ளதா என்று சரிபார்க்கவும்.
• பயனரின் உலாவி WebGPU-வை ஆதரிக்கிறதா என்பதைச் சரிபார்க்கவும் (மேலே உள்ள தேவைகளைப் பார்க்கவும்).

admin-bar குறிகாட்டி "Error" என்று காட்டுகிறது

உலாவி developer console-ஐத் திறந்து (F12) WebLLM தொடர்பான பிழைகளைத் தேடவும். பொதுவான காரணங்கள்:

• உலாவி WebGPU-வை ஆதரிக்கவில்லை.
• மாதிரி எடை பதிவிறக்கம் தோல்வியடைந்தது — network இணைப்பைச் சரிபார்த்து, உலாவி developer tools-இல் (Application → IndexedDB) IndexedDB cache-ஐ அழிக்க முயற்சிக்கவும்.
• ஒரு உலாவி நீட்டிப்பு (browser extension) SharedWorker-ஐத் தடுக்கிறது.

ஒவ்வொரு முறையும் மாதிரி எடைகள் பதிவிறக்கம் செய்யப்படுகின்றன

model weights CDN திருப்பிவிட்டல்களுக்குப் பிறகும் நிலைத்திருக்க, addon ஆனது IndexedDB-ஐ cache backend ஆகப் பயன்படுத்துகிறது. ஒவ்வொரு வருகையிலும் எடைகள் மீண்டும் பதிவிறக்கம் செய்யப்படுகின்றன என்றால், IndexedDB ஆனது ஒரு உலாவி தனியுரிமை அமைப்பு அல்லது நீட்டிப்பால் அழிக்கப்படவில்லை என்பதைச் சரிபார்க்கவும்.

Changelog

முழு பதிப்பு வரலாற்றைப் பார்க்க Changelog-ஐப் பார்க்கவும்.