דלג לתוכן הראשי
Paid AddonPurchase Ultimate AI Connector for WebLLM | Install via your site's addon page or download from your account

Ultimate AI Connector for WebLLM

ה-Ultimate AI Connector for WebLLM מביא יכולות הסקה (Inference) של AI ישירות מהדפדפן לרשת ה-multisite של WordPress שלך. הוא מפעיל מודלי שפה גדולים (LLMs) כולו בדפדפן באמצעות WebLLM ומנוע MLC — אין צורך במפתחות API, אין קריאות חיצוניות, ואין נתונים שעוזבים את המכשיר של המשתמש.

תכונות עיקריות​

  • הסקה בצד הדפדפן (Browser-side inference): ה-LLM פועל באופן מקומי בדפדפן של המבקר באמצעות WebLLM/MLC — לא נדרש GPU של שרת.
  • ווידג'ט צ'אט צף (Floating chat widget): משתמשים מחוברים יכולים להזין הנחיות (Prompts) ל-LLM בצד הדפדפן ישירות מהצד הקדמי (Front end).
  • מצביע סטטוס בסרגל המנהל (Admin-bar status indicator): סטטוס בזמן אמת של מנוע WebLLM גלוי בסרגל המנהל של WordPress.
  • SharedWorker runtime: מספר לשוניות בדפדפן משתפות סשן GPU אחד במקום להילחם על משאבי ה-GPU.
  • apiFetch middleware: בקשות WordPress REST שמתאימות לתבנית של AI Client SDK מנותבות באופן שקוף ל-WebLLM broker המקומי — ללא מעגל הלוך ושוב (loopback HTTP round-trip).
  • ממשק הגדרות הווידג'ט (Widget settings UI): הגדרות ללוח הקישור (Connector) כדי להפעיל ולכוונן את וידג'ט הצ'אט וההתנהגות של ה-auto-prompt.
  • IndexedDB cache: הורדות משקלי המודל שורדות מהפניות CDN ששוברות את נתיב ה-Cache API הדיפולטיבי.
  • אינטגרציית wpai filter: מתחבר למסנן wpai_preferred_text_models כך שפיצ'ר הניסויים של AI ינתב למנוע בדפדפן כאשר הוא מוגדר.

דרישות​

  • WordPress 5.3 ומעלה
  • PHP 7.4 ומעלה
  • תוסף Ultimate Multisite (פעיל)
  • דפדפן עם תמיכה ב-WebGPU (Chrome 113+, Edge 113+, או Firefox Nightly עם WebGPU מופעל)

התקנה​

  1. העלה את קבצי התוסף לתיקייה /wp-content/plugins/ שלך.
  2. הפעל את התוסף דרך תפריט 'Plugins' ב-WordPress.
  3. נווט אל Ultimate Multisite → AI Connector כדי להגדיר את התוסף.

וידג'ט צ'אט צף​

ווידג'ט הצ'אט הצף מאפשר לכל משתמש מחובר ליצור אינטראקציה עם ה-LLM בצד הדפדפן ישירות מהצד הקדמי שלך, מבלי לעזוב את הדף שעליו הוא נמצא.

מה הוא עושה​

כאשר הוא מופעל, אייקון צ'אט מופיע בפינה של כל דף קדמי עבור משתמשים מחוברים. לחיצה על האייקון פותחת פאנל צ'אט שבו המשתמש יכול להקליד הנחיות ולקבל תגובות ממודל WebLLM הפועל מקומית. מכיוון שהמודל פועל כולו בדפדפן, התגובות פרטיות ואינן כוללות עיבוד בצד השרת.

מצביע סטטוס בסרגל המנהל​

סרגל המנהל של WordPress כולל מצביע סטטוס שמציג את המצב הנוכחי של מנוע WebLLM:

סטטוסמשמעות
Loadingמנוע MLC מאתחל או מוריד משקלי מודל
Readyהמודל נטען וזמין להסקה (Inference)
Idleהמנוע נטען, אך לשונית ה-SharedWorker אינה פעילה
Errorהמנוע נכשל באתחול — בדוק את קונסולת הדפדפן לקבלת פרטים

המצביע מתעדכן בזמן אמת מבלי לדרוש טעינת דף מחדש.

כיצד להפעיל או לכבות את הווידג'ט​

  1. עבור אל Ultimate Multisite → AI Connector במנהל הרשת.
  2. מצא את פאנל Connector.
  3. הפעל או כבה את Enable floating chat widget.
  4. שמור את ההגדרות.

ניתן גם להפעיל או לכבות את הווידג'ט לפי אתר, מהמנהל של האתר עצמו, אם מנהל הרשת העניק את היכולת הזו.

הגדרות הווידג'ט​

פאנל ה-Connector ב-Ultimate Multisite → AI Connector מכיל את ההגדרות הבאות עבור וידג'ט הצ'אט הצף:

הפעלת וידג'ט צ'אט צף​

מפעיל או מכבה את וידג'ט הצ'אט עבור כל הרשת. כאשר הוא מושבת, הווידג'ט אינו מופיע באף דף קדמי, ללא קשר לתפקיד המשתמש.

ברירת מחדל: כבוי

התנהגות ה-Auto-Prompt​

שולט אם וידג'ט הצ'אט שולח אוטומטית הנחיה כאשר משתמש פותח אותו.

אפשרותהתנהגות
Disabledהווידג'ט נפתח לצ'אט ריק — המשתמש מקליד הנחיה משלו
Page contextהווידג'ט נפתח עם הנחיה מוגדרת מראש בהתבסס על הכותרת והתוכן של הדף הנוכחי
Custom promptהווידג'ט נפתח עם הנחיה מותאמת אישית שאתה מגדיר בשדה למטה

כאשר מוגדר ל-Custom prompt, מופיע שדה טקסט נוסף שבו ניתן להזין את הטקסט ההנחיה ברירת המחדל. תומך במשתני תבנית בסיסיים:

  • {site_name} — שם האתר הנוכחי
  • {page_title} — כותרת הדף הנוכחי
  • {user_display_name} — שם התצוגה של המשתמש המחובר

ברירת מחדל: כבוי

SharedWorker Runtime​

גרסה 1.1.0 מציגה SharedWorker runtime עבור מנוע MLC. בעבר, כל לשונית בדפדפן שהשתמשה ב-WebLLM טענה מופע משלה של המודל, וניצחה על משאבי ה-GPU וגרמה לבעיות ביצועים במכשירים עם זיכרון VRAM מוגבל.

עם SharedWorker runtime, לשונית אחת משמשת כמארחת המנוע. כל הלשוניות האחרות מתקשרות עם המופע היחיד הזה דרך ערוץ ההודעות של ה-worker. התוצאה:

  • סשן GPU אחד משותף לכל הלשוניות הפתוחות
  • תגובות מהירות יותר לאחר טעינת המודל (ללא אתחול חוזר)
  • שימוש נמוך יותר בזיכרון שיא במכשיר

ה-SharedWorker שקוף למשתמשים. מצביע הסטטוס בסרגל המנהל תמיד משקף את המצב של המנוע המשותף, ולא את הלשונית הבודדת.

apiFetch Middleware​

התוסף מתקין middleware בשם apiFetch שחווסם בקשות WordPress REST API שמתאימות לתבנית של AI Client SDK. במקום לבצע בקשת HTTP של מעגל הלוך ושוב לשרת, בקשות אלו מנותבות ישירות ל-WebLLM broker המקומי הפועל ב-SharedWorker.

משמעות הדבר היא שתוספים ואתרי תבניות (Themes) המשתמשים ב-API הסטנדרטי של WordPress apiFetch כדי לקרוא לנקודות קצה (endpoints) של AI ייהנו אוטומטית מהמודל בצד הדפדפן כשהוא זמין, ללא צורך בשינויים בקוד.

Hooks ו-Filters​

Filters​

  • wpai_preferred_text_models — נרשם את מנוע הדפדפן WebLLM כמודל טקסט מועדף. התוסף מתחבר למסנן זה אוטומטית כאשר המנוע מוגדר וזמין.
  • ultimate_webllm_widget_enabled — דריסה של מצב הפעלת הווידג'ט עבור משתמש או הקשר ספציפי. החזר true או false.
  • ultimate_webllm_auto_prompt — שינוי טקסט ה-auto-prompt לפני שהוא נשלח לווידג'ט. מקבל את מחרוזת ההנחיה ואת אובייקט ה-WP_Post הנוכחי.

פתרון תקלות​

וידג'ט הצ'אט אינו מופיע​

  • ודא שהמשתמש מחובר — הווידג'ט מוצג רק למשתמשים מאומתים.
  • ודא שEnable floating chat widget מופעל בפאנל ה-Connector.
  • ודא שהדפדפן של המשתמש תומך ב-WebGPU (ראה דרישות לעיל).

מצביע סרגל המנהל מציג "Error"​

פתח את קונסולת המפתחים של הדפדפן (F12) וחפש שגיאות הקשורות ל-WebLLM. סיבות נפוצות:

  • הדפדפן אינו תומך ב-WebGPU.
  • הורדת משקלי המודל נכשלה — בדוק את קישוריות הרשת ונסה לנקות את ה-IndexedDB cache בכלי המפתחים של הדפדפן (Application → IndexedDB).
  • תוסף דפדפן חוסם את ה-SharedWorker.

משקלי המודל מורידים בכל פעם​

התוסף משתמש ב-IndexedDB כבסיס נתונים (cache backend) כדי להבטיח שמשקלי המודל שורדים מהפניות CDN. אם המשקלים מורידים מחדש בכל ביקור, ודא ש-IndexedDB אינו מנוקה על ידי הגדרת פרטיות או תוסף דפדפן.

יומן שינויים​

ראה Changelog עבור היסטוריית הגרסאות המלאה.