Paid AddonPurchase Ultimate AI Connector for WebLLM | Install via your site's addon page or download from your account

Ultimate AI Connector for WebLLM

Ultimate AI Connector for WebLLM ბრაუზერში მშობლიურ AI ინფერენსს ამატებს თქვენს WordPress მრავალსაიტიან ქსელს. ის დიდ ენობრივ მოდელებს სრულად ბრაუზერში უშვებს WebLLM-ისა და MLC ძრავის გამოყენებით — API გასაღებების გარეშე, გარე გამოძახებების გარეშე, მომხმარებლის მოწყობილობიდან მონაცემების გასვლის გარეშე.

ძირითადი ფუნქციები

• ბრაუზერის მხარეს ინფერენსი: LLM ლოკალურად მუშაობს ვიზიტორის ბრაუზერში WebLLM/MLC-ის საშუალებით — სერვერის GPU საჭირო არ არის
• მცურავი ჩატის ვიჯეტი: შესულ მომხმარებლებს შეუძლიათ ბრაუზერის მხარეს LLM-ს პირდაპირ წინა ნაწილიდან მიმართონ
• ადმინისტრატორის ზოლის სტატუსის ინდიკატორი: WebLLM ძრავის რეალური დროის სტატუსი ჩანს WordPress-ის ადმინისტრატორის ზოლში
• SharedWorker გაშვების გარემო: მრავალი ბრაუზერის ჩანართი ერთ GPU სესიას იზიარებს, GPU რესურსებისთვის კონკურენციის ნაცვლად
• apiFetch middleware: WordPress REST მოთხოვნები, რომლებიც AI Client SDK-ის შაბლონს ემთხვევა, გამჭვირვალედ მიემართება ლოკალურ WebLLM ბროკერზე — loopback HTTP ორმხრივი მოგზაურობის გარეშე
• ვიჯეტის პარამეტრების UI: Connector პანელის პარამეტრები ჩატის ვიჯეტის ჩასართავად/გამოსართავად და ავტომატური მოთხოვნის ქცევის დასაკონფიგურირებლად
• IndexedDB ქეში: მოდელის წონების ჩამოტვირთვები უძლებს CDN გადამისამართებებს, რომლებიც ნაგულისხმევ Cache API გზას არღვევს
• wpai ფილტრთან ინტეგრაცია: უკავშირდება wpai_preferred_text_models ფილტრს, რათა AI Experiments ფუნქციამ კონფიგურაციისას ბრაუზერის ძრავაზე მიმართოს

მოთხოვნები

• WordPress 5.3 ან უფრო მაღალი
• PHP 7.4 ან უფრო მაღალი
• Ultimate Multisite plugin (აქტიური)
• ბრაუზერი WebGPU მხარდაჭერით (Chrome 113+, Edge 113+, ან Firefox Nightly ჩართული WebGPU-ით)

ინსტალაცია

1. ატვირთეთ დამატების ფაილები თქვენს /wp-content/plugins/ დირექტორიაში
2. გაააქტიურეთ plugin WordPress-ის 'Plugins' მენიუდან
3. გადადით Ultimate Multisite → AI Connector-ზე დამატების დასაკონფიგურირებლად

მცურავი ჩატის ვიჯეტი

მცურავი ჩატის ვიჯეტი ნებისმიერ შესულ მომხმარებელს აძლევს საშუალებას, ბრაუზერის მხარეს LLM-თან პირდაპირ თქვენი წინა ნაწილიდან იმოქმედოს, იმ გვერდიდან გასვლის გარეშე, რომელზეც იმყოფება.

რას აკეთებს

ჩართვისას, შესული მომხმარებლებისთვის ყოველი წინა ნაწილის გვერდის კუთხეში ჩატის ხატულა გამოჩნდება. ხატულაზე დაწკაპუნება ხსნის ჩატის პანელს, სადაც მომხმარებელს შეუძლია აკრიფოს მოთხოვნები და მიიღოს პასუხები ლოკალურად გაშვებული WebLLM მოდელისგან. რადგან მოდელი სრულად ბრაუზერში მუშაობს, პასუხები კერძოა და არ მოიცავს სერვერის მხარეს დამუშავებას.

ადმინისტრატორის ზოლის სტატუსის ინდიკატორი

WordPress-ის ადმინისტრატორის ზოლი შეიცავს სტატუსის ინდიკატორს, რომელიც აჩვენებს WebLLM ძრავის მიმდინარე მდგომარეობას:

სტატუსი	მნიშვნელობა
იტვირთება	MLC ძრავა ინიციალიზდება ან მოდელის წონებს ჩამოტვირთავს
მზადაა	მოდელი ჩატვირთულია და ხელმისაწვდომია ინფერენსისთვის
უმოქმედოა	ძრავა ჩატვირთულია, მაგრამ SharedWorker ჩანართი აქტიური არ არის
შეცდომა	ძრავის ინიციალიზაცია ვერ მოხერხდა — დეტალებისთვის შეამოწმეთ ბრაუზერის კონსოლი

ინდიკატორი რეალურ დროში ახლდება გვერდის ხელახლა ჩატვირთვის საჭიროების გარეშე.

როგორ ჩართოთ ან გამორთოთ ვიჯეტი

1. გადადით Ultimate Multisite → AI Connector-ზე ქსელის ადმინისტრირებაში
2. იპოვეთ Connector პანელი
3. ჩართეთ ან გამორთეთ მცურავი ჩატის ვიჯეტის ჩართვა
4. შეინახეთ პარამეტრები

ვიჯეტი ასევე შეიძლება ჩაირთოს ან გამოირთოს თითოეული საიტისთვის ამ საიტის საკუთარი ადმინისტრირებიდან, თუ ქსელის ადმინისტრატორმა მიანიჭა ეს შესაძლებლობა.

ვიჯეტის პარამეტრები

Ultimate Multisite → AI Connector-ში არსებული Connector პანელი შეიცავს მცურავი ჩატის ვიჯეტისთვის შემდეგ პარამეტრებს:

მცურავი ჩატის ვიჯეტის ჩართვა

რთავს ან თიშავს ჩატის ვიჯეტს მთელ ქსელში. გამორთვისას ვიჯეტი არც ერთ წინა ნაწილის გვერდზე არ გამოჩნდება, მომხმარებლის როლის მიუხედავად.

ნაგულისხმევი: გამორთული

ავტომატური მოთხოვნის ქცევა

აკონტროლებს, აგზავნის თუ არა ჩატის ვიჯეტი მოთხოვნას ავტომატურად, როდესაც მომხმარებელი მას გახსნის.

ვარიანტი	ქცევა
გამორთული	ვიჯეტი ცარიელ ჩატზე იხსნება — მომხმარებელი საკუთარ მოთხოვნას აკრეფს
გვერდის კონტექსტი	ვიჯეტი იხსნება წინასწარ შევსებული მოთხოვნით, მიმდინარე გვერდის სათაურისა და შინაარსის საფუძველზე
მორგებული მოთხოვნა	ვიჯეტი იხსნება მორგებული მოთხოვნით, რომელსაც ქვემოთ მდებარე ველში განსაზღვრავთ

როდესაც დაყენებულია მორგებული მოთხოვნა, გამოჩნდება დამატებითი ტექსტური ველი, სადაც შეგიძლიათ შეიყვანოთ ნაგულისხმევი მოთხოვნის ტექსტი. მხარდაჭერილია ძირითადი შაბლონის ცვლადები:

• {site_name} — მიმდინარე საიტის სახელი
• {page_title} — მიმდინარე გვერდის სათაური
• {user_display_name} — შესული მომხმარებლის საჩვენებელი სახელი

ნაგულისხმევი: გამორთული

SharedWorker გაშვების გარემო

ვერსია 1.1.0 წარმოგიდგენთ SharedWorker გაშვების გარემოს MLC ძრავისთვის. ადრე, ბრაუზერის თითოეული ჩანართი, რომელიც WebLLM-ს იყენებდა, მოდელის საკუთარ ინსტანციას ტვირთავდა, GPU მეხსიერებისთვის კონკურირებდა და შეზღუდული VRAM-ის მქონე მოწყობილობებზე წარმადობის პრობლემებს იწვევდა.

SharedWorker გაშვების გარემოსთან ერთად, ერთი ჩანართი ძრავის მასპინძლის როლს ასრულებს. ყველა სხვა ჩანართი ამ ერთ ინსტანციასთან ურთიერთობს worker-ის შეტყობინებების არხის მეშვეობით. შედეგი:

• ერთი GPU სესია, გაზიარებული ყველა ღია ჩანართზე
• უფრო სწრაფი პასუხები მოდელის ჩატვირთვის შემდეგ (განმეორებითი ინიციალიზაციის გარეშე)
• მოწყობილობაზე პიკური მეხსიერების უფრო დაბალი გამოყენება

SharedWorker მომხმარებლებისთვის გამჭვირვალეა. ადმინისტრატორის ზოლის სტატუსის ინდიკატორი ყოველთვის ასახავს გაზიარებული ძრავის მდგომარეობას და არა ცალკეული ჩანართისას.

apiFetch Middleware

დამატება აყენებს apiFetch middleware-ს, რომელიც იჭერს WordPress REST API მოთხოვნებს, რომლებიც AI Client SDK-ის შაბლონს ემთხვევა. სერვერზე loopback HTTP მოთხოვნის გაკეთების ნაცვლად, ეს მოთხოვნები პირდაპირ მიემართება ლოკალურ WebLLM ბროკერზე, რომელიც SharedWorker-ში მუშაობს.

ეს ნიშნავს, რომ plugin-ები და თემები, რომლებიც სტანდარტულ WordPress apiFetch API-ს იყენებენ AI endpoint-ების გამოსაძახებლად, ავტომატურად მიიღებენ სარგებელს ბრაუზერის მხარეს მოდელისგან, როდესაც ის ხელმისაწვდომია, კოდის ცვლილებების გარეშე.

ჰუკები და ფილტრები

ფილტრები

• wpai_preferred_text_models — დაარეგისტრირეთ WebLLM ბრაუზერის ძრავა, როგორც სასურველი ტექსტური მოდელი. დამატება ამ ფილტრს ავტომატურად უერთდება, როდესაც ძრავა კონფიგურირებულია და ხელმისაწვდომია.
• ultimate_webllm_widget_enabled — გადააწერეთ ვიჯეტის ჩართული მდგომარეობა კონკრეტული მომხმარებლისთვის ან კონტექსტისთვის. დააბრუნეთ true ან false.
• ultimate_webllm_auto_prompt — შეცვალეთ ავტომატური მოთხოვნის ტექსტი, სანამ ის ვიჯეტს გაეგზავნება. იღებს მოთხოვნის სტრიქონს და მიმდინარე WP_Post ობიექტს.

პრობლემების მოგვარება

ჩატის ვიჯეტი არ ჩანს

• დაადასტურეთ, რომ მომხმარებელი შესულია — ვიჯეტი ნაჩვენებია მხოლოდ ავტორიზებული მომხმარებლებისთვის
• შეამოწმეთ, რომ მცურავი ჩატის ვიჯეტის ჩართვა ჩართულია Connector პანელში
• გადაამოწმეთ, რომ მომხმარებლის ბრაუზერი მხარს უჭერს WebGPU-ს (იხილეთ მოთხოვნები ზემოთ)

ადმინისტრატორის ზოლის ინდიკატორი აჩვენებს „Error“-ს

გახსენით ბრაუზერის დეველოპერის კონსოლი (F12) და მოძებნეთ WebLLM-თან დაკავშირებული შეცდომები. გავრცელებული მიზეზებია:

• ბრაუზერი არ უჭერს მხარს WebGPU-ს
• მოდელის წონების ჩამოტვირთვა ვერ მოხერხდა — შეამოწმეთ ქსელთან კავშირი და სცადეთ IndexedDB ქეშის გასუფთავება ბრაუზერის დეველოპერის ინსტრუმენტებში (Application → IndexedDB)
• ბრაუზერის გაფართოება ბლოკავს SharedWorker-ს

მოდელის წონები ყოველ ჯერზე იტვირთება

დამატება იყენებს IndexedDB-ს, როგორც ქეშის backend-ს, რათა უზრუნველყოს, რომ მოდელის წონები CDN გადამისამართებების შემდეგაც შენარჩუნდეს. თუ წონები ყოველ ვიზიტზე თავიდან იტვირთება, შეამოწმეთ, რომ IndexedDB არ იშლება ბრაუზერის კონფიდენციალურობის პარამეტრით ან გაფართოებით.

ცვლილებების ჟურნალი

სრული ვერსიების ისტორიისთვის იხილეთ ცვლილებების ჟურნალი.