కొత్తది: అడ్మిన్-బార్ స్టేటస్ ఇండికేటర్తో ఫ్లోటింగ్ చాట్ విడ్జెట్ — లాగిన్ అయిన ఏ వినియోగదారు అయినా ఫ్రంట్ ఎండ్ నుండి నేరుగా బ్రౌజర్-సైడ్ LLM కి ప్రాంప్ట్ ఇవ్వవచ్చు.
కొత్తది: SharedWorker రన్టైమ్ — MLC ఇంజిన్ ఇప్పుడు SharedWorker లో నడుస్తుంది, కాబట్టి బహుళ ట్యాబ్లు దాని కోసం పోరాడకుండా ఒకే GPU సెషన్ను పంచుకుంటాయి.
కొత్తది: apiFetch మిడిల్వేర్ ఇంటర్సెప్టర్ — AI Client SDK నమూనాకు సరిపోయే WordPress REST అభ్యర్థనలు పారదర్శకంగా స్థానిక WebLLM బ్రోకర్కు రూట్ చేయబడతాయి, దీనికి లూప్బ్యాక్ HTTP రౌండ్-ట్రిప్ అవసరం లేదు.
కొత్తది: విడ్జెట్ సెట్టింగ్లు UI — చాట్ విడ్జెట్ను టోగుల్ చేయడానికి మరియు ఆటో-ప్రాంప్ట్ ప్రవర్తనను కాన్ఫిగర్ చేయడానికి కనెక్టర్ ప్యానెల్లో సెట్టింగ్లు.
సరిదిద్దబడింది: డిఫాల్ట్ Cache API మార్గాన్ని విచ్ఛిన్నం చేసే HuggingFace xet CDN రీడైరెక్ట్ల నుండి మోడల్ వెయిట్ డౌన్లోడ్లు survive చేయడానికి IndexedDB కాష్ బ్యాకెండ్ను బలవంతం చేయడం.
సరిదిద్దబడింది: ఎంబెడ్డింగ్ మోడల్స్ కోసం context_window KV-cache ఓవర్రైడ్ను దాటవేయడం (వాటికి డికోడర్ లేదు మరియు ఈ ఓవర్రైడ్ రన్టైమ్ ఎర్రర్కు కారణమైంది).
సరిదిద్దబడింది: వర్కర్ ట్యాబ్ లోడ్ అవ్వకముందే /webllm/v1/models లో కోల్డ్-స్టార్ట్ అభ్య ర్థి మోడల్ను ప్రకటన చేయడం, తద్వారా SDK వినియోగదారులు వెంటనే ఒక మోడల్ను చూడగలరు.
సరిదిద్దబడింది: ఒక మోడల్ కాన్ఫిగర్ చేయబడినప్పుడు AI Experiments ఫీచర్ బ్రౌజర్ ఇంజిన్కు రూట్ అయ్యేలా WebLLMను wpai_preferred_text_models ఫిల్టర్లోకి హుక్ చేయడం.
మెరుగుపరచబడింది: ఎండ్-టు-ఎండ్ టెస్టింగ్ సమయంలో కనుగొనబడిన కాష్-బస్టింగ్, కంటెంట్ నార్మలైజేషన్ మరియు హార్డ్వేర్-రిఫరెన్స్ ఫిక్స్లు.