Rychlejší odezva Bing Chatu si vyžádá více grafických karet

Jak narůstá počet uživatelů Bing Chatu, zvyšují se výpočetní nároky provozu a prodlužuje se doba reakce na chatovací otázku. Situaci by v první fázi mělo vyřešit nasazení mnoha dalších grafických karet na serverech provozujících Bing AI. Druhou fázi řešení bude patrně představovat vývoj a nasazení speciálních čipů určených přímo pro AI. 

 

Latence odpovědi Bing Chatu narůstá tak, že už si uživatelé stěžují: někdy to trvá tak dlouho, že je k smíchu. Microsoft se ovšem snaží situaci reflektovat, o čemž svědčí slova Mikhaila Parakhina, šéfa reklamy a webových služeb Microsoftu:

„Omlouváme se nárůst latence odpovědí. Využití Bing Chatu stále roste a my zatím nepřidáváme dostatečně rychle nová GPU. Ale napravíme to.“

Problém s výkonem může být jednou z hlavních překážek dalšího vývoje generativních AI. Ty totiž vyžadují stále více specializovaných grafických karet na svých serverech. Hlavním dodavatelem specializovaných grafických karet je aktuálně NVIDIA. Nicméně zvěsti naznačují, že Microsoft a AMD spojí svá úsilí a budou spolupracovat na vývoji nových čipů, které budou designované nárokům AI na míru.

Parakhin rovněž odpověděl na další otázky týkající se Bing Chatu. Informoval uživatele, že dlouho očekávaná funkce historie chatu v Bing Chatu bude dostupná během několika dnů. Zmiňoval také probíhající diskuse o možnosti přidání dalších poměrů stran do nástroje Bing Image Creator, přestože jejich implementace nebude okamžitá. Nakonec vyjádřil naději, že Bing Chat v budoucnu bude podporovat interpretaci kódu, avšak upozornil, že je to nutné udělat bezpečně, což není to zrovna triviální úkol.

Zdroje

• Twitter
• Microsoft

 

Daniel Beránek, 11.05.2023 23:17

 

 

 

	Kalendář Seznamu přešel na stranu temnoty Seznam se stále snaží doběhnout vlnu online kalendářů. A to je dobře. Jeho uživatelé tak mohou v rámci jednoho ekosystému odbavit vícero svých nároků. Nejnovější příspěvkem k uživatelskému komfortu kalendáře je implementace tmavého...
	Chrome 114 přináší přepracovanou čtečku Vývojáři Chrome odstranili starý režim čtení z Google Chrome ve verzi 112. Ostatně šlo jen experimentální podobu čtečky, která byla přístupná pouze po aktivaci z pokročilých nastavení prohlížeče. Nyní přichází s přepracovanou...
	Jaké jsou systémové požadavky Windows 11 Moment 3? Moment 3 je poslední aktualizací funkcí operačního systému Windows 11 ve verzi 22H2. Přichází v podobě kumulativního balíčku aktualizací KB5026446 a s funkcemi, kterým Microsoft oficiálně říká Continuous Innovation.  ...
	Bing Chat je už přístupný bez přihlášení a rozšiřuje nabídku funkcí Microsoft se snaží kout Bing Chat, dokud jeho žhavost nezanikne mezi množstvím dalších realizací konverzačních AI. I proto zpřístupňuje Bing Chat i nepřihlášeným uživatelům a vychází vstříc dalším požadavkům uživatelů. Postupně...