Rychlejší odezva Bing Chatu si vyžádá více grafických karet

Jak narůstá počet uživatelů Bing Chatu, zvyšují se výpočetní nároky provozu a prodlužuje se doba reakce na chatovací otázku. Situaci by v první fázi mělo vyřešit nasazení mnoha dalších grafických karet na serverech provozujících Bing AI. Druhou fázi řešení bude patrně představovat vývoj a nasazení speciálních čipů určených přímo pro AI. 

 

Latence odpovědi Bing Chatu narůstá tak, že už si uživatelé stěžují: někdy to trvá tak dlouho, že je k smíchu. Microsoft se ovšem snaží situaci reflektovat, o čemž svědčí slova Mikhaila Parakhina, šéfa reklamy a webových služeb Microsoftu:

„Omlouváme se nárůst latence odpovědí. Využití Bing Chatu stále roste a my zatím nepřidáváme dostatečně rychle nová GPU. Ale napravíme to.“

Problém s výkonem může být jednou z hlavních překážek dalšího vývoje generativních AI. Ty totiž vyžadují stále více specializovaných grafických karet na svých serverech. Hlavním dodavatelem specializovaných grafických karet je aktuálně NVIDIA. Nicméně zvěsti naznačují, že Microsoft a AMD spojí svá úsilí a budou spolupracovat na vývoji nových čipů, které budou designované nárokům AI na míru.

Parakhin rovněž odpověděl na další otázky týkající se Bing Chatu. Informoval uživatele, že dlouho očekávaná funkce historie chatu v Bing Chatu bude dostupná během několika dnů. Zmiňoval také probíhající diskuse o možnosti přidání dalších poměrů stran do nástroje Bing Image Creator, přestože jejich implementace nebude okamžitá. Nakonec vyjádřil naději, že Bing Chat v budoucnu bude podporovat interpretaci kódu, avšak upozornil, že je to nutné udělat bezpečně, což není to zrovna triviální úkol.

Zdroje

• Twitter
• Microsoft

 

Daniel Beránek, 11.05.2023 23:17

 

 

 

	VLC otitulkuje i neotitulkované... samozřejmě s pomocí AI Nejhorší je, když najdete filmovou perlu, ale nemáte k ní titulky. A když už je najdete, tak nesedí. A i když ve VLC posunete jejich časování vůči časování zvukové stopy, tak se ty stopy neustále rozcházejí - a to dokonce nikoliv symetricky. To pak...
	Gemini 2.0: multimodální a více po ruce Google uvádí Gemini 2.0, novou generaci svého ústředního modelu AI. Přináší zásadní vylepšení napříč spektrem svých funkcí: od bleskurychlého zpracování dat s projektem Flash, přes multimodální...
	Mistral demokratizuje pokročilé funkce AI Francouzský vývojář AI Mistral AI přichází s multimodálním modelem Pixtral Large, aktualizuje vlajkový jazykový model Mistral Large na verzi 24.11 a ve zdarma přístupné betě nabízí pokročilé funkce, jako jsou Web Search, Canvas a...
	SearchGPT kombinuje důvěryhodnost, kontext a přístupnost OpenAI představilo SearchGPT, novou funkci v rámci ChatGPT, která kombinuje sílu umělé inteligence a schopnosti přímého vyhledávání na internetu. Jde o krok směrem k plně integrovaným systémům, které mohou na základě uživatelských...