Rychlejší odezva Bing Chatu si vyžádá více grafických karet

Jak narůstá počet uživatelů Bing Chatu, zvyšují se výpočetní nároky provozu a prodlužuje se doba reakce na chatovací otázku. Situaci by v první fázi mělo vyřešit nasazení mnoha dalších grafických karet na serverech provozujících Bing AI. Druhou fázi řešení bude patrně představovat vývoj a nasazení speciálních čipů určených přímo pro AI. 

 

Latence odpovědi Bing Chatu narůstá tak, že už si uživatelé stěžují: někdy to trvá tak dlouho, že je k smíchu. Microsoft se ovšem snaží situaci reflektovat, o čemž svědčí slova Mikhaila Parakhina, šéfa reklamy a webových služeb Microsoftu:

„Omlouváme se nárůst latence odpovědí. Využití Bing Chatu stále roste a my zatím nepřidáváme dostatečně rychle nová GPU. Ale napravíme to.“

Problém s výkonem může být jednou z hlavních překážek dalšího vývoje generativních AI. Ty totiž vyžadují stále více specializovaných grafických karet na svých serverech. Hlavním dodavatelem specializovaných grafických karet je aktuálně NVIDIA. Nicméně zvěsti naznačují, že Microsoft a AMD spojí svá úsilí a budou spolupracovat na vývoji nových čipů, které budou designované nárokům AI na míru.

Parakhin rovněž odpověděl na další otázky týkající se Bing Chatu. Informoval uživatele, že dlouho očekávaná funkce historie chatu v Bing Chatu bude dostupná během několika dnů. Zmiňoval také probíhající diskuse o možnosti přidání dalších poměrů stran do nástroje Bing Image Creator, přestože jejich implementace nebude okamžitá. Nakonec vyjádřil naději, že Bing Chat v budoucnu bude podporovat interpretaci kódu, avšak upozornil, že je to nutné udělat bezpečně, což není to zrovna triviální úkol.

Zdroje

• Twitter
• Microsoft

 

Daniel Beránek, 11.05.2023 23:17

 

 

 

	Jarní aktualizace ZPS X: AI úpravy fotek rychleji, chytřeji, přesněji Český software Zoner Photo Studio X přichází s jarní aktualizací, která posouvá hranice fotoeditace na novou úroveň. Díky pokročilým AI nástrojům a dalším inovacím je práce s fotografiemi rychlejší, preciznější...
	Mistral Small 3: malý, ale s velkými možnostmi Francouzští vývojáři Mistral, známí svou láskou k open-source, přichází s novým AI modelem Mistral Small 3. S 24 miliardami parametrů je sice menší než konkurenční obři, zato však nabízí rychlost, nízké...
	DeepSeek R1 a Qwen2.5-Max: přijde osvěžení AI z Číny? Nové AI modely DeepSeek R1 a Qwen2.5-Max představují dva odlišné přístupy k tréninku a provozním nárokům, které by mohly zásadně ovlivnit budoucí vývoj umělé inteligence. Zatímco DeepSeek R1 se profiluje jako model postavený na...
	Grok od xAI: první kroky v podobě samostatné aplikace Grok, umělý inteligentní asistent od společnosti xAI, udělal další krok na cestě k větší dostupnosti. Coby samostatná aplikace se šíří na další platformy. Co Grok nabídne, kde ho již můžeme vyzkoušet a co teprve přijde? ...