Rychlejší odezva Bing Chatu si vyžádá více grafických karet
Jak narůstá počet uživatelů Bing Chatu, zvyšují se výpočetní nároky provozu a prodlužuje se doba reakce na chatovací otázku. Situaci by v první fázi mělo vyřešit nasazení mnoha dalších grafických karet na serverech provozujících Bing AI. Druhou fázi řešení bude patrně představovat vývoj a nasazení speciálních čipů určených přímo pro AI.
Latence odpovědi Bing Chatu narůstá tak, že už si uživatelé stěžují: někdy to trvá tak dlouho, že je k smíchu
. Microsoft se ovšem snaží situaci reflektovat, o čemž svědčí slova Mikhaila Parakhina, šéfa reklamy a webových služeb Microsoftu:
„Omlouváme se nárůst latence odpovědí. Využití Bing Chatu stále roste a my zatím nepřidáváme dostatečně rychle nová GPU. Ale napravíme to.“
Problém s výkonem může být jednou z hlavních překážek dalšího vývoje generativních AI. Ty totiž vyžadují stále více specializovaných grafických karet na svých serverech. Hlavním dodavatelem specializovaných grafických karet je aktuálně NVIDIA. Nicméně zvěsti naznačují, že Microsoft a AMD spojí svá úsilí a budou spolupracovat na vývoji nových čipů, které budou designované nárokům AI na míru.
Parakhin rovněž odpověděl na další otázky týkající se Bing Chatu. Informoval uživatele, že dlouho očekávaná funkce historie chatu v Bing Chatu bude dostupná během několika dnů. Zmiňoval také probíhající diskuse o možnosti přidání dalších poměrů stran do nástroje Bing Image Creator, přestože jejich implementace nebude okamžitá. Nakonec vyjádřil naději, že Bing Chat v budoucnu bude podporovat interpretaci kódu, avšak upozornil, že je to nutné udělat bezpečně, což není to zrovna triviální úkol.
Zdroje
- Microsoft
