AI圈又有新的重磅消息了。

2月19日，美國硅谷AI初創企業Groq開放了自家產品的免費試用。眾多用戶進行試用後紛紛表示震驚。

Groq響應速度驚人

大家最為震驚的點在於，Groq的響應速度實在是太快了。據網友測試，Groq每秒生成速度接近500 tokens。

從視頻我們可以更加直觀感受到這種響應速度有多麼驚人，直接碾壓ChatGPT那種逐字生成答案的聊天機器人！

Play Video

這樣快的響應速度得益於Groq背後的團隊為大語言模型（LLM）開發了自己的定製專用集成電路（ASIC）芯片。相比之下，該模型的公開版本ChatGPT-3.5每秒可以生成大約40個tokens。

一般來說，人工智能工作負載分為兩個不同的類別：訓練和推理。雖然訓練需要大量的計算和內存容量，但訪問速度並非重點關注對象，推理卻不同。通過推理，人工智能模型必須運行得非常快，以便為最終用戶提供儘可能多的tokens，從而更快地為用戶提供回答。

從這個角度來看，Groq是一個“推理引擎”，而不是像ChatGPT、Gemini或馬斯克旗下的Grok那樣的聊天機器人。Groq可以幫助這些聊天機器人運行得非常快，但不會完全取代它們。在Groq的網站上，用戶可以測試不同的聊天機器人，並查看和比較它們使用Groq的運行速度。

根據Artificial Analysis上周發布的第三方測試，Groq每秒可生成247個tokens，而微軟每秒生成18個tokens。這意味着如果ChatGPT在Groq的芯片上運行，其運行速度可以提高13倍以上。

而ChatGPT、Gemini和Grok等人工智能聊天機器人如果速度更快，對AI發展也會更有益處。當前人工智能聊天機器人的有一個痛點就是存在延遲。谷歌最近展示了一段與Gemini有關的視頻，視頻中的Gemini可以進行實時、多模式的對話，儘管官方表示這段視頻經過編輯、加速。但隨着Grok速度的提高，該視頻所呈現的效果後續可能成為現實。

Groq將威脅英偉達等芯片製造商？

此外值得注意的是，開發Groq的公司Groq Inc.還表示，其已經創建了第一個運行模型的語言處理單元（LPU）。據官方介紹 ，LPU推理引擎是一種新型的端到端處理單元系統，可為具有順序組件的計算密集型應用程序提供最快的推理，例如LLM。

在加入Groq之前，創始人兼首席執行官喬納森·羅斯（Jonathon Ross）是谷歌人工智能芯片部門的聯合創始人，該部門生產用於訓練人工智能模型的尖端芯片。Ross表示，通過LPU，Groq繞過了GPU和CPU遇到的兩個LLM瓶頸：計算密度和內存帶寬。

就LLM而言，LPU比GPU和CPU具有更強大的計算能力。這減少了每個單詞的計算時間，從而可以更快地生成文本序列。此外，消除外部內存瓶頸使LPU推理引擎能夠在LLM上提供更高的性能，與GPU相比可以高出幾個數量級。

Groq LPU具有80 TB/s帶寬的海量並發性，具有230 MB本地SRAM容量。所有這些共同為Groq提供了出色的性能。根據LLMPerf排行榜，Groq LPU在7到700億個參數的配置中推理LLM Llama方面擊敗了基於GPU的雲提供商。在tokens吞吐量（輸出）和第一個tokens的時間（延遲）方面，Groq處於領先地位，實現了最高的吞吐量和第二低的延遲。

一旦像Groq的LPU這樣的快速推理芯片變得越來越普遍，慢速聊天機器人將會被逐漸淘汰掉。

近一年來，英偉達的GPU被視為運行AI模型的行業標杆，在AI熱潮下英偉達的GPU日益變得稀缺且昂貴。現在早期結果表明，在AI模型訓練方面，LPU可能會擊敗GPU，並成為英偉達A100和H100芯片的替代品。

雖然LPU是否會被業界大量採用仍是一個問題，但其所展示出來的超高推理性能已經或多或少挑戰到英偉達、AMD和英特爾等GPU提供商的地位了。

如今，AI芯片越來越受到行業關注，不僅傳統芯片製造商在關注，其他科技企業也對AI芯片展現出頗高的興趣。包括OpenAI在內的主要人工智能企業正在尋求開發內部芯片，以降低對英偉達等芯片製造商的依賴。此前有報道稱，OpenAI的首席執行官薩姆·阿爾特曼（Sam Altman）前往中東等地尋找投資者，並期望能籌集數萬億美元的資金來開發自己的芯片，以克服產品擴展方面的問題。

#AI##人工智能##Groq##英偉達##芯片#