Esperanto Technologies 开发RISC-V“生成式AI设备”进行评估

xhz

Esperanto Technologies 开发了一种基于 RISC-V 技术的可扩展“生成式人工智能设备”。在世界语中，直译可能是“Generativa AI Aparato”。这一发展是人工智能和计算领域的重大进步，旨在满足生成式人工智能的需求和应用。此外，Esperanto RISC-V AI半导体ET-SoC-1的AI/HPC平台可以使用META OPT进行评估。世界语的“大规模语言模型”是可以评估的。META OPT 可以由 LLM 在 AI/HPC 平台上使用 RISC-V AI 半导体 ET-SoC-1 进行评估。它非常适合需要维护数据隐私的医疗保健、法律和金融行业。Esperanto 的处理器设计利用 RISC-V 指令集为各种 AI 和 HPC 工作负载组合提供能源效率。“生成式AI家电”的产品设计包括机械、热学、电气和固件方面。你可以看到这不仅仅是一个声明。

值得注意的是，2023年4月25日，将提供允许用户公司评估使用AI芯片ET-SoC-1生成的AI的硬件和软件。Esperanto 已使用自己的芯片将 Meta 的 Open Pre-Trained Transformer 模型移植到数据中心系统。能够在使用 7 纳米芯片的评估服务器上评估生成式 AI 处理的性能和功耗的优势非常显着。它提供了一种在实际应用环境中分析芯片功能的方法，而不是理论性能指标。AI芯片的实用性不仅取决于其理论处理能力和效率，还取决于其在特定用例中的表现。Esperanto 提供与实际应用相关的基准，使客户能够评估产品并了解其优势。

这款“新一代AI家电”具有以下特点：

1.先进的RISC-V硬件：利用7纳米RISC-V技术，提供高性能、高能效的计算解决方案。这使其适合生成式 AI、其他 AI 和大规模高性能计算 (HPC) 工作负载。

2.易于部署：以用户友好的设计，开发人员可以快速创建和部署垂直应用程序。预加载且独立，无需下载、移植或调整最新模型到您的硬件平台。

3.数据隐私和低总体拥有成本（TCO）：集成的软件/硬件解决方案，可以安装在私有数据中心或企业边缘。这可确保高水平的数据隐私并降低 TCO。

4.运行最新的LLM和图像生成模型：目前支持最新的大语言模型（LLM）和图像生成模型，包括LLaMA 2、Vicuna、StarCoder、OpenJourney和Stable Diffusion。Esperanto 计划在这些模型发布时使用最新版本不断更新系统。

5.专为多种行业而设计：该设备非常适合医疗保健、法律和金融等需要快速准确的数据处理并维护数据隐私的行业。

6.节能且经​​济高效：与传统的基于 GPU 的系统相比，定位为更节能、更具成本效益的替代方案。小型高效的法学硕士和扩散模型的趋势日益明显，这些模型提供低训练和推理成本且具有高精度。

7.产品可用性：目前已上市，包括可同时运行多达 4 个 LLM 的 ET-SoC-1 AI 加速器芯片。采用标准 2U 高机架安装机箱提供。

ChatGPT 是一款同时进行学习和推理的自然语言 AI ​​实时对话系统，其活跃用户数于 2023 年 1 月达到 1 亿，是历史上最快的应用程序。OpenAI 预测 ChatGPT 将在 2023 年产生 2 亿美元的收入。2023 年人工智能市场总额预计为 2079 亿美元，到 2030 年预计将增长到 1.84 万亿美元。此外，美国人工智能市场预计到 2023 年将增长到 4204.65 亿美元。 2025 年。

NVIDIA 在 AI 加速器市场占据主导地位，其 H100 AI GPU 部署在世界各地的数据中心。预计2024年H100 AI GPU出货量约为350万片，每年消耗约13,000 GWh电力。NVIDIA正在规划基于Blackwell GPU架构的下一代H200 AI GPU和B100 AI GPU，预计将具有更高效的功耗性能和改进的AI性能。预计到 2024 年，NVIDIA 的 AI GPU 每年将消耗 13,000 GWh 的电力，相当于危地马拉和立陶宛等国家的电力需求。

鉴于这种情况，Esperanto 的目标是通过 RISC-V 提供更可持续、更节能的计算解决方案。提供节能的人工智能加速替代方案的努力对于降低各行业的功耗具有重要的社会影响。该公司正在开发具有竞争力的人工智能加速器，优先考虑降低功耗，同时提供高级人工智能应用所需的计算能力。Esperanto 已经将其作为 AI/HPC RISC-V 平台提供。

Esperanto Technologies 专注于优化其高性能人工智能芯片的性能，尤其是 ET-SoC-1。ET-SoC-1 由 1,000 多个通用 64 位 RISC-V CPU 组成，每个 CPU 都增强了用于 AI 应用的矢量/张量单元。这种设计使 ET-SoC-1 成为适用于 AI 和非 AI 并行工作负载的灵活平台。该公司的 AI 芯片开发方法包括定制的 64 位单线程 RISC-V 微处理器内核，该内核实现了四问题乱序执行、分支预测和复杂的预取算法等高级功能，包括 ET-Maxion。包括使用。这些功能旨在提供高单线程性能。ET-Maxion 内核对于跨 ET-Minion 内核阵列的任务管理、数据移动处理和操作系统托管至关重要。加速器配置旨在减轻主机处理任务的负担并提高整体系统性能。

Esperanto 开发了一种工具来帮助对复杂的人工智能芯片进行编程。这些工具旨在将经过训练的模型转换为跨多个芯片并支持主要机器学习框架（例如 PyTorch 和 TensorFlow）的优化应用程序。这与生成人工智能中常见的大规模语言模型（LLM）尤其相关。展望未来，Esperanto 已经为其架构提供动力，以加速下一代生成式 AI 大规模语言模型和高性能计算 (HPC) 工作负载。即将推出的芯片设计旨在解决推理之外的训练任务，使用改进的 Minion 和 Maxion 内核以及 RVV 兼容的矢量/张量单元来支持 64 位 HPC 工作负载的 8 位浮动。计划处理范围广泛的工作负载，直至小数点人工智能推理。

​