绕过CUDA生态，给“英伟达铁墙”凿出一道裂缝

天下AI厂商苦CUDA久矣。不过，还真有人打算重新整合AI生态系统，给这堵“铁墙”凿出一道裂缝来。

两个熟悉TensorFlow和PyTorch的人站了出来，成立公司打算来一个“世界最快AI执行引擎”，提供兼容所有模型的解决方案。

这家公司叫Modular，由Chris Lattner和Tim Davis创立于2022年1月，是一家创建开发和优化人工智能系统平台的初创公司。

最新一轮1亿美元融资发生在2023年8月24日，由General Catalyst领投，SV Angel、Google Ventures、Greylock 和 Factory 参投。截至目前，公司共融资2轮，总金额1.3亿美元。据The Information报道，Modular融后估值约为6亿美元。

 

点击【阅读原文】，订阅睿兽分析会员，查看Replit更多相关信息

Lattner表示，这笔资金将用于改进核心产品，加强硬件支持和 Modular编程语言的扩展。

11月7日，Mojo v0.5.0发布，这个用emoji“火”做logo的新语言，定下“所有AI开发者适用”的标签。

公司目前有70余名员工，规模不大却人才济济。上周，英伟达前工程总监Mostafa Hagog——开发了cuDNN 和CUTLASS等深度学习库的大佬刚刚入职。

 

性能达Python的6.8万倍

Modular在讲述远景的文章中，突出了两个问题：

Isn’t Big Tech going to solve the world’s AI problem for us?

（大型科技公司能否解决世界的人工智能问题？）

If not Big Tech, who will solve this for the world?

（如果不是，那谁会为世界解决这个问题？）

目前，从AIGC产业链条来看，上游链条的AI基础设施和服务器供应商、底层的AI芯片供应商，中游的算法模型、基础框架公司随着全球AI热潮遍地开花。各个芯片巨头提供不同的GPU，对应自家工具库，训练自己的编程模型。

Modular工程师补充：“TensorFlow和PyTorch这样的人工智能框架有一个用于模型开发的Python API，背后其实是C++语言调用像CUDA这样的硬件内核，它们区分了模型系统和硬件代码，工程师很难跨越层级。各个硬件公司的GPU、CPU、TPU又更新不断。实际上，AI生态系统正在变得支离破碎。”

对此，Modular想做到两件事：简化AI基础设施，兼容模型降低成本。Modular在5月的发布会，证实他们正在完成构想。

他们开发了一种面向AI开发者的新型编程语言Mojo，与Python、C、C++和CUDA开发语言进行了集成，开发人员用一种语言就能编写所有相关开发内容。它突破Python性能极限，在更高性能和特殊硬件上表现理想，发挥CPU潜能并良好支持GPU和ASIC等外部加速器，提供与C++和CUDA相当的卓越性能。

 

这种语言能对接完整Python生态系统，利用高性能库，例如开发者能将Numpy和Mojo代码无缝混合。“Mojo不止于此，您可以深入到实现low-level numeric algorithms（低级数值算法），无需任何开销。”

此外，Mojo能升级AI的工作负载。Modular团队最新公布表示，Mojo能一举将性能提升达Python的6.8万倍。

Modular还提供一种AI开发引擎。Lattner称，它让开发者依赖单一执行引擎，节省算力成本，减少硬件延迟，支持无缝模型迁移。

网友评论：“这看起来像游戏规则的改变者。”

 

技术大拿和成功创业者的互补组合

Modular的产品在推广上还需要经过众多开发者的考验。Python是各个大厂招聘工程师要求的主流语言，为什么要费劲去学习一门新的编程语言Mojo呢？

由于为Modular背书的两个创始人，一个是编译界的“迈克尔·乔丹”Chris Lattner，一个是连续创业者Tim Davis。所以，在开发者眼里：值得一试。