设为首页加入收藏
国际站登录注册帮助

研华推出GenAI Studio边缘AI软件平台 助力本地端大语言模型开发,推动边缘AI创新

时间:2025/2/20 8:15:48 来源:打印

      2025年初,全球AIoT平台与服务提供商研华科技宣布推出一款新的软件产品——GenAI Studio,该产品是研华Edge AI SDK的一部分,主要目标是为了满足对成本效益高、本地部署的大语言模型(LLM)解决方案日益增长的需求。

      作为研华边缘AI软件开发工具包(Edge AI SDK)的一部分,GenAI Studio致力于解决行业痛点,例如缩短工厂操作员等待关键信息的时间,减轻医疗专业人员的文档工作负担。其无代码、成本效益高的平台简化了大语言模型(LLM)的采用,使企业能够快速高效地部署AI解决方案,从而提高生产力和运营效率。

      GenAI Studio为研华Edge AI SDK构建,凭借其多功能的LLM平台,具备出色的本地和云端LLM集成能力,支持包括OpenAI、Gemini、Anthropic和Ollama在内的多种LLM。此外,它还引入了全参数微调功能,针对GPU资源有限的环境进行了优化,实现了更广泛的可访问性和性能提升。

      GenAI Studio为大语言模型(LLM)开发提供了一整套全面的工具:

      首先是集成微调与推理服务:GenAI Studio将微调与推理功能相结合,最大化硬件利用率,实现资源的更灵活、高效分配。

      再次,该平台具备高级GPU资源管理与任务调度的能力:这些功能使用户能够优化AI硬件性能,提升高价值设备的成本效益。

     随着AI的迅猛发展,对易于获取的大语言模型解决方案的需求日益凸显,但许多公司因资源有限而受阻。研华边缘AI软件开发工具包(Edge AI SDK)通过提供一套工具来应对这一挑战,该工具能够高效地评估、开发和部署边缘AI应用。例如,传统上需要超过30个、每个拥有48GB内存的GPU来微调一个700亿参数的大语言模型,而使用研华Edge AI SDK,仅需4个GPU即可完成。这代表着资源需求减少了87%,显著降低了成本,使大语言模型解决方案更加触手可及。


责任编辑:rain

本文标签:研华推出GenAI Studio边缘AI软件平台 助力本地端大语言模型开发,推动边缘AI创新

相关评论