
Hugging Face - Blog -
Making a web app generator with open ML models
AI生成摘要 本文介绍了使用开放的机器学习模型制作Web应用程序生成器的方法。随着越来越多的代码生成模型公开可用,我们现在可以以前无法想象的方式进行文本到Web甚至文本到应用程序的转换。本教程通过流式传输和渲染内容的直接方法来展示AI Web内容生成的方法。可以在此处尝试实时演示!→ Webapp Factory。在Node应用程序中使用LLM时,我们通常会将Python与AI和ML相关的所有内容联系在一起,但Web开发社区在JavaScript和Node上有很大依赖。以下是您可以在此平台上使用大型语言模型的一些方法。通过在本地运行模型,可以使用各种方法在JavaScript中运行LLM,从使用ONNX到将代码转换为WASM并调用其他语言编写的外部进程。其中一些技术现在可以作为现成的NPM库使用:使用诸如transformers.js(支持代码生成)之类的AI / ML库,使用专用的LLM库,例如llama-node(或用于浏览器的web-llm),通过Pythonia等桥接使用Python库。但是,在这样的环境中运行大型语言模型可能会消耗大量资源,特别是如果您无法使用硬件加速。通过使用API,如今,各种云提供商提供商业API以使用语言模型。这是当前Hugging Face提供的内容:免费的推理API,允许任何人使用社区中的小到中型模型。更高级和适用于生产的推理终端API,适用于需要更大模型或自定义推理代码的用户。可以使用Hugging Face Inference API库在Node中使用这两个API。顶级性能模型通常需要大量内存(32