Paddler是一个开源LLMOps平台，帮助企业在自有基础设施中托管和扩展开源模型，满足隐私和成本控制需求。它提供推理服务、负载均衡、请求缓冲和Web管理面板，适合需要集成LLM和处理敏感数据的团队。安装灵活，文档详尽，易于上手。

Kustomize是一个强大的Kubernetes配置管理工具，可以处理多个环境、减少配置复杂性，并确保资源与需求同步。它允许自定义资源定义，管理多个环境。使用YAML文件生成Kustomization文件、构建清单并应用于集群。还可以使用Kustomize编辑命令设置新的部署镜像。

AWS Elastic Kubernetes Service（EKS）是AWS提供的完全托管的Kubernetes服务，简化了在云中运行Kubernetes集群的过程。它与AWS服务无缝集成，提供安全可扩展的Kubernetes工作负载环境，适用于各种工作负载。使用EKS可以获得AWS提供的可扩展性、安全性和集成性的完全托管服务的优势。

kube-score是一个用于验证和改进Kubernetes清单质量的工具。它通过对清单进行静态分析，提供了可以增强配置的效率、安全性和可靠性的建议。kube-score尤其适用于CI/CD流水线，可以确保在部署之前Kubernetes配置符合行业最佳实践。安装和使用kube-score非常简单，可以通过下载二进制文件或在Docker容器中运行来完成。运行kube-score后，它会提供一份清单检查的列表，包括警告或改进建议。这些详细输出有助于在部署到实际集群之前识别潜在问题，确保更顺畅、可靠的部署过程。

AWS Elastic Container Registry (ECR)是一个完全托管的服务，简化了在AWS生态系统中存储、管理和部署Docker容器镜像的过程。与ECS和Fargate等其他AWS服务无缝集成，具备强大的安全功能、漏洞扫描能力和支持多账户设置的特点，ECR为大规模管理容器镜像提供了全面的解决方案。

Trivy是一款开源漏洞扫描工具，能够快速识别容器和其他系统组件中的漏洞。它易于集成，提供全面的报告和频繁的更新，适用于各种编程语言和环境。安装和使用Trivy非常简单，可以帮助开发人员在开发过程中及时发现和解决安全问题。

大规模语言模型（LLMs）在推荐系统中具有独特的推理能力，能够理解语言细微差别，改变了推荐领域的基本范式。研究人员正在利用LLMs的语言理解和生成能力重新定义推荐任务的基础。LLMs在推荐框架中具有固有优势，包括语境理解、领域切换、统一方法、全面学习策略、透明决策制定和迭代改进。然而，仍存在挑战，需要持续完善和演进LLM驱动的推荐系统。

虽然关于通过 OpenAI、Anthropic、Google 等公司的 API 调用 LLM 来构建应用的文章层出不穷，但我选择了一条不同的道路，尝试仅使用本地模型和技术来构建网页应用，尤其是那些能在浏览器中运行的技术！

MLOps 本质上仍然是 DevOps，只是现在关注的是与 AI 和大语言模型相关的产品。

LLMOps是MLOps领域中专注于部署、管理和改进基于大型语言模型（LLMs）的AI应用程序的一个专门领域。Dify是一个旨在简化LLMOps的Ops方面的工具，通过多用户协作、插件、数据集、日志和注释等功能帮助开发人员和非开发人员创建和操作基于LLMs的AI原生应用程序。Dify支持多用户协作、插件扩展、数据集管理和日志分析等功能。