上一篇我们介绍了如何在本地部署 ollama 运行 llama3 大模型。过程是相当简单的。但是现在给大模型交流只能在命令行窗口进行。这样的话就只能你自己玩了。独乐乐不如众乐乐嘛。我们接下来说一下如何部署 open-webui 给 ollama 加一个 webui，这样用户就可以通过浏览器访问我们的本地大模型了，体验非常类似 chatGPT。
Open-WebUI
Open-WebUI 是一个开源的用户界面框架，旨在提供简便的工具和接口，帮助用户轻松地访问和管理各种深度学习模型，尤其是大规模预训练语言模型。以下是对Open-WebUI的简要介绍：
[Read More]
Llm本地试玩
在 chatGPT 的推动下。LLM 简直火出天际，各行各业都在蹭。听说最近 meta 开源的 llama3 模型可以轻松在普通 PC 上运行，这让我也忍不住来蹭一层。以下是使用 ollama 试玩 llama3 的一些记录。
什么是 llama
LLaMA（Large Language Model Meta AI）是Meta开发的大规模预训练语言模型，基于Transformer架构，具有强大的自然语言处理能力。它在文本生成、问答系统、机器翻译等任务中表现出色。LLaMA模型有多个规模，从几亿到上千亿参数，适用于不同的应用场景。用户可以通过开源平台如Hugging Face获取LLaMA模型，并根据需要进行微调。LLaMA的灵活性和可扩展性使其在自然语言处理领域具有广泛的应用前景。
什么是 ollama
[Read More]
Servicediscovery 进行服务调用
当然可以，以下是完整的 Markdown 版本：
[Read More]
Agileconfig 1.9.4 发布，支持 opentelemetry
Hello 大家好，最新版的 AgileConfig 1.9.4 发布了。现在它可以通过 OpenTelemetry 对外提供 logs，traces，metrics 三个维度的数据。用户可以自由选择支持 otlp 协议的工具来进行查询与分析。比如 Seq，loki，prometheus, grafana 等等。 本来 AgileConfig 的日志是通过 Nlog 写在本地的。但是文本日志无法进行集中的查询与分析，况且现在绝大多数同学使用 docker 或者 k8s 来运行 AgileConfig 的服务端，这就导致日志会存储在容器来，查看起来特别费劲。 于是就有同学提出对接第三日志组件的需求，比如要我直接对接 Seq 等等。当然 AgileConfig 对接 Seq 或者 ELK 等组件当然技术上没有难度。但是，如果对接了特定的三方组件，这个就太定制化了，耦合性太强。如果用户不用 Seq 也不用 ELK 而是使用 Loki 呢？难道要让用户特地安装一套 Loki 吗？ 为了解决这个问题：既要把日志可以对外提供出来，又不依赖特定的三方组件，所以我决定让 AgileConfig 对接 OpenTelemetry。 什么是 OpenTelemetry OpenTelemetry 是一个开放源代码项目，用于帮助开发人员生成、收集、处理和导出软件性能和行为的可观测性数据。它主要涵盖三个方面的数据：分布式追踪（tracing）、指标（metrics）和日志（logs）。OpenTelemetry...
[Read More]
.net 使用 opentelemetry metrics 监控应用程序指标
上一次我们讲了 OpenTelemetry Logs 与 OpenTelemetry Traces。今天继续来说说 OpenTelemetry Metrics。
随着现代应用程序的复杂性不断增加，对于性能监控和故障排除的需求也日益迫切。在 .NET 生态系统中，OpenTelemetry Metrics 可用于实时监控和分析应用程序的性能指标。比如监控内存，CPU 使用量，链接数等等。
OpenTelemetry Metrics 概述
OpenTelemetry Metrics 是 OpenTelemetry 的一部分，用于记录和导出应用程序的性能指标。它提供了一组灵活的 API 和工具，用于创建、注册和导出度量指标，以便实时监控和分析应用程序的性能。OpenTelemetry Metrics 支持各种类型的度量指标，包括计数器（Counter）、测量值（ObservableGauge）等，以满足不同场景下的性能监控需求。
[Read More]