现在大家的 .NET 程序基本都部署在如 K8S 这种容器化场景下。出于节约资源的考虑,往往我们还会限制每个实例占用的资源。不知道大家发现没有,在一些高并发的场景下,我们的程序会占用非常多的内存,内存迟迟不释放,在某些极端情况下甚至会发生 OOM 。如果你搜索这个问题,大概率会找到一个答案,那就是在一些资源有限的环境请把 GC 改成 workstation 模式。更改为 workstation 模式后,内存占用高的情况确实有所好转,但是同时也会影响服务的吞吐量。
到了 .NET8 其实我们还有另外一个 GC 的策略可以选择,那就是 DATAS - Dynamic adaptation to application sizes 。它可以帮我们在内存占用跟吞吐量之间找到一个平衡。
[Read More]
Autogenstudio 构建你的私有团队
AI Agent 无疑是今年最火爆的概念,从科技巨头的战略布局到创业公司的创新产品,AI 智能体正在重塑我们与机器交互的方式。无论是自动化任务、个性化服务,还是复杂问题的协同解决,AI Agent 都展现出了前所未有的潜力。
[Read More]
在 aspire 项目下使用 agileconfig
什么是 Aspire
[Read More]
本地部署 deepseek janus pro 文生图大模型
Hello, 大家新年好。
在这个春节期间最火的显然是 DeepSeek 了。据不负责统计朋友圈每天给我推送关于 DeepSeek 的文章超过20篇。打开知乎跟B站也全是 DeepSeek 相关的内容。不过大部分的内容都是关于 DeepSeek R1 推理模型有多牛逼。在这里就不多说关于 R1 的废话了,因为大家已经看腻了。
R1 在本地用 ollama 跑了一下,太简单了,都没必要写个教程。除了 R1 今天还在本地部署成功了 DeepSeek 的 Janus Pro 模型。
什么是 Janus Pro
Janus-Pro是一种创新的自回归框架,其统一了多模态理解与生成任务。该框架通过将视觉编码解耦到不同的处理路径(同时仍使用单一统一的Transformer架构进行信息处理),有效解决了先前方法的局限性。这种解耦机制不仅缓解了视觉编码器在理解与生成双重角色间的冲突,还显著提升了框架的灵活性。Janus-Pro在性能上超越了以往的统一模型,并达到甚至超越了专用任务模型的表现水平。凭借其架构简洁性、高度灵活性和卓越有效性,Janus-Pro有望成为下一代统一多模态模型的重要技术方向。
[Read More]
Sk结合webapi Mvc 使用
前面几篇文章,大概把 SemanticKernel 的基本用法讲完了。上面的示例都是基于控制台程序实现的。因为微软的文档上是这么实现的,自然我就抄过来了。最近我在考虑如何把 SemanticKernel 导入到生产环境。比如我们想要通过一个 WebAPI 来提供 chat 服务。那么我们就需要把 SemanticKernel 跟 ASP.NET Core 结合起来使用。咋一想好像还挺简单。但是,仔细想想可能还真没那么简单。
[Read More]