Nas 的天空
  • Home
  • Mac
  • Nas
  • Python
  • Ai-Studio
  • Other
  • Home
  • Mac
  • Nas
  • Python
  • Ai-Studio
  • Other
Mac快捷键使用技巧

置顶 Mac Mac快捷键使用技巧

        Mac 电脑的快捷键可以显著提升工作效率,特别是在文字处理、多任务操作和系统操作上。如果你经常…

3,590次阅读 0个评论
Mac 2024年11月6日
别再用Ollama扛生产并发了:基于vLLM构建高吞吐私有LLM流式网关实战

技术前沿与洞察 别再用Ollama扛生产并发了:基于vLLM构建高吞吐私有LLM流式网关实战

单卡跑 Ollama 体验模型很方便,但当多 Agent 节点同时并发请求长上下文时,排队崩塌和显存碎片化 OOM 便会如期而至。本文分享从单机 Ollama 迁移至生产级 vLLM 集群的完整实战,详解 PagedAttention 显存优化、多卡张量并行(TP)部署、Nginx 反代 SSE 流式断流避坑指南及 Locust 真实压测数据对比。

5次阅读 0个评论
技术前沿与洞察 近一天内
生产级本地大模型推理:vLLM + LiteLLM 搭建高并发流式网关与显存压榨实战

Ai-Studio 生产级本地大模型推理:vLLM + LiteLLM 搭建高并发流式网关与显存压榨实战

单机跑 Ollama 遇到并发瓶颈和排队延迟?本文记录在私有化硬件环境下,使用 vLLM 构建高性能张量并行服务,并结合 LiteLLM 构建具备负载均衡、鉴权与流式代理能力的工程实践。实测开启 Prefix Caching 与 Chunked Prefill 后的显存利用率及 TTFT 优化经验。

4次阅读 0个评论
Ai-Studio 近一天内
压榨单张 RTX 4090:用 vLLM + LiteLLM 搭建高并发流式私有网关踩坑记

极客折腾记 压榨单张 RTX 4090:用 vLLM + LiteLLM 搭建高并发流式私有网关踩坑记

弃用 Ollama 拥抱生产级推理栈。本文记录在单张 RTX 4090 上利用 vLLM 与 LiteLLM 搭建支持 50+ 团队并发私有大模型网关的全流程,深入剖析 PagedAttention 显存分配策略、Nginx 流式 SSE 截断排障、LiteLLM 熔断降级与真实压测对比。

4次阅读 0个评论
极客折腾记 近一天内
单机单卡跑通 Qwen2.5-Coder 32B 实操指南:vLLM + Open WebUI 生产级部署与踩坑记录

AI工具与实战 单机单卡跑通 Qwen2.5-Coder 32B 实操指南:vLLM + Open WebUI 生产级部署与踩坑记录

嫌公有云大模型API太贵或代码隐私受限?本文记录在单台 Ubuntu 服务器(配备 RTX 4090 或 A100)上,通过 vLLM 配合 AWQ 量化部署 Qwen2.5-Coder-32B-Instruct 的完整实战过程,包含显存占用控制、并发参数调优与 Open WebUI 接入方案,压测吞吐达 65+ tokens/s。

6次阅读 0个评论
AI工具与实战 近一天内
NAS部署本地AI知识库实战:Ollama+Dify踩坑记与ZFS内存优化

Nas NAS部署本地AI知识库实战:Ollama+Dify踩坑记与ZFS内存优化

在x86 NAS上自建私有LLM知识库是极客玩家的热门选择。本文结合Debian/TrueNAS环境,手把手记录部署Ollama与Dify全家桶的实操全流程,重点拆解核显iGPU透传加速向量计算、ZFS ARC与模型内存竞争导致系统OOM崩溃的底层排障方案,并给出生产级Docker Compose配置与存储优化参数。

5次阅读 0个评论
Nas 近一天内
FastAPI 构建生产级 LLM 流式代理:解决连接泄漏、假死与断连背压

Python FastAPI 构建生产级 LLM 流式代理:解决连接泄漏、假死与断连背压

在用 FastAPI 搭建 LLM 聚合网关或转发流式响应(SSE)时,常会遭遇连接池耗尽、客户端提前断开导致后台空转、Nginx 缓冲吃掉首字延迟等暗坑。本文记录从事故排查到架构重构的完整过程,提供带断连检测与连接复用的工业级代码方案。

22次阅读 0个评论
Python 2026年11月15日
告别 Ollama 并发瓶颈:单卡 4090 基于 SGLang 极致榨干 DeepSeek-R1 吞吐踩坑实录

Ai-Studio 告别 Ollama 并发瓶颈:单卡 4090 基于 SGLang 极致榨干 DeepSeek-R1 吞吐踩坑实录

很多同学在私有化部署开源大模型时第一反应是 Ollama,但在并发多轮长文本或多 Agent 协作场景下,Ollama 的吞吐和排队延迟极易雪崩。本文记录我将单卡 4090 机器上的模型推理后端从 Ollama 迁移到 SGLang 的全过程,详解 RadixAttention 缓存复用、Docker 部署配置、Nginx SSE 流式防缓冲,以及真实高并发压测指标。

24次阅读 0个评论
Ai-Studio 2026年11月15日
单卡榨干并发极限:vLLM与SGLang本地推理实战与流式网关压测避坑指南

技术前沿与洞察 单卡榨干并发极限:vLLM与SGLang本地推理实战与流式网关压测避坑指南

拒绝理论空谈,记录在单张RTX 4090/A10D显卡上部署Qwen2.5与DeepSeek蒸馏模型的工程实操。深度对比vLLM与SGLang在高并发流式推理下的吞吐与TTFT表现,提供完整的Nginx SSE流式反向代理配置、显存碎片排障及并发压测脚本。

33次阅读 0个评论
技术前沿与洞察 2026年11月15日
Mac 压榨 Apple Silicon 统一内存:从 Ollama 迁移到 llama-server 构建高并发本地 LLM 网关

Mac Mac 压榨 Apple Silicon 统一内存:从 Ollama 迁移到 llama-server 构建高并发本地 LLM 网关

本文记录了一台 64G 内存的 M3 Max Mac 从 Ollama 迁移到原生 llama-server 的调优历程。深入剖析 Apple Silicon 统一内存的显存分配机制,通过破解 wired_mem_limit 突破显存阈值,结合 KV Cache 量化、连续批处理(Continuous Batching)与多 Slot 并发配置,实现长上下文与多 Agent 并发场景下的推理吞吐翻倍。

34次阅读 0个评论
Mac 2026年11月14日
告别Ollama单卡瓶颈:基于vLLM+Ray的本地双卡大模型推理集群低成本搭建与调优实战

Ai-Studio 告别Ollama单卡瓶颈:基于vLLM+Ray的本地双卡大模型推理集群低成本搭建与调优实战

单张消费级显卡跑大模型经常爆显存?本文记录在Ubuntu自建算力节点上,使用vLLM配合Ray实现多卡张量并行(TP)与PagedAttention优化的高并发部署方案。涵盖显存碎片优化、流式SSE代理中转、生产级Docker Compose配置与真实压测排坑指南,助你打造极低延迟的自建LLM服务。

34次阅读 0个评论
Ai-Studio 2026年11月14日
  • 1
  • 2
  • 3
  • ...
  • 56
  • »
Nas的天空
Nas的天空
点亮思维火花,畅享数字世界
用户数
1
文章数
556
评论数
21
阅读量
205880
One Word
-「」
Latest articles
别再用Ollama扛生产并发了:基于vLLM构建高吞吐私有LLM流式网关实战

别再用Ollama扛生产并发了:基于vLLM构建高吞吐私有LLM流式网关实战

单卡跑 Ollama 体验模型很方便,但当多 Agent 节点同时并发请求长上下文时,排队崩塌和显存碎片化 OOM 便会如期而至。本文分享从单机 Ollama 迁移至生产级 vLLM 集群的完整实战,详解 PagedAttention 显存优化、多卡张量并行(TP)部署、Nginx 反代 SSE 流式断流避坑指南及 Locust 真实压测数据对比。
生产级本地大模型推理:vLLM + LiteLLM 搭建高并发流式网关与显存压榨实战

生产级本地大模型推理:vLLM + LiteLLM 搭建高并发流式网关与显存压榨实战

单机跑 Ollama 遇到并发瓶颈和排队延迟?本文记录在私有化硬件环境下,使用 vLLM 构建高性能张量并行服务,并结合 LiteLLM 构建具备负载均衡、鉴权与流式代理能力的工程实践。实测开启 Prefix Caching 与 Chunked Prefill 后的显存利用率及 TTFT 优化经验。
压榨单张 RTX 4090:用 vLLM + LiteLLM 搭建高并发流式私有网关踩坑记

压榨单张 RTX 4090:用 vLLM + LiteLLM 搭建高并发流式私有网关踩坑记

弃用 Ollama 拥抱生产级推理栈。本文记录在单张 RTX 4090 上利用 vLLM 与 LiteLLM 搭建支持 50+ 团队并发私有大模型网关的全流程,深入剖析 PagedAttention 显存分配策略、Nginx 流式 SSE 截断排障、LiteLLM 熔断降级与真实压测对比。
单机单卡跑通 Qwen2.5-Coder 32B 实操指南:vLLM + Open WebUI 生产级部署与踩坑记录

单机单卡跑通 Qwen2.5-Coder 32B 实操指南:vLLM + Open WebUI 生产级部署与踩坑记录

嫌公有云大模型API太贵或代码隐私受限?本文记录在单台 Ubuntu 服务器(配备 RTX 4090 或 A100)上,通过 vLLM 配合 AWQ 量化部署 Qwen2.5-Coder-32B-Instruct 的完整实战过程,包含显存占用控制、并发参数调优与 Open WebUI 接入方案,压测吞吐达 65+ tokens/s。
NAS部署本地AI知识库实战:Ollama+Dify踩坑记与ZFS内存优化

NAS部署本地AI知识库实战:Ollama+Dify踩坑记与ZFS内存优化

在x86 NAS上自建私有LLM知识库是极客玩家的热门选择。本文结合Debian/TrueNAS环境,手把手记录部署Ollama与Dify全家桶的实操全流程,重点拆解核显iGPU透传加速向量计算、ZFS ARC与模型内存竞争导致系统OOM崩溃的底层排障方案,并给出生产级Docker Compose配置与存储优化参数。
Latest Comments
macau18 link alternatif macau18 link alternatif Thanks for any other fantastic article. Where else may anyone get that type of information in such an ideal method of writing? I have a presentation subsequent week, and I am at the look for such information.
all about casino comped cruises all about casino comped cruises Hi, i read your blog from time to time and i own a similar one and i was just curious if you get a lot of spam comments? If so how do you reduce it, any plugin or anything you can recommend? I get so much lately it's driving me insane so any help is very much appreciated.
medical boric powder medical boric powder I'm not sure why but this site is loading very slow for me. Is anyone else having this issue or is it a problem on my end? I'll check back later and see if the problem still exists.
best leather conditioner best leather conditioner I have been surfing on-line more than three hours nowadays, yet I never found any attention-grabbing article like yours. It is lovely price sufficient for me. In my view, if all web owners and bloggers made excellent content material as you did, the net can be much more useful than ever before.
projector screen hyderabad projector screen hyderabad Ꭺt Nissi Offife Systems, we specialize іn providing top-of-thе-line projectors, interactive panels, аnd comprehensive hone theater solutions tߋ transform youг vierwing experience.
using gain in audio mix using gain in audio mix Your method of explaining the whole thing in this article is really good, all be capable of effortlessly understand it, Thanks a lot.
artistas femeninas de música techno artistas femeninas de música techno Simply wish to say your article is as astonishing. The clarity in your post is just spectacular and i could assume you are an expert on this subject. Well with your permission let me to grab your RSS feed to keep updated with forthcoming post. Thanks a million and please keep up the enjoyable work.
阿滨 阿滨 在安装Qb所欲依赖时报错:pkg install qt5-base qt5-qmake libtorrent-rasterbar
Python 基础入门 Day12 - Nas 的天空 Python 基础入门 Day12 - Nas 的天空 […] Day08: Python 数据分析 […]
Python 基础入门 Day12 - Nas 的天空 Python 基础入门 Day12 - Nas 的天空 […] Day01: Python 基础入门 […]
热评文章
实战踩坑:基于 Python + vLLM 搭建高并发 OpenAI 兼容流式代理网关

实战踩坑:基于 Python + vLLM 搭建高并发 OpenAI 兼容流式代理网关

在自建私有化大模型或聚合第三方 LLM API 时,原生接口往往面临高并发堵塞、流式断流与 Token 计费不准等问题。本文分享基于 Python、FastAPI 与 vLLM 打造企业级流式代理网关的工程实践,涵盖 SSE 管道截流、背压控制、连接池调优与断流排障核心技巧。
榨干 Apple Silicon 统一内存:Mac 部署 32B 大模型深度调优与 MLX 实战指南

榨干 Apple Silicon 统一内存:Mac 部署 32B 大模型深度调优与 MLX 实战指南

打破 macOS 默认 75% 显存配额锁死限制,深度调优 Apple Silicon 统一内存带宽。本文基于 M 系列芯片实测,对比 MLX 与 llama.cpp 在高上下文下的吞吐表现,分享绕过 OOM 的 sysctl 内核调优、KV Cache 量化技巧,并使用 launchd 将 Mac 打造成低功耗、全天候响应的本地 OpenAI 兼容推理网关。
NAS玩转本地大模型与RAG:ollama配合Qdrant搭建私有知识库避坑指南

NAS玩转本地大模型与RAG:ollama配合Qdrant搭建私有知识库避坑指南

在自建NAS上跑本地大模型和知识库检索,常遭遇CPU过载、iGPU直通失败及内存泄漏问题。本文基于真实NAS运维环境,详解如何在Docker/Portainer中打通Ollama的核显加速,并搭配轻量向量数据库Qdrant与Dify,打造低功耗、高性能的个人私有数据检索系统,附完整Compose配置与调优实测。
友情链接
Practical Workplace English Hub
Tag Cloud
__init__.py@classmethod@语法**enter****exit**\*\*kwargs\*args4090 推理优化4090 部署Advanced Mac TipsAdvanced PythonAdvanced QueriesAgent后端Agent工作流Agent开发Agent架构Agent网关AIAI DeploymentAIGCaiohttpAI入门androidAnti-blockingAnti-ScrapingAnythingLLMAPIAPI DevelopmentAPI SecurityAPI接口
Copyright©2013-2025 Nas的天空 nassky.top 版权所有
 Theme by Puock