Nas 的天空
  • Home
  • Mac
  • Nas
  • Python
  • Ai-Studio
  • Other
  • Home
  • Mac
  • Nas
  • Python
  • Ai-Studio
  • Other
Mac快捷键使用技巧

置顶 Mac Mac快捷键使用技巧

        Mac 电脑的快捷键可以显著提升工作效率,特别是在文字处理、多任务操作和系统操作上。如果你经常…

3,631次阅读 0个评论
Mac 2024年11月6日
单卡4090榨干显存:vLLM + LiteLLM 搭建生产级 DeepSeek 高并发流式代理实战

极客折腾记 单卡4090榨干显存:vLLM + LiteLLM 搭建生产级 DeepSeek 高并发流式代理实战

摒弃低效的Ollama,本文手把手拆解如何用一块RTX 4090(24G)搭建支持多用户并发调用的DeepSeek-R1私有大模型服务。涵盖vLLM核心参数调优、LiteLLM网关路由鉴权、Nginx流式传输防断连踩坑配置及真实的并发压测指标。

7次阅读 0个评论
极客折腾记 近一天内
NAS私有化部署DeepSeek与RAG知识库:ZFS调优、显卡直通与全套Docker配置实录

Nas NAS私有化部署DeepSeek与RAG知识库:ZFS调优、显卡直通与全套Docker配置实录

详解在Linux/TrueNAS NAS宿主机上通过Docker构建DeepSeek私有化AI知识库的硬核实战。深入解析Intel核显及Nvidia显卡直通、ZFS文件系统针对向量库Qdrant的Recordsize底层调优、Ollama模型调度优化与完整docker-compose编排避坑指南。

8次阅读 0个评论
Nas 近一天内
单机跑满百路并发:vLLM 大模型流式网关调优与显存避坑指南

技术前沿与洞察 单机跑满百路并发:vLLM 大模型流式网关调优与显存避坑指南

许多团队在将本地大模型推向生产环境时,常遭遇高并发下显存OOM、流式连接打满网络以及首字延迟(TTFT)飙升等问题。本文基于真实业务压测场景,深入剖析 vLLM 底层调度参数调优、FastAPI 异步流式网关的连接泄漏陷阱、以及 Nginx 针对 SSE 长连接的调优配置,提供一套可落地的生产级高吞吐大模型代理方案。

7次阅读 0个评论
技术前沿与洞察 近一天内
M系列Mac本地跑大模型极限压榨:突破统一内存限制与MLX/llama.cpp实战调优

Mac M系列Mac本地跑大模型极限压榨:突破统一内存限制与MLX/llama.cpp实战调优

Apple Silicon统一内存架构让Mac成为极客本地部署大模型的神器,但系统默认的显存分配上限和调度机制常让硬件性能大打折扣。本文实测剖析如何通过调整内核参数突破wired_mem显存上限,深度对比MLX与llama.cpp性能吞吐,并构建一套开机自启的高并发OpenAI兼容网关。

6次阅读 0个评论
Mac 近一天内
单机多卡吞吐翻倍:DeepSeek与Qwen生产级vLLM部署及LiteLLM流式代理实战

Ai-Studio 单机多卡吞吐翻倍:DeepSeek与Qwen生产级vLLM部署及LiteLLM流式代理实战

记录将 Qwen2.5-32B 与 DeepSeek 系列模型落地至双卡 RTX 4090 节点的真实踩坑记录。深入拆解 vLLM 显存分配策略、PagedAttention 调优、张量并行细节,结合 LiteLLM 构建支持高并发、多 API 聚合与流式防断连的轻量级生产推理网关。

7次阅读 0个评论
Ai-Studio 近一天内
别再用Ollama扛生产并发了:基于vLLM构建高吞吐私有LLM流式网关实战

技术前沿与洞察 别再用Ollama扛生产并发了:基于vLLM构建高吞吐私有LLM流式网关实战

单卡跑 Ollama 体验模型很方便,但当多 Agent 节点同时并发请求长上下文时,排队崩塌和显存碎片化 OOM 便会如期而至。本文分享从单机 Ollama 迁移至生产级 vLLM 集群的完整实战,详解 PagedAttention 显存优化、多卡张量并行(TP)部署、Nginx 反代 SSE 流式断流避坑指南及 Locust 真实压测数据对比。

10次阅读 0个评论
技术前沿与洞察 近两天内
生产级本地大模型推理:vLLM + LiteLLM 搭建高并发流式网关与显存压榨实战

Ai-Studio 生产级本地大模型推理:vLLM + LiteLLM 搭建高并发流式网关与显存压榨实战

单机跑 Ollama 遇到并发瓶颈和排队延迟?本文记录在私有化硬件环境下,使用 vLLM 构建高性能张量并行服务,并结合 LiteLLM 构建具备负载均衡、鉴权与流式代理能力的工程实践。实测开启 Prefix Caching 与 Chunked Prefill 后的显存利用率及 TTFT 优化经验。

13次阅读 0个评论
Ai-Studio 近两天内
压榨单张 RTX 4090:用 vLLM + LiteLLM 搭建高并发流式私有网关踩坑记

极客折腾记 压榨单张 RTX 4090:用 vLLM + LiteLLM 搭建高并发流式私有网关踩坑记

弃用 Ollama 拥抱生产级推理栈。本文记录在单张 RTX 4090 上利用 vLLM 与 LiteLLM 搭建支持 50+ 团队并发私有大模型网关的全流程,深入剖析 PagedAttention 显存分配策略、Nginx 流式 SSE 截断排障、LiteLLM 熔断降级与真实压测对比。

11次阅读 0个评论
极客折腾记 近两天内
单机单卡跑通 Qwen2.5-Coder 32B 实操指南:vLLM + Open WebUI 生产级部署与踩坑记录

AI工具与实战 单机单卡跑通 Qwen2.5-Coder 32B 实操指南:vLLM + Open WebUI 生产级部署与踩坑记录

嫌公有云大模型API太贵或代码隐私受限?本文记录在单台 Ubuntu 服务器(配备 RTX 4090 或 A100)上,通过 vLLM 配合 AWQ 量化部署 Qwen2.5-Coder-32B-Instruct 的完整实战过程,包含显存占用控制、并发参数调优与 Open WebUI 接入方案,压测吞吐达 65+ tokens/s。

13次阅读 0个评论
AI工具与实战 近两天内
NAS部署本地AI知识库实战:Ollama+Dify踩坑记与ZFS内存优化

Nas NAS部署本地AI知识库实战:Ollama+Dify踩坑记与ZFS内存优化

在x86 NAS上自建私有LLM知识库是极客玩家的热门选择。本文结合Debian/TrueNAS环境,手把手记录部署Ollama与Dify全家桶的实操全流程,重点拆解核显iGPU透传加速向量计算、ZFS ARC与模型内存竞争导致系统OOM崩溃的底层排障方案,并给出生产级Docker Compose配置与存储优化参数。

9次阅读 0个评论
Nas 近两天内
  • 1
  • 2
  • 3
  • ...
  • 57
  • »
Nas的天空
Nas的天空
点亮思维火花,畅享数字世界
用户数
1
文章数
561
评论数
21
阅读量
206842
One Word
-「」
Latest articles
单卡4090榨干显存:vLLM + LiteLLM 搭建生产级 DeepSeek 高并发流式代理实战

单卡4090榨干显存:vLLM + LiteLLM 搭建生产级 DeepSeek 高并发流式代理实战

摒弃低效的Ollama,本文手把手拆解如何用一块RTX 4090(24G)搭建支持多用户并发调用的DeepSeek-R1私有大模型服务。涵盖vLLM核心参数调优、LiteLLM网关路由鉴权、Nginx流式传输防断连踩坑配置及真实的并发压测指标。
NAS私有化部署DeepSeek与RAG知识库:ZFS调优、显卡直通与全套Docker配置实录

NAS私有化部署DeepSeek与RAG知识库:ZFS调优、显卡直通与全套Docker配置实录

详解在Linux/TrueNAS NAS宿主机上通过Docker构建DeepSeek私有化AI知识库的硬核实战。深入解析Intel核显及Nvidia显卡直通、ZFS文件系统针对向量库Qdrant的Recordsize底层调优、Ollama模型调度优化与完整docker-compose编排避坑指南。
单机跑满百路并发:vLLM 大模型流式网关调优与显存避坑指南

单机跑满百路并发:vLLM 大模型流式网关调优与显存避坑指南

许多团队在将本地大模型推向生产环境时,常遭遇高并发下显存OOM、流式连接打满网络以及首字延迟(TTFT)飙升等问题。本文基于真实业务压测场景,深入剖析 vLLM 底层调度参数调优、FastAPI 异步流式网关的连接泄漏陷阱、以及 Nginx 针对 SSE 长连接的调优配置,提供一套可落地的生产级高吞吐大模型代理方案。
M系列Mac本地跑大模型极限压榨:突破统一内存限制与MLX/llama.cpp实战调优

M系列Mac本地跑大模型极限压榨:突破统一内存限制与MLX/llama.cpp实战调优

Apple Silicon统一内存架构让Mac成为极客本地部署大模型的神器,但系统默认的显存分配上限和调度机制常让硬件性能大打折扣。本文实测剖析如何通过调整内核参数突破wired_mem显存上限,深度对比MLX与llama.cpp性能吞吐,并构建一套开机自启的高并发OpenAI兼容网关。
单机多卡吞吐翻倍:DeepSeek与Qwen生产级vLLM部署及LiteLLM流式代理实战

单机多卡吞吐翻倍:DeepSeek与Qwen生产级vLLM部署及LiteLLM流式代理实战

记录将 Qwen2.5-32B 与 DeepSeek 系列模型落地至双卡 RTX 4090 节点的真实踩坑记录。深入拆解 vLLM 显存分配策略、PagedAttention 调优、张量并行细节,结合 LiteLLM 构建支持高并发、多 API 聚合与流式防断连的轻量级生产推理网关。
Latest Comments
macau18 link alternatif macau18 link alternatif Thanks for any other fantastic article. Where else may anyone get that type of information in such an ideal method of writing? I have a presentation subsequent week, and I am at the look for such information.
all about casino comped cruises all about casino comped cruises Hi, i read your blog from time to time and i own a similar one and i was just curious if you get a lot of spam comments? If so how do you reduce it, any plugin or anything you can recommend? I get so much lately it's driving me insane so any help is very much appreciated.
medical boric powder medical boric powder I'm not sure why but this site is loading very slow for me. Is anyone else having this issue or is it a problem on my end? I'll check back later and see if the problem still exists.
best leather conditioner best leather conditioner I have been surfing on-line more than three hours nowadays, yet I never found any attention-grabbing article like yours. It is lovely price sufficient for me. In my view, if all web owners and bloggers made excellent content material as you did, the net can be much more useful than ever before.
projector screen hyderabad projector screen hyderabad Ꭺt Nissi Offife Systems, we specialize іn providing top-of-thе-line projectors, interactive panels, аnd comprehensive hone theater solutions tߋ transform youг vierwing experience.
using gain in audio mix using gain in audio mix Your method of explaining the whole thing in this article is really good, all be capable of effortlessly understand it, Thanks a lot.
artistas femeninas de música techno artistas femeninas de música techno Simply wish to say your article is as astonishing. The clarity in your post is just spectacular and i could assume you are an expert on this subject. Well with your permission let me to grab your RSS feed to keep updated with forthcoming post. Thanks a million and please keep up the enjoyable work.
阿滨 阿滨 在安装Qb所欲依赖时报错:pkg install qt5-base qt5-qmake libtorrent-rasterbar
Python 基础入门 Day12 - Nas 的天空 Python 基础入门 Day12 - Nas 的天空 […] Day08: Python 数据分析 […]
Python 基础入门 Day12 - Nas 的天空 Python 基础入门 Day12 - Nas 的天空 […] Day01: Python 基础入门 […]
热评文章
单卡4090跑满32K长上下文:vLLM与FastAPI构建企业级高并发流式中转架构实战

单卡4090跑满32K长上下文:vLLM与FastAPI构建企业级高并发流式中转架构实战

针对单卡RTX 4090在长上下文场景下显存暴涨与流式响应卡顿问题,本文详解如何基于vLLM深度调优PagedAttention与Chunked Prefill,结合FastAPI与异步生成器构建支持SSE协议的高并发大模型网关,附生产级Docker配置与实测压测数据。
自建生产级高并发 LLM 推理网关:vLLM + LiteLLM 架构调优与实战避坑

自建生产级高并发 LLM 推理网关:vLLM + LiteLLM 架构调优与实战避坑

抛弃玩具级的本地推理方案,基于消费级与企业级 GPU 搭建高并发大模型流式代理网关。深度解析 vLLM 关键显存分配、Prefix Caching 提速、LiteLLM 统一鉴权路由与 Nginx 反向代理 SSE 长连接踩坑经验,附真实压测对比数据。
拒绝OOM!双卡RTX 4090用vLLM+Ray部署DeepSeek满血蒸馏版实战踩坑记

拒绝OOM!双卡RTX 4090用vLLM+Ray部署DeepSeek满血蒸馏版实战踩坑记

本文记录在双卡RTX 4090(48GB显存)工作站上,利用Ray配合vLLM多卡张量并行(TP=2)部署DeepSeek-R1蒸馏70B大模型与长上下文并发优化的完整实操记录。包含显存精确切分、PagedAttention参数调优、流式代理高并发压测及显存泄漏与NCCL通信死锁排障方案,干货拉满,拿来即用。
友情链接
Practical Workplace English Hub
Tag Cloud
__init__.py@classmethod@语法**enter****exit**\*\*kwargs\*args4090 推理优化4090 部署Advanced Mac TipsAdvanced PythonAdvanced QueriesAgent后端Agent工作流Agent开发Agent架构Agent网关AIAI DeploymentAIGCaiohttpAI入门androidAnti-blockingAnti-ScrapingAnythingLLMAPIAPI DevelopmentAPI SecurityAPI接口
Copyright©2013-2025 Nas的天空 nassky.top 版权所有
 Theme by Puock