首页 / 技术文章 / 边缘算力

边缘算力

边缘算力节点怎么选:先把时延、带宽和功耗算清楚

把推理放到园区里,省的不只是带宽费。本文用三个可量化的指标——占用带宽、端到端时延、单节点功耗——把「要不要边缘化」这笔账算成选择题。

一、什么场景必须边缘化,什么场景不必

先排除不需要边缘化的场景:内部问答、文档生成、离线报表,这些对时延不敏感,放到中心机房甚至公有云都更省事。

真正必须边缘化的是三类:一是视频流类,十几路摄像头同时上传,带宽成本比算力成本高一个量级;二是闭环控制类,从采集到动作要在一两百毫秒内完成,链路一抖就是事故;三是数据不出场类,工艺参数、人员影像、涉密图纸,客户明确要求不出内网。

判断口径很简单:把「上传字节数」和「决策时延」两个数写下来。前者决定带宽账,后者决定架构账。两个都不敏感,就别碰边缘,徒增运维成本。

二、带宽怎么算:一路视频顶一张卡

一路 1080P、25 帧的摄像头,H.264 编码大约 2 Mbps,一天约 21 GB。十六路就是 336 GB/天。全部回传到中心做推理,一个月接近 10 TB 上行带宽——这个数字放在任何一条专线上都不便宜。

在园区侧先解码、先推理,只把结构化结果(有没有人、有没有越界、几号工位)回传,一条事件记录只有几百字节。同样的业务,上行从 TB 级降到 GB 级,带宽省两个数量级。这就是边缘算力的第一笔账。

三、时延怎么算:四个环节都要算进去

端到端时延 = 采集 + 传输 + 推理 + 执行。很多人只算推理,结果上线发现慢了。

采集 30~80 ms(曝光与编码)、传输 5~40 ms(同园区内网一般是 5~10 ms,跨城专线就是 30 ms 起)、推理 20~150 ms(取决于模型和显卡)、执行与反馈 10~50 ms。

结论:模型再快,跨城专线的传输就把预算吃掉了。闭环控制类业务必须在同一个局域网里,这是物理约束,不是软件优化能解决的。

四、算力怎么选:看显存,不看吹出来的算力

行业里最容易踩的坑是按「算力峰值」选卡。实际决定能不能跑起来的是显存,决定跑得稳不稳的是显存带宽。

七 B 量级模型做半精度推理,权重约 15 GB,加上 KV Cache 和预处理缓冲,留到 20 GB 才踏实;如果量化到四比特,权重降到 5 GB 左右,消费级卡也能跑。多路视频并发时,每路还要额外的显存放帧缓冲,并发数是按显存除出来的,不是按算力除出来的。

所以选型顺序是:先定模型与量化等级 → 算显存需求 → 再乘并发路数 → 最后看整机功耗与散热。园区往往没有标准机房,一台三百瓦的机器和一台七百瓦的机器,配套的电路、空调、噪音预算完全不同。

五、部署上真正费时间的部分

硬件到位只是开始。现场三件事最耗时间:一是网络策略,园区网段往往禁止跨段访问,节点要拿到固定地址和放行规则;二是供电与散热,弱电井、配电间不是机房环境,夏天连续跑会降频;三是远程运维通道,客户通常不给入站端口,得靠反向连接或者运维代理。

这三件都在软件之外,却直接决定项目能不能按期验收。做方案时把它们写进实施清单,比多写两页算法介绍有用。

六、一台节点管几台设备,别一步铺满

常见做法是先在一个车间或一栋楼放一台节点,跑三到六个月,把真实并发、真实故障率、真实运维工作量测出来,再决定铺开。一次铺满二十台,任何一次模型升级或网络调整都是二十倍的现场成本。

边缘算力的价值不在「算得多」,在「离得近、不断线、数据不出门」。把这三个词守住,节点数量是自然结果。

← 全部文章 聊具体场景