AI算力与云端 · 基础说明
AI算力与云端部署
这一页写给需要做判断的读者：算力从哪里来，数据中心在解决什么问题，云端和自建机房各自适合什么情况。我们不堆概念，只讲实际约束。
机房冷通道一侧，机柜排列与散热气流走向示意。
BOARD EXPLAINER
算力到底是什么
算力不是一个抽象数字。它由芯片、内存带宽、互联和散热共同决定，任何一项跟不上，整体性能就上不去。内存不够，再好的芯片也要等数据；散热压不住，机器只能降频跑；网络跟不上，多卡并行就会卡在传输上。
这也是 AI 服务器和普通服务器差别很大的原因。AI 服务器功耗更高，内存配置更重，对散热的要求也更严。一台机器的电和热量要先算清楚，机房才能接得住。看懂这一点，就能看懂为什么数据中心扩张会同时牵动服务器、散热和电力三个话题。
对企业来说，问供应商时可以直接问四个点：单机功耗多少，机柜能不能散掉，内存带宽够不够训练或推理的量，交换网络会不会成为瓶颈。把这四项对齐，选型就不容易走偏。
BOARD INDEX
数据中心扩张的实际约束
建数据中心不是买地盖楼那么简单。电力、散热、网络，每一项都要提前规划。在台湾，讨论集中在土地和电力两个瓶颈上。
读法很简单：先看电力，再看散热，最后看网络。这三项里任何一项卡住，扩张速度都会慢下来。想看更细的产业链讨论，可以回到产业观察栏目对照着读。
自建、租用还是混合
选择的关键不是哪个更好，而是你的工作负载属于哪一类，以及团队有没有能力运维。下面两种思路常常放在一起比，中间那条路反而是多数企业的答案。
本地自建
数据敏感、负载稳定的选择
- 适合长期跑满的系统，前期投入大，但长期成本可控，数据完全留在自己手里。
- 要自己解决电力、散热、备援和值班。没有运维团队，自建反而更吃力。
- 扩容慢，适合变化不大的核心系统，比如账务和生产资料库。
租用云端
负载波动大、要快速上线的选择
- 按量使用，开通快，业务量忽高忽低时不用自己备闲置机器。
- 长期跑满会比自建贵，数据出境和合规要求要先和法务确认。
- 适合新产品试水、季节性业务和短期算力高峰。
多数企业的答案：混合
核心数据留在本地，弹性负载放云端。平时用自建扛住基本量，高峰把多出来的部分送上云端。这样既保住数据的掌控，也不用为一年几次的高峰买一整年闲置机器。
云端部署在台湾企业的实际样子
台湾企业很少只用一朵云。微软 Azure 这类主流平台，常和企业上云、数据中心和 AI 工作负载一起被讨论。政府机构和大型企业尤其倾向多云与混合云，一半原因是为了避免被单一平台锁定，一半是合规要求。
中小企业的考虑更实际：上手快不快，和现有系统合不合得来，有没有人维护。很多公司不是不想上云，是旧系统搬不动，或者搬上去之后没人能接手。先从边缘系统试起，比如官网、测试环境和备份，再动核心系统，阻力会小很多。
还有一点容易被忽略：云端账单。算力、流量和存储是分开计费的，AI 推理跑起来后，调用量一上去费用就跟着走。建议上线第一个月就把用量和费用对一遍，设好上限和提醒，比年底再对账轻松得多。
夜间维运一角。多云环境的值班，更多时间花在确认用量和告警上。
给负责人的三句话
先问数据能不能出去，再问高峰有多高，最后问谁来维护。三个答案齐了，选哪朵云、用多少量，自然就清楚了。
EDGE COMPUTING
不是所有计算都要回机房
边缘运算把处理放到终端附近，减少延迟，也减少回传的数据量。适合边缘的场景通常有两个特征：对响应时间敏感，或者数据不适合往外传。
产线旁的边缘设备。离数据源越近，响应越快。
AI 工作负载的特殊要求
把 AI 模型跑起来，和把普通应用跑起来，要求不一样。训练需要大量并行算力，一次吃掉很多卡；推理更看重延迟和成本，关心的是每次回答多快、花多少钱。
显卡资源紧张时，排队和调度就成了实际问题。训练任务要排队等卡，推理服务要在高峰时保住响应速度。企业如果要上 AI 工作负载，先想清楚是训练还是推理，再决定资源放哪里，这一步能省掉很多返工。
AI PC 一类终端设备的调试台。部分推理正在往终端走。
边缘运算补上了什么
联发科在边缘 AI 相关方案上有布局，AI PC 的普及也在推动同样的逻辑：一些识别和判断可以直接在本地完成，不用每次都回传到云端。这样既省带宽，也更符合数据留在本地的要求。
判断要不要用边缘，看两点就够了。第一，慢一点行不行，比如产线告警慢半秒会不会出事；第二，数据能不能出门，比如影像和声音有没有合规限制。两点里占了一点，就值得认真评估边缘方案。
怎么排优先级
如果预算有限，先解决数据放哪里和谁来运维，再考虑算力规模。很多企业卡住的地方不是买不到卡，而是没有配套的电力、散热和运维能力。
把基础打牢再扩算力，比反过来更省事。相关主题在产业观察栏目里有更细的展开。
预算有限，第一笔钱花在哪里？+
先花在数据位置和运维人力上。确认核心数据放本地还是云端，确认有人能看机器、看账单、处理告警。算力可以后加，基础返工最贵。
训练和推理，怎么分开规划？+
训练看并行规模和排队能力，适合集中资源一次跑完；推理看延迟和单次成本，适合靠近用户、长期在线。先定类型，再定位置，就不容易买错。
中小企业要不要一开始就做混合云？+
不用一次到位。可以核心放本地、边缘系统先上云，跑顺了再扩大。重点是保留以后能搬的能力，别把自己锁在一种架构里。
边缘运算适合我们吗？+
看响应时间和数据合规两条。对延迟敏感、或数据不适合外传的场景，边缘通常更划算。其他情况，先把云端和本地跑稳再说。
继续往下读
算力、机房和云端是同一件事的不同侧面。想看产业链的动向去产业观察，想看更新和维护去资安栏目，想按时间找新内容去新闻与博客。
需要联系编辑部？请到联系我们页面留言，工作时间周一至周五 9:00–18:00。
联系我们