骨干网

中国骨干网历史

第一封邮件

1987年9月20日,北京中国兵器工业计算机应用研究所的钱天白教授,发出了我国第一封电子邮件,内容是:
“AcrosstheGreatWallwecanreacheverycornerintheworld.”
(”越过长城,我们能到达世界的每个角落。”)
这封邮件当时具有极为深远的意义,它被视为中国与互联网的第一次”亲密接触”。而钱天白教授,也被世人称为”中国互联网之父”。

中国骨干网历史
钱天白

其实,当时钱天白所使用的网络,并不是我国自主建设的Internet骨干网,而是1986年计算机应用技术研究所与德国卡尔斯鲁厄大学合作建设的一个国际联网项目——中国学术网(ChineseAcademicNetwork,简称CANET)。
这封邮件的传输路径,也颇为曲折。邮件发出之后,首先通过意大利公用分组网ITAPAC设在北京侧的PAD机,跨过半个地球,进入意大利本土的ITAPAC主网。然后,再进入德国的DATEX―P分组网。最终,到达卡尔斯鲁厄大学。当时,这条线路的速率,仅仅只有300bps。
不管怎么说,这封邮件还是拉开了中国互联网时代的序幕。此后,越来越多的国内高校和科研院所,开始加入到互联网的研究中,并尝试组建更大规模的计算机网络。

技术探索

1988年初,中国邮电部正式建成了国内第一个X.25分组交换网——CNPAC,覆盖了北京、上海、广州、沈阳、西安、武汉、成都、南京、深圳等城市。
同年,中科院高能物理研究所采用X.25协议,将该单位的DECnet(DEC公司推出的一种小型机网络)与西欧中心的DECnet进行连接,实现了计算机国际远程连网,还实现了与欧洲和北美地区的电子邮件通信。
12月,清华大学校园网采用胡道元教授从加拿大UBC大学引进的电子邮件软件包(采用X.400协议),通过X.25网与加拿大UBC大学相连,开通了电子邮件应用。
1989年5月,中国研究网(CRN)通过当时邮电部的CNPAC,实现了与德国研究网(DFN)的互连。借助DFN的网关,CRN可以与Internet沟通。
1991年,中科院高能物理研究所采用DECNET协议,以X.25方式连入美国斯坦福线性加速器中心(SLAC)的LIVEMORE实验室,开通了电子邮件应用。
一个又一个连接的建立,振奋了国人。然而,这些连接都只能算是”Internet间接连接”或者”单功能(邮件)连接”,并不是真正的”完整Internet直接连接”。后来,学术界和政府层面很快开始了建立完整直接连接的尝试。
1989年10月,中关村地区教育与科研示范网络项目正式启动。该项目由世界银行提供贷款,国家计委(国家计划委员会)、国家教委(国家教育委员会)、中国科学院、国家自然科学基金会共同参与投资和支持。世界银行将其命名为”NationalComputingandNetworkingFacilityofChina”,也就是NCFC。
1992年底,NCFC完成了三个院校网(中科院院网CASNET、清华大学校园网TUNET、北京大学校园网PUNET)的建设。一年后,NCFC主干网工程完工,采用高速光缆和路由器实现了三个院校网相互联通。
接下来,NCFC的目标,就是直接连入Internet。
阻力重重
众所周知,Internet源于美国,虽然叫做国际互联网,但实际上当时处于美国的控制之下。中国想要真正连入Internet,必须得到美国方面的同意。
中美双方的学术界人士,对于中国连入Internet这件事是非常积极的。
1991年10月,在中美高能物理年会上,美方发言人怀特·托基提出,中国应该尽快接入Internet。
1992年6月,在日本神户举行的INET’92年会上,中国科学院钱华林研究员约见美国国家科学基金会国际联网部负责人,第一次正式提出,希望能够连入Internet。

中国骨干网历史
钱华林

结果,中方提出的请求,遭到来自美国政界的反对。之所以反对,是因为他们认为,来自社会主义阵营的中国,会利用Internet偷取美国的信息和技术研究成果。
经过反复的谈判和沟通,美方勉强同意,可以先建立一根专线连接。
美国对这根专线提出了苛刻的要求:1、只能连入能源科学网(ESNET);2、不得散布病毒;3、不得用于军事和商业领域。
为了长远考虑,中方接受了这些条件。1993年3月2日,中科院高能物理研究所接入美国斯坦福线性加速器中心(SLAC)的64K专线正式开通,成为中国”部分连入Internet”的第一根专线。
1993年6月,NCFC专家们在INET’93年会上,利用各种机会重申了中国”全功能连入Internet”的要求,获得大部分到会人员的支持,极大地推动了项目的进展。
1994年4月初,中美科技合作联委会在美国华盛顿举行。会前,中科院副院长胡启恒代表中方向美国国家科学基金会(NSF)重申连入Internet的要求,得到美方的认可。至此,所有的阻碍都被消除。

中国骨干网历史
胡启恒

1994年4月20日,NCFC接入Internet的64K国际卫星专线正式开通(通过美国Sprint公司),实现了与Internet的全功能连接。
从这一天起,中国正式迈入互联网世界的大门,被国际上承认为真正拥有全功能Internet的第77个国家。

一个月后,5月21日,中科院计算机网络信息中心完成了中国国家顶级域名(CN)服务器的设置,改变了中国的CN顶级域名服务器一直放在国外的历史。(中国顶级域名CN由钱天白教授于1990年11月28日代表中国正式在SRI-NIC正式注册登记。)
NCFC连入Internet之后,中科院对它进行了进一步的扩建。
1995年4月,中科院启动京外单位联网工程(简称”百所联网”工程),目标是在北京地区已经入网的30多个研究所的基础上把网络扩展到全国24个城市,实现国内各学术机构的计算机互联,并与Internet互联。
1996年2月,中科院做出决定,将以NCFC为基础发展起来的这个互联网络,正式改名为”中国科技网(CSTNet)”。

四大IP骨干网

1994年9月,就在中国迈入互联网世界后不久,邮电部电信总局与美国商务部签订协议,正式启动中国公用计算机互联网的建设。这个网,就是现在大名鼎鼎的中国第一骨干网——ChinaNet。
1995年1月,根据协议约定,邮电部电信总局分别在北京、上海开通了接入美国Internet的64K专线(同样是通过美国Sprint公司)。北京和上海这两个节点之间,采用2M带宽相连。
1996年1月,电信总局正式开始向全社会提供Internet接入服务(通过电话网、DDN专线以及X.25网等方式)。这一举动,宣告了中国互联网民用化时代的开始。
由于窄带拨号接入的入网领示号为163,因此ChinaNet也被称为163网络(和网易的163没有关系)。
除了中国科技网(CSTNet)和中国公用计算机互联网(ChinaNet)之外,国内当时还同步建设了中国教育和科研计算机网(CERNET)和中国金桥信息网(CHINAGBN):
中国教育和科研计算机网(CERNET)
1994年7月初,由清华大学等六所高校建设的”中国教育和科研计算机网”试验网开通,并通过NCFC的国际出口与Internet互联。
1994年8月,由国家计委投资,国家教委主持的中国教育和科研计算机网(CERNET)正式立项。
1995年12月,”中国教育和科研计算机网(CERNET)示范工程”建设完成。这张网,就是我们现在常说的”教育网”(大学生读者应该比较熟悉)。
中国金桥信息网(CHINAGBN)
1993年3月12日,朱镕基副总理主持会议,提出和部署建设国家公用经济信息通信网(简称金桥工程)。
1993年8月27日,李鹏总理批准使用300万美元总理预备费,支持启动金桥前期工程建设。
1994年6月8日,金桥前期工程建设全面展开。1995年8月,金桥工程初步建成,在24省市开通联网(卫星网),并与国际网络实现互联。
1996年9月6日,中国金桥信息网(CHINAGBN)连入美国的256K专线正式开通。中国金桥信息网宣布开始提供Internet服务,主要提供专线集团用户的接入和个人用户的单点上网服务。
最终,国内形成了四大骨干网的格局。正是这些网络,支撑起了中国互联网的起步。1997年12月,四大骨干网实现互联互通。此后,中国的互联网,进入了崭新的时代!

中国骨干网历史
四大骨干网

国内运营商IP骨干网的发展历史与现状

▉中国电信 ChinaNet的整体情况

上篇文章中,我们提到,中国邮电部在1995年建立了ChinaNet(中国公用计算机互联网),也就是大家俗称的163网。
这张网,当时是国内普通网民接入互联网的主要通道。
因为当时中国邮电还没有实行”邮电分营”,所以这张网是邮电部电信总局负责建设和维护。
1997年,邮电部实施”邮电分营”,这张网的责任主体,变成了”中国电信”(老电信)。
同年,中国电信各省公司开始独立建设省内IP骨干网(省网)。建成之后,整个ChinaNet分为骨干网、省网和城域网三级结构。其中,骨干网分为核心层、汇聚层两层。
某省组网范例
1998年7月,ChinaNet骨干网第二阶段建设开始。八个大区域的骨干带宽被扩展到155M,且所有节点路由器被替换为千兆路由器。
到了2000年的下半年,中国电信借助DWDM(波分复用)和千兆路由器技术,再次对ChinaNet进行大规模升级和扩容。网络节点间的路由中继,由155M提升到2.5Gbps,提速16倍。
截至到2000年底,ChinaNet在国内总带宽已达到800Gbps。2001年3月,ChinaNet的国际出口总带宽突破3Gbps。
从2002年开始,ChinaNet逐步进入10G时代。ChinaNet的数据传输能力,达到国际先进水平。
2003年,ChinaNet进行优化整合,推行扁平化,取消省网,网络结构调整为骨干网和城域网两级。
与此同时,中国电信启动了多厂商MSTP(多业务传送平台)的互通测试,推动TDM向以太网的转型。
再后来的故事,大家应该都比较熟悉了,就是往OTN和单波大容量演进,朝着40G、100G(2015年)的方向发展。
目前的骨干网,正在逐步普及单波400G。如果按60波算,单光纤的传输容量能达到20T以上。
除了容量之外,就是OXC全光交叉、IPv6、SRv6、SDN等新技术的引入、改造和普及。

一般来说,运营商的骨干网架构和技术细节属于秘密信息,不对外公开。但是,如今在互联网上,这些信息基本上都能查到。我就基于能公开查到的信息,大致介绍一下(可能有所变动,仅供参考)。
从架构来说,ChinaNet分为骨干网和城域网(前面有说,干掉了省网),骨干网又分核心层、汇聚层和接入层。
北京、上海、广州,是ChinaNet的超级核心。除了超级核心之外,ChinaNet还有天津、西安、南京、杭州、武汉、成都等普通核心。所有核心之间,采用Full-Mesh连接。国际出入口,以及运营商之间的互联互通,基本上都在核心层。
汇聚层一般都在各省省会或第二大城市,采用双方向互联,分别连到一个超级核心和一个普通核心,有的省份会三方向互联。
接入层,就是汇聚层到各个地市城域网。
除了ChinaNet之外,中国电信还有一张非常重要的骨干网——CN2。
2004年左右,为了满足高品质业务的需求,中国电信启动了CN2网络的招标建设。
CN2,全称ChinatelecomNextCarrierNetwork(中国电信下一代承载网络),简称CNCN,又称CN2,刚好符合它作为中国电信第二张承载网的身份。
中国电信将CN2定位为”精品网络项目”,非常有前瞻性。后来的事实证明,CN2在抢占政企高端市场方面,确实发挥了重要作用。
CN2的基本建网特点,就是扁平化、大容量和轻载运行。建网初期的核心技术,是IP/MPLS。
从架构上来看,CN2和ChinaNet有很大区别。CN2一共是7个核心节点,分别是北京、上海、广州、南京、武汉、西安、成都。
此外,CN2还在香港、新加坡、东京、伦敦、法兰克福等国际大城市设立了POP节点,提供国际Internet接入和网间互联业务。
CN2作为高端网络,面向客户的时候,也进行了进一步的产品等级划分,例如CN2GT、CN2GIA。
CN2GT:GT是GlobalTransit的简称,是CN2中的中端产品,在CN2里的等级比较低,但是相比于传统163骨干网依然有不少的提升。
CN2GIA:GIA是GlobalInternetAccess的简称,是目前CN2中的最高端的产品,在CN2中的等级最高,线路表现最好、最稳定,价格也是最高。
2015年,中国电信为了加强数据中心之间的节点互联,满足云服务日益增长的需求,还启动建设了”第三张”全国骨干网——CN2-DCI(DataCenterInterconnection)。关于这张网,网上目前公开的信息极少。

▉中国联通

1994年7月19日,中国联通经国务院批准,正式挂牌成立,主要经营GSM移动通信业务。
随着2G向3G的演进,有了GPRS数据业务,中国联通也建设了UNINET骨干网,作为自家GPRS网络的接入点,也是面向全国提供互联网服务的载体
因为UNINET的拨号上网接入号码为”165″,所以这个网也被称为165网。
1999年10月22日,中国网通(小网通、老网通)由中科院、广电总局、铁道部、上海市政府四方出资成立,在全国17个城市开通互联网服务。
网通也建设了一张自己的骨干网,就是”中国网通公用互联网”(CNCNET)。
此外,邮电部当年除了163网之外,在1997年还建设了一张中国公众多媒体通信网。这张网络很特别,完全独立于163网,采用私有地址10.0.0.0/8,只能国内互相访问,相当于是一张”国内局域网”。如果需要访问163网和Internet的话,需要找专门的代理服务器跳转。
因为这张网络的接入号码为169,故又称169网。
169网有一个很大的优势,就是价格便宜。当时163的使用费是每小时10元,而169只需要每小时4元。因此,169受到很多普通网民的喜爱。
2002年,国内电信行业重组,中国电信”南北分家”。北方九省一市电信公司从原中国电信剥离,与小网通、吉通合并,成立新的中国网通(大网通、新网通)。
于是,中国网通在既有CNCNET的基础上,得到了中国电信从163网拆出来的部分精华骨干网。为了区别于中国电信的163网,网通带走的这个网被称为”CHINA169″。
值得一提的是,当时吉通并入中国网通,CHINAGBN(中国金桥网)也随之并入CHINA169中。
2008年,中国电信业再次重组,中国联通和中国网通合并,变成新的中国联通。
新的中国联通,自然而然地接管了CHINA169。
此外,网通最初的骨干网CNCNET(主要承载原网通NGN软交换、DCN等业务)也交给联通运营。这个CNCNET(自治域为AS9929,经常被称为9929网络)保持相对独立,后来被称为”联通A网”。
与之相对应的”联通B网”,就是原联通建设的IP承载网,主要承载2G/3G移动网业务的那个网。后来好像逐渐没用了,业务迁到了A网。
2018年,联通将IP承载A网改名为CUII,中国联通工业(产业)互联网。CUII的定位有点像中国电信的CN2,主要提供国际和国内跨地市MPLS-VPN和大客户互联网专线任务的承载,常用于企业宽带和IDC,极少用于家用宽带。
总之,联通主要就是”China169+CUII”的双网格局。
由于历史原因,联通China169的网络流量存在较大的南北差异,北方10省的业务流量明显大于南方。
早期的时候,China169全网分为四个大区,分别是北方大区、华东大区、南方大区、西部大区。设置了北京1、北京2、上海、广州四个核心节点,并将陕西、四川、山东、辽宁设为区域核心节点。

▉中国移动


中国移动的骨干网发展史没有电信和联通那么复杂,这家公司本身的历史就很简单。
2000年4月20日,中国移动正式成立,5月16日挂牌。
中移成立初期,也是主要以移动语音业务为主。后来,随着业务的发展,才逐步建设了较为完整的IP骨干网,名为CMNET(ChinaMobileNetwork,中国移动互联网),自治域为AS9808,也称9808网络。
当时,CMNET是中国移动GPRS网络的两大接入点(另一个是CMWAP)之一。通过CMNET接入点,中国移动手机用户可以接入CMNET网络,访问Internet。
虽然CMNET起步比较晚(相对来说),但发展速度非常快。尤其是这些年中国移动拼命拓展固网宽带业务,流量增长迅猛,扩容招标也是非常频繁。
CMNET为骨干网和省网两级自治域、多层结构。骨干网分为核心层、汇聚层和接入层。
北京、上海、广州3个节点为核心节点,它们与相连链路共同构成骨干核心层。骨干核心层提供大区内省份流量的交换,并负责全网与国际Internet、国内其他运营商的互联。
汇聚层负责汇接各省到骨干网的连接。南京、武汉、成都、西安、沈阳等节点为汇聚节点,负责本大区内省份流量之间的交换。
接入层负责汇聚本省省际流量和出网流量。接入节点一般双上联核心节点,部分流量较大的省份,会采用多上联。
国内和国际网间互联方面,节点都设置在北京、上海、广州。
除了CMNET之外,中国移动还有IP专用承载网,简称IP专网。当时建设这个网的主要目的,是为了承载高价值客户业务,如话音,流媒体,信令,网管,大型客户的VPN等业务。
IP专网为三层结构,分别为核心、汇聚和接入三层,采用单一自治域,目前已经延伸到国内330多个主要地市。

▉中国广电

2018年,中国广电的广电宽带获批骨干网运营资质,启动全国骨干网建设,并将其命名为CBNNET。
CBNNET的主要建设单位,是中国广电的子公司中国有线。
2019年,广电骨干网已经与中国电信的骨干网进行了互联互通。
按照规划,CBNNET将是一张”五纵五横”的全国性IP骨干网,全网100GOTN起步,部分关键链路400G/1TOTN。
未来,CBNNET将采用三层架构,即国干层、省网/接入层、互联层,覆盖337个地市,逐步形成双平面网络,直接提供宽带出口,互联网总出口带宽将达到5T。

▉总结的表格:

中国骨干网历史
国内运营商骨干网

值得一提的是,包括中移在内的运营商,针对现有骨干网容量不足的情况,普遍建设了所谓的”第二平面”。”第二平面”属于扩容,并不是新建独立的第二张网络。
除了上述骨干网之外,我们国家还有几张针对特定用户的骨干网,分别如下:

中国骨干网历史
特定用户的骨干网