转自公众号 民生运维 最后有作者简介
一 综述
2019年1月民生银行作为IPv6改造行业示范机构，在人行、银保监会、证监会的指引下成立了以副行长带队的IPv6改造领导小组和实施小组，总行和信用卡中心网络、系统、安全、开发、应用协同，积极推动互联网协议第六版（IPv6）规模部署相关工作。2019年3月至8月，我行分批次完成了测试互联网、测试内联网、测试外联网、测试管理网以及测试网SDN网络环境的IPv6改造。并于2019年11月7日和14日，分两个批次采用IPv4/v6双栈技术完成了总行门户网站、科技公司门户网站、直销银行门户网站以及直销银行APP共计11个域名的IPv6改造上线，信用卡中心门户网站也计划于11月底完成改造上线。
通过监测，门户和直销APP IPv6上线后运行稳定, IPv6访问质量相对IPv4有一定程度提升，门户和直销APP总体IPv6业务流量占比已超过30%，访问我行直销银行的IPv6移动终端类型占比已超过70%。门户网站和直销银行APP的上线，标志着我行互联网生产网络正式切换到IPv4/v6双栈环境，为2020年、2021年IPv6的规模推广奠定了坚实基础。本文结合我行IPv6改造的实践，探讨和分享IPv6改造过程中的一些经验和改造需要重点考虑的问题。
二 IPv6改造意义和背景
IP地址是网络互联的关键要素，落实和推进IPv6改造，全面实现互联网网络及业务访问的IPv6化，对我国互联网的发展和业务创新有着巨大和深远的意义。
从国家战略方面来看: 互联网是关系国民经济和社会发展的重要基础设施，深刻影响着全球经济格局、利益格局和安全格局。大力发展基于IPv6的下一代互联网，有助于显著提升我国互联网的承载能力和服务水平，更好融入国际互联网，共享全球发展成果，有力支撑经济社会发展，赢得未来发展主动。总体来看，我国IPv6用户数快速增长，但普及率仍较低。截止到2019年1月29日中国IPV6的普及率只有1.33%, 排名第65位，远低于欧美和印度，美国普及率是42%，印度超过52%，日本25.3%。另外，IPV4网络我国没有DNS根服务器，通过部署IPV6, 我国IPv6 DNS根服务器可以达到4个，在国际互联网环境中占据有利地位。
从技术角度来看: 基于互联网协议第四版（IPv4）的全球互联网面临地址消耗殆尽、服务质量难以保证等制约性问题。面对IPv4耗尽问题，IPv6能够提供充足的网络地址和广阔的创新空间，是全球公认的下一代互联网商业应用解决方案。IPv6在解决IPv4的地址匮乏问题的同时，还具有以下几方面的特点：
IPv6可采用更简洁的层次化的地址结构，有利于骨干网路由器对数据包的快速转发，提升性能和用户体验。IPv6增强了对流的控制，能促进互联网多媒体应用得到发展网络层的认证与加密提供了更高的安全性。功能可灵活扩展，为未来新应用的支持奠定了基础。
从业务发展方面来看: 物联网、5G、人工智能、边缘计算等产业的部署对IP地址有很强烈的刚性需求，IPv6能够提供更广泛的互联网和物联网连接，实现万物互联，促进物联网、工业互联网、人工智能等新应用、新领域的创新。近几年来全球IPv6 网络应用呈现突飞猛进的态势。虽然现阶段IPv6的商业价值还没有完全体现，但是从长远看IPv6的潜力巨大。
为此，2017年11月26日中共中央办公厅、国务院办公厅印发了《推进互联网协议第六版（IPv6）规模部署行动计划》，计划用5到10年时间，建成全球最大规模的IPv6商业应用网络，成为全球下一代互联网发展的重要主导力量。
为贯彻落实中共中央办公厅、国务院办公厅印发的《推进互联网协议第六版（IPv6 ）规模部署行动计划》，加快推进基于IPv6的下一代互联网在金融行业的规模部署，促进互联网演进升级与金融领域的融合创新。2018年12月26日，人民银行总行、银保监会、证监会联合发布了”关于金融行业贯彻《推进互联网协议第六版（IPv6）规模部署行动计划》的实施意见（后续简称《实施意见》），明确了金融行业IPv6规模部署的总体要求、基本原则等内容。
三IPv6改造工作组及总体方案制定
为贯彻落实IPv6改造《实施意见》，推进IPv6规模部署在我行顺利实施，在收到人行、银保监会、证监会联合发布的《实施意见》后我行立即成立了IPv6规模部署专项工作领导小组和实施工作组，负责组织、协调和落实我行互联网协议第六版（IPv6）规模部署相关工作，确保建设、改造工作平稳推进，按时完成。同时我行组织总行及信用卡中心网络、系统、开发、安全、应用等相关部门针对互联网应用系统以及与之相关的网络、系统、安全软硬件基础设施对IPv6协议的支持情况进行了全面梳理和调研，根据梳理和调研结果，对于不支持IPv6协议的应用系统及软硬件基础设施，按照《实施意见》要求，制定了详细的IPv6升级改造方案和计划。
IPv6改造是一个系统性工程，IP地址是生产系统运行的关键要素，地址的变更，尤其是地址编码的升级，需要网络、系统、应用、外部服务等多个方面配合完成。另外，启用IPv6对网络、系统、应用三个层面的功能、性能及稳定性的影响还待详细评估和验证。为了满足IPv6规模部署要求，同时确保我行生产系统从IPv4向IPv6的平滑过渡，结合我行的实际情况制定和落实了如下几大工作内容：
1. 积极开展外部环境调研
积极了解和开展IPv6互联网涉及的外部环境（如CDN、域名系统、运营商、终端、IP地址申请及备案等）的调研，及时把握IPv6发展脉络，确保IPv6上线的稳定运行和质量
2. 加强基础设备功能性能测试
针对网络、系统、安全关键软硬件基础设施开展了为期三个月的功能和性能测试，进一步明确了我行关键基础设施软硬件对IPv6支持程度，明确了软硬件升级的目标，并为后续的详细计划制定和部署实施奠定了坚实基础
3. 测试环境先行
前期由于缺少IPv6的实施建设经验，经商定我行计划首先针对总行及信用卡中心测试网环境进行改造，积极协调运营商和外部服务平台，申请临时的互联网IPv6地址段，打通测试互联网、生产互联网与公网的IPv6环境，提前验证IPv6的部署和迁移方案，积累IPv6建设经验，再在生产环境完成上线。随着改造的深入，我行逐步将IPv6改造的范围推广到了整个测试网，并针对SDN环境进行了改造试点，积累了丰富的实施经验。
4. 生产环境试点
我行IPv6改造工作以生产互联网应用IPv6规模部署为主线，优先实现面向公众服务的互联网应用系统对互联网提供IPv6连接访问，进行互联网应用相关基础设施升级改造工作，同时推进互联网涉及的内部相关监控管理平台的升级改造工作。
5. IP地址总体和详细规划
IP地址贯穿整个业务上线流程，IPv6相对IPv4地址从结构上发生了根本性的改变，长度也由原来的32位增加到128位，非常不便于记忆和维护，因此IPv6地址的规划设计在考虑容量、可汇总、独立性方面之外，更重要的是要充分做到易标识、易识别。我行经过反复讨论完成了全行IPv6地址的总体规划，并制定了总行和信用卡数据中心IPv6地址详细规划方案，在规划IPv6地址时充分考虑了运维的便利性，采用层次化的设计方案，基本做到了现有IPv4地址与IPv6地址的映射，简化了IP地址管理，方便了运维。
6. 加强培训和技能培养
IPv6改造不仅仅是IP地址的变更，IPv6相对IPv4虽有很多共通之处，但在技术细节、应用、运维方面又具备自身的独立性。虽然IPv6已出现很多年，技术本身也很成熟，但由于推广和实际实施、运维经验的缺乏，即使专业的网络运维人员，没有经过系统的学习、培训及实践，也很难对IPv6有较为深入的理解。为此我行专门针对IPv6成立了学习小组，并通过多次内外部培训、开展广泛的交流、全面的产品测试以及测试网大规模改造积累了丰富的理论和实施经验，另外移动互联和直销银行开发团队也通过系统的测试、产品的功能改造对IPv6有了较深的理解。
四 IPv6改造关键领域及考虑
IPv6改造不仅是网络、系统、安全基础设施的软硬件升级和改造，同时也需要应用、开发、监控平台、业务的协同。具体来说，IPv6改造涉及的关键领域有如下方面，由于IPv6改造涉及的方面较多，本节仅针对需要重点关注的一些内容进行描述。
网络基础设施
Ø 外部网络基础设施：重点要关注对上线后质量可能带来影响的内容分发平台和域名系统的IPv6支持成熟度，各单位可能使用的外部平台不一样，因此需要提前与外部平台作好沟通，有条件的情况下提前选择测试环境或不太重要的域名进行验证，也可以通过第三方质量测试平台对IPv6质量进行验证，确保上线后IPv6用户体验优于或不低于IPv4。通过前期的测试验证和上线后的情况来看，我行CDN平台提供的IPv6质量整体上要优于IPv4，由于受互联网IPv6整体改造进度的制约，目前IPv6服务节点较少，未来还有一定的提升空间。域名平台已确认100%支持IPv6，可较好提供IPv6服务，而且既可以通过IPv4地址同时解析A和AAAA记录，也可以通过IPv6地址同时解析A和AAAA记录。
Ø 内部网络基础设施：路由、交换设备除较为老旧的型号外，其它平台和软件版本均能较好地支持IPv6。IPv6改造过程中重点要关注四层和四层以上设备对IPv6的支持程度，特别是防火墙产品，少量老旧产品或平台对IPv6支持不太好，需要进行软件升级或软硬件替换才能较好地支持IPv6。需要特别指出的是，启用IPv6功能后的产品性能下降也是要重点关注和评估的内容，建议通过全面的性能测试来明确。另外，由于IPv6地址的不便于记忆特点，内网系统间调用建议优先考虑通过DNS实现，但DNS的部署和实现方案需进行详细规划和论证。
系统及应用基础设施
系统和应用基础设施也是IPv6改造的重要平台，操作系统、代理、中间件平台在较新版本和平台上对IPv6整体支持较好，部分组件和功能可能存在不支持的情况，需要通过升级解决。另外，针对IAAS和PAAS平台我行也作了一些基本的调研和测试，并在测试环境中也进行了一些验证和试点，IAAS和PAAS平台是金融科技IT基础设施转型的两大关键平台，后续这一块也是需要重点关注和考虑的方面。
安全基础设施
金融行业一般都建立了较为完整的安全防护体系，当前国内安全形势严峻，新技术应用可能会带来新的安全风险，因此安全基础设施的改造升级也是IPv6改造的重点内容之一，安全基础设施分两个方面，一个是串接平台，另一个是旁路平台。
Ø 串接安全基础设施：一般包括DDOS、WAF、IPS等，DDOS又分为两种部署方式，一是通过租用运营商的DDOS平台，目前几大运营商均可提供较为完整的DDOS服务，但IPv6的DDOS服务需要通过和各运营商重新谈判才能纳入到后续的服务体系中，落地周期可能较长，需提前进行考虑，另一种是自建的DDOS平台，主要是要验证其对IPv6功能的支持情况，根据支持情况明确升级或替换方案。
Ø 旁路安全基础设施：一般包括WAF、IDS、SOC安全运营监控、高级威协检测等，目前来看主流的安全平台均能较好地支持IPv6，少量平台需要通过升级支持。
互联网应用
由于各应用使用的功能组件存在一定的差异，因此不同的应用系统需改造的内容存在一定的差异，改造时需根据各应用自身情况分别进行改造。在实际梳理和改造方面建议重点关注如下三个方面。
Ø 配置层面：包括应用配置、中间件配置、常用软件配置等，明确是否涉及了IP配置，需要修改为IPv6地址
Ø 功能层面：包括系统代码、第三方类库、sql或脚本以及中间件，确认是否支持IPv6，是否需要修改代码或更新类库、中间件版本等
Ø 数据层面：包括表结构、数据文件，检查是否涉及存储或导出IPv6地址，支持IPv6是否需要扩展字段长度等
监控管理
监控管理平台的IPv6改造是IPv6改造难度较大的方面，主要是由于当前大部分监控管理平台对IPv6支持能力还不够，若需全面支持IPv6需要涉及较多的开发工作。短期来看监控管理管理平台重点关注涉及互联网出口和前置区的几个平台的基本功能实现，如网管、自动化、流量分析、交易监控等，长期可根据实际要求进行深入改造。
五互联网基础设施IPv6改造技术方案
互联网区基础设施包括网络基础设施、系统基础设施、安全基础设施三大方面，其中网络和安全基础设施的改造是系统、应用改造的基础。互联网基础设施IPv6改造方案实际上有很多种，相对比较灵活，各单位可根据自身实际情况，结合《实施意见》要求，在考虑成本投入、充分评估改造风险的前提下进行相应的改造。就总体改造方案来看，既可以通过新建网络、系统、安全等基础设施来进行改造，也可以进行局部改造短期满足《实施意见》要求，还可以在现有的互联网区直接启用IPv6进行改造，本节重点从大家比较关心的IPv6公网地址申请、IPv6改造技术选择、IPv6改造方案三个方面进行阐述。
1. IPv6公网地址申请
目前可分别向各运营商或中国互联网络信息中心（CNNIC）申请公网IPv6地址。向运营商申请的公网IPv6地址主要用于与运营商专线对接使用，一般每条运营商专线申请独立的IPv6地址段进行对接，对接可使用静态路由。向CNNIC申请的公网IPv6地址既可用于公网运营商对接，亦可作为企业内部地址，且可实现内网与公网直接路由对接。但向CNNIC申请的公网地址与运营商对接需要使用BGP协议，可能涉及对现有网络架构进行较大调整。为此，建议根据当前IPv4公网地址申请模式申请对应的IPv6公网地址，与运营商对接模式也建议与IPv4对接模式保持一致。若短期有接入区规模改造需求，且内网有考虑使用IPv6公网地址进行规划的需求，也可以考虑向CNNIC申请独立的IPv6地址段并与运营商进行动态路由对接。
在IPv6改造初期或IPv6公网地址申请比较早，可能存在IPv6地址为临时地址的情况，这点要特别注意，提前与各运营商确认是否申请的IPv6地址为永久地址，避免后续重新走内外部审批流程，耽误上线进度。
2. IPv6改造技术选择
当前 IPv4到IPv6的过渡技术主要包括如下三种。
2.1 IPv4/v6双栈技术：双栈技术是指网络设备、系统、安全及应用系统等平台在不改变现有物理部署的前提下直接启用IPv6协议，同时运行IPv4和IPv6，实现分别与IPv4或IPv6节点间的通讯。采用双栈技术的前提是网络中的相关基础设施需要同时支持IPv4和IPv6协议，涉及改造的区域所有不支持IPv6协议的终端、线路、网络设备、安全设备、应用系统以及存储设备均需要完成升级改造以支持IPv6协议。
2.2 地址协议转换技术：可通过在本单位互联网出口部署地址转换设备或利用现有的网络设备，实现本单位 IPv4网络与外部 IPv6网络之间的互通。
2.3隧道技术：包括 IPv4 over IPv6和 IPv6 over IPv4两种类型，将数据报文通过隧道进行封装后穿越不同网络以实现不同环境网络之间的互联互通。隧道技术可在基本不改动现有IPv4网络环境的情况下，实现与外部IPv6网络的互联互通。
3. IPv6改造方案
前面提到了IPv6改造方案实际上有多种，不管是现有基础设施进行双栈改造，还是新建基础设施，根据改造的位置、区域均可以有多种落地方案。下面仅基于我行的方案针对现有网络双栈改造和新建两种大的场景进行分别说明。
3.1互联网IPv6改造方案（双栈）
如下图所示，互联网接入区和前置区网络、安全双栈后，前置服务器可以灵活选择V4单栈、V6单栈或V4/V6双栈模式。具体改造后流量访问模型需要根据用户自身环境进行明确，说明如下：
模式一：前置V4单栈业务访问流程
1) 前置服务器通过前置区的负载均衡发布IPv6地址，负载均衡作6to4转换
2) 前置服务器接收IPv4请求，与后端均通过IPv4通信
3) 内网访问前置仍采用原有模式，使用IPv4通信
模式二：前置V6单栈业务访问流程
1) 前置服务器通过前置区的负载均衡发布IPv6地址，负载均衡转发V6请求给前置
2) 前置服务器接收IPv6请求，与后端均通过IPv6通信
3) 前置区内墙需要针对前置访问后台及后台访问前置的流量作6to4和4to6转换
模式三：前置V4/V6双栈业务访问流程
1) 前置服务器通过前置区的负载均衡发布IPv6地址，负载均衡选择转发V4或V6请求给前置
2) 前置服务器接收IPv4或IPv6请求，与后端均可选择IPv4或IPv6通信
3) 前置区内墙根据前置访问后端的模式确定是否需要作转换，V4不需要转换，V6作6to4和4to6转换
3.2 互联网IPv6改造方案（双栈）
如下图所示，互联网接入区和前置区网络、安全平台在条件具备的情况下也可以通过新建来满足改造需求，新建的前置服务器可以灵活选择V4单栈、V6单栈或V4/V6双栈模式。新建的接入区、前置区与现有互联网接入区、前置区并行工作，新建环境的业务访问流程与上述双栈方案没有本质的区别。
3.3 互联网IPv6改造方案对比
3.4 民生银行互联网IPv6改造方案
基于我行互联网涉及的网络、安全、系统基础设施对IPv6支持情况，在测试网改造的基础上，充分考虑操作风险、迁移风险的前提下。2019年我行按如下方案针对互联网涉及的网络、安全基础设施进行了改造。在积累经验的基础上，计划于2020年逐步将改造范围推广到现有互联网前置区并完成相关应用的IPv6改造，实现面向公众提供服务的互联网应用对公网提供IPv6连接访问。
互联网接入区：互联网接入区（包括专线、设备、域名解析设备）的IPv6双栈改造，对互联网同时支持发布A记录和AAAA记录。互联网第三方服务平台（包括CDN加速平台、域名备份平台）同步支持IPv6。
互联网前置区：新建互联网IPv4/v6双栈前置区，部署门户网站(包括总行门户、科技公司门户、直销银行门户）、直销银行APP双栈前置，门户网站、直销银行APP支持互联网IPv6连接访问。
信用卡中心：借助新建同城互联网备中心的契机对互联网接入区完成双栈改造，结合外部CDN平台支持信用卡中心门户网站对互联网支持IPv6连接访问。
六 小结及展望
IPv6升级改造工作是一项复杂的系统工程，我行当前虽已制定未来3-5年的初步改造方案和计划。但由于时间仓促，目前我行在IPv6技术储备和经验积累方面还处于初级阶段，难免出现考虑不周的地方。另外，IPv6改造是一个漫长的过程，IPv6的稳定性还有待后续经过较长时间的验证，IPv6的运维经验还需要较长时间的积累。我行将在满足《实施意见》的前提下，坚持稳中求进的工作总基调，加强人员培训，充分积累IPv6改造和运维经验，积极稳步推进IPv6改造相关工作，逐步实现所有互联网业务对互联网提供IPv6连接访问，为我国向下一代互联网迈进贡献一份力量。
作者简介
兰庆白：网络资深运维经理。2011年加入民生银行，任职于信息科技部网络管理中心。负责数据中心网络规划、建设及相关运维工作,负责全行IPv6改造技术研究和落地。