应用系统分析研究院

01名词解释

DB：database，泛指关系型数据库，具有严格事务隔离机制的数据类库产品，如mysql、sqlserver、postgresql、oracle、db2等。db-engine综合排名前面的全部是关系型数据库。ES：elasticsearch，最好的开源搜索引擎产品，Nosql非关系型数据库，不具备严格事务隔离机制。当前db-engine综合排名第7。应用：本文泛指业务应用系统，是OLTP场景，非OLAP场景，大量运用事务型数据库产品的业务系统。索引：在关系型数据库中是指数据检索的算法，在Elasticsearch是指数据存储的虚拟空间概念，类同数据库中的表。

02背景需求

为什么单一DB不能满足应用系统？

为什么单一ES不能满足应用系统？

为什么要使用DB结合ES混用的模式？而不是结合其他Nosql？比如Mongodb......

下面从技术层面与业务层面分析探讨。

技术层面

db与elasticsearch的技术特性说明

* DB局限性

* 关系型数据库索引基于**最左优先原则**，索引要按照查询需求顺序提前创建，不具备任意字段组合索引能力比如 某xxx表有30个字段，若要求依据任意字段组合条件查询，此时关系型数据库显然无法满足这种灵活需求，包括当下很受欢迎的Nosql明星产品Mongodb也不能满足。

* 关系型数据库支持有限度的关联查询，一般在业务应用系统中，关联表会控制在2～3个表（**个人观点**：有3个表关联的业务场景需要由技术架构师评估是否容许，开发工程师只容许2个表关联），且单表的数据量是要平衡考虑才可以，跨同构数据库源关联就更加不容许。那跨异构数据库源呢？不是不容许，实在是有心无力。

* 关系型数据库 普遍采用B+树数据结构实现索引查询，面对超大数据量处理有天然的瓶颈，数据量超过百万千万级，复杂点的查询，性能下降很快，甚至无法运行。

* 关系型数据库虽然也支持主从同步，支持读写分离，但集群是一种松散式的架构，集群节点感知能力脆弱，不成体系，弹性扩展能力不行。

* ES互补性

* Elasticsearch基于Lucene核心库构建，以倒排索引算法为基础，集成多种高效算法。Elasticsearch默认为所有字段创建索引，任索引字段可组合使用，且查询效率相当高，相比关系型数据库索更加高效灵活。在业务系统中，有很多场景都需要这种任意字段组合查询的能力，简称 **通用搜索**（@跨越速运）。

* Elasticsearch的数据模型采用的是Free Scheme模式，以Json主体，数据字段可以灵活添加，字段层级位置也可以灵活设置 ，关系数据库中需要多表关联查询，在Elasticsearch中可以通过反范式的关联能力，将多个业务表数据合并到一个索引中，采用对象嵌套的方式。

* Elasticsearch天然分布式设计，副本与分片机制使得集群具备弹性扩展能力，可以应付超大的数据量查询，在单索引数据量十亿级也可以在亚秒内响应查询。

* Elasticsearch的索引支持弹性搜索，可以指定一个索引搜索，也可以指定多个索引搜索，搜索结果由ES提供过滤合并，这就为业务系统提供了很灵活的操作空间，特别是在实时数据与历史数据方面，统一查询条件语法皆可执行。

* Elasticsearch支持数据字段与索引字段分离，默认情况下，数据字段与索引字段是同时启用，实际在业务业务场景中，数据表中很多字段无需检索，只是为了存储数据，在查询时方便取回；很多检索字段也无需存储原始数据，只是检索过滤使用。

* DB不等于ES

* 关系数据库定位全能型产品，强事务机制，数据写入性能一般，数据查询能力一般。

* Elasticsearch定位查询分析型产品，弱事务机制，查询性能非常不错。

* DB与ES各有优势劣势，不能等同取代

业务层面

db与elasticsearch业务背景说明

* 业务领域复杂度

* 在进入互联网/移动互联网/物联网之后，业务系统数据量的几何倍数增长，传统应当策略当然是采用分库分表机制，包括物理层面分库分表，逻辑层面分区等。非重要数据可以采用非关系型数据库存储，重要的业务数据一定是采用关系数据库存储，比如物流速运行业的客户订单数据，不容许有丢失出错。

* 面对复杂业务系统需求，当下最流行的解决方式是采用微服务架构模式，微服务不仅仅局限上层应用服务，更深层次的是底层数据服务（（微服务不在本次讨论之内），基于领域模型思维拆分分解。应用服务拆分成大大小小数个，可以几十个几百个，也可以更多，数据服务也拆分成大大小小数个。

* 业务查询复杂度

* 分库分表解决了数据的存储问题，但需要做合并查询却是个很麻烦的事，业务系统的查询条件一般是动态的，无法固定，更加不可能在分库分表时按照所有动态条件设计，这似乎代价太大。一般会选择更强大的查询数据库，比如Elasticsearch就非常合适

* 微服务架构模式解决了业务系统的单一耦合问题，但业务系统的查询复杂度确实提高不少，复杂点的应用服务执行一次查询，需要融合多个领域数据服务才能完成，特别是核心领域数据服务，几乎贯穿一个系统所有方面，比如物流速运行业订单领域。

* DB与ES结合

* 业务数据存储由关系型数据库负责，有强事务隔离机制，保障数据不丢失、不串乱、不覆盖，实时可靠。

* 业务数据查询由Elasticsearch负责，分库分表的数据合并同步到ES索引；跨领域库表数据合并到同步ES索引，这样就可以高效查询。

DB与ES结合问题

db与elasticsearch结合的问题

关于DB与Elasticsearch混合主要有以下两个问题：

同步实时性数据一致性本文不探讨此问题，后续会有专题讲述如何解决。

03混合场景

前面已经论证了关系型数据库与Elasticsearch混合使用的必要性，接下来是探讨混合场景下的业务场景数据模型映射。

1.单数据表->单索引

单数据表映射到单一索引

* 一对一映射关系，关系数据库有多少个表，Elasticsearch就有多少个索引

* 关系数据库提供原始数据源，Elasticsearch替代数据库成为查询引擎，替代列表查询场景

* 单数据表为水平分库分表设计，需要借助Elasticsearch合并查询。如图：电商行业订单场景，日均订单量超过百万千万级，后端业务系统有需求合并查询。

* 单数据表业务查询组合条件多，数据库索引查询能力局限，需要借助Elasticsearch全字段索引查询能力，主要替代列表查询场景。如：电商行业商品搜索场景，商品基础字段超过几十个，几乎全部都可以组合搜索

2.单数据表->多索引

单数据表映射到多个索引

* 一对多映射关系，单数据表映射到多个索引中

* 单数据表即作为 **A索引**的主体对象，一对一映射，如

* 单数据表也作为 **B索引**的子对象，嵌入到主体对象下面

* 基于微服务架构设计，在业务系统中，业务系统划分多个子领域，子领域也可以继续细分，如电商行业，订单领域与商品领域，订单表需要映射到订单索引，也需要与商品索引映射

3.多数据表->单索引

多数据表映射到单个索引

* 多对一映射关系，多个数据表映射到单一索引，索引可以采用款表结构，也可以采用子对象映射方式

* 单业务领域，数据表设计时一般会遵循数据库范式（注：1，2，3，4），即使是反范式设计，也只会增加一点冗余，如果要多表联合查询，数据库表的关联效率很低，甚至是运行不起来，需要借助Elasticsearch合并多个数据表到一个索引中。

* 跨业务领域的数据表要联合查询，也需要借助Elasticsearch整合。

4.多数据表->多索引

多数据表映射到多个索引

* 多对多映射关系，多个数据表映射到多个索引，复杂度高。

* 一个中型以上的业务系统，会划分成多个领域，单领域会持续细分为多个子领域，领域之间会形成网状关系，业务数据相互关联。

* 数据库表关联查询效率低，跨库查询能力局限，需要借助Elasticsearch合并；

* 按照领域需求不同，合并为不同的索引文件，各索引应用会有差异，部分是通用型的，面向多个领域公用；部分是特殊型的，面向单个领域专用。

5.多源数据表->多索引

多源数据表映射到多个索引

* 多源多表，多对多映射关系，数据表与索引之间的映射关系是交叉型的，复杂度最高。

* 一个大中型业务系统，不同的业务场景会采用不同的数据存储系统。

* 关系型数据库多样化，如A项目采用mysql，B项目采用postgresql，C项目选用sqlserver，业务系统通用型的查询几乎不能实现。

* 非关系型数据库多样化，如A项目采用键值类型的Redis，B项目选用文档型的mongodb，业务系统同样也不能实现通用型查询。

* 基于异构数据源通用查询的场景需求，同样需要借助Elasticsearch合并数据实现。

04结语

经验总结* Elasticsearch 虽然早期定位是搜索引擎类产品，后期定位数据分析类产品，属于Nosql阵营，且不支持严格事务隔离机制，但由于其先进的特性，在应用系统中也是可以大规模使用，能有效弥补了关系型数据库的不足。

* 本文主旨探讨了DB与ES混合的需求背景与应用场景，目的不是评选DB与ES谁更优劣，是要学会掌握DB与ES平衡，更加灵活的运用到应用系统中去， 满足不同的应用场景需求，解决业务需求问题才是评判的标准。

内容来源* 内容来源在业务系统中大量运用DB与ES混合实战，得出的一些实战与思考，提供后来者借鉴参考，内容原创转载请注明。

* 本文 2019-12-07 Elastic-北京开发者大会 已经分享，节选自『同步场景』重新整理编写，更多详细可以在Elasticsearch社区下载PPT

* 分享主题《CDC：DB到ES实时同步》

关于我们 * 李猛(ynuosoft)，Elastic-stack产品深度用户，ES认证工程师，2012/2013年接触Elasticsearch，对Elastic-Stack开发、架构、运维等方面有深入体验，实践过多种Elasticsearch项目，最暴力的大数据分析应用，最复杂的业务系统应用；业余为企业提供Elastic-stack咨询培训以及调优实施。

* 深圳星图智能 星图智能是Elastic官方MSP技术合作伙伴

杰士安视频智能分析系统是利用深度学习对视频中语音，文字，人脸以及特定目标进行识别和定位的智能分析系统。是利用一些图像处理、模式识别或机器学习等领域的算法来分析前端设备采集的视频序列信息，对各种安全事件主动预警，通过实时分析，将报警信息反馈至监控平台及客户端。人类70%的信息获取来源于眼睛。 所以通过视频分析，及时发现异常，报告给监控人员是一种适用面非常广的模式。

杰士安视频智能分析是计算机图像视觉技术在安防领域应用的一个分支，是一种基于目标行为的智能监控技术。区别于传统的移动侦测技术，智能视频分析首先将场景中的背景和目标分离，识别出真正的目标，去除背景干扰可视的监控摄像机视频图像进行分析，并具备对风、雨、雪、落叶、飞鸟、飘动的旗帜等多种背景的过滤能力，通过建立人类活动的模型，借助计算机的高速计算能力使用各种过滤器，排除监视场景中非人类的干扰因素，准确判断人类在视频监视图像中的各种活动，进而分析并追踪在摄像机场景内出现的目标行为，达到有效预警。

杰士安智能分析视频监控主要特征是采用计算机视觉方式，在几乎不需要人为干预的情况下，通过对摄像机拍录的图像序列进行定位、识别和跟踪，并在此基础上分析和判断目标的行为，从而做到既能完成日常能在异常情况发生的时候及时做出反应。智能监控的主要优势有：群体行为分析、入侵检测和运动目标跟踪、有效扩展视频资源的用途、对摄像机保户、降低人力成本。

和传统视频监控系统相比，杰士安智能视频分析系统可以及时发现需要关注的事件以及需要关注的物品进行预警保护，只有当此类违反规则的事件发生时相应的场景才会被调用显示供监控人员决策调度，从而使得监控人员的工作强度和工作压力大为降低、甚至阻止犯罪行为的发生。从而不仅能够有效避免损失，而且能够快速有效地取证，智能视频分析系统的意义是显而易见的。

日前

“你好，北区！”第三站

走进了由实创股份打造的

面向“前沿科技和未来产业”的

科技企业加速器实创智谷中心

探访中关村科学城北区新型研发机构

北京石墨烯研究院

北京协同创新研究院

活动当天跟着海淀融媒主播

一起领略了石墨烯的奇妙

“你好，北区”遇见石墨烯！370万网友围观，直呼太神奇！

今天我们来看看

北京协同创新研究院有哪些有趣好玩的黑科技、新产品、新项目

区别于其他人体假肢制造商

这款人体智能下肢假肢自带动力

可以智能识别上坡、下坡等地形变化

自动调整步态

让患者达到高度舒适

这是我国首款机器人技术与假肢制造技术完美结合的智能动力的小腿假肢，用于小腿及以上截肢患者恢复、提高其行动能力，实现多种环境状态下的运动意图自适应与自主学习的人机合一效果。

机器人拿起一个鸡蛋需要多大重力

这个不难计算

而如果力度只是拿起不要捏碎

这个力度就需要计算和试验

由世界柔性电子领军科学家研发的

国际首创的颠覆性机器人电子皮肤技术

亮相“你好，北区！”直播间

这种柔性可拉伸智能人造皮肤，通过全面集成具备信号预处理和传输功能的对压应力、切应力、材料表面纹理和温度感应的多种触觉传感模块，并结合具有延展性的传感器阵列技术，最大程度的提高智能机器人的触觉传感能力。

研究院高科技企业

北京载诚科技有限公司的金属透明电极课题

来源于密西根大学

于2016年立项

在世界上首次成功解决了

7nm银薄膜“岛状分散”的世界难题

实现了对ITO膜的替代，技术水平世界领先

2018年组建产业化公司“北京载诚科技有限公司”，获得资本市场的高度关注，产品获得国际、国内业内领军企业的认可，已经向多家国际知名的大型触控显示产业领域的厂商提供产品

直播中

北京协同创新研究院的国际一流实验室

生物成像实验室

也向网友开放

展示各种先进设备

北京超维景生物科技有限公司的双光子光片显微镜课题来源于北京大学，是使用飞秒激光器作为光源的自智能、高速、高分辨率、大视场的多色双光子三轴数字扫描光片显微镜，应用于神经科学、组织胚胎学、发育遗传学等实验分析。

该成像系统技术水平国际领先，被2014年诺贝尔生理学或医学奖得主 Edvard I. Moser 称为研究大脑的空间定位神经系统的革命性新工具。项目获评2017年中国十大科技进展和2018年Nature年度方法。

北京协同创新研究院发展合作高级专员康路介绍

北京协同创新研究院是北大、清华等13所大学，于2014年联合创建的公益性创新平台，致力于构建“技术研发、产业发展、人才培养”三位一体协同创新体系，建设成为国际一流的全球化“原始创新策源中心、新兴产业培育中心、创新人才培养中心”。

这里组建了全球首支知识产权基金支持技术研发，组建转化加速基金支持产业化，形成了覆盖全创新链的资金链，为持续开展高水平科研及转化提供了保障。

目前，协同院与10多所国内外顶尖大学建立了官方合作关系，从国内外世界一流大学双聘了18位世界一线顶尖科学家、50多位著名教授担任学术合伙人，组建了约200人的工程技术团队，每年实施约50项世界一流的科研项目，转化率超过60%，培养创新创业研究生约200人，成为了一批世界著名大学共同的创新创业基地。协同院将秉承“因创新而无限，因共享而永恒”的核心理念，采取科技创新与制度创新双轮驱动的发展模式，努力成为新时代创新发展和大学改革的探索者。

直播在快手、微博、今日头条等平台

累计观看量达372万

直播引起广泛关注

京彩好评、头条新闻、时间视频、中华网官微、

北青网、梨视频、一点资讯、搜狐视频、

千龙网、花椒直播、网易新闻客户端、

爱奇艺资讯等平台

同步转发直播活动！

错过直播的小伙伴也不要遗憾

您可以在海淀官方快手“海淀第一手”

海淀官方微博一直播“海淀新闻”

海淀官方今日头条“北京海淀”

回看直播哦~

“你好，北区！”大型系列直播是《中关村科学城北区发展行动计划》发布后，海淀区融媒体中心精心策划的“场景+体验+互动”式宣传推介活动，聚焦北区的优势资源，扩大北区的影响力，展望北区发展前景。

接下来

你好，北区！还将呈现更多精彩

锁定我们！

精彩继续！

（北京海淀）

干细胞转化研究院在昆明医科大学揭牌（供图）

干细胞转化研究院在昆明医科大学揭牌（供图）

7月31日，“昆明医科大学 爱瑞康医疗投资管理(北京)有限公司合作协议签署暨干细胞转化研究院揭牌仪式”在昆明医科大学呈贡校区学术交流中心举行。

此次合作将发挥双方优势，瞄准“干细胞转化”，共同打造区域一流的干细胞和再生医学“产学研”转化平台，以实现社会效益和经济效益的共赢。

据悉，合作协议签署后，校企双方将联合开展干细胞转化领域相关的产、学、研一体化研究，联合申报“国家干细胞临床研究备案项目”“国家体细胞临床研究备案项目”，积极推动干细胞、体细胞基础研究及转化应用。同时，将共同在云南建成集样本采集、分离、制备、保存、质检分析和临床应用为一体的符合国际标准的人体生命样本库，打造区域一流的细胞治疗转化医学平台，为各类重大疾病的基础研究与临床转化应用奠定坚实基础。

现场，昆明医科大学党委书记袁斌表示，双方合作有利于提高科技资源的合理配置和高效利用，促进系统性、原创性重大产出和高效的成果转移转化，构建从基础、临床研究到转化应用一体化应用体系;有利于提升云南省细胞转化医学水平,形成良好的行业规范与推广运行机制。

“此次与昆明医科大学共建联合研发平台及人类生命样本库，必将加快以细胞治疗为基础的生物治疗产品达到标准体系，带动云南干细胞基础研究及临床转化应用的产业发展，促进干细胞产业优化升级;提升校企双方品牌优势和核心竞争力。”爱瑞康医疗投资管理(北京)有限公司董事长李云飞说。（中国日报云南记者站）

来源：中国日报网

网络流量分析系统应用监控中心仪表板，提供实时动态的业务运行状况监控视图，监测和告警大量相关内容，主要包括：应用相关统计数据，如应用数量、服务器响应时间、应用访问数、用户体验；应用分布状况；应用实时监测；用户体验；应用访问状况；失败最多的应用；应用访问时间序列分布；流量分析和会话分析。

网深科技应用监控中心

非侵入方式，对现有网络/系统/业务无影响

网深科技流量分析系统旁路工作，不影响业务运行，不增加业务的负载不中断网络对网络设备的压力可忽略（增加负载overhead低于1%）对应用不带来任何延时（Delay = 0）自动监控网络及业务运行状态，无人值守，预知故障征兆，捕获故障细节，预防各类潜在危机：

异常或突发流量，可以分析发现故障原因，降低系统风险；网络攻击，快速定位攻击的来源和对象，避免业务损失应用级的响应延时（精确到ms），查看业务的处理时间，保证业务健康运行应用级网络流量大小（精确到kb），实时查看网络带宽占用率，便于网络优化应用级的请求连接数，通过查看应用连接状况，了解应用行为特征，优化应用运行环境SLA服务水平定制与监控，可监控分支机构运行状态：

监控不同分支机构的网络资源占用率监控不同分支机构的应用响应时间，查找服务水平不达标的原因对不同用户提供个性化界面

适于不同职能和级别的人员，包括：主任、应用管理，网络管理、安全管理等能从多个层级/角度捕获信息，分析发现故障或隐患，得到详细分析资料和报告快速、深入的查看发现网络故障征兆

NetInside可快速发现网络故障，例如：网络流量运行规律、应用分布情况、网络与应用相关的时间参数、重传延时、失败连接数等；自动鉴别受故障影响的对象，包括：

最终客户、分支机构合作伙伴、服务人员