一、视图——处理多表数据结果集的方法(论文文献综述)
田川[1](2021)在《大数据多维建模分析平台的研究与实现》文中提出大数据多维分析平台旨在从多个角度、多个侧面观察和挖掘海量数据,经过专业的整合与分析,最后输出可视化数据或图表,帮助分析师和企业用户深入了解包含在数据中的信息和内涵。面对数据量和分析需求的爆发式增长,本文采用MOLAP(Multidimensional OLAP)的预计算技术突破传统ROLAP(Relational OLAP)平台的性能瓶颈,但其应用却存在以下问题与挑战:1)在预计算技术的应用中,多维数据模型的构建和优化过度依赖数据专家,当数据规模不断增加、数据分析需求频繁变化时,这种手动建模的方式会耗费大量人力;2)传统的多维模型优化算法存在由于评价指标单一(仅评价物化时间,过度追求物化视图的查询命中率)导致的超高维度时的维度灾难问题、以及物化视图集频繁抖动的问题;3)MOLAP由于查询场景固化,必须应用在混合引擎的系统中,然而在基于混合引擎的系统中,ROLAP和MOLAP引擎各有所长,系统难以在二者之间做出快速、合理的选择,亟需一种多维模型索引对查询路由提供支持。针对以上问题和需求,本文对大数据多维分析、预计算和多维数据索引等技术进行了深入的研究和分析,主要研究内容如下:(1)研究并实现了多维数据模型的自动构建及持续优化技术。通过分析历史查询任务提取元数据,在后台自动学习沉淀数据间的关联知识、构建数据表关联视图,以此为基础设计多维数据模型并进行物化,打通“原始数据—预计算—数据分析”的路径,并在多维数据模型使用的全生命周期对其进行监控和优化,使MOLAP的使用更加便捷化、智能化。(2)提出并实现了基于带权图的多维大数据模型优化算法。算法引入了新的评价指标:平均查询时延和膨胀率,有效权衡了查询性能和存储空间,解决维度灾难的隐患。并通过挖掘维度之间存在的关联信息划分聚合组,使数据模型适应探索式分析的需求,减少物化视图集的频繁抖动。(3)研究并实现了基于混合引擎的多维数据查询技术。提出了一种基于Cube生成树的Bitmap索引,并给出这种Bitmap索引的检索方法和整体查询路由策略,用于解决查询引擎的选择问题。这种Bitmap索引契合多维数据模型的结构,并且占用空间小、位运算速度快,为混合引擎的查询路由提供了一种高效的索引解决方案。最后,基于以上三方面的研究设计并实现了大数据多维建模分析平台,应用于国家重点研发计划项目“基于大数据的科技咨询技术与服务平台研发”中,验证了本文平台及方法的有效性及实用性。
朱燕超[2](2020)在《面向区块链系统的查询处理研究》文中研究指明作为一种由互不信任的多方共同维护的分布式账本,区块链系统向外提供的数据查询服务必须满足查询结果集未被篡改且完整性可验证的要求。区块链系统中的查询主要分为两类:面向全节点的查询和面向轻节点的查询。其中,面向全节点的查询需要全节点维护一份完整的区块链数据、参与共识且同步数据,存储、计算和网络代价高昂;而在执行面向轻节点的查询时,查询方仅需维护区块的头部信息来验证从其它全节点返回的查询结果集,成本显着降低。现有区块链系统大多将区块数据存储在语义描述简单的Key-Value数据库或文件系统中,如LevelDB等。然而,这类系统的查询接口单一,其能支持的面向全节点的查询类型有限。现有工作大多通过将区块数据复制到链下数据库的方式提供更多查询服务,但区块数据进行追加存储的方式极大增加了存储成本。对于面向轻节点的查询,查询方需要验证来自不可信全节点的查询结果集的完整性。但是,传统区块链系统仅支持简单的交易或状态的存在性证明,无法验证其他类型。而在外包数据库中广泛采用的基于MB树的可验证查询方案,难以适配区块数据的更新特征,导致写入性能低下,因而无法直接应用于面向轻节点的查询之中。鉴于现有区块链系统在查询处理方面存在以上问题,本文主要完成以下工作:1.针对传统面向全节点的查询类型有限、处理性能低下的问题,本文为区块数据添加关系语义,使其支持由选择、投影与连接等基本关系算子复合而成的复杂查询。系统只存储一份区块数据,因而不增加额外的存储成本。此外,由于同属一张表的交易按照其发生的时间线分布到多个区块,这显着增加了I/O开销,本文设计了表级位图索引和层次索引来加速数据访问,优化了查询处理,并最终显着降低了查询的响应时间;2.由于面向轻节点的查询无法同时支持对范围和连接查询结果集的完整性的验证,且传统验证结构例如MB树由于难以适配区块链以区块为单位的更新机制,而面临写入性能低下的问题,本文设计了一种写入高效的验证索引结构AC树(Authenticated Compacted Tree),来支持可验证范围和连接查询。在AC树中,数据更新都写入内存,当写入的数据量达到设定阈值之后再批量刷入磁盘,从而减小索引更新对系统写入带来的影响。在AC树的基础上,本文还设计了 AC*树来优化基于时间窗口的数据访问,基于AC树、AC*树还能够高效地支持可验证连接查询;3.针对现有的面向轻节点的查询难以支持高效的可验证多维聚集查询的问题,本文提出了基于密码学累加器的验证结构GCA2树(Generic Capacity-efficient Authenticated Aggregate Tree),其存储代价与查询维度线性相关,从而解决了传统类似MB树的外包数据库中的验证结构随着查询维度的增大而表现出的性能急速衰减、存储代价急剧增加的问题。基于该结构,本文设计了可验证多维聚集查询算法,单个验证结构可以支持一张关系表上任意维度组合的多维聚集查询。本文还进一步提出多区块批量处理与验证结构合并两种优化策略,极大地降低轻节点的网络与验证开销;4.综合已有区块链系统查询功能和性能不足的问题,本文设计实现了一款面向丰富查询的区块链数据库系统——StarChain,并集成了本文提出的关键技术,包括:全节点查询优化,高效的面向轻节点的可验证范围、连接和聚集查询。本文在评测基准BChainBench上进行了广泛的实验,实验结果表明本文提出的方法是有效与可行的。综上所述,本文主要针对已有区块链系统在查询处理方面的功能和性能上的不足,为区块数据添加了关系语义使其能支持多种类型的查询,从而克服了区块链采用Key-Value数据库作为存储引擎所带来的查询功能单一、查询优化机制不足的问题。在此基础上,我们为全节点和轻节点分别设计了新颖的索引结构和验证结构提升了全节点和轻节点的查询性能。最终,我们将以上理论成果集成到自主可控的区块链数据库——StarChain上进行了实验验证,其结果表明了本文所提方法是有效的。
樊致远[3](2020)在《面向电子商务平台的混合数据存储方案研究与实现》文中指出网络的发展与互联网应用的普及推动了电子商务平台的快速发展。人们开始习惯使用电子商务平台,随着用户越来越多,平台的访问速度开始下降,为了提高电子商务平台的性能,很多公司在搭建电商平台的过程中不仅使用关系型数据库,还使用非关系型数据库进行数据存储。本课题针对这种情况,提出了面向电子商务平台的混合存储方案,对于电子商务平台的多数据库访问和异构数据存储和访问具有一定的实践意义。首先,描述了国内外电子商务平台数据存储的发展现状,总结了关系型与非关系型数据库混用所带来的问题。为此,研究了关系型数据库和非关系型数据库的技术特点和Visitor模式。同时,分析了异构数据源查询的三种方式,并指出了针对电子商务平台独立中间层更为适用。其次,分析了电子商务平台的存储特点,提出了电商数据的混合存储原则,并依据该原则设计了电子商务平台混合存储模型,建立了一个混合存储软件模型,并详细介绍了该软件模型的SQL解析模块、SQL路由模块、数据执行模块、结果集合并模块和元数据模块的设计。再次,结合面向电子商务平台的混合存储模型,实现了电子商务平台的混合存储方案,然后实现了SQL解析模块、SQL路由模块、数据库执行器模块、结果集合并模块和元数据模块的主要功能,并给出实现思路和关键函数的实现流程,详细介绍了SQL解析中语法树模块和解析模块的实现。最后,根据混合存储模型对胜乐票务平台的数据存储层进行修改,并以企业端相关功能为例,概述了不同功能生成的不同种类的SQL语句在执行过程中,调用的API,执行的中间结果,以及处理合并的结果,并验证了混合存储方案对比原平台的访问速度优势。
张伟[4](2020)在《高铁接触网精细化检修管理系统研究与实现》文中指出随着高速铁路运营里程的不断增加,高铁接触网的规模日渐庞大,加之接触网设备众多、组成复杂、运行环境恶劣,导致高铁接触网运营维护的压力逐渐增大。当前的接触网检修管理系统对接触网设备管理较为粗放,自动化程度低,人员操作繁琐,无法准确反映所有接触网设备的真实面貌,无法实现接触网设备检修计划的自动编制及检修执行进度的可视化校核,导致接触网检修效率低,经济性和可靠性得不到保障。精细化的检修管理系统有利于提高接触网检修效率、提高其运营的经济性和可靠性。针对以上问题,本文研究内容如下:(1)研究了以接触网为核心,以股道为单位,囊括所有接触网设备类型的接触网组织管理模型。以“杆号标准划分、股道单位编组”为原则,研究了接触悬挂、分段绝缘器、绝缘子、避雷器、隔离开关等单股道设备,以及线岔、硬横跨、软横跨等多股道设备的生产组织管理模型,进而建立了高铁接触网设备精细化管理模型,实现了接触网设备物有所属,为接触网检修计划的自动编制与精细化管理系统的构建奠定了数据基础。(2)研究了一种基于弹性周期区间的高铁接触网检修计划自动编制模型。以《高速铁路接触网运行维修规则》规定的预防性检修周期为依据,对其检修周期进行弹性拓展,以设备编制状态为决策变量,以超周期惩罚费用与检修路径代价为优化目标,结合多目标规划中的分层序列法思想设计模型的启发式求解算法。算例结果表明,该方法符合工程实际需求,具有较好的实用性,实现了检修任务细分,有效加强了高铁接触网检修管理精细化。(3)研究了一种基于时变可靠度状态区间的高铁接触网检修计划自动编制模型。通过对接触网设备进行可靠性建模,考虑设备运行可靠度的时变性,应用以设备状态为中心的视情检修策略,在设备运行可靠度约束之下确定设备检修有效编制区间、运行极限状态、役龄回退等编制基础,以设备运行可靠度最大与检修路径代价最小为优化目标,并设计了相应的启发式求解算法。算例结果分析表明,该模型可解决因设备运行可靠度时变造成的“检修过剩”与“检修不足”,更加符合检修工作要求,提高了检修质量与效益,进一步促进了高铁接触网检修管理精细化。(4)在前述基础上进行高铁接触网精细化检修管理系统的开发。系统基于B/S与C/S架构相结合的方式,分别确立了IIS+ASP.NET+SQL Server的网站开发环境配置和基于Visual LISP语言的Auto CAD二次开发技术,依据高铁接触网精细化管理模型对系统数据库结构进行设计优化,建立单元化、关系型接触网设备云数据库,最后运用模块设计思路,确立系统具体结构模块,细划模块功能,实现高铁接触网精细化检修管理系统的开发。
高涵[5](2020)在《基于Web Service的全球空间格网统一检索服务研究与实现》文中提出随着数据获取手段的不断增加,地球系统科学也进入“大数据时代”,如何能让不同专业、不同研究领域的研究人员从纷繁复杂的地球系统科学数据中获取到自己想要的数据成为值得探究的问题。现如今,以网页为载体的数据共享方式成为主流,这种方法通常以门户网站等形式面向广大用户提供不同层次、不同领域、不同专业、不同应用以及不同专题的科学实验数据。然而现有地学数据共享主要侧重以元数据管理与统一检索、分布式数据存储、标准网络服务、门户网站等技术的研究与建设,并没有对空间参考不一致等问题上花费太多时间,虽然借助全球空间格网技术可以实现将多源异构数据容纳在同一参考框架下,但是目前格网技术的研究仍以桌面端应用为主。如何将全球空间格网技术与Web服务结合,实现Web环境下的基于全球空间格网的数据检索是一个值得研究的问题。本文在分析现有多源异构数据整合共享技术的基础上,从构建中间件的角度出发,建立全球空间格网与现有数据之间的映射关系,结合元数据技术、Web服务技术,实现各类数据空间上的一致整合,以及以格网块为单元的多源数据自由、便捷检索与共享。论文的研究内容如下:(1)基于全球空间格网的数据整合技术研究。在确定的全球空间格网框架下,即基于球体退化八叉树的地球系统空间格网的基础上,在各部门、各单位数据库现有技术体系不变的情况下,通过增加格网编码和局部空间坐标,构建统一的格网索引,为建立检索中间件和基于全球空间格网的检索服务提供基础。(2)全球空间格网检索中间件及检索服务的研究。通过对检索中间件应完成的功能和地球系统科学数据特点分析,针对全球空间格网,设计符合在该框架下数据传输与表达的规范化描述格式,针对应用需求和面向领域,结合web服务设计全球空间格网检索服务。(3)原型系统的研发与验证。这部分在空间数据整合方法和面向网络的全球空间格网检索服务的研究基础之上,结合WebGIS开发技术,设计并开发了基于全球空间格网的检索服务原型系统,并设计实验验证本文相关理论技术的可行性。该论文有图26幅,表16个,参考文献83篇。
黄博伦[6](2020)在《移动物体γ辐射污染监测系统优化》文中指出核能作为清洁能源,开发利用核能是解决当前气候、能源危机的现实选择。日本福岛核事故后,我国更加关注核能安全使用。有效实现对核辐射情况进行快速实时监测,对于消除公众对核安全的担忧和核能的可持续发展具有现实意义。本文以我国华北某核电站控制区出入监测系统为对象,从数据传输实时性,系统功能可扩展性以及安全性对原系统运行时暴露问题进行分析,并结合Web端Java开源框架对系统进行优化。论文主要研究成果如下:1)、将Mybatis应用于持久层解耦业务逻辑代码与SQL语句并实现Java类型与数据库数据类型自动转换,替代原系统侵入式手动类型转换方式,降低开发调试难度并提高SQL代码可维护性。使用Druid数据库连接池技术管理数据库连接对象替换原有基于JDBC数据库访问方式,减少增删改查SQL语句执行耗时,由原系统平均执行耗时300ms优化到平均耗时20ms。基于RBAC思想对原系统用户认证授权相关表结构进行重构实现认证与授权功能持久层实现,解耦用户、权限与资源信息提高用户授权可维护性。2)、业务逻辑层引入Spring Security框架优化系统认证功能,通过Spring Security接口结合校验码解决原系统基于Cookie和Session方式实现用户认证带来的跨域请求伪造安全漏洞。基于RabbitMQ消息中间件替换原系统基于Ajax异步请求方式获取辐射监测数据,实现服务器辐射监测数据实时推送,数据传时由平均耗时100ms优化到30ms,提高了辐射监测数据传输实时性。3)、Web层采用实现MVC设计模式的Spring MVC框架替换原系统基于Servlet实现方式,解决原系统随着功能模块增加用户请求配置文件复杂的问题,细化用户请求处理并提高了系统可维护性。同时增加系统异常统一管理功能,在原系统基础上实现对系统运行时异常以及Java定义异常统一管理,解决原系统异常处理代码与业务逻辑代码耦合问题,提高系统稳定性。结合Spring MVC以及Thymeleaf模板技术实现管理页面重构,减少管理页面代码重复编写,提高代码复用性,减少客户端管理页面维护难度。
蔡磊,朱燕超,郭庆兴,张召,金澈清[7](2020)在《面向区块链的高效物化视图维护和可信查询》文中研究说明区块链具有去中心化、不可篡改和可追溯等特性,可应用于金融、物流等诸多行业.由于所有交易数据按照交易时间顺序存储在各个区块,相同类型的交易数据通常会散布在诸多区块之中,降低了面向历史区块的追溯查询的处理效率.索引构建和物化视图是提升查询性能的两种典型方法,但当待处理数据分布于多个区块时,使用索引无法改善I/O访问效率,而物化视图可有效应对这个问题.然而,由于区块链系统的特点明显区别于关系数据库,传统的面向关系数据库的物化视图技术无法被直接应用到区块链之中.鉴于此,首次提出一种面向区块链的高效物化视图机制,具有如下特征:(1)将视图维护操作与共识过程同时执行,降低该操作对系统性能的影响;(2)使用字典树加快以区块为单位的多物化视图维护进程;(3)以默克尔验证的方式确保物化结果不被恶意篡改,进而确保查询结果可信.所提出的物化视图维护机制已经被集成到一个区块链系统中,并通过实验来验证该机制的高效性.
王芳[8](2019)在《基于Java的车间远程监测系统》文中研究指明智能制造是“中国制造2025”计划的重点内容,智能工厂中的数据管理和监测系统是智能车间建设的重要方面。基于Java的车间数据分析和监测系统的主要功能有车间零件和机械设备的配置信息的展示、车间加工零件的尺寸及其误差展示、车间设备的健康数据展示、特征值计算、车间三维模型展示等。解决了智能车间生产过程中的数据管理问题,建立了数据分析和监测系统,通过数据分析技术来实现车间生产的智能化,全面提高产品的质量、增强企业的管理能力。系统优化是提高系统实时性的重要方法。在传输模型的优化方面,上位机系统放弃传统表对象Entity的建立,使用HashMap结构,直接将查询数据存储到该结构中,减少数据到表对象的映射过程,减少数据库的数据类型与Java中的基本类型之间的转换,方便数据的传输。在下位机系统中使用泛型简化代码量,并保证通用性和高效性。通过构建复杂网络模型分析系统模块的合理性并通过查找关键节点提高系统的健壮性。根据系统数据查询的特点,在频繁查询的列、表示状态的列、保存时间的列和多表连接查询中进行表连接的列上建立索引,其中值的类型较少的列上建立的索引为位图索引。通过构建蚁群算法查询应用模型,计算出多表连接的最优查询路径。对车间数据进行查询、分析和可视化,首先配置可自启动的线程,然后将通过自启动的线程查询到的数据进行统计分析,计算其特征值,最后利用图表和三维模型的方式进行特征数据的可视化。
戚海荣[9](2019)在《电容外观检测数据管理系统的设计与实现》文中研究说明随着“工业4.0”、“工业互联网”和“机联网”等思想理念的深入企业生产制造,传统企业纷纷对原先落后的人工生产工序进行改革,实现生产检测的自动化,并通过网络架构机器之间、人与机器之间的通信与控制反馈。本课题中的电容生产企业,电容外观瑕疵检测工序需要对生产完成的电容外观进行检测,挑除气泡鼓包等瑕疵电容。通常该工序由工人手动按电容批次逐个挑选完成,将挑选出的瑕疵电容计数后记录至纸质流程卡。后经机械化改进,企业设立了独立的电容检测车间,并配置了多台电容瑕疵检测机,用于挑选外观瑕疵的电容。但是每台检测机器只能各自进行瑕疵电容的挑选与剔除,每台机器都是孤立的个体,无法进行统一的数据管理或机器控制。为此,本文提出了一种电容外观瑕疵检测数据管理系统,用于实现对检测机器检测数据的统一管理。电容外观瑕疵检测数据管理系统分为底层、中间层、顶层三个层级。底层为车间的本地数据管理服务与本地数据库,负责接收来自检测机器的各类工作数据并进行及时的处理数据存储,另外提供了车间管理员的GUI界面进行车间实时检测数据的监看。本文实现了一种基于事件驱动类型的异步Socket服务器,能够高效率的处理来自多台检测机器的数据,并通过异步操作进行数据库的存储。中间层则需要实现一个桥梁的功能,将存在于底层的检测数据上传至云服务层,打通顶层于底层的数据通道。本文实现了基于Windows服务的数据同步服务,自动在Windows启动后将本地数据库所有的数据同步至云平台的数据库。顶层架构则直面外部的用户请求,为用户展示来自底层最新的检测实时数据。因此,本文通过一个阿里云的ECS服务器作为云平台,部署了基于微服务架构思想的Web服务系统,并创建云平台的数据库。本文最后对该系统按模块进行了测试,评估了系统的最高负载和业务功能,得到的各项数据良好,系统满足设计需求。电容瑕疵检测数据管理系统为企业电容检测车间的检测数据实现了自动化管理,提高了企业生产效率。
纪秀明[10](2019)在《多数据库的跨库操作技术研究》文中研究表明数据库访问首先就是建立数据库连接的过程,这包括建立通信连接、权限检查、启动服务等,系统还需要分配内存等资源,这些都是耗时的过程。同时随着系统的不断扩容,访问数据库的用户数量也在不断增加,这必然会导致整个数据库系统访问速率的下降。每次数据库连接使用完毕后应立即断开连接、释放资源,如果由于程序运行错误导致数据库连接未能及时断开,势必会引起数据库系统的资源浪费、内存泄漏等一系列问题,甚至会引起数据库服务器的宕机。大多数企业都同时运行多种数据库系统,在不同的软硬件平台上运行着多种数据库管理系统,造成了各个(异构)数据库之间很多不兼容的特征,这些数据库之间的信息如何有效地操作就显得尤为重要。实际应用中如果能采用一种连接复用技术,实现对数据库连接的复用,这将提高对多(异构)数据库的操作性能。另外,使用一种通用的接口,实现对多种数据库的容灾备份、扩容等管理,对普通用户也是极为有益的技术。本文研究一种支持对多个(异构)数据库管理系统操作的技术,设计了一种对多数据库通用操作的中间件软件模型,提供统一的多数据库跨库访问接口,并利用复用技术达到连接收敛的目的,完成一条SQL语句对多个(异构)数据库的跨库操作,优化跨库操作的性能和安全性。本文针对其它数据集成方式缺乏灵活性、投入成本较高、建立周期较长等缺点,采用可扩展标记语言XML文档作为异构数据库系统的通用数据模型,设计开发中间件以利用通用的XML视图集成各种分布式多数据库系统,从而达到多种异构数据库透明性互访的目标,以及实现系统的可移植性。本文针对一般多数据库操作语言使用复杂、缺乏全局模式、用户负担过重等缺点,构造了一种特有的模式映射规则,解决由于不同模式集成而导致的模式冲突,并基于SQL-92标准定义了一种类SQL语言,从而较好地优化解决了其它多数据库操作语言缺乏模式集成、使用繁琐等诸多问题。本文为了降低异构数据库系统之间查询的通信代价,提高查询效率,对一般的半连接算法进行了改良。这种改进优化后的半连接算法,对多数据库间的查询数据量和查询速率都有较好地提高,从而提升了异构数据库系统之间的查询效率。
二、视图——处理多表数据结果集的方法(论文开题报告)
(1)论文研究背景及目的
此处内容要求:
首先简单简介论文所研究问题的基本概念和背景,再而简单明了地指出论文所要研究解决的具体问题,并提出你的论文准备的观点或解决方法。
写法范例:
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
(2)本文研究方法
调查法:该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法:用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法:通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法:通过调查文献来获得资料,从而全面的、正确的了解掌握研究方法。
实证研究法:依据现有的科学理论和实践的需要提出设计。
定性分析法:对研究对象进行“质”的方面的研究,这个方法需要计算的数据较少。
定量分析法:通过具体的数字,使人们对研究对象的认识进一步精确化。
跨学科研究法:运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法:这是社会科学用来分析社会现象的一种方法,从某一功能出发研究多个方面的影响。
模拟法:通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、视图——处理多表数据结果集的方法(论文提纲范文)
(1)大数据多维建模分析平台的研究与实现(论文提纲范文)
摘要 |
ABSTRACT |
第一章 绪论 |
1.1 研究背景与意义 |
1.2 国内外研究现状 |
1.2.1 多维数据模型建模的研究现状 |
1.2.2 多维数据模型优化算法研究现状 |
1.2.3 多维数据模型索引技术研究现状 |
1.3 硕士在读期间主要工作 |
1.4 研究内容与论文工作 |
1.5 论文组织结构 |
第二章 相关技术及理论研究 |
2.1 联机分析处理技术OLAP |
2.1.1 OLAP基本概念 |
2.1.2 多维数据立方体Cube |
2.1.3 OLAP多维数据分析操作 |
2.2 多维大数据存储及查询引擎 |
2.2.1 数据仓库和列式存储 |
2.2.2 ROLAP查询引擎Spark SQL |
2.2.3 MOLAP查询引擎Kylin |
2.3 预计算原理及构建方法 |
2.3.1 基于Spark的逐层构建方法 |
2.3.2 快速构建算法 |
2.4 本章小结 |
第三章 多维数据模型的自动构建及持续优化技术 |
3.1 研究挑战 |
3.2 数据语料的采集及分析 |
3.3 多维模型及数据立方体的设计 |
3.3.1 数据表关联模型的设计 |
3.3.2 多维数据立方体Cube的设计 |
3.3.3 多维数据立方体Cube的构建 |
3.4 多维数据模型的全生命周期优化 |
3.4.1 总体优化流程 |
3.4.2 初次构建时的优化 |
3.4.3 Cube运行时的持续优化 |
3.5 本章小结 |
第四章 基于带权图的多维大数据模型优化算法 |
4.1 研究挑战 |
4.2 评价指标及其估算 |
4.2.1 查询时延 |
4.2.2 膨胀率 |
4.3 基于贪心思想的聚合组划分 |
4.4 目标函数 |
4.5 算法步骤 |
4.6 实验设置及结果分析 |
4.6.1 实验设计和评价指标 |
4.6.2 实验环境和数据 |
4.6.3 实验结果分析 |
4.7 本章小结 |
第五章 基于混合引擎的多维数据查询技术 |
5.1 研究挑战 |
5.2 构建基于Cube生成树的Bitmap索引 |
5.2.1 Cube生成树 |
5.2.2 建立维度字典 |
5.2.3 构建Bitmap索引 |
5.3 基于Bitmap索引的混合引擎查询路由 |
5.3.1 Bitmap索引的逻辑运算 |
5.3.2 检索Bitmap索引 |
5.3.3 查询路由整体流程 |
5.4 实验分析 |
5.4.1 实验环境及数据 |
5.4.2 实验设计与结果分析 |
5.5 本章小结 |
第六章 大数据多维建模分析平台的设计与实现 |
6.1 需求分析 |
6.1.1 系统业务需求分析 |
6.1.2 系统功能需求分析 |
6.2 平台架构设计 |
6.2.1 功能结构设计 |
6.2.2 技术架构设计 |
6.2.3 整体架构设计 |
6.3 数据库设计 |
6.4 模块设计及实现 |
6.4.1 数据管理模块 |
6.4.2 自动建模、持续优化模块 |
6.4.3 多维数据分析模块 |
6.4.4 多维数据可视化模块 |
6.5 系统测试与评估 |
6.5.1 页面展示 |
6.5.2 系统测试 |
6.6 本章小结 |
第七章 总结与展望 |
7.1 工作总结 |
7.2 未来展望 |
参考文献 |
致谢 |
攻读学位期间取得的研究成果 |
(2)面向区块链系统的查询处理研究(论文提纲范文)
摘要 |
Abstract |
第一章 绪论 |
1.1 研究背景与意义 |
1.2 国内外研究现状 |
1.2.1 典型区块链上的查询处理 |
1.2.2 面向全节点的查询处理 |
1.2.3 面向轻节点的查询处理 |
1.3 研究内容与挑战 |
1.4 主要贡献 |
1.5 章节安排 |
第二章 背景知识与相关工作 |
2.1 区块链基础 |
2.1.1 区块链系统类型 |
2.1.2 区块链系统架构 |
2.1.3 区块链技术发展 |
2.2 可验证查询 |
2.2.1 支持通用可验证查询技术 |
2.2.2 支持特定可验证查询技术 |
第三章 面向全节点的查询处理 |
3.1 关系语义添加 |
3.2 查询定义 |
3.2.1 链上查询 |
3.2.2 联合查询 |
3.3 索引结构设计 |
3.3.1 区块索引 |
3.3.2 表级位图索引 |
3.3.3 层次索引 |
3.3.4 查询代价分析 |
3.4 基于索引的查询优化 |
3.4.1 追溯查询 |
3.4.2 链上连接查询 |
3.4.3 联合查询 |
3.5 实验与分析 |
3.5.1 实验配置 |
3.5.2 BChainBench: 一个区块链数据库的评测基准 |
3.5.3 实验结果与分析 |
3.5.4 实验小结 |
3.6 本章小结 |
第四章 面向轻节点的可验证范围、连接查询处理 |
4.1 问题定义 |
4.1.1 系统模型 |
4.1.2 查询定义 |
4.1.3 威胁模型 |
4.2 验证索引结构AC树与AC~*树 |
4.2.1 写入高效的验证索引结构AC树 |
4.2.2 面向时间窗口优化的AC~*树 |
4.3 可验证连接查询 |
4.3.1 基于AC树的可验证连接查询 |
4.3.2 基于AC~*树的可验证连接查询 |
4.4 AC树与AC~*树在区块链上的应用 |
4.5 安全性分析 |
4.6 实验与分析 |
4.6.1 实验环境 |
4.6.2 实验结果与分析 |
4.6.3 实验小结 |
4.7 本章小结 |
第五章 面向轻节点的可验证聚集查询处理 |
5.1 预备知识 |
5.2 问题定义 |
5.2.1 系统模型 |
5.2.2 查询定义 |
5.2.3 威胁模型 |
5.3 验证结构GCA~2树 |
5.3.1 设计考虑 |
5.3.2 GCA~2树结构 |
5.4 GCA~2树在区块链上的应用 |
5.5 基于集合操作的可验证聚集查询 |
5.5.1 单区块查询 |
5.5.2 多区块查询 |
5.6 性能优化 |
5.6.1 ADS合并 |
5.7 安全性分析 |
5.8 实验与分析 |
5.8.1 实验环境 |
5.8.2 实验结果与分析 |
5.8.3 实验小结 |
5.9 本章小结 |
第六章 面向丰富查询的区块链数据库系统 |
6.1 系统架构概览 |
6.1.1 StarChain网络架构 |
6.1.2 数据模型 |
6.1.3 单点架构 |
6.2 系统实现 |
6.2.1 存储层设计 |
6.2.2 查询层设计 |
6.2.3 共识层设计 |
6.2.4 智能合约设计 |
6.3 宕机恢复 |
6.4 实验与分析 |
6.4.1 实验环境 |
6.4.2 实验结果与分析 |
6.5 系统演示 |
6.5.1 基于StarChain的慈善捐助系统实现 |
6.6 本章小结 |
第七章 总结与展望 |
7.1 研究总结 |
7.2 未来展望 |
参考文献 |
致谢 |
攻读博士学位期间发表的学术论文 |
(3)面向电子商务平台的混合数据存储方案研究与实现(论文提纲范文)
摘要 |
Abstract |
第1章 绪论 |
1.1 研究背景与意义 |
1.2 国内外研究现状 |
1.3 主要研究内容与关键问题 |
1.4 论文的组织结构 |
第2章 理论与技术分析 |
2.1 NoSQL技术分析 |
2.1.1 NoSQL特点 |
2.1.2 MongoDB数据库 |
2.2 关系型数据库分析 |
2.2.1 关系型数据库特点 |
2.2.2 常见的关系型数据库 |
2.3 Visitor模式 |
2.4 异构数据源查询方式 |
2.5 本章小结 |
第3章 混合存储方案的分析与设计 |
3.1 混合存储模型设计 |
3.1.1 电子商务平台的混合存储原则 |
3.1.2 混合存储模型设计 |
3.2 混合存储软件模型设计 |
3.3 混合存储软件模型关键模块详细设计 |
3.3.1 SQL解析器设计 |
3.3.2 SQL路由设计 |
3.3.3 数据库执行器设计 |
3.3.4 结果集合并模块设计 |
3.3.5 元数据模块设计 |
3.4 本章小结 |
第4章 混合存储方案的实现方法 |
4.1 存储方案实现 |
4.2 SQL解析器实现 |
4.2.1 语法树模块详细结构 |
4.2.2 解析模块实现 |
4.3 SQL路由实现 |
4.4 数据库执行器 |
4.5 结果集合并模块实现 |
4.6 元数据模块实现 |
4.7 本章小结 |
第5章 模型的应用实例 |
5.1 应用实现环境 |
5.2 胜乐票务平台介绍 |
5.3 数据库设计 |
5.4 模型验证与对比 |
5.4.1 账号管理模块验证 |
5.4.2 景区模块验证 |
5.4.3 服务模块验证 |
5.4.4 混合查询验证 |
5.4.5 产品访问性能对比验证 |
5.5 本章小结 |
结论 |
参考文献 |
攻读硕士学位期间承担的科研任务与主要成果 |
致谢 |
(4)高铁接触网精细化检修管理系统研究与实现(论文提纲范文)
摘要 |
abstract |
第一章 绪论 |
1.1 研究背景及意义 |
1.2 高铁接触网检修管理系统研究现状 |
1.3 高铁接触网检修编制策略及应用研究现状 |
1.4 论文研究内容及章节安排 |
第二章 高铁接触网设备精细化管理模型的研究 |
2.1 接触网系统的组成 |
2.2 高铁接触网设备组织管理模型 |
2.2.1 接触网设备宏观组织管理模型 |
2.2.2 接触网设备微观组织管理模型 |
2.3 本章小结 |
第三章 基于弹性周期区间的高铁接触网检修计划自动编制方法 |
3.1 建模基础 |
3.1.1 建模要素 |
3.1.2 问题描述 |
3.1.3 前提及假设 |
3.2 模型构建 |
3.2.1 参数及变量说明 |
3.2.2 目标函数 |
3.2.3 约束条件 |
3.3 模型求解策略 |
3.3.1 求解算法设计 |
3.3.2 算法步骤及流程 |
3.4 算例分析 |
3.4.1 算例设计 |
3.4.2 结果分析 |
3.5 本章小结 |
第四章 基于时变可靠度状态区间的高铁接触网检修计划自动编制方法 |
4.1 基于时变可靠度的接触网设备建模 |
4.1.1 时变可靠度 |
4.1.2 基于时变可靠度的检修决策模型 |
4.2 建模基础 |
4.2.1 问题描述 |
4.2.2 接触网设备可靠性模型 |
4.2.3 检修役龄回退 |
4.2.4 设备极限状态 |
4.2.5 设备检修有效编制区间 |
4.2.6 前提及假设 |
4.3 接触网状态检修编制模型构建 |
4.3.1 参数及变量说明 |
4.3.2 目标函数 |
4.3.3 约束条件 |
4.4 模型求解策略 |
4.4.1 求解算法设计 |
4.4.2 算法步骤及流程 |
4.5 算例分析 |
4.5.1 算例设计 |
4.5.2 结果分析与对比 |
4.6 本章小结 |
第五章 高铁接触网精细化检修管理系统设计及实现 |
5.1 系统需求分析 |
5.1.1 目标用户分析 |
5.1.2 功能需求分析 |
5.2 系统开发架构设计 |
5.2.1 系统整体架构 |
5.2.2 系统开发架构 |
5.3 系统具体模块设计 |
5.3.1 网站主系统 |
5.3.2 检修沙盘辅助管理系统 |
5.4 系统数据库设计 |
5.4.1 数据库概念设计 |
5.4.2 数据库逻辑结构设计 |
5.5 网站主系统实现 |
5.5.1 系统管理模块 |
5.5.2 检修管理模块 |
5.5.3 设备数量统计模块 |
5.5.4 检修情况统计模块 |
5.5.5 数据报表生成模块 |
5.6 检修沙盘辅助管理系统实现 |
5.6.1 系统设置模块 |
5.6.2 线条状设备模块 |
5.6.3 点状单项设备模块 |
5.7 本章小结 |
第六章 总结与展望 |
6.1 本文总结 |
6.2 展望 |
参考文献 |
个人简历在读期间发表的学术论文 |
致谢 |
(5)基于Web Service的全球空间格网统一检索服务研究与实现(论文提纲范文)
致谢 |
摘要 |
abstract |
1 绪论 |
1.1 研究背景与意义 |
1.2 国内外研究现状 |
1.3 研究内容 |
1.4 技术路线 |
1.5 章节安排 |
2 基于全球空间格网的空间数据整合 |
2.1 基于SDOG的 ESSG |
2.2 面向检索的空间范围统一描述方法 |
2.3 空间数据整合框架 |
2.4 本章小结 |
3 基于全球空间格网的统一检索服务 |
3.1 格网检索服务概述 |
3.2 核心元数据规范设计 |
3.3 标准数据格式 |
3.4 服务接口设计 |
3.5 本章小结 |
4 全球空间格网检索服务原型系统设计 |
4.1 原型系统的总体设计 |
4.2 原型系统的功能介绍及测试 |
4.3 本章小结 |
5 结论与展望 |
5.1 结论 |
5.2 展望 |
参考文献 |
作者简介 |
学位论文数据集 |
(6)移动物体γ辐射污染监测系统优化(论文提纲范文)
摘要 |
ABSTRACT |
1 绪论 |
1.1 研究工作的背景和意义 |
1.2 国内外研究现状 |
1.2.1 辐射污染监测系统国外研究现状及趋势 |
1.2.2 国内研究现状 |
1.2.3 服务器端开源框架现状 |
1.3 本课题主要内容及技术路线 |
2 系统介绍 |
2.1 系统功能简介 |
2.2 系统架构设计 |
2.3 系统功能设计分析 |
3 系统分析 |
3.1 持久层分析 |
3.2 业务逻辑层分析 |
3.3 Web层分析 |
3.4 表现层分析 |
4 系统优化 |
4.1 持久层核心功能优化 |
4.1.1 技术选型 |
4.1.2 基于Mybatis持久层优化 |
4.1.3 数据库连接池优化 |
4.1.4 基于RBAC思想优化数据库表 |
4.2 业务逻辑层核心功能优化 |
4.2.1 技术选型 |
4.2.2 用户认证优化 |
4.2.3 用户权限管理优化 |
4.3 Web层核心功能优化 |
4.3.1 技术选型 |
4.3.2 异常统一管理模块实现 |
4.3.3 基于RabbitMQ服务器端消息推送 |
4.3.4 服务器端模板实现 |
4.4 表现层核心功能优化 |
4.4.1 技术选型 |
4.4.2 客户端页面优化 |
5 系统核心功能测试 |
5.1 持久层测试 |
5.1.1 测试方法 |
5.1.2 测试结果分析 |
5.2 业务逻辑层测试 |
5.2.1 测试方法 |
5.2.2 测试结果及分析 |
5.3 Web层测试 |
5.3.1 异常统一处理模块测试分析 |
5.3.2 服务器消息推送实时性测试分析 |
5.4 表现层测试 |
5.5 系统测试与应用 |
5.5.1 测试环境 |
5.5.2 测试步骤 |
5.5.3 测试结果分析 |
5.5.4 系统应用 |
6 总结与展望 |
6.1 总结 |
6.1.1 主要完成工作 |
6.1.2 结论 |
6.2 展望 |
致谢 |
参考文献 |
攻读学位期间取得的研究成果 |
(7)面向区块链的高效物化视图维护和可信查询(论文提纲范文)
1 系统架构 |
2 物化时机的选择 |
3 视图维护过程 |
3.1 维护视图的基本步骤 |
3.2 多种维护策略的支持 |
4 可信任的物化视图 |
5 实验 |
5.1 实验环境 |
5.2 物化视图维护性能 |
5.3 使用物化视图减少查询的延迟 |
5.4 使用物化视图与使用索引的查询性能对比 |
5.5 可验证查询的性能 |
6 相关工作 |
7 结束语 |
(8)基于Java的车间远程监测系统(论文提纲范文)
摘要 |
Abstract |
1 绪论 |
1.1 课题来源 |
1.2 研究背景 |
1.3 国内外研究现状 |
1.4 本文主要研究内容 |
1.5 论文组织结构 |
2 系统架构和关键技术 |
2.1 系统架构 |
2.2 关键技术 |
2.3 本章小结 |
3 数据传输模型的优化与实现 |
3.1 DAO层数据模型优化 |
3.2 基于复杂网络的软件性能分析 |
3.3 本章小结 |
4 数据库设计与优化 |
4.1 数据库优化 |
4.2 基于蚁群算法的多表连接优化 |
4.3 本章小结 |
5 数据分析的设计与实现 |
5.1 多线程读取数据 |
5.2 数据统计分析算法 |
5.3 数据可视化 |
5.4 本章小结 |
6 总结与展望 |
6.1 总结 |
6.2 展望 |
致谢 |
参考文献 |
附录 在校期间参加的项目与发表的专利 |
(9)电容外观检测数据管理系统的设计与实现(论文提纲范文)
摘要 |
ABSTRACT |
第1章 绪论 |
1.1 课题研究背景 |
1.2 课题研究现状与发展趋势 |
1.2.1 国外发展现状 |
1.2.2 国内发展现状 |
1.3 课题介绍 |
1.3.1 课题来源 |
1.3.2 课题研究内容 |
1.3.3 论文结构安排 |
第2章 瑕疵检测数据管理系统方案设计 |
2.1 系统解决方案设计 |
2.2 异步服务器 |
2.3 数据同步服务 |
2.4 Web应用的框架 |
2.5 数据库设计 |
2.7 本章小结 |
第3章 基于C#的异步服务器和Windows服务的实现 |
3.1 本地服务器的管理GUI实现 |
3.2 异步服务器模型构建 |
3.2.1 TCPServer服务器程序组件与初始化 |
3.2.2 TCPServer处理客户端连接事件 |
3.3 客户端事件注册与处理 |
3.3.1 客户端连接事件 |
3.3.2 客户端断连事件 |
3.3.3 接收客户端数据事件 |
3.3.4 客户端网络错误事件 |
3.4 服务器与客户端通信协议设计 |
3.5 Windows数据同步服务的开发 |
3.5.1 VS2015开发Windows服务 |
3.5.2 数据同步服务实现 |
3.6 服务的安装使用 |
3.6.1 服务的安装 |
3.6.2 服务的启动与关闭 |
3.7 本章小结 |
第4章 基于微服务框架的Web应用设计 |
4.1 应用框架设计 |
4.2 父项目的创建(Spring Cloud) |
4.3 服务治理(microservice-eureka-server) |
4.3.1 Eureka服务端的搭建 |
4.3.2 Eureka客户端的搭建 |
4.4 客户端负载均衡(Ribbon) |
4.4.1 Ribbon介绍 |
4.4.2 Eureka配合Ribbon |
4.4.3 Ribbon的使用 |
4.5 系统的容错保护(Hystrix) |
4.5.1 雪崩效应 |
4.5.2 Hystrix介绍 |
4.5.3 Hystrix的工作原理 |
4.5.4 Spring Cloud Hystrix的fallback使用 |
4.5.5 Hystrix的Dashboard配合Turbine使用 |
4.6 API网关服务Zuul |
4.6.1 API网关 |
4.6.2 Spring Cloud Zuul |
4.6.3 HTTP请求在Zuul中的生命周期 |
4.6.4 Zuul项目的构建 |
4.7 服务组件的开发 |
4.7.1 用户服务 |
4.7.2 瑕疵检测机状态查看服务 |
4.7.3 数据库服务 |
4.8 本章小结 |
第5章 数据库设计与实现 |
5.1 数据库表结构设计 |
5.1.1 用户信息表 |
5.1.2 员工信息表 |
5.1.3 部门信息表 |
5.1.4 瑕疵检测机信息表 |
5.1.5 历史检测数据信息表 |
5.1.6 故障记录信息表 |
5.1.7 流程卡信息表 |
5.2 数据库视图的设计 |
5.2.1 视图的介绍 |
5.2.2 视图的创建 |
5.3 数据库优化 |
5.3.1 SQL语句语句优化 |
5.3.2 表字段类型的选择 |
5.3.3 索引 |
5.4 本章小结 |
第6章 测试 |
6.1 异步服务器性能测试 |
6.2 数据同步服务测试 |
6.3 Web服务器测试 |
6.3.1 网站并发性测试 |
6.3.2 登陆功能测试 |
6.3.3 账户管理功能模块测试 |
6.3.4 瑕疵检测数据看板测试 |
6.4 本章小结 |
第7章 总结与展望 |
7.1 本文研究工作总结 |
7.2 课题展望 |
致谢 |
参考文献 |
附录 作者在读期间发表的学术论文及参加的科研项目 |
(10)多数据库的跨库操作技术研究(论文提纲范文)
摘要 |
ABSTRACT |
第一章 绪论 |
1.1 研究背景及意义 |
1.2 国内外研究现状 |
1.3 课题主要研究内容 |
1.4 本文创新点 |
1.5 论文组织结构 |
第二章 相关理论与技术研究 |
2.1 异构数据集成简介 |
2.2 现有数据集成方法 |
2.2.1 联邦数据库技术 |
2.2.2 数据仓库技术 |
2.2.3 中间件技术 |
2.3 基于XML数据集成的相关技术 |
2.3.1 XML的简介 |
2.3.2 XML 数据集成 |
2.3.3 XML 集成数据的优势 |
2.4 各种跨库操作技术对比分析 |
2.4.1 多对一转换 |
2.4.2 双向的中间件 |
2.4.3 转换与中间件相结合方法 |
2.4.4 对比分析结论 |
2.5 本章小结 |
第三章 类 SQL 语句的设计和查询优化 |
3.1 类SQL语句的设计 |
3.1.1 词法分析 |
3.1.2 语法分析 |
3.1.3 构建查询树 |
3.2 查询优化 |
3.2.1 优化目标 |
3.2.2 一般的半连接查询 |
3.2.3 改进的半连接 |
3.2.4 改进后的性能分析 |
3.3 本章小结 |
第四章 跨库操作中间件模型的设计方案 |
4.1 架构设计 |
4.2 方案的优点及目标 |
4.2.1 模型架构 |
4.2.2 视图的层次 |
4.2.3 功能模块划分 |
4.3 中间件的工作流程 |
4.3.1 查询请求 |
4.3.2 生成语法树 |
4.3.3 生成查询计划树 |
4.3.4 查询分解 |
4.4 本章小结 |
第五章 多数据库的跨库操作中间件模型实现 |
5.1 生成语法树 |
5.1.1 LEX、YACC工具 |
5.1.2 语法树 |
5.2 生成计划树 |
5.3 查询分解 |
5.4 XML和数据库的映射 |
5.4.1 模板映射和模式映射 |
5.4.2 XML到关系数据库的映射 |
5.4.3 关系数据库到XML的映射 |
5.4.4 对象数据库到XML的映射 |
5.4.5 XML到对象数据库的映射 |
5.5 中间件模型的实现 |
5.5.1 生成XML中间文档 |
5.5.2 XML写入数据库 |
5.5.3 运行示例 |
5.6 本章小结 |
第六章 中间件模型的查询优化实验 |
6.1 定义对比函数 |
6.2 对比实验分析 |
6.3 本章小结 |
第七章 总结与展望 |
7.1 总结 |
7.2 系统展望 |
参考文献 |
附录 |
致谢 |
攻读学位期间发表的学术论文 |
四、视图——处理多表数据结果集的方法(论文参考文献)
- [1]大数据多维建模分析平台的研究与实现[D]. 田川. 北京邮电大学, 2021(01)
- [2]面向区块链系统的查询处理研究[D]. 朱燕超. 华东师范大学, 2020(02)
- [3]面向电子商务平台的混合数据存储方案研究与实现[D]. 樊致远. 燕山大学, 2020(01)
- [4]高铁接触网精细化检修管理系统研究与实现[D]. 张伟. 华东交通大学, 2020(06)
- [5]基于Web Service的全球空间格网统一检索服务研究与实现[D]. 高涵. 中国矿业大学, 2020(01)
- [6]移动物体γ辐射污染监测系统优化[D]. 黄博伦. 西南科技大学, 2020(08)
- [7]面向区块链的高效物化视图维护和可信查询[J]. 蔡磊,朱燕超,郭庆兴,张召,金澈清. 软件学报, 2020(03)
- [8]基于Java的车间远程监测系统[D]. 王芳. 华中科技大学, 2019(03)
- [9]电容外观检测数据管理系统的设计与实现[D]. 戚海荣. 杭州电子科技大学, 2019(04)
- [10]多数据库的跨库操作技术研究[D]. 纪秀明. 上海交通大学, 2019(06)