一、高可靠可扩展PC集群存储系统的设计（论文文献综述）
孟令达[1]（2019）在《海量时间频率科学数据管理与服务关键技术研究》文中研究表明随着国防、科研、经济社会各行业对高精度时间的依赖不断提升,为提高我国的高精度时间同步服务水平和保障能力,国家先后开展了高精度地基授时系统、国家时间频率体系、空间站时频实验系统等面向服务的基础大科学装置和试验仪器的建设,将时间频率服务纳入基础设施建设,时间频率科学数据将迈入大数据和信息服务时代。海量时间频率科学数据高效管理不仅是实现时间频率科学大数据存储与分析、提供高效时间频率信息服务的基础,更为时间频率科学大数据知识获取和科学发现提供技术支撑。本文从面向服务的角度以海量时间频率科学数据的管理体系、存储与并行处理方法为研究对象,利用云计算和大数据处理技术对面向服务的海量时间频率科学数据管理关键技术展开研究,所作的主要工作及创新点体现在以下几个方面:（1）研究并设计了面向服务的多元海量时间频率科学数据一体化管理模型、技术架构和多样化服务方式:针对独立建设的时频科学数据管理系统在管理规范、数据标准等方面多样差异,造成数据管理复杂、数据使用困难、数据产品单一问题。结合时间频率科学大数据特征和面向服务的应用需求,构建了数据管理标准体系和原型系统。采用面向服务体系架构的设计理念和松耦合特性,综合运用多种数据存储管理和分析方法,设计了面向服务的多元海量时间频率科学数据一体化管理模型、技术架构和多样化服务方式,并对其中的关键技术进行了改进,进而实现海量时间频率科学数据高效管理。（2）研究了海量时间频率科学数据非结构化、半结构化及时序化,多数据结构并存的数据存储管理方法:针对海量时间频率科学数据多数据结构并存的特点,结合面向服务的海量历史数据快速查询和在线数据实时读写的应用场景。研究了基于“分布式文件系统+分布式列数据库+时间序列数据库”的组合存储管理和表设计方法,解决时频科学数据传统集中式、统一存储效率低、扩展复杂问题。同时根据时间频率科学数据中文件数多、数据量小和关联分析特点,提出了采用小文件聚合和考虑数据关联性的多副本哈希时频数据分布算法,进一步提高了时频科学数据存储管理效率和存储资源利用率。（3）研究了分布式并行编程框架下海量历史数据离线并行分析方法:针对海量历史时间频率科学数据离线分析中数据量与计算量大导致传统时频分析模式计算效率低或无法计算问题,研究了基于Map Reduce并行编程框架的分布式并行分析方法。根据时频分析算法中多阶滑动差分特征,提出时频科学数据分段和矩阵分块法,在优化时频分析算法的同时实现了时间间隔误差和频率源钟差模型参数并行化计算,并对算方法性能进行测试。结果表明本文提出的并行化海量离线时频分析方法有效解决数据量大、计算复杂时传统单机无法有效计算问题。（4）针对面向服务应用交互频繁、高实时性的海量时间频率科学数据分析问题,研究了基于Spark内存并行计算框架的海量时间频率科学数据实时分析方法。实现了基于Spark并行化的Allan、MTIE计算方法,同时针对时频分析中典型的测量数据粗差剔除问题,开展了基于光纤时间比对的溯源钟差粗探测方法（ODTD）研究并实现了Spark-ODTD。通过实验验证了算法有效性与性能优势。（5）针对高精度地基授时系统、国家时间频率体系等重大科学工程以及时频用户对远程高精度时间比对、同步和溯源服务需求。采用本文提出的数据管理体系和相关技术与方法,对传统卫星共视远程时间比对系统的系统架构、数据存储与处理方法和服务模式进行优化。设计并实现的云服务原型系统可通过动态扩展支持10000台终端设备业务数据在线处理、交互以及1000个用户的在线访问。本论文的研究将进一步提升时间频率科学数据标准化管理水平,为面向服务的时频时间频率科学发展和应用提供标准化数据和技术支撑。解决目前海量时间频率科学数据存储管理效率低、数据分析困难或无法计算的问题。同时本文的海量数据存储和并行分析技术,为国家时间频率体系、高精度地基授时系统等重大科学工程建设分布式时间频率数据中心架构设计提供解决途径,为时间频率科学大数据知识获取和科学发现奠定基础。
刁喆[2]（2018）在《基于分布式存储技术的高校集群存储系统实践与研究》文中研究指明随着文件大小和数据规模逐步达到TB和PB级,大数据与大文件在群体中的共享出现了困难,为解决此问题集群存储系统出现。笔者深入研究了集群存储系统,并通过将其与传统的存储区域网（SAN）和网络附加存储（NAS）的比较[1],分析高校集群储存系统的七大功能特点。
李立[3]（2017）在《基于GlusterFS的分级云存储系统设计与实现》文中进行了进一步梳理随着行业应用系统的规模迅速扩大,行业应用所产生的数据呈爆炸性增长。海量应用数据的存储容量不断扩大和存储成本居高不下都是非常大的挑战,同时存储成本与数据访问速度之间的矛盾也不可调和,具有高速数据访问速度和低廉的数据存储成本的存储系统对于应用来说是至关重要的,也是非常具有研究价值的。本文首先介绍了分级存储以及目前分级存储常用的存储介质的特点。详细分析了分级存储间可靠性数据迁移的的必要性,以及目前的可靠性数据迁移存在的性能问题,提出了一种快速可靠的数据迁移方法,并基于测试环境,介绍方法涉及参数的优化使方法的性能在本系统上达到最优,显着提高了可靠数据迁移的效率。针对目前的分布式存储系统在存储数据文件夹即包含多个相互关联文件的文件夹时候的可靠性低,一个节点故障会影响其他节点数据。本文详细介绍了目前分布式系统的分布存储算法,基于GlusterFS的弹性哈希算法改进了一种以文件夹为单位的分布存储算法,显着提高了系统的可靠性。目前存储系统存在配置、监控困难,对用户的计算机专业水平要求高,难于普及应用,本文设计实现了一系列存储系统配置、监控服务,用户可以通过WEB浏览器方便快捷的配置和监控整个存储系统,提高了系统的适用性。
杨岩[4]（2016）在《电力企业云终端系统设计与安全关键技术研究》文中认为在计算机技术和互联网技术飞速发展的前提下,云计算作为计算机发展的一个新阶段,无论是在工业界还是学术界均被给予了高度重视。云终端系统是云计算的衍生与发展,是软件即服务（Software as a service,Saa S）核心技术应用的主要领域之一。论文针对目前传统办公模式存在信息安全性差、缺乏有效的监视审计功能、传统桌面故障恢复速度慢、损毁数据恢复困难、网络需求随业务系统增加而增加、新用户入职匹配信息化办公设备的时间周期较长,不灵活、能耗高等问题,围绕电力企业云终端系统的应用,提出了一种基于云计算的具有集成性、规范化、安全可靠、可扩展、易管理等优点的云终端桌面设计方案。具体设计工作如下:1.传统办公模式下企业员工办公终端固定、不灵活,一旦某个员工办公位置出现变化,必将耗费大量时间进行办公设备的配置;随着信息化建设的加快,企业对信息系统愈加依赖,无不促使企业采购更多的传统PC设备以满足公司企业日益增加的业务系统,然而,过多的终端设备代表着高昂的当下经济投入与日常的维护成本。针对以上问题本文提出了云终端系统设计方案,云终端系统是一种以桌面虚拟化技术为核心、员工在用户端仅负责输入输出、数据计算及存储由数据中心服务器处理的新型办公支撑平台,企业员工只需使用自己的云终端系统登录账号及密码即可在企业任何一台部署了云终端系统的设备上访问专属的虚拟桌面,进行正常办公。2.传统办公模式下企业员工办公数据资料均被存储在员工个人办公PC处,造成数据分散,无法形成有效防护的安全问题。针对这个问题本文提出了基于分布式存储技术的云硬盘设计方案,云硬盘系统主要由应用层和存储层构成,作为云终端系统内数据存储中心;云硬盘也能保证任何一台存储服务器发生故障或者是任何一块硬盘发生故障均不会影响数据的可靠性和一致性。3.考虑到云终端系统的安全现状,通过Hypervision嵌入行为审计系统对员工日常操作进行监视记录以规范员工办公行为,进而保护云终端系统安全;结合专用传输协议具有加密、数据压缩功能特性,可有效防止员工使用云终端系统正常办公时在传输过程中由于拦截、入侵等手段造成的信息泄漏;同时采用远程镜像及快照技术设计高可用的容灾备份,以保证企业及员工的数据资料安全。
周进,张虎[5]（2016）在《存储系统如何达到4K后期制作要求》文中研究说明4K等高分辨率素材正成为影视动画后期制作的主流,4K等高分辨率的优势不言而喻,但对存储速度、容量以及稳定性的要求达到前所未有的高度。本文提出基于大鱼集群存储系统的4K高分辨率后期制作网存储方案,结合客户度高速SSD缓存,能够通过性价比最好的解决方案达到的4K等高分辨率后期制作的要求。
李祉岐[6]（2015）在《基于分布式云存储的企业网盘系统设计与实现》文中研究说明随着企业业务的深入,文件的数量和种类越来越多,数据的管理难度大,存储成本高,文件统一存储管理变得异常重要。云计算海量数据处理和分布式存储技术应用于企业的大型文件管理中,增强了企业在线文件管理的安全可靠性,优化了企业业务流程、提高了企业运营效率、降低了运营成本。本文研究了基于分布式云存储的企业网盘系统的设计与实现,主要工作如下：首先介绍了云存储相关技术研究现状,分析了目前主流的云存储系统框架以及实现的关键技术,讨论了分布式云存储技术架构,包括目前主流的文件系统以及实现的存储架构,并介绍了系统实现相关的框架技术。其次依据三层架构以B/S架构为设计原则,在充分考虑灵活性、通用性以及高效性的基础上确定了系统,给出了分布式云存储企业网盘系统框架设计,包括：客户界面层、前后端Web系统、业务逻辑层和数据存储层,给出了业务逻辑层的设计,包括基础服务,文件服务,管理面板和系统管理等功能模块,并进行了实现。进而针对存储层,从存储、负载均衡和数据加密三个模块进行了详细实现,包括数据库的设计。对系统展开功能性能测试,最后结果显示系统达到了设计要求,并已经在国家某单位投入使用。系统性能自运行以来稳定可靠,满足了预期设计目标。本系统采用云存储技术,为企业员工提供日常办公文件的存储及备份,在此基础上实现资料的使用、共享及协作,保障公司文件的安全性,分布式云存储应用系统将逐步成为公司重要的数据存储平台。
周小玉[7]（2015）在《HDFS分布式文件系统存储策略研究》文中研究表明互联网技术的高速发展和应用,带来了数据规模的爆炸式增长,使得大规模数据存储和处理成为目前高性能计算领域的研究热点。传统的数据处理模式多用于计算密集型作业。分布式存储的出现为海量的数据存储提供了全新的解决方案,它以“按需付费”的独特模式,为用户提供低成本、高可靠性、高性能的在线数据存储和访问服务。因此,如何在保证数据可用性和可靠性前提下高效存储和访问数据,成为分布式存储系统中尤为关键的一个问题。现有的数据副本决策算法主要是基于整个文件访问情况进行动态调整,然而,很多时候用户仅仅对文件中的部分数据块感兴趣,如果单纯的基于整个文件进行副本系数动态调整,有可能降低集群存储资源利用率和增加数据副本一致性维护开销。同时,在某些应用场景下,如视频点播应用中,HDFS并没有针对那些被用户频繁访问的热点数据进行读取优化。重复数据的频繁访问会使得DataNode节点产生频繁的磁盘I/O操作,增加数据访问延迟。同时,由于数据的重复传输大大浪费了集群系统网络流量。针对上述问题,本文在HDFS分布式文件系统的数据副本管理策略和数据访问流程两方面展开深入研究。本文完成的主要工作如下:1.在深入分析现有分布式存储系统数据副本管理技术的基础上,提出了基于数据块的副本系数动态调整策略。该策略基于数据块而非整个文件实现,首先,在数据访问具有时间局部性原则下,通过为数据块的各个历史访问周期赋予不同的权重,预测出数据块下一周期的访问频率。然后,根据HDFS中数据访问规律近似二八定律这一事实确定热点数据块阈值,从而对数据块进行热点判定,根据判定结果动态调整数据块副本系数。最后,通过实验对该策略的有效性进行验证。2.在对HDFS文件读取过程进行深入分析后,针对HDFS中频繁访问的热点数据提出了一种基于热点数据块的DataNode本地二级缓存策略。该策略通过在DataNode节点设置基于本地内存和本地磁盘的二级缓存机制,分别用于缓存HDFS中那些被频繁访问的热点小文件和热点大文件。该策略一定程度上提高了数据访问效率,减少了DataNode磁盘I/O负载以及节省了集群系统的网络带宽。最后,通过实验对该策略的有效性进行验证。
熊润群[8]（2015）在《面向大数据的异构集群存储系统副本放置与选择策略研究》文中进行了进一步梳理集群存储系统作为新一代企业级存储架构,是云计算和大数据时代应对存储容量压力、I/O性能瓶颈、存储成本危机等诸多挑战的重要解决方案。现有集群存储系统一般由大量廉价商用存储设备构成,节点失效和硬件故障被认为是一种常态。为此,副本技术被广泛运用于该存储架构中以保证系统的高可靠性和高可用性。随着云计算技术和大数据应用模式的不断发展,如何针对个体服务质量敏感的大数据应用、多样化的I/O负载及集群存储系统的新特性,高效地实现多个副本的“存”和“取”,即副本的放置和选择,是当前集群存储系统副本管理研究中需要解决的关键问题。现有工作在分布式存储系统的副本放置和选择方面取得了一定进展,但仍存在诸多不足。在静态副本放置方面,已有策略的负载均衡能力尚缺乏有效的理论证明,适用范围不清晰,且未考虑存储节点的异构性,应用具有局限性；在动态副本放置方面,现有算法虽然具有更加灵活的I/O负载均衡能力,但会增加系统的复杂性并导致副本放置呈现无序化,且同样未考虑存储节点的异构性,严重影响系统能效和应用性能；而在副本选择方面,已有策略选择标准单一、可扩展性差,没有从大数据应用角度出发考虑按需服务的数据请求,无法满足越来越多的个体服务质量敏感的大数据应用。本文针对异构集群存储系统副本管理中放置和选择两个关键技术,研究相关机制和算法,为构建大容量、高性能、低成本和强扩展性的集群存储系统提供合理、高效的副本策略,以满足当前大数据应用对存储系统提出的迫切需求,具体的研究内容主要包括以下四个方面：第一,结合排队论对异构集群存储系统的静态副本放置策略展开递进式研究,以期解决现有工作所存在的问题,为集群存储系统的整体设计和规划提供理论依据；第二,以目前主流的Hadoop作为研究对象,提出一种面向大规模异构Hadoop集群存储系统的动态副本放置策略,能够充分利用集群中高性能节点提升大数据应用任务的执行性能,同时提高集群系统能效并节省一定的存储开销；第三,提出一个QoS偏好感知算法获取个体服务质量敏感的大数据应用的非定量QoS偏好,结合系统当前副本放置方案,在多维QoS约束下解决最佳副本的选择问题：第四,基于东南大学云计算平台,设计并开发面向AMS大数据应用的分级存储数据管理系统,为AMS大数据处理的高效快速执行提供合理的副本策略并验证本文的理论研究工作。本论文对面向大数据应用的异构集群存储系统的副本放置和选择策略进行了深入探索,通过一系列仿真实验和AMS大数据处理的实验结果表明,本文所提的相关机制和算法能够对异构集群存储系统中的数据及其副本进行合理、高效的管理和优化,可为实际应用中异构集群存储系统的副本管理服务提供行之有效的解决方案,为大数据存储管理的发展做出有益贡献。
蒋海波[9]（2013）在《海量数据存储系统的高可靠性关键技术研究与应用》文中进行了进一步梳理随着信息技术的不断发展，数据日益成为人们日常生活中重要资源。据统计，2010年全球创建、存储和复制的数字信息总量已达到1.2ZB，2011年的数据量达到里程碑式的1.8ZB，而且这种增长还在加速，预计2015年将达到近8ZB。爆炸式增长的数据必然带来存储设备的持续增加。目前，海量数据存储环境下的现代数据中心的存储节点规模少则几万多则几十万，但在规模巨大的存储环境系统中，磁盘损毁或者存储节点失效已成为一种常态行为；与此同时，因网络连接设备或者存储节点其它元器件造成的数据不可访问或者丢失现象也时有发生。为了满足日益扩展的数据存储需求，人们对数据存储的可靠性，可用性等相关特性提出了更高的要求，传统的常规技术手段根本无法应对当前的形式，如何实现海量数据的低冗余度高可靠性存储已经成为业界面临的一个巨大挑战。因而，本文针对构建低冗余度高可靠性海量数据存储系统的关键问题，在总结了当今数据可靠性增强理论和海量数据存储系统基本架构的基础上，对高性能数据容删数据布局算法以及高可靠性存储架构等方面进行了深入的研究，取得了一定的进展，具体如下：1．针对已在数据存储系统中有广泛应用的RAID技术，提出了一种新的基于异或运算的水平阵列纠删码：EX-ENOD码。该码能够容许任意三列的随机删除错，并具有极大距离可分性质。根据该码的几何构造特点，提出了一种具有低计算复杂度的译码方法，该方法的计算复杂度要低于目前已知的其它可纠三列随机删除错纠删码的译码方法。同时，该编码方法具有明显的通用性，可以扩展应用到STAR码、EEOD码的译码过程。2．针对海量存储系统规模不断扩大，可靠性要求不断提高的需求，本文将在{0,1}符号域上的范德蒙系统编码方法引入存储系统中来。该种编码方法继承了传统有限域上构建的范德蒙编码的参数不受存储节点规模、容错参数限制的优良特性，而且存储效率达到最高，同时该方法突破了传统有限域上构建的编码需要大量查询运算的弊端。基于该编码方法构建的存储系统，在保证其数据仍然可用的情况下，最多可容许系统内部一半的存储节点发生损毁，在该种情况下，系统仅需要与原数据相同的冗余数据量。3．针对{0,1}符号域上编码矩阵的特点，根据编码矩阵中各行向量中“1”元素的分布，提出了可降低编译码计算复杂度的优化算法。文章同时针对传统译码重构过程重构带宽较高的缺点，提出了基于校验矩阵的译码方法，并根据校验矩阵列向量的特点和存储系统所需要重构数据的数目，给出了一种低带宽重构算法。该种低带宽重构算法，可以推广到所有构建在{0,1}符号域上的编码存储系统。4．根据编码冗余策略数据布局的特点，设计了一种低冗余度高可靠性海量数据存储系统基础架构。系统将数据消冗和编码冗余可靠性增强技术纳入统一的基础架构，并针对编码冗余数据的分布特点，进行了存储节点的节能设计；针对数据使用特点提出了非均等存储及自适应读取策略；并提出了数据消冗与数据验证协同进行的运行策略。
吕雪锋,程承旗,龚健雅,关丽[10]（2011）在《海量遥感数据存储管理技术综述》文中指出针对海量遥感数据的存储管理问题,以NASA EOS,World Wind,Google Earth,Google Maps,Bing Maps,Microsoft TerraServer,ESA,Earth Simulator,GeoEye,天地图,中国资源卫星应用中心,国家卫星气象中心,国家海洋应用中心等13个数据存储中心或系统为例,重点从遥感数据的存储组织方式与存储架构方面,综合与分析各个数据存储管理技术的特点与优势.通过综述国内外实际的数据存储与管理技术,有利于寻求更适合于海量遥感数据存储的技术与方法,应用于我国海量遥感数据存储管理的实际工作中.
二、高可靠可扩展PC集群存储系统的设计（论文开题报告）
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、高可靠可扩展PC集群存储系统的设计（论文提纲范文）
（1）海量时间频率科学数据管理与服务关键技术研究（论文提纲范文）
| 摘要 |
| Abstract |
| 第1章 绪论 |
| 1.1 研究背景与意义 |
| 1.2 研究现状与分析 |
| 1.1.1 时间频率科学数据存储管理 |
| 1.1.2 时间频率科学数据计算模式 |
| 1.1.3 时间频率科学数据服务方式 |
| 1.1.4 现状分析 |
| 1.3 研究目标和主要研究内容 |
| 1.3.1 研究目标 |
| 1.3.2 主要研究内容 |
| 1.4 论文组织结构 |
| 第2章 面向服务的海量时间频率科学数据管理体系设计 |
| 2.1 时频数据特征与管理系统分析 |
| 2.1.1 时间频率科学数据特征 |
| 2.1.2 时间频率科学数据管理原型系统 |
| 2.2 面向服务的海量时间频率科学数据管理体系设计 |
| 2.2.1 面向服务的海量时频数据管理标准体系 |
| 2.2.2 面向服务的海量时频数据管理框架(STFDMA) |
| 2.3 面向服务的海量时间频率科学数据管理实现模型 |
| 2.3.1 云计算与大数据技术 |
| 2.3.2 STFMDA的实现模型 |
| 2.4 本章小结 |
| 第3章 海量时间频率科学数据存储管理方法研究 |
| 3.1 基于HDFS的海量时频数据文件存储方法研究 |
| 3.1.1 HDFS架构与存储特性分析 |
| 3.1.2 基于HDFS的时频数据文件存储架构设计 |
| 3.1.3 分布式时频科学数据文件存储系统优化方法 |
| 3.1.4 实验结果与分析 |
| 3.2 基于HBase的海量半结构化时频数据存储方法研究 |
| 3.2.1 HBase系统特性与架构方案 |
| 3.2.2 基于HBase的GNSS系统时差监测数据存储设计 |
| 3.2.3 实验结果与分析 |
| 3.3 基于时间序列数据库Influx DB的时频数据存储方法研究 |
| 3.3.1 Influx DB系统架构与数据存储管理特征分析 |
| 3.3.2 基于Influx DB的时间序列数据组织与模型设计 |
| 3.3.3 基于Influx DB的时频测量数据存储管理方法研究 |
| 3.3.4 基于Influx DB的CAPS主钟溯源比对数据存储设计 |
| 3.3.5 实验结果与分析 |
| 3.4 本章小结 |
| 第4章 海量时间频率科学数据离线并行分析方法研究 |
| 4.1 基于Map Reduce的时频数据并行处理框架及流程设计 |
| 4.1.1 基于Map Reduce的并行处理框架及功能分析 |
| 4.1.2 基于Map Reduce的离线分析作业运行流程设计 |
| 4.2 基于Map Reduce的并行化时间间隔误差计算方法 |
| 4.2.1 时间间隔误差原理与分析方法 |
| 4.2.2 基于Map Reduce的时间间隔误差算法MR-TIE |
| 4.3 基于Map Reduce的并行化频率源钟差模型计算方法 |
| 4.3.1 频率源钟差模型与计算方法 |
| 4.3.2 基于Map Reduce的频率源钟差模型计算方法MR-CLS |
| 4.4 实验结果与分析 |
| 4.4.1 实验环境部署 |
| 4.4.2 基于MR-TIE的CAPS主钟溯源比对钟差分析 |
| 4.4.3 基于MR-CLS的CAPS主钟溯源比对钟差分析 |
| 4.5 本章小结 |
| 第5章 海量时间频率科学数据实时并行分析方法研究 |
| 5.1 基于Spark的时频数据并行计算框架及流程设计 |
| 5.1.1 基于Spark的并行计算框架及功能分析 |
| 5.1.2 基于Spark的实时并行计算流程设计 |
| 5.2 基于Spark的频率稳定度Allan方差计算方法 |
| 5.2.1 频率稳定度Allan方差计算方法 |
| 5.2.2 基于Spark的并行化Allan方差Spark-Allan |
| 5.2.3 Spark-Allan数据处理流程 |
| 5.3 基于Spark的最大时间间隔误差算法Spark-MTIE |
| 5.3.1 最大时间间隔误差定义及计算方法 |
| 5.3.2 基于Spark的并行化MTIE计算方法Spark-MTIE |
| 5.3.3 Spark-MTIE数据处理流程 |
| 5.4 基于Spark的光纤溯源钟差粗差探测算法 |
| 5.4.1 基于光纤时间传递的溯源钟差模型 |
| 5.4.2 光纤溯源钟差粗差探测算法(ODTD) |
| 5.4.3 基于Spark的光纤溯源钟差粗差探测方法Spark-ODTD |
| 5.5 实验结果与分析 |
| 5.5.1 实验环境搭建 |
| 5.5.2 基于Spark-Allan的CAPS主钟频率稳定度分析 |
| 5.5.3 基于Spark-MTIE的CAPS主钟溯源比对钟差分析 |
| 5.5.4 基于Spark的光纤溯源钟差粗差探测实验分析 |
| 5.6 本章小结 |
| 第6章 远程溯源比对云服务原型系统设计与实现 |
| 6.1 远程溯源比对云服务原型系统总体框架 |
| 6.1.1 远程溯源比对云服务基本原理与系统架构 |
| 6.1.2 远程溯源比对云服务系统总体框架 |
| 6.2 远程溯源比对云服务原型系统模块设计与实现 |
| 6.2.1 远程溯源比对云服务原型系统服务与模块设计 |
| 6.2.2 远程溯源比对云服务原型系统应用界面 |
| 6.3 本章小结 |
| 第7章 总结与展望 |
| 7.1 总结 |
| 7.2 展望 |
| 参考文献 |
| 致谢 |
| 作者简历及在学期间发表的学术论文与研究成果 |
（2）基于分布式存储技术的高校集群存储系统实践与研究（论文提纲范文）
| 1 引言 |
| 2 常见存储方案 |
| 3 集群存储发展趋势 |
| 4 集群存储系统特色和作用 |
| 4.1 数据管理速度快 |
| 4.2 数据读写能力强大 |
| 4.3 全局范围内数据共享 |
| 4.4 数据安全可靠 |
| 4.5 系统具有可延伸性 |
| 4.6 与现有环境无缝兼容 |
| 4.7 整体系统成本降低 |
| 4.7.1 最大程度提高数据的作用 |
| 4.7.2 数据的大范围共享使用 |
| 4.7.3 存储的运行与维护次数减少 |
| 5 结语 |
（3）基于GlusterFS的分级云存储系统设计与实现（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 第一章 绪论 |
| 1.1 研究背景及意义 |
| 1.2 研究现状 |
| 1.2.1 云存储概述 |
| 1.2.2 云存储现状 |
| 1.2.3 高效云存储 |
| 1.2.4 可靠云存储 |
| 1.3 研究内容 |
| 1.4 论文组织架构 |
| 第二章 相关工作 |
| 2.1 引言 |
| 2.2 分级存储 |
| 2.2.1 分级存储概述 |
| 2.2.2 分级存储介质 |
| 2.2.3 分级存储特点 |
| 2.3 分布式存储 |
| 2.3.1 分布式存储概述 |
| 2.3.2 GlusterFS简介 |
| 2.3.3 GlusterFS架构 |
| 2.3.4 GlusterFS特点 |
| 2.4 本章小结 |
| 第三章 面向分级存储的高效可靠数据迁移方法 |
| 3.1 问题背景与需求分析 |
| 3.2 相关工作 |
| 3.2.1 基于抽样校验的迁移方法 |
| 3.2.2 基于MD5 校验和迁移方法 |
| 3.3 一种快速高可靠数据迁移方法 |
| 3.3.1 设计思想 |
| 3.3.2 算法分析 |
| 3.3.3 算法实现 |
| 3.3.4 参数优化 |
| 3.4 实验设计 |
| 3.4.1 实验问题 |
| 3.4.2 数据集与实验环境 |
| 3.4.3 评价方法 |
| 3.5 实验结果 |
| 3.6 本章小结 |
| 第四章 基于弹性哈希算法的数据文件夹可靠存储方法 |
| 4.1 问题背景与需求分析 |
| 4.2 相关工作 |
| 4.2.1 一致性哈希算法 |
| 4.2.2 弹性哈希算法 |
| 4.3 基于GlusterFS的数据文件夹高可靠存储算法 |
| 4.3.1 设计思想 |
| 4.3.2 算法分析 |
| 4.4 实验设计 |
| 4.4.1 试验问题 |
| 4.4.2 数据集与实验环境 |
| 4.4.3 评价方法 |
| 4.5 实验结果 |
| 4.6 本章小结 |
| 第五章 基于GlusterFS的云存储系统设计与实现 |
| 5.1 数据管理服务 |
| 5.1.1 多级分布式数据存储 |
| 5.1.2 数据查看 |
| 5.1.3 高效可靠的数据迁移 |
| 5.2 系统架构设计 |
| 5.3 集群管理服务 |
| 5.3.1 可靠数据文件夹存储 |
| 5.3.2 集群配置 |
| 5.4 集群监控服务 |
| 5.5 系统测试 |
| 5.5.1 测试环境 |
| 5.5.2 功能测试 |
| 5.5.3 性能测试 |
| 5.6 本章小结 |
| 第六章 结束语 |
| 致谢 |
| 参考文献 |
| 作者在学期间取得的学术成果 |
（4）电力企业云终端系统设计与安全关键技术研究（论文提纲范文）
| 摘要 |
| Abstract |
| 第1章 绪论 |
| 1.1 课题的研究背景及意义 |
| 1.2 国内外产业发展现状 |
| 1.2.1 云计算国外研究现状 |
| 1.2.2 云计算国内产业发展现状 |
| 1.3 国内外云终端应用现状 |
| 1.3.1 国外云终端应用现状 |
| 1.3.2 国内云终端应用现状 |
| 1.4 论文主要工作 |
| 1.5 论文的组织结构与安排 |
| 第2章 云终端系统相关技术 |
| 2.1 云终端系统结构 |
| 2.2 云终端系统的关键技术 |
| 2.2.1 桌面虚拟化技术 |
| 2.2.2 加密传输协议 |
| 2.2.3 动态扩容技术 |
| 2.2.4 在线动态迁移技术 |
| 2.2.5 数据冗余技术 |
| 2.3 云终端发展优势 |
| 2.4 本章小结 |
| 第3章 虚拟资源池平台及相关技术分析 |
| 3.1 虚拟资源池平台 |
| 3.1.1 虚拟资源池 |
| 3.1.2 虚拟资源池优势及功能 |
| 3.1.3 动态主机配置协议 |
| 3.1.4 活动目录 |
| 3.2 相关核心技术 |
| 3.2.1 虚拟化技术 |
| 3.2.2 桌面显示协议 |
| 3.2.3 云存储技术 |
| 3.3 本章小结 |
| 第4章 基于VRP的云终端系统的设计与实现 |
| 4.1 云终端系统的设计与实现 |
| 4.2 网络设计及负载均衡 |
| 4.2.1 主机网卡规划 |
| 4.2.2 IP规划设计 |
| 4.2.3 负载均衡 |
| 4.3 存储设计 |
| 4.3.1 云硬盘模块设计 |
| 4.3.2 存储容量需求 |
| 4.3.3 数据库设计 |
| 4.3.4 安全性设计 |
| 4.4 本章小结 |
| 第5章 云终端系统的部署与实现 |
| 5.1 主机规划 |
| 5.1.1 基础架构服务器 |
| 5.1.2 桌面承载服务器 |
| 5.1.3 云硬盘服务器 |
| 5.1.4 主机配置设计 |
| 5.2 虚拟桌面的实现 |
| 5.3 本章小结 |
| 总结和展望 |
| 参考文献 |
| 致谢 |
| 附录A 攻读硕士学位期间参与的科研项目 |
（6）基于分布式云存储的企业网盘系统设计与实现（论文提纲范文）
| 摘要 |
| Abstract |
| 第一章 绪论 |
| 1.1 研究背景与意义 |
| 1.2 国内外的发展现状 |
| 1.3 主要工作和结构安排 |
| 第二章 系统相关技术概述 |
| 2.1 云存储相关技术 |
| 2.1.1 云存储架构设计 |
| 2.1.2 云存储系统关键技术 |
| 2.2 分布式存储的技术架构 |
| 2.2.1 存储系统的分类 |
| 2.2.2 集群存储架构分析 |
| 2.2.3 基于MVC的系统三层技术框架 |
| 2.3 本章小结 |
| 第三章 系统的需求分析与总体架构 |
| 3.1 系统总体目标 |
| 3.2 系统需求分析 |
| 3.3 系统总体设计 |
| 3.3.1 设计原则 |
| 3.3.2 系统总体架构设计 |
| 3.3.3 系统技术架构设计 |
| 3.3.4 系统总体部署结构设计 |
| 3.4 本章小结 |
| 第四章 系统核心模块详细设计与实现 |
| 4.1 前后端系统功能设计与实现 |
| 4.2 业务逻辑及流程设计与实现 |
| 4.2.1 基础服务业务逻辑设计与实现 |
| 4.2.2 文件管理业务逻辑的设计与实现 |
| 4.2.3 管理面板业务逻辑的设计与实现 |
| 4.2.4 系统管理业务逻辑的设计与实现 |
| 4.3 数据存储设计与实现 |
| 4.3.1 总体结构设计 |
| 4.3.2 数据存储模块设计与实现 |
| 4.3.3 负载均衡模块设计与实现 |
| 4.3.4 数据加密模块设计与实现 |
| 4.4 关键数据库设计与实现 |
| 4.4.1 数据库结构设计 |
| 4.4.2 主要数据库设计 |
| 4.5 本章小结 |
| 第五章 系统测试与验证 |
| 5.1 系统测试环境 |
| 5.2 系统功能测试 |
| 5.2.1 登录服务部分 |
| 5.2.2 文件展示部分 |
| 5.2.3 文件操作部分 |
| 5.2.4 共享操作部分 |
| 5.3 系统性能测试与分析 |
| 5.4 测试总结 |
| 5.5 本章小结 |
| 第六章 总结与展望 |
| 6.1 工作总结 |
| 6.2 下一步的工作展望 |
| 参考文献 |
| 致谢 |
| 个人简历、在学期间发表的论文与研究成果 |
（7）HDFS分布式文件系统存储策略研究（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 第一章 绪论 |
| 1.1 研究背景及意义 |
| 1.2 国内外研究现状 |
| 1.3 课题来源和主要研究内容 |
| 1.4 论文组织结构 |
| 1.5 本章小结 |
| 第二章 分布式存储及副本管理相关技术 |
| 2.1 分布式存储概述 |
| 2.1.1 分布式存储概念 |
| 2.1.2 分布式存储架构模型 |
| 2.1.3 分布式存储分层结构模型 |
| 2.1.4 典型的分布式存储系统 |
| 2.2 HDFS分布式文件系统架构分析 |
| 2.2.1 HDFS整体架构 |
| 2.2.2 HDFS关键实体 |
| 2.2.3 HDFS数据读写机制 |
| 2.2.4 HDFS健壮性 |
| 2.3 数据副本管理技术 |
| 2.3.1 数据副本技术概念 |
| 2.3.2 数据副本管理策略分类 |
| 2.3.3 数据副本管理技术优点 |
| 2.3.4 数据副本管理技术要点 |
| 2.4 本章小结 |
| 第三章 基于数据块的动态副本调整策略 |
| 3.1 现有副本系数决策算法 |
| 3.2 基于数据块的动态副本调整策略 |
| 3.2.1 设计思想 |
| 3.2.2 数据块访问频率计算 |
| 3.2.3 数据块副本系数范围 |
| 3.2.4 数据块副本数量的动态调整 |
| 3.3 实验与结果分析 |
| 3.3.1 实验目的 |
| 3.3.2 实验环境 |
| 3.3.3 实验设计与结果分析 |
| 3.4 本章小结 |
| 第四章 基于热点数据块的本地缓存策略 |
| 4.1 HDFS数据读取原理 |
| 4.1.1 HDFS读数据流程 |
| 4.1.2 HDFS读数据之获取Block位置信息 |
| 4.1.3 HDFS读数据之读取Block数据 |
| 4.2 基于热点数据块的本地缓存策略 |
| 4.2.1 HDFS数据访问不足之处 |
| 4.2.2 基于热点数据块的本地内存缓存策略 |
| 4.2.3 基于热点数据块的本地磁盘缓存策略 |
| 4.2.4 基于热点数据块的本地二级缓存策略 |
| 4.3 实验与结果分析 |
| 4.3.1 实验目的 |
| 4.3.2 实验环境 |
| 4.3.3 实验设计与结果分析 |
| 4.4 本章小结 |
| 第五章 总结与展望 |
| 5.1 全文总结 |
| 5.2 未来工作展望 |
| 致谢 |
| 参考文献 |
（8）面向大数据的异构集群存储系统副本放置与选择策略研究（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 缩略词表 |
| 第1章 引言 |
| 1.1 研究背景 |
| 1.2 选题来源 |
| 1.3 研究动机和解决思路 |
| 1.3.1 研究动机 |
| 1.3.2 解决思路 |
| 1.4 研究目标与内容 |
| 1.4.1 研究目标 |
| 1.4.2 研究内容 |
| 1.5 论文组织 |
| 第2章 研究现状 |
| 2.1 引言 |
| 2.2 集群存储系统发展现状 |
| 2.3 副本放置算法研究现状 |
| 2.4 副本选择策略研究现状 |
| 2.5 研究现状总结 |
| 第3章 基于排队论的大规模集群存储系统静态副本放置 |
| 3.1 引言 |
| 3.2 集群存储系统副本访问请求流量建模 |
| 3.2.1 理论分析 |
| 3.2.2 统计检验 |
| 3.3 同构集群存储环境下多副本访问排队模型 |
| 3.3.1 多副本访问的基本排队模型M/M/r |
| 3.3.2 基于SLA的非抢占多优先级多副本访问排队模型 |
| 3.3.3 实验分析 |
| 3.4 异构集群存储环境下多副本访问排队模型 |
| 3.4.1 节点处理能力不等的3-副本访问排队模型 |
| 3.4.2 异构环境下多副本访问的一般排队模型 |
| 3.4.3 实验分析 |
| 3.5 本章小结 |
| 第4章 基于异构感知的大规模集群存储系统动态副本放置 |
| 4.1 引言 |
| 4.2 系统模型 |
| 4.3 集群节点异构性感知算法 |
| 4.4 基于热度感知的复制机制 |
| 4.5 Snake-Like数据副本放置算法 |
| 4.6 基于SLRP的Hadoop集群节能策略 |
| 4.6.1 PCS数学模型 |
| 4.6.2 基于二分图匹配的节能策略求解 |
| 4.7 实验验证与分析 |
| 4.7.1 Hadoop集群的性能测试 |
| 4.7.2 Hadoop集群的能耗测试 |
| 4.7.3 Hadoop集群存储空间效率分析 |
| 4.8 本章小结 |
| 第5章 基于QoS偏好感知的副本选择策略 |
| 5.1 引言 |
| 5.2 三维QoS模型 |
| 5.3 QoS偏好感知算法QoPA |
| 5.4 QoS偏好感知副本选择策略 |
| 5.4.1 基于模糊综合评判的副本选择策略 |
| 5.4.2 基于改进并行遗传算法的副本选择策略 |
| 5.5 本章小结 |
| 第6章 面向AMS大数据的分级存储数据管理系统 |
| 6.1 AMS-02 SOC简介 |
| 6.2 SEU-Storm设计与实现 |
| 6.2.1 SEU-Storm总体设计 |
| 6.2.2 SEU-Storm具体实现 |
| 6.3 SEU-Storm部署与测试 |
| 6.3.1 SEU-Storm实际部署 |
| 6.3.2 SEU-Storm功能和性能测试 |
| 6.4 本章小结 |
| 第7章 总结和展望 |
| 7.1 论文总结 |
| 7.2 下一步研究的方向 |
| 参考文献 |
| 致谢 |
| 攻读博士期间论文发表情况 |
| 攻读博士期间参与的科研项目 |
| 作者简历 |
（9）海量数据存储系统的高可靠性关键技术研究与应用（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 第一章 绪论 |
| 1.1 选题的依据和意义 |
| 1.1.1 存储系统中的数据损毁 |
| 1.2 海量数据存储系统数据可靠性增强策略 |
| 1.2.1 传统复制备份策略 |
| 1.2.2 复制备份策略存在的问题 |
| 1.2.3 低冗余高可靠的编码冗余策略 |
| 1.3 论文的研究动机 |
| 1.4 论文的研究内容与创新点 |
| 1.5 论文组织结构 |
| 第二章 数据存储系统可靠性及相关技术研究现状 |
| 2.1 数据存储系统及其可靠性研究总体概况 |
| 2.2 典型存储系统及其可靠性实现 |
| 2.2.1 磁盘阵列存储之 RAID5 |
| 2.2.2 海量数据存储系统之 HDFS |
| 2.2.3 海量数据存储文件系统之 WAS |
| 2.2.4 其它高可靠性文件系统 |
| 2.3 基于复制策略的可靠性增强技术 |
| 2.3.1 数据组织结构及放置策略 |
| 2.3.2 复制时机策略 |
| 2.4 基于编码冗余策略的可靠性增强技术 |
| 2.4.1 存储编码理论研究概况 |
| 2.4.2 存储编码的重构带宽 |
| 2.5 与存储系统可靠性相关的其它关键技术 |
| 2.5.1 重复数据删除技术 |
| 2.5.2 系统节能技术 |
| 2.6 高可靠性低冗余度海量数据存储系统的设计思考 |
| 2.7 本章小结 |
| 第三章 一种针对磁盘阵列系统容错的高性能编码技术 |
| 3.1 磁盘阵列存储之 RAID6 |
| 3.2 EX-ENOD 码 |
| 3.2.1 EX-ENOD 码编码方法 |
| 3.2.2 EX-ENOD 码的性质及证明 |
| 3.2.3 EX-ENOD 码的译码算法 |
| 3.2.4 译码算法的通用性 |
| 3.3 EX-ENOD 码的性能分析 |
| 3.3.1 EX-ENOD 码的编码复杂度 |
| 3.3.2 EX-ENOD 码的译码复杂度 |
| 3.4 本章小结 |
| 第四章 一种针对高可靠性存储系统的编码冗余策略及其优化 |
| 4.1 生成矩阵与一致校验矩阵 |
| 4.1.1 编码相关知识介绍 |
| 4.1.2 线性分组码的生成矩阵与校验矩阵的关系 |
| 4.2 将有限域元素规约到{0,1}符号域上的矩阵表示法 |
| 4.2.1 计算机存储中的有限域 |
| 4.2.2 有限域中的相关概念及表示方法 |
| 4.2.3 传统有限域表示方法在存储系统中应用的限制 |
| 4.2.4 有限域元素的{0,1}矩阵表示方法 |
| 4.3 在{0,1}符号域上的范德蒙矩阵的编码存储方法 |
| 4.3.1 传统范德蒙矩阵的构造方法 |
| 4.3.2 适用于数据存储的范德蒙矩阵的构造方法 |
| 4.3.3 基于{0,1}符号域编码矩阵的分布式存储方法 |
| 4.4 基于校验矩阵的高效重构算法 |
| 4.4.1 宏数据块重构算法 |
| 4.4.2 基于(6,3,4)范德蒙系统码的数据重构过程 |
| 4.4.3 利用微数据块的低带宽重构算法 |
| 4.5 本章小结 |
| 第五章 高可靠性海量数据存储系统的核心模块设计与实现 |
| 5.1 高可靠低冗余度数据存储系统基础架构设计 |
| 5.1.1 系统的体系结构总体设计 |
| 5.1.2 数据的组织与读取 |
| 5.1.3 系统的管理 |
| 5.2 原型系统的相关性能测试 |
| 5.2.1 系统数据读写性能测试 |
| 5.2.2 系统编译码时 CPU 利用率分析 |
| 5.2.3 验证机制对客户端的影响分析 |
| 5.2.4 系统可靠性分析 |
| 5.3 本章小结 |
| 第六章 编码冗余技术在电子选举系统数据存储中的应用 |
| 6.1 电子选举系统的典型需求 |
| 6.2 传统电子选举系统的缺陷 |
| 6.3 高可靠性新一代电子选举系统 |
| 6.3.1 CCS-VIII 型选举系统硬件平台 |
| 6.3.2 CCS-VIII 型选举系统执行流程 |
| 6.3.3 新型选举系统数据可靠性设计 |
| 6.3.4 新型选举系统性能及整体效用 |
| 6.4 本章小结 |
| 第七章 结论 |
| 7.1 本文的主要贡献 |
| 7.2 下一步工作的展望 |
| 致谢 |
| 参考文献 |
| 攻博期间取得的科研成果 |
（10）海量遥感数据存储管理技术综述（论文提纲范文）
| 1 国外遥感数据存储与管理技术 |
| 1.1 NASA EOS数据中心 |
| 1.1.1 EOS数据规模与面临的存储管理问题 |
| 1.1.2 EOS技术途径与优点 |
| 1.2 World Wind遥感数据存储管理技术 |
| 1.2.1 World Wind遥感数据存储组织方式 |
| 1.2.2 World Wind系统的存储架构 |
| 1.3 Google Earth与Google Maps在线遥感数据存储管理技术 |
| 1.3.1 Google Maps遥感数据存储组织方式 |
| 1.3.2 Google Earth影像地球数据组织方式 |
| 1.3.3 Google Earth集群存储技术 |
| 1.3.4 Google Earth集群存储系统的优点 |
| 1.3.5 Google Earth集群存储系统的不足 |
| 1.4 Bing Maps遥感数据存储管理技术 |
| 1.4.1 Bing Maps遥感数据存储组织方式 |
| 1.4.2 Bing Maps集群存储技术 |
| 1.5 Terra Server遥感数据存储管理技术 |
| 1.5.1 Terra Server遥感数据的存储组织方法 |
| 1.5.2 Terra Server物理存储架构 |
| 1.6 ESA数据中心 |
| 1.7 Earth Simulator集群管理技术 |
| 1.7.1 计算处理器或节点的地理网格划分思想 |
| 1.7.2 高度并行调度机制 |
| 1.8 Geo Eye影像存储管理技术 |
| 2 国内遥感数据存储与管理技术 |
| 2.1 天地图在线遥感数据存储管理技术 |
| 2.2 中国资源卫星应用中心 |
| 2.3 国家卫星气象中心 |
| 2.4 国家卫星海洋应用中心 |
| 3 国内外遥感数据存储中心或系统在数据存储管理上的综合比较与分析 |
| 4 总结与展望 |
四、高可靠可扩展PC集群存储系统的设计（论文参考文献）
- [1]海量时间频率科学数据管理与服务关键技术研究[D]. 孟令达. 中国科学院大学(中国科学院国家授时中心), 2019(01)
- [2]基于分布式存储技术的高校集群存储系统实践与研究[J]. 刁喆. 信息与电脑(理论版), 2018(04)
- [3]基于GlusterFS的分级云存储系统设计与实现[D]. 李立. 国防科技大学, 2017(02)
- [4]电力企业云终端系统设计与安全关键技术研究[D]. 杨岩. 兰州理工大学, 2016(01)
- [5]存储系统如何达到4K后期制作要求[J]. 周进,张虎. 科教导刊(上旬刊), 2016(07)
- [6]基于分布式云存储的企业网盘系统设计与实现[D]. 李祉岐. 中国科学院大学(工程管理与信息技术学院), 2015(03)
- [7]HDFS分布式文件系统存储策略研究[D]. 周小玉. 电子科技大学, 2015(03)
- [8]面向大数据的异构集群存储系统副本放置与选择策略研究[D]. 熊润群. 东南大学, 2015(08)
- [9]海量数据存储系统的高可靠性关键技术研究与应用[D]. 蒋海波. 电子科技大学, 2013(12)
- [10]海量遥感数据存储管理技术综述[J]. 吕雪锋,程承旗,龚健雅,关丽. 中国科学:技术科学, 2011(12)