在过去的十年中,计算世界已经改变。现在不仅在大公司,甚至一些小公司也积累了TB量级的数据。各种规模的组织开始有了处理大数据的需求,而目前关系型数据库在可缩放方面几乎已经达到极限。
一个解决方案是使用键值(Key-Value)存储数据库,这是一种NoSQL(非关系型数据库)模型,其数据按照键值对的形式进行组织、索引和存储。KV存储非常适合不涉及过多数据关系业务关系的业务数据,同时能有效减少读写磁盘的次数,比SQL数据库存储拥有更好的读写性能。
本文就为你介绍9种用于大数据处理的免费键值存储数据库。
1. Aerospike 社区版
Aerospike是一个以分布式为核心基础,可基于行随机存取内存中索引、数据或SSD存储中数据的数据库。
Aerospike主要用于广告业务,作为一个服务器端的cookie存储来使用,在这种场景下读取和写入性能是至关重要的。
官网:
http://www.aerospike.com/press-releases/aerospike-launches-free-community-edition/
相关资料:
Documentation、
FAQ、
Blog、
Forums2. LevelDB
Leveldb是Google开发的一个非常高效的kv数据库,支持billion级别的数据量,在这个数量级别下还有着非常高的性能,主要归功于它的良好的设计,特别是LSM算法。Leveldb已经作为存储引擎被Riak和Kyoto Tycoon所支持,在国内淘宝的Tair开源key-value存储也已经将LevelDB作为其持久化存储引擎,并部署在线上使用。
官网:
http://code.google.com/p/leveldb/
相关资料:
Benchmarks、
Mailing List、
Twitter3. Scalaris
Scalaris 是一个采用Erlang开发的分布式 key-value 存储系统,提供的 API 包括:Java、Python、Ruby和JSON。
官网:
http://scalaris.googlecode.com/
相关资料:
Users and Developers Guide、
FAQ、
Mailing
List4. Project Voldemort
Voldemort是一个分布式键值存储系统,是Amazon's Dynamo的一个开源克隆。特性如下:
- 支持自动复制数据到多个服务器上。
- 支持数据自动分割所以每个服务器只包含总数据的一个子集。
- 提供服务器故障透明处理功能。
- 支持可拨插的序化支持,以实现复杂的键-值存储,它能够很好的5.集成常用的序化框架如:Protocol Buffers、Thrift、Avro和Java Serialization。
- 数据项都被标识版本能够在发生故障时尽量保持数据的完整性而不会影响系统的可用性。
- 每个节点相互独立,互不影响。
- 支持可插拔的数据放置策略
官网:
http://project-voldemort.com/
相关资料:
Wiki、
Mailing List、
Github、
Project
Voldemort: Scaling Simple Storage、
Serving Large-scale Batch Computed Data with Project Voldemort5. HyperDex
HyperDex是一个分布式、可搜索的键值存储系统,特性如下:
- 分布式KV存储,系统性能能够随节点数目线性扩展
- 吞吐和延时都能秒杀现在风头正劲的MonogDB,吞吐甚至强于Redis
- 使用了hyperspace hashing技术,使得对存储的K-V的任意属性进行查询成为可能
官网:
http://hyperdex.org/
相关资料:
Documentation、
Blog、
GitHub、
FAQ、
Announcement
Mailing List、
Discussion Mailing List6. Berkeley DB
Berkeley DB是一个开源的文件数据库,介于关系数据库与内存数据库之间,使用方式与内存数据库类似,它提供的是一系列直接访问数据库的函数,而不是像关系数据库那样需要网络通讯、SQL解析等步骤。
官网:
http://www.oracle.com/technetwork/products/berkeleydb/overview/index.html
相关资料:
Wiki、
Forums、
Launchpad7. Apache Accumulo
Apache Accumulo 是一个可靠的、可伸缩的、高性能的排序分布式的 Key-Value 存储解决方案,基于单元访问控制以及可定制的服务器端处理。Accumulo使用 Google BigTable 设计思路,基于 Apache Hadoop、Zookeeper 和 Thrift 构建。
官网:
http://accumulo.apache.org/
相关资料:
Manual、
Mailing Lists、
Apache Accumulo
Users Group8. Redis
Redis是一个高性能的key-value存储系统,和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)和zset(有序集合)。与memcached一样,为了保证效率,数据都是缓存在内存中,区别的是Redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件,并且在此基础上实现了主从同步。
Redis的出现,很大程度补偿了memcached这类key/value存储的不足,在部分场合可以对关系数据库起到很好的补充作用。它提供了Python、Ruby、Erlang、PHP客户端,使用很方便。
官网:
http://redis.io/
相关资料:
Documentation、
Tutorials、
FAQ、
Mailing
List、
Twitter9. Apache Cassandra
Apache Cassandra是一个混合型的非关系数据库,它最初由Facebook开发,用于储存特别大的数据。
Cassandra的主要特点就是它不是一个数据库,而是由一堆数据库节点共同构成的一个分布式网络服务,对Cassandra 的一个写操作,会被复制到其它节点上去,对Cassandra的读操作,也会被路由到某个节点上面去读取。对于一个Cassandra群集来说,扩展性能是比较简单的事情,只管在群集里面添加节点就可以了。
官网:
http://cassandra.apache.org/
相关资料:
Wiki、
Getting Started
Via
linuxlinks
分享到:
相关推荐
对数据库性能进行了简单的压力测试,采用了随机写读的方法,在不同数据规模下获得了每秒可处理请求数(QPS)指标。 > - 如发现文档中或者源代码中有错误,欢迎大家在 `Issues` 中研究讨论,欢迎大家 `Fork` 和 `Pull...
众所周知,非关系型数据库redis,以及levedb,rockdb其核心存储引擎的数据结构就是跳表。 本项目就是基于跳表实现的轻量级键值型存储引擎,使用C++实现。插入数据、删除数据、查询数据、数据展示、数据落盘、文件...
(7)Aerospike:Aerospike数据库是⼀个键值存储,⽀持混合内存架构,通过强⼀致性和可调⼀致性保证数据的完整性。 3、⽂档数据库:MongoDB、CouchDB、Perservere、Terrastore、RavenDB等,下⾯简单介绍⼏个 (1)...
Hadoop可以很好地解决大规模数据的离线批量处理问题,但是,受限于Hadoop MapReduce编程框架的高延迟数据处理机制,使得Hadoop无法满足大规模数据实时处理应用的需求 HDFS面向批量访问模式,不是随机访问模式 传统的...
将数据存储在默认文件中,但也支持存储在内存中。 灵活的参数设置(数据库名称/页面大小/键大小/值大小/缓存大小)配置可满足您的需求。 使用WAL(预写日志记录)技术可提供强大的安全保证。 性能 平台 中央处理...
CockroachDB (蟑螂数据库)是一个可伸缩的、支持地理位置处理、支持事务处理的数据存储系统,和谷歌的F1系统类似,支持分布式事务等特性。。CockroachDB 提供两种不同的的事务特性,包括快照隔离(snapshot ...
Graviton数据库:ZFS用于键值存储。 Graviton数据库是纯GOLANG中简单,快速,版本控制,已认证,可嵌入的键值存储数据库。 简而言之,Graviton数据库就像“用于键值存储的ZFS”,其中每个写入都通过加密证明进行跟踪...
它将数据组织为有序键值存储,并使用ACID事务进行所有操作。 espec FoundationDB是一个分布式数据库,旨在处理跨商品服务器集群的大量结构化数据。 它将数据组织为有序键值存储,并使用ACID事务进行所有操作。 它...
这些数据库可以是文档导向的(如MongoDB)、键值存储(如Redis)、宽列存储(如Cassandra)或图形数据库(如Neo4j),它们各自针对不同的数据存储需求和查询模式进行了优化。NoSQL数据库的优势在于能够处理结构化、...
NoSQL数据库的优势:可以支持超大规模数据存储,灵活的数据模型可以很好地支持Web 2.0应用,具有强大的横向扩展能力等,典型的NoSQL数据库包含以下几种:键值数据库、列族数据库、文档数据库和图形数据库。...
插入数据、删除数据、查询数据、数据展示、数据落盘、文件加载数据,以及数据库大小显示。 在随机写读情况下,该项目每秒可处理啊请求数(QPS): 23.61w,每秒可处理读请求数(QPS): 18.66w(测试条件基于实验室...
FoundationDB是一个分布式数据库,旨在... 它将数据组织为一个有序的键值存储,并为所有操作使用ACID事务。 它特别适合读/写工作负载,但对写密集型工作负载也具有出色的性能。 用户使用API语言绑定与数据库进行交互。
laravel设置 简单的键/值安全设置存储在数据库中安装通过composer安装软件包。 composer require kotus/laravel-settings 发布配置文件并填写配置。 在运行php artisan migrate命令之前,请确保提供默认设置。 ...
数据库设计是指对于给定的应用环境,构造最优的 数据库模式,建立数据库及其应用系统,使之能够有效地存储数据, 满足各种用户的应用要求(信息要求和处理要求)。 数据库设计的核心问题是建立模型。一般而言这个模型...
DocumentStore是一个键值存储(KVS),可以将数据存储在JSON文档中,从而为您提供了一种处理简单或嵌套数据的有效方式,并允许使用灵活的动态模式。 数据可以轻松地在多个服务器之间同步。 这提供了用于将JSON数据...
为了有效应对现实世界中复杂多样性的大数据处理需求,需要针对不同的大数据应 用特征,从多个角度、多个层次对大数据进行存储和管理。本文主要分析了大数据面临 的存储管理问题以及简述了存储管理关键技术。 ...
Not Only SQL)数据库中比较像关系型数据库的一个,具有免费、操作简单、面向文档、自动分片、可扩展性强、查询功能强大等特点,对大数据处理支持较好,旨在为WEB应用提供可扩展的高性能数据存储解决方案。...
所有数据都安全地存储、分发和复制在键值存储组件中。 FoundationDB 易于安装、扩展和管理。 它具有分布式架构,可以优雅地向外扩展,并在像单个 ACID 数据库一样运行的同时处理故障。 FoundationDB 在商品硬件上...
它将数据组织为有序键值存储,并使用ACID事务进行所有操作。 它特别适合读/写工作负载,但对于写密集型工作负载也具有出色的性能。 用户使用API语言绑定与数据库进行交互。 要了解有关FoundationDB的更多信息...