大数据中心+上万台电脑 | 大数据主机

1. 大数据主机

这个"至少写入",我从来没见过这种术语,其实硬盘的写入策略是很科学的,大小文件连读连写都能安排的很高效举个例子,在当前的大文件读取任务未完成时,队列中又进入了小文件的连续写入任务,这个时候就会把小文件先填入缓存,保证大文件优先完成后,再花比较多的时间把缓存的数据传到硬盘上.写入数据多少是按需求安排的,比如说,硬盘空载的时候,你给它一个1KB的写入,它立刻就照办了,而满载的时候呢,有100MB的任务,它都不会鸟你软盘就不用考虑了,速度太慢太慢

2. 大数据机房

正常机房建设利润在百分之三十五到四十五之间合适。

3. 大数据主机配置

可以。

普通电脑，鲁大师基本都能准确检测硬件的品牌，型号和配置，还是比较靠谱的。选择正规的商家购买，别贪便宜，别买比正常价格低很多的配件，特别是二手配件。虽然有刷信息的假配件，但很容易引起硬件兼容性问题，正规商家有保修的一般不会干这事。

4. 大数据系统

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）。

5. 大数据主机配置 2021

512GB，价格500—1000元左右。

红米G2021锐龙自带512GB固态硬盘，预留了M.2 PCIe SSD口插槽，支持NVME协议。

支持pcle3.0×4，最大只能支持3.938GB/s的数据传输。所以即使选择太高性能的固态，也是发挥不出来的。不建议选择三星980pro、西数黑盘等支持4.0协议的硬盘。

三星的970 EVO Plus也不推荐，散热压不住的。

可以考虑三星的980，顺序读取速度3500MB/s，顺序写入速度3000MB/s。

或者西数的蓝盘SN750，写入速度3000MB/s，读取速度3500MB/s。提供五年质保。是市场上销量最高的消费级固态硬盘。也是我一直在使用的硬盘。

6. 大数据服务器

数据库技术的发展实际上取决于互联网发展过程中需求的不断升级。如果数据是小钱钱，那么数据库就好比古代的布袋，皮钱包再到如今的电子钱包。演变就是为了适应需求的变化。总的来说，根据数据库原理的不同，可以分为关系型数据库，NoSQL数据库以及时序数据库。下面就为大家简单介绍下这几类数据库的特点以及应用场景：

关系型数据库

关系型数据库是比较传统的数据库，其中包括SQL Server，Oracle，DB2，MySQL等。关系型数据库是基于行存储的，适合结构化实体的存储，读写性能比较平均，支持复杂条件查询。但对于非结构化数据的存储就有些吃力了。

NoSQL数据库

NoSQL数据库的代表非MongoDB莫属，如今，随着MySQL 8的出现，NoSQL数据库的选择也变得多样起来。NoSQL数据库包括文档型数据库，列存储数据库等。这类数据库很好的支持了非结构化数据的存储，但是部分此类数据库由于其底层实现，读性能相较于写性能来说要优异许多。举个栗子，Google Cloud DataStore是一款文档型数据库，其底层基于列索引的BigTable实现。当插入一个JSON对象时，内部需要很多操作来完成对象的保存，相较于关系型数据库的插入操作要麻烦一些。

时序数据库

时序数据库是一个新兴的概念，目前比较流行有InfluxDB，国内初创公司涛思数据的TDengine也是不错的选择。时序数据库适用于物联网传感器数据的存储以及应用日志收集等场景。通过名字就可以看出该类数据库存储的数据基本都是通过时间戳索引的，因此同样不支持复杂的条件查询。

结语

关系型数据库，NoSQL数据库以及时序数据库的选择取决于要存储的数据类型，应用场景。但在互联网如此发达的今天，还要应对高并发，高可用的挑战。也就有了后来的读写分离，故障转移，读拷贝等技术的出现，同时也诞生了应用缓存Redis，消息队列Kafka等来缓解数据库的压力。在选择数据库时，根据应用场景，数据类型选择最合适的就好。