【导语】“Ghhhh”通过精心收集，向本站投稿了12篇大数据技术Hadoop面试题，以下是小编帮大家整理后的大数据技术Hadoop面试题，仅供参考，大家一起来看看吧。
- 目录
篇1：大数据技术Hadoop面试题
分析：它是可以被修改的Hadoop的基础配置文件是hadoop-default.xml，默认建立一个Job的时候会建立Job的Config，Config首先读入hadoop-default.xml的配置，然后再读入hadoop-site.xml的配置(这个文件初始的时候配置为空)，hadoop-site.xml中主要配置需要覆盖的hadoop-default.xml的系统级配置。
15. Nagios 不可以监控 Hadoop 集群，因为它不提供 Hadoop 支持。(错误 )
分析：Nagios是集群监控工具，而且是云计算三大利器之一
16. 如果 NameNode 意外终止，SecondaryNameNode 会接替它使集群继续工作。(错误 )
分析：SecondaryNameNode是帮助恢复，而不是替代，如何恢复，可以查看
17. Cloudera CDH 是需要付费使用的。(错误 )
分析：第一套付费产品是Cloudera Enterpris，Cloudera Enterprise在美国加州举行的 Hadoop 大会 (Hadoop Summit) 上公开，以若干私有管理、监控、运作工具加强 Hadoop 的功能。收费采取合约订购方式，价格随用的 Hadoop 布大小变动。
18. Hadoop 是 Java 开发的，所以 MapReduce 只支持 Java 语言编写。(错误 )
分析：rhadoop是用R语言开发的，MapReduce是一个框架，可以理解是一种思想，可以使用其他语言开发。
19. Hadoop 支持数据的随机读写。(错 )
分析：lucene是支持随机读写的，而hdfs只支持随机读。但是HBase可以来补救。HBase提供随机读写，来解决Hadoop不能处理的问题。HBase自底层设计开始即聚焦于各种可伸缩性问题：表可以很“高”，有数十亿个数据行;也可以很“宽”，有数百万个列;水平分区并在上千个普通商用机节点上自动复制。表的模式是物理存储的直接反映，使系统有可能提高高效的数据结构的序列化、存储和检索。
20. NameNode 负责管理 metadata，client 端每次读写请求，它都会从磁盘中读取或则会写入 metadata 信息并反馈 client 端。(错误)
此题分析：
NameNode 不需要从磁盘读取 metadata，所有数据都在内存中，硬盘上的只是序列化的结果，只有每次 namenode 启动的时候才会读取。
1)文件写入
Client向NameNode发起文件写入的请求。
NameNode根据文件大小和文件块配置情况，返回给Client它所管理部分DataNode的信息。
Client将文件划分为多个Block，根据DataNode的地址信息，按顺序写入到每一个DataNode块中。
2)文件读取
Client向NameNode发起文件读取的请求。
21. NameNode 本地磁盘保存了 Block 的位置信息。( 个人认为正确，欢迎提出其它意见)
分析：DataNode是文件存储的基本单元，它将Block存储在本地文件系统中，保存了Block的Meta-data，同时周期性地将所有存在的Block信息发送给NameNode。NameNode返回文件存储的DataNode的信息。
Client读取文件信息。
22. DataNode 通过长连接与 NameNode 保持通信。( )
这个有分歧：具体正在找这方面的有利资料。下面提供资料可参考。
首先明确一下概念：
(1).长连接
Client方与Server方先建立通讯连接，连接建立后不断开，然后再进行报文发送和接收。这种方式下由于通讯连接一直存在，此种方式常用于点对点通讯。
(2).短连接
Client方与Server每进行一次报文收发交易时才进行通讯连接，交易完毕后立即断开连接。此种方式常用于一点对多点通讯，比如多个Client连接一个Server.
23. Hadoop 自身具有严格的权限管理和安全措施保障集群正常运行。(错误 )
hadoop只能阻止好人犯错，但是不能阻止坏人干坏事
24. Slave 节点要存储数据，所以它的磁盘越大越好。( 错误)
分析：一旦Slave节点宕机，数据恢复是一个难题
25. hadoop dfsadmin Creport 命令用于检测 HDFS 损坏块。(错误 )
26. Hadoop 默认调度器策略为 FIFO(正确 )
27. 集群内每个节点都应该配 RAID，这样避免单磁盘损坏，影响整个节点运行。(错误 )
分析：首先明白什么是RAID，可以参考百科磁盘阵列。这句话错误的地方在于太绝对，具体情况具体分析。题目不是重点，知识才是最重要的。因为hadoop本身就具有冗余能力，所以如果不是很严格不需要都配备RAID。具体参考第二题。
28. 因为 HDFS 有多个副本，所以 NameNode 是不存在单点问题的。(错误 )
29. 每个 map 槽就是一个线程。(错误 )
分析：首先我们知道什么是map 槽,map 槽->map slotmap slot 只是一个逻辑值 ( org.apache.hadoop.mapred.TaskTracker.TaskLauncher.numFreeSlots )，而不是对应着一个线程或者进程
30. Mapreduce 的 input split 就是一个 block。(错误 )
31. NameNode 的 Web UI 端口是 50030，它通过 jetty 启动的 Web 服务。(错误 )
32. Hadoop 环境变量中的 HADOOP_HEAPSIZE 用于设置所有 Hadoop 守护线程的内存。它默认是 200 GB。( 错误)
hadoop为各个守护进程(namenode,secondarynamenode,jobtracker,datanode,tasktracker)统一分配的内存在hadoop-env.sh中设置，参数为HADOOP_HEAPSIZE，默认为1000M。
33. DataNode 首次加入 cluster 的时候，如果 log 中报告不兼容文件版本，那需要 NameNode执行“Hadoop namenode -format”操作格式化磁盘。(错误 )
分析：
首先明白介绍，什么ClusterID
ClusterID
添加了一个新的标识符ClusterID用于标识集群中所有的节点。当格式化一个Namenode，需要提供这个标识符或者自动生成。这个ID可以被用来格式化加入集群的其他Namenode。
二次整理
有的同学问题的重点不是上面分析内容：内容如下：
这个报错是说明 DataNode 所装的Hadoop版本和其它节点不一致，应该检查DataNode的Hadoop版本
篇2：大数据技术Hadoop面试题
17. Cloudera CDH 是需要付费使用的。( )
18. Hadoop 是 Java 开发的，所以 MapReduce 只支持 Java 语言编写。( )
19. Hadoop 支持数据的随机读写。( )
20. NameNode 负责管理 metadata，client 端每次读写请求，它都会从磁盘中读取或则会写入 metadata 信息并反馈 client 端。( )
21. NameNode 本地磁盘保存了 Block 的位置信息。( )
22. DataNode 通过长连接与 NameNode 保持通信。( )
23. Hadoop 自身具有严格的权限管理和安全措施保障集群正常运行。( )
24. Slave 节点要存储数据，所以它的磁盘越大越好。( )
25. hadoop dfsadmin Creport 命令用于检测 HDFS 损坏块。( )
26. Hadoop 默认调度器策略为 FIFO( )
27. 集群内每个节点都应该配 RAID，这样避免单磁盘损坏，影响整个节点运行。( )
28. 因为 HDFS 有多个副本，所以 NameNode 是不存在单点问题的。( )
29. 每个 map 槽就是一个线程。( )
30. Mapreduce 的 input split 就是一个 block。( )
31. NameNode 的 Web UI 端口是 50030，它通过 jetty 启动的 Web 服务。( )
32. Hadoop 环境变量中的 HADOOP_HEAPSIZE 用于设置所有 Hadoop 守护线程的内存。它默认是 200 GB。( )
33. DataNode 首次加入 cluster 的时候，如果 log 中报告不兼容文件版本，那需要 NameNode执行“Hadoop namenode -format”操作格式化磁盘。( )
别走开，答案在后面哦!
1. 下面哪个程序负责 HDFS 数据存储。答案C datanode
a)NameNode
b)Jobtracker
c)Datanode
d)secondaryNameNode
e)tasktracker
2. HDfS 中的 block 默认保存几份? 答案A默认3分
a)3 份
b)2 份
c)1 份
d)不确定
3. 下列哪个程序通常与 NameNode 在一个节点启动?答案D
a)SecondaryNameNode
b)DataNode
c)TaskTracker
d)Jobtracker
此题分析：
hadoop的集群是基于master/slave模式，namenode和jobtracker属于master，datanode和tasktracker属于slave，master只有一个，而slave有多个SecondaryNameNode内存需求和NameNode在一个数量级上，所以通常secondary NameNode(运行在单独的物理机器上)和NameNode运行在不同的机器上。
JobTracker和TaskTracker
JobTracker 对应于 NameNode
TaskTracker 对应于 DataNode
DataNode 和NameNode 是针对数据存放来而言的
JobTracker和TaskTracker是对于MapReduce执行而言的
mapreduce中几个主要概念，mapreduce整体上可以分为这么几条执行线索：obclient，JobTracker与TaskTracker。
1、JobClient会在用户端通过JobClient类将应用已经配置参数打包成jar文件存储到hdfs，并把路径提交到Jobtracker,然后由JobTracker创建每一个Task(即MapTask和ReduceTask)并将它们分发到各个TaskTracker服务中去执行。
2、JobTracker是一个master服务，软件启动之后JobTracker接收Job，负责调度Job的每一个子任务task运行于TaskTracker上，并监控它们，如果发现有失败的task就重新运行它。一般情况应该把JobTracker部署在单独的机器上。
3、TaskTracker是运行在多个节点上的slaver服务。TaskTracker主动与JobTracker通信，接收作业，并负责直接执行每一个任务。TaskTracker都需要运行在HDFS的DataNode上。
4. Hadoop 作者 答案C Doug cutting
a)Martin Fowler
b)Kent Beck
c)Doug cutting
5. HDFS 默认 Block Size 答案：B
a)32MB
b)64MB
c)128MB
(因为版本更换较快，这里答案只供参考)
6. 下列哪项通常是集群的最主要瓶颈：答案：C磁盘
a)CPU
b)网络
c)磁盘IO
d)内存
该题解析：
首先集群的目的是为了节省成本，用廉价的pc机，取代小型机及大型机。小型机和大型机有什么特点?
1.cpu处理能力强
2.内存够大
所以集群的瓶颈不可能是a和d
3.网络是一种稀缺资源，但是并不是瓶颈。
4.由于大数据面临海量数据，读写数据都需要io，然后还要冗余数据，hadoop一般备3份数据，所以IO就会打折扣。
7. 关于 SecondaryNameNode 哪项是正确的?答案C
a)它是 NameNode 的热备
b)它对内存没有要求
c)它的目的是帮助 NameNode 合并编辑日志，减少 NameNode 启动时间
d)SecondaryNameNode 应与 NameNode 部署到一个节点。
多选题：
8. 下列哪项可以作为集群的管理?答案：ABD
a)Puppet
b)Pdsh
c)Cloudera Manager
d)Zookeeper
9. 配置机架感知的下面哪项正确：答案ABC
a)如果一个机架出问题，不会影响数据读写
b)写入数据的时候会写到不同机架的 DataNode 中
c)MapReduce 会根据机架获取离自己比较近的网络数据
10. Client 端上传文件的时候下列哪项正确?答案B
a)数据经过 NameNode 传递给 DataNode
b)Client 端将文件切分为 Block，依次上传
c)Client 只上传数据到一台 DataNode，然后由 NameNode 负责 Block 复制工作
该题分析：
Client向NameNode发起文件写入的请求。
NameNode根据文件大小和文件块配置情况，返回给Client它所管理部分DataNode的信息。
Client将文件划分为多个Block，根据DataNode的地址信息，按顺序写入到每一个DataNode块中。
11. 下列哪个是 Hadoop 运行的模式：答案ABC
a)单机版
b)伪分布式
c)分布式
12. Cloudera 提供哪几种安装 CDH 的方法?答案：ABCD
a)Cloudera manager
b)Tarball
c)Yum
d)Rpm
判断题：
13. Ganglia 不仅可以进行监控，也可以进行告警。( 正确)
分析：此题的目的是考Ganglia的了解。严格意义上来讲是正确。ganglia作为一款最常用的Linux环境中的监控软件，它擅长的的是从节点中按照用户的需求以较低的代价采集数据。但是ganglia在预警以及发生事件后通知用户上并不擅长。最新的ganglia已经有了部分这方面的功能。但是更擅长做警告的还有Nagios。Nagios，就是一款精于预警、通知的软件。通过将Ganglia和Nagios组合起来，把Ganglia采集的数据作为Nagios的数据源，然后利用Nagios来发送预警通知，可以完美的实现一整套监控管理的系统。
14. Block Size 是不可以修改的。(错误 )
篇3：大数据技术Hadoop笔试题
大数据技术Hadoop笔试题
单项选择题
1. 下面哪个程序负责 HDFS 数据存储。
a)NameNode
b)Jobtracker
c)Datanode
d)secondaryNameNode
e)tasktracker
2. HDfS 中的 block 默认保存几份?
a)3 份
b)2 份
c)1 份
d)不确定
3. 下列哪个程序通常与 NameNode 在一个节点启动?
a)SecondaryNameNode
b)DataNode
c)TaskTracker
d)Jobtracker
4. Hadoop 作者
a)Martin Fowler
b)Kent Beck
c)Doug cutting
5. HDFS 默认 Block Size
a)32MB
b)64MB
c)128MB
6. 下列哪项通常是集群的最主要瓶颈
a)CPU
b)网络
c)磁盘
d)内存
7. 关于 SecondaryNameNode 哪项是正确的?
a)它是 NameNode 的热备
b)它对内存没有要求
c)它的目的是帮助 NameNode 合并编辑日志，减少 NameNode 启动时间
d)SecondaryNameNode 应与 NameNode 部署到一个节点
多选题
8. 下列哪项可以作为集群的管理工具
a)Puppet
b)Pdsh
c)Cloudera Manager
d)d)Zookeeper
9. 配置机架感知的'下面哪项正确
a)如果一个机架出问题，不会影响数据读写
b)写入数据的时候会写到不同机架的 DataNode 中
c)MapReduce 会根据机架获取离自己比较近的网络数据
10. Client 端上传文件的时候下列哪项正确
a)数据经过 NameNode 传递给 DataNode
b)Client 端将文件切分为 Block，依次上传
c)Client 只上传数据到一台 DataNode，然后由 NameNode 负责 Block 复制工作
11. 下列哪个是 Hadoop 运行的模式
a)单机版
b)伪分布式
c)分布式
12. Cloudera 提供哪几种安装 CDH 的方法
a)Cloudera manager
b)Tar ball
c)Yum d)Rpm
判断题
13. Ganglia 不仅可以进行监控，也可以进行告警。( )
14. Block Size 是不可以修改的。( )
15. Nagios 不可以监控 Hadoop 集群，因为它不提供 Hadoop 支持。( )
16. 如果 NameNode 意外终止，SecondaryNameNode 会接替它使集群继续工作。( )
17. Cloudera CDH 是需要付费使用的。( )
18. Hadoop 是 Java 开发的，所以 MapReduce 只支持 Java 语言编写。( )
19. Hadoop 支持数据的随机读写。( )
20. NameNode 负责管理 metadata，client 端每次读写请求，它都会从磁盘中读取或则会写入 metadata 信息并反馈 client 端。( )
21. NameNode 本地磁盘保存了 Block 的位置信息。( )
22. DataNode 通过长连接与 NameNode 保持通信。( )
23. Hadoop 自身具有严格的权限管理和安全措施保障集群正常运行。( )
24. Slave 节点要存储数据，所以它的磁盘越大越好。( )
25. hadoop dfsadmin –report 命令用于检测 HDFS 损坏块。( )
26. Hadoop 默认调度器策略为 FIFO( )
27. 集群内每个节点都应该配 RAID，这样避免单磁盘损坏，影响整个节点运行，
( )
28. 因为 HDFS 有多个副本，所以 NameNode 是不存在单点问题的。( )
29. 每个 map 槽就是一个线程。( )
30. Mapreduce 的 input split 就是一个 block。( )
31. NameNode 的 Web UI 端口是 50030，它通过 jetty 启动的 Web 服务。( )
32. Hadoop 环境变量中的 HADOOP_HEAPSIZE 用于设置所有 Hadoop 守护线程的内存。它默认是 200 GB。( )
33. DataNode 首次加入 cluster 的时候，如果 log 中报告不兼容文件版本，那需要 NameNode执行“Hadoop namenode -format”操作格式化磁盘。( )
别走开，答案在后面哦!
1. 下面哪个程序负责 HDFS 数据存储。答案C datanode
a)NameNode
b)Jobtracker
c)Datanode
d)secondaryNameNode
e)tasktracker
2. HDfS 中的 block 默认保存几份? 答案A默认3分
a)3 份
b)2 份
c)1 份
d)不确定
3. 下列哪个程序通常与 NameNode 在一个节点启动?答案D
a)SecondaryNameNode
b)DataNode
c)TaskTracker
d)Jobtracker
此题分析：
hadoop的集群是基于master/slave模式，namenode和jobtracker属于master，datanode和 tasktracker属于slave，master只有一个，而slave有多个SecondaryNameNode内存需求和NameNode在一个数量级上，所以通常secondary NameNode(运行在单独的物理机器上)和NameNode运行在不同的机器上。
JobTracker和TaskTracker
JobTracker 对应于 NameNode
TaskTracker 对应于 DataNode
DataNode 和NameNode 是针对数据存放来而言的
JobTracker和TaskTracker是对于MapReduce执行而言的
mapreduce中几个主要概念，mapreduce整体上可以分为这么几条执行线索：obclient，JobTracker与TaskTracker。
1、JobClient会在用户端通过JobClient类将应用已经配置参数打包成jar文件存储到hdfs，并把路径提交到Jobtracker, 然后由JobTracker创建每一个Task(即MapTask和ReduceTask)并将它们分发到各个TaskTracker服务中去执行。
2、JobTracker是一个master服务，软件启动之后JobTracker接收Job，负责调度Job的每一个子任务task运行于 TaskTracker上，并监控它们，如果发现有失败的task就重新运行它。一般情况应该把JobTracker部署在单独的机器上。
3、TaskTracker是运行在多个节点上的slaver服务。TaskTracker主动与JobTracker通信，接收作业，并负责直接执行每一个任务。TaskTracker都需要运行在HDFS的DataNode上。
4. Hadoop 作者 答案C Doug cutting
a)Martin Fowler
b)Kent Beck
c)Doug cutting
5. HDFS 默认 Block Size 答案：B
a)32MB
b)64MB
c)128MB
(因为版本更换较快，这里答案只供参考)
6. 下列哪项通常是集群的最主要瓶颈：答案：C磁盘
a)CPU
b)网络
c)磁盘IO
d)内存
该题解析：
首先集群的目的是为了节省成本，用廉价的pc机，取代小型机及大型机。小型机和大型机有什么特点?
1.cpu处理能力强
2.内存够大
所以集群的瓶颈不可能是a和d
3.网络是一种稀缺资源，但是并不是瓶颈。
4.由于大数据面临海量数据，读写数据都需要io，然后还要冗余数据，hadoop一般备3份数据，所以IO就会打折扣。
7. 关于 SecondaryNameNode 哪项是正确的?答案C
a)它是 NameNode 的热备
b)它对内存没有要求
c)它的目的是帮助 NameNode 合并编辑日志，减少 NameNode 启动时间
篇4：大数据技术Hadoop面试题,看看你能答对多少？
c)Yum d)Rpm
答案：
8. 下列哪项可以作为集群的管理?答案：ABD
a)Puppet
b)Pdsh
c)Cloudera Manager
d)Zookeeper
9. 配置机架感知的下面哪项正确：答案ABC
a)如果一个机架出问题，不会影响数据读写
b)写入数据的时候会写到不同机架的 DataNode 中
c)MapReduce 会根据机架获取离自己比较近的网络数据
10. Client 端上传文件的时候下列哪项正确?答案B
a)数据经过 NameNode 传递给 DataNode
b)Client 端将文件切分为 Block，依次上传
c)Client 只上传数据到一台 DataNode，然后由 NameNode 负责 Block 复制工作
该题分析：
Client向NameNode发起文件写入的请求。
NameNode根据文件大小和文件块配置情况，返回给Client它所管理部分DataNode的信息。
Client将文件划分为多个Block，根据DataNode的地址信息，按顺序写入到每一个DataNode块中。
11. 下列哪个是 Hadoop 运行的模式：答案ABC
a)单机版
b)伪分布式
c)分布式
12. Cloudera 提供哪几种安装 CDH 的方法?答案：ABCD
a)Cloudera manager
b)Tarball
c)Yum
d)Rpm
判断题：
13. Ganglia 不仅可以进行监控，也可以进行告警。( )
14. Block Size 是不可以修改的。( )
15. Nagios 不可以监控 Hadoop 集群，因为它不提供 Hadoop 支持。( )
16. 如果 NameNode 意外终止，SecondaryNameNode 会接替它使集群继续工作。( )
17. Cloudera CDH 是需要付费使用的。( )
18. Hadoop 是 Java 开发的，所以 MapReduce 只支持 Java 语言编写。( )
19. Hadoop 支持数据的随机读写。( )
20. NameNode 负责管理 metadata，client 端每次读写请求，它都会从磁盘中读取或则会写入 metadata 信息并反馈 client 端。( )
21. NameNode 本地磁盘保存了 Block 的位置信息。( )
22. DataNode 通过长连接与 NameNode 保持通信。( )
23. Hadoop 自身具有严格的权限管理和安全措施保障集群正常运行。( )
24. Slave 节点要存储数据，所以它的磁盘越大越好。( )
25. hadoop dfsadmin Creport 命令用于检测 HDFS 损坏块。( )
26. Hadoop 默认调度器策略为 FIFO( )
27. 集群内每个节点都应该配 RAID，这样避免单磁盘损坏，影响整个节点运行。( )
28. 因为 HDFS 有多个副本，所以 NameNode 是不存在单点问题的。( )
29. 每个 map 槽就是一个线程。( )
30. Mapreduce 的 input split 就是一个 block。( )
31. NameNode 的 Web UI 端口是 50030，它通过 jetty 启动的 Web 服务。( )
32. Hadoop 环境变量中的 HADOOP_HEAPSIZE 用于设置所有 Hadoop 守护线程的内存。它默认是 200 GB。( )
33. DataNode 首次加入 cluster 的时候，如果 log 中报告不兼容文件版本，那需要 NameNode执行“Hadoop namenode -format”操作格式化磁盘。( )
答案：
13. Ganglia 不仅可以进行监控，也可以进行告警。( 正确)
分析：此题的目的是考Ganglia的了解。严格意义上来讲是正确。ganglia作为一款最常用的Linux环境中的监控软件，它擅长的的是从节点中按照用户的需求以较低的代价采集数据。但是ganglia在预警以及发生事件后通知用户上并不擅长。最新的ganglia已经有了部分这方面的功能。但是更擅长做警告的还有Nagios。Nagios，就是一款精于预警、通知的软件。通过将Ganglia和Nagios组合起来，把Ganglia采集的数据作为Nagios的数据源，然后利用Nagios来发送预警通知，可以完美的实现一整套监控管理的系统。
14. Block Size 是不可以修改的。(错误 )
分析：它是可以被修改的Hadoop的基础配置文件是hadoop-default.xml，默认建立一个Job的时候会建立Job的Config，Config首先读入hadoop-default.xml的配置，然后再读入hadoop-site.xml的配置(这个文件初始的时候配置为空)，hadoop-site.xml中主要配置需要覆盖的hadoop-default.xml的系统级配置。
15. Nagios 不可以监控 Hadoop 集群，因为它不提供 Hadoop 支持。(错误 )
分析：Nagios是集群监控工具，而且是云计算三大利器之一
16. 如果 NameNode 意外终止，SecondaryNameNode 会接替它使集群继续工作。(错误 )
分析：SecondaryNameNode是帮助恢复，而不是替代，如何恢复，可以查看
17. Cloudera CDH 是需要付费使用的。(错误 )
分析：第一套付费产品是Cloudera Enterpris，Cloudera Enterprise在美国加州举行的 Hadoop 大会 (Hadoop Summit) 上公开，以若干私有管理、监控、运作工具加强 Hadoop 的功能。收费采取合约订购方式，价格随用的 Hadoop 布大小变动。
18. Hadoop 是 Java 开发的，所以 MapReduce 只支持 Java 语言编写。(错误 )
分析：rhadoop是用R语言开发的，MapReduce是一个框架，可以理解是一种思想，可以使用其他语言开发。
19. Hadoop 支持数据的随机读写。(错 )
分析：lucene是支持随机读写的，而hdfs只支持随机读。但是HBase可以来补救。HBase提供随机读写，来解决Hadoop不能处理的问题。HBase自底层设计开始即聚焦于各种可伸缩性问题：表可以很“高”，有数十亿个数据行;也可以很“宽”，有数百万个列;水平分区并在上千个普通商用机节点上自动复制。表的模式是物理存储的直接反映，使系统有可能提高高效的数据结构的序列化、存储和检索。
篇5：大数据技术Hadoop面试题,看看你能答对多少？
单项选择题
1. 下面哪个程序负责 HDFS 数据存储。
a)NameNode
b)Jobtracker
c)Datanode
d)secondaryNameNode
e)tasktracker
2. HDfS 中的 block 默认保存几份?
a)3 份
b)2 份
c)1 份
d)不确定
3. 下列哪个程序通常与 NameNode 在一个节点启动?
a)SecondaryNameNode
b)DataNode
c)TaskTracker
d)Jobtracker
4. hadoop 作者
a)Martin Fowler
b)Kent Beck
c)Doug cutting
5. HDFS 默认 Block Size
a)32MB
b)64MB
c)128MB
6. 下列哪项通常是集群的最主要瓶颈
a)CPU
b)网络
c)磁盘
d)内存
7. 关于 SecondaryNameNode 哪项是正确的?
a)它是 NameNode 的热备
b)它对内存没有要求
c)它的目的是帮助 NameNode 合并编辑日志，减少 NameNode 启动时间
d)SecondaryNameNode 应与 NameNode 部署到一个节点
答案：
1. 下面哪个程序负责 HDFS 数据存储。答案C datanode
a)NameNode
b)Jobtracker
c)Datanode
d)secondaryNameNode
e)tasktracker
2. HDfS 中的 block 默认保存几份? 答案A默认3分
a)3 份
b)2 份
c)1 份
d)不确定
3. 下列哪个程序通常与 NameNode 在一个节点启动?答案D Jobtracker
a)SecondaryNameNode
b)DataNode
c)TaskTracker
d)Jobtracker
此题分析：
hadoop的集群是基于master/slave模式，namenode和jobtracker属于master，datanode和tasktracker属于slave，master只有一个，而slave有多个SecondaryNameNode内存需求和NameNode在一个数量级上，所以通常secondary NameNode(运行在单独的物理机器上)和NameNode运行在不同的机器上。
JobTracker和TaskTracker
JobTracker 对应于 NameNode
TaskTracker 对应于 DataNode
DataNode 和NameNode 是针对数据存放来而言的
JobTracker和TaskTracker是对于MapReduce执行而言的
mapreduce中几个主要概念，mapreduce整体上可以分为这么几条执行线索：obclient，JobTracker与TaskTracker。
1、JobClient会在用户端通过JobClient类将应用已经配置参数打包成jar文件存储到hdfs，并把路径提交到Jobtracker,然后由JobTracker创建每一个Task(即MapTask和ReduceTask)并将它们分发到各个TaskTracker服务中去执行。
2、JobTracker是一个master服务，软件启动之后JobTracker接收Job，负责调度Job的每一个子任务task运行于TaskTracker上，并监控它们，如果发现有失败的task就重新运行它。一般情况应该把JobTracker部署在单独的机器上。
3、TaskTracker是运行在多个节点上的slaver服务。TaskTracker主动与JobTracker通信，接收作业，并负责直接执行每一个任务。TaskTracker都需要运行在HDFS的DataNode上。
4. Hadoop 作者 答案C Doug cutting
a)Martin Fowler
b)Kent Beck
c)Doug cutting
5. HDFS 默认 Block Size 答案：B 64MB
a)32MB
b)64MB
c)128MB
(因为版本更换较快，这里答案只供参考)
6. 下列哪项通常是集群的最主要瓶颈：答案：C磁盘
a)CPU
b)网络
c)磁盘IO
d)内存
该题解析：
首先集群的目的是为了节省成本，用廉价的pc机，取代小型机及大型机。小型机和大型机有什么特点?
1.cpu处理能力强
2.内存够大
所以集群的瓶颈不可能是a和d
3.网络是一种稀缺资源，但是并不是瓶颈。
4.由于大数据面临海量数据，读写数据都需要io，然后还要冗余数据，hadoop一般备3份数据，所以IO就会打折扣。
7. 关于 SecondaryNameNode 哪项是正确的?答案C 它对内存没有要求
a)它是 NameNode 的热备
b)它对内存没有要求
c)它的目的是帮助 NameNode 合并编辑日志，减少 NameNode 启动时间
d)SecondaryNameNode 应与 NameNode 部署到一个节点。
多选题：
8. 下列哪项可以作为集群的管理工具
a)Puppet
b)Pdsh
c)Cloudera Manager
d)d)Zookeeper
9. 配置机架感知的下面哪项正确
a)如果一个机架出问题，不会影响数据读写
b)写入数据的时候会写到不同机架的 DataNode 中
c)MapReduce 会根据机架获取离自己比较近的网络数据
10. Client 端上传文件的时候下列哪项正确
a)数据经过 NameNode 传递给 DataNode
b)Client 端将文件切分为 Block，依次上传
c)Client 只上传数据到一台 DataNode，然后由 NameNode 负责 Block 复制工作
11. 下列哪个是 Hadoop 运行的模式
a)单机版
b)伪分布式
c)分布式
12. Cloudera 提供哪几种安装 CDH 的方法
a)Cloudera manager
b)Tar ball
篇6：大数据技术Hadoop面试题,看看你能答对多少？
20. NameNode 负责管理 metadata，client 端每次读写请求，它都会从磁盘中读取或则会写入 metadata 信息并反馈 client 端。(错误)
此题分析：
NameNode 不需要从磁盘读取 metadata，所有数据都在内存中，硬盘上的只是序列化的结果，只有每次 namenode 启动的时候才会读取。
1)文件写入
Client向NameNode发起文件写入的请求。
NameNode根据文件大小和文件块配置情况，返回给Client它所管理部分DataNode的信息。
Client将文件划分为多个Block，根据DataNode的地址信息，按顺序写入到每一个DataNode块中。
2)文件读取
Client向NameNode发起文件读取的请求。
21. NameNode 本地磁盘保存了 Block 的位置信息。( 个人认为正确，欢迎提出其它意见)
分析：DataNode是文件存储的基本单元，它将Block存储在本地文件系统中，保存了Block的Meta-data，同时周期性地将所有存在的Block信息发送给NameNode。NameNode返回文件存储的DataNode的信息。
Client读取文件信息。
22. DataNode 通过长连接与 NameNode 保持通信。( )
这个有分歧：具体正在找这方面的有利资料。下面提供资料可参考。
首先明确一下概念：
(1).长连接
Client方与Server方先建立通讯连接，连接建立后不断开，然后再进行报文发送和接收。这种方式下由于通讯连接一直存在，此种方式常用于点对点通讯。
(2).短连接
Client方与Server每进行一次报文收发交易时才进行通讯连接，交易完毕后立即断开连接。此种方式常用于一点对多点通讯，比如多个Client连接一个Server.
23. Hadoop 自身具有严格的权限管理和安全措施保障集群正常运行。(错误 )
hadoop只能阻止好人犯错，但是不能阻止坏人干坏事
24. Slave 节点要存储数据，所以它的磁盘越大越好。( 错误)
分析：一旦Slave节点宕机，数据恢复是一个难题
25. hadoop dfsadmin Creport 命令用于检测 HDFS 损坏块。(错误 )
26. Hadoop 默认调度器策略为 FIFO(正确 )
27. 集群内每个节点都应该配 RAID，这样避免单磁盘损坏，影响整个节点运行。(错误 )
分析：首先明白什么是RAID，可以参考百科磁盘阵列。这句话错误的地方在于太绝对，具体情况具体分析。题目不是重点，知识才是最重要的。因为hadoop本身就具有冗余能力，所以如果不是很严格不需要都配备RAID。具体参考第二题。
28. 因为 HDFS 有多个副本，所以 NameNode 是不存在单点问题的。(错误 )
29. 每个 map 槽就是一个线程。(错误 )
分析：首先我们知道什么是map 槽,map 槽->map slotmap slot 只是一个逻辑值 ( org.apache.hadoop.mapred.TaskTracker.TaskLauncher.numFreeSlots )，而不是对应着一个线程或者进程
30. Mapreduce 的 input split 就是一个 block。(错误 )
31. NameNode 的 Web UI 端口是 50030，它通过 jetty 启动的 Web 服务。(错误 )
32. Hadoop 环境变量中的 HADOOP_HEAPSIZE 用于设置所有 Hadoop 守护线程的内存。它默认是 200 GB。( 错误)
hadoop为各个守护进程(namenode,secondarynamenode,jobtracker,datanode,tasktracker)统一分配的内存在hadoop-env.sh中设置，参数为HADOOP_HEAPSIZE，默认为1000M。
33. DataNode 首次加入 cluster 的时候，如果 log 中报告不兼容文件版本，那需要 NameNode执行“Hadoop namenode -format”操作格式化磁盘。(错误 )
分析：
首先明白介绍，什么ClusterID
ClusterID
添加了一个新的标识符ClusterID用于标识集群中所有的节点。当格式化一个Namenode，需要提供这个标识符或者自动生成。这个ID可以被用来格式化加入集群的其他Namenode。
二次整理
有的同学问题的重点不是上面分析内容：内容如下：
这个报错是说明 DataNode 所装的Hadoop版本和其它节点不一致，应该检查DataNode的Hadoop版本
篇8：hadoop面试题总结1
1. 下面哪个程序负责 HDFS 数据存储。
a)NameNode b)Jobtracker c)Datanode d)secondaryNameNode e)tasktracker
答案C datanode
2. HDfS 中的 block 默认保存几份?
a)3 份 b)2 份c)1 份d)不确定
答案A默认3分
3. 下列哪个程序通常与 NameNode 在一个节点启动?
a)SecondaryNameNode b)DataNode c)TaskTracker d)Jobtracker
答案D
分析：
hadoop的集群是基于master/slave模式，namenode和jobtracker属于master，datanode和tasktracker属于slave，master只有一个，而slave有多个
SecondaryNameNode内存需求和NameNode在一个数量级上，所以通常secondary NameNode(运行在单独的物理机器上)NameNode运行在不同的机器上。
JobTracker和TaskTracker
JobTracker 对应于 NameNode
TaskTracker 对应于 DataNode
DataNode 和NameNode 是针对数据存放来而言的JobTracker和TaskTracker是对于MapReduce执行而言的mapreduce中几个主要概念，mapreduce整体上可以分为这么几条执行线索：jobclient，JobTracker与TaskTracker。
1、JobClient会在用户端通过JobClient类将应用已经配置参数打包成jar文件存储到hdfs，
并把路径提交到Jobtracker,然后由JobTracker创建每一个Task(即MapTask和ReduceTask)
并将它们分发到各个TaskTracker服务中去执行
2、JobTracker是一个master服务，软件启动之后JobTracker接收Job，负责调度Job的每一个子任务task运行于TaskTracker上，
并监控它们，如果发现有失败的task就重新运行它。一般情况应该把JobTracker部署在单独的机器上。
3、TaskTracker是运行在多个节点上的slaver服务。TaskTracker主动与JobTracker通信，接收作业，并负责直接执行每一个任务。
TaskTracker都需要运行在HDFS的DataNode上
4. Hadoop 作者
a)Martin Fowler b)Kent Beck c)Doug cutting
答案C Doug cutting
5. HDFS 默认 Block Size
a)32MB b)64MB c)128MB
答案：B
(因为版本更换较快，这里答案只供参考)
6. 下列哪项通常是集群的最主要瓶颈
a)CPU b)网络 c)磁盘IO d)内存
答案：C磁盘
首先集群的目的是为了节省成本，用廉价的pc机，取代小型机及大型机。小型机和大型机有什么特点?
1.cpu处理能力强
2.内存够大
所以集群的瓶颈不可能是a和d
3.网络是一种稀缺资源，但是并不是瓶颈。
4.由于大数据面临海量数据，读写数据都需要io，然后还要冗余数据，hadoop一般备3份数据，所以IO就会打折扣。
同样可以参考下面内容(磁盘IO：磁盘输出输出)
对于磁盘IO：当我们面临集群作战的时候，我们所希望的是即读即得。可是面对大数据，读取数据需要经过IO，这里可以把IO理解为水的管道。管道越大越强，我们对于T级的数据读取就越快。所以IO的好坏，直接影响了集群对于数据的处理。
集群瓶颈：磁盘IO必读
集群瓶颈为什么磁盘io
7. 关于 SecondaryNameNode 哪项是正确的?
a)它是 NameNode 的热备 b)它对内存没有要求
c)它的目的是帮助 NameNode 合并编辑日志，减少 NameNode 启动时间
d)SecondaryNameNode 应与 NameNode 部署到一个节点
答案C。
D答案可以参考第三题
多选题：
8. 下列哪项可以作为集群的管理?
a)Puppet b)Pdsh c)Cloudera Manager d)Zookeeper
答案1：ABD
具体可查看
什么是Zookeeper，Zookeeper的作用是什么，在Hadoop及hbase中具体作用是什么
二次整理
修改后答案：ABC
分析：
A：puppetpuppet是一种Linux、Unix、windows平台的集中配置管理系统
B：pdsh可以实现在在多台机器上执行相同的命令
详细参考：集群管理小工具介绍-pdsh
C：可以参考Cloudera Manager四大功能【翻译】
首先这里给管理下一个定义：部署、配置、调试、监控，属于管理
因为zookeeper不满足上面要求，所以不纳入管理范围。
9. 配置机架感知的下面哪项正确
a)如果一个机架出问题，不会影响数据读写
b)写入数据的时候会写到不同机架的 DataNode 中
c)MapReduce 会根据机架获取离自己比较近的网络数据
答案ABC
具体可以参考
hadoop机架感知--加强集群稳固性，该如何配置hadoop机架感知
10. Client 端上传文件的时候下列哪项正确
a)数据经过 NameNode 传递给 DataNode
b)Client 端将文件切分为 Block，依次上传
c)Client 只上传数据到一台 DataNode，然后由 NameNode 负责 Block 复制工作
答案B
分析：
Client向NameNode发起文件写入的请求。
NameNode根据文件大小和文件块配置情况，返回给Client它所管理部分DataNode的信息。
Client将文件划分为多个Block，根据DataNode的地址信息，按顺序写入到每一个DataNode块中。
具体查看
HDFS体系结构简介及优缺点
11. 下列哪个是 Hadoop 运行的模式
a)单机版 b)伪分布式 c)分布式
答案ABC
12. Cloudera 提供哪几种安装 CDH 的方法
a)Cloudera manager b)Tarball c)Yum d)Rpm
答案：ABCD具体可以参考
Hadoop CDH四种安装方式总结及实例指导
判断题：
13. Ganglia 不仅可以进行监控，也可以进行告警。( 正确)
分析：
此题的目的是考Ganglia的了解。严格意义上来讲是正确。
ganglia作为一款最常用的Linux环境中的监控软件，它擅长的的是从节点中按照用户的需求以较低的代价采集数据。但是ganglia在预警以及发生事件后通知用户上并不擅长。最新的ganglia已经有了部分这方面的功能。但是更擅长做警告的还有Nagios。Nagios，就是一款精于预警、通知的软件。通过将Ganglia和Nagios组合起来，把Ganglia采集的数据作为Nagios的数据源，然后利用Nagios来发送预警通知，可以完美的实现一整套监控管理的系统。
具体可以查看完美集群监控组合ganglia和nagios
14. Block Size 是不可以修改的。(错误 )
它是可以被修改的
Hadoop的基础配置文件是hadoop-default.xml，默认建立一个Job的时候会建立Job的Config，Config首先读入hadoop-default.xml的配置，然后再读入hadoop-site.xml的配置(这个文件初始的时候配置为空)，hadoop-site.xml中主要配置需要覆盖的hadoop-default.xml的系统级配置。具体配置可以参考下
dfs.block.size//block的大小，单位字节，后面会提到用处，必须是512的倍数，因为采用crc作文件完整性校验，默认配置512是checksum的最小单元。
5120000
The default block size for new files.
15. Nagios 不可以监控 Hadoop 集群，因为它不提供 Hadoop 支持。(错误 )
分析：
Nagios是集群监控工具，而且是云计算三大利器之一
16. 如果 NameNode 意外终止，SecondaryNameNode 会接替它使集群继续工作。(错误 )
分析：
SecondaryNameNode是帮助恢复，而不是替代，如何恢复，可以查看
hadoop 根据SecondaryNameNode恢复Namenode
17. Cloudera CDH 是需要付费使用的。(错误 )
分析：
第一套付费产品是Cloudera Enterpris，Cloudera Enterprise在美国加州举行的 Hadoop 大会 (Hadoop Summit) 上公开，以若干私有管理、监控、运作工具加强 Hadoop 的功能。收费采取合约订购方式，价格随用的 Hadoop 布大小变动。
18. Hadoop 是 Java 开发的，所以 MapReduce 只支持 Java 语言编写。(错误 )
分析：
rhadoop是用R语言开发的，MapReduce是一个框架，可以理解是一种思想，可以使用其他语言开发。
具体可以查看
Hadoop简介(1):什么是Map/Reduce
19. Hadoop 支持数据的随机读写。(错 )
分析：
lucene是支持随机读写的，而hdfs只支持随机读。但是HBase可以来补救。
HBase提供随机读写，来解决Hadoop不能处理的问题。HBase自底层设计开始即聚焦于各种可伸缩性问题：表可以很“高”，有数十亿个数据行;也可以很“宽”，有数百万个列;水平分区并在上千个普通商用机节点上自动复制。表的模式是物理存储的直接反映，使系统有可能提高高效的数据结构的序列化、存储和检索。
20. NameNode 负责管理 metadata，client 端每次读写请求，它都会从磁盘中读取或则会写入 metadata 信息并反馈 client 端。(错误)
修改后分析：
分析：
NameNode 不需要从磁盘读取 metadata，所有数据都在内存中，硬盘上的只是序列化的结果，只有每次 namenode 启动的时候才会读取。
1)文件写入
Client向NameNode发起文件写入的请求。
NameNode根据文件大小和文件块配置情况，返回给Client它所管理部分DataNode的信息。
Client将文件划分为多个Block，根据DataNode的地址信息，按顺序写入到每一个DataNode块中。
2)文件读取
Client向NameNode发起文件读取的请求。
NameNode返回文件存储的DataNode的信息。
Client读取文件信息。
具体查看
hadoop中NameNode、DataNode和Client三者之间协作关系
21. NameNode 本地磁盘保存了 Block 的位置信息。( 个人认为正确，欢迎提出其它意见)
分析：
DataNode是文件存储的基本单元，它将Block存储在本地文件系统中，保存了Block的Meta-data，同时周期性地将所有存在的Block信息发送给NameNode。
具体同样查看
hadoop中NameNode、DataNode和Client三者之间协作关系
22. DataNode 通过长连接与 NameNode 保持通信。( )
这个有分歧：具体正在找这方面的有利资料。下面提供资料可参考。
首先明确一下概念：
(1).长连接
Client方与Server方先建立通讯连接，连接建立后不断开，然后再进行报文发送和接收。这种方式下由于通讯连接一直存在，此种方式常用于点对点通讯。
(2).短连接
Client方与Server每进行一次报文收发交易时才进行通讯连接，交易完毕后立即断开连接。此种方式常用于一点对多点通讯，比如多个Client连接一个Server.
23. Hadoop 自身具有严格的权限管理和安全措施保障集群正常运行。(错误 )hadoop只能阻止好人犯错，但是不能阻止坏人干坏事
具体可查看
hadoop安全性需不断加强
24. Slave 节点要存储数据，所以它的磁盘越大越好。( 错误)
分析：
一旦Slave节点宕机，数据恢复是一个难题
25. hadoop dfsadmin Creport 命令用于检测 HDFS 损坏块。(错误 )
分析：
hadoop dfsadmin -report
用这个命令可以快速定位出哪些节点down掉了，HDFS的容量以及使用了多少，以及每个节点的硬盘使用情况。
当然NameNode有个http页面也可以查询，但是这个命令的输出更适合我们的脚本监控dfs的使用状况
Configured Capacity: 77209395855360 (70.22 TB)
Present Capacity: 76079914600683 (69.19 TB)
DFS Remaining: 60534707015680 (55.06 TB)
DFS Used: 15545207585003 (14.14 TB)
DFS Used%: 20.43%
-------------------------------------------------
Datanodes available: 107 (109 total, 2 dead)
Name: 172.16.218.232:50010
Rack: /lg/dminterface0
Decommission Status : Normal
Configured Capacity: 1259272216576 (1.15 TB)
DFS Used: 185585852416 (172.84 GB)
Non DFS Used: 39060951040 (36.38 GB)
DFS Remaining: 1034625413120(963.57 GB)
DFS Used%: 14.74%
DFS Remaining%: 82.16%
Last contact: Wed Nov 18 10:19:44 CST 2009
Name: 172.16.216.126:50010
Rack: /lg/dminterface2
Decommission Status : Normal
Configured Capacity: 661261402112 (615.85 GB)
DFS Used: 123147280384 (114.69 GB)
Non DFS Used: 8803852288 (8.2 GB)
DFS Remaining: 529310269440(492.96 GB)
DFS Used%: 18.62%
DFS Remaining%: 80.05%
Last contact: Wed Nov 18 10:19:46 CST 2009
26. Hadoop 默认调度器策略为 FIFO(正确 )
具体参考
Hadoop集群三种作业调度算法介绍
27. 集群内每个节点都应该配 RAID，这样避免单磁盘损坏，影响整个节点运行。(错误 )
分析：
首先明白什么是RAID，可以参考百科磁盘阵列。
这句话错误的地方在于太绝对，具体情况具体分析。题目不是重点，知识才是最重要的。
因为hadoop本身就具有冗余能力，所以如果不是很严格不需要都配备RAID。具体参考第二题。
28. 因为 HDFS 有多个副本，所以 NameNode 是不存在单点问题的。(错误 )
分析：
NameNode存在单点问题。了解详细信息，可以参考
Hadoop中Namenode单点故障的解决方案及详细介绍AvatarNode
29. 每个 map 槽就是一个线程。(错误 )
分析：首先我们知道什么是map 槽,map 槽->map slot
map slot 只是一个逻辑值 ( org.apache.hadoop.mapred.TaskTracker.TaskLauncher.numFreeSlots )，而不是对应着一个线程或者进程
具体见：
hadoop中槽-slot是线程还是进程讨论
30. Mapreduce 的 input split 就是一个 block。(错误 )
InputFormat的数据划分、Split调度、数据读取三个问题的浅析
31. NameNode 的 Web UI 端口是 50030，它通过 jetty 启动的 Web 服务。(错误 )
分析：
根据下面，很显然JOBTRACKER的 Web UI 端口是 50030
端口说明：
默认端口 设置位置
9000 namenode
8020 namenode
8021 JT RPC
50030 mapred.job.tracker.http.address JobTracker administrative web GUI
50070 dfs.http.address NameNode administrative web GUI
50010 dfs.datanode.address DataNode control port
50020 dfs.datanode.ipc.address DataNode IPC port, used for block transfer
50060 mapred.task.tracker.http.address Per TaskTracker web interface
50075 dfs.datanode.http.address Per DataNode web interface
50090 dfs.secondary.http.address Per secondary NameNode web interface
设置位置 描述信息
namenode 交互端口
namenode RPC交互端口
JT RPC 交互端口
mapred.job.tracker.http.address JobTracker administrative web GUI JOBTRACKER的HTTP服务器和端口
dfs.http.address NameNode administrative web GUI NAMENODE的HTTP服务器和端口
dfs.datanode.address DataNode control port DATANODE控制端口，主要用于DATANODE初始化时向NAMENODE提出注册和应答请求
dfs.datanode.ipc.address DataNode IPC port, used for block transfer DATANODE的RPC服务器地址和端口
mapred.task.tracker.http.address Per TaskTracker web interface TASKTRACKER的HTTP服务器和端口
dfs.datanode.http.address Per DataNode web interface DATANODE的HTTP服务器和端口
dfs.secondary.http.address Per secondary NameNode web interface 辅助DATANODE的HTTP服务器和端口
32. Hadoop 环境变量中的 HADOOP_HEAPSIZE 用于设置所有 Hadoop 守护线程的内存。它默
认是 200 GB。( 错误)
hadoop为各个守护进程(namenode,secondarynamenode,jobtracker,datanode,tasktracker)统一分配的内存在hadoop-env.sh中设置，参数为HADOOP_HEAPSIZE，默认为1000M。
具体参考hadoop集群内存设置
33. DataNode 首次加入 cluster 的时候，如果 log 中报告不兼容文件版本，那需要 NameNode
执行“Hadoop namenode -format”操作格式化磁盘。(错误 )
分析：
首先明白介绍，什么ClusterID
ClusterID
添加了一个新的标识符ClusterID用于标识集群中所有的节点。当格式化一个Namenode，需要提供这个标识符或者自动生成。这个ID可以被用来格式化加入集群的其他Namenode。
二次整理
有的同学问题的重点不是上面分析内容：内容如下：
这个报错是说明 DataNode 所装的Hadoop版本和其它节点不一致，应该检查DataNode的Hadoop版本
详细内容可参考
hadoop集群添加namenode的步骤及常识
以上答案通过多个资料验证，对于资料不充分的内容，都标有”个人观点“，给出本测试题抱着谨慎的态度，希望大家多批评指正。
上面只是选择与判断，可以看另外一套实战面试实战面试题
[hadoop面试题总结1]
篇9：Hadoop和数据库数据迁移工具 Sqoop
Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中，
Hadoop和数据库数据迁移工具 Sqoop
，
项目主页：www.open-open.com/lib/view/home/1339248411834
篇10：大数据专业学什么技术
大数据就业方向：
大学新专业“数据科学与大数据技术”因市场需求应运而生，快速发展的互联网行业催生了大学里的大数据专业。
目前，大数据主要的.三大就业方向：大数据系统研发类人才、大数据应用开发类人才和大数据分析类人才。从企业发布的岗位来看，与之相关的包括大数据架构开发、大数据开发工程师、大数据风控建模工程师、大数据咨询师、大数据研发工程师、Risk-风控模型分析师、大数据运维工程师、大数据平台架构师、Risk-反欺诈数据分析师、Risk-风控数据管理分析师、Risk-风控审批与政策分析师、JAVA/大数据工程师这些岗位。
篇11：数据加密技术
数据加密技术
数据加密技术发布时间： 2003-11-3 作者：秩名
我们经常需要一种措施来保护我们的数据，防止被一些怀有不良用心的人所看到或者破坏。在信息时代，信息可以帮助团体或个人，使他们受益，同样，信息也可以用来对他们构成威胁，造成破坏。在竞争激烈的大公司中，工业间谍经常会获取对方的情报。因此，在客观上就需要一种强有力的安全措施来保护机密数据不被窃取或篡改。数据加密与解密从宏观上讲是非常简单的，很容易理解。加密与解密的一些方法是非常直接的，很容易掌握，可以很方便的对机密数据进行加密和解密。
一：数据加密方法
在传统上，我们有几种方法来加密数据流。所有这些方法都可以用软件很容易的实现，但是当我们只知道密文的时候，是不容易破译这些加密算法的（当同时有原文和密文时，破译加密算法虽然也不是很容易，但已经是可能的了）。最好的加密算法对系统性能几乎没有影响，并且还可以带来其他内在的优点。例如，大家都知道的pkzip，它既压缩数据又加密数据。又如，dbms的一些软件包总是包含一些加密方法以使复制文件这一功能对一些敏感数据是无效的，或者需要用户的密码。所有这些加密算法都要有高效的加密和解密能力。
幸运的是，在所有的加密算法中最简单的一种就是“置换表”算法，这种算法也能很好达到加密的需要。每一个数据段（总是一个字节）对应着“置换表”中的一个偏移量，偏移量所对应的值就输出成为加密后的文件。加密程序和解密程序都需要一个这样的“置换表”。事实上，80x86 cpu系列就有一个指令‘xlat’在硬件级来完成这样的工作。这种加密算法比较简单，加密解密速度都很快，但是一旦这个“置换表”被对方获得，那这个加密方案就完全被识破了。更进一步讲，这种加密算法对于黑客破译来讲是相当直接的，只要找到一个“置换表”就可以了。这种方法在计算机出现之前就已经被广泛的使用。
对这种“置换表”方式的一个改进就是使用2个或者更多的“置换表”，这些表都是基于数据流中字节的位置的，或者基于数据流本身。这时，破译变的更加困难，因为黑客必须正确的做几次变换。通过使用更多的“置换表”，并且按伪随机的方式使用每个表，这种改进的加密方法已经变的很难破译。比如，我们可以对所有的偶数位置的数据使用a表，对所有的奇数位置使用b表，即使黑客获得了明文和密文，他想破译这个加密方案也是非常困难的，除非黑客确切的知道用了两张表。
与使用“置换表”相类似，“变换数据位置”也在计算机加密中使用。但是，这需要更多的执行时间。从输入中读入明文放到一个buffer中，再在buffer中对他们重排序，然后按这个顺序再输出。解密程序按相反的顺序还原数据。这种方法总是和一些别的加密算法混合使用，这就使得破译变的'特别的困难，几乎有些不可能了。例如，有这样一个词，变换起字母的顺序，slient 可以变为listen，但所有的字母都没有变化，没有增加也没有减少，但是字母之间的顺序已经变化了。
但是，还有一种更好的加密算法，只有计算机可以做，就是字/字节循环移位和xor操作。如果我们把一个字或字节在一个数据流内做循环移位，使用多个或变化的方向（左移或右移），就可以迅速的产生一个加密的数据流。这种方法是很好的，破译它就更加困难！而且，更进一步的是，如果再使用xor操作，按位做异或操作，就就使破译密码更加困难了。如果再使用伪随机的方法，这涉及到要产生一系列的数字，我们可以使用fibbonaci数列。对数列所产生的数做模运算（例如模3），得到一个结果，然后循环移位这个结果的次数，将使破译次密码变的几乎不可能！但是，使用fibbonaci数列这种伪随机的方式所产生的密码对我们的解密程序来讲是非常容易的。
在一些情况下，我们想能够知道数据是否已经被篡改了或被破坏了，这时就需要产生一些校验码，并且把这些校验码插入到数据流中。这样做对数据的防伪与程序本身都是有好处的。但是感染计算机程序的病毒才不会在意这些数据或程序是否加过密，是否有数字签名。所以，加密程序在每次load到内存要开始执行时，都要检查一下本身是否被病毒感染，对与需要加、解密的文件都要做这种检查！很自然，这样一种方法体制应该保密的，因为病毒程序的编写者将会利用这些来破坏别人的程序或数据。因此，在一些反病毒或杀病毒软件中一定要使用加密技术。
循环冗余校验是一种典型的校验数据的方法。对于每一个数据块，它使用位循环移位和xor操作来产生一个16位或32位的校验和 ，这使得丢失一位或两个位的错误一定会导致校验和出错。这种方式很久以来就应用于文件的传输，例如 xmodem-crc。 这是方法已经成为标准，而且有详细的文档。但是，基于标准crc算法的一种修改算法对于发现加密数据块中的错误和文件是否被病毒感染是很有效的。
二．基于公钥的加密算法
一个好的加密算法的重要特点之一是具有这种能力：可以指定一个密码或密钥，并用它来加密明文，不同的密码或密钥产生不同的密文。这又分为两种方式：对称密钥算法和非对称密钥算法。所谓对称密钥算法就是加密解密都使用相同的密钥，非对称密钥算法就是加密解密使用不同的密钥。非常著名的pgp公钥加密以及rsa加密方法都是非对称加密算法。加密密钥，即公钥，与解密密钥，即私钥，是非常的不同的。从数学理论上讲，几乎没有真正不可逆的算法存在。例如，对于一个输入‘a’执行一个操作得到结果‘b’,那么我们可以基于‘b’，做一个相对应的操作，导出输入
‘a’。在一些情况下，对于每一种操作，我们可以得到一个确定的值，或者该操作没有定义（比如，除数为0）。对于一个没有定义的操作来讲，基于加密算法，可以成功地防止把一个公钥变换成为私钥。因此，要想破译非对称加密算法，找到那个唯一的密钥，唯一的方法只能是反复的试验，而这需要大量的处理时间。
rsa加密算法使用了两个非常大的素数来产生公钥和私钥。即使从一个公钥中通过因数分解可以得到私钥，但这个运算所包含的计算量是非常巨大的，以至于在现实上是不可行的。加密算法本身也是很慢的，这使得使用rsa算法加密大量的数据变的有些不可行。这就使得一些现实中加密算法都基于rsa加密算法。pgp算法(以及大多数基于rsa算法的加密方法)使用公钥来加密一个对称加密算法的密钥，然后再利用一个快速的对称加密算法来加密数据。这个对称算法的密钥是随机产生的，是保密的，因此，得到这个密钥的唯一方法就是使用私钥来解密。
我们举一个例子：假定现在要加密一些数据使用密钥‘12345’。利用rsa公钥，使用rsa算法加密这个密钥‘12345’，并把它放在要加密的数据的前面（可能后面跟着一个分割符或文件长度，以区分数据和密钥），然后，使用对称加密算法加密正文，使用的密钥就是‘12345’。当对方收到时，解密程序找到加密过的密钥，并利用rsa私钥解密出来，然后再确定出数据的开始位置，利用密钥‘12345’来解密数据。这样就使得一个可靠的经过高效加密的数据安全地传输和解密。
一些简单的基于rsa算法的加密算法可在下面的站点找到：
ftp://ftp.funet.fi/pub/crypt/cryptography/asymmetric/rsa
三．一个崭新的多步加密算法
现在又出现了一种新的加密算法，据说是几乎不可能被破译的。这个算法在6月1日才正式公布的。下面详细的介绍这个算法:
使用一系列的数字（比如说128位密钥），来产生一个可重复的但高度随机化的伪随机的数字的序列。一次使用256个表项，使用随机数序列来产生密码转表，如下所示：
把256个随机数放在一个距阵中，然后对他们进行排序，使用这样一种方式（我们要记住最初的位置）使用最初的位置来产生一个表，随意排序的表，表中的数字在0到255之间。如果不是很明白如何来做，就可以不管它。但是，下面也提供了一些原码（在下面）是我们明白是如何来做的。现在，产生了一个具体的256字节的表。让这个随机数产生器接着来产生这个表中的其余的数，以至于每个表是不同的。下一步，使用“shotgun technique”技术来产生解码表。基本上说，如果 a映射到b，那么b一定可以映射到a，所以b[a[n]] = n.（n是一个在0到255之间的数）。在一个循环中赋值，使用一个256字节的解码表它对应于我们刚才在上一步产生的256字节的加密表。
使用这个方法，已经可以产生这样的一个表，表的顺序是随机，所以产生这256个字节的随机数使用的是二次伪随机,使用了两个额外的16位的密码.现在，已经有了两张转换表，基本的加密解密是如下这样工作的。前一个字节密文是这个256字节的表的索引。或者，为了提高加密效果，可以使用多余8位的值，甚至使用校验和或者crc算法来产生索引字节。假定这个表是256*256的数组,将会是下面的样子:
crypto1 = a[crypto0][value]
变量'crypto1'是加密后的数据，'crypto0'是前一个加密数据（或着是前面几个加密数据的一个函数值）。很自然的，第一个数据需要一个“种子”，这个“种子” 是我们必须记住的。如果使用256*256的表，这样做将会增加密文的长度。或者，可以使用你产生出随机数序列所用的密码，也可能是它的crc校验和。顺便提及的是曾作过这样一个测试: 使用16个字节来产生表的索引,以128位的密钥作为这16个字节的初始的“种子”。然后，在产生出这些随机数的表之后，就可以用来加密数据，速度达到每秒钟100k个字节。一定要保证在加密与解密时都使用加密的值作为表的索引，而且这两次一定要匹配。
加密时所产生的伪随机序列是很随意的，可以设计成想要的任何序列。没有关于这个随机序列的详细的信息，解密密文是不现实的。例如：一些ascii码的序列，如“eeeeeeee“可能被转化成一些随机的没有任何意义的乱码，每一个字节都依赖于其前一个字节的密文，而不是实际的值。对于任一个单个的字符的这种变换来说，隐藏了加密数据的有效的真正的长度。
如果确实不理解如何来产生一个随机数序列，就考虑fibbonacci数列，使用2个双字（64位）的数作为产生随机数的种子，再加上第三个双字来做xor操作。 这个算法产生了一系列的随机数。算法
如下：
unsigned long dw1, dw2, dw3, dwmask;
int i1;
unsigned long arandom[256];
dw1 = {seed #1};
dw2 = {seed #2};
dwmask = {seed #3};
// this gives you 3 32-bit ”seeds“, or 96 bits total
for(i1=0; i1 < 256; i1++)
{
dw3 = (dw1 + dw2) ^ dwmask;
arandom[i1] = dw3;
dw1 = dw2;
dw2 = dw3;
}
如果想产生一系列的随机数字，比如说，在0和列表中所有的随机数之间的一些数，就可以使用下面的方法：
int __cdecl mysortproc(void *p1, void *p2)
{
unsigned long **pp1 = (unsigned long **)p1;
unsigned long **pp2 = (unsigned long **)p2;
if(**pp1 < **pp2)
return(-1);
else if(**pp1 > *pp2)
return(1);
return(0);
}
...
int i1;
unsigned long *aprandom[256];
unsigned long arandom[256]; // same array as before, in this case
int aresult[256]; // results go here
for(i1=0; i1 < 256; i1++)
{
aprandom[i1] = arandom + i1;
}
// now sort it
qsort(aprandom, 256, sizeof(*aprandom), mysortproc);
// final step - offsets for pointers are placed into output array
for(i1=0; i1 <
256; i1++)
{
aresult[i1] = (int)(aprandom[i1] - arandom);
}
...
变量'aresult'中的值应该是一个排过序的唯一的一系列的整数的数组，整数的值的范围均在0到255之间。这样一个数组是非常有用的，例如：对一个字节对字节的转换表，就可以很容易并且非常可靠的来产生一个短的密钥（经常作为一些随机数的种子）。这样一个表还有其他的用处，比如说：来产生一个随机的字符，计算机游戏中一个物体的随机的位置等等。上面的例子就其本身而言并没有构成一个加密算法，只是加密算法一个组成部分。
作为一个测试，开发了一个应用程序来测试上面所描述的加密算法。程序本身都经过了几次的优化和修改，来提高随机数的真正的随机性和防止会产生一些短的可重复的用于加密的随机数。用这个程序来加密一个文件，破解这个文件可能会需要非常巨大的时间以至于在现实上是不可能的。
四．结论：
由于在现实生活中，我们要确保一些敏感的数据只能被有相应权限的人看到，要确保信息在传输的过程中不会被篡改，截取，这就需要很多的安全系统大量的应用于政府、大公司以及个人系统。数据加密是肯定可以被破解的，但我们所想要的是一个特定时期的安全，也就是说，密文的破解应该是足够的困难，在现实上是不可能的，尤其是短时间内。
参考文献：
1 . pgp! www.pgpi.com/
cyber knights(new link) members.tripod.com/cyberkt/
(old link: netnet.net/~merlin/knights/ )
2 . crypto chamber www.jyu.fi/~paasivir/crypt/
3 . ssh cryptograph a-z (includes info on ssl and https) www.ssh.fi/tech/crypto/
4 . funet' cryptology ftp (yet another finland resource) ftp://ftp.funet.fi/pub/crypt/
a great enigma article, how the code was broken by polish scientists
members.aol.com/nbrass/1enigma.htm
5 . ftp site in uk ftp://sable.ox.ac.uk/pub/crypto/
6 . australian ftp site ftp://ftp.psy.uq.oz.au/pub/
7 . replay associates ftp archive ftp://utopia.hacktic.nl/pub/replay/pub/crypto/
8 . rsa data security (why not include them &n
bsp;too!) www.rsa.com/
netscape's whitepaper on ssl
developer1.netscape.com/docs/manuals/security/sslin/contents.htm
篇12：数据加密技术-
我们经常需要一种措施来保护我们的数据，防止被一些怀有不良用心的人所看到或者破坏。在信息时代，信息可以帮助团体或个人，使他们受益，同样，信息也可以用来对他们构成威胁，造成破坏。在竞争激烈的大公司中，工业间谍经常会获取对方的情报。因此，在客观上就需要一种强有力的安全措施来保护机密数据不被窃取或篡改。数据加密与解密从宏观上讲是非常简单的，很容易理解。加密与解密的一些方法是非常直接的，很容易掌握，可以很方便的对机密数据进行加密和解密。
★ 参观大射电体会
★ 在大海中永生教案
★ 华为面试题
★ 腾讯面试题
★ 面试题经典回答
★ 卡夫面试题
★ 数据管理制度
大数据技术Hadoop面试题（精选12篇）
