参数名称 | 默认值 | 用法 |
---|---|---|
hive.metastore.uris | - | Hive元数据存储的URI。 |
hive.metastore.client.socket.timeout | 600 | Hive元数据客户端套接字超时时间。 |
hive.metastore.warehouse.dir | /user/hive/warehouse | Hive数据仓库目录。 |
hive.warehouse.subdir.inherit.perms | true | 子目录是否继承权限。 |
hive.auto.convert.join | true | 自动转换连接类型的Join操作。 |
hive.auto.convert.join.noconditionaltask.size | 10000000 | 自动转换连接类型的Join操作时条件不满足的最大数据量。 |
hive.optimize.bucketmapjoin.sortedmerge | false | 是否优化Bucket Map Join的Sorted Merge。 |
hive.smbjoin.cache.rows | 10000 | SMB Join操作缓存的行数。 |
hive.server2.logging.operation.enabled | false | 是否启用Hive Server2日志记录操作。 |
hive.server2.logging.operation.log.location | ${system:java.io.tmpdir}/ ${system:user.name} /operation_logs | Hive Server2操作日志的存储位置。 |
mapred.reduce.tasks | - | MapReduce作业的Reduce任务数。 |
hive.exec.reducers.bytes.per.reducer | 67108864 | 每个Reduce任务的数据量。 |
hive.exec.copyfile.maxsize | 33554432 | 最大允许复制文件的大小。 |
hive.exec.reducers.max | -1 | 同时运行的最大Reduce任务数。 |
hive.vectorized.groupby.checkinterval | 100000 | Vectorized Group By操作的检查间隔。 |
hive.vectorized.groupby.flush.percent | 0.1 | Vectorized Group By操作的Flush比例。 |
hive.compute.query.using.stats | true | 是否使用统计信息来优化查询计划。 |
hive.vectorized.execution.enabled | false | 是否启用向量化执行引擎。 |
hive.vectorized.execution.reduce.enabled | false | 是否在Reduce阶段启用向量化执行。 |
hive.vectorized.use.vectorized.input.format | false | 是否使用向量化输入格式。 |
hive.vectorized.use.checked.expressions | false | 是否使用检查表达式的向量化执行。 |
hive.vectorized.use.vector.serde.deserialize | false | 是否使用向量化序列化和反序列化。 |
hive.vectorized.adaptor.usage.mode | off | 向量化适配器的使用模式。 |
hive.vectorized.input.format.excludes | - | 排除的向量化输入格式列表。 |
hive.merge.mapfiles | true | 是否合并Map输出的小文件。 |
hive.merge.mapredfiles | false | 是否合并MapReduce输出的小文件。 |
hive.cbo.enable | false | 是否启用CBO优化。 |
hive.fetch.task.conversion | none | Fetch任务转换级别。 |
hive.fetch.task.conversion.threshold | -1 | 触发Fetch任务转换的数据量阈值。 |
hive.limit.pushdown.memory.usage | 0.1 | Limit操作的内存使用百分比。 |
hive.merge.sparkfiles | false | 是否合并Spark任务输出的小文件。 |
hive.merge.smallfiles.avgsize | -1 | 合并小文件时的平均大小。 |
hive.merge.size.per.task | -1 | 每个任务合并的数据量。 |
hive.optimize.reducededuplication | true | 是否启用重复消除优化。 |
hive.optimize.reducededuplication.min.reducer | 4 | 最小Reduce任务数以启用重复消除优化。 |
hive.map.aggr | false | 是否启用Map端聚合。 |
hive.map.aggr.hash.percentmemory | 0.5 | Map端聚合的哈希表内存比例。 |
hive.optimize.sort.dynamic.partition | false | 是否优化动态分区排序。 |
hive.execution.engine | mr | Hive执行引擎类型。 |
spark.executor.memory | 1g | Spark Executor的内存大小。 |
spark.driver.memory | 1g | Spark Driver的内存大小。 |
spark.executor.cores | 1 | 每个Spark Executor的核心数。 |
spark.yarn.driver.memoryOverhead | 384 | Spark Driver的内存Overhead。 |
spark.yarn.executor.memoryOverhead | 384 | Spark Executor的内存Overhead。 |
spark.dynamicAllocation.enabled | false | 是否启用动态资源分配。 |
spark.dynamicAllocation.initialExecutors | -1 | 动态资源分配的初始Executor数量。 |
spark.dynamicAllocation.minExecutors | -1 | 动态资源分配的最小Executor数量。 |
spark.dynamicAllocation.maxExecutors | -1 | 动态资源分配的最大Executor数量。 |
hive.metastore.execute.setugi | false | 是否在Hive元数据存储中执行setugi操作。 |
hive.support.concurrency | true | 是否支持并发操作。 |
hive.zookeeper.quorum | - | ZooKeeper服务器列表。 |
hive.zookeeper.client.port | - | ZooKeeper客户端端口号。 |
hive.zookeeper.namespace | default | Hive使用的ZooKeeper命名空间。 |
hive.cluster.delegation.token.store.class | org.apache.hadoop.hive .thrift.MemoryTokenStore | 集群委派令牌存储类。 |
hive.server2.enable.doAs | false | 是否启用Hive Server2用户代理模式。 |
hive.metastore.sasl.enabled | false | 是否启用Hive元数据存储的SASL认证。 |
hive.server2.authentication | NONE | Hive Server2的认证方式。 |
hive.metastore.kerberos.principal | - | Hive元数据存储的Kerberos主体名称。 |
hive.server2.authentication.kerberos.principal | - | Hive Server2的Kerberos主体名称。 |
spark.shuffle.service.enabled | true | 是否启用Spark Shuffle服务。 |
hive.strict.checks.orderby.no.limit | true | 是否在没有Limit操作的OrderBy语句中执行严格检查。 |
hive.strict.checks.no.partition.filter | true | 是否在没有分区过滤条件的查询中执行严格检查。 |
hive.strict.checks.type.safety | true | 是否执行严格的类型安全性检查。 |
hive.strict.checks.cartesian.product | false | 是否执行严格的笛卡尔积检查。 |
hive.strict.checks.bucketing | true | 是否执行严格的桶排序检查。 |
<configuration>
<!-- Hive元数据存储的URI -->
<property>
<name>hive.metastore.uris</name>
<value>thrift://myhost:9083</value>
</property>
<!-- Hive元数据客户端套接字超时时间(以毫秒为单位) -->
<property>
<name>hive.metastore.client.socket.timeout</name>
<value>300</value>
</property>
<!-- Hive数据仓库目录 -->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>
<!-- 子目录是否继承权限 -->
<property>
<name>hive.warehouse.subdir.inherit.perms</name>
<value>true</value>
</property>
<!-- 自动转换连接类型的Join操作 -->
<property>
<name>hive.auto.convert.join</name>
<value>true</value>
</property>
<!-- 自动转换连接类型的Join操作时条件不满足的最大数据量(以字节为单位) -->
<property>
<name>hive.auto.convert.join.noconditionaltask.size</name>
<value>20971520</value>
</property>
<!-- 是否优化Bucket Map Join的Sorted Merge -->
<property>
<name>hive.optimize.bucketmapjoin.sortedmerge</name>
<value>false</value>
</property>
<!-- SMB Join操作缓存的行数 -->
<property>
<name>hive.smbjoin.cache.rows</name>
<value>10000</value>
</property>
<!-- 是否启用Hive Server2日志记录操作 -->
<property>
<name>hive.server2.logging.operation.enabled</name>
<value>true</value>
</property>
<!-- Hive Server2操作日志的存储位置 -->
<property>
<name>hive.server2.logging.operation.log.location</name>
<value>/var/log/hive/operation_logs</value>
</property>
<!-- MapReduce作业的Reduce任务数 -->
<property>
<name>mapred.reduce.tasks</name>
<value>-1</value>
</property>
<!-- 每个Reduce任务的数据量(以字节为单位) -->
<property>
<name>hive.exec.reducers.bytes.per.reducer</name>
<value>67108864</value>
</property>
<!-- 最大允许复制文件的大小(以字节为单位) -->
<property>
<name>hive.exec.copyfile.maxsize</name>
<value>33554432</value>
</property>
<!-- 同时运行的最大Reduce任务数 -->
<property>
<name>hive.exec.reducers.max</name>
<value>1099</value>
</property>
<!-- Vectorized Group By操作的检查间隔 -->
<property>
<name>hive.vectorized.groupby.checkinterval</name>
<value>4096</value>
</property>
<!-- Vectorized Group By操作的Flush比例 -->
<property>
<name>hive.vectorized.groupby.flush.percent</name>
<value>0.1</value>
</property>
<!-- 是否使用统计信息来优化查询计划 -->
<property>
<name>hive.compute.query.using.stats</name>
<value>false</value>
</property>
<!-- 是否启用向量化执行引擎 -->
<property>
<name>hive.vectorized.execution.enabled</name>
<value>true</value>
</property>
<!-- 是否在Reduce阶段启用向量化执行 -->
<property>
<name>hive.vectorized.execution.reduce.enabled</name>
<value>true</value>
</property>
<!-- 是否使用向量化输入格式 -->
<property>
<name>hive.vectorized.use.vectorized.input.format</name>
<value>true</value>
</property>
<!-- 是否使用检查表达式的向量化执行 -->
<property>
<name>hive.vectorized.use.checked.expressions</name>
<value>true</value>
</property>
<!-- 是否使用向量化序列化和反序列化 -->
<property>
<name>hive.vectorized.use.vector.serde.deserialize</name>
<value>false</value>
</property>
<!-- 向量化适配器的使用模式 -->
<property>
<name>hive.vectorized.adaptor.usage.mode</name>
<value>chosen</value>
</property>
<!-- 排除的向量化输入格式列表 -->
<property>
<name>hive.vectorized.input.format.excludes</name>
<value>org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat</value>
</property>
<!-- 是否合并Map输出的小文件 -->
<property>
<name>hive.merge.mapfiles</name>
<value>true</value>
</property>
<!-- 是否合并MapReduce输出的小文件 -->
<property>
<name>hive.merge.mapredfiles</name>
<value>false</value>
</property>
<!-- 是否启用CBO优化 -->
<property>
<name>hive.cbo.enable</name>
<value>false</value>
</property>
<!-- Fetch任务转换级别 -->
<property>
<name>hive.fetch.task.conversion</name>
<value>minimal</value>
</property>
<!-- 触发Fetch任务转换的数据量阈值(以字节为单位) -->
<property>
<name>hive.fetch.task.conversion.threshold</name>
<value>268435456</value>
</property>
<!-- Limit操作的内存使用百分比 -->
<property>
<name>hive.limit.pushdown.memory.usage</name>
<value>0.1</value>
</property>
<!-- 是否合并Spark任务输出的小文件 -->
<property>
<name>hive.merge.sparkfiles</name>
<value>true</value>
</property>
<!-- 合并小文件时的平均大小(以字节为单位) -->
<property>
<name>hive.merge.smallfiles.avgsize</name>
<value>16777216</value>
</property>
<!-- 每个任务合并的数据量(以字节为单位) -->
<property>
<name>hive.merge.size.per.task</name>
<value>268435456</value>
</property>
<!-- 是否启用重复消除优化 -->
<property>
<name>hive.optimize.reducededuplication</name>
<value>true</value>
</property>
<!-- 最小Reduce任务数以启用重复消除优化 -->
<property>
<name>hive.optimize.reducededuplication.min.reducer</name>
<value>4</value>
</property>
<!-- 是否启用Map端聚合 -->
<property>
<name>hive.map.aggr</name>
<value>true</value>
</property>
<!-- Map端聚合的哈希表内存比例 -->
<property>
<name>hive.map.aggr.hash.percentmemory</name>
<value>0.5</value>
</property>
<!-- 是否优化动态分区排序 -->
<property>
<name>hive.optimize.sort.dynamic.partition</name>
<value>false</value>
</property>
<!-- Hive执行引擎类型(mr、tez、spark) -->
<property>
<name>hive.execution.engine</name>
<value>mr</value>
</property>
<!-- Spark Executor的内存大小 -->
<property>
<name>spark.executor.memory</name>
<value>2572261785b</value>
</property>
<!-- Spark Driver的内存大小 -->
<property>
<name>spark.driver.memory</name>
<value>3865470566b</value>
</property>
<!-- 每个Spark Executor的核心数 -->
<property>
<name>spark.executor.cores</name>
<value>4</value>
</property>
<!-- Spark Driver的内存Overhead -->
<property>
<name>spark.yarn.driver.memoryOverhead</name>
<value>409m</value>
</property>
<!-- Spark Executor的内存Overhead -->
<property>
<name>spark.yarn.executor.memoryOverhead</name>
<value>432m</value>
</property>
<!-- 是否启用动态资源分配 -->
<property>
<name>spark.dynamicAllocation.enabled</name>
<value>true</value>
</property>
<!-- 动态资源分配的初始Executor数量 -->
<property>
<name>spark.dynamicAllocation.initialExecutors</name>
<value>1</value>
</property>
<!-- 动态资源分配的最小Executor数量 -->
<property>
<name>spark.dynamicAllocation.minExecutors</name>
<value>1</value>
</property>
<!-- 动态资源分配的最大Executor数量 -->
<property>
<name>spark.dynamicAllocation.maxExecutors</name>
<value>2147483647</value>
</property>
<!-- 是否在Hive元数据存储中执行setugi操作 -->
<property>
<name>hive.metastore.execute.setugi</name>
<value>true</value>
</property>
<!-- 是否支持并发操作 -->
<property>
<name>hive.support.concurrency</name>
<value>true</value>
</property>
<!-- ZooKeeper服务器列表 -->
<property>
<name>hive.zookeeper.quorum</name>
<value>myhost04,myhost03,myhost02</value>
</property>
<!-- ZooKeeper客户端端口号 -->
<property>
<name>hive.zookeeper.client.port</name>
<value>2181</value>
</property>
<!-- Hive使用的ZooKeeper命名空间 -->
<property>
<name>hive.zookeeper.namespace</name>
<value>hive_zookeeper_namespace_hive</value>
</property>
<!-- 集群委派令牌存储类 -->
<property>
<name>hive.cluster.delegation.token.store.class</name>
<value>org.apache.hadoop.hive.thrift.MemoryTokenStore</value>
</property>
<!-- 是否启用Hive Server2用户代理模式 -->
<property>
<name>hive.server2.enable.doAs</name>
<value>true</value>
</property>
<!-- 是否启用Hive元数据存储的SASL认证 -->
<property>
<name>hive.metastore.sasl.enabled</name>
<value>true</value>
</property>
<!-- Hive Server2的认证方式 -->
<property>
<name>hive.server2.authentication</name>
<value>kerberos</value>
</property>
<!-- Hive元数据存储的Kerberos主体名称 -->
<property>
<name>hive.metastore.kerberos.principal</name>
<value>hive/[email protected]</value>
</property>
<!-- Hive Server2的Kerberos主体名称 -->
<property>
<name>hive.server2.authentication.kerberos.principal</name>
<value>hive/[email protected]</value>
</property>
<!-- 是否启用Spark Shuffle服务 -->
<property>
<name>spark.shuffle.service.enabled</name>
<value>true</value>
</property>
<!-- 是否在没有Limit操作的OrderBy语句中执行严格检查 -->
<property>
<name>hive.strict.checks.orderby.no.limit</name>
<value>false</value>
</property>
<!-- 是否在没有分区过滤条件的查询中执行严格检查 -->
<property>
<name>hive.strict.checks.no.partition.filter</name>
<value>false</value>
</property>
<!-- 是否执行严格的类型安全性检查 -->
<property>
<name>hive.strict.checks.type.safety</name>
<value>true</value>
</property>
<!-- 是否执行严格的笛卡尔积检查 -->
<property>
<name>hive.strict.checks.cartesian.product</name>
<value>false</value>
</property>
<!-- 是否执行严格的桶排序检查 -->
<property>
<name>hive.strict.checks.bucketing</name>
<value>true</value>
</property>
</configuration>
这些参数的具体值可以根据实际需求进行修改和配置,以满足您的Hive和Spark环境的要求。
文章浏览阅读1w次,点赞2次,收藏27次。来源:机器人小妹 很多时候企业拥有重复,乏味且困难的工作流程,这些流程往往会减慢生产速度并增加运营成本。为了降低生产成本,企业别无选择,只能自动化某些功能以降低生产成本。 通过数字化..._人工智能平台
文章浏览阅读2.2k次。热加载能够在每次保存修改的代码后自动刷新 electron 应用界面,而不必每次去手动操作重新运行,这极大的提升了开发效率。安装 electron 热加载插件热加载虽然很方便,但是不是每个 electron 项目必须的,所以想要舒服的开发 electron 就只能给 electron 项目单独的安装热加载插件[electron-reloader]:// 在项目的根目录下安装 electron-reloader,国内建议使用 cnpm 代替 npmnpm install electron-relo._electron-reloader
文章浏览阅读942次。在11.0 进行定制化开发,会根据需要去掉recovery模式的一些选项 就是在device.cpp去掉一些选项就可以了。_android recovery 删除 部分菜单
文章浏览阅读3.7k次。https://www.yuque.com/mnn/cn/cvrt_linux_mac基础依赖这些依赖是无关编译选项的基础编译依赖• cmake(3.10 以上)• protobuf (3.0 以上)• 指protobuf库以及protobuf编译器。版本号使用 protoc --version 打印出来。• 在某些Linux发行版上这两个包是分开发布的,需要手动安装• Ubuntu需要分别安装 libprotobuf-dev 以及 protobuf-compiler 两个包•..._mnn 编译linux
文章浏览阅读1.8k次。CSS3新增动画属性“@-webkit-keyframes”,从字面就可以看出其含义——关键帧,这与Flash中的含义一致。利用CSS3制作动画效果其原理与Flash一样,我们需要定义关键帧处的状态效果,由CSS3来驱动产生动画效果。下面讲解一下如何利用CSS3制作淡入淡出的动画效果。具体实例可参考刚进入本站时的淡入效果。1. 定义动画,名称为fadeIn@-webkit-keyf_css3入场效果淡入淡出
文章浏览阅读2.8k次。计算机系统应包括硬件和软件两个子系统,硬件和软件又必须依次分别包括中央处理器和系统软件。按人的要求接收和存储信息,自动进行数据处理和计算,并输出结果信息的机器系统。计算机是脑力的延伸和扩充,是近代科学的重大成就之一。计算机系统由硬件(子)系统和软件(子)系统组成。前者是借助电、磁、光、机械等原理构成的各种物理部件的有机组合,是系统赖以工作的实体。后者是各种程序和文件,用于指挥全系统按指定的要求进行..._计算机系统包括硬件系统和软件系统 软件又必须包括
文章浏览阅读7.9k次,点赞3次,收藏22次。一 定义这是最早出现的置换算法。该算法总是淘汰最先进入内存的页面,即选择在内存中驻留时间最久的页面予以淘汰。该算法实现简单,只需把一个进程已调入内存的页面,按先后次序链接成一个队列,并设置一个指针,称为替换指针,使它总是指向最老的页面。但该算法与进程实际运行的规律不相适应,因为在进程中,有些页面经常被访问,比如,含有全局变量、常用函数、例程等的页面,FIFO 算法并不能保证这些页面不被淘汰。这里,我_进程调度fifo算法代码
文章浏览阅读133次。rownum是oracle才有的写法,rownum在oracle中可以用于取第一条数据,或者批量写数据时限定批量写的数量等mysql取第一条数据写法SELECT * FROM t order by id LIMIT 1;oracle取第一条数据写法SELECT * FROM t where rownum =1 order by id;ok,上面是mysql和oracle取第一条数据的写法对比,不过..._mysql 替换@rownum的写法
文章浏览阅读790次,点赞3次,收藏4次。官网下载下载链接:http://www.eclipse.org/downloads/点击Download下载完成后双击运行我选择第2个,看自己需要(我选择企业级应用,如果只是单纯学习java选第一个就行)进入下一步后选择jre和安装路径修改jvm/jre的时候也可以选择本地的(点后面的文件夹进去),但是我们没有11版本的,所以还是用他的吧选择接受安装中安装过程中如果有其他界面弹出就点accept就行..._ecjelm
文章浏览阅读245次。原文链接:https://linux.cn/article-7801-1.htmlifconfigping <IP地址>:发送ICMP echo消息到某个主机traceroute <IP地址>:用于跟踪IP包的路由路由:netstat -r: 打印路由表route add :添加静态路由路径routed:控制动态路由的BSD守护程序。运行RIP路由协议gat..._ifconfig 删除vlan
文章浏览阅读224次。reduxredux里要求把数据都放在公共的存储区域叫store里面,组件中尽量少放数据,假如绿色的组件要给很多灰色的组件传值,绿色的组件只需要改变store里面对应的数据就行了,接着灰色的组件会自动感知到store里的数据发生了改变,store只要有变化,灰色的组件就会自动从store里重新取数据,这样绿色组件的数据就很方便的传到其它灰色组件里了。redux就是把公用的数据放在公共的区域去存..._redux redis
文章浏览阅读2.2k次,点赞3次,收藏6次。unzip版本不支持4G以上的压缩包所以要使用p7zip:Linux一个高压缩率软件wget http://sourceforge.net/projects/p7zip/files/p7zip/9.20.1/p7zip_9.20.1_src_all.tar.bz2tar jxvf p7zip_9.20.1_src_all.tar.bz2cd p7zip_9.20.1make && make install 如果安装失败,看一下报错是不是因为没有下载gcc 和 gcc ++(p7_linux 7za解压中文乱码