hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。
hive对外暴露出来的用法，基本上和Mysql相同，但是它能做到Mysql做不到的对大数据处理，例如几十亿条数据，放在Mysql中，必然不堪重负,但在hive中，举重若轻。
安装方式：
pip install pyhive
hive具有一个可选的组件叫HiveThrift，其允许通过指定端口，通过thrift方式访问hive。
启动Thrift Server:
进入hive安装目录，使用如下命令开启服务
hive --service hiveserver &
检查HiveServer是否启动成功:
netstat -apn | grep 10000
hive的thriftserver，支持我们在连接中异步地提交sql，并且通过查询对应的cursor来实时获取任务的执行状态。所以我们可以在提交后将cursor保留，并定时地获取sql的状态，当执行完成后，则fetch结果
#提交sql，并保存对应的cursor和connection
def execute_async(sql):
conn = hive.connect(host = '127.0.0.1', port = 10000)#建立连接
cursor = conn.cursor()#取得cursor
cursor.execute(sql, async = True)
return cursor, conn
#检查任务状态,将上面执行后返回的cursor作为参数
def check_state(cursor):
job_handler = cursor.poll()
state = job_handler.operationState
if state in (TOperationState.INITIALIZED_STATE, TOperationState.RUNNING_STATE, TOperationState.PENDING_STATE):
return "RUNNING"
elif state in (TOperationState.CANCELED_STATE, TOperationState.ERROR_STATE, TOperationState.UKNOWN_STATE):
return "ERROR"
elif state == TOperationState.FINISHED_STATE:
return "FINISHED"
elif state == TOperationState.CLOSED_STATE:
return "CLOSED"
return "UNKNOW"
上面的代码只是异步执行的核心代码。具体的逻辑还需要结合自身需求进行填充。当然，查询完毕之后，不要忘记最重要的一步：释放资源
cursor.close()
conn.close()
文章浏览阅读5.7k次，点赞2次，收藏37次。1.1 vi的三种模式命令模式、插入模式/编辑模式、末行模式三种模式的用法：命令模式：进入vi编辑器之后就是命令模式，命令模式不可编辑，只可以执行命令。插入模式/编辑模式：在命令模式中，按i进入插入模式/编辑模式末行模式：编辑完成后，按ESC返回命令模式，在命令模式中，按：进入末行模式，在末行模式中wq保存并退出vi模式，按q！不保存并退出。1.2 如何进入vi编辑模式① vi 新文件 ---创建新文件并打开vi命令模式。 例：vi a.txt ---创建新文..._linux如何进入vi编辑模式
文章浏览阅读1.4w次。MV3D论文阅读_mv3d
文章浏览阅读210次。Xcode清除缓存、清理多余证书 1、删除Xcode中多余的证书provisioning profile 手动删除： Xcode6 provisioning profile path： ~/Library/MobileDevice/Provisioning Profiles2、清理Xcode编译项目产生的缓存垃圾 （Xcode永久了，会产生很多项目编译缓
文章浏览阅读8.2k次，点赞3次，收藏71次。TMS320C6000产品是美国TI公司于1997年推出的dsp芯片，该DSP芯片定点、浮点兼容，其中，定点系列是TMS320C62xx系列，浮点系列是TMS320C67xx系列，2000年3月，TI发布新的C64xx内核，主频为1.1GHz，处理速度9000MIPS，在图像处理和流媒体领域得到了广泛的应用。C6000片内有8个并行的处理单元，分为相同的两组。DSP的体系结构采用超长指令字（v...__mpysp2dp
文章浏览阅读1k次。我们经常会看到后缀名为.pt, .pth, .pkl的pytorch模型文件，这几种模型文件在格式上有什么区别吗？其实它们并不是在格式上有区别，只是后缀不同而已(仅此而已)，在用torch.save()函数保存模型文件时，各人有不同的喜好，有些人喜欢用.pt后缀，有些人喜欢用.pth或.pkl.用相同的torch.save()语句保存出来的模型文件没有什么不同。在pytorch官方的文档/代码里，..._模型保存为pth
文章浏览阅读1.3k次。笔试常见的三种类型的acm处理string array list
文章浏览阅读8.2k次，点赞8次，收藏32次。Stm32CubeIDE设置补全快捷键和主题stm32CubeIde的设置，省的自己忘记了。一、主题设置提示：这里可以添加要学的内容例如：1、 help->Eclipse Market->输入"Devstyle"查找主题插件->install安装2、窗口->首选项 找到主题3、按照如下设置完成后会提示重启，重启后效果如下所示二、补全设置用于设置代码的自动补全搜索: key->content assist默认的补全快捷键时alt+/，这里我改成双击两次_cubeide快捷键设置
文章浏览阅读142次。（题目链接：https://www.luogu.com.cn/problem/P2525）#include<bits/stdc++.h>using namespace std;int main(){ int tmp,pos,s,n,number,symbol=1,input[10],data[10],memory[10]; scanf("%d",&n); for(int i=1;i<=n;i++) { scanf("%d",&input[i]);
文章浏览阅读241次，点赞3次，收藏7次。text-overflow:ellipsis（省略号）;(如果用clip(裁剪），就没有三个点)nowrap 文本不换行，直到遇到标签【最常用】pre 预格式化文本-保留空格，tab,回车。pre-line 显示回车，不显示换行，空格。做出多的文本省略、显示三个点的效果——容器宽度:width:200px;White-space空余空间。pre-wrap 自然换行。
文章浏览阅读227次。小学信息片段教学设计教学目的：认知目标：掌握含有小数连除问题的解决方法，进一步巩固小数除法，同时体会解决问题策略的多样性。技能目标：在学习的过程中，培养学生的推理概括能力、灵活解决问题的能力。 情感目标：使学生会解决有关小数除法的简单实际问题，体会小数除法的应用价值。教学重点：探究解决问题的方法。教学难点：分析数量关系，引导学生用量的`关系来描述解题思路。教学过程：多媒体课件教学过程：一、揭示课题..._计算机片段教学设计
文章浏览阅读345次。&以及*运算符说明&和*介绍&说明：*说明：代码片段：分析总结：&和*介绍&说明：取址运算符&用来取得其操作数的地址。如果操作数 x 的类型为 T，则表达式 &x 的类型是 T 类型指针（指向 T 的指针）。取址运算符的操作数必须是在内存中可寻址到的地址。换句话说，该运算符只能用于函数或对象（例如左值），而不可以用于位字段，以及那些还未被存储类修饰符 register 声明的内容。当需要初始化指针，以指向某些对象或函数时，需要获得这些对象或函
文章浏览阅读265次。创建一个新的 Excel workbook 对象，并加载已存在的文件（output.xlsx）创建一个新的 sheet，并将第二个 DataFrame 写入其中，并命名。将第一个 DataFrame 写入一个新的 sheet，并命名。保存合并后的 Excel 文件。保存合并后的 Excel 文件。导入包和定义需要保存的文件名。读取第一个 Excel 文件。读取第二个 Excel 文件。删除默认的 Sheet。