[数据库]Oracle数据迁移至HIVE(待续)

2023-06-26,,

step1 导出csv数据,并
call sql_to_csv('select * from BE_JJZKJCQKTJ', 'OUT_PATH', 'DA.BE_JJZKJCQKTJ.csv');
// or python step2 删表,重新创表 或 清空表
sshpass -p 'helloWorld' ssh datamining@10.100.yyy.xxx 'hive -e "truncate table da.ai_zjycdb;"' step3 上传csv数据文件到 hive数据库服务器,对非ASCII编码的csv文件转码 (UTF-8 转 GB18030)
sshpass -p 'helloWorld' scp -P 22 -r /root/dataMining/csv/* datamining@10.100.yyy.xxx:/opt/ai/csv/ [附]
file -i fileName
iconv -f GB18030 -t UTF-8 /opt/ai/csv/ai_zjycdb.csv > /opt/da_transfer/ai_zjycdb.csv step4 对csv文件的数据行的内容,去除引号
sshpass -p 'helloWorld' ssh datamining@10.100.yyy.xxx sed -i 's/"//g' /opt/da_transfer/ai_zjycdb.csv; step5 加载csv数据到hive数据库
sshpass -p 'helloWorld' ssh datamining@10.100.yyy.xxx hive -e "load data local inpath '/opt/da_transfer/ai_zjycdb.csv' into table ai_zjycdb;"

[数据库]Oracle数据迁移至HIVE(待续)的相关教程结束。

《[数据库]Oracle数据迁移至HIVE(待续).doc》

下载本文的Word格式文档,以方便收藏与打印。