博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
海量数据迁移之使用shell启用多个动态并行
阅读量:6098 次
发布时间:2019-06-20

本文共 1699 字,大约阅读时间需要 5 分钟。

在数据迁移中,可能有成百上千个表,有些表很大,有些表又很小。

如果启用了多个并行的进程,可能会有资源分配上的问题。
比如下面有10个表,100代表预计的时间为100分钟。

table1  100table2  90table3  90table4  80table5  80table6  70table7  60table8  60table9  50table10 40

如果分为4个进程来并行执行,可能一种比较理想的方案就是

parallel1: table1,table8parallel2: table2,table5,table9parallel3: table3,table6,table9parallel4: table4,table7

但是在实际的执行中,可能因为表的分区,表的数据类型,表的存储的不同,可能实际的执行时间会有很大的差别,

可能paralle2,3,4已经执行完了,而parallel1还没有执行完50%。
这样,table8就一直pending在那了。

在这样的情况下,可以考虑使用动态并行,就是能够在后台启用一些并行的进程,比如需要4个并行进程,就使用nohup启用4个并行的进程。

不做具体的数据操作。

parfile=par2_tab_parall.lstlogfile=`echo $parfile|awk -F. '{print $1}`".log"while truedoif [ -f $parfile ]then   tab_exists_flag=`cat $parfile |wc -l`   if [ ${tab_exists_flag} -eq 0 ]     then      sleep 5;   elif [ ${tab_exists_flag} -gt 0 ]     then     tab_name=`cat $parfile`     ksh appendata.sh $tab_name >> $logfile      touch ${parfile}.tmp     mv ${parfile}.tmp ${parfile}    fifidone

我们使用appendata.sh来模拟实现数据的插入,其实不会做数据的真实插入,这是模拟日志的内容。

echo $1sqlplus -s  n1/n1 < set time on set timin onset pages 0select 'insert into '||'$1;' from dual;select 'commit;' from dual;EOFif [ $? -eq 0 ]thenecho '' >parallel1.lstfi

使用如下的命令来启用一个进程,比如下面的命令启用进程2,如果启用其他的进程,命令类似

nohup ksh par2.sh > par2_tab_parall.log &

只需要在一个文件中放入处理的表名即可。如果是进程2,就在par2_tab_parall.lst中放入表名,假设表为test

par2_tab_parall.lst
[ora11g@rac1 parallel]$ cat par2_tab_parall.lst
test

如果放入表test,之后,就会发现第2个进程就开始处理表test了

test

insert into test;

Elapsed: 00:00:00.00

commit;

Elapsed: 00:00:00.01

再放入一个表,马上就会发现进程开始处理表tab_test了,如果没有表的时候,它就在后台做sleep工作。

[ora11g@rac1 parallel]$ echo tab_test > par2_tab_parall.lsttab_testinsert into tab_test;Elapsed: 00:00:00.01commit;Elapsed: 00:00:00.00

本文转自ICT时空 dbasdk博客,原文链接: ,如需转载请自行联系原博主。

你可能感兴趣的文章
为什么JAVA要提供 wait/notify 机制?是为了避免轮询带来的性能损失
查看>>
.CSC.exe编译器使用
查看>>
集成 Maven 2 插件到 Eclipse 的过程
查看>>
返回定义利用DataTable、DataSet返回SQL Server的表或者单个字段
查看>>
[Step By Step]SAP HANA如何在SAP Business Objects Data Services中创建MySQL的连接
查看>>
解决Oracle 11g在用EXP导出时,空表不能导出
查看>>
对动画队列的初步了解
查看>>
Camera
查看>>
OpenCV教程(41) 人脸特征检测
查看>>
一指流沙,倾覆了谁的年华?
查看>>
Python 初学笔记(转)
查看>>
32位C#程序连接64位ORACLE数据库
查看>>
[LeetCode] Rotate Image [26]
查看>>
微信支付开发(9) 标记客户投诉处理状态
查看>>
Cocos2d-x游戏的场景结构布局
查看>>
MyBean - 单实例插件改进和VCL插件的改进
查看>>
java集合TreeMap应用---求一个字符串中,每一个字母出现的次数
查看>>
windows xp下mysql5.0安装
查看>>
关于OPenGL和OSG的矩阵 (转)
查看>>
译:C#面向对象的基本概念 (Basic C# OOP Concept) 第三部分(多态,抽象类,虚方法,密封类,静态类,接口)...
查看>>