将TPC-DS数据加载到MariaDB中

环境：

• ubuntu 18.04
• MariaDB 10.1.29-MariaDB-6
• TPC-DS v2.7

第一步 下载TPC-DS工具

• 访问此页面并按要求下载TPC-DS工具

• 到相应目录下解压文件

  unzip tpc-ds-tool.zip
• 
  

第二步 建立dsdgen&dsqgen

#安装相关依赖 

sudo apt-get install gcc make

• 进入tools目录，执行make命令

  zhouj@ubuntu:~/v2.7.0/tools$ ./dsdgen -scale 5 -force
• 
  

• 生成1G数据

  ./dsdgen -DIR /home/zhouj/Desktop/datas -SCALE 1
• 
  

第三步 生成原始文本数据，并在MariaDB上创建数据库和表

• 创建一个数据库

sudo mysql -e "create database tpcds"

• 在数据库下创建表

  sudo mysql -Dtpcds <tpcds.sql
• 
  

• 显示表

  sudo mysql -Dtpcds -e "show tables"

  第四步 将数据加载到MariaDB

• 
  

编写脚本1.sh如下：

DIR=/home/zhouj/Desktop/datas 

ls $DIR/*.dat | while read file; do

     pipe=$file.pipe

         mkfifo $pipe

         table=`basename $file .dat | sed -e 's/_[0-9]_[0-9]//'`

             echo $file $table && sed -e 's_^|_\\N|_g' -e 's_||_|\\N|_g' -e 's_||_|\\N|_g' $file > $pipe & \ 

                    mysql --local-infile -Dtpcds -e \

                           "load data local infile '$pipe' replace into table $table character set latin1 fields terminated by '|'"

                 rm -f $pipe

         done

编写脚本2.sh如下：

for i in `ls /home/zhouj/v2.7.0/query_templates/query*`;

 do

     echo "define _END= \"\";" >> $i

编写脚本3.sh如下：

for i in `ls /home/zhouj/v2.7.0/query_templates/query*`;

 do

     ./dsqgen -template `basename $i` -directory /home/zhouj/v2.7.0/query_templates -dialect oracle -scale 5 #> /home/zhouj/v2.7.0/sql/`basename $i`

     mv /home/zhouj/v2.7.0/tools/query_0.sql /home/zhouj/sql/`basename $i`

 done

• 授权，执行对应脚本

sudo chmod +x 1.sh 

sudo chmod +x 2.sh sudo chmod +x 3.sh 

sudo ./1.sh sudo ./2.sh 

sudo ./3.sh

第五步 执行SQL语句

• 进入MariaDB

  zhouj@ubuntu:~/v2.7.0/tools$ sudo mysql -u root -p tpcds

  执行命令：

• 
  

MariaDB [tpcds]>  /home/zhouj/v2.7.0/tools/merge.sql

部分执行结果如下：