#!/bin/sh
#####################################################################################################
#    程序名稱: 數據導入
#
#    文件名稱: XXT_DATALOAD
#
#    描述:獲取核心的數據文件，導入到數據庫中
#    Notes:
#       1) Copy all host (shell) programs to the correct XXT_TOP/bin
#       2) chmod +x  programs
#          eg:chmod +x XXT_DATALOAD
#
#  Change History
#  Date          Author             Version Change Reference
#  -----------   ------------------ ------- ----------------------------------
#  20130901      huangrx            1.0     Create
######################################################################################################
PROG_NAME=${0}
LOGON=${1}
USER_ID=${2}
APP_USER_NAME=${3}
REQUEST_ID=${4}

#Date paremeter
FILE_DATE=${5}

echo "+---------------------------------------------------------------------------+"
echo "Program parameters are : "
echo " "
echo "  Program name           : " $PROG_NAME
echo "  User ID                : " $USER_ID
echo "  Application user name  : " $APP_USER_NAME
echo "  Request ID             : " $REQUEST_ID
echo "  Accounting date        : " $FILE_DATE
echo "+---------------------------------------------------------------------------+"

if [ "$FILE_DATE" = "" ] ; then
   echo "Error: the Parameter of control date is null!"
   exit 1;
fi

##FTPUSER從配置文件中獲取核心數據文件存放的路徑(ftpdir=<HOME路徑>/interface_data)
CONFIG_PATH=$XXT_TOP/bin/config.ini
SHOME=`awk -F "=" '{if($1=="ftpdir") print $2}' $CONFIG_PATH`
##數據文件源路徑
SOURCE_PATH=$SHOME
##數據文件目標路徑
DESTINATION_PATH=$XXT_TOP/bin/interface_data
##SQLLDR所用的控制文件所在目錄
CTRL_PATH=$XXT_TOP/bin/ctrl
##文件名前綴(不帶擴展名及日期)
FILE_SUFFIX=rate
##文件名擴展格式
FILE_EXT=".dat"
##總循環次數
COUNT=120

##數據文件名
FILE_NAME=${FILE_SUFFIX}${FILE_DATE}${FILE_EXT}
##文件分割后的DATA文件
DATA_FILE=${FILE_SUFFIX}_data${FILE_DATE}.dat_split
##文件分割后的END文件
END_FILE=${FILE_SUFFIX}_end${FILE_DATE}.dat_split
##DATA文件的CTRL文件
DATA_CTRL=XXT_$(echo ${FILE_SUFFIX} | tr '[a-z]' '[A-Z]')_LOAD_DATA.ctrl
##END文件的CTRL文件
END_CTRL=XXT_$(echo ${FILE_SUFFIX} | tr '[a-z]' '[A-Z]')_LOAD_END.ctrl
##SQLLDR DATA文件時的錯誤文件
DATA_BAD=${FILE_SUFFIX}_data_${FILE_DATE}.bad
##SQLLDR DATA文件時的日志文件
DATA_LOG=${FILE_SUFFIX}_data_${FILE_DATE}.log
##SQLLDR END文件時的錯誤文件
END_BAD=${FILE_SUFFIX}_end_${FILE_DATE}.bad
##SQLLDR END文件時的日志文件
END_LOG=${FILE_SUFFIX}_end_${FILE_DATE}.log

##將FILE_DATE轉換為YYYY-MM-DD
FILE_DATE=`echo $FILE_DATE |sed 's/-//g'`

##按照約定格式格式化FILE_DATE
FILE_DATE=`sqlplus -s $LOGON <<EOF
set echo off
set verify off
set head off
set feedback off
select to_char(to_date($FILE_DATE, 'yyyy-mm-dd hh24:mi:ss'), 'yyyymmdd') from dual;
EOF`
FILE_DATE=`echo $FILE_DATE |sed 's/ //g'`

echo "Step1--Start to fetch ${FILE_SUFFIX} files!"

cd ${DESTINATION_PATH}

if [ -d ${DESTINATION_PATH}/${FILE_DATE} ] ; then
   cd ${FILE_DATE}
   rm -rf ${DATA_FILE}
   rm -rf ${END_FILE}
else
   mkdir ${FILE_DATE}
   cd ${FILE_DATE}
fi

while [ $COUNT -gt 0 ]
do
    
  if [ -f ${SOURCE_PATH}/${FILE_NAME} ] ; then
     cp -f ${SOURCE_PATH}/${FILE_NAME} ${DESTINATION_PATH}/${FILE_DATE}
     break
  fi
      
  COUNT=`expr $COUNT - 1`
  echo "loop--$COUNT times"
  sleep 300

done

if [ $COUNT -eq 0 ] ; then
   echo "${FILE_SUFFIX} files are not ready!"
   echo "Please reload ${FILE_SUFFIX} files and run request again manually"
   exit 1
else
   echo "finish fetch ${FILE_SUFFIX} files successfully!"
fi

echo "Step2--Start to delete bad&log files already exist"
##刪除已存在的錯誤文件和日志文件
cd ${DESTINATION_PATH}/${FILE_DATE}
rm -rf ${DATA_BAD}
rm -rf ${DATA_LOG}
rm -rf ${END_BAD}
rm -rf ${END_LOG}

echo "Step3--Start to split ${FILE_NAME}"
##將數據文件分割為DATA（數據）和END（數據記錄總數）文件
cd ${DESTINATION_PATH}/${FILE_DATE}
sed '$d' ${FILE_NAME} > ${DATA_FILE}
cat ${FILE_NAME} | grep "^END!" > ${END_FILE}

echo "Step4--Start SQL*Loader"
##裝載數據文件
echo "######Run SQL*Loader, LOAD $DATA_FILE INTO XXT_DATA_TEMP_B######"
sqlldr userid=${LOGON} control=${CTRL_PATH}/${DATA_CTRL} data=${DESTINATION_PATH}/${FILE_DATE}/${DATA_FILE} bad=${DESTINATION_PATH}/${FILE_DATE}/${DATA_BAD} log=${DESTINATION_PATH}/${FILE_DATE}/${DATA_LOG} direct=ture
##如果錯誤文件存在，說明發生了錯誤，退出
##bad文件只有在數據異常，Load不進去的時候，才會生成。語法報錯，或文件不存在引發的錯誤并不生成bad文件
##SQLLDR命令返回狀態
RETCODE=$?
if [ -f ${DESTINATION_PATH}/${FILE_DATE}/${DATA_BAD} ] ; then
echo "######## Error records are found, please check ${DATA_LOG} and fix them! #########"
exit 1
fi
if [ $RETCODE -ne 0 ]; then
echo "######## Program Error Or table and file not exist, please check ${DATA_LOG} and fix them! #########"   
exit 1
fi

##裝載數據記錄總數文件
echo "######Run SQL*Loader, LOAD ${END_FILE} INTO XXT_DATA_END_B######"
##如果錯誤文件存在，說明發生了錯誤，退出
sqlldr userid=${LOGON} control=${CTRL_PATH}/${END_CTRL} data=${DESTINATION_PATH}/${FILE_DATE}/${END_FILE} bad=${DESTINATION_PATH}/${FILE_DATE}/${END_BAD} log=${DESTINATION_PATH}/${FILE_DATE}/${END_LOG} direct=ture
##SQLLDR命令返回狀態
RETCODE=$?
if [ -f ${DESTINATION_PATH}/${FILE_DATE}/${END_BAD} ] ; then
echo "######## Error records are found, please check ${END_LOG} and fix them! #########"
exit 1
fi
if [ $RETCODE -ne 0 ]; then
echo "######## Program Error Or table and file not exist, please check ${END_LOG} and fix them! #########"   
exit 1
fi

echo "Step5--Delete 7 days before files"
##只保留7天的歷史數據
FILE_DATE_PRE=`sqlplus -s $LOGON <<EOF
set echo off
set verify off
set head off
set feedback off
select to_char(to_date($FILE_DATE,'yyyymmdd')-7,'yyyymmdd') from dual;
EOF`
FILE_DATE_PRE=`echo ${FILE_DATE_PRE} |sed 's/ //g'`

##得到7天前的數據文件的文件名
PRE_FILE_NAME=${FILE_SUFFIX}${FILE_DATE_PRE}${FILE_EXT}

##刪除7天前的數據文件，包括來源和目標文件
rm -rf ${SOURCE_PATH}/{PRE_FILE_NAME}
rm -rf ${DESTINATION_PATH}/${FILE_DATE_PRE}/${DATA_FILE}
rm -rf ${DESTINATION_PATH}/${FILE_DATE_PRE}/${END_FILE}