Selasa, 14 April 2009

JawaPos Downloader untuk Linux

Program ini saya hanya memperbaiki biar auto, agar tidak manual seperti pada awalnya. dan bisa digunakan pada crontab
software ini pertama kali dibuat oleh sodara Sugeng judulnya :
Download Jawapos ePaper menggunakan bash (lagi)
Aku cuma memperbaiki dikit source codenya biar bisa digunakan dalam crontab.
sebelum menjalankan script ini harus di install dulu :
wget dan pdftk
bagai mana cara installnya bisa dilihat di Download Jawapos ePaper menggunakan bash (lagi)

file ini di simpan dalam file jawapos.sh
untuk download outomatis bisa melakukan setting pada crontap dengan perintah crontab -e
yang perlu diingat sesuakan folder tempat penyimpanan file dengan crontabnya.
misal ingin anda simpan dalam forlder /var/www/jawapos
karena folder www adalah milik root maka crontabnya harus sebagai sudo.
didalam crontab di isi
0 8 * * * /home/surya/jawapos.sh
artinya pada menit ke 0 dan pada jam 8 crontab akan melakukan esekusi script jawapos.sh

or dalam bentuk file bisa anda download disini

#!/bin/bash
echo 'MULAI DIJALANKAN'
# Jawapos ePaper Downloader
# Created by Sugeng Doyle
# Re-Build by suryahawk

#ISI FOLDER TUJUAN
folder="/var/www"


# URL Jawapos
URL="http://versipdf.jawapos.co.id/index.php?detail="

# Fix Link untuk direct PDF file ePaper
PAGE=(00241260 00361260 00481260 00601260 00721260 00841260 00961260 01081260 01201260 001200241260 002400241260 003600241260 004800241260 006000241260 007200241260 008400241260)

# Jawapos membagi kategori link berdasarkan jp, or, mt
PAGEDL=("jp" "or" "mt")

# Tanggal Hari ini
TGL=`date +%d-%b-%Y`

# Rename mulai dari 1
FILENAME=1

# Buat Folder sesuai tanggal
echo 'Buat folder : '$folder/$TGL
mkdir -p $folder/$TGL
echo 'folder '$folder/$TGL' SELESAI'
# Looping kategori linknya
for i in ${PAGEDL[@]}; do
URL_DL=$URL$i

# Looping halaman
for j in ${PAGE[@]}; do

if [ ${#FILENAME} == 1 ]; then
FILE="00"$FILENAME
else if [ ${#FILENAME} == 2 ]; then
FILE="0"$FILENAME
else FILE=$FILENAME
fi
fi

# Check apakah link tersebut aktif
echo 'BEGIN CHECK :'$URL_DL"_det&file_det="$j
CHECK=`wget -nv --spider $URL_DL"_det&file_det="$j`
echo 'END CHECK :'$URL_DL"_det&file_det="$j
if [ ${#CHECK} == 0 ]; then
# Download file pdf ePaper
echo '-----------------'$FILE' MULAI-------------------'
echo $FILE' : wget -nv -O '$folder/$TGL/$FILE'.pdf '$URL_DL'_det&file_det='$j
wget -nv -O $folder/$TGL/$FILE.pdf $URL_DL"_det&file_det="$j
echo '-----------------'$FILE' SELESAI-----------------'
echo $FILE' : wget SELESAI'
#kget $folder/$TGL/$FILE.pdf $URL_DL"_det&file_det="$j
let FILENAME+=1
INFO=`ls -s $folder/$TGL/$FILE".pdf"`
echo 'INFO :'$INFO
BND=${#INFO}
if [ $BND == 30 ]; then
# Download file pdf ePaper
echo 'DEL: '$i'>>'$FILE'>>'$i'>>>' $INFO'>>>>'${#INFO}
rm $folder/$TGL/$FILE.pdf
else if [ $BND == 21 ]; then
# Download file pdf ePaper
echo 'DEL: '$i'>>'$FILE'>>'$i'>>>' $INFO'>>>>'${#INFO}
rm $folder/$TGL/$FILE.pdf


else echo $i'>>'$FILE'>>'$i'>>>' $INFO'>>>>'${#INFO}
fi
fi
fi
echo $FILE' SELESAI'

done
done
mkdir -p $folder/jawapos
pdftk $folder/$TGL/*.pdf cat output $folder/jawapos/jawapos_$TGL.pdf
rm -r $folder/$TGL

exit


Tidak ada komentar:

.