2023.05.19 (Fri) ํ์ต ์ ๋ฆฌ
#๋ฐ์ดํฐ์ ์ก #scp #vim #crontab
1. ์ ์ก ์์น ๋ฐ ์ ์ก ์ค๋น์ฌํญ
- ๋ฐ์ดํฐ ์์ฑ์์น ๋ง๋ค๊ธฐ
ssh [username]@[์ ์ก์๋ฒip] mkdir -p [๊ฒฝ๋ก]
- ์์ฑ๋ ์์น์ ํ์ผ ์ ์ก
scp [๋ณด๋ผ ํ์ผ๋ช
] [username]@[์ ์ก์๋ฒip]:[๊ฒฝ๋ก]/[ํ์ผ๋ช
]
2. Vim ํธ์ง๊ธฐ
vimtutor ko #vimtutor ํ๊ธ ver ์ด๊ธฐ
vi sub.sh #vim ํธ์ง๊ธฐ ์ด๊ธฐ
view sub.sh #read only
- ์ฐธ๊ณ ) ๋ช
๋ น ๋ชจ๋
- :sh sub.sh → ์ฝ๋ ์คํ
- :se nu → ์ฝ๋ ๋ผ์ธ ๋๋ฒ
3. crontab
ํน์ ์๊ฐ์ ์ ๊ธฐ์ ์ผ๋ก ShellScript๋ ํ๋ก๊ทธ๋จ์ ์คํ ์ํค๊ธฐ ์ํ Crontab ์๊ฐ ์ค์
- ๋ถ ์ ์ผ ์ ์์ผ shellPath
crontab -e
5 * * * * sh [ํ์ผ๊ฒฝ๋ก] #๋งค์ผ nn์ 5๋ถ์ ์คํ
*/5 * * * * sh [ํ์ผ๊ฒฝ๋ก] #๋งค์ผ 5๋ถ๋ง๋ค ์คํ
4. touch
touch [์ต์
][ํ์ผ๋ช
]
- touch
- ํ์ผ์ด ์กด์ฌํ์ง ์์ผ๋ฉด, ๋นํ์ผ ์์ฑ
- ํ์ผ์ด ์กด์ฌํ๋ค๋ฉด, ํด๋น ํ์ผ์ ์ต๊ทผ ์ฌ์ฉ/ ๋ณ๊ฒฝ ์๊ฐ์ ํ์ฌ ์๊ฐ์ผ๋ก ์์
5. 5๋ถ๋ง๋ค ๋ฐ์ดํฐ ์ ์ก ์์
- crobtab ์ค์
#crontab
crontab -e
*/5 * * * * sh /home/ubuntu/app/web/sub/sub.sh
- ์คํ ํ๋ก๊ทธ๋จ
# sub.sh
MY_HOME=/home/ubuntu
MY_PATH=$MY_HOME/app/web/sub
cat $MY_HOME/app/web/web.log | grep "item=" > $MY_PATH/step-1.log
cat $MY_PATH/step-1.log | cut -d "=" -f 2 > $MY_PATH/step-2.log
cat $MY_PATH/step-2.log | cut -d "," -f 1 > $MY_PATH/step-3-raw.log
cat $MY_PATH/step-3-raw.log | sort -n > $MY_PATH/step-4.log
cat $MY_PATH/step-4.log | uniq -c > $MY_PATH/step-5-sum.log
ssh [username]@[์ ์ก์๋ฒ] mkdir -p /home/ubuntu/data/sub
#ํ์ผ์ด ์๋ ๊ฒฝ์ฐ ์ญ์
ssh [username]@[์ ์ก์๋ฒ] rm /home/ubuntu/data/sub/DONE
#RAW.log ์ ์ก
scp $MY_PATH/step-3-raw.log [username]@[์ ์ก์๋ฒ]:/home/ubuntu/data/sub/RAW.log
sleep 10
#SUM.log ์ ์ก
scp $MY_PATH/step-5-sum.log [username]@[์ ์ก์๋ฒ]:/home/ubuntu/data/sub/SUM.log
sleep 10
#์๋ฃ ์ถ๋ ฅ
echo "END"
#DONE flag ์์ฑ
ssh [username]@[์ ์ก์๋ฒ] touch /home/ubuntu/data/sub/DONE
6. ๊ธฐํ linux ๋ช ๋ น์ด
ls *sub* #sub์ด ๋ค์ด๊ฐ ๋ชฉ๋ก ์ถ๋ ฅ
ls -l #์์ธ ํ์ผ ๋ชฉ๋ก
#sub ํด๋ ์์ฑ ํ ํด๋น ํด๋์ web.log ๋ณต์ฌ
mkdir sub
cd sub
cat ../web.log > 1.log
#manual [๋ช
๋ น์ด]
man cat
#์์ ์คํ; ๋ค์ ์คํ
sh sub.sh;cat step-3.log'๐ Data > Engineering' ์นดํ ๊ณ ๋ฆฌ์ ๋ค๋ฅธ ๊ธ
| [Airflow] Airflow Standalone ์ค์น ๋ฐ ํ ์คํธ (0) | 2023.05.26 |
|---|---|
| [Airflow/AWS] Airflow - Trigger Rule (0) | 2023.05.25 |
| [AWS] Airflow๋ฅผ ํ์ฉํ์ฌ AWS S3๋ก ํ์ผ ์ ์กํ๊ธฐ (0) | 2023.05.24 |
| [Airflow with Docker] Airflow ๋ฐ Docker ๋ช ๋ น์ด ๊ธฐ์ด (0) | 2023.05.23 |
| [LINUX] ๊ธฐ๋ณธ ๋ฆฌ๋ ์ค ๋ช ๋ น์ด ์ค์ต (0) | 2023.05.18 |