Bash 的威力

正文

请到「今天看啥」查看全文

#!/bin/bash
BUCKET=tubitv-awesome-logs
PREFIX=${1:-20171111}
trap ctrl_c INT
function ctrl_c() {
  echo "** User stopped the process with CTRL-C"
  exit $?
}
for key in `aws s3api list-objects --bucket $BUCKET --prefix $PREFIX | jq -r '.Contents[].Key'`
do
  sleep 1
  aws s3 cp s3://$BUCKET/$key - | gunzip -c | log_parser
done

这个 bash 脚本接受一个参数，是 S3 object 的 prefix（文件路径），如果不传，就用默认值。然后，我们用 aws s3api list-objects --bucket $BUCKET --prefix $PREFIX 这个 CLI 获取 bucket 下所有含有 prefix 的 object。s3api 返回 JSON 格式的数据，我们可以用 jq 对其解析，获取每个 object 的 Key，也就是文件名。注意这里我们用了 pipe，aws CLI 的结果被 pipe 给了 jq。

稍微补充一下 pipe 的概念。在 unix 中，程序的输出如果没有特别指定，会输出到一块叫 stdout 的内存中。pipe 操作会将上一个程序的 stdout 的数据放入下一个程序的 stdin。

对于拿到的每个 key，我们循环处理，怎么处理呢？

请到「今天看啥」查看全文