(no subject)

[alex_dragon]

Чё-то туплю. Народ, кому-нить попадался пример скрипта на bash, который бы рекурсивно обходил директории, обрабатывал находящиеся там файлы, при этом результат обработки файлов сохранял бы в другой директории с сохранением структуры исходных каталогов? Это актуально, например, при массовом перекодировании медиа.

Comments

[lefantasy.livejournal.com]

find . -name "*.*" -exec PROGRAM VAR1 > ./newdir/{}

?

Не пробовал.

[alex_dragon]

Херня будет. Новые каталоги автоматически не создаются, их сперва создать надо, чтобы файл поместить. Кроме того, нужно как-то обработать смену расширения файла — ведь на выхлопе файл в другом формате.

[rdia.livejournal.com]

#!/bin/bash
# Программа вызывается с 2-мя аргументами
# PROGRAM in-file out-file

IN_DIR=$1/
OUT_DIR=$2/
PROGRAM=$3

# создаём структуру каталогов
for d in `find "$IN_DIR" -type d`; do
mkdir -p `echo $d | sed s%"$IN_DIR"%"$OUT_DIR"%`
done

for i in `find $IN_DIR -type f`; do
echo $i
$PROGRAM $i `echo $i | sed s%"$IN_DIR"%"$OUT_DIR"%`
done

[calcin.livejournal.com]

Если структура большая, обломается - результат find не поместится в аргументы.
Тут надо делать наоборот - перенаправлять find на xargs. А уже оттуда - запускать скрипт, который работает со своими аргументами.

find $IN_DIR -type d -print0 | xargs -0 do_something.sh "$PROGRAM" "$IN_DIR" "$OUT_DIR"

do_something аналогична вашему скрипту, только работает на аргументах.

[alex_dragon]

А я таки дотупил и допилил свой велосипед:

#!/bin/bash
fargs="-c:a copy -vn"
IFS=$'\n'
for file in $(find $1 -type f -iname '*.mp4' -printf "%p\n")
  do
	src_dir_abs=$(realpath $1)
	filename=$(realpath $file)
	dst_file=$(realpath --relative-base $src_dir_abs $filename)
	dst_dir=$(dirname $dst_file)
	dst_dir=$2/$dst_dir
	mkdir -p $dst_dir
	dst_file=$(basename $dst_file)
	dst_file=${dst_file%.*}.m4a
	args=$fargs\ \"$dst_dir/$dst_file\"
	eval "ffmpeg -i \"$filename\" $args"
  done

[rdia.livejournal.com]

Ну да, что-то такое. Если у вас слишком много каталогов и файлов, то вместо for можно использовать

while read file
do
< тело цикла из for >
done < $(find $1 -type f -iname '*.mp4' -printf "%p\n")

Что-то вроде этого.

Мой вариант сперва ищет каталоги, потом создаёт их, а затем пробегает по файлам, избегая повторных mkdir -p, но это очень быстрая команда. Короче, ваш вариант ничуть не хуже моего. И он 100% заточен под вашу задачу.

Я и был уверен, что он не вполне подходит к вашей задаче, т.к. создание полного Т.З. для таких скриптов занимает больше, чем время написания скрипта.

P.S.

sed s/// заменяет одну подстроку на другую. Самая удобная команда. Т.е.

echo "Привет котлет!" | sed s/Привет/Пока/

выдаст

"Пока котлет!"

Причём / можно заменить на любой другой символ. Типа sed s%a%b%

[alex_dragon]

Меня с толку знаки процента сбили. Я забыл, что в данном случае это просто произвольно задаваемый разделитель.

Тут, надо сказать, оказалось некоторое количество подводных камней. Типа отработки пробелов в именах. Но главное, меня, например, доканала обработка корневого каталога и ./ и ../, потому что они всю красоту рушат. А баш меня изумил тем, насколько всё делается через одно место. С одной стороны наворочено много чего, с другой — для элементарных действий надо с бубном плясать.

[rdia.livejournal.com]

Лучше while read, чем xargs.

[alex_dragon]

А чем While хорош?

[rdia.livejournal.com]

Там список файлов передается поточно, поэтому может быть хоть терабайтным. bash - очень хитрая штука, в ней потоки/конвейеры обрабатываются как в Хаскеле, лениво.

При этом, в отличие от xargs, вам не надо писать отдельный скрипт + интерпретатор bash, который иногда оказывается слишком жирным, запускается ровно один раз, а не на каждый файл.

А в for список файлов формируется заранее, поэтому может упереться в размер какого-то буфера. Но это должно быть очень много файлов, у вас вряд ли столько.

Но, в целом, такие скрипты делаются по месту, поэтому никто их не пишет "навсегда".

[alex_dragon]

Я пишу относительно редко и у меня скрипты подолгу живут, некоторыми годами пользуюсь. А поскольку окружение время от времени всё-таки меняется, то всегда есть манечка сделать наиболее универсально и при минимуме сторонних средств. В идеале — пользуясь только встроенными функциями самого интерпретатора. А то часта ситуация, когда в конкретном дистре вдруг нет по умолчанию утилиты, которая по идее в каждом утюге должна быть и которая во всех примерах поминается. Хорошо, когда интернет всегда под рукой. Но по закону подлости, бывает, что когда надо, как раз его и нету.

[alex_dragon]

Благодарю за ответ!
С седом только не силён. Не очень понял что он делает.

И, кстати, на именах каталогов с пробелами чудит.