Задача на собеседовании админу

[ocehb]

Придумал subj: как стандартными средствами в gnu уних/линух окружении
запустить на параллельное выполнение задачи, чтобы la не превышал какое-либо
значение. Например: есть каталог с тучей больших файлов, всех их надо
зипнуть или гзипнуть, задания можно запускать параллельно,
общий la не должен превышать 2.5.

пс. наверно пятничная задачка :)

Comments

[tarkhil.livejournal.com]

Ну вообще-то один гзип дает LA=1...

[ocehb]

ну значит будет 2.5 задачи. зипование как пример.

[knutov.livejournal.com]

Не все так просто :)

Если бы все упиралось только в проц - было бы LA=1. Но гзип не на ссд выест все дисковые иопсы и по цепочке тупить начнет всё. И вот как бы в этой ситуации придумать так, чтобы приоритет на иопсы от гзипа автоматически понижался чтобы LA не поднималось выше заданного - это действительно интересная задачка.

Вот только дешевле тупо просто вообще все перевести на ссд.

[nponeccop.livejournal.com]

По условию задачи у нас гзип с тучей больших файлов и не 100500 ядер, а 2-3.

В такой ситуации gzip не выест ни IOPS, ни transfer speed. У Gzip никудышный по современным меркам алгоритм, скорость сжатия порядка 20 мб на ядро. Т.е. задача cpu-bound.

Но в условии не сказано, что крутится на машине. На непустой задаче мы вполне сможем упереться в IO, но, как я понимаю, загрузка всего лишь перейдет в графу wa, т.е. принципиально не важно, во что мы уперлись.

Можно попробовать слать гзипам стоп-конт, можно попробовать запустить процессы в cgroup и менять группе cpu.shares, но это linux specific/

[knutov.livejournal.com]

А ответ будет?

[ocehb]

а надо сейчас, или завтра? :)
просто интересны и альтернативные варианты.

[knutov.livejournal.com]

Без разницы, мне просто интересно.

[ocehb]

# gmake -l 2.5 -j -f -
%.log.bz2: %.log; bzip2 -9q $<
all: $(addsuffix .bz2,$(wildcard *.log))
^D

в принципе, можно поставить и ограничение в -j чтобы на старте много
процессора не забирало.

[knutov.livejournal.com]

Круто. Я о таком варианте вообще не думал )

[ocehb]

ну я и написал -- "пятничная" :)

[vlad (from livejournal.com)]

в принципе правильно, но смахивает на читерство ;)

задачка из разряда: как передать параллельно кучу файлов с суммарной скоростью не больше 100кб/сек

[ocehb]

были бы интересны и другие варианты, которые и без gmake работают,
пока не придумал.

[vlad (from livejournal.com)]

ну тут в любом случае необходим некий диспетчер (сейчас это make), который будет следить за LA и ограничивать. можно его баше написать, можно на руби,js,C и тп, принципиальной разницы нет