|
ru.linux
- RU.LINUX ---------------------------------------------------------------------
From : Ilya Anfimov 2:5020/400 07 Dec 2007 15:19:45
To : Sergey Khvatov
Subject : Re: sed & awk
--------------------------------------------------------------------------------
2007-12-07, Sergey Khvatov <xbatob@techno.spb.ru> пишет:
> Fri Dec 07 2007 10:18, Alexey Vissarionov wrote to Alexander Stavitsky:
>
> AV> Доброго времени суток, Alexander!
>
> AV> 06 Dec 07 21:45, Alexander Stavitsky -> All:
>
> AS>> Ребят, нужна достаточно срочная помощь... Имеется самописный скрипт
> AS>> на bash, sed и awk, который парсит текстовый файл (вывод с sql) и его
> AS>> надо превратить в некую болванку csv (как после Excel). Так вот этот
> AS>> скриптик хорошо работает на маленьких файлах, а вот как загружаем в
> AS>> него нечто большое и писец. А дело в том, что он в цикле заполняет
> AS>> массив bash строками, налету фильтруя их sed и awk.
>
> AV> Для подобных действий существует perl.
>
> В целом правильно - только с таким объёмом данных будет ещё медленнее.
Чем что? Чем 3 часа? Боюсь, чтобы 20 метров на перле жэвались 3
часа надо чтобы он там линейные уравнения пачками с этимы данными решал.
>
> Сложно что-либо советовать, но 20 MB данных в текстовом файле - это уже плохо.
20 метров текста -- это секунд 5-10 пержёвывания.
> Вероятно их надо изначально складывать в БД, чтобы потом таких странных задач
> не возникало.
>
--- ifmail v.2.15dev5.4
* Origin: Demos online service (2:5020/400)
Вернуться к списку тем, сортированных по: возрастание даты уменьшение даты тема автор
|
