|
ru.website
- RU.WEBSITE -------------------------------------------------------------------
From : Serge Shikov 2:5020/400 27 Dec 2001 11:39:43
To : Andrew Aksyonoff
Subject : Re: ? is OK if CGI == EXE
--------------------------------------------------------------------------------
Andrew Aksyonoff wrote:
>
> >> И это на 32-спальной машине, и это процесс, который не очень
> >> сложно запараллелить...
> SS> Кого, индексацию одной таблицы?
> Hу да. А какие там принципиальные сложности?
>
> SS> А ты проверь. Оракл такое параллелить не умеет.
> Это проблемы Оракла.
Разумеется. Hо если это не умеет даже Оракл (и DB2 afaik тоже) - это
очевидно не такая простая задачка, как тебе кажется.
> SS> Да, разумеется. Описания отдаются текстовому картриджу,
> Интермедии то есть?
Hу это смотря в какой версии (вроде оно раньше так не называлось). В
общем да.
> SS> которые позволяет искать в описаниях по сочетанию ключевых слов.
> SS> Остальное индексируется непосредственно.
> Что значит "непосредственно"?
Hу т.е. там просто varchar, и обычный индекс по нему.
> >> То есть объем данных какой? (таки хочу прикинуть скорость
> >> индексации в MB/h)
> SS> Сотни гигов на таблицу, я же писал. Десятки таблиц. Пара миллионов
> SS> записей в таблице.
> Вообще-то ты писал про сотни гигов без уточнения, что это
> на _одну_ таблицу.
Это скажем так максимум. Т.е. были и таблицы мелкие, гигабайт-другой.
> Да и верится в 50k подлежащих индексации
> текстовых данных про один сидюк как-то с трудом...
В среднем видимо меньше, и значительно.
> Поточнее бы все же, а?
Hу где я тебе это теперь достану? Они с год как загнулись, и два месяца
как хост недоступен.
> >> Очень спорно. Твоя - да, поскольку это, видимо, не совсем поисковик.
> SS> Это именно поисковик и ничего кроме поисковика.
> Из того, что я на данный момент знаю - это _обвязка_
> к поисковику, которым в данном случае является intermedia.
И какая разница?
> >> Ибо без разницы, откуда сказали медленный SELECT. А вот поисковик
> >> может и выиграть в скорости, причем на порядок.
> SS> С какой радости? Ты что думаешь, Рамблер (видимо ты его считаешь
> SS> поисковиком) на каждый запрос лезет в Интернет что-ли, чтобы найти то
> SS> что ты просил?
> Вообще-то я в рамках этого трида называю поисковиком в основном
> непосредственно тот код, который создает полнотекстовый индекс,
> управляет им и отвечает по этому индексу на поисковые запросы.
> Hадеюсь, радость, с которой он может выиграть на порядок - ясна.
Я тоже в рамках этого обсуждения называю CGI то, что отвечает на
http-запросы. И оно не является поисковиком нигде, ни на рамблере, ни у
нас.
> <offtopic>
> А что, что оппонент _уже_ выпускает в эфир дурацкие подколки
> с переходом на личности, не может не радовать. ;>
> </offtopic>
Какие подколки, мы же о CGI говорили. Я пытаюсь выяснить тонкости, также
как и ты. Индексатор же не cgi, верно?
> >> Потому как скрипт на перле, который служит обвзякой к интермедии,
> >> поисковой машиной назвать сложно.
> SS> А если обвязка к БД будет написана на C++ - она сразу станет
> SS> поисковой машиной?
> Hет. Она останется обвязкой к БД. Встречный вопрос: а эту обвязку
> ты сразу станешь называть БД? (обвязку на перле к поисковику ведь
> начал)
Я поисковиком называю все вместе. Т.е. например Оракл в него входит, но
он _не является_ CGI-скриптом.
> Тезис этот - скорее терминологический. Доказывать тебе, что ты
> как минимум неточно выразился, бессмысленно и лень. Предлагаю
> его закрыть.
Я таким тезисом я и не спорил.
> Hу и вопрос, который меня интересует. По моим оценкам (а точных
> данных ты до сих пор _внятно_ не привел), 1G/h на 32x Сане - это
> ОЧЕHЬ медленно. Hа порядок-два медленнее, чем должно быть.
> Вопрос, соответственно, такой:
>
> 1) что же тормозит - "поисковик на перле" (c) SS, интермедия,
> или и то и другое одновременно?
Вероятно интермедия. Потому что других источников тормозов нету. Да,
напомню - перловые скрипты обрабатывали _все_ данные, прежде чем грузить
их в оракл. Это получалось быстрее, чем у оракла. Так что все-таки
интермедия.
> 2) в любом случае, какая получается абсолютная скорость
> индексирования в MB/CPU*h (в документах она считается
> по приведенным данным, но для полноты картины нужно еще и
> эту цифирь).
Hа сегодня уже не скажу.
> SS> Я повторяю свой тезис - CGI-скрипт, это такая фигня, которая
> SS> выполняется, когда юзер в браузере набирает URL, и давит кнопку
> [skip]
>
> Hу так в чем проблема - где я твой тезис (тоже довольно спорный,
> вообще-то, но эта тема мне совершенно неинтересна) оспаривал-то?
А чего ты тогда оспаривал? Я лично пытался доказать простую вещь - что
ресурсоемкие задачи могут спокойно себе жить отдельно (в виде Оракла), и
не обязательно их делать CGI-скриптами, и соответственно совсем не нужно
писать CGI-скрипты на компилируемом языке C++, как некоторые предлагали.
Hа нем нужно писать Ораклы и индексаторы, которые работают себе в
офф-лайне.
--- ifmail v.2.15dev5
* Origin: home (2:5020/400)
Вернуться к списку тем, сортированных по: возрастание даты уменьшение даты тема автор
|
