Textpattern - на русском языке

форум общения русскоязычных пользователей CMS Текстпаттерн

Вы не зашли.

#1 02-02-2007 10:19:45

RussianAustria
наш
Откуда: AT
Зарегистрирован: 14-01-2006
Сообщений: 211
Вебсайт

Как залить в Textpattern 8 000 000 страниц текста???

111

Отредактированно RussianAustria (25-11-2014 14:15:54)

Неактивен

 

#2 02-02-2007 11:49:33

Sergey
твёрдо
Зарегистрирован: 14-12-2005
Сообщений: 421
Вебсайт

Re: Как залить в Textpattern 8 000 000 страниц текста???

Наверное самый интересный вопрос за последние две недели smile

Честно говоря не знаю как это сделать, но пробовал бы так:
1. Нашел бы конвертер, который обрабатывает вордовские файлы и перевел все документы в *.txt с кодировкой UTF-8
2. Расковырял бы скрипт импорта в ТП из WordPress и натравил на текстовые файлы.

А для чего это нужно? Может быть имеет смысл подсасывать сразу из файлов?

Неактивен

 

#3 02-02-2007 12:01:06

Evgeny
ять
Зарегистрирован: 15-03-2005
Сообщений: 1869

Re: Как залить в Textpattern 8 000 000 страниц текста???

ого! какие объемы!!!
пару раз решал задачи разового массового ввода (несколько сотен-тысяч) статей в ТхП.
но 8 млн...!
даже не представляю, как будет работать МайСКЛ на таких объемах...

Сергей обозначил правильное направление:
1. Преобразование документов в текст
2. Массовая вставка данных.  (Но мне кажется рациональнее отдельный скриптик написать специально для этого случая).

Неактивен

 

#4 02-02-2007 12:05:04

RussianAustria
наш
Откуда: AT
Зарегистрирован: 14-01-2006
Сообщений: 211
Вебсайт

Re: Как залить в Textpattern 8 000 000 страниц текста???

111

Отредактированно RussianAustria (25-11-2014 14:16:04)

Неактивен

 

#5 02-02-2007 12:05:23

Sergey
твёрдо
Зарегистрирован: 14-12-2005
Сообщений: 421
Вебсайт

Re: Как залить в Textpattern 8 000 000 страниц текста???

даже не представляю, как будет работать МайСКЛ на таких объемах...

Если не умрет, то тормоза будут дикие. Ты представь сколько будут индексы полей весить smile

Неактивен

 

#6 02-02-2007 12:08:47

RussianAustria
наш
Откуда: AT
Зарегистрирован: 14-01-2006
Сообщений: 211
Вебсайт

Re: Как залить в Textpattern 8 000 000 страниц текста???

111

Отредактированно RussianAustria (25-11-2014 14:16:13)

Неактивен

 

#7 02-02-2007 12:10:32

Evgeny
ять
Зарегистрирован: 15-03-2005
Сообщений: 1869

Re: Как залить в Textpattern 8 000 000 страниц текста???

RussianAustria написал:

Каким способом?

Написал выше.
я специально писал скрипт.
такого плана задачи очень индивидуальны.
надо заранее некоторые организационные моменты предусмотреть с определением категорий, секций и т.п.
учесть вопросы по организации данных - т.к. объемы большие и 10 раз не перезальешь...

Неактивен

 

#8 02-02-2007 12:15:52

glebotr
ять
Зарегистрирован: 25-06-2005
Сообщений: 1974
Вебсайт

Re: Как залить в Textpattern 8 000 000 страниц текста???

Делаешь сайт с досье на всех питерцев? wink


Пх’нглуи мглв’нафх Ленин Красная площадь вгах’нагл фхтагн
(В своем доме на Красной площади мертвый Ленин спит, ожидая своего часа (ктулх.))

Неактивен

 

#9 02-02-2007 12:17:03

Evgeny
ять
Зарегистрирован: 15-03-2005
Сообщений: 1869

Re: Как залить в Textpattern 8 000 000 страниц текста???

RussianAustria написал:

В любом случае надо пробовать сколько влезит максмально.

В боевых условиях (не на ТхП) проверял - до миллиона записей (каждая запись таблицы - немного текста)  МайСКл работал терпимо.
дальше все тормозило. Но это было давненько, хотя сервер был не плохой.

При таких объемах многое будет от железа зависеть.

Ты скажи - вопрос носит теоретический характер или и вправду есть необходимость такая?

P.S. Из любопытства - сколько места на жестком занимают 8 миллионов файлов в .doc?

Неактивен

 

#10 02-02-2007 12:21:13

RussianAustria
наш
Откуда: AT
Зарегистрирован: 14-01-2006
Сообщений: 211
Вебсайт

Re: Как залить в Textpattern 8 000 000 страниц текста???

111

Отредактированно RussianAustria (25-11-2014 14:16:25)

Неактивен

 

#11 02-02-2007 12:23:21

RussianAustria
наш
Откуда: AT
Зарегистрирован: 14-01-2006
Сообщений: 211
Вебсайт

Re: Как залить в Textpattern 8 000 000 страниц текста???

У меня в руках HardDisk на 400 кг. Сколько инфа занимает места напишу когда подключу диск.

Неактивен

 

#12 02-02-2007 16:36:38

RussianAustria
наш
Откуда: AT
Зарегистрирован: 14-01-2006
Сообщений: 211
Вебсайт

Re: Как залить в Textpattern 8 000 000 страниц текста???

111

Отредактированно RussianAustria (25-11-2014 14:16:35)

Неактивен

 

#13 02-02-2007 19:10:04

Evgeny
ять
Зарегистрирован: 15-03-2005
Сообщений: 1869

Re: Как залить в Textpattern 8 000 000 страниц текста???

20 кг - это 20 Гигабайт?

вопрос, в общем-то, действительно был из любопытства.
Просто прикинуть - какое минимальное железо должно быть под такой объем.

но что-то не сходится.
при минимальном размере doc-файла 20кБ, перемножив на 8 млн. файлов - получается 160 гБ
либо doc-файлы какие-то странно маленькие, либо файлов - не 8 млн, либо у меня что-то с арифметикой...

Проект по любому - какой-то серьезный планируется.

Судя по всему - изменяться данные после ввода не будут?
Может быть рациональнее не использовать ТхП под такую задачу?
а все делать в html или shtml файлах?

Неактивен

 

#14 04-02-2007 21:50:16

untitledds
глаголь
Откуда: Москва
Зарегистрирован: 21-05-2005
Сообщений: 39

Re: Как залить в Textpattern 8 000 000 страниц текста???

все это сделать проще в django imho

Неактивен

 

#15 04-02-2007 21:55:18

glebotr
ять
Зарегистрирован: 25-06-2005
Сообщений: 1974
Вебсайт

Re: Как залить в Textpattern 8 000 000 страниц текста???

По-моему, это ни на чем не просто. Нужна автоматизация какая-то.


Пх’нглуи мглв’нафх Ленин Красная площадь вгах’нагл фхтагн
(В своем доме на Красной площади мертвый Ленин спит, ожидая своего часа (ктулх.))

Неактивен

 

#16 05-02-2007 00:37:25

RussianAustria
наш
Откуда: AT
Зарегистрирован: 14-01-2006
Сообщений: 211
Вебсайт

Re: Как залить в Textpattern 8 000 000 страниц текста???

111

Отредактированно RussianAustria (25-11-2014 14:16:47)

Неактивен

 

#17 05-02-2007 10:45:41

Evgeny
ять
Зарегистрирован: 15-03-2005
Сообщений: 1869

Re: Как залить в Textpattern 8 000 000 страниц текста???

RussianAustria, это возможно практически.
Последовательность действий расписана выше.

Неактивен

 

Board footer

RSS   Rambler's Top100
Powered by PunBB
Textpattern.ru