Textpattern - на русском языке

leon написал:

Задача решилась использованием <txp:article limit=1,2 /> то есть включение limit=1,2 в данный тэг не позволило выводить статьи, так как txp:article не понимет условие limit=1,2 но результаты поиска начали выводиться в том месте где записано <txp:article limit=1,2 />

на главном форуме пишут про неработающий limit=1,2:

please ignore that.
for anyone else wondering: attribute offset=”x” replaces limit=”x,y” attribute since revision 385.

Evgeny написал:

kislitsyn написал:

А независимый от регистра поиск появился? :-)

Ирония неуместна, хотя и понятна :-))

Нет, к сожалению, регистр букв при поиске в русском языке, по прежнему не учитывается :-((
Это связано с некорректной работой строковых функций в php c utf-8.

Некоторое время назад Martian написал мне, что эту проблему решить можно, но это - непросто. В том смысле, что не одну-две строчки в коде переделать.
Так как регулярно идут обновления версий (видимо 4.0.2 уже не за горами), как-то неловко возвращаться к тому разговору, поддерживать большой блок изменений в условиях постояных обновлений версий крайне тяжело. К тому же, там могут еще и глюки дополнительные вылезти. Поэтому эта тема отложена до лучших времен.

Тем не менее, поиск, что присутствует сейчас, пусть и неполноценный, в некоторых случаях может быть полезен и его нельзя уж совсем сбрасывать со счетов.

Martian написал:

День добрый.
Там проблема собственно, как я понял, в не совсем корректном создании и работе с базой в utf8.
Можно легко сделать работающим регистронезависимый поиск, если _перед_! установкой добавить пару строчек, а именно:
1:
textpattern/lib/txplib_db.ph
В function DB()
после 18 строки
} else $GLOBALS['connected'] = true;
добавляем
mysql_query("SET NAMES utf8");
2:
textpattern/setup.php
В function printConfig() после строк:
echo graf('Connected.');                                                                         
if (!$mydb = mysql_select_db($ddb)) {                                                             
        exit(graf("Database ".strong($ddb)." doesn't exist. Please create it or choose another."))
}                                                                                                 
Это 115-117 строки файла, тоже вставляем
mysql_query("SET NAMES utf8");
И уже после изменений запускать сетап и создавать базу.
Номера строк могут не соответствовать, у меня версия не сильно свежая. Но идея, надеюсь, понятна.
На уже работающем сайте это не поможет (во всяком случае не помогает в моей конфигурации). И как корректно сконвертировать данные я пока не знаю

Добавление:
Возможно нужно будет добавить
default-character-set=cp1251
В секцию [mysql] конфигурационного файла MySQL - my.cnf

Nicck написал:

Martian написал:

Можно легко сделать работающим регистронезависимый поиск, если _перед_! установкой добавить пару строчек, а именно:
1:
textpattern/lib/txplib_db.ph
В function DB()
после 18 строки
} else $GLOBALS['connected'] = true;
добавляем
mysql_query("SET NAMES utf8");

В txp 4.0.1 "SET NAMES utf8" уже делается, об этом я как-то уже упоминал, но не в связи с поиском.
textpattern/lib/txplib_db.php:36

Код:

        if ( isset($txpcfg['dbcharset']) && (intval($version[0]) >= 5 || preg_match('#^4\.[1-9]#',$version)) )
            mysql_query("SET NAMES ". $txpcfg['dbcharset']);

Martian написал:

2:
textpattern/setup.php
В function printConfig() после строк:
echo graf('Connected.');                                                                         
if (!$mydb = mysql_select_db($ddb)) {                                                             
        exit(graf("Database ".strong($ddb)." doesn't exist. Please create it or choose another."))
}                                                                                                 
Это 115-117 строки файла, тоже вставляем
mysql_query("SET NAMES utf8");
И уже после изменений запускать сетап и создавать базу.
Номера строк могут не соответствовать, у меня версия не сильно свежая. Но идея, надеюсь, понятна.

textpattern/setup/index.php:201

Код:

// On 4.1 or greater use utf8-tables
        $version = mysql_get_server_info();
        if ( intval($version[0]) >= 5 || preg_match('#^4\.[1-9]#',$version)) 
        {
            if (mysql_query("SET NAMES utf8"))
            {
                $carry['dbcharset'] = "utf8";
                $carry['dbcollate'] = "utf8_general_ci";
            } else $carry['dbcharset'] = "latin1";
        } else $carry['dbcharset'] = "latin1";

для mysql4+ как видишь выполняется всё что надо.

Опиши в чём собственно проблема, почему не ищется, и где мне об этом почитать. Голое рещение конечно хорошо, но данных недостаточно чтоб начать чувствовать, что решение близко и начать его искать.

Nicck написал:

Работаю на MySQL 4.1.8-max и поиск регистрозависим. Ссылки не помогли.

Evgeny написал:

решил воспользоваться паролем

для хорошего дела ничего не жалко
посмотрел на развитие упомянутой библиотеки PCRE  http://sourceforge.net/project/showfile … p_id=10194 , действительно изменений много. полистал changelog на http://www.pcre.org/ , понял мало, но изменений по работе с utf8 много.

Отредактированно Yurik (04-10-2005 12:52:07)

у меня тоже 2003 года

Nicck написал:

Если знаете что такое diff и patch то вот файлы:

а что такое diff и patch?

Denny написал:

НАДО!!! Я думаю все будут премного благодарны.

Дописал. Вот новая функция:
(ниже по тексту есть ссылки на уже поправленные файлы)

// -------------------------------------------------------------
    function search_result_excerpt($atts) 
    {
        global $thisarticle, $q;
        extract(lAtts(array(
            'hilight'     => 'strong',
        ),$atts));
        
        if (empty($thisarticle)) return;
        
        extract($thisarticle);
        
        $result = strip_tags(preg_replace("/>\s*</","> <",$body));
    
        // UTF-8 //
        $up = explode(" ", "А Б В Г Д Е Ё Ж З И Й К Л М Н О П Р С Т У Ф Х Ц Ч Ш Щ Ъ Ы Ь Э Ю Я");
        $dw = explode(" ", "а б в г д е ё ж з и й к л м н о п р с т у ф х ц ч ш щ ъ ы ь э ю я");
    
        $res_up = str_replace($up, $dw, $result);  // to lowercase
        $q_up = str_replace($up, $dw, $q);         // to lowercase
        $res_len = strlen($res_up);
        $q_len = strlen($q_up);
    
        // найдём позиции искомой строки в тексте (уже без тэгов)
        $pos = array();
        for ($i=0; $i < strlen($res_up); $i++) if (substr($res_up,$i,$q_len) == $q_up) $pos[] = $i;
    
        // выделим интервалы которые мы будем выводить: \s<-- ~40 символов -->слово<-- ~40 символов -->\s
        // вобще 40 это для кирилицы, на латиницу бедет по 80 примерно. utf-8 однако.
        $pos = array_chunk($pos,1);
        for ($i=0; $i < sizeof($pos); $i++)
        {
            $rt = $pos[$i][0] + 80 + $q_len;
            $lt = $pos[$i][0] - 80;
            if ($lt < 0) $lt = 0;
            if ($rt > $res_len) $rt = $res_len;
            while ($res_up{$lt}!=" " and $lt>0) $lt--;
            while ($res_up{$rt}!=" " and $rt<$res_len) $rt++;
            $pos[$i][1] = $lt;
            $pos[$i][2] = $rt;
        }
        // теперь Array ( Array ( 0 => позиция слова,
        //                        1 => начало интервала,
        //                        2 => конец интервала ), ... )
    
        // если интервалы пересекаются:
        // |        ~40     предыдущий     ~0..80       |   текущий    ~40      |
        // <-- перед словом -->слово<-- между словами -->слово<-- после слова -->
        for ($i=1; $i < sizeof($pos); $i++)
            if ($pos[$i][1] <= $pos[$i-1][2])
            {
                $pos[$i][1] = $pos[$i][0];
                $pos[$i-1][2] = $pos[$i][0];
            }

        foreach($pos as $val)
        {
            if ($val[0] != $val[1]) $ret .= " ... ";
            $ret .= substr($result, $val[1], $val[0]-$val[1]);
            $ret .= "<$hilight>" . substr($result, $val[0], $q_len) . "</$hilight>";
            $ret .= substr($result, $val[0]+$q_len, $val[2]-$val[0]-$q_len);
        }
        return    $ret .= $ret ? " ..." : '';
    }

// -------------------------------------------------------------

Необходимость править publish.php остаётся. Об этом вчера писал.
!!! taghandlers.php должен быть в utf-8

Если у вас нет текстового редактора то вот вам:
nck_search_mod.zip
уже готовые поправленные файлы, вам остаётся только заменить свои старые на них.

taghandlers.php там кстати, не тот, что был в поставке 4.0.1 когда я её качал,чуть посвежее, что-то там пофиксили.

Denny написал:

И нужно бы ещё как-то связаться с Dean'ом или другими разработчиками и окончательно решить эту проблему в следующих релизах...

Моё решение не универсально, т.е. правка publish.php конечно приводит к тому, что поиск в базе начинает работать, но вот новая функция search_result_excerpt() реализует подсветку только для кирилицы.

Вчерашний вариант кстати должен подойти всем, но у него есть недостаток (результаты поиска выводятся в нижнем регистре).
upd: это я погорячился, не подойдёт он тоже.

Отредактированно Nicck (13-10-2005 18:02:00)

То что решение есть, это отлично!
Не надо забывать, что это - хак, со всеми связанными с этим проблемами по поддержке хака от версии к версии.
Может быть можно оформить его таким образом, чтобы менялась одна-две строчки в "родном" коде?

в принципе- да. тут дело уже личных предпочтений.

Дорабатываем решение:

1. Изменённая строка для publish.php

$search = " and (replace(upper(Title),'Ё','Е') rlike replace(upper('$q'),'Ё','Е') or replace(upper(Body),'Ё','Е') rlike replace(upper('$q'),'Ё','Е')) $s_filter";

2. Изменённые строки в функции search_result_excerpt файла taghandlers.php

$up = explode(" ", "А Б В Г Д Е Ё ё Ж З И Й К Л М Н О П Р С Т У Ф Х Ц Ч Ш Щ Ъ Ы Ь Э Ю Я");
$dw = explode(" ", "а б в г д е е е ж з и й к л м н о п р с т у ф х ц ч ш щ ъ ы ь э ю я");