Вторник, 21.11.2017, 00:17
Dansguardian+ и не только
Главная Регистрация Вход
Приветствую Вас, Гость · RSS
[ Новые сообщения · Участники · Правила форума · Поиск · RSS ]
Страница 2 из 3«123»
Форум » Фильтрация » Делимся опытом » Мой сервер (Мой сервер)
Мой сервер
MurphyДата: Четверг, 20.12.2012, 22:33 | Сообщение # 16
Рядовой
Группа: Пользователи
Сообщений: 11
Репутация: 0
Статус: Offline
ОСЬ использую Debian 6. squenze

Ничего необычного не нашел, за исключением нескольких строчек

Добавлено (20.12.2012, 22:24)
---------------------------------------------
Сам лог запуска.

Добавлено (20.12.2012, 22:25)
---------------------------------------------

Добавлено (20.12.2012, 22:25)
---------------------------------------------

Добавлено (20.12.2012, 22:26)
---------------------------------------------

Добавлено (20.12.2012, 22:27)
---------------------------------------------

Добавлено (20.12.2012, 22:27)
---------------------------------------------
Пока использую редиректор, немного похожий на твой. Он включает безопасный поиск на Яндекс и Гугл

Добавлено (20.12.2012, 22:33)
---------------------------------------------
В принципе ничего так, работает.
Но необходим фильтр плохих выражений в поисковике. Мне твой скрипт очень понравился, то что нужно.
Сам скрипт работает. Как сказано в твоем REАDME

Это вывод работы скрипта.

Code

root@server:/home/user# redir.pl
www.google.com/q=porno 1 2 3 4 5
www.google.com/q=-----------&safe=on 1 2 3 4 5
 
VitoДата: Пятница, 21.12.2012, 12:57 | Сообщение # 17
Подполковник
Группа: Администраторы
Сообщений: 131
Репутация: 2
Статус: Offline
Сейчас попробовал - скорее всего проблемы с правами доступа.
Я рассмотрю на примере Ubuntu, думаю в Debian не сильно будет отличаться. Для всех команд подразумевается что ваш текущий каталог - каталог с соответствующими файлами.
Пользователь прокси - proxy
Группа прокси - proxy
У вас может быть другие пользователь и группа от имени которых работает прокси, они разные в разных дистрибутивах.
Сам файл редиректора должен иметь разрешение на запуск, чтение и запись для владельца, для остальных - только запуск
chmod 711 redir.pl
потом устанавливаем владельца и группу
chown proxy:proxy redir.pl

Для файлов - списков необходимо задать права на чтение для всех и запись для владельца
chmod 644 search_words.txt
chmod 644 search_good.txt
chmod 644 search_sites.txt


и соответственно задать владельца и группу
chown proxy:proxy search_words.txt
chown proxy:proxy search_good.txt
chown proxy:proxy search_sites.txt


Просто вполне может быть что права у редиректора правильные, а сам редиректор не может прочитать один из файлов, и выкидывает ошибку
естественно squid стопорится, поскольку ожидает строку привычного формата, а не текст об отсутствии файла.
Когда проверяете вручную запуск, то редиректор запущен с правами root и свободно получает доступ к своим конфигурационным файлам, а когда он запускается самим Squid с uid и gid прокси-сервера,то он может и не прочитать свой конфиг, если тот не имеет правильных прав доступа.
Надеюсь, в доступной форме изложил.
 
MurphyДата: Понедельник, 24.12.2012, 11:45 | Сообщение # 18
Рядовой
Группа: Пользователи
Сообщений: 11
Репутация: 0
Статус: Offline
Спасибо большое, видимо действительно были проблемы с правами, по сути все работает. Осталось только немного потестить и все.

Добавлено (24.12.2012, 11:45)
---------------------------------------------
Вот на этих поисковиках скрипт не работает.

Код

altavista.com
au.ru
bing.com
find.ru
search.icq.com
metabot.ru
ramdex.ru
poisk.ru
search.qip.ru
tyndex.ru
vengo.ru
webalta.ru
search.yahoo.com
yottos.ru
 
VitoДата: Понедельник, 24.12.2012, 12:36 | Сообщение # 19
Подполковник
Группа: Администраторы
Сообщений: 131
Репутация: 2
Статус: Offline
Вы можете сами добавлять любые поисковики
например когда ищите в бинг картинку "Я"
то в адресной строке после выполнения запроса выводится
http://www.bing.com/images/search? q=Я&FORM=HDRSC2
по сути q=Я и есть наш запрос.

в файл search_sites добавляем строку
bing.com/images/search;q;;
где bing.com/images/search - адрес скрипта/страницы поиска
a q - параметр для программы поиска
http://www. bing.com/images/search?q=Я&FORM=HDRSC2

Не рекомендую слишком упрощать первое значение строки,
так как слишком увеличится объем работы у скрипта.
хотя если сайт чисто поисковик, то это допустимо.
Лучше прописать лишние строки в search_sites,
чем заставлять скрипт лопатить ненужные адреса.
 
MurphyДата: Вторник, 25.12.2012, 10:08 | Сообщение # 20
Рядовой
Группа: Пользователи
Сообщений: 11
Репутация: 0
Статус: Offline
У меня есть одна идея, но сам реализовать ее не смогу, так как в скриптах не силен.
Что если к твоему скрипту прикрутить баннерорезалку, но что бы подменяла банер на свой.
Конечно это нагрузит сервер, но думаю, это того стоит.
что то типа этого:
Код
http://e-wars.net/2012/05/16/9-5-6-podmena-bannera/
 
VitoДата: Вторник, 25.12.2012, 10:24 | Сообщение # 21
Подполковник
Группа: Администраторы
Сообщений: 131
Репутация: 2
Статус: Offline
Я вас прекрасно понял.
Насчет функционала баннерорезалки.
Надо подумать, на Perl будет достаточно медленно, обычно редиректоры с таким функционалом пишутся на С или C++.
Одно время была хорошая программа bfilter - по сути прокси-сервер, режущий рекламу, какое развитие у нее сейчас даже и не знаю.
Если будете ее пробовать, то пробуйте не на сервере.
Я использую функционал Dansguardian.
Кто-то предпочитает Rejik.
Есть ещё одна мысль, попробую на работе реализовать и напишу.
 
VitoДата: Вторник, 25.12.2012, 16:18 | Сообщение # 22
Подполковник
Группа: Администраторы
Сообщений: 131
Репутация: 2
Статус: Offline
Возможно запускать несколько редиректоров одновременно, конечно будут некоторые потери в скорости,
но для большинства применений я думаю вполне хорошо будет работать.

Чтобы не повторяться я описал способ в FAQ.
Прямая ссылка.
http://dansguardian.ucoz.ru/faq....-6

Кстати алгоритм своего скрипта я предлагал автору Rejika в качестве дополнительной функции.
Но автор Rejika посчитал ненужной функциональность моего редиректора.
Его ответ больше напоминал отписку, да, он показал способ как сделать на регулярных выражениях,
но меня не устроил его способ, так как он слишком трудоёмкий, для меня по крайней мере...

Если что-то не понятно, спрашивайте.
 
MurphyДата: Среда, 26.12.2012, 11:07 | Сообщение # 23
Рядовой
Группа: Пользователи
Сообщений: 11
Репутация: 0
Статус: Offline
Заметил еще один изъян в работе скрипта.
Когда посылается запрос через https, то он не блокирует нежелательные результаты. Пропускает все.
 
VitoДата: Среда, 26.12.2012, 15:03 | Сообщение # 24
Подполковник
Группа: Администраторы
Сообщений: 131
Репутация: 2
Статус: Offline
Это не изъян скрипта.
Эта особенность https исключающего человека или компьютер посередине канала связи, перехватывающего данные.
Все SSL соединения идут напрямую через Squid в обход редиректора
что подтверждает вот это правило в squid.conf
acl Safe_ports port 443 # HTTPS
acl CONNECT method CONNECT

http_access deny CONNECT !SSL_ports
Дословный перевод.
Запретить все соединения методом CONNECT(напрямую) кроме SSL-портов.
если убрать !SSL_ports, то https работать вообще не будет.

Касательно поисковиков,
можно написать правило запрещающее SQUID соединения https с некоторыми ресурсами.
вдобавок добавить информацию об ошибке,
выдаваемой если пользователь соединяется с ресурсом на котором https запрещен.
 
MurphyДата: Суббота, 29.12.2012, 10:47 | Сообщение # 25
Рядовой
Группа: Пользователи
Сообщений: 11
Репутация: 0
Статус: Offline
Спасибо.
У меня есть предложение. Конечно не совсем правильное, но все же.
Есть вариант взять web интерфейс c интернет шлюза ideco, он на основе linux. По сути это то что нужно. Но это коммерческий продукт.
Есть возможность распотрошить его и найти для себя что нибудь. Как вариант.
PS: Я не призываю к хакерству, но как говориться, что не запрещено, то разрешено.

Добавлено (27.12.2012, 14:20)
---------------------------------------------
Еще один вопрос по поводу работы скрипта.
Пользователи делают безобидные запросы, например

Код
слушать дабстеп
, и вместо желаемого результата выходит черточки. В чем может быть причина, ведь в списке запрещенных выражений нет такой комбинации, ни полной, ни сокращенной.

Добавлено (27.12.2012, 14:25)
---------------------------------------------
Извини, разобрался
в списке есть такое выражение

Код
дев(ки|ок|кам|ку)|(уш)


Мое же выражение
Код
слушать дабстеп


слоги УШ - совпадают.
Мой недосмотр!

Добавлено (29.12.2012, 10:47)
---------------------------------------------
Еще один вопрос. Возможно ли логирование поисковых запросов пользователей в файл.
То есть, файл должен выглядеть таким образом:

Код
Пользователь(ip) | поисковая система| запрос

например:
Код
192.168.14.53 | www.google.ru | музыка бесплатно


Необходимо выяснить, кто филонит на рабочем месте, а кто действительно работает.
 
VitoДата: Суббота, 29.12.2012, 12:59 | Сообщение # 26
Подполковник
Группа: Администраторы
Сообщений: 131
Репутация: 2
Статус: Offline
Сделать такое возможно.
Мои первые редиректоры писали выборочный лог.
Потом отказался, так как стал использовать Dansguardian, а с его лога просто выбрать поисковые запросы.
Хотя мысль интересная.
Единственно тут возникает проблема блокировки файла, так как запись в один файл будут вести редиректоры.
Можно попробовать данные забивать в MYSQL, тогда можно с помощью PHPMYADMIN сортировать, группировать данные.

У меня написана программа авторизации на PERL и в случае если она работает около суток, то перестает общаться с базой,
возможно я чего-то не учел, типа постоянного соединения с базой.
Дельное предложение, спасибо.

Попробую реализовать.
 
MurphyДата: Четверг, 17.01.2013, 20:37 | Сообщение # 27
Рядовой
Группа: Пользователи
Сообщений: 11
Репутация: 0
Статус: Offline
Vito, как продвигаются дела со скриптом "запись в лог поисковых запросов пользователей"?
 
VitoДата: Суббота, 19.01.2013, 00:18 | Сообщение # 28
Подполковник
Группа: Администраторы
Сообщений: 131
Репутация: 2
Статус: Offline
Смотрите в новости на главной
http://dansguardian.ucoz.ru/news....2-31-19
 
MurphyДата: Понедельник, 21.01.2013, 11:21 | Сообщение # 29
Рядовой
Группа: Пользователи
Сообщений: 11
Репутация: 0
Статус: Offline
Почему выбор файла лога /var/log/squid и чем грозит, если файл searh.log будет лежать например в директории squid
 
VitoДата: Понедельник, 21.01.2013, 13:07 | Сообщение # 30
Подполковник
Группа: Администраторы
Сообщений: 131
Репутация: 2
Статус: Offline
Цитата (Murphy)
Почему выбор файла лога /var/log/squid и чем грозит, если файл searh.log будет лежать например в директории squid
Потому что /var/log - стандартный каталог для файлов журналов.
/var/log/squid - стандартный каталог для файлов журнала Squid.
Вы можете использовать любой другой каталог, по умолчанию задан стандартный каталог, так удобнее в большинстве случаев...
, и лог проще найти, чем запоминать куда вы его положили, хотя тут на вкус и цвет... как говорится.
 
Форум » Фильтрация » Делимся опытом » Мой сервер (Мой сервер)
Страница 2 из 3«123»
Поиск:

Сайт управляется системой uCoz