Начну с благодарности нашему преданному читателю Арсению mailto:senimore@tochka.ru который после выхода второй статьи о Usenet прислал ссылку на еще один ньюс-ридер. Программа с заковыристым названием 40tude Dialog лежит на странице www.40tude.com/dialog/index.htm. Вкратце перечислю ее достоинства: она бесплатна, с хорошей поддержкой национальных символов (включая кириллицу), способна одновременно работать с несколькими серверами, включает в себя просмотрщик графики и клиент электронной почты, грамотно работает с бинарными вложениями, имеет удобный интерфейс и еще много-много всего. Самая свежая версия программы — Beta 38 (Build 2.0.15.1), размер установочного файла — 3913 кбайт. Я попробовал — понравилось. Очень симпатичная утилитка. Можно смело рекомендовать к применению наряду с Free Agent.
Кто ищет, тот всегда найдет
Однако вернемся к рассказу о проблемах, возникающих при работе с группами новостей. Первые грабли, на которые многим, вероятно, придется наступить, — это отсутствие подходящего ньюс-сервера. Ничего не поделаешь, не всякий провайдер готов тратить деньги и время своих сотрудников на поддержку такого сервера. Все, тупик? Нет, сдаваться рано. Можно и нужно найти бесплатный Usenet-сервер (их еще называют открытыми или публичными). Запрос в Google по словам «public open Usenet nntp server» дает кучу ссылок, и первая из них ведет на сайт http://www.newzbot.com/. Здесь публикуются адреса публичных ньюс-серверов, есть возможность подобрать сервер по различным параметрам (количество групп, скорость, возможность постинга и т. д.). Но обольщаться не стоит, и вот почему: большинство серверов, входящих в базу данных сайта Newzbot, известны много лет и специально создавались открытыми для публичного доступа. Бинарные группы alt.* на них либо вовсе отсутствуют, либо сильно урезаны (удалены группы, в которых очень большой трафик, а в них-то, как правило, и публикуется самое интересное). Однако даже такие «убогие» серверы нам еще пригодятся.
Чтобы отыскать полноценный ньюс-сервер с поддержкой бинарных групп и постинга, нужно сильно постараться. А когда вы найдете таковой, не говорите его адрес никому, даже самому близкому товарищу по CS, потому что лишиться доступа к этому серверу ничего не стоит. И чем больше людей будет знать о нем, тем быстрее это произойдет. Дело в том, что такие серверы появляются обычно из-за халатности администраторов, которые забывают закрыть к ним доступ извне. В один прекрасный день админ обнаружит, что на его ньюс-сервер ломится куча непонятного народу, нагоняя нехилый трафик, и немедленно закроет к нему доступ тем или иным способом (хотя встречаются и админы-пофигисты). И даже если не говорить о найденном сервере никому, все равно рано или поздно доступ к нему прикроют. C’est la vie, как говорят французы.
Поэтому описанную чуть ниже процедуру поиска придется время от времени повторять (не перевелись еще наивные системщики, ох не перевелись!).
Наверное, продвинутый пользователь начнет со сканирования диапазона адресов на предмет обнаружения хостов с открытым 119-м портом TCP, а затем попытается соединиться с найденными серверами. В принципе, такой способ тоже имеет право на существование, однако эффективность его крайне мала. Найти публичный Usenet-сервер путем сканирования адресов практически невозможно, не говоря уже о том, что сам процесс занимает очень много времени.
Кроме того, избрав такой путь, вы рискуете нарваться на проблемы с провайдером: многие в договорах о предоставлении услуг доступа в интернет накладывают запрет на массовое сканирование. Понятно, что обычный юзер вряд ли будет внимательно вчитываться в текст договора, но, знаете ли, незнание не освобождает от ответственности. Так что не советую — во избежание, так сказать.
Есть, однако, другой способ. Чтобы понять, как он работает, рассмотрим типичный заголовок Usenet-статьи.
Path: newsfeed.rtcomm.ru!newsfeed.vmunix.org!newsfeed01.sul.
t-online.de!t-online.de!news.belwue.de!news.Uni-Mainz.DE!not-for-mail
Message-ID: <co754p$7pm$1@news1.zdv.uni-mainz.de>
From: «O. Hartmann» <hartmann@
edda.geo.uni-mainz.de>
Newsgroups: comp.unix.bsd.freebsd.misc
Subject: [DVD burner] Firmware Update NEC 3500A
Date: Fri, 26 Nov 2004 11:47:37 +0000 (UTC)
Lines: 12
Organization: Johannes Gutenberg-Universitaet Mainz, Germany
NNTP-Posting-Host: edda.geo.uni-
mainz.de
X-Trace: news1.zdv.uni-mainz.de 1101469657 7990 134.93.183.16 (26 Nov 2004 11:47:37 GMT)
X-Complaints-To: news@uni-mainz.de
NNTP-Posting-Date: Fri, 26 Nov 2004 11:47:37 +0000 (UTC)
User-Agent: tin/1.6.2-20030910 («Pabbay») (UNIX) (FreeBSD/5.3-RELEASE-p1 (i386))
Xref: athserver.athnet comp.unix.
bsd.freebsd.misc:996
Первая строчка, начинающаяся с Path, содержит полный перечень всех серверов, через которые прошла статья, прежде чем попала на ваш компьютер. Имена серверов разделяются восклицательным знаком. Разнообразные утилиты для поиска публичных ньюс-серверов просто просматривают заголовки доступных статей и пытаются соединиться с найденными в них хостами по протоколу NNTP. Вот почему нужен хотя бы один доступный для чтения сервер (его можно найти, например, на сайте http://www.newzbot.com/.
Я знаю всего две приличные программы для поиска публичных Usenet-серверов, работающие по такой схеме. Обе, к сожалению, больше не поддерживаются. Первая называется News Hunter (доступная версия — 4.00 build 490). Ее домашней странички, увы, давно не существует. Автор утилиты — некий Jonathan Zarate. Поддержка этой бесплатной программы прекратилась еще в 1998 году, однако ее до сих пор можно скачать, например, здесь: www.listsoft.ru/programs/664/ (размер загружаемого ZIP-архива — 450 кбайт).
При поиске новых серверов лучше сразу задать некоторые сочетания символов, которые будут отфильтрованы программой.
Внешний вид у софтины вполне обычный, насколько мне известно, она не русифицирована. При первом запуске программа вызывает что-то вроде мастера конфигурации, с его помощью можно задать основные параметры работы программы. Все настройки живут в меню File-Options. В закладке Finder нужно указать имя или адрес доступного Usenet-сервера, при необходимости — логин / пароль, а также выбрать группы для поиска новых серверов. Настоятельно рекомендую там же поставить галочку напротив пункта Use XHDR command (faster) (будут загружаться только заголовки статей, а не сами статьи, это значительно экономит трафик и время).
И наконец, в списке исключений (Exclusion list) можно указать шаблоны, по которым программа будет фильтровать найденные в заголовках имена серверов. Например, в заголовках часто встречаются такие сочетания: «not-for-mail», «mismatch», «modem», «remote», «cable», «adsl» и т. п. Это все мусор, серверов с подобными именами не бывает. Поэтому лучше отфильтровать их сразу, чтобы потом, при тестировании, не тратить на них время.
Понятно, что сервер, на котором нет доступных групп (не удивляйтесь, такое тоже бывает), никому не нужен. Поэтому в закладке Tester выберем пункт At least one newsgroup must exist. Если нужно найти какую-то определенную группу, надо указать ее в качестве тестовой. Другие полезные опции — количество одновременных соединений во время тестирования и тайм-аут в секундах. Прочие настройки трогать необязательно.
Теперь, после того как все необходимые данные введены, пора приступать к поиску. Это делается как в меню (пункт Server, закладка Find & Test Servers), так и путем нажатия горячей клавиши — F9. Если на сервере, с которого загружаются статьи, много сообщений, то будьте уверены, на весь процесс уйдет не десять и не двадцать минут — порой приходится ждать и по два часа даже при быстром соединении. Удобно запускать поиск на ночь: все равно интернет во сне никому не нужен. Тут, правда, есть одна странность: во время поиска новых серверов в заголовках программа иногда зависает и отказывается нормально закрываться. Единственное утешение — все найденные хосты остаются во внутренней базе данных, и потом их можно протестировать отдельно (для этого тоже есть своя кнопка).
Тем не менее, несмотря на столь существенный недостаток, программа работает, и с ее помощью действительно реально найти публичный Usenet-сервер. По результатам работы программа News Hunter генерирует симпатичный отчет в формате HTML.
Вторая программа для поиска таких серверов выглядит скромнее, да и возможностей у нее поменьше.
Каждый найденный сервер становится источником адресов для дальнейшего поиска. Весь процесс занимает немало времени.
Называется она News Finder, текущая версия — 1.2, живет по адресу
www.sb-software.com/newsfinder/, размер загружаемого файла — 768 кбайт. Утилита распространяется на условиях shareware, однако никаких существенных ограничений в незарегистрированной версии я не обнаружил. Но настройками не изобилует, раз-два — и обчелся. Нужно указать исходный сервер, при необходимости — логин / пароль, а также группу или группы, в которых будет осуществляться поиск. Все, остается только нажать кнопку Start. Как и в случае с News Hunter, процесс может занять много времени (хотя NewsFinder все же заметно быстрее, чем News Hunter).
Каждый найденный сервер добавляется в список ресурсов, подлежащих тестированию. По всей видимости, News Finder загружает с найденных серверов все сообщения в тестовых группах и просматривает их заголовки с целью обнаружения ранее неизвестных хостов. Единственный недостаток программы заключается в том, что никакого отчета она не составляет. Адреса найденных серверов приходится переписывать с экрана вручную. Использование комбинации News Finder и News Hunter дает весьма неплохие результаты. Немного фантазии, и без публичного Usenet-сервера вы не останетесь, гарантирую.
Грузим файлы
В принципе, грузить музыку, картинки или программы из групп новостей можно и обычным ньюс-ридером, хотя бы Agent или Outlook Express. Однако это не совсем удобно. Представляете, сколько операций надо выполнить, чтобы сохранить один-единственный файл? Посчитаем: выбрать сообщение, загрузить его с сервера, выбрать папку для сохранения файла, записать в нее сам файл. Но представьте себе, что сообщение разбито на много частей. В таком случае ситуация многократно усложняется. Если нужно сохранить один-два файла, с этим еще можно как-то мириться. Если же речь идет о десятках документов, такой метод — непозволительная трата сил и времени, а также хороший способ побыстрее угробить вашу любимую мышку (к такому же результату, правда, немного быстрее, приводит интенсивная игра в Doom 3).
Существуют загрузчики для Usenet, помогающие автоматизировать этот скучный процесс. Все подобные программы делятся на собственно «качалки», загружающие все бинарные вложения подряд, и так называемые «бинарные ньюс-ридеры». Последние позволяют просматривать группы и отмечать сообщения, дабы впоследствии загрузить их.
Начнем с первого типа «качалок». Могу порекомендовать очень симпатичную программу под названием QuadSucker News (см. скриншот), ее домашняя страничка расположена по адресу www.quadsucker.com/quadnews/ (от компании, выпустившей News Finder, о котором рассказывалось выше). Самая новая версия утилиты QuadSucker News — 4.0, размер загружаемого файла — 1,38 Мбайт.
Программа требует регистрации, но никто не заставляет вас проходить эту процедуру. Никаких серьезных ограничений в незарегистрированной версии я не обнаружил, за исключением того, что во время работы демонстрируется баннер, предлагающий зарегистрировать программу, а при старте выводится сплэш-скрин (пять секунд можно и подождать).
QuadSucker News делает ровно то, что и было обещано: выкачивает бинарные вложения из групп. Программа может работать в двух режимах: Streaming mode (потоковый, загружается все подряд) и Pick and Choose mode (просмотр заголовков, выбор сообщений для загрузки). При первом запуске вызывается мастер конфигурации, требующий ввести адрес ньюс-сервера, порт, логин / пароль, выбрать режим работы, а также указать директорию для хранения загруженных файлов. Здесь же можно загрузить с сервера список групп и отметить нужные вам.
В режиме потокового скачивания (до пяти соединений с сервером одновременно) QuadSucker News будет просто грузить из выбранных групп все подряд. Однако и этот нехитрый процесс можно оптимизировать. Во-первых, программа автоматически удаляет дубли (соответствующие настройки наличествуют в мастере конфигурации). Во-вторых, имеются «черные» и «белые» списки: можно фильтровать сообщения по строке заголовка и автору, а также по размеру или названию вложенного файла. При загрузке multipart-messages утилита проверяет наличие всех частей сообщения.
Если какой-то из них не хватает, QuadSucker News не станет загружать и все остальные (все равно собрать исходное сообщение не удастся). Таким образом, сильно экономятся трафик и время. В режиме просмотра заголовков QuadSucker News похож на обычные ньюс-ридеры, за исключением того, что сохранение файлов на локальном диске выполняется перетаскиванием заголовка в нижнее окно программы. Кроме того, QuadSucker News поддерживает различные способы кодирования сообщений, в том числе yEnc. В общем, отличная «качалка» для ньюсов, разве что русификации в ней не предусмотрено.
Работа с группами в Giganews Binary Newsreader осуществляется при помощи контекстного меню. Типы вложений определяются автоматически.
Рассмотрим программы второго типа, позволяющие просматривать группы и отмечать сообщения для загрузки. Рекомендую Giganews Binary Newsreader (см. скриншот), домашняя страничка —
http://www.giganews-binary-newsreader.com/. Разработчик сейчас одновременно поддерживает две версии программы, третью и четвертую. Четвертая, вопреки ожиданиям, намного проще своего «прародителя», и возможностей у нее тоже поменьше (зато и установочный файл легче — 746 кбайт у версии 4.0.70 против 4209 кбайт у версии 3.1.8). Правда, «четверка» требует для работы Microsoft .Net Framework 1.1 (а эта штука сама по себе весит немало).
Как пишет автор программы, немец Уве Келлер (Uwe Keller), он решил переделать Giganews Binary Newsreader, используя Visual Basic .Net, тогда как предыдущая версия была создана с помощью Microsoft Visual Basic 6. Почти весь код пришлось изобретать заново, и многие возможности из тех, что были в «трешке», в новой версии пока не реализованы. Поэтому лучше пользоваться предыдущей версией, ее-то мы и рассмотрим. К слову, «четверка» выглядит посимпатичнее, но пока еще сыровата, и в ней время от времени выскакивают мелкие, но весьма противные глюки.
Да, программа не бесплатная (я так и не смог разобраться, по какой именно лицензии она распространяется). Однако и незарегистрированная копия вполне пригодна для употребления. Единственное неудобство — постоянно выскакивающее окошко с предложением зарегистрировать продукт. Ладно, потерпим, тем более что никаких функциональных ограничений в незарегистрированной версии нет. Зато можно сэкономить целых 35 евро. Русификации для Giganews Binary Newsreader я не нашел, хотя, если честно, она не помешала бы, потому что человеку, не очень хорошо знающему английский, будет нелегко разобраться во всех возможностях Giganews Binary Newsreader.
Прежде всего, программа поддерживает неограниченное число ньюс-серверов и умеет комбинировать их в один «виртуальный» (данной опцией оснащена только четвертая версия). Речь идет вот о чем: когда, например, на одном сервере не хватает каких-то частей multipart-сообщения, Giganews Binary Newsreader ищет эти недостающие части на других серверах и, обнаружив все, позволяет собрать их воедино. Это не просто удобно, а очень удобно, поверьте человеку, пытавшемуся однажды проделать эту операцию вручную. Занятие, как говорится, не для слабонервных.
При установке Giganews Binary Newsreader предлагает ввести адрес ньюс-сервера и сразу загружает с него список групп. Впоследствии добавлять новые серверы можно простым щелчком мыши. Вообще, для полноценной настройки программы и работы с ней необязательно лезть в опции, все действия выполняются в основном окне с помощью быстрых кнопок и контекстного меню.
Итак, попробуем разобраться, как все это работает. После первого соединения с сервером отображаются только несколько групп, выбранных автором программы в качестве демонстрационных. Я сначала никак не мог понять, каким образом вывести на экран весь список. Оказалось, надо было нажать на пиктограмму, отдаленно напоминающую некий гриб с глазами. После этого дело пошло на лад. Группы можно убирать и добавлять, используя все то же контекстное меню. При входе в группу двойным щелчком мыши автоматически начинают загружаться заголовки статей. Программа автоматически распознает типы вложенных файлов и сортирует сообщения по папкам Audio, Video и Text. В папку Binary попадают все остальные вложения — архивы, программы и т. д. По умолчанию (эту опцию нетрудно отключить) Giganews Binary Newsreader не отображает multipart messages, если в них не хватает каких-то частей.
После щелчка по одной из этих папок (например, Pictures) загружается список сообщений с вложенными картинками. И вот тут-то проявляется еще одно достоинство программы. Дело в том, что в бинарных группах есть такое понятие, как серии, то есть сгруппированные (пардон за тавтологию) по какому-то признаку сообщения. Ну, например, песни с одного альбома, фотографии одной машины и т. п. Так вот, Giganews Binary Newsreader, во-первых, позволяет одним щелчком мыши выбрать в контекстном меню всю серию, а во-вторых, позволяет проверить ее комплектность, узнать, все ли сообщения серии доступны в группе. Другая возможность программы привела меня в полный, я бы даже сказал, поросячий восторг. При отсутствии чего-либо можно легким движением мышки оформить запрос в группу, причем Giganews Binary Newsreader сама формирует текст сообщения, занося в него имена недостающих файлов или частей multipart message.
Разумеется, имеется возможность сохранения вложений на локальном диске. Делается это опять-таки с помощью контекстного меню. В программу встроен просмотрщик графики, аудио- и видеофайлов, хотя, конечно, можно использовать и внешние приложения. Само собой, Giganews Binary Newsreader поддерживает все известные способы кодирования бинарных вложений. В программе имеется и куча других возможностей, в том числе поиск и развитая система фильтров. Работает Giganews Binary Newsreader весьма быстро даже на древних машинах (я не заметил особых тормозов на своем стареньком P III 800 МГц / 256 Мбайт RAM). К тому же программа отличается завидной стабильностью — у меня она ни разу не зависла и не упала. В общем, на мой взгляд, Giganews Binary Newsreader является идеальным даунлоадером для Usenet (а я, между прочим, человек придирчивый).
Конечно же, это не единственная программа, позволяющая выборочно выкачивать вложения из бинарных ньюс-групп. Однако многие аналоги Giganews Binary Newsreader банально не дотягивают до ее уровня по целому ряду параметров. Если же она вам не подходит по каким-то неведомым причинам (мне вот таковые в голову не приходят), то советую обратить внимание на NewsLeecher, расположенную по адресу http://www.newsleecher.com/. Текущая версия программы — 2.0, размер установочного файла — 2796 кбайт. Список возможностей примерно такой же, как и у Giganews Binary Newsreader. При этом интерфейс у NewsLeecher мне показался «дубоватым», однако и к нему привыкнуть можно. Зато у программы есть одна очень интересная фишка, названная без ложной скромности Super Search Engine.
Работает это так: сервер на стороне разработчиков ежедневно индексирует все (!) без исключения постинги, а с пользовательского компьютера через программу можно искать сообщения по индексам, которые хранятся 30 дней (это ж какой толстый интернет-канал нужен!). Чтобы получить доступ к этому сервису, придется выложить $29,95, оформив годовую подписку на Super Search Package. Другой возможный вариант: за $34,95 вы получаете два года поддержки и доступ ко всем будущим обновлениям программы. Кроме того, в обоих случаях при регистрации разблокируются различные полезные функции, недоступные в триальной версии. Таким образом, каждый может выбрать то, что ему в данный момент нужнее, хотя, как мне кажется, без этого самого суперпоиска пользоваться NewsLeecher не имеет особого смысла. Да и платить за то, что при желании можно отыскать самостоятельно, во многих случаях просто неразумно.
Вместо заключения
О Usenet можно рассказывать очень долго и плодотворно, но лучше один раз увидеть, чем сто раз услышать. Все, что нужно (и даже немного больше), вы теперь знаете и умеете. Так что долой разговоры — подключайтесь и пользуйтесь, не пожалеете! Хочу только еще раз напомнить об осторожности: проверяйте свежим антивирусом все файлы, которые вы скачиваете из ньюс-групп. В этом смысле Usenet является далеко не самым безопасным местом. Остается только пожелать, чтобы ваши путешествия были не только приятными, но и полезными.
Surfer
