12 лет назад 25 июля 2012 в 0:15 36597

Наиболее популярное применение компьютерной лингвистики в онлайне – сервисы-переводчики. В то же время весьма полезным дополнением к пользовательскому арсеналу также способны стать проекты автоматического реферирования текстов.

Сокращенный пересказ позволяет оценить полезность объемного документа, быстро получить дополнительные ключевые слова для продолжения поиска и просто серьезно сэкономить свое время.
Качество работы подобных инструментов сильно зависит от массы лингвистических нюансов. Приходится учитывать особенности различных языков и стилей текста. Это достаточно сложные задачи. Поэтому универсального, а тем более бесплатного, онлайнового инструмента для их решения вы сейчас не найдете. Но не все так плохо, и мы вполне можем генерировать рефераты, не потратив ни копейки, с помощью сервисов – участников нашего обзора.

Проект WikiSummrizer предлагает автоматическое сокращение статей из «Википедии»

Начнем с многофункционального сервиса Visualworld. Здесь вы найдете собственный инструмент визуализации интернет-поиска, а также службу «Рефератор» (visualworld.ru/referat.jsp), которая представляет для нас прямой интерес. «Рефератор» предлагает задать собственный текст и получить его автоматически сгенерированный пересказ. Поддерживается загрузка текстовых файлов в форматах TXT, HTML, PDF, RTF и DOC(X). В зависимости от формата файл не должен превышать 100-500 Кбайт.

Страница результата работы «Рефератора» состоит из двух колонок: в левой части показывается исходный текст, а в правой – реферат. Выглядит он как перечень основных тезисов текста. Объемом реферата можно управлять. Исходя из размера исходного текста, степень сжатия может варьироваться примерно от 40 до 90%. В целом качество сокращения достойное, сервис действительно может пригодиться в реальных ситуациях.

Наилучшим образом ресурс справляется с извлечением конкретных фактов и цифр из текстов. Беллетристика обрабатывается заметно хуже, но и задача пересказа таких текстов гораздо сложнее. «Рефератор» извлекает отдельные фрагменты и выводит их в виде списка тезисов. При этом он может разделить слишком длинное, на его взгляд, предложение, что иногда снижает понятность.

По сути, перед нами редкий пример бесплатного сервиса реферирования для текстов на русском языке. Если работать с английским языком, выбор будет гораздо шире. В основном это коммерческие решения, однако есть и парочка недурственных бесплатных сервисов.

Весьма полезен в реальной практике сервис WikiSummarizer (www.wikisummarizer.com). Как нетрудно догадаться, он оптимизирован для обработки энциклопедических статей. Надо сказать, справляется он с ней достойно. Готовый реферат вполне читаем и позволяет составить достаточно полное впечатление о длинной статье. Примечательно, что это можно сказать как про технические, так и про гуманитарные материалы.

Результаты работы алгоритма можно просмотреть в нескольких режимах. Visual Summary выводит на страницу визуальную иерархическую схему, построенную по принципу классических «карт разума» (Mind Map). В статье выделяются основные аспекты, ключевые слова которых отображаются в виде плашек. Кликнув по плашке, можно открыть соответствующие блоки текстовых выдержек. Кроме того, для каждого запроса формируется две стандартные плашки: краткий и полный реферат.

Заметим, что реферат можно экспортировать в форматы популярных редакторов «карт разума», в том числе MindManager и iThoughts. Tree View выводит основные тезисы статьи в виде последовательных текстовых блоков. В результате получается очень близкое подобие обычного текстового конспекта. Этот режим очень удобен, когда нужно составить краткий пересказ англоязычного текста, поскольку получается неплохая «болванка», которую можно быстро довести до ума вручную. Более того, поддерживается прямой экспорт сгенерированного реферата в форматы RTF и HTML.

Keyword Cloud – самый простой режим: он генерирует облако ключевых слов для статьи. Сфера его применения довольно ограниченна, поскольку собственно реферата здесь нет. Клик по слову из «облака» открывает реферат соответствующей Wiki-статьи в режиме Visual Summary.

Стоит упомянуть и сервис WebSummarizer от этого же автора. Это «всеядный» проект, который оперирует как файлами, так и простым текстом. Кроме того, можно заказать реферирование любой произвольной веб-страницы на английском языке. Оно доступно уже по платной подписке, однако есть и триал-версия. Качество рефератов пусть и бывает немного ниже, чем при обработке энциклопедических статей, однако остается достойным. Инструменты просмотра и экспорта аналогичны уже рассмотренным для WikiSummarizer.

Достаточно нетривиальный подход к обработке информации демонстрирует проект Topicmarks (topicsmarks.com). Он предлагает любопытную подборку инструментов. Ресурс не только создает текстовые рефераты, но и генерирует своеобразный предметный указатель ваших интересов. Генерируется он на основе анализа загружаемых документов. В качестве исходного материала могут выступать не только простые текстовые файлы и веб-страницы, но и файлы в форматах MS Office и OpenOffice. Более того, Topicmarks умеет работать совместно с популярнейшей записной книжкой Evernote. Замечательной функцией является поддержка «Документов Google» и агрегатора Google Reader. В настоящее время сервис находится в режиме бета-тестирования.

Уникальная особенность Topicmarks – способность устанавливать связи между различными документами. По мере накопления архива данная возможность становится все более и более полезной, поскольку позволяет относительно быстро сгруппировать тематический материал, полученный из различных источников.

Есть еще один способ получения рефератов, который вообще не требует каких-либо исследований в области компьютерной лингвистики. Речь идет о сервисах, которые предлагают составлять рефераты тех или иных материалов пользователям. В этой нише действуют такие сервисы, как Triond (www.triond.com) и Shvoong (ru.shvoong.com). Оба ресурса используют похожую модель: автор регистрируется на сайте и составляет краткие пересказы книг или статей различной тематики.

Выбор материалов остается на его совести. При желании можно оставить нужный вам текст – возможно, кто-либо из авторов проекта сделает для него реферат. Далее создатели рефератов получают вознаграждение за просмотры своих трудов. Оплачивается все это за счет размещаемой на ресурсе рекламы.

Есть у названных проектов и отличия. Если не вдаваться в тонкости оплаты труда, то первое и наиболее заметное – языковая поддержка. Triond понимает исключительно англоязычные тексты. Разработчики же Shvoong попытались создать настоящего полиглота: на сайте присутствуют разделы для нескольких десятков языков, в том числе русского. А вот по возможностям иллюстрирования рефератов выигрывает Triond – он поддерживает добавление картинок и видео. Эта опция довольно полезна для статей, содержащих схемы и другие материалы, без которых многие тексты теряют свой смысл.

Что же предлагает тот же Shvoong для простого посетителя? Русский раздел сервиса содержит каталог выполненных рефератов. Направленность самая разнообразная: от художественной литературы до научно-популярных статей. Для каждой темы создан соответствующий RSS-канал. Качество рефератов, скажем так, разное. Есть и неплохие работы, преимущественно в «естественно-технической» тематике.

Присутствуют и откровенно слабые материалы, больше похожие на простые аннотации, а не на полноценные рефераты. Скорость обновления разделов невысока: несколько рефератов в день. В англоязычном разделе дела идут веселее, однако количество обновлений даже популярных категорий все равно не превышает десятка в день.

Взглянем на Shvoong с точки зрения обычного юзера. Сфера применения такого сервиса немного размыта. На замену лент новостей он не тянет: не та скорость пополнения и объемы. Если доводить идею ресурса до логического завершения, то наиболее выгодным, пожалуй, был бы вариант оперативного получения рефератов наиболее востребованных новых материалов по выбранной вами теме.

Рассматривать Shvoong как инструмент такого информирования пока не получается: возможности «заказа» темы здесь нет, обновления могут быть случайными, а при отправке собственного текста придется ждать, пока на него обратят внимание авторы, да и качество не гарантировано. Справедливости ради отметим, что подобные службы уже есть, однако коммерческого характера. Бесплатно предлагать такую услугу в Сети пока никто не торопится, что, в общем-то, вполне понятно. UP

2 комментария

Случай, случайность — с ними мы встречаемся повседневно: случайная встреча, случайная поломка, случайная находки, случайная ошибка. Этот ряд можно продолжать бесконечно. Казалось бы, тут лет места для математики—какие уж законы в царстве Случая! Но и здесь наука обнаружила интересные закономерности—они позволяют человеку уверенно чувствовать себя при встреча со случайными событиями.
Как наука теория вероятности зародилась в 17в. Возникновение понятия вероятности было связано как с потребностями страхования, получившего значительное распространение в ту эпоху, когда заметно росли торговые связи и морские путешествия, так и в связи с запросами азартных игр. Слово «азарт», под которым обычно понимается сильное увлечение, горячность, является транскрипцией французского слова hazard, буквально означающего «случай», «риск». Азартными называют те игры, а которых выигрыш зависит главным образом не от умения игрока, а от случайности. Схема азартных игр была очень проста и могла быть подвергнута всестороннему логическому анализу. Первые попытки этого рода связаны с именами известных учёных—алгебраиста Джероламо Кардана (1501- 1576) и Галилео Галилея (1564—1642). Однако честь открытия этой теории, которая не только даёт возможность сравнивать случайные величины, но и производить определенные математические операции с ними, принадлежит двум выдающимися ученым—Блезу Паскалю (1623—1662) и Пьеру Ферма. Ещё в древности было замечено, что имеются явления, которые обладают особенностью: при малом числе наблюдений над ними не наблюдается никакой правильности, но по мере увеличения числа наблюдений всё яснее проявляется определенная закономерность.

1. СЛУЧАЙНОЕ СОБЫТИЕ. ЕГО ВЕРОЯТНОСТЬ.
Любая наука, развивающая общую теорию какого-нибудь круга явлений, содержит ряд основных понятий, на которых она базируется. Таковы, например, в геометрии понятия точ¬ки, прямой, линии; в механике — понятия силы, массы ско¬рости, ускорения. Естественно, что не все основные понятия могут быть полностью определены, ибо «определить» понятие
— это значит свести его к другим, более известным. Очевид¬но, процесс определения одних понятий через другие должен где-то кончаться, дойдя до самых первичных понятий, к ко¬торым сводятся все остальные и которые сами не определяют¬ся, а только поясняются. Такие понятия существуют и в тео¬рии вероятностей. Здесь мы рассмотрим некоторые из них.
Под опытом (экспериментом, испытанием) мы будем пони¬мать некоторую воспроизводимую совокупность условий, в ко¬торых наблюдается то или другое явление, фиксируется тот или другой результат. Заметим, что «опыт» не обязательно должен быть поставлен человеком; он может протекать неза¬висимо от него; при этом человек выступает в роли наблюда¬теля или фиксатора происходящего. от него зависит только решение: что именно наблюдать и какие явления фиксировать.
Если результат опыта варьируется при его повторении, говорят об опыте со случайным исходом. Именно такие опыты мы будем здесь рассматривать и добавление «со случайным исходом» для краткости опускать. Тот факт, что при повто¬рении опыта его основные условия сохраняются, и, значит, мы вправе ожидать устойчивости частот, тоже не будет каж¬дый раз оговаривать.
Случайным событием ( или, короче, просто событием ) на¬зывается всякий факт, который в опыте со случайным исходом может произойти или не произойти. События мы будем обозна¬чать большими буквами латинского алфавита.
Рассмотрим несколько примеров событий. 1. Опыт — броса¬ние монеты; событие A — появление герба. 2. Опыт — броса¬ние трех монет; событие B — появление трех гербов. 3. Опыт передача группы из n сигналов; событие C — искажение хотя бы одного из них. 4. Опыт — выстрел по мишени; событие D — попадание. 5. Опыт — вынимание наугад одной карты из коло¬ды; событие Е — появление туза. 6. Тот же опыт, что в при¬мере 5; событие F — появление карты червонной масти.
Рассматривая перечисленные в наших примерах события A,B,C, видим, что каждое из них обладает какой-то степенью возможности — одни большей, а другие меньшей, причем для некоторых из них мы сразу можем решить, какое из них бо¬лее, а какое менее возможно. Например событие A более воз¬можно (вероятно), чем B, а событие F более возможно, чем
Е. Любое случайное событие обладает какой-то степенью воз¬можности, которую в принципе можно измерить численно. Что¬бы сравнивать события по степени их возможности, нужно связать с каждым из них какое-то число, которое тем боль¬ше, чем больше возможность события. Это число мы и назовем вероятностью события.
Отметим, что сравнивая между собой по степени возмож¬ности различные события, мы склонны считать более вероят¬ными те события, которые происходят чаще, менее вероятными
— те, которые происходят реже; маловероятными — те, кото¬рые вообще не происходят. Например, событие «выпадение дождя в Москве 1-го июня предстоящего года» более вероят¬но, чем «выпадение снега в Москве тот же день», а событие «землетрясения в Москве, превышающее по интенсивности 3 балла, в течение предстоящего года» крайне мало вероятно (хотя такое землетрясение и наблюдалось в 1977 г., и ста¬тистика говорит, что подобные события происходят раз в 100 лет). Таким образом, понятие вероятности события с самого начала тесно увязывается с понятием его частоты.
Характеризуя вероятности событий числами, нужно устано¬вить какую-то единицу измерения. В качестве такой единицы естественно взять вероятность достоверного события, т.е. такого события, которое в результате опыта неизбежно долж¬но произойти. Пример достоверного события — выпадение не более шести очков при бросании игральной кости. Другой пример достоверного события: » камень, брошенный вверх ру¬кой вернется на Землю, а не станет её искусственным спут¬ником «.
Противоположностью достоверного события является невоз¬можное событие — то, которое в данном опыте вообще не мо¬жет произойти. Пример: » выпадение 12 очков при бросании одной игральной кости «.
Если приписать достоверному событию вероятность, равную единице, а невозможному — равную нулю, то все другие собы¬тия — возможные, но не достоверные будут характеризоваться вероятностями, лежащими между нулем и единицей, составляю¬щими какую то долю единицы.
Таким образом, установлены единица измерения вероятнос¬ти — вероятность достоверного события и диапазон вероят¬ностей — числа от нуля до единицы.
Какое бы событие A мы бы ни взяли, его вероятность P(A) удовлетворяет условию:
0<P(A)<1.
Очень большую роль в применении вероятностных методов играют практически достоверные и практически невозможные события.
Событие A называется практически невозможным, если его вероятность не в точности равна нулю, но очень близка к нулю:
P(A) 0 Пример.
Опыт: 32 буквы разрезной азбуки смешали между собой; наугад вынимается одна карточка, стоящая на ней буква за¬писывается, карточка возвращается обратно и смешивается с другими. Такой опыт производится 25 раз. Событие A состоит в том, что после 25 выниманий мы запишем первую строчку "Евгения Онегина":
"Мой дядя самых честных правил". Событие A не является физически невозможным, но вероятность его настолько мала, что событие с такой вероятностью можно смело считать прак¬тически невозможным.
Аналогично, практически достоверным является событие, вероятность которого не в точности равна единице, но очень близка к единице:
P(A) 1.
Введем новое важное понятие: противоположное событие. Противоположным событию А называется событие А, состоящее в непоявлении события А.
Пример. Опыт: Один выстрел по мишени. Событие А — попа¬дание в десятку. Противоположное событие А — непопадание в десятку.
Вернемся к практически невозможным и практически досто¬верным событиям. Если какое-то событие А практически не¬возможно, то противоположное ему событие А практически достоверно и наоборот.
Практически невозможные ( и сопутствующие им практичес¬ки достоверные) события играют большую роль в теории веро¬ятностей: на них основана вся её познавательная ценность. Ни один прогноз в области случайных явлений не является и не может являться полностью достоверным; он может быть только практически достоверным, т. е. осуществляться с очень большой вероятностью.
В основе применения всех выводов и рекомендаций, добы¬ваемых с помощью теории вероятностей, лежит принцип прак¬тической уверенности, который можно сформулировать следую¬щим образом:
Если вероятность события А в данном опыте весьма мала, то (при однократном выполнении опыта) можно вести себя так, как будто событие А вообще невозможно, т. е. не расс¬читывать на его появление.
В повседневной жизни мы постоянно (хотя и бессознатель¬но) пользуемся этим при принципом. Например выезжая ку¬да-то на такси, мы не рассчитываем на возможность погиб¬нуть в дорожной катастрофе, хотя некоторая (весьма малая) вероятность этого события все же имеется. Отправляясь ле¬том на Кавказ или в Крым, мы не захватываем с собой зимней верхней одежды, хотя какая-то (очень малая) вероятность того, что нас настигнет мороз, всё-таки не равна нулю.
Переходим к самому тонкому и трудному вопросу: насколь¬ко мала должна быть вероятность события, чтобы его можно было считать практически невозможным ?
Ответ на вопрос выходит за рамки математической теории и в каждом отдельном случае решается из практических сооб¬ражений, в соответствии с той важностью, которую имеет же¬лаемый для нас результат опыта. Чем опаснее для нас воз¬можная ошибка предсказания, тем ближе к нулю должна быть вероятность события, чтобы его считать практически невоз¬можным.
Существует класс опытов, для которых вероятности их возможных исходов можно вычислить, исходя непосредственно из самих условий опыта. Для этого нужно, чтобы различные исходы опыта обладали симметрией и в силу этого были объ¬ективно одинаково возможными.
Рассмотрим, например, опыт, состоящий в бросании иг¬ральной кости. Если кубик выполнен симметрично, "правиль¬но" (центр тяжести не смещен ни к одной из граней), ес¬тественно предположить, что любая из граней будет выпадать так же часто, как каждая из остальных. Так как достоверное событие "выпадает какая-то из граней" имеет вероятность, равную единице, и распадается на шесть одинаково равных вариантов (1, 2, 3, 4, 5 или 6 очков), то естественно при¬писать каждому из них вероятность, равную 1/6.
Для всякого опыта, обладающего симметрией возможных ис¬ходов, можно применить аналогичный прием, который называ¬ется непосредственным подсчетом вероятностей.
Перед тем как дать способ непосредственного подсчёта вероятностей, введём некоторые вспомогательные понятия.
Говорят, что несколько событий в данном опыте образуют полную группу, если в результате опыта неизбежно должно появиться хотя бы одно из них.
Примеры событий, образующих полную группу:
1) Появление "1", "2", "3", "4", "5", "6" очков при бросании игральной кости;
2) Два попадания, два промаха и одно попадание, один промах при двух выстрелах по мишени.
Несколько событий в данном опыте называются несовмести¬мыми если никакие два из них не могут появиться вместе. Примеры несовместимых событий:
1) Выпадение герба и выпадение решки при бросании мо¬неты;
2) Два попадания и два промаха при двух выстрелах;
3) Выпадение двух, выпадение трех и выпадение пяти оч¬ков при однократном бросании игральной кости. Несколько событий называются равновозможными, если по
условиям симметрии есть основание считать, что ни одно из них не является более объективно возможным чем другое.
Заметим, что равновозможные события не могут проявлять¬ся иначе, чем в опытах, обладающих симметрией возможных исходов; наше незнание о том, какое из них вероятнее, не есть основание для того, чтобы считать события равновоз¬можными.
Примеры равновозможных событий:
1) Выпадение герба и выпадение решки при бросании сим¬метричной, "правильной монеты";
2) Появление карты "червонной", "бубновой", "трефовой" или "пиковой" масти при вынимании карты из колоды.
С опытами, обладающими симметрией исходов, связываются особые группы событий: они образуют полную группу, несов¬местимы и равновозможны.
События, образующие такую группу, называются случаями. Примеры случаев:
1) Появление герба и решки при бросании монеты;
2) Появление "1", "2", "3", "4", "5" и "6" очков при бросании игральной кости.
Если опыт обладает симметрией возможных исходов, то случаи представляют собой набор его равновозможных и иск¬лючающих друг друга исходов. Про такой случай говорят, что он сводится к схеме случаев. Для таких опытов возможен не¬посредственный подсчет вероятностей, основанный на подсче¬те доли так называемых благоприятных случаев в общем их числе.
Случай называется благоприятным ( или "благоприятствую¬щим") событию A, если появление этого случая влечет за со¬бой появление данного события.
Если опыт сводится к схеме случаев, то вероятность со¬бытия A в данном опыте можно вычислить как долю благопри¬ятных случаев в общем их числе:
P(A)=m/n,
где m — число случаев, благоприятных событию A; n — общее
число случаев.
Данная формула, так называемая "классическая формула" для вычисления вероятностей, предложенная еще в XVII веке, когда главным полем приложения теории вероятностей были азартные игры ( в которых симметрия возможных
исходов обеспечивается специальными мерами), долгое время ( вплоть до XIX века ) фигурировала в литературе как " определение вероятности "; те задачи, в которых схема случаев отсутс¬твует, искусственными приемами сводились к ней. В настоя¬щее время формального определения вероятности не дается, т. к. это понятие считается первичным и не определяется.
В данное время для вычисления вероятностей применяется закон распределения Пуассона.
Распределением Пуассона описываются :
а) показания счетчика, снимаемые через каждый интервал времени Т;
б) число зарегистрированных событий.
Распределение Пуассона играет большую роль в практичес¬ком применении теории вероятностей: многие физические яв¬ления приводят именно к такому распределению вероятностей.

2. ТЕОРЕМА СЛОЖЕНИЯ ВЕРОЯТНОСТЕЙ
Непосредственный подсчёт случаев, благоприятствующих данному событию, может оказаться затруднительным. Поэтому для определения вероятности события бывает выгодно представить данное событие в виде комбинации некоторых других, более простых событий. Приведём теоремы, с помощью которых можно по вероятностям одних случайных событий вычислять вероятности других случайных событий, каким – либо образом связанных с первыми. Начнём с теорем, которые образуют группу с общим названием «теоремы сложения».
Теорема 1. Пусть А и В – два несовместных события. Тогда вероятность того, что осуществится хотя бы одно из этих двух событий, равна сумме их вероятностей: P(A U B)=P(A)+P(B).
Доказательство.
Обозначим исходы, благоприятные для события А, через а1,а2,…,аm , а для события В – через b1,b2,…,bn. Вероятности этих исходов обозначим соответственно через p1,p2,…,pm и q1,q2,…,qn . Тогда событию A U B благоприятны все исходы a1,a2,…,am , b1,b2,…,bn . В силу того что события А и В несовместны, среди этих исходов нет повторяющихся. Поэтому вероятность события АUB равна сумме вероятностей этих исходов. т.е.
P(AUB)=p1+p2+…+pm+q1+q2+…+qn.
Но p1+p2+pm=P(A), q1+q2+qn=P(B), а потому
P(AUB)=P(A)+P(B).
Теорема доказана.
Пример 1. Стрелок стреляет в мишень. Вероятность выбить 10 очков равна 0,3 , а вероятность выбить 9 очков равна 0,6. Чему равна вероятность выбить не менее 9 очков?
Решение. Событие А «выбить не менее 9 очков» является объединением событий В — «выбить 10 очков» и С – «выбить 9 очков». При этом события В и С несовместны, так как нельзя одним выстрелом выбить сразу и 9, и 10 очков.
Поэтому по теореме 1 имеем:
P(A)=P(B)+P(C)=0,3+0,6=0.9.
Если события А1, А2, … ,Аn попарно несовместны, то событие A1U … UAn-1 несовместно с событием An . В самом деле,
(A1U…UAn-1) I An =(A1An)U…U(An-1  An) .
Но при s<n имеем As An =, и потому (A1U…UAn-1)An =. Пользуясь этим замечанием, получаем из теоремы 1 следствие:
Следствие. Если события А1,…, Аn попарно несовместны, то вероятность объединения этих событий равна сумме их вероятностей:
P(A1U…UAn)=P(A1)+…+P(An).
Доказательство. Как было отмечено выше, события A1U … UAn-1 и An несовместны, а потому по теореме 1имеем:
P(A1U…UAn-1UAn)=P(A1U…UAn-1)+P(An).
Применяя это же рассуждение к первому слагаемому и продолжая далее, получаем после n-1 шага, что
P(A1U … UAn)=P(A1)+…+P(An).
Пример 2. В цехе работает несколько станков. Вероятность того, что за смену потребует наладки ровно один станок, равна 0,2. Вероятность того, что за смену потребуют наладки ровно два станка, равна 0,13. Вероятность того, что за смену потребуют наладки больше двух станков, равна 0,07. Какова вероятность того, что за смену придётся проводить наладку станков?
Решение. В том примере опыт состоит в том, что прошла смена и отмечено, сколько станков за эту смену потребовало наладки. В этом опыте события: А – «за смену потребовал наладки ровно один станок», В – «за смену потребовали наладки ровно два станка» и С – « за сену потребовали наладки более двух станков» несовместны. Нас же интересует вероятность события AUBUC. По теореме 1: P(AUBUC)=P(A)+P(B)+P(C)=0,2+0,13+0,07=0,4.
Выведем теперь связь между вероятностями противоположных событий.
Теорема 2. Для любого события А имеем: P(A*)=1-P(A).
Для доказательства вспомним, что AUA*=U, P(U)=1 и A A*. Тогда по теореме 1 получаем: 1=P(U)=P(AUA*)=P(A)+P(A*), откуда следует требуемая формула.
Пример 3. Берётся наудачу трёхзначное натуральное число от 100 до 999. Какова вероятность того, что хотя бы две его цифры совпадают?
Решение. Опыт здесь состоит в том, что наудачу выбирается натуральное число от 100 до 999 и смотрят, есть ли у негосовпадающие цифры. События «взяли наудачу число N» (N= 100, 101, … , 999) равновероятны (в этом смысл слова «наудачу» ) и образуют множество исходов этого опыта. Число исходов n=900. Нас интересует событие А — «у выбранного числа совпадают хотя бы две цифры». Проще, однако, подсчитать вероятность противоположного события А* — «у выбранного числа все цифры различны». Каждое такое число есть размещение без повторений из 10 цифр по 3, не имеющее первым элементом нуль. Следовательно, m=(A10)3 –(A9)2=10.9.8—9.8=92.8 (из числа всех трёхэлементных размещений без повторений надо вычесть число тех, у которых на первом месте стоит нуль) и P(A*)=92.8/900=0,72. Тогда по
теореме 2 P(A)=1-P(A*)=0,28.
Пример 4. В урне, содержащей n шаров белого, красного и чёрного цвета, находится k белых шаров и L красных. Какова вероятность вынуть шар не чёрного цвета?
Решение. Если событие А состоит в появлении белого, а событие В – красного шара, то появление шара не чёрного цвета означает появление либо белого, либо красного шара. Так как по определению вероятности
P(A)=k/n, P(B)=L/n,
То по теореме сложения вероятность появления шара не чёрного цвета равна: P(A U B)=k/(n+L)/n=(k+L)/n.
Эту задачу можно решить и так. Пусть событие С состоит в появлении чёрного шара. Число чёрных шаров равно n –(k+L), так что P(C)=(n—k—L)/n.
Появление шара не чёрного цвета является противоположным событием С*, поэтому на основании указанного выше следствия из теоремы сложения имеем: P(C*)=1—P(C )=1—(n—k—L)/n=(k+L)/n, как и раньше.
Пример 5. В денежно – вещевой лотерее на серию в 1000 билетов приходится 120 денежных и 80 вещевых выигрышей. Какова вероятность какого – либо выигрыша на один лотерейный билет?
Решение. Если обозначить через А событие, состоящее в выпадении денежного выигрыша, и через В — вещевого, то из определения вероятности следует P(A)=120/1000=0,12; P(B)=80/1000=0,08. Интересующее нас событие представляет (AUB), поэтому из теоремы сложения вытекает:
P(AUB)=P(A)+P(B)=0,20.
Таким образом, вероятность какого – либо выигрыша равна 0,2.

3. ЗАКОН РАВНОМЕРНОЙ ПЛОТНОСТИ ВЕРОЯТНОСТИ.
В некоторых задачах практики встречаются непрерывные случайные величины, о которых заранее известно, что их возможные значения лежат в пределах некоторого определенного интервала; кроме того, известно, что в пределах этого интервала все значения случайной величины одинаково вероятны (точнее, обладают одной и той же плотностью вероятности). О таких случайных величинах говорят, что они распределяются по закону равномерной плотности.
Дадим определение: равномерным называется распределение непрерывной случайной величины Х все значения которой лежат на отрезке [a;b] и имеют при этом постоянную плотность распределения:

площадь под кривой распределения равна 1 и поэтому с(в-а)=1

вероятность попадания случайной величины Х на интервал от (α;β)

α=а, если αв
основные числовые характеристики закона распределения плотности вычисляются по общим формулам и они равны

Приведем примеры подобных случайных величин:

Пример 1. Произведено взвешивание тела на точных весах, но в распоряжении взвешивающего имеются только разновески весом не менее 1г.; результат взвешивания показывает, что вес тела заключен между k и (k+1/2) граммам. Допущенная при этом ошибка X , очевидно, есть случайная величина, распределенная с равномерной плотностью на участке г.
Пример 2. Вертикально поставленное симметричное колесо (см.Рисунок№1) приводится во вращение и затем останавливается вследствие трения. Рассматривается случайная величина θ –угол, который после остановки будет составлять с горизонтом фиксированный радиус колеса ОА. Очевидно величина θ распределена с равномерной плотностью на участке (0,2 π)

Итак, я рассмотрю случайные величины и функции распределения.

4. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ
Определение. Пусть — произвольное вероятностное пространство.
Случайной величиной называется измеримая функция , отображающая в множество действительных чисел , т.е. функция, для которой прообраз любого борелевского множества есть множество из -алгебры .
Примеры случайных величин. 1) Число выпавшее на грани игральной кости.
2) Размер выпускаемой детали. 3) Расстояние от начала координат до случайно брошенной в квадрат точки .
Множество значений случайной величины будем обозначать , а образ элементарного события — . Множество значений может быть конечным, счетным или несчетным.
Определим -алгебру на множестве . В общем случае -алгебра числового множества может быть образована применением конечного числа операций объединения и пересечения интервалов или полуинтервалов вида ( ), в которых одно из чисел или может быть равно или .
В частном случае, когда — дискретное (не более чем счетное) множество, -алгебру образуют любые подмножества множества , в том числе и одноточечные.
Таким образом -алгебру множества можно построить из множеств или , или .
Будем называть событием любое подмножество значений случайной величины : . Прообраз этого события обозначим . Ясно, что ; ; . Все множества , которые могут быть получены как подмножества из множества , , применением конечного числа операций объединения и пересечения, образуют систему событий. Определив множество возможных значений случайной величины — и выделив систему событий , построим измеримое пространство . Определим вероятность на подмножествах (событиях) из таким образом, чтобы она была равна вероятности наступления события, являющегося его прообразом: .
Тогда тройка назовем вероятностным пространством случайной величины , где
— множество значений случайной величины ; — -алгебра числового множества ; — функция вероятности случайной величины .
Если каждому событию поставлено в соответствие , то говорят, что задано распределение случайной величины . Функция задается на таких событиях (базовых), зная вероятности которых можно вычислить вероятность произвольного события . Тогда событиями могут быть события .

5. ФУНКЦИЯ РАСПРЕДЕЛЕНИЯ И ЕЕ СВОЙСТВА

Рассмотрим вероятностное пространство , образованное случайной величиной .
Определение. Функцией распределения случайной величины называется функция действительного переменного , определяющая вероятность того, что случайная величина примет в результате реализации эксперимента значение, меньшее некоторого фиксированного числа :
(1)
Там где понятно, о какой случайной величине , или идет речь, вместо будем писать . Если рассматривать случайную величину как случайную точку на оси , то функция распределения с геометрической точки зрения это вероятность того, что случайная точка в результате реализации эксперимента попадет левее точки .
Очевидно что функция при любом удовлетворяет неравенству . Функция распределения случайной величины имеет следующие свойства:
2) Функция распределения — неубывающая функция , т.е. для любых и , таких что , имеет место неравенство .
Доказательство. Пусть и и . Событие, состоящее в том, что примет значение, меньшее, чем , представим в виде объединения двух несовместных событий и : .
Тогда согласно аксиоме 3 Колмогорова, или по формуле (1)
, (2)
откуда , так как . Свойство доказано.
Теорема. Для любых и вероятность неравенства вычисляется по формуле
(3)
Доказательство. Справедливость формулы (3) следует из соотношения (2). Таким образом, вероятность попадания случайной величины в полуинтервал равна разности значений функции распределения вычисленных на концах полуинтервала и .
2) ; .
Доказательство. Пусть и — две монотонные числовые последовательности, причем , при . Событие состоит в том, что . Достоверное событие эквивалентно объединению событий :
; .
Так как , то по свойству вероятностей , т.е. .
Принимая во внимание определение предела, получаем ;
3) Функция непрерывна слева в любой точке ,
Доказательство. Пусть — любая возрастающая последовательность чисел, сходящаяся к . Тогда можно записать:
На основании аксиомы 3
Так как ряд справа состоит из положительных чисел и сходится к , то остаток ряда, начиная с некоторого номера , будет меньше , (теорема об остатке ряда)
.
Используя формулу (3), выразим вероятности событий через функцию распределения. Получим
,
откуда или , а это означает, что .
Из рассмотренных свойств следует, что каждая функция распределения является 1) неубывающей, 2) непрерывной слева и 3) удовлетворяет условию и . И, обратно, каждая функция, обладающая свойствами 1), 2), 3), может рассматриваться как функция распределения некоторой случайной величины.
Теорема. Вероятность того, что значение случайной величины больше действительного числа , вычисляется по формуле .
Доказательство. Достоверное событие представим в виде объединения двух несовместных событий и . Тогда по 3-1 аксиоме Колмогорова или , откуда следует искомая формула.
Определение. Будем говорить, что функция распределения имеет при скачок , если , где и пределы слева и справа функции распределения в точке .
Теорема. Для каждого из пространства случайной величины имеет место формула
Доказательство. Приняв в формуле (3) , и перейдя к пределу при , , согласно свойству 3), получим искомый результат. Можно показать, что функция может иметь не более чем счетное число скачков. Действительно функция распределения может иметь не более одного скачка , скачков — не более 3-х, скачков не более чем .Иногда поведение случайной величины характеризуется не заданием ее функции распределения, а каким-либо другим законом распределения, но так, чтобы можно было получить из этого закона распределения функцию распределения .

Профессор экономики Принстонского университета Брайан Каплан объясня-ет, что реальная польза высшего образования — вовсе не в знаниях, и что обра-зованность вносит очень скромный вклад в богатство страны
Я провел в образовании больше 40 лет. Сначала детский сад, подготови-тельный класс, начальная школа, средняя и старшая школа. Потом получение степени бакалавра в Университете Калифорнии в Беркли и аспирантура в Прин-стоне. Следующий шаг можно назвать моей первой «настоящей» работой — в ка-честве профессора экономики в Университете Джорджа Мейсона. Благодаря этой постоянной должности у меня есть работа мечты. Так что у меня нет личных при-чин критиковать нашу систему высшего образования. Но жизненный опыт, а также четверть века, проведенная в чтении и размышлениях, убедили меня, что все это — большая трата времени и денег. Когда политики обещают отправлять еще больше американцев в университеты, я не могу сдержаться, чтобы не сказать: «Зачем? Вы хотите, чтобы мы потратили еще больше?»
Вы можете спросить, как можно назвать бесполезным высшее образование в то время, когда оно приносит огромную финансовую выгоду. Надбавки к зарпла-там для выпускников университетов выросли до 73% — то есть зарплата облада-теля бакалавра в среднем на 73% выше, чем у того, кто просто закончил школу. В конце 1970-х этот показатель равнялся 50%. Ключевой вопрос, однако, заключа-ется не в том, окупается ли университетское образование, а в том, зачем оно нуж-но. Простой популярный ответ гласит, что университет обучает студентов полез-ным рабочим навыкам. Но и тут кроются десятки интересных вопросов.
Первый и главный: с подготовительного класса ученики тратят тысячи часов на обучение предметам, которые не соответствуют современному рынку труда. Почему на уроках английского изучается литература и поэзия, а не бизнес-труды или технические документы? Для чего в математических классах изучают доказа-тельства, которыми почти никто из учеников не может воспользоваться? Когда обычному студенту пригождается история? Тригонометрия? Искусство? Музыка? Физика? Латынь? Школьный шут, который со стебом спрашивает: «Как это отно-сится к реальной жизни?», кажется, что-то понимает.
Несоответствие между учебной программой колледжа и рынком труда имеет банальное объяснение: преподаватели учат тому, что знают сами, и у большин-ства из них нет обширных знаний о современных рабочих местах. Но это только усложняет картину. Если университеты и колледжи стремятся повысить будущий доход студентов, обучая рабочим навыкам, почему же они доверяют образование людям, настолько далеким от реального мира? Потому что, несмотря на пропасть между тем, что студенты изучают, и тем, что работники делают, академический успех служит мощным сигналом рабочей продуктивности.
Предположим, вашей юридической фирме нужен практикант на лето. На это место претендует человек, изучающий право, с докторской степенью по филосо-фии, полученной в Стэнфорде. Какой вывод из этого вы сделаете? Соискатель, вероятно, блестящий, добросовестный человек, готовый к кропотливой скучной работе. Если вы хотите работника такого типа — а какой работодатель не хочет? — вы делаете предложение, хотя вы при этом осознаете: ничто из того, что фило-софы изучают в Стэнфорде, не пригодится на этой работе.
Рынок труда не платит вам за бесполезные предметы, которые вы выучили, он платит вам за качества, о которых свидетельствует овладение этими предме-тами. Это вовсе не маргинальная мысль. Майкл Спенс, Кеннет Эрроу и Джозеф Стиглиц, нобелевские лауреаты по экономике, внесли весомый вклад в теорию об образовательных сигналах. Каждый студент, выполняющий минимальную работу, необходимую для получения хороших оценок, подтверждает эту теорию. Но си-стема сигналов не играет никакой роли в публичной дискуссии или формировании политики. Как общество мы продолжаем подталкивать огромное количество уче-ников к все более высоким ступеням образования. Главный эффект — не более качественная работа или более продвинутые навыки, а гонка за оценками.
Чтобы не быть неправильно истолкованным, я решительно утверждаю, что образование дает кое-какие ценные навыки, а именно грамотность и умение счи-тать. При этом я уверен, что как минимум наполовину, а может быть, и больше, финансовые выгоды университетского образования объясняются сигнальной логи-кой.
Большая часть зарплаты формируется после пересечения финишной черты. Предположим, вы бросите университет через год обучения. Ваша зарплата будет больше, чем у человека, не учившегося в университете совсем, но ваша надбавка составит лишь 25% от той, что получит специалист, отучившийся 4 года. Анало-гично, выйдя на работу после 2 лет обучения, вы получите 50% от полной надбав-ки, через 3 года — 75%.
Традиционная точка зрения, которая говорит, что образование окупается, по-тому что студенты учатся, подразумевает, что обычный студент приобретает и накапливает множество знаний. Но как бы не так. Преподаватели часто жалуются на то, что в конце лета студенты знают меньше, чем в начале. Но летние потери — лишь одна часть более глобальной проблемы: у человека есть проблемы с со-хранением знаний, которыми он редко пользуется. Конечно, некоторые выпускники используют то, чему они научились, и помнят это — инженеры, например, хорошо помнят математику. Но когда мы оцениваем, что в среднем помнят выпускники университетов спустя годы, результаты, мягко говоря, обескураживают.
В 2003 году министерство образования США протестировало 18 тысяч аме-риканцев на общую грамотность по разным вопросам. Менее трети выпускников университетов получили оценку «выше среднего» — и около одной пятой оказа-лись на «базовом» уровне и уровне «ниже базового».
Конечно, студенты не должны просто впитывать факты, они должны учиться, как думать в реальной жизни. Наиболее глубокое исследование о влиянии образо-вания на практическое мышление было проведено Дэвидом Перкинсом из Гарвар-да в середине 1980-х.
Автор задал участникам вопросы, призванные оценить неформальное мыш-ление, такие как «Позволит ли закон штата Массачусетс, предполагающий введе-ние 5-центового депозита за бутылки и банки, значительно снизить количество му-сора?» Преимущество высшего образования оказалось нулевое: студенты четвер-того курса не показали лучших результатов, чем первокурсники.
Следующее доказательство такое же обескураживающее. Один исследова-тель протестировал студентов Университета Аризоны на способность «применять статистические и методологические концепции в рассуждениях о повседневных событиях».
«Из нескольких сотен протестированных студентов, многие из которых более 6 лет занимались лабораторной наукой… и углубленной математикой, никто не продемонстрировал даже видимости приемлемого методологического мышления», — говорит автор исследования.
Те, кто уверен, что колледж учит учиться, ожидают, что студенты будут по-стигать научные методы, а не использовать их для анализа окружающего мира. Этого почти не происходит.
Студенты оттачивают те типы рассуждений, которые характерны для их спе-циализации. В рамках исследования Мичиганского университета были протестиро-ваны студенты естественно-научных, гуманитарных, психологических и других со-циальных дисциплин на способности к словесным, статистическим и условным рассуждениям в течение первого семестра первого года обучения. Те же самые студенты были протестированы во втором семестре четвертого курса, и каждая группа продемонстрировала существенные улучшения в одной конкретной обла-сти. Психологи и представители других социальных дисциплин стали куда лучше в статистических рассуждениях. Студенты естественно-научных и гуманитарных направлений — в условных рассуждениях, то есть анализе проблем, сконструиро-ванных по принципу «если… то».
Однако в остальных областях успехи после трех с половиной лет обучения были скромными или несущественными. Вывод таков: студенты-психологи ис-пользуют статистику, поэтому становятся лучше в статистике, студенты-химики редко сталкиваются со статистикой, поэтому и не становятся в ней лучше. Если все идет хорошо, студенты учатся тому, что изучают и практикуют.
При этом психологи выяснили, что большая часть наших знаний инертна. Студенты, блистающие на экзаменах, в основном не умеют использовать свои знания в реальном мире. Взять хотя бы физику: «Студенты, которые получают высокие оценки на уроках физики, зачастую не могут решить базовые проблемы и вопросы, которые встречаются им в немного иной форме, нежели та, по которой они обучались и тестировались», — пишет психолог из Гарварда Ховард Гарднер.
То же самое происходит с биологами, математиками, статистиками и, к мое-му сожалению, экономистами. Я пытаюсь научить своих студентов связывать лек-ции с реальным миром и повседневной жизнью. Мои экзамены направлены на то, чтобы оценить понимание, а не запоминание. Но даже в хорошем классе только четверо участников из 40 демонстрируют истинное понимание экономики.
В то же время неэкономисты — то есть нормальные люди, — могут сказать, что мы не можем оценивать социальную выгоду образования, основываясь ис-ключительно на результатах тестов и зарплате. Вместо этого мы должны спросить себя, в каком мире мы хотим жить — в образованном или безграмотном? Мы мо-жем и должны изучать широкие социальные последствия образования. Когда гу-манисты видят мои подсчеты окупаемости образования, они считают меня типич-ным экономистом-циником, не обращая внимания на идеалы, которыми дорожат многие преподаватели. Я экономист, и я циник, но я не типичный циничный эконо-мист. Я циничный идеалист. Я верю в то, что образование способно преобразить нас. Я всем сердцем верю в жизнь разума. Я циничен в отношении людей.
Я циничен в отношении студентов. Подавляющее большинство из них — ме-щане. Я циничен в отношении преподавателей. Подавляющее большинство из них не способны вдохновлять. Я циничен в отношении тех, кто решает, что студенты изучают. Подавляющее большинство считает, что выполняют свою работу, а сту-денты подчиняются им. Да, можно найти благородные исключения. Я знаю немало жаждущих студентов и страстно увлеченных преподавателей, а также несколько мудрых официальных лиц. Но мой 40-летний опыт в индустрии образования не оставляет сомнений, что они в безнадежном меньшинстве.
40 лет назад университет был, по сути, полноценной работой. Типичный сту-дент проводил 40 часов в неделю в классе и за обучением. Сегодня студенты в среднем проводят за академической работой 27 часов в неделю — включая толь-ко 14 часов обучения. В свободное время они развлекаются.
По данным Ричарда Арума и Джосипы Роксы, у типичного студента колледжа 13 часов в неделю уходит на обучение, 12 часов — на общение с друзьями, 11 ча-сов — на развлечения за компьютером, 8 часов — на оплачиваемую работу, 6 ча-сов — на просмотр телевизора, 6 часов — на физические упражнения, 5 часов — на хобби и 3 часа — на другие формы развлечений.
Так что все это означает для отдельно взятого студента? Советую ли я хо-рошо подготовленной 18-летней девушке отказаться от университета, потому что она не получит там стоящих знаний? Абсолютно нет. Изучение ненужных предме-тов в следующие 4 года произведет впечатление на будущих работодателей и увеличит потенциал ее доходов. Если она решит сразу пойти на работу, сказав: «У меня есть возможность получить диплом, я просто решила этого не делать», ра-ботодатель не поверит ей. Добровольно отказаться от образования значит отнести себя к когорте менее квалифицированных работников. Для конкретного человека университет имеет смысл.
Это, однако, не означает, что высшее образование открывает путь к общему процветанию или социальной справедливости. Если посмотреть на разные страны мира, то год образования добавляет к доходу человека от 8 до 11%. При этом увеличение образованности среди населения в среднем на один год на человека увеличивает доходы страны всего на 1-3%. Другими словами, образование обога-щает конкретных людей больше, чем страны.
Как это возможно? Инфляция дипломов: по мере роста среднего уровня об-разованности нужно все больше и больше образования, чтобы убедить работода-теля, что вы достойны конкретной работы. По данным одного исследования, с начала 1970-х годов до середины 1990-х средний уровень образования среди 500 категорий вырос на 1,2 года. Но большинство рабочих мест за это время не поме-нялось — поэтому нет иных причин, кроме инфляции дипломов, почему людям в 1995 году требуется больше образования, чтобы делать ту же работу, что в 1975.
Наряду со всевозрастающей потребностью в дипломах растут и неудачные попытки их получения. Студенты платят за обучение, убивают год и проваливают экзамены. Любой вердикт о ценности образования должен учитывать эти акаде-мические банкротства. Количество провалов велико, особенно для учащихся с низкими оценками в средней школе. Говорят, что около 60% студентов не могут закончить университет за четыре года. Проще говоря, распространение высшего образования привело к тому, что в университеты приходит слишком много студен-тов, которые не в состоянии успешно их закончить.
Идея «колледж для всех» задвинула на задний план реалистичную альтерна-тиву: профессиональное образование. Оно бывает многих видов — ученичество и другие виды обучения без отрыва от производства, а также непосредственный опыт работы, — но у них много общего. Любой тип профессионального образова-ния учит конкретным навыкам работы, полностью построен на принципе обучения через делание, а не через слушание. Исследования свидетельствуют о том, что профессиональное образование повышает заработную плату, снижает уровень безработицы и увеличивает процент завершения старших классов школы.
Защитники традиционного образования часто апеллируют к неопределенно-сти будущего. Какой смысл готовить студентов для экономики 2018 года, если они будут работать в экономике 2025 или 2050 года? Но неизвестность — вовсе не по-вод готовить студентов к профессиям, которыми они почти наверняка не будут за-ниматься, — и если мы что и знаем о будущем, так это то, что спрос на писателей, историков, политологов, физиков и математиков будет низким. Отрадно думать, что студенты могут использовать профессиональное обучение как план Б, но это не учитывает тот факт, что после провала у них может исчезнуть желание попы-таться снова.
Образование настолько стало частью современной жизни, что мы принимаем его как должное. Молодые люди должны пройти через круги обучения, чтобы за-нять свое место в мире взрослых. Мой тезис в одном предложении: цивилизован-ные общества сейчас выстроены вокруг образования, но есть более правильный и более цивилизованный путь. Если у каждого будет диплом, в результате на всех не хватит хорошей работы, а инфляция образования будет расти. Попытка рас-пространить успех при помощи образования приводит к распространению образо-вания, а не успеха.