логонетика

[Алексей++]

а если попытаться составить алгоритм , чтобы опознать спам, как это делает человек...

то есть по какой схеме он обычно развивается?
Во первых автор нам одно из:

• неизвестен (ещё пока)
• известен, неприятен
• ... (больше не придумал)

Во вторых. Схема построение предложений , особенно первого - "Купите..." , "предлагаем..." , порядок слов, ......  .  Нужно изучить/придумать/составить классификацию типов этих схем, обучить программу распознавать, обучить обучаться...

как это всё на практике сделать, не знаю, таффайте думать...

[Finch]

RXL, я только не совсем понял, как посты оставленные на форуме и не содержащие ссылки на ресурс могут поднять релевантность в поисковике интересующего меня ресурса.
Т.е. я раскручиваю ресурс по ссылке ццц.рога_копыта.ру. Который продает допустим сантехнику. Как может помочь мне то, что я на всех форумах буду писать Унитазы, раковины, сантехника и т.п. без указания ссылки на мой ресурс?

У Джека Лондона есть сценарий "Сердца трех". В нем в самом конце книги, когда обрушились акции главного героя. Он начал творить больший беспорядок. Тут думую также. Чем больше упоминаются ключевые слова, тем думаю больше поисковики начинают обрашать на них внимание. Можно сделать как бы ДОС атаку на ресурс который мне не нравится. 
Но это все догадки. Если действительно так. Чел просто гадит какому то ресурсу.

[nikedeforest]

Видишь как интересно, _какому-то_ ресурсу. Т.е. из его постов не стало понятно какому ресурсу он гадит. И вообще, я, по честности, не увидел что-то хоть отдалено похожее на спам и желание нагадить ресурсу. Ребята, на шизофрению тянет уже с этим спамом.
Может чел проникся теорией мышления , с кем не бывает.

[Finch]

nikedeforest, Может быть. Только у шизофрении чуть другие симптомы. Наши симптомы параноя

[RXL]

Психологи вы наши ж)

Читаем еще раз и не через строчку: https://forum.shelek.ru/index.php/topic,10343.0.html
Прочитали?
Теперь скармливаем ключевую строчку яднексу.
Не знаю как у кого, а у меня две страницы.
Первые 12 ссылок начинаются именно с нашей строки. На одной из них даже дата есть - 16 декабря - две недели назад.

Далее: материал свален бесформено. Для такого объемного текста по психологии я считаю это недопустимым. Если конечно кто-то опять не взялся взрастить очередной ЛЕС и ищет где откликнутся.

Я так и не увидел ни одного оправдательного факта. Так что посчитал это спамом и замочил.


Пройдясь по ссылкам нашел, что этот бред "логонетик" сеит около месяца.

На одном форуме мне понравился ответ на этот мусор:

логонетикА по теме, что можешь сказать?

А по тем темам, которые Вы с Сержем открываете, можно и нужно молчать, потому что
1.они не читабельны
2.с точки зрения психологии виртуального общения они нарушают золотое правило: собеседником читаются только первые 10 строк, в противном случае (если норма превышена) читается только первая и последняя строка.
3. познакомившись в жизни с иеговистами, сайентологами, адвентистами, НЛПишниками , гипнотизерами, баптистами пришла к выводу, что посылать их надо куда подальше с их психотехниками. Тогда у них от самих себя начинает крыша сползать.

[Finch]

Ром меня потрясло другое. На одном из форумов он зарегистрировался 20/10/2006 года. И уже умудрился набрать 840 сообшений на сегодняшнее число.

[Finch]

nikedeforest, Ты можеш долго и упорно обсуждать о правах данного индивидума. Но это не нормально, когда чел за два месяца умудряется набрать не меннее 500 сообшений на форуме. Я сейчас просмотрел около 5 форумов. Почти у всех такая статистика.
Так что я останусь на старой точке зрения и полностью поддерживаю Рому в решении данного вопроса.

[nikedeforest]

Мда, погорячился я с шизофренией .
Я не против вашего решения, просто высказал мнение , да и тему интересную "спам" затронули .

[Sel]

(в сторону)
А не переименовать ли нам тему в, например, "Вопросы спама" ... эээ...

[Люсь]

И вообще, я, по честности, не увидел что-то хоть отдалено похожее на спам и желание нагадить ресурсу.

отдалённо похожее на спам было:
кто-то говорил, что он какие-то фразы повторил аж 49 раз на одной  странице текста.....
вернее в один кусок было свалено 49 штук текста с этой фразой, я думаю.

где ссылка - я не знаю, подробно не смотрела, но однажды как-то видела текст спама с html-кодами, где ключевые слова являются ссылками, но тэгами html подчёркивание снято, и текст имеет цвет основного текста.
возможно, и в этом тексте была та же фигня.

к методам борьбы против спама:
учтите так же частоту употребления одних и тех же слов.
но всё это поисковики давно используют.

считаю, что не будет никогда изобретено идеального средства механический метод борьбы со спамом, потому что то, что придумывают и чем руководствуются те же поисковики, чтобы как-то отсеять спам - спамоделы тоже учитывают (всё таки спам организовывют люди), совершенствуют свои техники, и вот уже возможно "полное обхождение всех фильтров и 100% попадание в ящик пользователя"....

как-то давно читала про изобретение компьютера, в котором не используется никакой файловой структуры, ничего похожего на современные ОС, а используется какой-то принцип - мол стоит подумать - и ты уже там, где надо. к сожалению щас ничего подробнее сказать не смогу. может быть когда-нибудь опять эта статья попадётся на глаза, а может кто-то что-то об этом слышал.

но и то сомневаюсь, что даже такие компьютеры ограничат нас от спама.
у фантастов (идеи которых часто сбываются в реальности) полно рассказов про мозговой штурм рекламой....
и до сих пор фантасты не придумали (кажется) способа, как можно избавиться от нежелательной навязываемой нам информации...

[Dimka]

2. ... неприятен

Ну вот, с такой постановкой задачи уже можно писать программу

как-то давно читала про изобретение компьютера, в котором не используется никакой файловой структуры, ничего похожего на современные ОС, а используется какой-то принцип - мол стоит подумать - и ты уже там, где надо

Ага, и здоровенная кнопка "ХОЧУ!" на весь экран - вот её жать.

[Гром]

Леш, организация анализа текста напарывается на простую, но действенную реакцию.
Например мы знаем, что предлагают нам увеличить.
Ставим поиск на слово "Увеличить" ... Спамер пишет 112233Увели77чить и все, прочесть мы прочтем - алгоритм не сработает.
Достаточно и одного символа, дабы ЦЕЛОЕ слово читалось как Увеличить, но не распознавалось защитой.

Если писать с помощью регулярных выражений поиск .У.в.е.л.и.ч.и.т.ь. (где точка - любой символ или заменить точку на звездочку - любые символы в любых колличествах) дабы найти все вкрапления, то мы
1. Вырубим довольно много словосочетаний написаных другими людьми с совпадением слов.
2. Утяжелим процесс поиска на порядки, т.е. попросту завалим сервер. Я уж не говорю о почте.


Ведь посик не на одно слово, а на много слов сраху причем все - регулярные выражения.
Нужна система защиты не позволяющая автоматом вводить или рассылать по почте спам.

По поводу спама и лесов с психологической точки зрения - позже.

[RXL]

(в сторону)
А не переименовать ли нам тему в, например, "Вопросы спама" ... эээ...

Я предлагаю так: распилить тему на обсуждение эгото леса и обсуждение спама. Первое - в кунсткамеру, а второе оставить тут.

[Scorp__)]

Ага, и здоровенная кнопка "ХОЧУ!" на весь экран - вот её жать.

Неа как на баш.орг, здоровая надпись "УЖЕ ВСЕ КАК ТЫ ХОЧЕШЬ"

[RXL]

Это процесс корректировки поискового индекса:

Обнаружены следующие ошибки:
Слова 'ЛОГИКЕ' ссылаются на несуществующую тему.
Слова 'МЫШЛЕНИЯ' ссылаются на несуществующую тему.
Слова 'О' ссылаются на несуществующую тему.
Слова 'РАЗМЫШЛЕНИЯ' ссылаются на несуществующую тему.
Слова 'ТЕОРИЯ' ссылаются на несуществующую тему.

Забавно.

[npak]

По-моему, данный конкретный случай - это не спам. Товарищ логик изобрёл "новое" и стремиться осчастливить им весь мир (в данном случае Рунет).  Интересно, чем ему Шелек приглянулся?

Я не один раз видел такие тексты, которые должны, по мнению авторов, совершить прорыв.  До появления Интернета авторы издавали книги на свои средства и пытались распространять получившиеся брошюрки через книжные лавки при ВУЗах, чтобы капать на мозги молодым да ищущим.  Сейчас проще - можно бесплатно постить в Интернете, разбрызгивать фонтан мысли на всех скопом.

[RXL]

Коль, а разве это не спам? Натурально нежелательная информация.
Нет, конечно желающие могут развернуть дискуссию, а за одно скопировать текст с любого сохрагнившегося источника к нам - имеют полное на то право. Думаю автор, если ему написать о востановлении текста, быстрее всего вернется и подискутирует на сотню-другую постов.

[x77]

спам пишут люди. люди будут всегда. следовательно - спам будет всегда.

имхо, обсуждать нечего задача решабельна с достаточно большой степенью точности с помощью нейронных сетей. но насколько я знаю, у нас никто не балуется этим направлением достаточно профессионально, чтобы разработать самообучающийся алгоритм распознавания спама. посему - имеет смысл не дробить темы, а забить на обе

[npak]

ИМХО - спам не предполагает продолжения общения.  Здесь же, как ты правильно сказал, автор, если дать ему волю, может развернуться беспредельно.  Так что я остаюсь при своём мнении, что это не спам.

Другое дело, что паразитировать на чужих ресурсах начинающему спасителю науки некрасиво.  Надо, как минимум, связно изложить свои мысли, организовать под них сайт с форумом, а в осчастливленное человечество направлять ссылками. На таком сайте можно было бы с товарищем подискутировать, а шелек - это не подходящее место для таких лажовых и вторичных сочинений.

[nikedeforest]

Люся, внимательней посмотри какие там слова повторядись и тебе сразу станет понятно. ПРо эти слова Finch сказал стеба ради. А спамом все таки надо считать записи рекламного характера, а не угодивишие нам высказывания. Ну да ладно, один фиг ни лес, ни спам нам не нужен .

[Гром]

x77, думаю, что ты не совсем прав.

Вопрос ведь стоит не о перевоспитании людей и не об алгоритме, который распознает любой спам или вирус. По этому пути идут все компании, ведь легче всего взять и написать Базу Данных размером с БСЭ и потом в ней искать старые тексты, постоянно догоняя. Не работает на новых, ничего вобъем в базу и пусть обновляют. заодно будем деньги за обновления брать.

А вот разработать систему свой - чужой, которую спамеры не смогут пробить и повторить, вот это совершенно другое дело.

[x77]

Гром, так тут разрабатывать нечего, просто закрыть регистрацию и всё. выделить с десяток человек, которые по заявке мылом принимают решение - дать челу доступ на ресурс или не дать.

нужна просто старая добрая закрытая система. именно Клуб, если хочешь, для вхождения в который требуется поручительство двух и более действующих членов.

[Люсь]

Люся, внимательней посмотри какие там слова повторядись и тебе сразу станет понятно.

Повторялись слова типа:
"Высказывайте своё мнение, и почаще типа, побольше"
насколько я помню. конкретно уточнять не полезу - если мне одну фразу сказали в течении разговора 3 раза - меня этот человек уже бесит. Он неадекватен, а значит неинтересен. Так же, как спам.

[x77]

у нас система открытая - пишут все, кому не лень. и спамеры тоже пишут, и банятся они пост-фактум. поэтому вопросы, типа "как в открытой системе не допустить регистрации спамеров" - это вопрос из области объять необъятное. тут одно из двух: либо мы даём право писать всем, смотрим, на то, что пишут, и если не нравится - убиваем, либо - мы не даём право писать никому, кроме уже известных людей. тут не дано третьего, пойми. все эти варианты со спам-контролем - это варианты из области компромиссов, которые ПРЕДПОЛАГАЮТ, что часть "нужных" сообщений будет посчитана спамом и заблокирована, а часть "ненужных" - пропущена. просто у хороших спам-фильтров подобная "девиантность" минимизирована. но 100% фильтра не будет никогда просто потому, что невозможно математически описать человеческую речь. даже письменную. вот тебе пример спама. попробуй описать фильтр, который бы его зацепил:

всем привет. вы когда-нибудь задумывались, что чем дороже ПРОДАЁТСЯ какая-то вещь, тем сложнее найти на неё покупателя? но с другой стороны, это правило не действует на так называемые "товары роскоши". предположим, какой-нибудь ОФИГЕННЫЙ платиновый мобильник, стоимостью десятки тысяч евро, продать, по-большому счёту, гораздо легче, чем МОПЕД, скажем, хотя бы за две тысячи. более долгий поиск покупателя с лихвой компенсируется уровнем прибыли, и одна единственная продажа способна окупить все предшествовавшие затраты. и это несмотря на то, что ЗВОНИТЬ этот телефон будет точно так же, как и его более дешёвая модель за 200-300 баксов. подобная покупка не доступна ВАСЕ с лесопилки, только очень состоятельному человеку, и цены на подобные, "имиджевые" вещи определяются не законами спроса и предложения, а несколько другими вещами.

ну и т.д., лениво дальше писать. мысль понятна, я думаю. я к тому, что 100% защита от чего бы то ни было возможно только тогда, когда это "чего бы то ни было" отсекаются на корню технически. комп нельзя взломать по сети только если он отключен от сети. всё остальное - это миф, на котором куча НИИ делают бабки. они будут делать бабки вечно, потому что решают по определению нерешаемую задачу. очень нужное занятие. но нам то оно на кой?

[Dimka]

Гром, так тут разрабатывать нечего, просто закрыть регистрацию и всё. выделить с десяток человек, которые по заявке мылом принимают решение - дать челу доступ на ресурс или не дать.

Именно так, и вопрос это не столько технический, сколько организационный. Причём работает только в небольших коллективах/сетях.

С технической же точки зрения для автоматического распознавания спама нужен семантический анализатор постов и классификатор - ИИ. Ответы этого ИИ будут вероятностными. Ему можно доверять, и дать право автоматической блокировки юзеров, но при этом он, как и человек, всегда будет "субъективен" и будет ошибаться. Поэтому ИИ не доверяют управление, оставляя лишь функции диагностики и выдачи рекомендаций.

[Dimka]

на котором куча НИИ делают бабки. они будут делать бабки вечно, потому что решают по определению нерешаемую задачу. очень нужное занятие. но нам то оно на кой?

Тут как с вечным двигателем. Штука очень нужная, очень интересная, но нереальная.

[x77]

dimka, совершенно верно. исследования в области искусственного интеллекта идут с 30-х годов. никому и по сей день не удалось смоделировать человеческий мозг. и вряд ли удасться в ближайшие столетия. но на почве этих, бесперспективных, по большому счёту, изысканий выросли такие вещи, как системы распознавания образов и речи, те же нейронные сети, ди в вообще вырос целый круг наук, имеющих огромное прикладное значение. поэтому заниматься такими вещами надо. так называемые "фундаментальные исследования" сами по себе мало что дают, но имеют огромное значение опосредованно, через те смежные области, которые из них вырастают в последствии. но эти исследования никогда не приносят денег, наоборот, они их пожирают. фундаменталка всегда требовала и будет требовать финансирования со стороны, она неокупаема

[Гром]

Дим, Игорь, давайте систематизируем, а то опять о разном.
Я не говорю о нашем клубе или о не нашем, но о кулбной структуре, взятой отдельно от проблемы спама вообще.
Давайте посмотрим на проблему спама с другой стророны.

Есть сегодня один, может два ну три открытых метода которые, с применением различных алгоритмов, используются для защиты от спама в почтовых серверах и в форумах.


1. Анализ текста письма.
В этом случае возможны три варианта.
а) создание БД с известными текстовыми последовательностями спам-писем или постингов, которые анализируют текст на наличие такого текста в письме и блокируют его. Этот метод гибелен по причине отставания БД от реального спам-контента, с пропусканием процента новых писем. За неимением лучшего мы все этим пользуемся.
б) создание ИИ умеющего обучаться самому. Такие системы видимо стоят в довольно крупных корпорациях, если есть вообще, я иногда слышал. Но и они в принципе основаны на формуле а) + небольшое дополнение в виде возможного анализа.
в) нейронные сети, как разновидность того же ИИ.

2. Этот способ удержания спама ориентируется на ограничении знания или на ограничение возможностей автоматической работы спам-рассылок.
Естественно это и регистрация с графикой на форумах и попытка цифровой подписи для деловых писем, и многое другое. Однако это тоже не эффективно, так как во первых усложняет жизнь не только спамерам, но и пользователям. Во вторых не действует, если спамеру удается заслать трояна на комп с которого разошлются письма с цифровой подписью с помощью внутреннего клиента.
Т.е. такого рода работа не может приводить к полной защите - это лишь вспомогательные системы.

Психологическая состовляющая спама - из 10 000 000 разосланых писем приходит едва 10 запросов, фиг с ним, авто-рассылка работает 24 часа 7 дней в неделю и 100 человек в день все равно хлеб и приносит копеечку, пока это выгодно все равно будут рассылать. И это верно.
Вопрос, не как сделать спам не выгодным, а как создать такую почту (пусть в ограниченном варианте) такой форум (пусть в ограниченном варианте) что бы спам не проходил вообще.

В качетсве палиатива может выступать система свой-чужой - которая стоит на распознавании в самолетах.
Ведь понятно, что не принять письма от кого-то можно только с помощью одного - точно знать, что именно их ты хочешь принимать. Т.е. факт ручной отсылки - не из программы должен быть подтвержден.

Вопрос - как - это тот самый вопрос - который можно и нужно решить. Желательно конечно нами

Таким образом ручками прописать много не получится. И спам становится невыгодным, потому, что на 10 000 000 отосланных автоматом писем придет 10 000 000 отказов в приеме письма и ни одного клиента. А на ручную рассылку в колличестве 100 000 писем, которую спамер отошлет, придет 1 клиент а времени спамер затратит слишком много.

[x77]

"свой-чужой" - это PGP называется, по-нашему . один закрытый ключ на форуме, куча открытых ключей у любого, кто регится на форуме. регистрацию оставляем, как есть с тем исключением, что она не даёт разрешения писать. читать - сколько влезет. а вот на разовое скачивание ключа можно повесить любые проверки, от CAPTCHA до индивидуального собеседования с админом. проверка - небольшой ActiveX, которого и видно-то не будет.

[Finch]

x77, ActiveX не подойдет в любом случае. Это сразу объявит персонами нон-гранта всех Люниксоидов. И очень много тех кто сидит в Винде. Так как, как правило я например всегда стараюсь выключить эту возможность в своем браузере. У меня например стоит галочка только на JavaScript. Многие и их отрубают.