логонетика

[логик]

<СПАМ>

[Finch]

Мда тема заставила меня взять словарь "русский-русский", для того чтобы хотя бы понять первое предложение. Круто. Такое ошушение, что это будет ЛЕС-4. Жалко в жизни форума не учавствуют некоторые участники ЛЕСов

Вот простой пример:

В тоже самое время логические цепи грамотно сконструированные на основе фактически- очевидной аксиоматики должны восприниматься как заведомо истинные логические цепи и называться прямые логические цепи, а выводы к которым приводят грамотно сконструированные прямые логические цепи должны называться прямые выводы и иметь статус аксиом.

Я не знаю как в логонетике, но в математике аксиомой называют самодостаточное утверждение не требуюшее  доказательств. Логонетике обратное от математике. Нужно еше привести доказательство аксиомы.


ЗЫ, Кстати, я сейчас провел исследование Первый пост ЛЕСа появился почти ровно год назад 3 декабря 2005 года. Скажите мне пожайлуста, может это просто выпускной экзамен какой либо школы. Чтобы писать кучу слов, совсем без смысла?

[nikedeforest]

Аффтар, пиши исчо. Я как объем увидел так понял, что столько времени свободного у меня не было и не факт, что будет.
Finch, ты все прочел?

[Finch]

логик, Большая просьба. Я конечно понимаю, что для тебя важна твоя теория, но это не повод разбрасывать ее в кучу топиков. Все свои наработки по логонетике пожайлуста скидывай только в этот топик.

[Finch]

Маленькая статистика, Выражение "Прошу высказываться" на данной странице пока что встречается 49 раз. Так что данная просьба перетекает в прямой и настойчивый приказ7 Так что настойчивее товариши, настойчивее высказываем свои мнения.

[Pu]

слишком много букв, не осилил. (( (извините что не на сленге)

[RXL]

Значит так: это спам!
Введя первые слова в яндексе я получаю кучу сайтов с этим материалом (copy-paste, если вы еще не догадались). Несколько таких текстов датированы не познее недели. Так что это работа на рейтинги поисковиков.

Я удаляю текст и оставлю пару ключевых слов - если кому надо - сам прочтет через поисковики.

Автор будет жжечь в бане.

Ключевые слова: "Логонетика это синтез логики и психонетики"

[Sel]

Ромка, какой ты злой! Я даже прочитать не успела. 
    

[Анна на шее]

Так что это работа на рейтинги поисковиков

Как это?   Объясните - это чтобы выяснить, куда чаще заглядывают? Или что? А как можно проверить рейтинги?

[RXL]

Тань, набери в яндексе те слова и кликни по любой ссылке - будет тоже самое.

Wiks, это такая штука...
Ну, вот хотят инет-магазины, чтобы к ним приходило больше посетителей. Или продавцы рекламы - им тоже это нужно. Для приманки делают множество ухищрений, но самый большой приток дают поисковики. В рунете самый популярный - яндекс, потому стараются работать под него.
Поисковик, когда в нем чего-то ищешь, сортирует резуллтат поиска по релевантности. Точно объяснить не смогу. Знаю  только, что тут замешана такая наука, как статистика: чем чаще, тем лучше.

Вот, последний месяц я борюсь с псевдопользователями. Работают они примерно так: некая программа находит через поисковики странички с приглашением зарегистрироваться; далее она регится и в имени или в мыле оставляет ключевое слово. Более умные программы умеют обрабатывать некоторые реализации CAPTCHA (визуальная проверка). Задача: заводнить множество сайтов ключевыми словами, чтобы поднять их рейтинг в поиске. Ключевое слово может оказаться частью доменного имени сайта или просто присутствовать на сайте спамера на многих страницах.

Если бы спам не приносил прибыли, он бы давно был забыт!

Замечу, что в тексте, который был в теме, почти не было знаков препинания - они лишь мешают индексации ключевых слов. Даже в приведенной выше вразе для поиска их нет.

[Люсь]

Wiks, это чтобы при наборе этих слов люди чаще всего находили именно этого аффтара и его сайт.
рейтинги проверить просто: набираешь слова и смотришь, на каком месте нужный тебе сайт
чем выше рейтинг - тем выше на странице поиска располагается ссылка на страницу

спам короче - он на это и направлен. пиар, реклама...
присылая 5 лимонам народа письма о виагре и увеличении чего-то там, и изучение инглиша, и прочую лабустику, спамеры расчитывают на то, что какая-то хилая тысяча в день обязательно пойдёт по ссылке, или по нужде, или в  силу своей инет-новичковости.
и типа 5 лимона спама того стоят....

[Анна на шее]

Люсь, RXL , спасибо, просветили  Как-то в этих делах я мало разбираюсь 

Вот, последний месяц я борюсь с псевдопользователями...

Мдя   

[Гром]

Спам - это кошмар какой-то.
Вопрос борьбы со спамом - вопрос нумер 1. Придумавший уникальный способ защиты получит немеряно денежков, может устроим мозговой штурм?

[Dimka]

Во-первых, спам - проблема не техническая, а социальная. Форумы же - технические средства. Техническое средство само по себе не является злом или благом, но становится таковым при его использовании людьми.

Таким образом, одни люди используют форум для своего общения (по прямому назначению), другие люди тот же самый форум используют как средство распространения спама. Технически форум принимает и то и другое, поскольку с технической точки зрения всё едино. Отсюда следует, что с точки зрения форума эффективного и окончательного решения быть не может, поскольку такое решение не делает качественных различий пользователей. Например, если усложнить процесс регистрации, это, конечно, затруднит деятельность спамеров, но также затруднит приход на форум нормальных посетителей. Такие общие решения будут характеризоваться поговоркой "с водой выплеснули и ребёнка".

P.S. На правах IMHO.

[RXL]

dimka, речь об отделении людей от машин: подавляющая часть спама делается ботами. Для этого придумана визуальная проверка - благо, алгоритмы распознования образов еще не столь совершенны, как человеческий мозг.

Гром, если о чем и думать, то не о регистрации. Лучше распозновать только что или уже опубликованный текст на предмет "возможный спам".

[Dimka]

RXL, два ответа, но противоречащие друг другу

Лучше распозновать только что или уже опубликованный текст на предмет "возможный спам".

Фактически, это организация средства качественного различия пользователей. И учитывая именно это, я выше говорил, что надёжного технического средства пока что нет. Для этого нужен некоторый искусственный интеллект, анализ текстов. В принципе, есть спам-фильтры для почтовиков, и неплохие. Но надёжного средства нет.

благо, алгоритмы распознования образов еще не столь совершенны, как человеческий мозг.

В данном случае это как раз зло . Кроме того, если анализировать всякий пост таким средством, что у нас будет с производительностью форума?

речь об отделении людей от машин: подавляющая часть спама делается ботами. Для этого придумана визуальная проверка - благо, алгоритмы распознования образов еще не столь совершенны

Не окончательным, но на данный момент эффективным средством является использование ассоциативных способностей человеческого мозга, которых лишены современные боты. Например, для регистрации просить отгадать простые загадки или строить аналогии в рамках той или иной культуры. Скажем, homo soveticus вопрос вида "Детская новогодня песенка: В лесу родилась..." ? совершенно не затруднит, а вот бот или человек, не могущий без ошибок написать слово "ёлочка" (или "елочка"), его не пройдёт - и этот метод будет работать, пока не станет широко распространённым, и не будут созданы специальные боты. Вопрос можно задавать картинкой, а не текстом. А, скажем, англичанин ответа может и не знать, но врядли англичанин пойдёт на русскоязычный форум - не такой у нас повсеместно распространённый язык. Однако можно задавать и общечеловеческие ассоциации вида: "Как называется сторона света, где восходит солнце?"

Помнится, где-то видел регистрацию (то ли в шутку, то ли в серьёз), где требовалось упростить трёхэтажную математическую конструкцию с интегралами, пределами - такие регистрации человек без спец.подготовки не пройдёт, а значит такой человек не нужен форуму математиков. Не говоря уже о ботах.

[RXL]

dimka, да, я недоговорил, чтоб не повторятся который раз: скоро будет апгрейд форума и в новой версии будет визуальная проверка - CAPTCHA. Но, она действует только на незарегистрированных - вот в чем дело. Соотв., нужно находить спам, оставленный прорвавшимися ботами и людьми.

Ромка, какой ты злой! Я даже прочитать не успела. 
    

Таня мне льстит: к сожалению, модерирование у нас не столь оперативно.

А вот распознать спам в автоматическом режиме и оповестить модератора - это уже интересно.

Есть хороший спам-фильтр для почтовиков - spam assassin. Он помимо различных правил поддерживает обучаемый статистический метод.

Анализ можно производить не непосредственно, а на фоне - так не будет доп.задержек пишущим

[RXL]

dimka, ты хочешь отфильтровать нерадивых студентов?

[Dimka]

dimka, ты хочешь отфильтровать нерадивых студентов?

Я думаю, при регистрации проф.вопрос вида:

Что делает следующая программа?

Код: (Text) УКНЦ-БЕЙСИК

20 INPUT "n=";N: DIM M(N)
30 M(1)=N: I=1: GOTO 80
40 T=M(K)-1: S=T+I-K+1
50 FOR I=K TO N
60 IF S>T THEN M(I)=T: S=S-T ELSE M(I)=S: GOTO 80
70 NEXT I
80 FOR K=1 TO I: PRINT M(K);: NEXT
90 PRINT
100 FOR K=1 TO 1 STEP -1
110 IF M(K)>1 GOTO 40
120 NEXT K
130 END

Варианты ответа:
1) Строит ряд чисел Фибоначчи.
2) Расчитывает аннуитеты по кредиту.
3) Разлагает натуральное число в сумму натуральных чисел.
4) Ничего не делает.
5) Не знаю.

Отфильтрует не только нерадивых студентов, но также и таких посетителей, как Sel, Wiks, всех начинающих и размещающих объявления о работе. Кроме того вызовет раздражение таких посетителей, как Alf, и оттолкнёт много других неплохих людей, не собиравшихся заниматься спамерством.

P.S. Хотя это образцовое решение для школьников, изучающих информатику, составленное и одобренное пензенскими кандидатами тех.наук и доцентами профильных кафедр.

[Анна на шее]

скоро будет апгрейд форума и в новой версии будет визуальная проверка - CAPTCHA.

Это когда нужно набирать цифры, предлагаемые для повтора?
Не кидайте помидорами, я правда не знаю 

[Анна на шее]

...вызовет раздражение таких посетителей, как Alf...

Не вызовет, т.к. Альф разлогинился и работает над своим ресурсом.

[Алексей++]

RXL, Рома, а есть такое предложение. Раз моск лучше алгоритма, надо следать так - по некому критерию (скажем сообщения от незарегистрированных пользователей и пользователей с количеством сообщений <100 ) скидывать в некий журнал ссылки на посты в порядке их поступления . Затем специально обученный человек (СОЧ) будет заходить на эти посты и лёгкими движениями творить добро )
А ещё, сделать разпознавание урл , причём достаточно тех, которые написаны корректно , без приписок типа

Код:

"www_tutspam_ru" - замените _ на точки 
так как это явный спам и никто туда не полезет

и такие URL блокировать до того, как их посмотрит СОЧ )

[Finch]

Алексей1153, В корне не согласен по нескольким причинам:
1. Не думаю что в форуме есть инструмент предварительной модерации
2. СОЧ может и не быть в нете довольно продолжительное время
3. Каждый участник форума имеет право высказаться.
4. Будет происходить большая путаница сообшений

Даже URL иногда не корректно резать. Например чел дает ссылку на документ, в котором подробно описывается решение проблемы. И я лично сталкивался с проблемой, когда порезанная ссылка вела не туда, куда нужно.

[Dimka]

Не вызовет, т.к. Альф разлогинился и работает над своим ресурсом.

Любопытно... Приму к сведению.

[Алексей++]

Finch,

1) ну тут я не разбираюся...
2) факт )
3) насчёт спама то??
4) путаницы не будет, с чего вдруг? посты будут сразу же появляться там, где их оставили и их тут же кто угодно может читать. Просто благодаря некому журналу , СОЧ обратит на них своё внимание сразу , как зайдёт на форум

[Sel]

Ага, а модератор тогда на что?

[Гром]

Я имел ввиду не только форумный спам, но спам вообще , как почтовый так и прочий.

А вообще задача чисто техническая. Как выделять и закрывать доступ спамерам.
Т.е. надо определить задачу так:

Критерии и возможности автоматического определения спама, как человеческого (зайдите ко мне на сайт), так и от ботов, рассылающего однотипные объявы для рейтинга и проч. увеличений.

Причем не использовать стандартные подходы, типа содержание базы данных о изветсных объявах - не эффективно.

Не вызовет, т.к. Альф разлогинился и работает над своим ресурсом.

Интересно, а ссылочка есть?

[nikedeforest]

RXL, я только не совсем понял, как посты оставленные на форуме и не содержащие ссылки на ресурс могут поднять релевантность в поисковике интересующего меня ресурса.
Т.е. я раскручиваю ресурс по ссылке ццц.рога_копыта.ру. Который продает допустим сантехнику. Как может помочь мне то, что я на всех форумах буду писать Унитазы, раковины, сантехника и т.п. без указания ссылки на мой ресурс?

[RXL]

nikedeforest, я не теоретик, но зачем-то это делают.

[nikedeforest]

ИМХО, это не спам.
Надо у спамеров спросить .

[Алексей++]

а если попытаться составить алгоритм , чтобы опознать спам, как это делает человек...

то есть по какой схеме он обычно развивается?
Во первых автор нам одно из:

• неизвестен (ещё пока)
• известен, неприятен
• ... (больше не придумал)

Во вторых. Схема построение предложений , особенно первого - "Купите..." , "предлагаем..." , порядок слов, ......  .  Нужно изучить/придумать/составить классификацию типов этих схем, обучить программу распознавать, обучить обучаться...

как это всё на практике сделать, не знаю, таффайте думать...

[Finch]

RXL, я только не совсем понял, как посты оставленные на форуме и не содержащие ссылки на ресурс могут поднять релевантность в поисковике интересующего меня ресурса.
Т.е. я раскручиваю ресурс по ссылке ццц.рога_копыта.ру. Который продает допустим сантехнику. Как может помочь мне то, что я на всех форумах буду писать Унитазы, раковины, сантехника и т.п. без указания ссылки на мой ресурс?

У Джека Лондона есть сценарий "Сердца трех". В нем в самом конце книги, когда обрушились акции главного героя. Он начал творить больший беспорядок. Тут думую также. Чем больше упоминаются ключевые слова, тем думаю больше поисковики начинают обрашать на них внимание. Можно сделать как бы ДОС атаку на ресурс который мне не нравится. 
Но это все догадки. Если действительно так. Чел просто гадит какому то ресурсу.

[nikedeforest]

Видишь как интересно, _какому-то_ ресурсу. Т.е. из его постов не стало понятно какому ресурсу он гадит. И вообще, я, по честности, не увидел что-то хоть отдалено похожее на спам и желание нагадить ресурсу. Ребята, на шизофрению тянет уже с этим спамом.
Может чел проникся теорией мышления , с кем не бывает.

[Finch]

nikedeforest, Может быть. Только у шизофрении чуть другие симптомы. Наши симптомы параноя

[RXL]

Психологи вы наши ж)

Читаем еще раз и не через строчку: https://forum.shelek.ru/index.php/topic,10343.0.html
Прочитали?
Теперь скармливаем ключевую строчку яднексу.
Не знаю как у кого, а у меня две страницы.
Первые 12 ссылок начинаются именно с нашей строки. На одной из них даже дата есть - 16 декабря - две недели назад.

Далее: материал свален бесформено. Для такого объемного текста по психологии я считаю это недопустимым. Если конечно кто-то опять не взялся взрастить очередной ЛЕС и ищет где откликнутся.

Я так и не увидел ни одного оправдательного факта. Так что посчитал это спамом и замочил.


Пройдясь по ссылкам нашел, что этот бред "логонетик" сеит около месяца.

На одном форуме мне понравился ответ на этот мусор:

логонетикА по теме, что можешь сказать?

А по тем темам, которые Вы с Сержем открываете, можно и нужно молчать, потому что
1.они не читабельны
2.с точки зрения психологии виртуального общения они нарушают золотое правило: собеседником читаются только первые 10 строк, в противном случае (если норма превышена) читается только первая и последняя строка.
3. познакомившись в жизни с иеговистами, сайентологами, адвентистами, НЛПишниками , гипнотизерами, баптистами пришла к выводу, что посылать их надо куда подальше с их психотехниками. Тогда у них от самих себя начинает крыша сползать.

[Finch]

Ром меня потрясло другое. На одном из форумов он зарегистрировался 20/10/2006 года. И уже умудрился набрать 840 сообшений на сегодняшнее число.

[Finch]

nikedeforest, Ты можеш долго и упорно обсуждать о правах данного индивидума. Но это не нормально, когда чел за два месяца умудряется набрать не меннее 500 сообшений на форуме. Я сейчас просмотрел около 5 форумов. Почти у всех такая статистика.
Так что я останусь на старой точке зрения и полностью поддерживаю Рому в решении данного вопроса.

[nikedeforest]

Мда, погорячился я с шизофренией .
Я не против вашего решения, просто высказал мнение , да и тему интересную "спам" затронули .

[Sel]

(в сторону)
А не переименовать ли нам тему в, например, "Вопросы спама" ... эээ...

[Люсь]

И вообще, я, по честности, не увидел что-то хоть отдалено похожее на спам и желание нагадить ресурсу.

отдалённо похожее на спам было:
кто-то говорил, что он какие-то фразы повторил аж 49 раз на одной  странице текста.....
вернее в один кусок было свалено 49 штук текста с этой фразой, я думаю.

где ссылка - я не знаю, подробно не смотрела, но однажды как-то видела текст спама с html-кодами, где ключевые слова являются ссылками, но тэгами html подчёркивание снято, и текст имеет цвет основного текста.
возможно, и в этом тексте была та же фигня.

к методам борьбы против спама:
учтите так же частоту употребления одних и тех же слов.
но всё это поисковики давно используют.

считаю, что не будет никогда изобретено идеального средства механический метод борьбы со спамом, потому что то, что придумывают и чем руководствуются те же поисковики, чтобы как-то отсеять спам - спамоделы тоже учитывают (всё таки спам организовывют люди), совершенствуют свои техники, и вот уже возможно "полное обхождение всех фильтров и 100% попадание в ящик пользователя"....

как-то давно читала про изобретение компьютера, в котором не используется никакой файловой структуры, ничего похожего на современные ОС, а используется какой-то принцип - мол стоит подумать - и ты уже там, где надо. к сожалению щас ничего подробнее сказать не смогу. может быть когда-нибудь опять эта статья попадётся на глаза, а может кто-то что-то об этом слышал.

но и то сомневаюсь, что даже такие компьютеры ограничат нас от спама.
у фантастов (идеи которых часто сбываются в реальности) полно рассказов про мозговой штурм рекламой....
и до сих пор фантасты не придумали (кажется) способа, как можно избавиться от нежелательной навязываемой нам информации...

[Dimka]

2. ... неприятен

Ну вот, с такой постановкой задачи уже можно писать программу

как-то давно читала про изобретение компьютера, в котором не используется никакой файловой структуры, ничего похожего на современные ОС, а используется какой-то принцип - мол стоит подумать - и ты уже там, где надо

Ага, и здоровенная кнопка "ХОЧУ!" на весь экран - вот её жать.

[Гром]

Леш, организация анализа текста напарывается на простую, но действенную реакцию.
Например мы знаем, что предлагают нам увеличить.
Ставим поиск на слово "Увеличить" ... Спамер пишет 112233Увели77чить и все, прочесть мы прочтем - алгоритм не сработает.
Достаточно и одного символа, дабы ЦЕЛОЕ слово читалось как Увеличить, но не распознавалось защитой.

Если писать с помощью регулярных выражений поиск .У.в.е.л.и.ч.и.т.ь. (где точка - любой символ или заменить точку на звездочку - любые символы в любых колличествах) дабы найти все вкрапления, то мы
1. Вырубим довольно много словосочетаний написаных другими людьми с совпадением слов.
2. Утяжелим процесс поиска на порядки, т.е. попросту завалим сервер. Я уж не говорю о почте.


Ведь посик не на одно слово, а на много слов сраху причем все - регулярные выражения.
Нужна система защиты не позволяющая автоматом вводить или рассылать по почте спам.

По поводу спама и лесов с психологической точки зрения - позже.

[RXL]

(в сторону)
А не переименовать ли нам тему в, например, "Вопросы спама" ... эээ...

Я предлагаю так: распилить тему на обсуждение эгото леса и обсуждение спама. Первое - в кунсткамеру, а второе оставить тут.

[Scorp__)]

Ага, и здоровенная кнопка "ХОЧУ!" на весь экран - вот её жать.

Неа как на баш.орг, здоровая надпись "УЖЕ ВСЕ КАК ТЫ ХОЧЕШЬ"

[RXL]

Это процесс корректировки поискового индекса:

Обнаружены следующие ошибки:
Слова 'ЛОГИКЕ' ссылаются на несуществующую тему.
Слова 'МЫШЛЕНИЯ' ссылаются на несуществующую тему.
Слова 'О' ссылаются на несуществующую тему.
Слова 'РАЗМЫШЛЕНИЯ' ссылаются на несуществующую тему.
Слова 'ТЕОРИЯ' ссылаются на несуществующую тему.

Забавно.

[npak]

По-моему, данный конкретный случай - это не спам. Товарищ логик изобрёл "новое" и стремиться осчастливить им весь мир (в данном случае Рунет).  Интересно, чем ему Шелек приглянулся?

Я не один раз видел такие тексты, которые должны, по мнению авторов, совершить прорыв.  До появления Интернета авторы издавали книги на свои средства и пытались распространять получившиеся брошюрки через книжные лавки при ВУЗах, чтобы капать на мозги молодым да ищущим.  Сейчас проще - можно бесплатно постить в Интернете, разбрызгивать фонтан мысли на всех скопом.

[RXL]

Коль, а разве это не спам? Натурально нежелательная информация.
Нет, конечно желающие могут развернуть дискуссию, а за одно скопировать текст с любого сохрагнившегося источника к нам - имеют полное на то право. Думаю автор, если ему написать о востановлении текста, быстрее всего вернется и подискутирует на сотню-другую постов.

[x77]

спам пишут люди. люди будут всегда. следовательно - спам будет всегда.

имхо, обсуждать нечего задача решабельна с достаточно большой степенью точности с помощью нейронных сетей. но насколько я знаю, у нас никто не балуется этим направлением достаточно профессионально, чтобы разработать самообучающийся алгоритм распознавания спама. посему - имеет смысл не дробить темы, а забить на обе

[npak]

ИМХО - спам не предполагает продолжения общения.  Здесь же, как ты правильно сказал, автор, если дать ему волю, может развернуться беспредельно.  Так что я остаюсь при своём мнении, что это не спам.

Другое дело, что паразитировать на чужих ресурсах начинающему спасителю науки некрасиво.  Надо, как минимум, связно изложить свои мысли, организовать под них сайт с форумом, а в осчастливленное человечество направлять ссылками. На таком сайте можно было бы с товарищем подискутировать, а шелек - это не подходящее место для таких лажовых и вторичных сочинений.

[nikedeforest]

Люся, внимательней посмотри какие там слова повторядись и тебе сразу станет понятно. ПРо эти слова Finch сказал стеба ради. А спамом все таки надо считать записи рекламного характера, а не угодивишие нам высказывания. Ну да ладно, один фиг ни лес, ни спам нам не нужен .

[Гром]

x77, думаю, что ты не совсем прав.

Вопрос ведь стоит не о перевоспитании людей и не об алгоритме, который распознает любой спам или вирус. По этому пути идут все компании, ведь легче всего взять и написать Базу Данных размером с БСЭ и потом в ней искать старые тексты, постоянно догоняя. Не работает на новых, ничего вобъем в базу и пусть обновляют. заодно будем деньги за обновления брать.

А вот разработать систему свой - чужой, которую спамеры не смогут пробить и повторить, вот это совершенно другое дело.

[x77]

Гром, так тут разрабатывать нечего, просто закрыть регистрацию и всё. выделить с десяток человек, которые по заявке мылом принимают решение - дать челу доступ на ресурс или не дать.

нужна просто старая добрая закрытая система. именно Клуб, если хочешь, для вхождения в который требуется поручительство двух и более действующих членов.

[Люсь]

Люся, внимательней посмотри какие там слова повторядись и тебе сразу станет понятно.

Повторялись слова типа:
"Высказывайте своё мнение, и почаще типа, побольше"
насколько я помню. конкретно уточнять не полезу - если мне одну фразу сказали в течении разговора 3 раза - меня этот человек уже бесит. Он неадекватен, а значит неинтересен. Так же, как спам.

[x77]

у нас система открытая - пишут все, кому не лень. и спамеры тоже пишут, и банятся они пост-фактум. поэтому вопросы, типа "как в открытой системе не допустить регистрации спамеров" - это вопрос из области объять необъятное. тут одно из двух: либо мы даём право писать всем, смотрим, на то, что пишут, и если не нравится - убиваем, либо - мы не даём право писать никому, кроме уже известных людей. тут не дано третьего, пойми. все эти варианты со спам-контролем - это варианты из области компромиссов, которые ПРЕДПОЛАГАЮТ, что часть "нужных" сообщений будет посчитана спамом и заблокирована, а часть "ненужных" - пропущена. просто у хороших спам-фильтров подобная "девиантность" минимизирована. но 100% фильтра не будет никогда просто потому, что невозможно математически описать человеческую речь. даже письменную. вот тебе пример спама. попробуй описать фильтр, который бы его зацепил:

всем привет. вы когда-нибудь задумывались, что чем дороже ПРОДАЁТСЯ какая-то вещь, тем сложнее найти на неё покупателя? но с другой стороны, это правило не действует на так называемые "товары роскоши". предположим, какой-нибудь ОФИГЕННЫЙ платиновый мобильник, стоимостью десятки тысяч евро, продать, по-большому счёту, гораздо легче, чем МОПЕД, скажем, хотя бы за две тысячи. более долгий поиск покупателя с лихвой компенсируется уровнем прибыли, и одна единственная продажа способна окупить все предшествовавшие затраты. и это несмотря на то, что ЗВОНИТЬ этот телефон будет точно так же, как и его более дешёвая модель за 200-300 баксов. подобная покупка не доступна ВАСЕ с лесопилки, только очень состоятельному человеку, и цены на подобные, "имиджевые" вещи определяются не законами спроса и предложения, а несколько другими вещами.

ну и т.д., лениво дальше писать. мысль понятна, я думаю. я к тому, что 100% защита от чего бы то ни было возможно только тогда, когда это "чего бы то ни было" отсекаются на корню технически. комп нельзя взломать по сети только если он отключен от сети. всё остальное - это миф, на котором куча НИИ делают бабки. они будут делать бабки вечно, потому что решают по определению нерешаемую задачу. очень нужное занятие. но нам то оно на кой?

[Dimka]

Гром, так тут разрабатывать нечего, просто закрыть регистрацию и всё. выделить с десяток человек, которые по заявке мылом принимают решение - дать челу доступ на ресурс или не дать.

Именно так, и вопрос это не столько технический, сколько организационный. Причём работает только в небольших коллективах/сетях.

С технической же точки зрения для автоматического распознавания спама нужен семантический анализатор постов и классификатор - ИИ. Ответы этого ИИ будут вероятностными. Ему можно доверять, и дать право автоматической блокировки юзеров, но при этом он, как и человек, всегда будет "субъективен" и будет ошибаться. Поэтому ИИ не доверяют управление, оставляя лишь функции диагностики и выдачи рекомендаций.

[Dimka]

на котором куча НИИ делают бабки. они будут делать бабки вечно, потому что решают по определению нерешаемую задачу. очень нужное занятие. но нам то оно на кой?

Тут как с вечным двигателем. Штука очень нужная, очень интересная, но нереальная.

[x77]

dimka, совершенно верно. исследования в области искусственного интеллекта идут с 30-х годов. никому и по сей день не удалось смоделировать человеческий мозг. и вряд ли удасться в ближайшие столетия. но на почве этих, бесперспективных, по большому счёту, изысканий выросли такие вещи, как системы распознавания образов и речи, те же нейронные сети, ди в вообще вырос целый круг наук, имеющих огромное прикладное значение. поэтому заниматься такими вещами надо. так называемые "фундаментальные исследования" сами по себе мало что дают, но имеют огромное значение опосредованно, через те смежные области, которые из них вырастают в последствии. но эти исследования никогда не приносят денег, наоборот, они их пожирают. фундаменталка всегда требовала и будет требовать финансирования со стороны, она неокупаема

[Гром]

Дим, Игорь, давайте систематизируем, а то опять о разном.
Я не говорю о нашем клубе или о не нашем, но о кулбной структуре, взятой отдельно от проблемы спама вообще.
Давайте посмотрим на проблему спама с другой стророны.

Есть сегодня один, может два ну три открытых метода которые, с применением различных алгоритмов, используются для защиты от спама в почтовых серверах и в форумах.


1. Анализ текста письма.
В этом случае возможны три варианта.
а) создание БД с известными текстовыми последовательностями спам-писем или постингов, которые анализируют текст на наличие такого текста в письме и блокируют его. Этот метод гибелен по причине отставания БД от реального спам-контента, с пропусканием процента новых писем. За неимением лучшего мы все этим пользуемся.
б) создание ИИ умеющего обучаться самому. Такие системы видимо стоят в довольно крупных корпорациях, если есть вообще, я иногда слышал. Но и они в принципе основаны на формуле а) + небольшое дополнение в виде возможного анализа.
в) нейронные сети, как разновидность того же ИИ.

2. Этот способ удержания спама ориентируется на ограничении знания или на ограничение возможностей автоматической работы спам-рассылок.
Естественно это и регистрация с графикой на форумах и попытка цифровой подписи для деловых писем, и многое другое. Однако это тоже не эффективно, так как во первых усложняет жизнь не только спамерам, но и пользователям. Во вторых не действует, если спамеру удается заслать трояна на комп с которого разошлются письма с цифровой подписью с помощью внутреннего клиента.
Т.е. такого рода работа не может приводить к полной защите - это лишь вспомогательные системы.

Психологическая состовляющая спама - из 10 000 000 разосланых писем приходит едва 10 запросов, фиг с ним, авто-рассылка работает 24 часа 7 дней в неделю и 100 человек в день все равно хлеб и приносит копеечку, пока это выгодно все равно будут рассылать. И это верно.
Вопрос, не как сделать спам не выгодным, а как создать такую почту (пусть в ограниченном варианте) такой форум (пусть в ограниченном варианте) что бы спам не проходил вообще.

В качетсве палиатива может выступать система свой-чужой - которая стоит на распознавании в самолетах.
Ведь понятно, что не принять письма от кого-то можно только с помощью одного - точно знать, что именно их ты хочешь принимать. Т.е. факт ручной отсылки - не из программы должен быть подтвержден.

Вопрос - как - это тот самый вопрос - который можно и нужно решить. Желательно конечно нами

Таким образом ручками прописать много не получится. И спам становится невыгодным, потому, что на 10 000 000 отосланных автоматом писем придет 10 000 000 отказов в приеме письма и ни одного клиента. А на ручную рассылку в колличестве 100 000 писем, которую спамер отошлет, придет 1 клиент а времени спамер затратит слишком много.

[x77]

"свой-чужой" - это PGP называется, по-нашему . один закрытый ключ на форуме, куча открытых ключей у любого, кто регится на форуме. регистрацию оставляем, как есть с тем исключением, что она не даёт разрешения писать. читать - сколько влезет. а вот на разовое скачивание ключа можно повесить любые проверки, от CAPTCHA до индивидуального собеседования с админом. проверка - небольшой ActiveX, которого и видно-то не будет.

[Finch]

x77, ActiveX не подойдет в любом случае. Это сразу объявит персонами нон-гранта всех Люниксоидов. И очень много тех кто сидит в Винде. Так как, как правило я например всегда стараюсь выключить эту возможность в своем браузере. У меня например стоит галочка только на JavaScript. Многие и их отрубают.

[RXL]

Саш, ты хочешь поработать над антиспамом для веб?

Еще напомню, что есть прекрасный спам-филтр - spam assassin. Это точнее не фильтр - он просто ставит оценку сообщению, а принимать решение - дело других программ. Имеет возможности принудительного обучения (ткнуть носом - это спам, а это - нет).

Для применения его к веб нужно добиться нескольких задачь:
1. настроить на работу в определенной директории, а не в /usr и т.п (чтобы даже не сувался ниже определенного уровня).
2. заставить его работать не с почтой, а с сообщениями в базе.
Т.к. он написан на Perl, соотв. распростаняется в исходном виде (и вообще open source).

Если решить эти задачи, то можно повесить его на cron и выполнить интеграцию с форумом.

[x77]

Finch, ну хорошо, можно сделать обычный SSL канал. он тоже на PGP-сертфикатах умеет работать. это пример реализации просто

[Гром]

Игорь - отключись от нашего форума, от частных случаев пожалуйста. Начни говорить о глобальном - не все смогут, как Рома рекомендует, для своего форума ставить такие ассасины, и опять таки см. пункт 1 - не сильно это поможет. все равно автоматизма не будет.

Ромк - я не то, что бы не хочу, я просто пока не вижу решения, все решения упираются либо в закрытые разработки мыла, тогда мыло поделится на публичное фри - которое не будет приниматься вип-мылами.
А тогда вип мыло никому нах. не надоть, по причине того, что фри пользуются все. Либо в простенькие решения типа делать оценку в программе, как набирается код письма, т.е. текст, что автоматом разрешает спам сделаный копи-патсом кратинок с текстом

В общем система должна быть слишком хитрой и меня пока не хватает...
вот и преложил на мозг штурм.

А для веб отдельно ИМХО не будет это решением, все в частной области будет обходится..

[x77]

Гром, я не пойму, ты хочешь разработать некий универсальный подход, независимый ни от конкретных реализаций форумов, ни от платформ форумных серверов, ни от платформ юзверей, который позволит гарантированно блокировать спам?

[x77]

проблема, скорее, из области генетики, имхо легче ещё в акушерском отделении в принудительном порядке производить кастрацию "спамо-генератора".

[Алексей++]

dimka, напрасная ирония ) "Неприятен" - значит уже в бане или в ином списке

"Спамер пишет 112233Увели77чить "
 - дык... модератор за долю секунды отправляет это чудо в корзину...
а выражение У?в?е?л?и?ч?и?т?ь - средство найти с опечатками

Ну тут я не специалист, конечно, тут целая наука требуется )

[Гром]

Леш я этим сейчас как раз занимаюсь уже два года - поверь поиск строк и регулярных выражений - довольно трудоемкая, даже для процессора, задача.

Игорь.
Универсальный, тут не совсем верно, универсализм всегда страдает от многоцелевой реализации, что сразу обнаруживает дыр кучу. Но принцип ИМХО что для веба, что для почты - ИМХО может быть похож, или одинаков.
ИМХО для форумов можно сделать даже проще.
1. Уже сделано - регистрация.
а) всегда использовать графическое подтверждение, дабы дать регистрироваться не роботам. Это раз.
б) проверять реальность почты, которую вводит человек, дабы избежать ввода несуществующих адресов.
в) запрещать посылать сообщения с частотой меньше чем 1 минута. Т.е. сразу отсекается авторассылка в массовом колличесвте.

Все эти вещи отсекут спамера автоматчика.
А спамеров типа ЛЕСа - не отсекут и тех кто присылает нам объявления о работе как рекламные агенства. Таких мы не отсечем, если не сделать какой-то критерий - тут как раз генетика, по которому разрешать писать на форум.

Т.е. идея закрытого клуба. Пока других идей я не вижу - пытаемся выработать.

А для почты три пункта вышеуказанных реализовать не удается. Ведь прием почты автоматичен, адреса отправителя в пакетах легко заменяются на новые. Любые.
Хотя бы такую защиту надо реализовать ИМХО.

[Dimka]

1. Анализ текста письма.
В этом случае возможны три варианта.
а) создание БД с известными текстовыми последовательностями спам-писем или постингов, которые анализируют текст на наличие такого текста в письме и блокируют его. Этот метод гибелен по причине отставания БД от реального спам-контента, с пропусканием процента новых писем. За неимением лучшего мы все этим пользуемся.
б) создание ИИ умеющего обучаться самому. Такие системы видимо стоят в довольно крупных корпорациях, если есть вообще, я иногда слышал. Но и они в принципе основаны на формуле а) + небольшое дополнение в виде возможного анализа.
в) нейронные сети, как разновидность того же ИИ.

Если говорить совсем уж "глобально", то БД здесь упоминать не стоит. Можно просто сказать, что такая система основывается на опыте, на ранее накопленных знаниях. В наиболее абстрактном виде предсказательная способность такой системы, экстраполирующей свой прошлый опыт в будущее, обладает следующим свойством (в теории нейросетей оно описывается в части обучения нейросетей): с помощью неё совершенно невозможно надёжно предсказывать резкие хронологические измененения характера входных данных:
а) либо не встречавшиеся ранее сильно отличающиеся данные будут полной неожиданностью для системы, до сих пор дававшей уверенный прогноз - недооценка угрозы;
б) либо, если такие изменения данных уже были в прошлом, система будет вести себя крайне неуверенно, понижая точность прогноза вплоть до максимума энтропии (колебания вероятности в районе 50%) - переоценка угрозы.
Ни первое, ни второе следствие вроде бы не интересны, но, тем не менее, человек-модератор всё же делает заключение исходя из семантического анализа текста письма. Хорошие семантические анализаторы текстов определённой тематики кое-где есть, поскольку в них так или иначе заложены либо тематические понятия, на основе которых они проводят классификацию слов и предложений, либо форма текстов, по которой выделяется содержание (например, системы автоматической обработки патентных заявок). Хороших семантических анализаторов универсального характера нет. Как только появятся (если появятся), можно будет строить человеко-машинное взаимодействие на естественных языках.

Таким образом, этот вариант упирается в общую проблему возможности создать ИИ, которая, в свою очередь, упирается в главный не решённый вопрос: что такое разум и интеллект?

2. Этот способ удержания спама ориентируется на ограничении знания или на ограничение возможностей автоматической работы спам-рассылок.
Естественно это и регистрация с графикой на форумах и попытка цифровой подписи для деловых писем, и многое другое. Однако это тоже не эффективно, так как во первых усложняет жизнь не только спамерам, но и пользователям. Во вторых не действует, если спамеру удается заслать трояна на комп с которого разошлются письма с цифровой подписью с помощью внутреннего клиента.

Этот способ имеет побочные эффекты, которые мною выше указывались. Техническое решение не решает по существу социальной проблемы по той простой причине, что техническая система понятия не имеет, что такое хорошо, и что такое плохо, кто и с какой целью ею пользуется. Она "тупая", "безмозглая" и "равнодушная". Если такой системе поручить в основном запрещать - она будет в основном запрещать, запрещая доступ не только спамерам, но и хорошим людям. Единственный её плюс - возможность заложить в неё использование такие возможностей человеческого разума, которые недоступны роботам. В этом случае нерешённость проблем первого варианта из недостатка превращается в достоинство.

Коротко говоря, вариант приемлим, если такая система не создаёт никаких сложностей для человека, но является запредельно сложной для другой машины. И тогда это будет не ограничение знания, а, напротив, расширение его до таких масштабов, с которыми может справиться только человеческий разум. (Примеры я приводил.)

Психологическая состовляющая спама - из 10 000 000 разосланых писем приходит едва 10 запросов, фиг с ним, авто-рассылка работает 24 часа 7 дней в неделю и 100 человек в день все равно хлеб и приносит копеечку, пока это выгодно все равно будут рассылать. И это верно.
Вопрос, не как сделать спам не выгодным, а как создать такую почту (пусть в ограниченном варианте) такой форум (пусть в ограниченном варианте) что бы спам не проходил вообще.

В качетсве палиатива может выступать система свой-чужой - которая стоит на распознавании в самолетах.
Ведь понятно, что не принять письма от кого-то можно только с помощью одного - точно знать, что именно их ты хочешь принимать. Т.е. факт ручной отсылки - не из программы должен быть подтвержден.

Система "свой-чужой" - запретительная система. На самолётах её можно применять, поскольку точно известны все "свои" самолёты. В открытой системе "свои" заранее не известны, они познаются только в процессе знакомства и общения. Система "свой-чужой" применима только к закрытым системам или к системам, вхождение в которые регулируется процедурой предварительного знакомства со входящим. Например, для форумов такая система не подходит - на такие форумы просто не будут приходить новые неизвестные люди, поскольку стоимость процедуры вхождения гораздо выше желания общаться на конкретном форуме, к которому новичок в общем-то пока ещё равнодушен.

Уже высказывалась идея (той же Microsoft) о повышении издержек пользователя на выполнение некоторых действий, которые в обычных условиях не выполняются массово. Например, ввести небольшую плату за отправку письма - такую, что для нормального пользователя эта плата будет несущественной, а для спамеров станет причиной нерентабельности их деятельности. Опуская маниакальное желание отдельных корпораций содрать с пользователей деньги, следует отметить, что такое решение не есть окончательное решение проблемы. Таким способом можно снизить количество спама, но это всего лишь изменение соотношения риск-выгода, и ради очень большой выгоды отдельные спамеры всё равно рискнут пойти на большие затраты. Если и использовать идею больших издержек пользователя на выполнение некоторого действия непредусмотренным образом, то эти издержки должны лежать вне экономической плоскости - чтобы они были не невыгодными в некоторых условиях, а принципиально невозможными или абсолютно бессмысленными при любых условиях.

[Sel]

ИМХО - спам не предполагает продолжения общения.  Здесь же, как ты правильно сказал, автор, если дать ему волю, может развернуться беспредельно.  Так что я остаюсь при своём мнении, что это не спам.

Спам - в данном случае сей пост был так назван скорее потому, что тема была пустая (т.е. бесперспективная). А не спам, в смысле, реклама чего-то.
В данном случае, думается, уместнее было бы слово "флуд".

Другое дело, что паразитировать на чужих ресурсах начинающему спасителю науки некрасиво.  Надо, как минимум, связно изложить свои мысли, организовать под них сайт с форумом, а в осчастливленное человечество направлять ссылками. На таком сайте можно было бы с товарищем подискутировать, а шелек - это не подходящее место для таких лажовых и вторичных сочинений.

А вот и нет. Создавать свое (хоть бы и на том же Народе) - дело достаточно трудоемкое. Особенно по сравнению с тем, что можно просто пойти на чужой ресурс и там пофлудить.
Тем более, что, обратите внимание, появилось сие не наодном форуме. То есть - тему его увидели не одна сотня-тысяча людей. А так... пока еще свой ресурс раскрутишь...

Второй вопрос, зачем это было нужно... Но ответ мы вряд ли узнаем...

[Sel]

Гром, я не пойму, ты хочешь разработать некий универсальный подход, независимый ни от конкретных реализаций форумов, ни от платформ форумных серверов, ни от платформ юзверей, который позволит гарантированно блокировать спам?

А по-моему, это просто... эээ... болтовня. Чего рассуждать теоретически? Хочешь что-то сделать-написать-изобрести - так вперед! К чему пустые обсуждения одного и того же? Из пустого в порожнее.

[Sel]

Гром, мне, например, как-то некогда да и неохота "думать глобально"... Меня больше судьба отдельно взятого ресурса заботит...
Может, я заболела?

[Dimka]

А по-моему, это просто... эээ... болтовня. Чего рассуждать теоретически? Хочешь что-то сделать-написать-изобрести - так вперед! К чему пустые обсуждения одного и того же? Из пустого в порожнее.

От призывов "вперёд!" изобретения не рождаются Ибо процесс кумеканья воззваниями не регулируется. В данном конкретном случае прежде бросания что-то писать, сначала нужно хорошо подумать, в чём заключается проблема. Случай интересен тем, что очевидное явление тем не менее не имеет внятного отличительного признака.

мне, например, как-то некогда да и неохота "думать глобально"...

Эх, Тань, ничего ты не понимаешь в этой теме - это как раз и есть реализация попытки "завести" и "повести" массы, дав им грандиозную задачу, поставив такую цель, мимо которой сложно промахнуться По меньшей мере тему интересную раскрутить. Не форум образует людей, а люди - форум.

Короче: "Тебе не интересно - не мешай! Продолжайте, пожалуйста." (c)

[Алексей++]

Sel, dimka,

Короче: "Тебе не интересно - не мешай! Продолжайте, пожалуйста." (c)

главное ведь тут что? Главное - не поссорица. Как часто и бывает.

[Гром]

dimka, ты дополнил мои мысли, именно так и есть. Существующие методы не являются решающими, а скорее пост-факторными или запрещающими.
Задача придумать решающую систему.
Оплата в данном случае - частное нерещение, а откладывание проблемы.

Свой - чужой - система прекрасно работающая, когда изветна например программа, или скажем методика отправки. Спамер, как минимум автоматический, делать стандартными средствами не способен.
Остается разработать для почты методику определения клиента и (или) метода отправки письма, с невозможностью его подделать. Например добавить при приеме систему акновеледжа, как отправка письма через другие ресурсы на адресс отпраителя за подтвержденающим письмом, что предыдущее письмо дейтсивтельно отпралялось с него, по Идентификаторам. Спамер в данном случае либо вынужден будет писать реальный адрес отправления, который при более чем 3-х письмах за короткий временной интервал можно будет блокировать, а все ранее полученное стирать с сервера, либо не сможет дать подтверждение, что и будет сигналом внесения в список спамеров его данных и неприема сообщений. ИМХО вот и идея!!!

Sel, Я пытаюсб провести мозговой штурм проблемы, который ИМХО получается. Майл сервер и майл клиент - вещи довольно простые в реализации, я имею ввиду библиотеки отсылки и приема сообщений без поддержки форматов и параметров вывода.
Дабы такое пошло в дело, надо это сначала обсудить, потом вполне возможно - написать, что и будет целью локальной на некоторый период.

Алексей1153, главное Леш, не делать скоропалительных выводов, как я, и как ты сделал в момент "острого кризиса"

В общем надеюсь что в данном случае мы постепенно возвращаемся к дисскуссиям, что уже хорошо.

[Dimka]

Свой - чужой - система прекрасно работающая, когда изветна например программа, или скажем методика отправки. Спамер, как минимум автоматический, делать стандартными средствами не способен.
Остается разработать для почты методику определения клиента и (или) метода отправки письма, с невозможностью его подделать. Например добавить при приеме систему акновеледжа, как отправка письма через другие ресурсы на адресс отпраителя за подтвержденающим письмом, что предыдущее письмо дейтсивтельно отпралялось с него, по Идентификаторам.

Не вижу принципиальной разницы между идеей добавить в систему подтверждения о доставке и идеей ввести новую методику отправки. В обоих случаях для почты речь идёт о модификации SMTP протокола.

Решение в лоб. На всякое входящее SMTP-соединение, передающее письмо, почтовый сервер в ответ устанавливает обратное соединение с сервером-источником письма и запрашивает подтверждение факта отправки письма. Имеется 2 побочных эффекта:
1) Передача писем очень часто осуществляется через транзитные сервера, осуществляющие relay. Проверку должен выполнять только конечный сервер, чтобы: не нагружать сеть, не потерять источник за цепочкой давших подтверждение серверов.
2) Серверы должны дополнительно хранить отправленные письма или сведения о них, чтобы иметь возможность подтвердить факт отправки.
И ещё множество "тонких моментов". Цель всей этой деятельности - точно знать реальный источник письма.

Только протокол не управляет реализацией сервера, и прописать такие вещи, как "проверка идёт только от конечного" или "блокировка адреса", в протокол не получится. Но дело даже не в этом.

Отправка более чем 3-х писем за короткий временной интервал происходит повсеместно. Например, я на работе часто отправляю в другой город письма, содержащие 4-40 получателей, - например, рассылка всей команде проекта или всему подразделению некоторой информации. Т.е. на "количестве писем с одного реального адреса в один момент времени" нельзя построить надёжный метод классификации. Либо это породит ограничения нормального общения, либо не даст никакого эффекта. В конце концов троянская программка может периодически рассылать небольшие количества писем с реального адреса, найденного на поражённой машине. В совокупности такая сеть будет продолжать генерировать большое количество спама, хотя издержки на рассылку у каждого заражённого пользователя будут сравнительно малы.

По сути разница между спамом и не спамом не в количестве и не в адресах, а в содержании. Именно поэтому на уровне технических протоколов организации коммуникаций проблема не решается. Хотя можно снизить объём спамооборота, ужесточив правила переписки, введя ограничения и проверки.

Будет примерно похоже на то, что в аэропортах теперь устраивают в связи с "боробой с терроризмом". Всем неприятно, но вроде как "надо для нашей же безопасности".

[Гром]

Дим, путаешься!
1. Абсолютно не надо переделывать смтп протокол.
Для подтверждения хватит переделки незначительной самого сервера и клиента.
Сервер конечный получатель при получении любого отправленного письма, отправляет назад такой же майл на адрес прописаный в поле фром, исходного письма, в котором в сабж вставляет свой запрос на акк.
Клиент должен отправить свой акк и только потом сообщить о доставке писма.
Сервер не получивший от отправителя акк будет считать свое письмо потеряным.
Кроме того если акк пришел и вместе с ним приходит ответ о том, что такого адреса не существует - однозначный отлуп, ибо такое может быть при отсылке спамером сразу пары писмо + акк.
Блокировку можно проводить в данном случае по контенту однозначно определенного спама. В обычном виде сразу стирая все такие письма.

2. Когда ты посылаешь сообщения многим получателям каждый сервер получит от тебя 1 письмо. А если ты отправил 40 сообщений на один и тот же адресс ты спамер

[x77]

а как ты различаешь виртуальных и реальных пользователей? отправил-то не "я", отправят куча левых релейных smtp. в том числе, и самописных. и с точки зрения системы - это разные люди.

[RXL]

Гром, все 40 писем могут быть в адрес одного сервера, т.к. все получатели имеют ящики на нем одном.

[RXL]

Предлагаю SMTP и смежных вещей не касаться вообще - это проблема старая и к форуму никакого отношения не имеет.

[Гром]

x77, RXL - вы чего а?
Неужели так плохо с прочтением или ...

Еще раз повторяю.
Не имеет значение, что посредине, сколько хопов и прочих релейных станций прошла почта. Обмен аками идет на уровне простейшего обмена письмами между двумя конкретными адресами.


Ок. Напишу простой пример.

Вася Пупкин отправляет почту с адреса 10.230.203.11 где бежит пхп скрипт умеющий отправлять письма. Содержание писем - спам. В поле от кого Вася хитроумно вставляет из БД различные адреса отправителей, дабы избежать блокировки и подозрительности клиента, он болезненно реагирует на отсутствие поля от кого.

На стороне принимающей письмо приходит на сервер shelek.com для трех различных адресов: club_dog_shelek.com faq_dog_shelek.com roma_dog_shelek.com
Для системы защиты это три разных получателя, получающие вполне разрешенные письма от одного и того же клиента. Для подтверждения сервер шлет три запроса на адреса содержащиеся в поле от кого всех трех писем (все равно они разные или одинаковые). Естетсвенно Вася пупкин не отправлял почту с этих адресов используя наш защищенный клиент- он крутой спамер и умеет писать срипты на пхп.
По этому три адреса с которых якобы отправлялась почта должны получить три почтовых отправления с целью проверки ликвидности адресов и правильности отправки. В двух случаях такие адреса реальны, а один из них выдуман и не сущесвтует.

В ответ на три запроса на подтверждение сервер шелека получит один отлуп, как адреса нет и внесет контент письма в спам-базу, которая и сегодян работает, так что даже самое новое спам письмо к нам уже не пройдет, будучи таким образом поймано.

Сервер (допустим он будет mail.ru) получит два запроса на акновеледж от шелека для двух адресов aaa@mail.ru и bbb@mail.ru
он знает, что если клиент отправлял письмо, то он ждет прихода запроса на подтверждение и попытается достучаться до своих двух клиентов с запросом на акновеледж к ним, о посылке ан адреса на шелеке писем.
Клиенты - естественно не отправляли таких писем и пошлю не акновеледж, а пошлют ошибку - не подтверждение. Что заставит сервер на шелеке очередной раз просканировать письма и внести их данные в базу спама.
Не адреса - повторяю а контент письма, которое утром придумал хитрозадый Вася.
Естетсвенно старая система такой реакции не дает, она пропустит письма и мы их прочтем, что и добивался Вася, а когда старая система поймет и станет блокировать его почту он сменит сервер и контент.


Как теперь обмануть Васю, если он будет посылать почту с реальных адресов, которые не дают акк, но посылать акк сам. Только с ситуацией отслеживания, что с одного и того же адреса идут одинаковой длины сообщения слишком часто.

Ром повторяю сервер для КАЖДОГО чщика должен знать когда и с каких адресов в него пытались положить почту....

[x77]

Саш, по-моему, это всё-таки из области "розовых грёз ФСБ", а не борьбы со спамом. ты систему контроля описал.

[Dimka]

Сервер конечный получатель при получении любого отправленного письма, отправляет назад такой же майл на адрес прописаный в поле фром, исходного письма, в котором в сабж вставляет свой запрос на акк.

Трафика-то сколько... Я люблю письма отправлять с вложенными doc'ами по нескольку Мб.

Кроме того, клиентом SMTP-сервера может являться как другой SMTP-сервер, так и просто приложение. Спам рассылается не всегда с SMTP-сервера. Запрос от конечного получателя к клиенту-отправителю не пройдёт, поскольку за период relay'я клиент уже может отключиться - письма ходять не мгновенно, а, иногда, часами, простаивают в очередях транзитных SMTP-серверов. Ведь вся эта организация идёт со времён UseNet, когда между серверами устанавливались кратковременные модемные соединения по расписанию. Нынешний протокол не препятствует такой организации обмена почтой - позволяет держать множество асинхронно выходящих в сеть транзитных серверов.

Далее, обязательность существования ящика, записанного в поле "from", вообще говоря, не всегда хороша. Например, в корпоративных системах часто пишутся пишутся всякие сервисы оповещения, для которых поле "from" смысла не имеет, поскольку они не умеют обрабатывать ответы. Их задача состоит лишь в посылке уведомлений. Тут как раз в поле "from" лучше написать название сервиса, нежели чей-то чужой ящик.

Гром, все 40 писем могут быть в адрес одного сервера, т.к. все получатели имеют ящики на нем одном.

Совершенно верно, так оно и ходит. Особенно в случае доменных relay-серверов - корпоративных или провайдеров.

Для системы защиты это три разных получателя, получающие вполне разрешенные письма от одного и того же клиента. Для подтверждения сервер шлет три запроса на адреса содержащиеся в поле от кого всех трех писем (все равно они разные или одинаковые). Естетсвенно Вася пупкин не отправлял почту с этих адресов используя наш защищенный клиент- он крутой спамер и умеет писать срипты на пхп.
По этому три адреса с которых якобы отправлялась почта должны получить три почтовых отправления с целью проверки ликвидности адресов и правильности отправки. В двух случаях такие адреса реальны, а один из них выдуман и не сущесвтует.

Как вырастет нагрузка на сервер, держащий тысячи или десятки тысяч ящиков, на которые ежедневно приходят десятки нормальных писем (не считая спама)? Проверка правильности предполагает наличие "исходящих" ящиков, хранящих письма до получения запроса на подтверждение. А если письмо отправлено нескольким адресатам, то запросов на подтверждение от каждого адресата. Не будет ли равен по объёму трафика такой обмен серверов спамерским письмам?

[Люсь]

Свой - чужой - система прекрасно работающая, когда изветна например программа, или скажем методика отправки. Спамер, как минимум автоматический, делать стандартными средствами не способен.
Остается разработать для почты методику определения клиента и (или) метода отправки письма, с невозможностью его подделать. Например добавить при приеме систему акновеледжа, как отправка письма через другие ресурсы на адресс отпраителя за подтвержденающим письмом, что предыдущее письмо дейтсивтельно отпралялось с него, по Идентификаторам. Спамер в данном случае либо вынужден будет писать реальный адрес отправления, который при более чем 3-х письмах за короткий временной интервал можно будет блокировать, а все ранее полученное стирать с сервера, либо не сможет дать подтверждение, что и будет сигналом внесения в список спамеров его данных и неприема сообщений. ИМХО вот и идея!!!

А что делать тогда тематическим рассылкам?
Ну допустим, общественные сервера рассылок попадут в белый список, или какой то отдельный ресурс нужно будет сначала зарегистрировать где-то в Центре Управления Рассылками, чтобы попасть в белый список, которым разрешена массовая рассылка.
А спамеры найдут способ и туда тоже проникнут
И опять - бери мочало - начинай сначала )

ИМХО для форумов можно сделать даже проще.
1. Уже сделано - регистрация.
а) всегда использовать графическое подтверждение, дабы дать регистрироваться не роботам. Это раз.

Спамеры уже научились с этим бороться:
1. роботы распознают каждый из разных виды "капчи" в довольно большом проценте случаев.
2. некоторые эротические, допустим, сайты (т.е. очень массовые, возможно не эротика, а что-то ещё) предлагают пользователю ввести капчу (или ответ на вопрос, или описать картинку, в общем, ввести "пароль") для того, чтобы просмотреть типа картинку или ещё что-то сделать.
на самом деле, эта псевдо-капча - маленький инклуд формы регистрации с капчей с другого сайта, на который спамеру очень нужно попасть...
пользователь эро-сайта вводит капчу - и этим даёт скрытую команду спам-роботу об успешной регистрации,  что уже не мешает постить спам в тысячи форумов....

[x77]

мужики, давайте лучше решим проблему поднятия web-based CVS-а на текущем движке. более актуально, имхо

[Finch]

x77, Ну ты не первый в этом топике. Просто был такой ответ https://forum.shelek.ru/index.php/topic,10343.msg145586.html#msg145586. Особенно мне понравилась фраза

Короче: "Тебе не интересно - не мешай! Продолжайте, пожалуйста." (c)

Перевожу на простой русский язык. Здесь идет обшение ради обшения. А не выроботка решений.

На одном форуме есть такое правило "Если вы запостили во флейм адекватный вопрос, то не стоит ждать адекватного ответа =)"

[RXL]

Игорь, совершенно верно - серьезные вопросы в "общении" быть не могут - создавай новую тему где-нибудь в "общих". Я тут как раз на днях какую-то маленькую статейку видел на ibm по этим системам, но там промелькнули ранее мне неизвестные названия - надо будет копнуть и посмотреть, что за заверь.

[Гром]

Собственно я тольк опредложил одно из. Но система не должна основываться на контенте, она должна распознавать правильного отсправителя...

Ваши предложения...

П.С. А где устраивать абстрактный мозговой штурм, как не в флейме!!! Интересно же поговорить ...

[Dimka]

Например, у нас в городе и в других городах средневековой республики уже найдена масса берестяных грамот. Содержательно они больше всего напоминают SMS - 3 строчки, какая-нибудь короткая заметка (иногда матерная). Но ни одной нет "спамерской" или рекламного характера - все строго именные и по делу.

А всё почему? Потому что по бересте буквы вырезать - дело сравнительно трудное, да и материал нужно было заготавливать. Никому и в голову не приходило писать в массовом порядке грамоты для того, чтобы их тут же выбрасывали не читая.

По-моему, спам - явление сугубо культурное. А значит борьба с ним - дело сугубо культурное. В нынешних условиях выделение субкультур в части общения и создание альтернативных каналов обмена информацией, закрытых от случайного доступа к ним и потому могущих сохранять свои внутренние правила поведения, формировать свои традиции.

Только всё это имеет мало отношения к техническим средствам организации связи. Защищённые каналы известны уже давно. Т.е., если говорить о продукте, этот продукт должен позиционироваться не столько как техническое новшество, сколько как новый способ организации общения, идеология.

[RXL]

dimka, красиво излагаешь - приятно почитать. Но... где-то мы это уже проходили... Было уже - жаркие обсуждения о клубности и полузакрытости. Нужно ли? Конечно, можно сделать отдельный раздел для полузакрытого общения и группу клубную под это дело. Только от спама на остальной части форума это не избавит. Закрывать все не допустимо.

[Гром]

Ром, думается, что уже обсуждалось и закрыто. Тема ведь о организации общения вообще.
Что касается нашенго форума и оберегания его от спама, честно говоря не вижу возможности никакой.
А организовать почту иначе, дабы можно было спасти ее от спама изначально, наверное стоит подумать....

[RXL]

У меня такой вопрос: при чем тут почта? Каким боком она к форуму приросла?

[Dimka]

У меня такой вопрос: при чем тут почта? Каким боком она к форуму приросла?

У меня такой вопрос: а причём тут форум?

[Гром]

Ром ну действительно, форум частный случай, почта - частный случай, а в целом явление - спам, хорошо, я уже писал, что кроме закрытого приема, и то не считаю панацеей, ничерта от спама в вебе придумать не могу.
Дабы отражать атаки спамеров пишущих автоматом, затрудняют регистрацию, стандратная защита от взлома, блокировка постов за 1 минуту больше 1-го. Что еще - предлагайте, давай обсудим конкретику.