Death Thread - микроблог с умирающими сообщениями

[Dimka]

"справочник свиноводства". пугающе похоже на то, что я тут описываю

В каком разделе?

снижение температуры воздуха в свинарниках на 8-10°С ниже оптимальной ведет к уменьшению среднесуточных приростов на 40-60 г, а расход корма повышается на 0,3-0,5 корм. ед. и больше.

В этом смысле, конечно, о пользователях нужно заботиться. Только это пожелание надо превратить в конкретный план мероприятий.

[bebabo]

Dimka, а меня другое заинтересовало: оказывается, не каждая свинка может стать свиноматкой. вспоминается статистика, которую привели в "идеях" про живых пользователей и активных писателей... додумываю про подсистемы - скоро запостю

[Алексей++]

Я не знаю что такое твиттер, фасбук. И в глаза не видел. И... не хочу.
Обзаводиться каким-то кругом френдов, читателей и прочим. Не хочу.

вот я тоже.

Добавлено через 1 минуту и 26 секунд:

но все там будем (а иные уже там)... 

А я точно не буду

[bebabo]

основные подсистемы - стандартный набор любого блога:
1 - модуль регистрации, 2 - база пользователей, 3 - "кормушка", 4 - "писалка", 5 - база сообщений.
3 и 4 связывают 2 и 5 : 4 - в направлении от базы пользователей(2) к базе сообщений(5); 3 - в направлении от базы сообщений(5) к базе пользователей(2).

сосредоточимся на 3 пункте - "кормушка".
 
именно эта часть системы кажется мне самой важной - ибо не каждая свинка может стать свиноматкой, но к корыту тянет всех... и кстати, когда я в первый раз зарегился в твиттере - первым делом стал выяснять, как тут почитать чужие ленты. разобрался, когда во второй раз зарегился в твиттере (наверное, через полгода после первого визита). т.е. все должно быть как в сказке - сначала покорми-напои-спать уложи, а потом уже распрашивай.

пока я разделил "кормушку" на 4 части под кодовыми названиями: "меню", "поднос", "тарелка", "мусорный бак"... может проведем лего-конкурс - собери из 4 кубиков Death Thread? ) такой подход, как мне кажется, позволит рассмотреть "кормушку" с разных сторон, в разных видах )



Добавлено через 3 минуты и 44 секунды:
Алексей1153++,

Добавлено через 1 минуту и 26 секунд:

но все там будем (а иные уже там)... 

А я точно не буду

хабр читаешь? значит уже Там )

Добавлено через 8 часов, 6 минут и 52 секунды:
1) "меню" связывает пользователей с базой сообщений. формирует предложение, фильтруя сообщения по темам пользователя и его степенью голода. назовем эту задачу - "локальной", т.е. удовлетворение потребностей конкретного пользователя.
"глобальная" цель меню - удовлетворить потребность всего сообщества - "еда должна быть качественной, еда должна быть вкусной". возвращаясь к японским дегустаторам - "хозяином" в этом случае выступает именно сообщество.

как это может работать...

пользователь входит в свой аккаунт. с момента его последнего появления появилось 6 сообщений, из них:
mes. #1 - одобрено другими юзерами и собрало 8 комментов,
mes. #2 - одобрено другими юзерами и собрало 5 комментов,
mes. #3 - одобрено другими юзерами и собрало 3 коммента,
mes. #4 - одобрено другими юзерами и собрало 3 коммента,
mes. #5 - одобрено одним юзером и отвергнуто одним юзером,
mes. #6 - еще никем не отвергнуто, но и никем не одобрено.

в первую очередь меню обязано позаботиться о пользователе. допустим, что его голод оценивается в три сообщения.
чтобы утолить голод пользователя меню составит предложение из mes. #1 и mes. #3. чтобы выполнить "глобальную" задачу - добавит в предложение mes. #5, или mes. #6.

[Dimka]

а меня другое заинтересовало: оказывается, не каждая свинка может стать свиноматкой.

Ну эти очевидные вещи меня не могли заинтересовать, так как с этими вопросами я разбирался лет 9 назад - когда бухглатерию одного свиноводческого предприятия переводили на новый план счетов.

В смысле плодотворных идей интересным будет понятие "ремонтный молодняк". Когда свиноматка или хряк-производитель по каким-то причинам выходят из строя, им на замену берётся новый "плодовитый автор" из вот этого резерва; а если не понадобилось, то по возрасту из резерва выводят - по бухгалтерии это перевод из основных средств в продукцию.

Нечто похожее на такой резерв есть в хоккее, футболе и Государственной Думе... И у тебя тоже будет.

основные подсистемы - стандартный набор любого блога

А кого интересует стандартный набор? Из стандартного набора получается стандартный блог. А тема о другом. Поэтому хватит ходить вокруг да около. Не надо говорить ни о чём стандартном - только о нестандартном и специфическом для данного случая.

(который оценен в три сообщения)

Почему 3? О каких масштабах идёт речь?

[bebabo]

Dimka, три - ну, это просто для примера, это тот самый вес читателя, который ты предложил

[Dr.Yevhenius]

Немного с опозданием, но:

основные подсистемы - стандартный набор любого блога:
1 - модуль регистрации, 2 - база пользователей, 3 - "кормушка", 4 - "писалка", 5 - база сообщений.
3 и 4 связывают 2 и 5 : 4 - в направлении от базы пользователей(2) к базе сообщений(5); 3 - в направлении от базы сообщений(5) к базе пользователей(2).

По сути 3 и 4 делают одно и то же - связывают 2 и 5...

[bebabo]

Dr.Y, да, но в разных направлениях. и удовлетворяют разные потребности пользователя ) т.е. говорить не всегда подразумевает желание слушать ) чаще - вообще не подразумевает

[Dr.Yevhenius]

пользователь входит в свой аккаунт. с момента его последнего появления появилось 5 сообщений, из них:
mes. #1 - одобрено другими юзерами и собрало 8 комментов,
mes. #2 - одобрено другими юзерами и собрало 5 комментов,
mes. #3 - одобрено другими юзерами и собрало 3 коммента,
mes. #4 - одобрено другими юзерами и собрало 3 коммента,
mes. #5 - одобрено одним юзером и отвергнуто одним юзером,
mes. #6 - еще никем не отвергнуто, но и никем не одобрено.

в первую очередь меню обязано позаботиться о пользователе. допустим, что его голод оценивается в три сообщения.
чтобы утолить голод пользователя (который оценен в три сообщения) меню составит предложение из mes. #1 и mes. #3. чтобы выполнить "глобальную" задачу - добавит в предложение mes. #5, или mes. #6.

Зачем юзера ограничивать? Пусть будет весь список (отсортированный), а первый выберет столько, сколько ему под настроение нужно.

[bebabo]

Dr.Y, на это уже очень хорошо дима ответил:

"Я думаю, что плясать нужно от читателей. Каждый читатель определяет, сколько он готов (обычно или прямо сейчас) прочитать сообщений - на основе этого определяется его вес как читателя и частота попадания его в рассылку каждого нового сообщения.

В сообществе из 10 человек рассылать всем 9 оставшимся - выходит, если каждый в день напишет по 1 посту, по 9 сообщений в день каждому. В сообществе из 1000 человек рассылать 500 - выходит, если каждый в день напишет по 1 посту, по 500 сообщений в день каждому - многовато.

Основная проблема френд-лент и вообще лент новостей и т.п. вещей - поток информации, в которой преобладает мусор. Если читатель настроен прочитать в один день что-нибудь дельное, ему придётся отсмотреть очень много всякой ерунды, прежде чем он наткнётся на полезное или интересное сообщение. Усилия оказываются непропорциональны результату. Т.е. выдавать на чтение случайные сообщения - по сути тоже самое, что и дать читателю, зашедшему в случайный момент времени на ленту, прочитать самые последние сообщения. В обоих случаях он не видит всего массива сообщений, да и не желает видеть в общем-то.

Целеориентирование рассылок можно делать по тэгам: читатель заявляет интересующие его тэги, а система посылает ему случайные сообщения по этим тэгам. Или иначе. Сообщения имеют тэги, и читатель имеет возможность: положительно оценить, отрицательно оценить или отнестись индифферентно (в более чем 90% случаев) к сообщению - на основе (не)оценок система приписывает тэгам веса. Но здесь палка о двух концах: оценка интегральна, а критерии её имеют разные веса у разных читателей и в разные моменты времени - (не)понравиться может содержание, язык, личность автора. Либо система об этом не будет знать, и тогда может понизить вес тэга в случае отрицательной оценки и не слать сообщений на тему, хотя читателю тема интересна, а не понравилась лишь конкретная заметка (глупая, лживая и т.п.)"

взять к примеру хабр. как-то так получилось, что я читаю его через гугл ридер. заглядываю туда не регулярно, темы интересуют, конечно, не все и большую часть новых постов я просто прокручиваю. иногда менее внимательно, иногда более внимательно. если что-то очень заинтересовало - кидаю в избранное. посты, попавшие в избранное, как правило, на две-три темы. почему ридер не может учесть мой вкус и в следующий раз отфильтровать новые посты с хабра именно по этим темам? да, я могу сам это сделать, но мне лень.
почему фильтрация лучше в сортировки -  я все равно не буду прокручивать ленту новых постов до конца ) лучше в следующий раз исключить из ленты то, что уже было просмотрено и добавить то, что не было в ленте в первый раз.

[Dr.Yevhenius]

Так я не говорю, что нужно присылать по 500 сообщений - только предлагать. А юзер нужное количество себе сам выберет.

Получается, я захожу, выставляю уровень голода и получаю посты. И что, каждый раз выставлять голод? Лень. А если будет запоминаться, то всё-равно: в другой раз я буду более голоден и нужно будет менять данные? Опять лень. Тем более, что голод будет меняться, думаю, достаточно часто (если не каждый раз). Или же это (изменения уровня голода) должно быть очень просто, чтоб не напрягаться...

[bebabo]

Dr.Y, в идеале мне хочется, чтобы система сама определяла голод юзера. это не так сложно, как может показаться ) человек - раб своих привычек. и голод - одна из привычек )

[bebabo]

итак, задача "меню" - сформировать предложение для пользователя, т.е. выстроить между пользователем и сообщениями возможные связи. если сообщение заинтересовало пользователя - оно перемещается на "поднос", для более детального ознакомления - сценарий "читать полностью".
если сообщение не устраивает данного читателя - оно отправляется в "мусорный бак", т.е. связь между пользователем и сообщением разрывается. отвергнутые частью сообщества сообщения - менее ценны для данного сообщества. полностью отвергнутое сообщение удаляется из базы сообщений.

не отвергнутые, но прочитанные сообщения формируют "тарелку" пользователя, которая и определяет его "гастрономические пристрастия". и именно в "тарелке" происходит общение пользователей друг с другом, так как одно и тоже блюдо может одновременно находится в разных тарелках.

этот подход может дать еще один интересный результат - когда один и тот же пост может обсуждаться несколькими группами пользователей, с разных точек зрения, в разных направлениях, но при этом не мешая друг-другу (к примеру, с фильтрацией по групповому признаку - посмотреть мнение о футболе исключительно со стороны фанатов хоккея).

[Dimka]

Dimka, три - ну, это просто для примера

Примеры тут, по-моему, никого не интересуют, так как тезис про "вес" ни у кого вопросов не вызвал. Интересует формальное определение веса. Не число, а формула вычисления, её входные параметры.

[bebabo]

снова про "кормушку" - возможная модель.
1) пользователь входит в систему

2) локальное меню заглядывает в его тарелку:
       а) если в тарелке пусто - вкусовые пристрастия пользователя не определенные - и пользователь получит ассорти из лучшего  популярных тем;
       б) если в тарелке не пусто - формируется список сообщений, которые пользователь уже однажды выбрал.

3) локальное меню заглядывает в мусорный бак, чтобы сформировать список сообщений, которые пользователь отверг.

4) локальное меню отправляет запрос в глобальное меню, передавая в качестве аргументов степень голода, список сообщений из тарелки, список сообщений из мусорки.

5) глобальное меню формирует ответ
       а) исключает уже прочитанные и отвергнутые сообщения
       б) определяет из уже прочитанных список интересных тем
       в) по каждой теме формируется хит-парад сообщений: от самых популярных - до новых. популярность определяется кол-вом "жизней".
       г) теперь сообщения из хит-парадов сравниваются между собой. т.е. хитовое сообщение на тему А может проиграть по популярности сообщению на тему Б.
       д) формируется окончательный результат, в который включается: n хитов; n сообщений, которые требуют подтверждения оценки (т.е. те, которые были одобрены некоторым кол-вом пользователей); n сообщений, которые требуют первичной дегустации.
n - кол-во, которое как-нибудь определяется из степени голода пользователя (или его читательского веса).
       е) результат возвращается в локальное меню и становится доступным для пользователя.

[Алексей++]

хабр читаешь? значит уже Там )

не поверишь, не читаю. Заходить доводится раз в год, когда ищу что-нибудь и иду по всем найденным ссылкам. Но раньше у меня был медленный тырнет, а страницы там открывались оооочень доооолго, поэтому обычно сайт закрывался, так и не успев загрузиться )) Так как искомое находилось уже в других местах

[bebabo]

Алексей1153++, опять не попал пальцем в небо )

[Алексей++]

bebabo, да ты просто не знаешь всех моих закидонов ) Я без многих вещей спокойно обхожусь. Так что на меня можно не обращать внимания

[RXL]

5a и 5b. Это довольно приличный объем данных - вплоть до users*messages. Если сообщения будут действительно удаляться со временем, то это не страшно, но тогда 5b будет оценивать только по неудаленным прочитанным сообщениям. IMHO, рейтинги тегов будут компактнее.

[bebabo]

Алексей1153++, а эта идея тебе упорно не нравится? )

[Алексей++]

bebabo, я такого не говорил. Я всего лишь спросил - о чём и для чего всё это, ибо не понимяу

[bebabo]

RXL, ага, я это понимаю, но пока не обращаю внимание. т.е. это не отпимизированый алгоритм)

Добавлено через 5 минут и 53 секунды:
Алексей1153++, знаю одного типа, который в туалет с планшетом ходит. вот для таких бедолаг )

[Dimka]

RXL, я ещё добавлю. Пристрастия пользователя со временем меняются - плавают. Если не удалять старые сообщения из "профиля" пользователя, система, помнящая всё, будет пытаться всё это усреднять при том, что из всех запомненных колебаний пользовательского предпочтения лишь одно текущее актуально, а другие по сути дела ложные, сбивающие систему.

На всякие раздражения организм свиней дает ответные реакции, называемые рефлексами. Различают рефлексы безусловные (врожденные), такие, как сосание, кашель и др., и условные (приобретенные). Условные рефлексы приобретаются организмом в процессе жизни на основе безусловных и могут усложняться, исчезать и вновь появляться. Они появляются при определенной системе упражнений и обязательной связи с каким-либо безусловным раздражителем.

Здесь самое важное не то, что условный рефлекс у свиньи вырабатывается, а то, что без постоянного подкрепления он со временем утрачивается. Система подстройки под предпочтения пользователя должна обладать таким же свойством.

[bebabo]

Dimka, если правильно понял - речь идет о "сытом голоде". когда описывал модель "кормушки" - сознательно пропустил эту тему, как и формулу веса.  дополню, когда доосмыслю формулу )

[Dimka]

bebabo, я про "сытый голод" вообще не понял. Не представляю себе пользователя, "голодного" настолько, что он согласен читать всё подряд исключительно ради процесса чтения.

На мой взгляд более правильно различать цели поиска информации (и, соответственно, чтения). Самая сильная целенаправленность - объектная, когда у пользователя имеется ключевой информационный объект (факт, событие, понятие и т.д.), и пользователь ищет дополнительную информацию, связанную с этим объектом. Более слабая целенаправленность - тематическая, когда у пользователя есть интересующая его тема (например, футбол), и он хочет отслеживать информационные потоки по этой теме (как правило, новости); в этом случае информационных объектов много. Наконец, самая слабая целенаправленность - коммуникативная, когда пользователь желает пообщаться, в частности, найти новых интересных людей; в этом случае количество тем велико, а объектов в них ещё больше.

С первым типом поиска худо-бедно справляются поисковики общего назначения. Со вторым типом - ленты и агрегаторы новостей. С третьим - социальные сети с возможностью образования групп.

Для каждого вида поиска есть собственные критерии удовлетворённости пользователя. В первом случае - полнота сведений, но в то же время важено, чтобы объём подбираемой информации был разумного для изучения размера или по крайней мере ранжирован по некой разумной гипотезе о релевантности. Во втором случае - событийность (поэтому журналисты любят жареные сенсации), но отсутствие новостей - тоже новость; к полноте сведений пользователь не стремится, но будет очень недоволен, если пропустит значительное событие. В третьем случае важна быстрота завязывания качественной коммуникации (в смысле отсутствие долгого и изнурительного поиска, минимум неудачных попыток завязать общение, минимум неудовлетворительного общения).

[bebabo]

Dimka, блин, хорошо сказано. теперь мне не так нравится все, что я тут наговорил ранее ) совсем не нравится )

[RXL]

RXL, ага, я это понимаю, но пока не обращаю внимание. т.е. это не отпимизированый алгоритм)

На мой взгляд это принципиальный вопрос - тогда и формулы будут от другого плясать.

Добавлено через 2 минуты и 18 секунд:
Дим, можно хранить рейтинги дробно. Например, 0-7 дней, 0-30, 0-90, 0-180, 0-365, и полный. Потом их сводить со своей системой весов. Тоже компактно получается.

Добавлено через 5 минут и 49 секунд:
Один есть большой минус у тега - его очень трудно правильно контролировать. Тут либо каждый пользователь определяет свои теги (со всеми несуразностями его неграмотности и особенностью лексикона), либо список тегов задается административно (нужно усилие модераторов, а так же их слежение за потребностями пользователей), либо теги назначает автомат (как?).

Добавлено через 1 минуту и 4 секунды:
А еще не стоит забывать про борьбу со спамом. Алгоритмы должны быть устойчивыми.

[Dimka]

RXL, по поводу тэгов... Я думаю, что для большей гибкости каждый пользователь должен иметь возможность задавать тэги. По крайней мере они будут давать системе информацию о точке зрения пользователя на сообщение. С другой стороны, ты прав, что тут будут несуразности. Для их преодоления, наверно, оптимальным будет описать некий ИИ, который будет подвергать тэги семантическому анализу и устанавливать степень смысловой близости тэгов разных пользователей. Например, если тэг задаётся неким словом, и куча пользователей пишут это слово с разными опечатками или в разных словоформах, то не нужен особо хитрый ИИ, чтобы всё же определить смысловую одинаковость (класс) всего множества таких вариантов слова. В общем-то для этой задачи достаточно обычного spellcheker'а, умеющего предлагать исправленный вариант. Конечно, будут ошибки. Но ошибки в крупной системе будут всегда, здесь удовлетворительной будет низкая вероятность ошибки, а не заведомо недостижимая цель полного исключения ошибок.

Можно также говорить о попытке автоматического приписывания тэгов на основе семантического анализа сообщения. Но в этом плане пока что любые системы совершенно беспомощны, когда речь идёт об абстракциях, иносказаниях, аналогиях - т.е. необходимости выявить за конкретным содержанием подтекст.

В общем-то всем этим и так уже занимаются поисковики. Другое дело, что семантические модели в поисковиках ориентированы скорее на поиск информационных объектов, а учёт контекста в них весьма узконаправленный - на рекламные цели. В социальных же сетях модели должны включать в себя более эфемерные семантические структуры: как бы пытаться "понять" пользователя, а не просто "угадать его хотелки"; быть умнее, и тоньше разбираться в людях, чем сами люди. Это, конечно, сверхзадача - ничего надёжного сейчас ещё в этом плане не разработано, а если и есть наработки, то скорее всего они спрятаны в недрах корпораций, а то и спецслужб. С неожиданной стороны здесь как раз были бы интересны технологии спамеров - их конструктивный анализ и обобщение всех их методов в социологическом плане.

[RXL]

Кстати, еще о тегах: они должны быть обязательными - иначе большинство не будет их ставить. Еще их надо проверять, что там не мусор, а слова.

[bebabo]

новости проекта: допиливаю демку )