ArtReal's readme
personal unreality:  точка пушистости

Расход трафика на rss

23.03.06 09:29 ◇ keywords: rss

Допустим, у вас есть блог и 1000 записей в нем. Если поддерживаются rss для комментариев, то получается 1000 rss-фидов. Понятно, что такое количество на десктоп-агрегаторе держать никто не будет… но коллективные web-агрегаторы и поисковые системы запросто будет мониторить все 1000 фидов. А это нехилое отжирание трафика. Bloglines, правда, отслеживает активность фида и чем чаще фид обновляется, тем чаще bloglines его запрашивает (соответственно, неактивные фиды он будет дергать редко).

Это теоретически. А теперь расскажите мне, как же происходит на самом деле с отжирание трафика по rss.

ps. Но самое интересное во всем этом — нет механизмов заставить агрегатор отписаться от фида. Т.е. выставить некий флаг «этот фид дальше мониторить не нужно».

 [ link ] • +1
Comments   [ 5 ]
[ 1 ] Oleg Andreev  / 23.03.2006 10:20
Если ситуация действительно волнующая можно сделать так:

old.rss -> 404 There is no spoon today (dear users, take this one: new.rss)
new.rss -> новый адрес фида

ArtReal: Это уже некорректные методы (хотя и работающие de facto)


[ 2 ] Oleg Andreev  / 23.03.2006 11:20
Ок. В протоколе RSS такой флаг не предусмотрен. Но что мешает поставить скрипт за rss, который устраивает агрегатору фейс-контроль? Тогда мы сможем «отписать» роботов (и любых трафикопожирателей) от комментариев. Нагрузка на сервер (запуск скрипта) минимальна, т.к. десктопы обращаются редко и не ко все фидам, а агрегаторы быстро отписываются от 404-фида.

В случае с комментариями можно еще старые фиды (последний коммент — неделю/месяц назад) просто удалять. Если появится новый комментарий, то фид будет создан снова. Более того уже будет не нужен скрипт-контроль (см. выше), т.к. реально будет существовать не 1000 фидов (к каждой записи), а лишь 10. А поскольку это «обновляемые», свежие фиды, то и мониторить их агрегатором позволительно.

ArtReal: Нет, меня методы борьбы не интересуют (точнее, это интересно, но в их внедрении у меня нет необходимости). Интересует уже существующий расклад по пожиранию трафика


[ 3 ] dul.ru  / 23.03.2006 14:46
У хороших мальчиков RSS фиды — статичные файлы. У статичных файлов есть last-modified хедер ;) дальше думаю рассказывать не надо

ArtReal: Это с учетом коректных входящих, что выполняется далеко не всегда.


[ 4 ] Constantine  / 25.03.2006 10:48
касаемо десктоп-агрегатора с 1000 фидов-комментов — реальность.
NewzCrawler (с версии ~1.5 )автоматом их подцепляет и все опрашивает.
Сохраняет траффик именно по last-modified =)

ArtReal: Подцепление автоматом — это плохая идея, приводящая к коллекционированию мусора.


[ 5 ] Ilya Birman  / 29.03.2006 15:26
Разумно.

Сделал у себя, чтобы выдавались RSS’ки только к тем лентам комментариев, где ещё могут появиться комментарии.

То есть, если включено автоматическое закрытие комментариев через две недели после публикации заметок, то получим, что комментарии будут рсситься только за последние две недели…

Вроде нормально?

ArtReal: Ага. Собственно именно из-за такой ситуации (если запись закрыта для комментирования, то ловить там больше нечего) я и сказал, что нет средств отписки.


Comments   [ 5 ]