Сбор и обработка веб-данных
Открытые API, RSS, парсинг, Scrapy, мониторинг изменений, очистка, объединение, CSV, Excel, JSON и обработка больших файлов.
Материалы
- Агрегатор RSS/Atom: редакционная очередь «Сигнал»
10 уроков: фиксированные источники, нормализация, устойчивые ID, HTTP-валидаторы, история SQLite, ручной отбор, API и экспорт Markdown.
- RSS-агрегатор: источники и модель подборки
RSS/Atom fixture, список фиксированных источников
- RSS-агрегатор: чтение и нормализация ленты
feedparser, поля, даты и ссылки
- RSS-агрегатор: устойчивые идентификаторы и дубли
source+entry id, URL policy
- RSS-агрегатор: условная загрузка HTTP
ETag/Last-Modified/304, таймауты, лимит ответа
- RSS-агрегатор: история в SQLite
Транзакционная фиксация entries и версии
- RSS-агрегатор: расписание и повторные попытки
Один worker, due/backoff, restart state
- RSS-агрегатор: изменения и редакционная очередь
Отбор новых/changed, подтверждение редактора
- RSS-агрегатор: API и страница подборки
Read-only server, безопасный вывод и pagination
- RSS-агрегатор: экспорт для Markdown-публикации
Выбранные записи, references and idempotent export
- RSS-агрегатор: наблюдение и границы источников
Приватный локальный стенд, SSRF boundary and quotas
- Предоставление каналов RSS и Atom
Создание каналов RSS и Atom из базы данных с использованием Syndication API
- Работа с RSS и Atom
- Чтение каналов RSS и Atom
Пример создания клиентского приложения, читающего каналы RSS и Atom