Сімнадцять джерел, у яких немає RSS
Telegram, Bluesky, GitHub, магазини застосунків, Twitch, Bandcamp і ще десяток джерел тепер читаються напряму, як і приховані стрічки сайтів. Як це працює.
Рідер обіцяє, що все надходитиме до вас саме. Біда в тому, що дедалі більша частка того, за чим стежать люди, не публікує жодної стрічки: канал у Telegram, акаунт у Bluesky, релізи плагіна, безкоштовна гра тижня. За останні дні рушій навчився читати сімнадцять таких місць напряму. На сторінках Вбудовані джерела перелічено кожне з них із прикладами, а тут розповідаємо, що за ними стоїть.
Джерело — це парсер
Кожне джерело — це окремий маленький рідер усередині рушія. Він знає, які посилання належать платформі, робить один-два запити до сторінки або API самої платформи й повертає записи в такому самому вигляді, як у стрічки. Ви вставляєте посилання, яке відкрили б у браузері, MicroRSS розпізнає його, нічого не завантажуючи, і результат з'являється у списку, як будь-яка стрічка, з іконкою платформи.
Наразі є такі джерела: канали Telegram (із публічної сторінки попереднього перегляду, з фото, документами й опитуваннями), профілі Bluesky (з відповідями й репостами або без них, з картками посилань і цитованими дописами), популярне (trending), issues, pull requests і запуски workflow на GitHub, виконавці й лейбли на Bandcamp, теги репозиторіїв Docker Hub, безкоштовні ігри Epic Games Store, плагіни й теми WordPress.org, App Store, Firefox Add-ons, відео Twitch, вкладка Posts на YouTube, Mixcloud, Modrinth, Comics Kingdom, новинки GOG, MangaDex і виконавці Apple Music.
Параметри джерела зберігаються в адресі стрічки: фільтр тегів Docker Hub, країна магазину Epic, стрічка Bluesky з відповідями. Завдяки цьому вони потрапляють в експорт OPML, а двоє користувачів, які обрали однакові параметри, мають одну спільну стрічку.
Сайти, що ховають свою стрічку
Друга група взагалі не потребувала парсера. Reddit, Mastodon, Medium, Steam, Dailymotion, Pinterest, ArtStation, dev.to, GitLab, Codeberg, Wikipedia, Substack і низка новинних сайтів мають стрічку, просто сторінка ніде на неї не посилається. Тепер рушій знає шаблон адреси для кожного з них, тож якщо вставити сабреддит або профіль Mastodon, стрічку буде знайдено одразу, без читання сторінки.
Найцікавішими виявилися вимірювання новинних сайтів: із приблизно шістдесяти сайтів із відомою стрічкою, які ми перевірили з сервера, сім ховають головну сторінку за перевіркою на бота, а ще вісімнадцять не вказують стрічку в розмітці, хоча самі стрічки відповідають без проблем. The Economist, The New York Times, NPR, Deutsche Welle, heise, tagesschau та інші сайти зі сторінки новинні сайти зіставлено за розділами.
Пошук, який пояснює причину
Коли MicroRSS не може знайти стрічку, він тепер замість «No RSS feed found» («стрічку RSS не знайдено») повідомляє, що сталося: сайт поставив перед сторінкою перевірку на бота, сторінки більше немає, адреса відповіла помилкою. Звичні шляхи до стрічок перевіряються в будь-якому разі, тож сайт, який закриває HTML, але лишає відкритим /rss.xml, усе одно працює. Для решти є стрічка зі сторінки.
Що лишається поза межами
Кілька платформ відмовляють будь-якій серверній адресі, хоч як виглядав би запит: Patreon і Rumble відповідають 403 на запити з датацентру, API uNoGS на все відповідає 500, а NewOnNetflix стоїть за перевіркою (challenge). Ми зазначаємо це на їхніх сторінках, а не вдаємо, ніби все працює.