?
АВТОМАТИЗАЦИЯ СБОРА ДАННЫХ С САЙТОВ НЕДВИЖИМОСТИ И АНАЛИЗ МОСКОВСКОГО РЫНКА ЖИЛЬЯ С ИСПОЛЬЗОВАНИЕМ ЛОКАЛЬНОЙ СРЕДНЕЙ ЦЕНЫ КВАДРАТНОГО МЕТРА
В статье описывается интегрированное решение для автоматизированного сбора детализированных данных о предложениях квартир на первичном и вторичном рынках жилья Москвы и их аналитической обработки. Решение объединяет программные средства веб-скрейпинга (парсинг HTML-кода сайтов недвижимости с помощью Python) с хранилищем данных на базе Microsoft SQL Server и системой интерактивной визуализации в Microsoft Power BI. Основной аналитический показатель – локальная средняя цена предложения одного квадратного метра, вычисляемая для каждого административного округа Москвы по группам объявлений (по сегментам рынка и категориям площадей) – позволяет учесть пространственную неоднородность и дать более точную оценку дифференциации рынка, чем усредненный по городу показатель, далее метод расчета локальной средней. В качестве примера приведена апробация на данных сайта ЦИАН: показано сравнение средних цен по округам и сегментам рынка, продемонстрированы особенности, выявленные с помощью BI-отчетов, а также рассмотрены влияние макрофакторов (программы реновации жилья, динамики ключевой ставки и инфляции) на локальные ценовые тренды. Статья содержит архитектуру и алгоритмы комплекса, описание модулей системы (парсер, база данных, аналитический отчет), аспекты безопасности. Приведена математическая формулировка локальной средней цены (с соответствующими формулами). На примерах графиков и таблиц (из отчетов Power BI) иллюстрируются результаты анализа. Сделаны выводы о преимуществах комплексного подхода интеграции веб-сборки данных и локального статистического анализа для мониторинга рынка недвижимости.