Модель для прогнозирования стоимости поездки на такси
Использовались следущие инструменты:
- PySpark для чтения данных из бд и последующей трансформации
- Sklearn для обучения модели линейной регрессии с помощью стохастического градиентного спуска
- optuna для подбора гиперпараметров
- MLFlow для отслеживания метрик и параметров периодически переобучаемых моделей, а также добавления модели в регистр моделей
- Airflow для периодического запуска трансформации данных и обучения модели