metrics_antonnew_homework_1.py

# -*- coding: utf-8 -*-
"""Metrics_AntonNew_HomeWork_1.ipynb

Automatically generated by Colaboratory.

Original file is located at
    https://colab.research.google.com/drive/1AemJQt_gQjaz30jrpCCJZ4wwumN_Xqzl

## Подготовка
"""

import plotly.offline as pyo
pyo.init_notebook_mode()

import pandas as pd
import matplotlib
import plotly.express as px
from sqlalchemy import create_engine
import ipywidgets as widgets
from ipywidgets import interact, interact_manual
import datetime
from datetime import timedelta
from plotly.subplots import make_subplots

HOST = '37.139.42.145'
DBNAME = 'game-analytics'
USER = 'analytics'
PASSWORD = 'BRtTaqYiJyr29WXN'
TABLE_SCHEMA = 'data_viz_1068.project_dataset'

engine = create_engine(f'postgresql://{USER}:{PASSWORD}@{HOST}/{DBNAME}')

project_dataset = pd.read_sql(f"""
    SELECT *
    FROM {TABLE_SCHEMA} 
""", con=engine)
project_dataset

project_dataset.info()

project_dataset['event_date'] = pd.to_datetime(project_dataset['event_date'])
project_dataset['cohort_date'] = pd.to_datetime(project_dataset['cohort_date'])

project_dataset.info()

project_dataset['event_name'].unique()

"""## 1. Анализ динамики количества ежедневных инсталлов.

Подготовка
"""

#preinstalls = project_dataset.query('event_date==cohort_date')
preinstalls = project_dataset[project_dataset['event_date'] == project_dataset['cohort_date']]

"""#### По типу пользователя."""

installs_by_user_type = (preinstalls
                         .groupby(by=['cohort_date', 'user_type'], as_index=False)
                         .agg(total_installs=('user_id', 'nunique')))
fig = px.line(installs_by_user_type,x='cohort_date', y='total_installs', color='user_type')
fig.show()

"""**Неорганические.**  
С конца Октября и по вторую треть Декабря видны инсталлы неорганических пользователей с пиком в 11 Ноября.  
Это похоже на начало рекламной компании (27 Октября).  
К 25 Декабря деньги у рекламной компании практически закончились.
3 Декабря докинули денег на рекламу.   
7 Декабря решили забить полностью на рекламу (/платное продвижение).  
После 7 декабря неораганические пользователи практически не приходят.   
И 27 Мая (ровно через 7 месяцев) платные инсталлы прекращяются полностью.

**Органика**.  
28 Октября - 10 Ноября органические пользователи регулярно приходят - примерно 140 в день.  
11 Ноября происходит резкий скачок органических инсталов с пиком 15 Ноября.  
В это время так же был пик неорганических пользователей, возможно они рассказали своим знакомым об игре и это привело к увеличению органики.  
Может быть в этот день была еще либа какая акция направленная на привлечение новых пользователей.  
Далее число органических инсталов медленно но верно падает. (этому так же способствует прекращение рекламной компании).
23 Марта происходит какое то событие которое приводит к максимальному всплеску инсталов. Который впрочем так же быстро спадает. (может это был заказ рекламы у какого нибудь известного стримера (трафик при этом получился органическим так как игру просто скачали из магазина). А может какой нибудь 1 дневный featuring :).  
Далее инсталлы медленно уменьшаются.

#### По региону, стране.
"""

installs_by_region = (preinstalls
                         .groupby(by=['cohort_date', 'region'], as_index=False)
                         .agg(total_installs=('user_id', 'nunique')))
fig = px.line(installs_by_region,x='cohort_date', y='total_installs', color='region')
fig.show()

installs_by_region = (preinstalls
                         .groupby(by=['cohort_date', 'country'], as_index=False)
                         .agg(total_installs=('user_id', 'nunique')))
fig = px.line(installs_by_region,x='cohort_date', y='total_installs', color='country').show()

"""Оказывается что В начале инсталлы были в основном из России, США и Украины.  
Скорее всего игра Русская :).  
То что инсталлы идут из разных стран сразу, говорит о том что игра практически сразу релизнулась на весь мир.   
Всплеск 23 Марта затронул только СНГ сегмент. Скорее всего мероприятие преведшее к этому произошло для Русской аудитории.
30 Января заметен небольшой всплеск инсталов в Корее.

#### По платформе.
"""

installs_by_region = (preinstalls
                         .groupby(by=['cohort_date', 'platform'], as_index=False)
                         .agg(total_installs=('user_id', 'nunique')))
fig = px.line(installs_by_region,x='cohort_date', y='total_installs', color='platform')
fig.show()

"""Игра сначало выпустилась только на IOS.  
Оказывается пик 11 Ноября связан с релизом Андроид версии. Что привело к большому количеству инставлов именно на Андроид и именно в России.  
Мощный Всплесл 23 Марта произошел основном для андроид инсталлов. Мероприятие в этот день было связано с платформой андроид и с пользователями из СНГ. Возможно это был какой то Featuring в андроид магазине для СНГ аудитории.  
Всплеск в Кореи 30 января тоже характерен только для андроид.

## 2. Анализ удержания по региону.

#### Анализ инсталов по региону проделан в первом пункте. Ниже продублирую график.
"""

installs_by_region = (preinstalls
                         .groupby(by=['cohort_date', 'region'], as_index=False)
                         .agg(total_installs=('user_id', 'nunique')))
fig = px.line(installs_by_region,x='cohort_date', y='total_installs', color='region').show()

"""#### Оцениим проценты польователей зашедших в игру на следующий день.

Инсталлы
"""

installs = installs_by_region
installs.head()

"""Пользователи зашедшие на второй день"""

tomorrows = project_dataset[project_dataset['event_date']==project_dataset['cohort_date'] + timedelta(days=1)]
tomorrows = tomorrows.groupby(['cohort_date', 'region'], as_index=False).agg(tomorrows=('user_id', 'nunique'))

tomorrows.head()

"""Таблица удержания второго дня"""

retention = installs.merge(tomorrows, how='left', on=('cohort_date', 'region'))
retention = retention.fillna(0)
retention['day_2_retention'] = retention['tomorrows'] / retention['total_installs'] * 100
retention['day_2_retention'] = retention['day_2_retention'].clip(0, 100)

retention

fig = px.line(retention, x='cohort_date', y='day_2_retention', color='region').show()

"""Уберем регионы в которых данные нестабильны"""

retention = retention[retention['region'].isin(['AS', 'EU', 'NA'])]
fig = px.line(retention, x='cohort_date', y='day_2_retention', color='region').show()

"""Трудно оценить удержание по таким волатильномыи графикам.  
Можно сказать что удержание в AS очень волатильно и кажется что оно чуть выше чем у всех остальных.  
В EU удержание кажется самым стабильным.

Попробуем уменьшить волатильность построив скользящие средние
"""

pd.options.mode.chained_assignment = None  # default='warn'
def ShowRollingMeanDay2Retention(WINDOW):
    as_df = retention[retention['region'] == 'AS']
    as_df['rolling'] = as_df['day_2_retention'].rolling(WINDOW).mean()

    eu_df = retention[retention['region'] == 'EU']
    eu_df['rolling'] = eu_df['day_2_retention'].rolling(WINDOW).mean()

    na_df = retention[retention['region'] == 'NA']
    na_df['rolling'] = na_df['day_2_retention'].rolling(WINDOW).mean()

    rolling = as_df.append(eu_df).append(na_df)

    fig = px.line(rolling, x='cohort_date', y='rolling', color='region').show()

interact(ShowRollingMeanDay2Retention, WINDOW=(1,20,1))

"""Тут уже видно что AS удержание самое высокое. И самое изменчивае. (видно цикличное изменение - 3 цикла по 2-2.5 месяца)  
Удержание в NA чуть больше чем у EU.  
В EU удержание самое стабильное но и самое маленькое.
"""

counts = preinstalls.copy()
counts.drop_duplicates(subset=['user_id'])
counts = counts.groupby(['region'], as_index=False).agg(installs=('user_id', 'nunique'))
counts = counts.sort_values(by=['installs'], ascending=False)
counts

"""У EU больше всего данных по этому его график самый стабильный.  
У AS в примерно 10 раз меньше данных вот почему его график самый волатильный.

## 3. Анализ поведения в первые 24 часа

#### Подготовка

Выделим события которые находятся в 24 часовом промежутке после инсталла для каждого пользователя.
"""

install_times = project_dataset[project_dataset['event_name']=='FirstLaunchApp']
install_times = install_times.drop_duplicates(subset=('user_id'))
install_times = install_times[['user_id', 'event_time']]
install_times = install_times.rename(columns={'event_time' : 'install_time'})
install_times.head(2)

#table_24 = project_dataset[project_dataset['event_name']!='FirstLaunchApp']
table_24 = project_dataset.copy()
table_24 = table_24.merge(install_times, on='user_id')
table_24 = table_24[table_24['event_time']<=table_24['install_time'] + timedelta(hours=24)]
table_24 = table_24[table_24['event_time']>=table_24['install_time']]
table_24['living_hour'] = (table_24['event_time'] - table_24['install_time']).dt.seconds / 3600
table_24.head(2)

"""#### Топ событий"""

table_24['event_name'].value_counts(normalize=True).reset_index()

"""Самые частые события это конешно же LaunchApp и FirstLaunchApp.  
Далее идут AchieveLevel_4-7.  
Следующее по частоте - событие покупки.  
Получается что чаще всего покупки делают до 8 уровня. (или можно сказать - покупают чаще чем доходят до 8 уровня)

Топ событий по дням
"""

contents = table_24.groupby(['cohort_date', 'event_name'], as_index=False)['event_time'].count()
contents = contents[contents['event_name']!='LaunchApp']
contents = contents[contents['event_name']!='FirstLaunchApp']
contents = contents.rename(columns={'event_time' : 'occurrences'})
contents = contents.sort_values(by=['occurrences'], ascending=False)
fig = px.bar(contents, x='cohort_date', y='occurrences', color='event_name').show()

"""Видно 4 пик 4 Декабря. Ранее не придал этому значения. Видимо тоже какое то событие было (в это время был мини всплеск покупных пользователей - который я описал как - "докинули денег на рекламу")  
В остальном же не видно каких то особых сдвигов в частоте тех или иных событий.

Частота событий по другим кагортам
"""

contents = table_24.groupby(['region', 'event_name'], as_index=False)['event_time'].count()
contents = contents[contents['event_name']!='LaunchApp']
contents = contents[contents['event_name']!='FirstLaunchApp']
contents = contents.rename(columns={'event_time' : 'occurrences'})
contents = contents.sort_values(by=['occurrences'], ascending=False)
fig = px.bar(contents, x='event_name', y='occurrences', color='region').show()

"""Событие af_purchase происходит чаще примерно в 2 раза чем во всех других регионах. (если учесть что людей от туда в 2 раза меньщше то в процентном соотнощении получается что это событие происходит в NA аж в 4 раза чаще) """

contents = table_24.groupby(['user_type', 'event_name'], as_index=False)['event_time'].count()
contents = contents[contents['event_name']!='LaunchApp']
contents = contents[contents['event_name']!='FirstLaunchApp']
contents = contents.rename(columns={'event_time' : 'occurrences'})
contents = contents.sort_values(by=['occurrences'], ascending=False)
fig = px.bar(contents, x='event_name', y='occurrences', color='user_type').show()

contents = table_24.groupby(['platform', 'event_name'], as_index=False)['event_time'].count()
contents = contents[contents['event_name']!='LaunchApp']
contents = contents[contents['event_name']!='FirstLaunchApp']
contents = contents.rename(columns={'event_time' : 'occurrences'})
contents = contents.sort_values(by=['occurrences'], ascending=False)
fig = px.bar(contents, x='event_name', y='occurrences', color='platform').show()

"""На IOS события af_purchase происходит чаще.

#### Топ покупок
"""

table_24['content_id'].value_counts(normalize=True).reset_index()

"""Самые продаваемые:  
ta_low_offer_3 - 25%!  
ta_starter - 14%.  
ta_challenge_pass 11%.

Топ покупок по дням
"""

contents = table_24.groupby(['cohort_date', 'content_id'], as_index=False)['event_time'].count()
contents = contents.rename(columns={'event_time' : 'occurrences'})
contents = contents.sort_values(by=['occurrences'], ascending=False)
fig = px.bar(contents, x='cohort_date', y='occurrences', color='content_id').show()

"""24 Марта продалось много ta_low_offer_2.  
В другие дни оно так не выделяется.  
Возможно оно было привязано к какой то акции.

Покупки по другим когортам
"""

contents = table_24.groupby(['region', 'content_id'], as_index=False)['event_time'].count()
contents = contents.rename(columns={'event_time' : 'occurrences'})
contents = contents.sort_values(by=['occurrences'], ascending=False)
fig = px.bar(contents, x='content_id', y='occurrences', color='region').show()

"""ta_starter, ta_challenge_pass, ta_mid_offer_1 - лучше всего продаются в NA.  

"""

contents = table_24.groupby(['platform', 'content_id'], as_index=False)['event_time'].count()
contents = contents.rename(columns={'event_time' : 'occurrences'})
contents = contents.sort_values(by=['occurrences'], ascending=False)
fig = px.bar(contents, x='content_id', y='occurrences', color='platform').show()

"""ta_starter, ta_challenge_pass, ta_mid_offer_1 - лучше всего продаются на IOS.  """

contents = table_24.groupby(['user_type', 'content_id'], as_index=False)['event_time'].count()
contents = contents.rename(columns={'event_time' : 'occurrences'})
contents = contents.sort_values(by=['occurrences'], ascending=False)
fig = px.bar(contents, x='content_id', y='occurrences', color='user_type').show()

"""#### Примечание.

Можно было пробывать сравнивать в когортах в процентном соотнащении на единицу пользователя. А то получатеся у кого больше инсталлов у того и события чаще происходят. Можно чего нибудь не заметить.
"""