1. ビジネス理解（Business Understanding）
   ↓ 解決したい課題を明確にする
2. データ理解（Data Understanding）
   ↓ 利用可能なデータを探索・把握する
3. データ準備（Data Preparation）
   ↓ 分析に適した形にデータを加工する
4. モデリング（Modeling）
   ↓ 機械学習モデルを構築・チューニングする
5. 評価（Evaluation）
   ↓ モデルの性能をビジネス観点で評価する
6. 展開（Deployment）
   → モデルを実運用に組み込む

# Anacondaのダウンロード（公式サイトから）
# https://www.anaconda.com/download

# インストール後、バージョン確認
conda --version
python --version

# 仮想環境の作成
python -m venv ds-env

# 仮想環境の有効化（Windows）
ds-env\Scripts\activate

# 仮想環境の有効化（Mac/Linux）
source ds-env/bin/activate

# 主要ライブラリのインストール
pip install pandas numpy matplotlib seaborn scikit-learn jupyter

# Jupyter Notebook を起動
jupyter notebook

# 最初のセル：ライブラリのインポート確認
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns
from sklearn.datasets import load_iris

print(f"pandas: {pd.__version__}")
print(f"numpy: {np.__version__}")
print(f"seaborn: {sns.__version__}")

# 動作確認：irisデータセットの読み込み
iris = load_iris()
df = pd.DataFrame(iris.data, columns=iris.feature_names)
df['species'] = iris.target
print(f"\nデータの形状: {df.shape}")
print(df.head())

# 実践ワーク：基本統計量の確認
import pandas as pd
from sklearn.datasets import load_iris

iris = load_iris()
df = pd.DataFrame(iris.data, columns=iris.feature_names)
df['species'] = iris.target

# 基本統計量
print(df.describe())

# データ型の確認
print(df.dtypes)

# 各種カウント
print(f"\n行数: {len(df)}, 列数: {len(df.columns)}")
print(f"欠損値の数:\n{df.isnull().sum()}")

import pandas as pd
import numpy as np

# 辞書からDataFrameを作成
data = {
    '名前': ['田中太郎', '鈴木花子', '佐藤一郎', '高橋美咲', '山田健太'],
    '年齢': [28, 34, 45, 23, 31],
    '部署': ['営業', 'エンジニア', 'マーケティング', 'エンジニア', '営業'],
    '年収（万円）': [450, 620, 580, 400, 510],
    '入社年': [2020, 2015, 2008, 2023, 2018]
}
df = pd.DataFrame(data)
print(df)

     名前  年齢         部署  年収（万円）  入社年
0  田中太郎   28         営業       450  2020
1  鈴木花子   34    エンジニア       620  2015
2  佐藤一郎   45  マーケティング       580  2008
3  高橋美咲   23    エンジニア       400  2023
4  山田健太   31         営業       510  2018

# CSVファイルの読み込み
# df = pd.read_csv('sales_data.csv')

# サンプルデータで代用（CSVファイルがない場合）
import io

csv_data = """日付,商品名,カテゴリ,数量,単価,売上
2025-01-05,ノートPC,電子機器,3,89000,267000
2025-01-05,マウス,周辺機器,10,2500,25000
2025-01-06,モニター,電子機器,2,45000,90000
2025-01-06,キーボード,周辺機器,8,5000,40000
2025-01-07,ノートPC,電子機器,1,89000,89000
2025-01-07,ヘッドセット,周辺機器,5,8000,40000
2025-01-08,モニター,電子機器,4,45000,180000
2025-01-08,マウス,周辺機器,15,2500,37500
"""

df = pd.read_csv(io.StringIO(csv_data))
print(df)

# 日付解析付きで読み込む例
df = pd.read_csv(io.StringIO(csv_data), parse_dates=['日付'])
print(df.dtypes)

# 先頭5行を確認
print(df.head())

# 末尾3行を確認
print(df.tail(3))

# データの形状（行数, 列数）
print(f"形状: {df.shape}")

# データ型・欠損値の情報
print(df.info())

# 数値列の基本統計量
print(df.describe())

# 1列の選択（Seriesが返る）
names = df['商品名']
print(names)

# 複数列の選択（DataFrameが返る）
subset = df[['商品名', '数量', '売上']]
print(subset)

# 単一条件：売上が10万円以上
high_sales = df[df['売上'] >= 100000]
print("売上10万以上:")
print(high_sales)

# 複数条件（AND）：電子機器かつ数量2以上
filtered = df[(df['カテゴリ'] == '電子機器') & (df['数量'] >= 2)]
print("\n電子機器かつ数量2以上:")
print(filtered)

# 複数条件（OR）：ノートPCまたはモニター
products = df[(df['商品名'] == 'ノートPC') | (df['商品名'] == 'モニター')]
print("\nノートPCまたはモニター:")
print(products)

# isinを使った複数値マッチ
selected = df[df['商品名'].isin(['ノートPC', 'モニター'])]
print("\nisinを使った選択:")
print(selected)

# 売上で降順ソート
sorted_df = df.sort_values('売上', ascending=False)
print("売上降順:")
print(sorted_df)

# 複数キーでソート
sorted_multi = df.sort_values(['カテゴリ', '売上'], ascending=[True, False])
print("\nカテゴリ昇順→売上降順:")
print(sorted_multi)

# 基本的な集計
print(f"\n売上合計: {df['売上'].sum():,}円")
print(f"売上平均: {df['売上'].mean():,.0f}円")
print(f"売上最大: {df['売上'].max():,}円")
print(f"売上最小: {df['売上'].min():,}円")
print(f"取引件数: {df['売上'].count()}")

# 新しい列の追加
df['利益率'] = 0.3  # 全行に同じ値
df['利益'] = df['売上'] * df['利益率']
print(df[['商品名', '売上', '利益率', '利益']])

# 条件に基づく列の作成
df['売上ランク'] = np.where(df['売上'] >= 100000, '高', '低')
print(df[['商品名', '売上', '売上ランク']])

# インデックスのリセット
df_reset = df.reset_index(drop=True)

# 特定の列をインデックスに設定
df_indexed = df.set_index('商品名')
print(df_indexed)

# locによるラベルベースのアクセス
print(df_indexed.loc['ノートPC'])

# ilocによる位置ベースのアクセス
print(df.iloc[0:3, 0:3])  # 先頭3行、先頭3列

# 課題用データの作成
import pandas as pd
import numpy as np

np.random.seed(42)
n = 50
employees = pd.DataFrame({
    'ID': range(1, n+1),
    '名前': [f'社員{i:03d}' for i in range(1, n+1)],
    '部署': np.random.choice(['営業', 'エンジニア', 'マーケティング', '人事', '経理'], n),
    '年齢': np.random.randint(22, 60, n),
    '年収': np.random.randint(300, 1000, n) * 10000,
    '勤続年数': np.random.randint(0, 30, n),
    '評価スコア': np.round(np.random.uniform(1.0, 5.0, n), 1)
})

# 課題1: エンジニア部署の社員だけを抽出し、年収の降順で表示
engineers = employees[employees['部署'] == 'エンジニア'].sort_values('年収', ascending=False)
print("課題1: エンジニアの年収降順")
print(engineers[['名前', '年収', '評価スコア']])

# 課題2: 年齢30歳以上かつ評価スコア4.0以上の社員を抽出
top_performers = employees[(employees['年齢'] >= 30) & (employees['評価スコア'] >= 4.0)]
print(f"\n課題2: 30歳以上かつ評価4.0以上 → {len(top_performers)}名")

# 課題3: 部署ごとの平均年収を計算
dept_salary = employees.groupby('部署')['年収'].mean()
print(f"\n課題3: 部署別平均年収")
print(dept_salary.sort_values(ascending=False))

import pandas as pd
import numpy as np

# 問題のあるサンプルデータ
data = {
    '顧客ID': ['C001', 'C002', 'C003', 'C004', 'C005', 'C002', 'C006', 'C007', 'C008', 'C003'],
    '名前': ['田中太郎', '鈴木花子', '佐藤一郎', None, '山田健太', '鈴木花子', '高橋美咲', '伊藤次郎', '渡辺恵', '佐藤一郎'],
    '年齢': [28, 34, np.nan, 23, 45, 34, None, 31, 29, np.nan],
    '性別': ['男', '女', '男', '女', '男', '女', '女', '男', '女', '男'],
    '購入金額': ['15000', '32000', '8500', '24000', np.nan, '32000', '19000', '45000', 'N/A', '8500'],
    '登録日': ['2024-01-15', '2024/02/20', '2024-03-10', '24-04-05', '2024-05-22', '2024/02/20', '2024-06-01', None, '2024-07-15', '2024-03-10'],
    '都道府県': ['東京都', '大阪府', '東京都', '愛知県', '福岡県 ', '大阪府', ' 北海道', '東京都', '神奈川県', '東京都']
}
df = pd.DataFrame(data)
print("元データ:")
print(df)
print(f"\nデータ形状: {df.shape}")
print(f"\nデータ型:\n{df.dtypes}")

# 欠損値の確認
print("欠損値の数:")
print(df.isnull().sum())
print(f"\n全体の欠損率:")
print((df.isnull().sum() / len(df) * 100).round(1))

# 欠損値のあるパターンを可視化
print("\n欠損値のパターン:")
print(df.isnull().astype(int))

# 年齢の欠損値を中央値で補完
age_median = df['年齢'].median()
df['年齢'] = df['年齢'].fillna(age_median)
print(f"年齢の欠損値を中央値({age_median})で補完:")
print(df['年齢'])

# 名前の欠損値がある行を確認
print(f"\n名前が欠損している行:")
print(df[df['名前'].isnull()])

# 名前の欠損値は「不明」で補完
df['名前'] = df['名前'].fillna('不明')

# 購入金額が文字列型になっている
print(f"購入金額の型: {df['購入金額'].dtype}")
print(f"購入金額のユニーク値: {df['購入金額'].unique()}")

# 'N/A'を欠損値として扱いながら数値に変換
df['購入金額'] = pd.to_numeric(df['購入金額'], errors='coerce')
print(f"\n変換後の型: {df['購入金額'].dtype}")
print(df['購入金額'])

# 欠損値（変換できなかった値）を平均値で補完
mean_price = df['購入金額'].mean()
df['購入金額'] = df['購入金額'].fillna(mean_price)
print(f"\n購入金額の欠損値を平均値({mean_price:.0f})で補完:")
print(df['購入金額'])

# 年齢を整数型に変換
df['年齢'] = df['年齢'].astype(int)

# 型の確認
print("変換後のデータ型:")
print(df.dtypes)

# 様々な形式の日付を統一的に変換
df['登録日'] = pd.to_datetime(df['登録日'], errors='coerce', format='mixed')
print("日付変換後:")
print(df['登録日'])

# 日付の欠損値を確認
print(f"\n登録日の欠損数: {df['登録日'].isnull().sum()}")

# 日付から年月を抽出
df['登録年月'] = df['登録日'].dt.strftime('%Y-%m')
print(df[['顧客ID', '登録日', '登録年月']])

# 重複行の確認
print(f"重複行の数: {df.duplicated().sum()}")

# 特定の列に基づく重複確認
print(f"\n顧客IDの重複: {df.duplicated(subset=['顧客ID']).sum()}")
print("\n重複している行:")
print(df[df.duplicated(subset=['顧客ID'], keep=False)])

# 重複の削除（最初の出現を残す）
df_unique = df.drop_duplicates(subset=['顧客ID'], keep='first')
print(f"\n重複削除後の行数: {len(df_unique)}（元: {len(df)}）")
print(df_unique)

# 前後の空白を除去
df_unique['都道府県'] = df_unique['都道府県'].str.strip()
print("空白除去後:")
print(df_unique['都道府県'])

# strアクセサを使った文字列操作
print("\n都道府県に'東京'を含む行:")
print(df_unique[df_unique['都道府県'].str.contains('東京', na=False)])

# 文字列の置換
df_unique['都道府県_短縮'] = df_unique['都道府県'].str.replace('都|府|県', '', regex=True)
print("\n短縮表記:")
print(df_unique[['都道府県', '都道府県_短縮']])

# applyで各要素に関数を適用
def categorize_age(age):
    if age < 25:
        return '若手'
    elif age < 35:
        return '中堅'
    elif age < 45:
        return 'ベテラン'
    else:
        return 'シニア'

df_unique['年齢カテゴリ'] = df_unique['年齢'].apply(categorize_age)
print("年齢カテゴリ:")
print(df_unique[['名前', '年齢', '年齢カテゴリ']])

# mapで値をマッピング
gender_map = {'男': 'Male', '女': 'Female'}
df_unique['性別_英語'] = df_unique['性別'].map(gender_map)
print("\n性別マッピング:")
print(df_unique[['名前', '性別', '性別_英語']])

def preprocess_customer_data(df):
    """顧客データの前処理パイプライン"""
    df = df.copy()

    # 1. 重複削除
    df = df.drop_duplicates(subset=['顧客ID'], keep='first')

    # 2. 欠損値処理
    df['名前'] = df['名前'].fillna('不明')
    df['年齢'] = pd.to_numeric(df['年齢'], errors='coerce')
    df['年齢'] = df['年齢'].fillna(df['年齢'].median()).astype(int)

    # 3. 型変換
    df['購入金額'] = pd.to_numeric(df['購入金額'], errors='coerce')
    df['購入金額'] = df['購入金額'].fillna(df['購入金額'].mean())
    df['登録日'] = pd.to_datetime(df['登録日'], errors='coerce', format='mixed')

    # 4. 文字列クリーニング
    df['都道府県'] = df['都道府県'].str.strip()

    return df

# パイプラインの実行
df_clean = preprocess_customer_data(pd.DataFrame(data))
print("前処理完了:")
print(df_clean.info())
print(df_clean)

import pandas as pd
import numpy as np

# 実践用データ
messy_data = pd.DataFrame({
    '商品コード': ['P001', 'P002', 'P003', 'P001', 'P004', 'P005', 'P002', 'P006'],
    '商品名': ['  りんご ', 'バナナ', None, 'りんご', 'みかん', 'ぶどう', 'バナナ', 'メロン '],
    '価格': ['150', '200', '300', '150', 'unknown', '500', '200', '800'],
    '在庫数': [50, 30, np.nan, 50, 20, None, 30, 10],
    '産地': ['青森', 'フィリピン', '山梨', '青森', '愛媛', '山梨', 'フィリピン', '北海道']
})

# 課題:
# 1. 重複行を商品コードに基づいて削除する
# 2. 商品名の前後の空白を除去し、欠損値を「未登録」で埋める
# 3. 価格を数値型に変換し、変換できなかった値を中央値で補完する
# 4. 在庫数の欠損値を平均値で補完し、整数型に変換する

# 解答例
df_work = messy_data.copy()
df_work = df_work.drop_duplicates(subset=['商品コード'], keep='first')
df_work['商品名'] = df_work['商品名'].str.strip().fillna('未登録')
df_work['価格'] = pd.to_numeric(df_work['価格'], errors='coerce')
df_work['価格'] = df_work['価格'].fillna(df_work['価格'].median())
df_work['在庫数'] = df_work['在庫数'].fillna(df_work['在庫数'].mean()).astype(int)

print("前処理後のデータ:")
print(df_work)
print(f"\nデータ型:\n{df_work.dtypes}")

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

# 日本語フォントの設定（環境に応じて変更）
plt.rcParams['font.family'] = 'MS Gothic'  # Windows
# plt.rcParams['font.family'] = 'Hiragino Sans'  # Mac
plt.rcParams['axes.unicode_minus'] = False

# サンプル：月別売上データ
np.random.seed(42)
months = pd.date_range('2024-01', periods=12, freq='MS')
sales_data = pd.DataFrame({
    '月': months,
    'A商品': np.random.randint(100, 300, 12) * 1000,
    'B商品': np.random.randint(80, 250, 12) * 1000,
    'C商品': np.random.randint(50, 180, 12) * 1000
})
sales_data['月名'] = sales_data['月'].dt.strftime('%m月')

# サンプル：tipsデータセット（seaborn内蔵）
tips = sns.load_dataset('tips')
print(tips.head())
print(f"\ntipsデータの形状: {tips.shape}")

fig, ax = plt.subplots(figsize=(10, 5))

ax.plot(sales_data['月名'], sales_data['A商品'], marker='o', label='A商品', linewidth=2)
ax.plot(sales_data['月名'], sales_data['B商品'], marker='s', label='B商品', linewidth=2)
ax.plot(sales_data['月名'], sales_data['C商品'], marker='^', label='C商品', linewidth=2)

ax.set_title('月別商品売上推移（2024年）', fontsize=14, fontweight='bold')
ax.set_xlabel('月', fontsize=12)
ax.set_ylabel('売上（円）', fontsize=12)
ax.legend(fontsize=11)
ax.grid(True, alpha=0.3)
ax.yaxis.set_major_formatter(plt.FuncFormatter(lambda x, p: f'{x/10000:.0f}万'))

plt.tight_layout()
plt.show()

fig, axes = plt.subplots(1, 2, figsize=(14, 5))

# 縦棒グラフ
categories = ['営業', 'エンジニア', 'マーケ', '人事', '経理']
values = [45, 38, 28, 15, 12]
colors = ['#2196F3', '#4CAF50', '#FF9800', '#9C27B0', '#F44336']

axes[0].bar(categories, values, color=colors, edgecolor='white', linewidth=1.5)
axes[0].set_title('部署別人数', fontsize=13, fontweight='bold')
axes[0].set_ylabel('人数')

# 各バーに値を表示
for i, v in enumerate(values):
    axes[0].text(i, v + 0.5, str(v), ha='center', fontweight='bold')

# 横棒グラフ
axes[1].barh(categories, values, color=colors, edgecolor='white', linewidth=1.5)
axes[1].set_title('部署別人数（横棒）', fontsize=13, fontweight='bold')
axes[1].set_xlabel('人数')

plt.tight_layout()
plt.show()

fig, ax = plt.subplots(figsize=(8, 6))

scatter = ax.scatter(
    tips['total_bill'], tips['tip'],
    c=tips['size'], cmap='viridis',
    alpha=0.7, s=60, edgecolors='white', linewidth=0.5
)

ax.set_title('合計金額 vs チップ額', fontsize=14, fontweight='bold')
ax.set_xlabel('合計金額（ドル）', fontsize=12)
ax.set_ylabel('チップ額（ドル）', fontsize=12)
plt.colorbar(scatter, label='人数')
ax.grid(True, alpha=0.3)

plt.tight_layout()
plt.show()

fig, axes = plt.subplots(1, 2, figsize=(14, 5))

# 基本的なヒストグラム
axes[0].hist(tips['total_bill'], bins=20, color='#2196F3', edgecolor='white', alpha=0.8)
axes[0].set_title('合計金額の分布', fontsize=13, fontweight='bold')
axes[0].set_xlabel('合計金額（ドル）')
axes[0].set_ylabel('頻度')
axes[0].axvline(tips['total_bill'].mean(), color='red', linestyle='--', label=f"平均: {tips['total_bill'].mean():.1f}")
axes[0].legend()

# 重ね合わせヒストグラム
for day in ['Thur', 'Fri', 'Sat', 'Sun']:
    subset = tips[tips['day'] == day]['total_bill']
    axes[1].hist(subset, bins=15, alpha=0.5, label=day)

axes[1].set_title('曜日別 合計金額の分布', fontsize=13, fontweight='bold')
axes[1].set_xlabel('合計金額（ドル）')
axes[1].set_ylabel('頻度')
axes[1].legend()

plt.tight_layout()
plt.show()

fig, axes = plt.subplots(2, 2, figsize=(12, 10))

# 左上：折れ線
axes[0, 0].plot(sales_data['月名'], sales_data['A商品'], 'o-', color='#2196F3')
axes[0, 0].set_title('A商品 月別売上')
axes[0, 0].tick_params(axis='x', rotation=45)

# 右上：棒グラフ
total_by_product = [sales_data['A商品'].sum(), sales_data['B商品'].sum(), sales_data['C商品'].sum()]
axes[0, 1].bar(['A商品', 'B商品', 'C商品'], total_by_product, color=['#2196F3', '#4CAF50', '#FF9800'])
axes[0, 1].set_title('商品別年間売上合計')

# 左下：ヒストグラム
axes[1, 0].hist(tips['tip'], bins=20, color='#4CAF50', edgecolor='white')
axes[1, 0].set_title('チップ額の分布')

# 右下：散布図
axes[1, 1].scatter(tips['total_bill'], tips['tip'], alpha=0.5, color='#FF9800')
axes[1, 1].set_title('合計金額 vs チップ')

plt.suptitle('データ可視化の例', fontsize=16, fontweight='bold', y=1.02)
plt.tight_layout()
plt.show()

# 相関行列のヒートマップ
fig, ax = plt.subplots(figsize=(8, 6))

corr_matrix = tips[['total_bill', 'tip', 'size']].corr()
sns.heatmap(corr_matrix, annot=True, cmap='coolwarm', center=0,
            fmt='.2f', square=True, linewidths=1, ax=ax)
ax.set_title('相関係数ヒートマップ', fontsize=14, fontweight='bold')

plt.tight_layout()
plt.show()

# irisデータでペアプロット
from sklearn.datasets import load_iris

iris = load_iris()
iris_df = pd.DataFrame(iris.data, columns=['がく片長', 'がく片幅', '花弁長', '花弁幅'])
iris_df['品種'] = pd.Categorical.from_codes(iris.target, iris.target_names)

g = sns.pairplot(iris_df, hue='品種', height=2.5, diag_kind='kde',
                 plot_kws={'alpha': 0.6, 's': 40})
g.figure.suptitle('Iris データセット ペアプロット', y=1.02, fontsize=14)
plt.show()

fig, axes = plt.subplots(1, 2, figsize=(14, 5))

# 曜日別の合計金額
sns.boxplot(data=tips, x='day', y='total_bill', palette='Set2',
            order=['Thur', 'Fri', 'Sat', 'Sun'], ax=axes[0])
axes[0].set_title('曜日別 合計金額の分布', fontsize=13, fontweight='bold')
axes[0].set_xlabel('曜日')
axes[0].set_ylabel('合計金額（ドル）')

# 性別×喫煙の組み合わせ
sns.boxplot(data=tips, x='day', y='tip', hue='sex', palette='Set1',
            order=['Thur', 'Fri', 'Sat', 'Sun'], ax=axes[1])
axes[1].set_title('曜日×性別別 チップの分布', fontsize=13, fontweight='bold')
axes[1].set_xlabel('曜日')
axes[1].set_ylabel('チップ（ドル）')

plt.tight_layout()
plt.show()

fig, axes = plt.subplots(1, 2, figsize=(14, 5))

# バイオリンプロット
sns.violinplot(data=tips, x='day', y='total_bill', palette='muted',
               order=['Thur', 'Fri', 'Sat', 'Sun'], ax=axes[0])
axes[0].set_title('曜日別 合計金額（バイオリン）', fontsize=13)

# カウントプロット
sns.countplot(data=tips, x='day', hue='time', palette='pastel',
              order=['Thur', 'Fri', 'Sat', 'Sun'], ax=axes[1])
axes[1].set_title('曜日×時間帯の件数', fontsize=13)

plt.tight_layout()
plt.show()

import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

tips = sns.load_dataset('tips')
plt.rcParams['font.family'] = 'MS Gothic'

fig, axes = plt.subplots(2, 2, figsize=(14, 10))

# 課題1: 合計金額のヒストグラム（昼食 vs 夕食で色分け）
sns.histplot(data=tips, x='total_bill', hue='time', kde=True,
             palette='Set1', alpha=0.5, ax=axes[0, 0])
axes[0, 0].set_title('時間帯別 合計金額の分布')

# 課題2: 曜日別の平均チップ額（棒グラフ）
sns.barplot(data=tips, x='day', y='tip', palette='Set2',
            order=['Thur', 'Fri', 'Sat', 'Sun'], ax=axes[0, 1])
axes[0, 1].set_title('曜日別 平均チップ額')

# 課題3: 合計金額 vs チップの散布図（喫煙者で色分け）
sns.scatterplot(data=tips, x='total_bill', y='tip', hue='smoker',
                style='smoker', palette='Set1', alpha=0.7, ax=axes[1, 0])
axes[1, 0].set_title('合計金額 vs チップ（喫煙有無）')

# 課題4: 性別×時間帯別の合計金額（箱ひげ図）
sns.boxplot(data=tips, x='sex', y='total_bill', hue='time',
            palette='pastel', ax=axes[1, 1])
axes[1, 1].set_title('性別×時間帯別 合計金額')

plt.suptitle('tipsデータセット 実践ワーク', fontsize=16, fontweight='bold')
plt.tight_layout()
plt.show()

1. データの全体像を把握する
   └ shape, info, describe, head
2. 各変数の分布を確認する
   └ ヒストグラム, value_counts, ユニーク数
3. 変数間の関係を調べる
   └ 相関行列, 散布図, groupby
4. 外れ値を検出する
   └ IQR法, 箱ひげ図
5. 仮説を立てる
   └ 発見した傾向から分析の方向性を決める

import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

plt.rcParams['font.family'] = 'MS Gothic'
plt.rcParams['axes.unicode_minus'] = False
np.random.seed(42)

# 従業員データの作成（200名分）
n = 200
departments = np.random.choice(['営業', 'エンジニア', 'マーケティング', '人事', '経理'], n, p=[0.3, 0.25, 0.2, 0.15, 0.1])
experience = np.random.randint(0, 25, n)
base_salary = 300 + experience * 20 + np.random.normal(0, 50, n)
dept_bonus = {'営業': 30, 'エンジニア': 80, 'マーケティング': 20, '人事': 0, '経理': 10}
salary = base_salary + np.array([dept_bonus[d] for d in departments])
salary = np.clip(salary, 280, 1200)

employees = pd.DataFrame({
    '社員ID': [f'EMP{i:04d}' for i in range(1, n+1)],
    '部署': departments,
    '年齢': np.clip(22 + experience + np.random.randint(-2, 3, n), 22, 65),
    '勤続年数': experience,
    '年収（万円）': np.round(salary, 0).astype(int),
    '評価スコア': np.round(np.clip(np.random.normal(3.5, 0.8, n), 1.0, 5.0), 1),
    '残業時間（月平均）': np.clip(np.random.exponential(15, n), 0, 80).astype(int),
    '離職フラグ': np.random.choice([0, 1], n, p=[0.85, 0.15])
})

print(f"データ形状: {employees.shape}")
print(employees.head(10))

# 基本情報
print("=== データ情報 ===")
print(employees.info())

print("\n=== 基本統計量 ===")
print(employees.describe())

print("\n=== 欠損値 ===")
print(employees.isnull().sum())

print("\n=== カテゴリ変数の確認 ===")
print(f"部署のユニーク値: {employees['部署'].nunique()}")
print(employees['部署'].value_counts())

numerical_cols = ['年齢', '勤続年数', '年収（万円）', '評価スコア', '残業時間（月平均）']

fig, axes = plt.subplots(2, 3, figsize=(16, 10))
axes = axes.flatten()

for i, col in enumerate(numerical_cols):
    axes[i].hist(employees[col], bins=25, color='#2196F3', edgecolor='white', alpha=0.8)
    axes[i].axvline(employees[col].mean(), color='red', linestyle='--',
                    label=f'平均: {employees[col].mean():.1f}')
    axes[i].axvline(employees[col].median(), color='green', linestyle='-.',
                    label=f'中央値: {employees[col].median():.1f}')
    axes[i].set_title(f'{col} の分布', fontsize=12)
    axes[i].legend(fontsize=9)

axes[5].set_visible(False)
plt.suptitle('数値変数の分布確認', fontsize=15, fontweight='bold')
plt.tight_layout()
plt.show()

fig, axes = plt.subplots(1, 2, figsize=(14, 5))

# 部署の分布
dept_counts = employees['部署'].value_counts()
axes[0].bar(dept_counts.index, dept_counts.values, color='#4CAF50', edgecolor='white')
axes[0].set_title('部署別人数', fontsize=13)
for i, v in enumerate(dept_counts.values):
    axes[0].text(i, v + 1, str(v), ha='center', fontweight='bold')

# 離職フラグの分布
turnover_counts = employees['離職フラグ'].value_counts()
labels = ['在籍', '離職']
axes[1].pie(turnover_counts.values, labels=labels, autopct='%1.1f%%',
            colors=['#2196F3', '#F44336'], startangle=90)
axes[1].set_title('離職率', fontsize=13)

plt.tight_layout()
plt.show()

# 部署別の集計
dept_stats = employees.groupby('部署').agg({
    '年収（万円）': ['mean', 'median', 'std'],
    '評価スコア': 'mean',
    '残業時間（月平均）': 'mean',
    '離職フラグ': 'mean'
}).round(1)
print("部署別集計:")
print(dept_stats)

# 離職者 vs 在籍者の比較
turnover_comparison = employees.groupby('離職フラグ').agg({
    '年収（万円）': 'mean',
    '評価スコア': 'mean',
    '残業時間（月平均）': 'mean',
    '勤続年数': 'mean'
}).round(1)
turnover_comparison.index = ['在籍', '離職']
print("\n離職者 vs 在籍者:")
print(turnover_comparison)

# 数値変数の相関行列
fig, ax = plt.subplots(figsize=(10, 8))

corr = employees[numerical_cols + ['離職フラグ']].corr()
mask = np.triu(np.ones_like(corr, dtype=bool))

sns.heatmap(corr, annot=True, cmap='RdBu_r', center=0, fmt='.2f',
            mask=mask, square=True, linewidths=1, ax=ax,
            vmin=-1, vmax=1)
ax.set_title('変数間の相関行列', fontsize=14, fontweight='bold')

plt.tight_layout()
plt.show()

# 強い相関の抽出
print("相関係数が0.3以上のペア:")
for i in range(len(corr.columns)):
    for j in range(i+1, len(corr.columns)):
        if abs(corr.iloc[i, j]) >= 0.3:
            print(f"  {corr.columns[i]} × {corr.columns[j]}: {corr.iloc[i, j]:.3f}")

# 部署 × 離職の関係
cross_tab = pd.crosstab(employees['部署'], employees['離職フラグ'], margins=True)
cross_tab.columns = ['在籍', '離職', '合計']
cross_tab['離職率(%)'] = (cross_tab['離職'] / cross_tab['合計'] * 100).round(1)
print("部署別離職率:")
print(cross_tab)

def detect_outliers_iqr(df, column):
    """IQR法による外れ値検出"""
    Q1 = df[column].quantile(0.25)
    Q3 = df[column].quantile(0.75)
    IQR = Q3 - Q1
    lower_bound = Q1 - 1.5 * IQR
    upper_bound = Q3 + 1.5 * IQR

    outliers = df[(df[column] < lower_bound) | (df[column] > upper_bound)]
    return outliers, lower_bound, upper_bound

# 各数値変数の外れ値を検出
print("=== 外れ値検出（IQR法） ===")
for col in numerical_cols:
    outliers, lb, ub = detect_outliers_iqr(employees, col)
    if len(outliers) > 0:
        print(f"\n{col}: {len(outliers)}件の外れ値（範囲: {lb:.1f} ~ {ub:.1f}）")

fig, axes = plt.subplots(1, 3, figsize=(15, 5))

# 部署別年収の箱ひげ図
sns.boxplot(data=employees, x='部署', y='年収（万円）', palette='Set2', ax=axes[0])
axes[0].set_title('部署別年収の分布', fontsize=12)

# 部署別残業時間
sns.boxplot(data=employees, x='部署', y='残業時間（月平均）', palette='Set3', ax=axes[1])
axes[1].set_title('部署別残業時間の分布', fontsize=12)

# 離職別評価スコア
sns.boxplot(data=employees, x='離職フラグ', y='評価スコア', palette='Set1', ax=axes[2])
axes[2].set_xticklabels(['在籍', '離職'])
axes[2].set_title('離職有無別 評価スコア', fontsize=12)

plt.tight_layout()
plt.show()

# 散布図で関係性を可視化
fig, axes = plt.subplots(1, 3, figsize=(18, 5))

# 仮説1: 残業時間が多いと離職しやすいのでは？
sns.boxplot(data=employees, x='離職フラグ', y='残業時間（月平均）', palette='Set1', ax=axes[0])
axes[0].set_xticklabels(['在籍', '離職'])
axes[0].set_title('仮説1: 残業時間 → 離職', fontsize=12)

# 仮説2: 年収が低いと離職しやすいのでは？
sns.boxplot(data=employees, x='離職フラグ', y='年収（万円）', palette='Set1', ax=axes[1])
axes[1].set_xticklabels(['在籍', '離職'])
axes[1].set_title('仮説2: 年収 → 離職', fontsize=12)

# 仮説3: 勤続年数と年収に正の相関があるのでは？
sns.scatterplot(data=employees, x='勤続年数', y='年収（万円）', hue='部署',
                alpha=0.6, ax=axes[2])
axes[2].set_title('仮説3: 勤続年数 vs 年収', fontsize=12)

plt.tight_layout()
plt.show()

# 実践用：ECサイトの購入データ
np.random.seed(123)
n = 300
ec_data = pd.DataFrame({
    '顧客ID': [f'C{i:04d}' for i in range(1, n+1)],
    '年齢': np.random.randint(18, 65, n),
    '性別': np.random.choice(['男性', '女性'], n),
    '会員ランク': np.random.choice(['一般', 'シルバー', 'ゴールド', 'プラチナ'], n, p=[0.5, 0.25, 0.15, 0.1]),
    '購入回数': np.random.poisson(5, n),
    '購入金額合計': np.random.exponential(15000, n).astype(int),
    '最終購入からの日数': np.random.exponential(30, n).astype(int),
    'クーポン使用率(%)': np.clip(np.random.normal(40, 20, n), 0, 100).round(1),
    'リピート購入': np.random.choice([0, 1], n, p=[0.4, 0.6])
})

# 課題: 以下を実施してください
# 1. describe() で全体像を把握する
print(ec_data.describe())

# 2. 会員ランク別の平均購入金額・購入回数を集計する
print(ec_data.groupby('会員ランク')[['購入金額合計', '購入回数']].mean().round(0))

# 3. 相関行列を作成し、リピート購入に関係する変数を見つける
print(ec_data.select_dtypes(include=[np.number]).corr()['リピート購入'].sort_values(ascending=False))

# 4. 外れ値を IQR法 で検出する
for col in ['購入金額合計', '購入回数', '最終購入からの日数']:
    outliers, lb, ub = detect_outliers_iqr(ec_data, col)
    print(f"{col}: 外れ値 {len(outliers)}件")

import pandas as pd
import numpy as np
from scipy import stats
import matplotlib.pyplot as plt
import seaborn as sns

plt.rcParams['font.family'] = 'MS Gothic'
plt.rcParams['axes.unicode_minus'] = False

# サンプルデータ：社員の月収（万円）
np.random.seed(42)
salaries_normal = np.random.normal(40, 8, 100)  # 正規分布に近い
salaries_skewed = np.concatenate([np.random.normal(35, 5, 90), np.random.normal(80, 10, 10)])  # 右に歪んだ分布

for name, data in [('正規分布型', salaries_normal), ('歪んだ分布', salaries_skewed)]:
    print(f"\n=== {name} ===")
    print(f"  平均:   {np.mean(data):.1f}万円")
    print(f"  中央値: {np.median(data):.1f}万円")
    print(f"  最頻値: {stats.mode(data, keepdims=True).mode[0]:.1f}万円")
    print(f"  → 平均と中央値の差: {abs(np.mean(data) - np.median(data)):.1f}万円")

# 分散と標準偏差
data = np.array([45, 38, 52, 41, 49, 35, 58, 42, 47, 43])

variance = np.var(data, ddof=1)      # 不偏分散（ddof=1）
std_dev = np.std(data, ddof=1)       # 標準偏差
data_range = np.ptp(data)            # 範囲（最大-最小）
iqr = np.percentile(data, 75) - np.percentile(data, 25)  # 四分位範囲

print(f"データ: {data}")
print(f"分散:       {variance:.2f}")
print(f"標準偏差:   {std_dev:.2f}")
print(f"範囲:       {data_range}")
print(f"四分位範囲: {iqr:.2f}")
print(f"変動係数:   {std_dev / np.mean(data) * 100:.1f}%")

from scipy.stats import norm

fig, ax = plt.subplots(figsize=(10, 5))

x = np.linspace(-4, 4, 1000)
y = norm.pdf(x, 0, 1)

ax.plot(x, y, 'b-', linewidth=2, label='標準正規分布 N(0,1)')
ax.fill_between(x, y, where=(x >= -1) & (x <= 1), alpha=0.3, color='blue', label='±1σ (68.3%)')
ax.fill_between(x, y, where=((x >= -2) & (x < -1)) | ((x > 1) & (x <= 2)), alpha=0.2, color='green', label='±2σ (95.4%)')
ax.fill_between(x, y, where=((x >= -3) & (x < -2)) | ((x > 2) & (x <= 3)), alpha=0.1, color='red', label='±3σ (99.7%)')

ax.set_title('正規分布と標準偏差の関係', fontsize=14, fontweight='bold')
ax.set_xlabel('標準偏差（σ）', fontsize=12)
ax.set_ylabel('確率密度', fontsize=12)
ax.legend(fontsize=11)
ax.grid(True, alpha=0.3)

plt.tight_layout()
plt.show()

# 正規分布に従うかの確認（シャピロ・ウィルク検定）
stat, p_value = stats.shapiro(salaries_normal)
print(f"正規分布型データ: 統計量={stat:.4f}, p値={p_value:.4f} → {'正規分布に従う' if p_value > 0.05 else '正規分布ではない'}")

stat, p_value = stats.shapiro(salaries_skewed)
print(f"歪んだデータ:     統計量={stat:.4f}, p値={p_value:.4f} → {'正規分布に従う' if p_value > 0.05 else '正規分布ではない'}")

# サンプルデータ
np.random.seed(42)
n = 100
study_hours = np.random.uniform(1, 10, n)
test_score = 30 + 6 * study_hours + np.random.normal(0, 8, n)

# 相関係数の計算
r, p_value = stats.pearsonr(study_hours, test_score)
print(f"ピアソン相関係数: r = {r:.3f}")
print(f"p値: {p_value:.2e}")
print(f"解釈: {'統計的に有意' if p_value < 0.05 else '有意でない'}")

# 可視化
fig, ax = plt.subplots(figsize=(8, 6))
ax.scatter(study_hours, test_score, alpha=0.5, color='#2196F3')

# 回帰直線を追加
z = np.polyfit(study_hours, test_score, 1)
p = np.poly1d(z)
x_line = np.linspace(study_hours.min(), study_hours.max(), 100)
ax.plot(x_line, p(x_line), 'r--', linewidth=2, label=f'回帰直線 (r={r:.3f})')

ax.set_title('学習時間 vs テストスコア', fontsize=14, fontweight='bold')
ax.set_xlabel('学習時間（時間）', fontsize=12)
ax.set_ylabel('テストスコア（点）', fontsize=12)
ax.legend(fontsize=11)
ax.grid(True, alpha=0.3)

plt.tight_layout()
plt.show()

# 非線形な関係のあるデータ
x_nonlinear = np.random.uniform(0, 5, 100)
y_nonlinear = x_nonlinear ** 2 + np.random.normal(0, 2, 100)

r_pearson, _ = stats.pearsonr(x_nonlinear, y_nonlinear)
r_spearman, _ = stats.spearmanr(x_nonlinear, y_nonlinear)

print(f"ピアソン相関係数:   r = {r_pearson:.3f}（線形関係のみ検出）")
print(f"スピアマン相関係数: r = {r_spearman:.3f}（単調な関係も検出）")

1. 帰無仮説（H₀）と対立仮説（H₁）を設定する
2. 有意水準（α）を決める（通常 0.05）
3. 検定統計量を計算する
4. p値を求める
5. p値 < α なら帰無仮説を棄却 → 統計的に有意

# 2つのグループの比較：新旧教材の効果
np.random.seed(42)
old_method = np.random.normal(65, 12, 50)  # 旧教材の成績
new_method = np.random.normal(72, 10, 50)  # 新教材の成績

# 対応のないt検定（独立2標本）
t_stat, p_value = stats.ttest_ind(old_method, new_method)

print("=== t検定結果 ===")
print(f"旧教材: 平均={old_method.mean():.1f}, 標準偏差={old_method.std():.1f}")
print(f"新教材: 平均={new_method.mean():.1f}, 標準偏差={new_method.std():.1f}")
print(f"t統計量: {t_stat:.3f}")
print(f"p値: {p_value:.4f}")
print(f"結論: {'有意な差がある（H₀棄却）' if p_value < 0.05 else '有意な差がない（H₀採用）'}")

# 可視化
fig, ax = plt.subplots(figsize=(8, 5))
ax.hist(old_method, bins=15, alpha=0.5, color='#F44336', label=f'旧教材 (μ={old_method.mean():.1f})')
ax.hist(new_method, bins=15, alpha=0.5, color='#2196F3', label=f'新教材 (μ={new_method.mean():.1f})')
ax.set_title(f't検定: p={p_value:.4f}', fontsize=14, fontweight='bold')
ax.set_xlabel('テストスコア', fontsize=12)
ax.set_ylabel('頻度', fontsize=12)
ax.legend(fontsize=11)

plt.tight_layout()
plt.show()

# 性別と商品カテゴリの関係を検定
observed = pd.DataFrame({
    '食品': [120, 90],
    '家電': [80, 110],
    '衣類': [100, 100]
}, index=['男性', '女性'])

chi2, p_value, dof, expected = stats.chi2_contingency(observed)

print("=== カイ二乗検定 ===")
print("観測度数:")
print(observed)
print(f"\n期待度数:")
print(pd.DataFrame(expected, columns=observed.columns, index=observed.index).round(1))
print(f"\nカイ二乗統計量: {chi2:.3f}")
print(f"自由度: {dof}")
print(f"p値: {p_value:.4f}")
print(f"結論: {'性別と商品カテゴリに関連あり' if p_value < 0.05 else '関連なし'}")

# 実践：A/Bテストの分析
np.random.seed(99)

# ECサイトのA/Bテストデータ
group_a = np.random.normal(3200, 800, 200)   # 既存デザイン：購入金額
group_b = np.random.normal(3500, 900, 200)   # 新デザイン：購入金額

# 課題1: 両グループの記述統計を計算
print("=== 課題1: 記述統計 ===")
for name, data in [('グループA（既存）', group_a), ('グループB（新規）', group_b)]:
    print(f"{name}: 平均={data.mean():.0f}, 中央値={np.median(data):.0f}, 標準偏差={data.std():.0f}")

# 課題2: t検定で有意差を確認
t_stat, p_value = stats.ttest_ind(group_a, group_b)
print(f"\n=== 課題2: t検定 ===")
print(f"t統計量={t_stat:.3f}, p値={p_value:.4f}")
print(f"結論: {'新デザインに有意な効果あり' if p_value < 0.05 else '有意な差なし'}")

# 課題3: 効果量（Cohen's d）を計算
pooled_std = np.sqrt((group_a.std()**2 + group_b.std()**2) / 2)
cohens_d = (group_b.mean() - group_a.mean()) / pooled_std
print(f"\n=== 課題3: 効果量 ===")
print(f"Cohen's d = {cohens_d:.3f}")
print(f"効果の大きさ: {'小' if abs(cohens_d) < 0.5 else '中' if abs(cohens_d) < 0.8 else '大'}")

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.datasets import load_iris, make_regression
from sklearn.model_selection import train_test_split, cross_val_score
from sklearn.linear_model import LinearRegression
from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import accuracy_score, mean_squared_error

plt.rcParams['font.family'] = 'MS Gothic'
plt.rcParams['axes.unicode_minus'] = False

1. データの準備
   └ 特徴量（X）と目的変数（y）に分ける
2. データの分割
   └ 訓練データ（70-80%）とテストデータ（20-30%）
3. モデルの学習
   └ 訓練データでモデルを構築（fit）
4. 予測
   └ テストデータで予測（predict）
5. 評価
   └ 予測と正解を比較して性能を測る

# 教師あり学習の基本フロー（回帰の例）
X, y = make_regression(n_samples=200, n_features=1, noise=20, random_state=42)

# 1. データの分割
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)
print(f"訓練データ: {X_train.shape[0]}件")
print(f"テストデータ: {X_test.shape[0]}件")

# 2. モデルの学習
model = LinearRegression()
model.fit(X_train, y_train)  # 訓練データで学習

# 3. 予測
y_pred = model.predict(X_test)  # テストデータで予測

# 4. 評価
mse = mean_squared_error(y_test, y_pred)
print(f"平均二乗誤差（MSE）: {mse:.2f}")
print(f"二乗平均平方根誤差（RMSE）: {np.sqrt(mse):.2f}")

# 可視化
fig, ax = plt.subplots(figsize=(8, 6))
ax.scatter(X_test, y_test, alpha=0.6, color='#2196F3', label='実際の値')
ax.scatter(X_test, y_pred, alpha=0.6, color='#F44336', marker='x', label='予測値')

# 回帰直線
x_line = np.linspace(X.min(), X.max(), 100).reshape(-1, 1)
ax.plot(x_line, model.predict(x_line), 'g--', linewidth=2, label='回帰直線')

ax.set_title('線形回帰の予測結果', fontsize=14, fontweight='bold')
ax.set_xlabel('特徴量 X', fontsize=12)
ax.set_ylabel('目的変数 y', fontsize=12)
ax.legend(fontsize=11)
ax.grid(True, alpha=0.3)

plt.tight_layout()
plt.show()

from sklearn.datasets import load_iris
from sklearn.tree import DecisionTreeClassifier

# Irisデータの準備
iris = load_iris()
X, y = iris.data, iris.target

# 分割なし（悪い例）
model_bad = DecisionTreeClassifier(random_state=42)
model_bad.fit(X, y)
score_train_only = accuracy_score(y, model_bad.predict(X))
print(f"訓練データで評価（分割なし）: {score_train_only:.3f}")  # 過度に高い

# 適切な分割
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)
model_good = DecisionTreeClassifier(random_state=42)
model_good.fit(X_train, y_train)
score_train = accuracy_score(y_train, model_good.predict(X_train))
score_test = accuracy_score(y_test, model_good.predict(X_test))
print(f"訓練データでの正解率: {score_train:.3f}")
print(f"テストデータでの正解率: {score_test:.3f}")

# 層化抽出（分類でクラスの比率を保つ）
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.3, random_state=42, stratify=y
)

# クラス比率の確認
print("全データのクラス比率:", np.bincount(y) / len(y))
print("訓練データのクラス比率:", np.bincount(y_train) / len(y_train))
print("テストデータのクラス比率:", np.bincount(y_test) / len(y_test))

from sklearn.preprocessing import PolynomialFeatures
from sklearn.pipeline import make_pipeline

# 非線形なデータを生成
np.random.seed(42)
X_demo = np.sort(np.random.uniform(0, 1, 30)).reshape(-1, 1)
y_demo = np.sin(2 * np.pi * X_demo).ravel() + np.random.normal(0, 0.2, 30)

fig, axes = plt.subplots(1, 3, figsize=(18, 5))
x_plot = np.linspace(0, 1, 100).reshape(-1, 1)

degrees = [1, 4, 15]
titles = ['未学習（degree=1）', '適切（degree=4）', '過学習（degree=15）']

for ax, degree, title in zip(axes, degrees, titles):
    model = make_pipeline(PolynomialFeatures(degree), LinearRegression())
    model.fit(X_demo, y_demo)
    y_plot = model.predict(x_plot)

    ax.scatter(X_demo, y_demo, color='#2196F3', alpha=0.7, label='データ')
    ax.plot(x_plot, y_plot, 'r-', linewidth=2, label=f'モデル (degree={degree})')
    ax.plot(x_plot, np.sin(2 * np.pi * x_plot), 'g--', alpha=0.5, label='真の関数')
    ax.set_title(title, fontsize=13, fontweight='bold')
    ax.set_ylim(-2, 2)
    ax.legend(fontsize=9)
    ax.grid(True, alpha=0.3)

plt.suptitle('未学習 vs 適切 vs 過学習', fontsize=15, fontweight='bold')
plt.tight_layout()
plt.show()