選択の効果
たとえ学歴と能力に相関があったとしても、能力の高い人だけを取り出した集団の中では学歴と能力が無相関になりえる
母集団全体では、偏差値と能力には正の相関がある。
能力の高い人だけを選抜した集団では、偏差値と能力の相関はほとんどみられなくなる。
一方、偏差値の高い人だけを選抜した集団では、母集団と同様に偏差値と能力に正の相関がみられる。
ただし、偏差値による選抜は、独立変数（偏差値）の分散を小さくし、推定値の標準誤差を大きくする問題がある。
pyimport numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns
import statsmodels.formula.api as smf
# シミュレーションのセッティング
np.random.seed(1)
N = 100000
ability_mean, ability_std = 0, 1
hensachi_mean, hensachi_std = 50, 10
corr = 0.3
# 多変量正規分布からのサンプリング
cov = [[ability_std**2, corr*ability_std*hensachi_std],
[corr*ability_std*hensachi_std, hensachi_std**2]]
ability, hensachi = np.random.multivariate_normal([ability_mean, hensachi_mean], cov, N).T
# データフレームの作成
df = pd.DataFrame({'ability': ability, 'hensachi': hensachi})
# 散布図の作成
plt.figure(figsize=(6, 6))
sns.scatterplot(x='hensachi', y='ability', data=df, alpha=0.5)
plt.xlabel('偏差値')
plt.ylabel('能力')
plt.show()
# 能力によるセレクション
ability_threshold = 2
df['ability_selected'] = df['ability'] >= ability_threshold
plt.figure(figsize=(6, 6))
sns.scatterplot(x='hensachi', y='ability', data=df, hue='ability_selected', alpha=0.5)
plt.xlabel('偏差値')
plt.ylabel('能力')
plt.show()
# 偏差値によるセレクション
hensachi_threshold = 70
df['hensachi_selected'] = df['hensachi'] >= hensachi_threshold
plt.figure(figsize=(6, 6))
sns.scatterplot(x='hensachi', y='ability', data=df, hue='hensachi_selected', alpha=0.5)
plt.xlabel('偏差値')
plt.ylabel('能力')
plt.show()
# 回帰分析
model_all = smf.ols('ability ~ hensachi', data=df).fit()
model_ability = smf.ols('ability ~ hensachi', data=df[df['ability_selected']]).fit()
model_hensachi = smf.ols('ability ~ hensachi', data=df[df['hensachi_selected']]).fit()
print(model_all.summary())
print(model_ability.summary())
print(model_hensachi.summary())
: OLS Regression Results
==============================================================================
Dep. Variable: ability R-squared: 0.090
Model: OLS Adj. R-squared: 0.090
Method: Least Squares F-statistic: 9896.
Date: Wed, 29 May 2024 Prob (F-statistic): 0.00
Time: 17:04:08 Log-Likelihood: -1.3664e+05
No. Observations: 100000 AIC: 2.733e+05
Df Residuals: 99998 BIC: 2.733e+05
Df Model: 1
Covariance Type: nonrobust
==============================================================================
coef std err t P>|t| [0.025 0.975]
------------------------------------------------------------------------------
Intercept -1.4885 0.015 -97.242 0.000 -1.519 -1.459
hensachi 0.0298 0.000 99.481 0.000 0.029 0.030
==============================================================================
Omnibus: 2.020 Durbin-Watson: 2.001
Prob(Omnibus): 0.364 Jarque-Bera (JB): 2.011
Skew: 0.011 Prob(JB): 0.366
Kurtosis: 3.006 Cond. No. 261.
==============================================================================
Notes:
[1] Standard Errors assume that the covariance matrix of the errors is correctly specified.
: OLS Regression Results
==============================================================================
Dep. Variable: ability R-squared: 0.021
Model: OLS Adj. R-squared: 0.020
Method: Least Squares F-statistic: 48.42
Date: Wed, 29 May 2024 Prob (F-statistic): 4.48e-12
Time: 17:04:08 Log-Likelihood: -761.44
No. Observations: 2282 AIC: 1527.
Df Residuals: 2280 BIC: 1538.
Df Model: 1
Covariance Type: nonrobust
==============================================================================
coef std err t P>|t| [0.025 0.975]
------------------------------------------------------------------------------
Intercept 2.0831 0.042 49.665 0.000 2.001 2.165
hensachi 0.0050 0.001 6.958 0.000 0.004 0.006
==============================================================================
Omnibus: 659.594 Durbin-Watson: 2.020
Prob(Omnibus): 0.000 Jarque-Bera (JB): 1778.136
Skew: 1.527 Prob(JB): 0.00
Kurtosis: 6.062 Cond. No. 344.
==============================================================================
Notes:
[1] Standard Errors assume that the covariance matrix of the errors is correctly specified.
: OLS Regression Results
==============================================================================
Dep. Variable: ability R-squared: 0.010
Model: OLS Adj. R-squared: 0.009
Method: Least Squares F-statistic: 22.32
Date: Wed, 29 May 2024 Prob (F-statistic): 2.44e-06
Time: 17:04:08 Log-Likelihood: -3223.3
No. Observations: 2301 AIC: 6451.
Df Residuals: 2299 BIC: 6462.
Df Model: 1
Covariance Type: nonrobust
==============================================================================
coef std err t P>|t| [0.025 0.975]
------------------------------------------------------------------------------
Intercept -1.3937 0.441 -3.157 0.002 -2.259 -0.528
hensachi 0.0282 0.006 4.725 0.000 0.017 0.040
==============================================================================
Omnibus: 1.860 Durbin-Watson: 1.924
Prob(Omnibus): 0.395 Jarque-Bera (JB): 1.804
Skew: 0.067 Prob(JB): 0.406
Kurtosis: 3.030 Cond. No. 1.59e+03
==============================================================================
Notes:
[1] Standard Errors assume that the covariance matrix of the errors is correctly specified.
[2] The condition number is large, 1.59e+03. This might indicate that there are
strong multicollinearity or other numerical problems.全体のサンプルを使った分析 (N=100,000)
偏差値(hensachi)と能力(ability)の間には正の関係がみられる。
偏差値が1上がると、能力は約0.03ポイント高くなる。
モデルの説明力 (R-squared) は0.090で、それほど高くない。
能力が高い (ability≧2) サンプルのみを使った分析 (N=2,282)
偏差値と能力の関係は全体サンプルに比べて弱くなっている。
偏差値が1上がると、能力は約0.005ポイントしか高くならない。
モデルの説明力は0.021とかなり低い。
偏差値が高い (hensachi≧70) サンプルのみを使った分析 (N=2,301)
偏差値と能力の関係は、全体サンプルとほぼ同じ程度である。
偏差値が1上がると、能力は約0.028ポイント高くなる。
ただし、モデルの説明力は0.010と非常に低い。
これらの結果から、以下のようなことが示唆されます。
能力の高い人々だけを集めたサンプルでは、偏差値と能力の関係がほとんどみられなくなる（セレクションバイアスの影響）。
一方、偏差値の高い人々だけを集めたサンプルでは、全体サンプルと同様の関係が維持される。
ただし、偏差値によるセレクションは、サンプルサイズを小さくし、偏差値のばらつきを小さくするため、モデルの説明力を低下させる。
つまり、特定の属性によってセレクションされたサンプルを使った分析では、母集団全体の関係性を正しく捉えられない可能性があります。特に、分析の対象となる変数（ここでは能力）によるセレクションが行われている場合、その影響は大きいといえます。
Related Pages
- →落合_陽一×ワークアズライフ×パラレルキャリア×垂直統合×規模の経済×ネットワーク効果×水平統合×プラットフォーマー戦略×ホワイトカラー×カースト制×士農工商×批評家×画一的×基準×複雑×トキメキ×絶望×「欧米」という概念×欧米×高度経済成長×落合陽一の3つの再興戦略×欧米とは何か×「欧米」というユートピア×ユートピア×公平にこだわり、平等にこだわらない日本人×公平×平等×「西洋的な個人」の時代不適合性×西洋的な個人×「ワークライフバランス」から「ワークアズライフ」へ×ワークライフバランス×「わかりやすさ」の対極にある東洋思想×わかりやすさ×東洋思想×日本というブロックチェーン的な国家×ブロックチェーン×日本型イノベーション×2000年に日本が変われなかった理由×平成という破壊の時代を超えて×平成×日本とは何か×日本×日本の統治構造×統治構造×イノベーティブな日本の宗教×日本にはカーストが向いている×カースト×百姓という「多動力」×百姓×多動力×中流マスメディアの罪×マスメディア×日本は超拝金主義×拝金主義×日本を蝕むトレンディードラマ的世界観×トレンディードラマ×「ものづくり」へのリスペクトを回復せよ×ものづくり×テクノロジーは世界をどう変えるか×コンビニに行かなくなる日×エジソンとフォードが20世紀をつくった×エジソン×フォード×「人工知能と呼ばれているもの」の本質×最適化×統計×創発×人工知能×近代とは何か×近代×自動翻訳×日本のサービスが世界で売れる×自動運転タクシー×東洋のイメージをブランディングする×テレプレゼンス×自動運転車がつながる×3次元のリアルタイム中継×触覚伝達×「デジタルネイチャー」とは何か×デジタルネイチャー×人と機械が融合する自然×テクノロジー恐怖症×日本再興のグランドデザイン×人口減少・高齢化がチャンスである3つの理由×人口減少×高齢化×ゲートのない世界へ×アジアにロボットを売りたい放題×機械と人間の融合×日本は機械親和性が高い×機械親和性×ブロックチェーンと日本再興×日本はトークンエコノミー先進国×トークンエコノミー×地方自治体によるicoの可能性×ico×icoは新しい「国の形」をつくる戦略×シリコンバレーによる搾取の終わり×シリコンバレー×世界_vs_カリフォルニア帝国×カリフォルニア帝国×ビットコインの未来を占う「3つの問い」×ビットコイン×人類史上稀有なチャンス×政治×国防×外交×民主主義×リーダー×機械化自衛軍×インド･中国･北朝鮮×揺らぐ民主主義×民主主義をアップデート×リーダー2.0×次の10年に向けて×新しい日本で必要な2つの能力×幼稚園には行かなくてもいい×小学校でするべきこと×センター試験をやめよ×大学生には、研究をさせよ×mbaよりもアート×mba×アート×英語力よりも日本語力×英語力×日本語力×会社・仕事・コミュニティ×「ワークアズライフ」の時代×恐竜型企業と哺乳類型企業×恐竜型企業×哺乳類型企業×兼業解禁と解雇緩和をセットにせよ×兼業解禁×解雇緩和×士農工商を復活させよ×「ホワイトカラーおじさん」の生かし方×フランスの男女平等を真似するな×男女平等×年功序列との決別×年功序列×「近代的人間」からの卒業×近代的人間×「自分探し」より「自分ができること」から始める×自分探し×自分ができること×モチベーション格差の時代×モチベーション格差×日本再興は教育から始まる×僕が筑波大学を辞めて大学に再就職した理由×僕が学生に投資をする理由×僕がポジションを取る理由→
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]