どちらも準最適解
ディープラーニングの学習では、
大域最適解と
局所最適解の性能差が小さい場合がよくあり、わずかに性能を高めるためのコスト(膨大な計算や複雑なアルゴリズム)が見合わないことがあります。人生でも同様に、A案とB案のどちらが良いか議論していても、実はどちらを選んでも大差がないケースがあります。
そうした「
準最適」がいくつも存在する場面では、コストやリスクを払って“究極の最適”を求めるより、現状の
十分良い選択肢を採用したほうが実利が大きいかもしれません。大局的に見て差がわずかなら、そこそこ満足できる選択をとって、余力をより重要なことに振り向けるのも賢明な判断といえます。