Please provide an offload_folder
model = AutoModelForCausalLM.from_pretrained(MODEL_NAME, device_map='auto') >ValueError: The currentdevice_maphad weights offloaded to the disk. Please provide anoffload_folderfor them. Alternatively, make sure you havesafetensorsinstalled if the model you are using offers the weights in this format.
「Please provide an offload_folder」(offload_folderを指定してください)と書いてあるが「さっきは問題なく動いたのに試行錯誤してるうちに動かなくなったなぁ」の場合はその処置は適切ではない、という罠がある。
これは「GPUもメモリも足りないからディスクを使って遅いけど無理やり動かすね！」という状態。
>The current device_map had weights offloaded to the disk. なのにオフロード先が指定されていないので「ファイルはどこに置いたらいい？」と聞かれている
autoのdevice_mapによってユーザの意図に反した状態になっている
一度offload_folderの指定なしに動いてる場合、だいたいGPUメモリは足りていてoffloadの必要はないはず
なので「色々いじってる間に過去にロードしたモデルが消えずに残ってメモリを圧迫している状態」になっているのが問題の根本原因
その場合の手軽な処置は「ランタイムを再起動」になる。
このエラーが発生する前にサイレントにメモリへのオフロードが起きている
Counter(model.hf_device_map.values()) が本来 Counter({0: 28, 'cpu': 15}) なのに Counter({'cpu': 41, 0: 2}) になってたりする。これは気づきにくい。僕も昨日までは気付いてなくて、
hf_device_map を教えてもらって色々観察してようやく理解したこのケースだとGPUにゴミが残ったまま、モデルのロードのタイミングでギリギリまでGPUに詰め込んでるので、その後の処理で入力のトークンが多かったりしたときに
model.generate で OutOfMemoryError: CUDA out of memory. になったりするこれも良くハマる人がいる
途中まで動いて死ぬのでかなり時間の無駄
今回参加していた松尾研LLMサマースクールのコンペではテストデータの100番以降に大きな入力があるので、そこまで走って死ぬ人を見かけた
運よく最後まで動いたとしても時間は無駄にかかる
PythonにはGCがあるのになぜこれが起きるか
model = AutoModelForCausalLM.from_pretrained(MODEL_NAME, device_map='auto') のケースではまず右辺のオブジェクトが生成される
その後で新しいオブジェクトが名前に代入される
その古いオブジェクトへの参照が無効になるタイミングでGCが走る
なので右辺のオブジェクト生成時に「リソースの状況を見てオートでリソース配分を決める」という設定は、GCで古いものが解放される前に現状のメモリ消費量を見てディスクへのオフロードを決めてしまう
なおPythonの側でGCしてもCUDAの側でキャッシュが残ったりすることもあるようで、諸々めんどくさいのでランタイムを再起動するのが一番手軽
今これを試してる
pymodel = None
tokenizer = None
torch.cuda.empty_cache()
tokenizer = AutoTokenizer.from_pretrained(MODEL_NAME, use_fast=False)
model = AutoModelForCausalLM.from_pretrained(MODEL_NAME, device_map='auto')Related Pages
- →eniac×フォン・ノイマン型コンピュータ×prolog×論理プログラミング×hindley-milner型システム×単一化×coq×形式証明×alloy×sat×モデル検査×satソルバー×LLM×大規模言語モデル→
- →LLM×進化×互換性×言語処理系×リファクタリング前にテストケース×機械的検証可能kpi×わかりやすいニーズ×境目×変化する部品としての人間×人間の学習能力×学習しない人間×人間の可変性×ピア生産×オンデマンド生産×ダイバーシティ生産×scrapboxを活用した英語チャットボットの可能性×dspy×レッドオーシャン×プロンプトは機械語×狩野モデル×高速道路を抜けると渋滞×c言語×guiというvr→
- →中の理解×外の理解×共同の理解×脳の中だけの理解×脳の外で構造を発見していくkj法×共同編集×共同編集のwikiであるscrapbox×興味関心の軌跡×散らばった努力×キャンプファイヤー×求心力のある中心が必要？×LLM×小さなフレーズのきっかけで大きな文章が生成されるマシン×協力の深さと広さのトレードオフ×理解は単に個人が独力で生み出すものではなく、多様な形の協力を通じて人々が共同で生み出すもの×多様性を力に変えるplurality→
- →個人に閉じない×repl×google_colab×この10年のプログラミング言語の変化×Google Colaboratory×対話的実行×実行可能なドキュメント×文芸的プログラミングで書かれたコード→
- →LLM×機械翻訳×知的生産×ボトルネック×ネイティブ言語×アウトプット効率×あるボトルネックが解消されると別のボトルネックが発生する×エンジニアの知的生産術×日本語話者×読者が日本語話者ではない可能性×言葉の生産効率→
- →LLM×hallucination×good-turing推定×calibrated_language_models_must_hallucinate×一度しか経験してないことに意味を見出してしまう×ホモサピエンス×キャリブレーション×人間のバグ→
- →日記2023-10-20×LLM×plurality×world_id×大勢の主観×ユージン・ジェンドリン×川喜田二郎×人々のまだ言語化されていないinner_experiencesからtherapeutic_usesによってinsightやdissenting_viewをもたらす、それはよりresponsive_governanceに近づく→
- →週記2023-09-30~2023-10-09×松尾研LLMサマースクールのコンペ×筑波山登山10/2×未踏社団×tonemaker2023-10-03×llmによる知的生産性向上勉強会×plurality_tokyo_salon_2023-10-06×pluralitybook×オープンソースと研究公開の交換様式についての考察×dr._stretch→
- →週記2023-09-16~2023-09-30×松尾研サマースクール2023大規模言語モデル×横断ベクトル検索実験メモ2023-09-20×scrapboxを活用した思考とコミュニケーションの再構築×熊野古道→名工大2023-09-24~28×熊野古道2023→
- →松尾研LLMサマースクールのコンペ×omoikane_embed×pluralitybook×日記2023-10-07×日記2023-10-09×日記2023-06-30×日記2022-10-08→
- →松尾研LLMサマースクールのコンペ×dr._stretch×骨盤後傾×骨盤を立てる×右膝の痛み×左足が歪んでいる×日記2023-10-06×日記2023-10-08×日記2023-06-29×日記2022-10-07→
- →dpr×bm25×ベクトル検索×dense_passage_retriever×retriever-reader×fusion_in_decoder×リランク×pksha×LLM×ai王×クイズai→
- →熊野古道2023×松尾研サマースクール2023大規模言語モデル×登山による右膝の痛み×思考を書き出すツールの選択×顧客なのか商品なのか×イベントからの情報の処理×小判地蔵×日記2023-09-27×日記2023-09-29×日記2023-06-20×日記2022-09-28→
- →柔らかな正しさ:_llmと共に考える×マインドフルネスは瞑想を必要としない×神託を読みとく能力×マインドフルネス×予期せずヒットしたものを読む×横断ベクトル検索実験メモ2023-09-20×世界観の食い違い×松尾研サマースクール2023大規模言語モデル×aiによる英語化の考察×azure_cognitive_search×日記2023-09-19×日記2023-09-21×日記2023-06-12×日記2022-09-20→
- →aiによる英語化の考察×熊野古道→名工大2023-09-24~28×松尾研サマースクール2023大規模言語モデル×知識の獲得：共同注意の重要性×scrapboxユーザの要約能力を強化する×polis解説動画×蔵書横断ベクトル検索×書籍をscrapboxに入れる話×個別のループと集約したループ×azure_cognitive_search×fine-tuning×日記2023-09-18×日記2023-09-20×日記2023-06-11×日記2022-09-19→
- →bmot×平時のマネジメント×産業共和制×共通言語×企業は過度の抽象化×緊急時のリーダーシップ×平時のリーダーシップ×生き残る×定量的kpi×認知能力×情報の伝達×ティール組織×ひとかたまり×知識資本×インターコネクト×追いつけ追い越せ×よいものをより安く×量産効果×軸が絞られている状況×軸が絞られてない状況×plurality×地球規模の熟議×LLM×通訳→
- →plurality×polis×サイボウズラボ勉強会×階層組織×llmがもたらす組織構造の変化×ダンバー数×国民ラジオ×松下幸之助×サイロ化×LLM×audrey_tang×ブロードリスニング×人間の増強×知識社会は上司と部下の社会ではない×階層的な組織よりも水平的な組織の方が容易になる×統治構造×選挙は4年に一度5bit送信する遅い通信だ×vtaiwan×チームワークあふれる社会を創る×技術は中立×善用×悪用×パノプティコン×監視×社会信用システム×フェイクニュース×画像認識×雨傘運動×シンギュラリティ×broad_listening×decentralized_id×quadratic_funding×retroactive_funding×ソーシャルインパクトボンド×quadratic_voting×decentralized_identifiers×gitcoin_passport×worldcoin×web3はオワコン×終わったように見えるのは流行の上振れしか見えてないから×共感×異文化理解力×意思決定×合意形成×空気が支配する日本ではブロードリスニングが重要×human_augmentation×when_we_hear_“the_singularity_is_near”,_let_us_remember:_the_plurality_is_here×roulette_wheel_selection×t-sne×polis:_scaling_deliberation_by_mapping_high_dimensional_opinion_spaces×polis勉強会×都市国家×デジタルネイティブは4年に1度のアップロード帯域で十分とは思わない×紙と箱による民主主義×デジタル投票×アジェンダ設定の権限を人々に開放する×シルバー民主主義×一人一票×論点のブレインストーミング→
- →LLM×まだ書かれていないもの×まだ言語化されてない×(6.2.5)_まだ言葉になっていないもの×知識の応用×応用×すりあわせ×書籍は既に抽象化産物×u曲線モデル×performing×大部分のシステムには不十分なドキュメントしかない×高速道路×すでに書かれていること×最前線×森のたとえ×thinking_at_the_edgeのエッジ×社会実装→
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]