クックパッド+BERT
クックパッドが社内データでBERTを自前学習した経験談
>BERT の multilingual モデルは日本語の扱いには適さないので SentencePiece を使う
> pre-training にはクックパッドの調理手順のテキスト（約1600万文）を使用
> 学習は p3.2xlarge インスタンスで 3.5 日程度学習
p3.2xlargeは3USD/hourなので2.5万ぐらい
Related Pages
- →出現集中×ポアソン分布×df×idf×tf-idf×この文書を代表するキーワードらしさ×単語分割×SentencePiece×SentencePieceのユニグラム言語モデル×viterbiアルゴリズム×suffix_array×キーワード抽出×接尾辞配列→
- →キーフレーズ抽出×kytea×極大部分文字列×SentencePiece×textrank×フレーズベースtf-idf×liblinear×active_learning×ページ単位df×positionrank×scrapbox統計2019-2×フレーズベースtf-idf:_名詞句解析の応用×大きすぎるリンクの問題×参加者の多いリンクに参加するのは有益ではない×遠くとつながるリンク×自動ブラケティング×文書が階層的×bitapアルゴリズム→
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]