NISHIO Hirokazu
[Translate]
Subword Regularization
Subword Regularization: Improving Neural Network Translation Models with Multiple Subword Candidates
https://arxiv.org/pdf/1804.10959.pdf
Byte-Pair-Encoding
(
BPE
)
Unigram language model
SentencePiece
Tweet
Related Pages
SentencePiece
→
ai_buncho
×
gpt
×
SentencePiece
×
chatgpt
×
知識
×
労力
×
ハードル
×
資金力
→
知識と労力のハードルが金のハードルに変わる
→
出現集中
×
ポアソン分布
×
df
×
idf
×
tf-idf
×
この文書を代表するキーワードらしさ
×
単語分割
×
SentencePiece
×
SentencePieceのユニグラム言語モデル
×
viterbiアルゴリズム
×
suffix_array
×
キーワード抽出
×
接尾辞配列
→
未踏テキスト情報中のキーワードの抽出システム開発
→
自然言語処理
×
ginza
×
juman++
×
kytea
×
mecab
×
SentencePiece
×
sudachipy
×
nagisa
×
janome
→
最先端自然言語処理ライブラリの最適な選択と有用な利用方法 / pycon-jp-2020 - Speaker Deck
→
キーフレーズ抽出
×
kytea
×
極大部分文字列
×
SentencePiece
×
textrank
×
フレーズベースtf-idf
×
liblinear
×
active_learning
×
ページ単位df
×
positionrank
×
scrapbox統計2019-2
×
フレーズベースtf-idf:_名詞句解析の応用
×
大きすぎるリンクの問題
×
参加者の多いリンクに参加するのは有益ではない
×
遠くとつながるリンク
×
自動ブラケティング
×
文書が階層的
×
bitapアルゴリズム
→
キーフレーズ抽出2019-04-02
→
bert
×
bpe
×
クックパッド+BERT
×
SentencePiece
→
日本語BERT
→
SentencePiece
×
サブワード正則化
×
工藤_拓
→
SentencePieceのユニグラム言語モデル
→
bert
×
SentencePiece
×
google_bertのtokenizerで濁音が取れる理由
→
クックパッド+BERT
"
Engineer's way of creating knowledge
" the English version of my book is now available on
[Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from
[Scrapbox]
at
11/23/2025, 3:47:31 PM
[Edit]