行継続判定
PDFをテキスト化したものは、行ごとに分かれている
文の途中でも改行されているので、自然言語処理をする前に結合しなければならない
しかし100%繋いで良いわけではない
見出し
箇条書き
図キャプション
コード
脚注
数式
URL
数式・コード・URLなどは異質なので取り除きたい
直接繋いではいけないものと、繋いでもいいもの
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]