時間のかかる原因を二分探索
Wikipediaのタグを正規表現で取り除くコードを書いていたのだが、一部のページに関してやたら時間が掛かる。
一体入力のどの部分が問題なのか？1ページ全体の中から人間がこれを探すのは手間なので自動化したい。
適当なタイムアウト時間を定めて「関数がタイムアウトするかどうか」で二分探索をする。
タイムアウトするかどうかの判定にはmultiprocessingを使えば良い。
pythondef binarySearchBadInput(s):
import multiprocessing
left = 0
right = len(s)
while left + 1 < right:
print(left, right)
mid = (left + right) // 2
p = multiprocessing.Process(target=cleanWikiTag, args=(s[mid:], ))
p.start()
p.join(1)
if p.is_alive():
left = mid
else:
right = mid
return s[left:]
print(binarySearchBadInput(getOnePage(2764)["text"])[:100])出力例
:0 14161
0 7080
0 3540
0 1770
0 885
442 885
...
878 881
879 881
<!--- 標高(<ref>) ---> ...なるほど…、
<!-- ... --> を <ref>...</ref> より先に処理する必要があるのか…Related Pages
- →掘り下げ×今持っている知識の一歩先の知識しか受け止められない×一歩手前の質問×賢い人はわかりやすく説明できる×百科事典×知識ネットワーク×辞書を読む×wikipedia×インテリゲンチア×図書館×情報の生産者×情報の消費者×まだ生きてるんだから一口サイズに切れるわけがない→
- →分散型sns用プロトコル×activitypub×mastodon×ink_and_switch×ローカルファースト×spritely×brightid×backchannel×ソーシャルアイデンティティ・システム×連合学習×メッシュネットワーク×データ・コラボラティブ×データ・コーポラティブ×協同組合×データ・トラスト×wikipedia×reddit→
- →index×table_of_contents×(1.3.3.1)_even_the_material_has_more_than_1,000_pages,_the_table_of_contents_is_only_6_pages×python_library_reference×(1.3.3.5)_civil_code_map×search_engine×(column)_do_you_need_the_ability_to_find_information_ten_years_later?×wikipedia×collaborative_editing×stack_overflow×rough×map×ask_your_friends×(4.2.4)_to_not_read→
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]