速習スクレイピング
「Web上で公開されているデータを集めたい」というニーズ
試行錯誤してものづくりをできるスキルのある人を想定
知識のポインタを示す
「集めるフェーズ」と「集めたものから必要なデータだけ抜き出すフェーズ」を分けて考える
集めるフェーズ
データがHTMLに載っているのか、HTMLをロードした後JavaScriptが別途データをダウンロードして表示しているのか
後者は上級編
見分け方は必要があれば書く
データがHTMLに載っている場合
要はHTMLファイルをダウンロードすればよい
目的のHTMLはGETで得られるのかPOSTが必要なのかを区別する
前者が初級編で、後者が中級編
ブラウザのURLをコピペして別のブラウザに張り付けた時に同じものが表示されるならGET
あー、ログインが必要なページって言う別の中級編もあるな
GETなら
wget を使うことを検討 wget -r -l N URL で指定したURLからN回のリンクをたどって到達できるページを根こそぎダウンロードするたとえばこれを見て、このコンテンツを手元に保存したいと思ったら
えたいコンテンツの一覧ページがあるか探す
あった 一覧
リンク1回でコンテンツにたどりつけそうだから
wget -r -l 1 http://1000ya.isis.ne.jp/souran/index.php?vol=102 でよさそう抜き出すフェーズ
正規表現で切り出す
「同じフォーマットで書かれたHTMLをかき集めて来た」はずなので枯れたツールである正規表現で切るのは手
Python3でBeautifulSoup4を使う
HTMLの構造として、たとえば「id=contentなdivの中に本文が入っている」みたいなきれいなHTMLだったらこれでサクッといく
逆に「div?何それ？brで改行するよ！」みたいなページだとあんまりメリットがないｗ
HTMLタグ交じりのものをプレーンテキストにする機能はニーズありそう
pythonimport requests
from bs4 import BeautifulSoup
r = requests.get("https://www.crummy.com/software/BeautifulSoup/bs4/doc/")
print(r.content) # 取得したHTMLが表示される
s = BeautifulSoup(r.content, "lxml")
q = s.find(id="quick-start") # idが"quick-start"なものを取り出す
print(q.find("p")) # <p>Here’s an HTML document ...
# quickstartの最初のpタグを取りだしている
print(q.find("p").getText()) # Here’s an HTML document ...
# HTMLタグを取り除いたプレーンテキストになっているこの説明ではrequestsを直接使ってプログラム中で直接インターネットに取りに行ってるけど、ローカルファイルに保存してから解析する方が実行時間も短いし相手のサーバにも優しい
本文抽出ライブラリを使う
その他
その他
情報収集という意味で「スクレイピング」とは一般的には言わないんだけど色々なニーズがあるのでメモしておく。
「スクレイピングという単語の定義は～」とか議論しても無益だからね。
ブラウザ上で画像は表示されているがCSSで背景画像として読まれてて右クリックからの保存ができない、なんとかならないか？
ブラウザキャッシュから取ればよい
画面全体のスクリーンショットを取る
動的なページのスクレイピングに関しては、基本的にはブラウザ自動化を使うことになる
Seleniumと、たとえばChromeのHeadlessモード(画面を表示しない)を使う方法とがある
前者は多くのブラウザに対応していて、後者はChromeなど特定のブラウザだけ
ソフトウェアテストの文脈では一つのコードで多くのブラウザをサポートしたいから前者を選ぶことになるが、スクレイピングの文脈ではその必要はない
Related Pages
- →TODO×経営ゲーム×ゲーム×経営の失敗×投資対象の選択×リーン・スタートアップ×ドラッカー×factorio×simcity×知識労働者×シュンペーターによるイノベーションの定義×ドミニオン×囲碁×ニッチ偶発拡大戦略×利用と探索のトレードオフ×ワーカープレイスメント×カンニングの推奨×クッキークリッカー→
- →piotr_wozniak×supermemo×incremental_reading×TODO×(3.5.7.1)_making_questions_is_chance_to_make_memory×(3.5.7.2)_use_personal_experiences×(3.5.7.3)_copyright_and_private_use→
- →a_group_of_pieces_seems_to_be_related_to_one_another×family_resemblance×relationship×TODO×way_of_thinking×jiro_kawakita×kj_method×kyoto_university_information_card×pieces_of_paper_with_glue×post-it×grasp_the_whole_picture×(5.2.3.1)_flow_of_kj_method×(column)_size_of_pieces→
- →change×u_theory×u-curve_model×downloading×seeing×sensing×presensing×crystallizing×prototyping×performing×seedling_phase×TODO×plowing/seedling/growing×ikujiro_nonaka×socialization×pdca_cycle→
- →seeing×sensing×downloading×exploration-exploitation_tradeoff×(2.2.3.1)_exploration-exploitation_tradeoff×jiro_kawakita×TODO→
- →do_not_go_ahead_if_you_do_not_understand×assumption×correctness×beneficial×TODO×akinori_takada×read_from_where_you_want_to_read→
- →connection×valuable×paul_scheele×syntopic_reading×prefix_syn-×shigehiko_toyama×serendipity_from_random_reading×unexpected_connection×serendipity×lessons_for_ideas×movie_films×afterimage×rhetorical_afterimage×memory×assembling_information×meno's_paradox×coherency_of_knowledge×TODO→
- →task_which_not_guaranteed_to_complete×painful×motivation×assumption×finding_information_is_an_uncertain_task.×uncertain_task×measure×amount_of_challenge×achievable×pomodoro×make_extracts×fusen×achievement×kj_method×TODO→
- →accomplishment×expanded_reproduction×TODO×(1.2.2.2)_make_the_goal_closer_-_the_effect_of_tutorial×analogy→
- →予期せぬ成功×予期せぬ失敗×ギャップ×TODO×ニーズ×速い馬が欲しい×ドリルではなく穴を売れ×産業構造×人口構造×人口動態×物の見方×ドラッカー×イノベーションと企業家精神×イノベーション×イノベーションの七つの機会→
- →TODO×人生の目的は日常タスクの抽象化で作る×人間の知性を強化したい×生産性向上×エンゲルバード×人工物×方法論×言語化×クリーンランゲージ×kj法×書き出し法×incremental_writing×incremental_reading×耳栓×やる気システム×2017やる気システムリニューアル×2015やる気システムメモ×マインドパレス×intellitech×プロアクティブ×ポスト資本主義社会→
- →xp×エクストリーム・プログラミング×extreme_programming_explained×ケント・ベック×エクストリームプログラミング×制約理論×テイラー主義×トヨタ生産方式×時を超えた建設の道×TODO→
- →2018-03×エンジニアのための自分経営戦略×エンジニアのための自分経営戦略_参考文献×講演後コミュニケーションの場を作る×180308メモ×itと経営×戦略サファリ×ネットワーク形成システム×運×効用がサチってから運×タラントンのたとえ×掛け合わせニッチトップ戦略×ニッチ偶発拡大戦略×TODO→
- →野中_郁次郎×知識創造企業×知識創造の方法論×seciモデル×スクラム×畑村洋太郎×技術の創造と設計×失敗学のすすめ×ge巨人の復活×sprint最速仕事術×川喜田_二郎×発想法×続・発想法×「知」の探検学×創造力を生かす×u理論×リーン・スタートアップ×TODO×イノベーションゲーム案→
"Engineer's way of creating knowledge" the English version of my book is now available on [Engineer's way of creating knowledge]
(C)NISHIO Hirokazu / Converted from [Scrapbox] at [Edit]