検索エンジンだけでは入手できない、本当に欲しい情報をWebスクレイピングで手に入れる!
インターネットからデータを機械的に集め、必要な情報を抽出するプロセスが「Webスクレイピング」です。検索エンジンだけでは限られた情報しか集めることができませんが、Webスクレイピングの技術を使えば、インターネット上の膨大な情報の中から本当に必要な情報を入手することができます。コンピュータサイエンスに限らず(理系にも限らない)研究者たちが、最新動向を把握するために、また、小売業界、金融業界でも情報収集にWebスクレイピングを活用するなど、広い分野で求められ、また注目されている技術です。本書はPythonを使ってWebスクレイピングを行うための解説書です。
インターネット上の膨大な情報の中から必要な情報を入手するためにPythonを使ってWebスクレイピングを行うための解説書。
・「小説家になろう」をPythonでスクレイピングして本文を保存する(自然言語処理用コーパス作成)[2018-08-08に投稿]
・PythonのWebスクレイピングでProxy設定のため応答がなかったときの対処[2017-05-19に投稿]
・NIJIBOXのエンジニアの見たいもの[2016-12-24に投稿]
・Pythonのseleniumライブラリからphantomjsを使ったらzombieになった[2016-12-11に投稿]
・wikipediaからのページからリンク一覧を取得する方法[2016-08-21に投稿]