自分基準

自分の思ったことを気ままにメモ代わりに書いていこうかと

スクレイピング

PythonのHTTPRequestを使ったスクレイピングの一部変更

前回PythonのHTTPRequestを用いて口座残高を取得するプログラムを書いたが、ほんの少し(数行)だけ減らすことができ、かつGETやPOSTが分かりやすく書くことができたため一部更新 http://www.jibunkijyun.net/entry/2016/08/28/231619www.jibunkijyun.net 変…

PythonのHTTPRequestを使ったスクレイピングでSBI証券の口座残額取得

いままでスクレイピングで利用していたSeleniumだがChromeの変更なのか動かないことがあるため、別の方法でスクレイピングをしようと思い HTTPを直接使えばいちいちウインドウが開くこともなくスムーズに動くと思い実際に作成を試みたが非常に難しく2週間か…

Pythonでスクレイピング3(Selenium):クレジット(MUFG)カードの支払額の取得

今回もSeleniumを使ってスクレイピングをしてみたのでそのメモ。 対象はクレジットカードのMUFGカードの支払額を取得してみた。 ソースコード 今回も先にソースを記載 # -*- coding:utf-8 -*- import time from selenium import webdriver #UFJ CARD情報 ID …

Pythonでスクレイピング2(Selenium):UFJの残高取得

前回に引き続きPythonとSeleniumを使ってスクレイピングを行ったのでそのメモ。 今回は三菱東京UFJ銀行のネットバンキングから残高を取得してみた。 ソースコード とりあえず先に今回作ったソースコードを載せる。 # -*- coding:utf-8 -*- import time from …

Pythonでスクレイピング(Selenium)

Seleniumを使ってPythonでスクレイピングする方法を調べてみたので軽くまとめた。 スクレイピングを始める前に Pythonでスクレイピングをするには下記の2つが必要。 1.selenium Webスクレイピングにはseleniumというものが必要でこれはブラウザを操作する…