スクレイピングをサポートしてくれるAPI【kimono】

公開日: : 最終更新日:2014/08/14 JavaScript/jQuery, PHP, サイト制作, ニコニコ動画

スポンサーリンク

kimonoというスクレイピングをAPI化してくれるという素晴らしいサービスがあります。

まず登録する必要があるので登録ページから名前やメールアドレスを登録します。そしたらGetStartedのページからAPI化したいサイトのURLを入力します。

今回私はニコニコ動画で試してみました。
こちらがニコニコ動画のトップページです。

ここの「話題の動画」部分をスクレイピングしてみます。

kimono_nico1.png

先ほどのGetStartedページにニコニコ動画のページを入力してタイトル名をクリックします。すると一連の動画が同じようにマークされます。(おそらくリスト状になっている場合選ばれる)

kimono_nico1.png

これを一度にまとめて取得したい場合はチェックのところをクリック、いらない場合は×をクリックします。

kimono_nico2.png

こんな感じで必要な部分をピックアップしていきます。

終わったらメニューバー右上のDoneボタンを押します。

kimono_nico3.png

するとこんな風に「Check it out apis/*****」とでてくるので「apis/*****」の部分にクリックして飛びます。

kimono_nico4.png

ここではどういうように使うか選ぶことができるようで好きな方法でスクレイピングで取得したデータを利用できるようになります。使い方の例としてCURL,PHP、jQuery、Python、Rubyがあり、JSON形式、CSV形式、RSS形式での取得が可能となります。

例えばjsonですとこんな感じになります。

{
"collection1": [
{
"property1": {
"href": "http://www.nicovideo.jp/watch/sm9489619",
"text": "【BIG-AL】Original Song「Little Toy Robot」"
}
},
{
"property1": {
"href": "http://www.nicovideo.jp/watch/sm22788686",
"text": "[Megurine Luka original] womb"
}
},
{
"property1": {
"href": "http://www.nicovideo.jp/watch/sm22800121",
"text": "[Fleet collection MMD]There is no reason to idle Naka-chan of the f..."
}
},
{
"property1": {
"href": "http://www.nicovideo.jp/watch/sm22792694",
"text": "I tried to sing Mono Poisoner with full power 【Shakemii】"
}
}
]
}
スポンサーリンク
Amazon
  • このエントリーをはてなブックマークに追加

関連記事

チェスボード画像自動生成ツール

1マスのサイズ(ピクセル) マスの数× 左上が白 枠をつけるか 枠の色白黒

記事を読む

【jQuery UI】Sliderのオプション変更やイベントを取得をする方法

jQuery UIを使ってスライダー(トラックバー)を作ります。その際に起こるイベントとしてスライダ

記事を読む

【PHP】特定のURLからそのAtomやRSSのフィードを抽出する方法

特定のURLからRSSやATOMのフィードを抽出する方法をメモ。 流れとしては指定のWebページH

記事を読む

美人画像を表示してくれるブログパーツまとめ

美人時計など有名なものもありますが、美人画像を表示してくれるブログパーツをまとめました。暦や時刻を表

記事を読む

【PHP】WebAPIのJSONファイルを読み込む

WebAPIでJSONファイルを使う機会があったので使い方をメモ。最近ではWebAPIはSNSやブロ

記事を読む

【TortoiseGit】複数のリポジトリを統合する

やりたいこと 最近WindowsにTortoiseGitを導入してリポジトリを作ったり、履歴をプッ

記事を読む

ニコニコ動画のRSSをjavascriptで読み込んで表示させる

ニコニコ動画のランキングRSSをjQueryで読み込んで表示するプログラムを作成しました。RSSの読

記事を読む

【PHP】クラスの配列をソートする

クラスのメンバに応じて配列をusortでソートします。クラス内の関数でソートする場合は下のようにする

記事を読む

ニコニコ動画のURLリンクから外部プレイヤーのスクリプトに正規表現で置換する

ニコニコ動画の動画のアドレスを抽出して外部プレイヤー貼りつけソースのスクリプトに変換するソースです。

記事を読む

【PHP】headerでContent-Typeを指定したのに効かない場合の対処法

PHPでサイトマップを作ろうと思い、XML形式のファイルを出力しようとしてheaderを指定したのに

記事を読む

【DeepLearning】物体検出手法のSSD(Keras版)を試す (Ubuntu14.04)

はやりのディープラーニングの物体検出手法の一つであるSSDのサンプルを

【Laravel5】既存のDBからデータを取得して表示する

はじめに 今まで作ったWebサイトをLaravel5で見れるようにし

【C++/OpenCV】cv::Matの画像にインパルスノイズを付加する

OpenCVで画像にノイズを付け足したいと思って調べたところ、Pyth

Intel Corei7-7700TでHTC Viveの動作確認

はじめに HTC ViveというVRヘッドセットで遊んでみたのでその

【Python】フォルダ内のカッコ付き数字ファイルを一括でリネームするスクリプト

はじめに タイトルどおりなのですが、指定フォルダ内のファイルのファイ

OpenCV3.1のTracking APIでトラッキングを試す

はじめに 先日OpenCV3.1をopencv_contrib付きで

パソコンを複数台使う際便利なツール

はじめに 先日、機械学習用にGPUを積んだBTOパソコンを購入しまし

→もっと見る

  • Author : ががんぼ
    プログラミングやWeb関係で気付いたことについてメモしていく予定。だいたいが備忘録ですが、自分でサンプルを作って動かしてみたりしています。
PAGE TOP ↑