このエントリーをはてなブックマークに追加

12月

20

【速習講座】Rubyでクローリング&スクレイピングをしよう 懇親会アリ♪【初心者ok】

初心者歓迎 Rubyでスクレイピングを試してみます自動でデータを収集出来るので様々な応用ができます

主催 : 株式会社X-HACK

ハッシュタグ :#xhandson
募集内容

参加枠

2000円(会場払い)

先着順
12/12

イベントの説明

資料

https://paper.dropbox.com/doc/Ruby--AQ~h5ZNwa9DU30HhSigphkDLAQ-JeNXGCAFkUkuKpT2J4Czt

重要なお知らせ

お間違えのないようにお気をつけください

このイベントで出来るようになること

  • 少しのコードとちょっとした工夫で、Webサイトから自動でデータ収集ができるようになります
  • Rubyの基礎構文が理解できるようになります

スクレイピング、クローリングとは?

  • クローリングとは 複数のウェブサイトのリンクをなぞってウェブページを探すこと
    それを行うプログラムをクローラーと呼ぶ

  • スクレイピングとは ウェブサイトのHTMLから必要なデータを取得すること
    それを行うプログラムをスクレイパと呼ぶ

やること

  • Rubyとは?
  • HTMLの文書構造の解説
  • Rubyの環境構築
  • スクレイピングに必要なライブラリのインストール
  • スクレイピングをしてみる
  • コードの解説
  • セレクタの解説

対象

  • プログラミング初心者向けです
  • 誰でもOKですが、PCを持参してください
  • 最低限のキーボード操作ができる方が対象です

参考資料など

Rubyでクローラー

参考図書

やらないこと

最低限の文法の解説はしますが、Rubyの文法の細かい話は一旦抜きにします
まずは、体験してもらって「なんとなく分かる」を目指します

設備

  • ノートパソコンは各自ご用意ください
  • 必要な方はパソコンの充電器もご持参ください
  • 電源タップ、wifiがご利用頂けます

下記のコードの意味を完全に理解できることを目指します

require 'nokogiri'
require 'open-uri'

url = 'https://qiita.com/search?q=ruby'

charset = nil

html = open(url) do |f|
    charset = f.charset
    f.read
end

doc = Nokogiri::HTML.parse(html, nil, charset)
doc.xpath('//h1[@class="searchResult_itemTitle"]').each do |node|
  p node.css('a').inner_text
end

資料 資料をもっと見る/編集する

資料が投稿されると、最新の3件が表示されます。

フィード

matsuda shinsuke

matsuda shinsuke さんが 【速習講座】Rubyでクローリング&スクレイピングをしよう 懇親会アリ♪【初心者ok】 を公開しました。

2018/11/24 19:07

【速習講座】Rubyでクローリング&スクレイピングをしよう 懇親会アリ♪【初心者ok】 を公開しました!

グループ

X-HACK東京

イベント数 44回

メンバー数 426人

開催前

2018/12/20(木)

19:45
22:00

イベントに申し込むには
ログインしてください

開催日時が重複しているイベントに申し込んでいる場合、このイベントには申し込むことができません

募集期間
2018/11/24(土) 19:07 〜
2018/12/20(木) 22:00

会場

Impact Hub Tkyo

東京都目黒区目黒2-11-3 印刷工場1階

管理者

参加者(12人)

わたさん

わたさん

【速習講座】Rubyでクローリング&スクレイピングをしよう 懇親会アリ♪【初心者ok】に参加を申し込みました!

Taku_1991

Taku_1991

【速習講座】Rubyでクローリング&スクレイピングをしよう 懇親会アリ♪【初心者ok】に参加を申し込みました!

yuki_goto

yuki_goto

【速習講座】Rubyでクローリング&スクレイピングをしよう 懇親会アリ♪【初心者ok】に参加を申し込みました!

Su-chin

Su-chin

【速習講座】Rubyでクローリング&スクレイピングをしよう 懇親会アリ♪【初心者ok】に参加を申し込みました!

miyauchi

miyauchi

【速習講座】Rubyでクローリング&スクレイピングをしよう 懇親会アリ♪【初心者ok】に参加を申し込みました!

hisazumi

hisazumi

【速習講座】Rubyでクローリング&スクレイピングをしよう 懇親会アリ♪【初心者ok】 に参加を申し込みました!

shinchia

shinchia

【速習講座】Rubyでクローリング&スクレイピングをしよう 懇親会アリ♪【初心者ok】に参加を申し込みました!

Takao Yano

Takao Yano

【速習講座】Rubyでクローリング&スクレイピングをしよう 懇親会アリ♪【初心者ok】に参加を申し込みました!

ShokoMiyagawa

ShokoMiyagawa

【速習講座】Rubyでクローリング&スクレイピングをしよう 懇親会アリ♪【初心者ok】に参加を申し込みました!

参加者一覧(12人)

キャンセルした人(3人)