お知らせ 【技術コミュニティ運営者の皆さま】成長し続けるエンジニアを支援する「Forkwell」と「connpass」が連携し、connpass上でイベントを開催する技術コミュニティを2020年3月末まで支援いたします。詳しくはこちら by Forkwell

このエントリーをはてなブックマークに追加

11月

4

【速習講座】Rubyでクローリング&スクレイピングをしよう 懇親会アリ♪【初心者ok】

初心者歓迎 Rubyでスクレイピングを試してみます自動でデータを収集出来るので様々な応用ができます

Organizing : 株式会社X-HACK

Hashtag :#xhandson
Registration info

参加枠

1500(Pay at the door)

Standard (Lottery Finished)
10/18

追加募集

1500(Pay at the door)

FCFS
1/3

Description

資料

https://paper.dropbox.com/doc/Ruby--AQ~h5ZNwa9DU30HhSigphkDLAQ-JeNXGCAFkUkuKpT2J4Czt

重要なお知らせ

イベントの開催場所が変更になりました!
池袋東口のSTAGEさんのスペースをお借りして開催します!

お間違えのないようにお気をつけください

このイベントで出来るようになること

  • 少しのコードとちょっとした工夫で、Webサイトから自動でデータ収集ができるようになります
  • Rubyの基礎構文が理解できるようになります

タイムテーブル

13:00-16:30

時間 内容 補足
13:00-13:15 会場・受付 お釣りのないようにお願いします
13:15-13:20 会場案内・趣旨説明 諸注意・トイレ
13:20-13:30 自己紹介 お名前、プログラミング歴、お仕事に関して
13:30-14:30 ハンズオン開始 環境構築、Rubyの概略、スクレイピング/クローリングとは?
14:30-14:40 休憩
14:40-15:30 各自プログラミング 質問があれば随時
15:30-15:40 本日のまとめ アンケート、参考図書の紹介
15:45-16:30 懇親会 飲み物・軽食をご用意します
16:30 終了

スクレイピング、クローリングとは?

  • クローリングとは 複数のウェブサイトのリンクをなぞってウェブページを探すこと
    それを行うプログラムをクローラーと呼ぶ

  • スクレイピングとは ウェブサイトのHTMLから必要なデータを取得すること
    それを行うプログラムをスクレイパと呼ぶ。

やること

  • Rubyとは?
  • HTMLの文書構造の解説
  • Rubyの環境構築
  • スクレイピングに必要なライブラリのインストール
  • スクレイピングをしてみる
  • コードの解説
  • セレクタの解説

対象

  • プログラミング初心者向けです
  • 誰でもOKですが、PCを持参してください
  • 最低限のキーボード操作ができる方が対象です

参考資料など

Rubyでクローラー

参考図書

やらないこと

最低限の文法の解説はしますが、Rubyの文法の細かい話は一旦抜きにします
まずは、体験してもらって「なんとなく分かる」を目指します

設備

  • ノートパソコンは各自ご用意ください
  • 必要な方はパソコンの充電器もご持参ください
  • 電源タップ、wifiがご利用頂けます

下記のコードの意味を完全に理解できることを目指します

require 'nokogiri'
require 'open-uri'

url = 'https://qiita.com/search?q=ruby'

charset = nil

html = open(url) do |f|
    charset = f.charset
    f.read
end

doc = Nokogiri::HTML.parse(html, nil, charset)
doc.xpath('//h1[@class="searchResult_itemTitle"]').each do |node|
  p node.css('a').inner_text
end

Presenter

mtdsnsk mtdsnsk

Feed

nabaua

nabaua さんが書き込みました。

2018/11/04 13:18

すみません、遅れますが参ります。資料を見てだいたい把握しました。よろしくお願いいたします

nabaua

nabaua さんが書き込みました。

2018/11/04 13:04

すみません、場所を間違えて目黒にいます。遅れてもいいでしょうか。

matsuda shinsuke

matsuda shinsukeさんが資料をアップしました。

11/04/2018 10:57

matsuda shinsuke

matsuda shinsukeさんが資料をアップしました。

11/01/2018 23:57

matsuda shinsuke

matsuda shinsukeさんが資料をアップしました。

11/01/2018 23:55

matsuda shinsuke

matsuda shinsuke published 【速習講座】Rubyでクローリング&スクレイピングをしよう 懇親会アリ♪【初心者ok】.

10/23/2018 21:09

【速習Ruby】Rubyでクローリング&スクレイピングをやってみよう 懇親会あり♪【初心者歓迎】 を公開しました!

Ended

2018/11/04(Sun)

13:00
16:30

開催日時が重複しているイベントに申し込んでいる場合、このイベントには申し込むことができません

Registration Period
2018/10/23(Tue) 21:09 〜
2018/11/04(Sun) 16:30

Location

STAGE

東京都豊島区東池袋東池袋1丁目2−8 塚越ビル2F

Organizer

Attendees(11)

Taku_1991

Taku_1991

【速習Ruby】Rubyでクローリング&スクレイピングをやってみよう 懇親会あり♪【初心者歓迎】に参加を申し込みました!

nabaua

nabaua

【速習Ruby】Rubyでクローリング&スクレイピングをやってみよう 懇親会あり♪【初心者歓迎】 に参加を申し込みました!

ころ

ころ

【速習Ruby】Rubyでクローリング&スクレイピングをやってみよう 懇親会あり♪【初心者歓迎】に参加を申し込みました!

sawachan_jp

sawachan_jp

【5枠追加】【速習講座】Rubyでクローリング&スクレイピングをしよう 懇親会アリ♪【初心者ok】に参加を申し込みました!

Yuya Kudo

Yuya Kudo

【速習Ruby】Rubyでクローリング&スクレイピングをやってみよう 懇親会あり♪【初心者歓迎】に参加を申し込みました!

リョッキー

リョッキー

【5枠追加】【速習講座】Rubyでクローリング&スクレイピングをしよう 懇親会アリ♪【初心者ok】 に参加を申し込みました!

kanikama2touhei

kanikama2touhei

【速習Ruby】Rubyでクローリング&スクレイピングをやってみよう 懇親会あり♪【初心者歓迎】に参加を申し込みました!

nezumi

nezumi

【速習Ruby】Rubyでクローリング&スクレイピングをやってみよう 懇親会あり♪【初心者歓迎】 に参加を申し込みました!

sakurai-chan

sakurai-chan

【速習Ruby】Rubyでクローリング&スクレイピングをやってみよう 懇親会あり♪【初心者歓迎】に参加を申し込みました!

エフエフ

エフエフ

【速習Ruby】Rubyでクローリング&スクレイピングをやってみよう 懇親会あり♪【初心者歓迎】に参加を申し込みました!

Attendees (11)

Canceled (8)