大規模なパブリックデータセット？

Question

特に、いくつかの大規模なパブリックデータセットを探しています。

1. 匿名化された大規模なサンプルWebサーバーログ。

2. データベースパフォーマンスのベンチマークに使用されるデータセット。

大規模なパブリックデータセットへのその他のリンクをいただければ幸いです。私はすでにAmazonのパブリックデータセットについて知っています： http://aws.Amazon.com/publicdatasets/

Answer 1

1.匿名化された大規模なサンプルWebサーバーログ。

これらの作業は次から始めます。

• CI Machine Learning Repository
  • 匿名のMicrosoft Webデータ
  • MSNBC.com匿名Webデータ
  • SyskillおよびWebert Webページの評価

これらよりも多くの非常に多くのデータセットが利用可能です（他の回答の範囲を参照）が、これは元の基準を満たす最低の垂れ下がった果物です。ボーナスとして、彼らは 連絡先リンク あなたが彼らが知っているかもしれない特定のニーズがあれば。

2.データベースパフォーマンスのベンチマークに使用されるデータセット。

well-definedalgorithmicproblems を記述する経験的データセットを求めているため、これは誤った呼び方のように聞こえます。具体的には、さまざまなデータベースシステムをリアルタイムでテストおよびベンチマークするために使用できるデータのセットを見つけようとしているようです。明確に正規化されたリレーショナルデータは、テストケースのセットとして使用して、ニーズを満たす最も効率的なソリューション。

このアプローチには同意しません。多数のデータベースシステムとそれらの既定の実装を見つける代わりに、これらのシステムの algorithmicguarantees を最初の呼び出しポートとして探索することをお勧めします。ニーズを満たすアルゴリズムの制約を決定したら、たとえば、インデックス作成、並べ替え、検索、挿入、削除、取得などの効率のベンチマークを行うことができる一連の定型ソリューションに注目することができます。

ウィキペディアには、 データベーステストの概念に関する簡潔な記事 があり、ベンチマークパフォーマンスのテストケースの決定と記述に使用できます。たとえば、 [〜＃〜] jdbc [〜＃〜] や JDBC Benchmark などの不可知論者データアクセスインターフェイスを使用して、各操作の相対的なタイミングを決定できます。ここから、正しい解決策に磨きをかけることができます。

要するに、調査 に進んで、データベースの保証を決定します。候補となるソリューションのセットが特定されたら、希望する各操作の一定時間のパフォーマンスをテスト（またはその他の方法で決定）することにより、それらの中から選択できます。

Answer 2

Quora Answers および私の研究での個人コレクションに基づいて、GitHubで awesome-public-datasets リポジトリが作成および更新されました

以下は、このリストのスナップショットバージョンです。最新のリストについては、 Github をご覧ください。

この公開データソースのリストは、ブログ、回答、およびユーザーの応答から収集され整理されます。下記のデータセットのほとんどは無料ですが、一部は無料ではありません。このリストは https://github.com/caesar0301/awesome-public-datasets に由来します。

気候

• オーストラリアの天気： http://www.bom.gov.au/climate/dwo/
• 気候データ： http://www.cru.uea.ac.uk/cru/data/temperature/#datter および ftp://ftp.cmdl.noaa.gov/
• 1929年以降の全球気候データ： http://www.tutiempo.net/en/Climate
• NOAAベーリング海気候： http://www.beringclimate.noaa.gov/
• NOAA気候データセット： http://ncdc.noaa.gov/data-access/quick-links
• 世界中のWUの歴史的天気： http://www.wunderground.com/history/index.html

経済

• アメリカ経済のお尻。 （AEA）： http://www.aeaweb.org/RFE/toc.php?show=complete
• EconData（UMD）： http://inforumweb.umd.edu/econdata/econdata.html
• インターネット製品コードデータベース： http://www.upcdatabase.com/
• 世界銀行： http://data.worldbank.org/indicator

ファイナンス

• CBOE先物取引所： http://cfe.cboe.com/Data/
• Google Finance： https://www.google.com/finance
• Googleトレンド： http://www.google.com/trends?q=google&ctab=0&geo=all&date=all&sort=
• NASDAQ： https://data.nasdaq.com/
• OANDA： http://www.oanda.com/
• OSU財務データ： http://fisher.osu.edu/fin/osudata.htm
• Quandl： http://www.quandl.com/
• セントルイス連邦： http://research.stlouisfed.org/fred2/
• Yahoo Finance： http://finance.yahoo.com/

生物学

• CRCNS： http://crcns.org/data-sets
• 遺伝子発現オムニバス： http://www.ncbi.nlm.nih.gov/geo/
• Human Microbiome Project： http://www.hmpdacc.org/reference_genomes/reference_genomes.php
• MIT Cancer Genomics Data： http://www.broadinstitute.org/cgi-bin/cancer/datasets.cgi
• NIHマイクロアレイデータ： ftp://ftp.ncbi.nih.gov/pub/geo/DATA/supplementary/series/GSE6532/
• タンパク質構造： http://www.infobiotic.net/PSPbenchmarks/
• 公開遺伝子データ： http://www.pubgene.org/
• スタンフォードマイクロアレイデータ： http://smd.stanford.edu/
• UniGene： http://www.ncbi.nlm.nih.gov/unigene

物理

• NASA： http://nssdc.gsfc.nasa.gov/nssdc/obtaining_data.html

健康管理

• EHDP大規模ヘルスデータセット： http://www.ehdp.com/vitalnet/datasets.htm
• Gapminder： http://www.gapminder.org/data/
• メディケアデータファイル： http://go.cms.gov/19xxPN4

GeoSpace

• EOSDIS： http://sedac.ciesin.columbia.edu/data/sets/browse
• 事実上のグローバルロケーションデータ： http://www.factual.com/
• 地理空間データ： http://geodacenter.asu.edu/datalist/

交通手段

• 航空会社データ（2009 ASAチャレンジ）： http://stat-computing.org/dataexpo/2009/the-data.html
• 空港とその場所： http://www.infochimps.com/datasets/airports-and-their-locations
• Bike Share Data Systems： https://github.com/BetaNYC/Bike-Share-Data-Best-Practices/wiki/Bike-Share-Data-Systems
• 1990年から2009年の米国国内線のエッジデータ： http://data.memect.com/?p=229
• 50万回のハブウェイライド： http://hubwaydatachallenge.org/trip-history-data/
• NYC Taxi Trip Data 2013（FOIA/FOIL）： https://archive.org/details/nycTaxiTripData201
• OpenFlights（空港、航空会社、および経路データ）： http://openflights.org/data.html
• RITA Airline On-Time Performance Data： http://www.transtats.bts.gov/Tables.asp?DB_ID=12
• RITAトランスポートデータコレクション： http://www.transtats.bts.gov/DataIndex.asp
• ロンドンの交通機関： http://www.tfl.gov.uk/info-for/open-data-users/our-feeds
• 米国貨物分析フレームワーク： http://ops.fhwa.dot.gov/freight/freight_analysis/faf/index.htm

政府

• Archive-it：： https://www.archive-it.org/explore?show=Collections
• オーストラリア： http://www.abs.gov.au/AUSSTATS/[email protected]/DetailsPage/3301.02009?OpenDocument
• カナダ： http://www.data.gc.ca/default.asp?lang=En&n=5BCD274E-1
• シカゴ： https://data.cityofchicago.org/
• FDA： https://open.fda.gov/index.html
• Fed Stats： http://www.fedstats.gov/cgi-bin/A2Z.cgi
• ガーディアン世界政府： http://www.guardian.co.uk/world-government-data
• HUD： http://www.huduser.org/portal/datasets/pdrdatas.html
• ロンドンデータストア、イギリス： http://data.london.gov.uk/dataset
• ニュージーランド： http://www.stats.govt.nz/browse_for_stats.aspx
• NYC betanyc： http://betanyc.us/
• NYC Open Data： http://nycplatform.socrata.com/
• OECD： http://www.oecd.org/document/0,3746,en_2649_201185_46462759_1_1_1_1_1,00.html
• RITA： http://www.transtats.bts.gov/OT_Delay/OT_DelayCause1.asp
• サンフランシスコのデータセット： http://datasf.org/
• 世界銀行： http://wdronline.worldbank.org/
• 英国政府データ： http://data.gov.uk/data
• 米国国勢調査局： http://www.census.gov/data.html
• 米国連邦政府機関： http://www.data.gov/metric
• 米国連邦政府データカタログ： http://catalog.data.gov/dataset
• 米国公開政府： http://www.data.gov/open-gov/
• 英国2011年国勢調査オープンアトラスプロジェクト： http://www.alex-singleton.com/2011-census-open-atlas-project/
• 国連： http://data.un.org/
• US CDC Public Healthデータセット： http://www.cdc.gov/nchs/data_access/ftp_data.htm

データの課題

• 機械学習の課題： http://www.chalearn.org/
• ICWSMデータチャレンジ（2009年以降）： http://icwsm.cs.umbc.edu/
• Kaggleコンペデータ： http://www.kaggle.com/
• Tencent 2012によるKDDカップ： https://www.kddcup2012.org/
• Netflixプライズ： http://www.netflixprize.com/leaderboard
• Yelpデータセットチャレンジ： http://www.Yelp.com/dataset_challenge

機械学習

• eBayオンラインオークション： http://www.modelingonlineauctions.com/datasets
• IMDbデータベース： http://www.imdb.com/interfaces
• Keelリポジトリ： http://sci2s.ugr.es/keel/datasets.php
• 貸出クラブローンデータ： https://www.lendingclub.com/info/download-data.action
• 機械学習データセットリポジトリ： http://mldata.org/
• ミリオンソングデータセット： http://blog.echonest.com/post/3639160982/million-song-dataset
• その他の曲データセット： http://labrosa.ee.columbia.edu/millionsong/pages/additional-datasets
• MovieLensデータセット： http://datahub.io/dataset/movielens
• RDataMining RおよびData Mining電子書籍データ： http://www.rdatamining.com/data
• 地球上の登録されたmet石： http://www.analyticbridge.com/profiles/blogs/registered-meteorites-that-has-impacted-on-earth-visualized
• SFレストランデータセット： http://missionlocal.org/san-francisco-restaurant-health-inspections/
• UCI Machine Learning Repository： http://archive.ics.uci.edu/ml/
• トロント大学のデータセット： http://www.cs.toronto.edu/~delve/data/datasets.html
• Yahoo評価と分類データ： http://webscope.sandbox.yahoo.com/catalog.php?datatype=r

自然言語

• コンテキスト内の4000万のエンティティ： https://code.google.com/p/wiki-links/downloads/list
• ClueWeb09 FACC： http://lemurproject.org/clueweb09/FACC1/
• ClueWeb12 FACC： http://lemurproject.org/clueweb12/FACC1/
• Flickrの個人分類： http://www.isi.edu/~lerman/downloads/flickr/flickr_taxonomies.html
• GoogleブックスNgrams： http://aws.Amazon.com/datasets/817205614237567
• Google Web 5gram、2006（1T）： https://catalog.ldc.upenn.edu/LDC2006T1
• Gutenberg電子書籍リスト： http://www.gutenberg.org/wiki/Gutenberg:Offline_Catalogs
• ハンサード： http://www.isi.edu/natural-language/download/hansard/
• 機械翻訳： http://statmt.org/wmt11/translation-task.html#download
• SMSスパムコレクション： http://www.dt.fee.unicamp.br/~tiago/smsspamcollection/
• USENETコーパス： http://www.psych.ualberta.ca/~westburylab/downloads/usenetcorpus.download.html
• WordNet： http://wordnet.princeton.edu/wordnet/download/

画像処理

• 猫の写真2GB： http://bit.do/UJZZ
• 顔認識のベンチマーク： http://www.face-rec.org/databases/
• ImageNet： http://www.image-net.org/

時系列

• 時系列データライブラリ： https://datamarket.com/data/list/?q=provider:tsdl
• UC Riverside時系列： http://www.cs.ucr.edu/~eamonn/time_series_data/

社会科学

• 中国ホテルのチェックイン/アウトデータ： http://www.360doc.com/content/13/1105/13/7863900_326788919.shtml
• CMU Enron Email： http://www.cs.cmu.edu/~enron/
• Facebook Social Networks（2007年以降）： http://law.di.unimi.it/datasets.php
• Facebook100（2005）： https://archive.org/details/oxford-2005-facebook-matrix
• Foursquare（2010,2011）： http://www.public.asu.edu/~hgao16/dataset.html
• Foursquare（UMN/Sarwat、2013）： https://archive.org/details/201309_foursquare_dataset_umn
• 一般社会調査（GSS）： http://www3.norc.org/GSS+Website/
• GetGlue（テレビ番組を評価するユーザー）： http://getglue-data.s3.amazonaws.com/getglue_sample.tar.gz
• GitHubアーカイブ： http://www.githubarchive.org/
• ICPSR： http://www.icpsr.umich.edu/icpsrweb/ICPSR/index.jsp
• モバイルソーシャルネットワーク（UMASS）： https://kdl.cs.umass.edu/display/public/Mobile+Social+Networks
• PewResearch Internet Project： http://www.pewinternet.org/datasets/pages/2/
• ソーシャルネットワーキング： http://www.cs.cmu.edu/~jelsas/data/ancestry.com/
• SourceForgeグラフ： http://www.nd.edu/~oss/Data/data.html
• タイタニックサバイバルデータセット： https://github.com/caesar0301/awesome-public-datasets/blob/master/Datasets/titanic.csv.Zip
• Twitterグラフ： http://an.kaist.ac.kr/traces/WWW2010.html
• UC BerkeleyのD-Lab Achive： http://ucdata.berkeley.edu/
• UCLA社会科学データアーカイブ： http://dataarchives.ss.ucla.edu/Home.DataPortals.htm
• UNIMIソーシャルネットワークデータセット： http://law.di.unimi.it/datasets.php
• 世界中の大学： http://univ.cc/
• UPJOHN for Employment Research： http://www.upjohn.org/erdc/erdc.html
• Yahoo Graphとソーシャルデータ： http://webscope.sandbox.yahoo.com/catalog.php?datatype=g
• Youtube Graph（2007,2008）： http://netsg.cs.sfu.ca/youtubedata/

複雑なネットワーク

• CrossRef DOI URL： https://archive.org/details/doi-urls
• DBLP引用データセット： https://kdl.cs.umass.edu/display/public/DBLP
• NBER特許の引用： http://nber.org/patents/
• NIST複雑なネットワークデータコレクション： http://math.nist.gov/~RPozo/complex_datasets.html
• タンパク質間相互作用ネットワーク： http://vlado.fmf.uni-lj.si/pub/networks/data/bio/Yeast/Yeast.htm
• PyPIとMaven依存ネットワーク： http://ogirardot.wordpress.com/2013/01/31/sharing-pypimaven-dependency-data/
• Scopus Citation Database： http://www.elsevier.com/online-tools/scopus
• スタンフォードグラフベース（スティーブンスキエナ）： http://www3.cs.stonybrook.edu/~algorith/implement/graphbase/implement.shtml
• スタンフォード大規模ネットワークデータセットコレクション： http://snap.stanford.edu/data/
• コブレンツネットワークコレクション： http://konect.uni-koblenz.de/
• UCIネットワークデータリポジトリ： http://networkdata.ics.uci.edu/resources.php
• UFLスパースマトリックスコレクション： http://www.cise.ufl.edu/research/sparse/matrices/
• UNIMI Large Web Graph： http://law.di.unimi.it/datasets.php
• WSUグラフデータベース： http://www.eecs.wsu.edu/mgd/gdb.html

コンピューターネットワーク

• 3.5B Webページ： http://www.bigdatanews.com/profiles/blogs/big-data-set-3-5-billion-web-pages-made-available-for-all-of-us
• 53.5B Webクリック： http://cnets.indiana.edu/groups/nan/webtraffic/click-dataset
• CAIDAインターネットデータセット： http://www.caida.org/data/overview/
• ClueWeb09： http://lemurproject.org/clueweb09/
• ClueWeb12： http://lemurproject.org/clueweb12/
• CommonCrawl Webデータ： http://commoncrawl.org/the-data/get-started/
• Dartmouth CRAWDAD Wirelessデータセット： http://crawdad.cs.dartmouth.edu/
• OpenMobileData（MobiPerf）： https://console.developers.google.com/storage/openmobiledata_public/
• UCSDネットワーク望遠鏡： http://www.caida.org/projects/network_telescope/

データSE

• アカデミックトレント： http://academictorrents.com/
• Datahub.io： http://datahub.io/dataset
• DataMarket： https://datamarket.com/data/list/?q=all
• ハーバードデータバース： http://thedata.harvard.edu/dvn/
• 統計： http://www.statista.com/
• Freebase： http://www.freebase.com/

パブリックドメイン

• Amazon： http://aws.Amazon.com/datasets
• Archive.orgデータセット： https://archive.org/details/datasets
• CMU JASAデータアーカイブ： http://lib.stat.cmu.edu/jasadata/
• CMU StatLabコレクション： http://lib.stat.cmu.edu/datasets/
• Data360： http://www.data360.org/index.aspx
• Datamob.org： http://datamob.org/datasets
• Google： http://www.google.com/publicdata/directory
• infochimps： http://www.infochimps.com/
• KDNuggetsデータコレクション： http://www.kdnuggets.com/datasets/index.html
• Numbray： http://numbrary.com/
• RevolutionAnalyticsコレクション： http://www.revolutionanalytics.com/subscriptions/datasets/
• サンプルRデータセット： http://stat.ethz.ch/R-manual/R-patched/library/datasets/html/00Index.html
• Stats4Stem Rデータセット： http://www.stats4stem.org/data-sets.html
• StatSci.org： http://www.statsci.org/datasets.html
• ワシントンポストリスト： http://www.washingtonpost.com/wp-srv/metro/data/datapost.html
• UCLA SOCRデータ収集： http://wiki.stat.ucla.edu/socr/index.php/SOCR_Data
• UFOレポート： http://www.nuforc.org/webreports.html
• ウィキリークス911ページャーインターセプト： http://911.wikileaks.org/files/index.html
• Yahoo Webscope： http://webscope.sandbox.yahoo.com/catalog.php

補完コレクション

• DataWrangling： http://www.datawrangling.com/some-datasets-available-on-the-web
• Inside-r： http://www.inside-r.org/howto/finding-data-internet
• Quora： http://www.quora.com/Where-can-I-find-large-datasets-open-to-the-public
• RS Collection 100+： http://rs.io/2014/05/29/list-of-data-sets.html
• StaTrek： http://hsiamin.com/posts/2014/10/23/leveraging-open-data-to-understand-urban-lives/

Answer 3

ここにいくつかあります。楽しんで。

http://archive.ics.uci.edu/ml/

http://aws.Amazon.com/datasets?_encoding=UTF8&jiveRedirect=1

http://crawdad.org/

http://data.austintexas.gov

http://data.cityofchicago.org

http://data.govloop.com

http://data.gov.uk/

http://data.medicare.gov

http://data.seattle.gov

http://data.sfgov.org

http://data.sunlightlabs.com

https://datamarket.Azure.com/

http://ftp.ncbi.nih.gov/

http://gettingpastgo.socrata.com

http://books.google.com/ngrams/

http://linkeddata.org/

http://medihal.archives-ouvertes.fr

http://public.resource.org/

http://rechercheisidore.fr

http://reddit.com/r/datasets

http://timetric.com/public-data/

http://www2.jpl.nasa.gov/srtm

http://www.bls.gov/

http://www.crunchbase.com/

http://www.dartmouthatlas.org/

http://www.data.gov/

http://www.datakc.org

http://www.factual.com/

http://www.freebase.com/

http://www.infochimps.com

http://www.kaggle.com/

http://build.kiva.org/

http://www.imdb.com/interfaces

http://dbpedia.org

Answer 4

ちょっとした考え：

• SGS地名データベース
• SDA PLANTSチェックリスト
• 多くの州のGISリポジトリのいずれか（例： NHの [〜＃〜] granit [〜＃〜]

Answer 5

Google Fusion Tablesにはいくつかあります。

http://tables.googlelabs.com/

Answer 6

Webサーバーのログについては、必要な形式に合わせていつでも生成できます。コードをテストする場合などは、保存/解析するフィールドに合わせて調整する必要があります。

データベースパフォーマンスのベンチマークに使用されるデータセットについては、データを生成できるツールを検討することをお勧めします。レッドゲートには、あまりお金をかけないための素晴らしいものがあります。

Answer 7

利用可能なデータセット こちら も同様です。

Answer 8

http://Quandl.com には、インターネット全体から収集された1,000万を超えるデータセットがあります。このリソースの素晴らしい点は、すべてのデータにアクセスする単一の方法を提供することです。このサイトには無料のExcelプラグインがあるか、R、Python、Rubyなどのライブラリがあります。

Answer 9

Kaggle.comにはデータマイニングの課題が頻繁にあります。データセットは、医療提供者データから信用履歴情報まで、幅広い分野をカバーしています。おそらくあなたが望んでいるものがそこにあります。

Answer 10

おそらく、顔認識アルゴリズムのトレーニングセットとして使用されるいくつかのデータベース： face-rec.org

Answer 11

さて、これは新しく、その背後に課題があります：

ミリオンソングデータセットチャレンジ

Answer 12

http://www.quora.com/Data/Where-can-I-get-large-datasets-open-to-the-public

Answer 13

Google N-Gramsについて誰も言及していないことに驚いています。 N-Gramsの詳細は http://googleresearch.blogspot.com/2006/08/all-our-n-gram-are-belong-to-you.html