Большие данные: 68 невероятных бесплатных источников информации

Вся отличная визуализация начинается с хороших, чистых данных. Большинство считают, что сбор больших данных будет трудной работой, но это неправда. На сайтах доступны тысячи бесплатных наборов данных, готовых для анализа и просмотра любым пользователем.

Здесь собраны 70 источников свободных данных правительства, преступности, здравоохранения, финансовых и экономических данных, маркетинга и социальных сетей, журналистики и средств массовой информации, недвижимости, бизнеса и многое другое, сообщает Octoparse.

Бесплатные источники данных: правительство

Data.gov: это первый сайт, на котором правительство США бесплатно предоставляет информацию о климате и преступности в интернете.

Data.gov.uk: наборы данных от всех центральных департаментов Великобритании, а также от многих других местных и государственных органов. Сайт служит порталом для всех видов информации обо всем, включая бизнес и экономику, преступность и правосудие, оборону, образование, окружающую среду, правительство, здравоохранение, общество и транспорт.

CIA World Factbook: данные по всем странам мира; фокусируется на проблемах истории, правительства, населения, экономики, энергетики, географии, связи, транспорта, военных и транснациональных корпораций для 267 стран.

Socrata: это компания по разработке программного обеспечения, ориентированная на миссию, которая является еще одним интересным средством изучения правительственных данных с помощью некоторых встроенных инструментов визуализации.

Портал открытых данных Европейского Союза: портал открытых данных Европейского Союза – это единственная точка доступа к растущему диапазону данных от учреждений и других органов Европейского Союза. Увеличение данных включает в себя экономическое развитие в пределах ЕС и прозрачность в рамках институтов ЕС, включая географические, геополитические и финансовые данные, статистику, результаты выборов, правовые акты и данные о преступности, здравоохранении, окружающей среде, транспорте и научное исследование. Они могут быть повторно использованы в разных базах данных и отчетах. И еще различные цифровые форматы доступны от институтов ЕС и других органов ЕС. Портал предоставляет стандартизированный каталог, список приложений и веб-инструментов, которые повторно используют эти данные,

Datacatalogs.org: предлагает открытые данные от правительства США, ЕС, Канады, CKAN и многое другое.

Национальный центр статистики образования США: NCES является основным федеральным органом по сбору и анализу данных, касающихся образования в США и других странах.

Служба данных Великобритании: включает в себя основные опросы, спонсируемые правительством Великобритании, транснациональные обследования, продольные исследования, данные переписей, международные статистические данные.

Бесплатные источники данных: преступность

Унифицированная отчетность о преступности: программа UCR стала отправной точкой для сотрудников правоохранительных органов, студентов, следователей, представителей средств массовой информации и общественности, ищущих информацию о преступлениях в США.

Статистика ФБР по преступности: статистические отчеты и публикации по статистике преступности, в которых подробно описываются конкретные преступления и излагаются тенденции понимания угроз на местном и национальном уровнях.

Статистическое бюро юстиции: информация о системе уголовного правосудия США, в том числе о смертях, связанных с арестами, а также о переписи заключенных в тюрьмах, расследованиях правоохранительных органов и др.

Национальный поиск лиц, совершивших преступления на сексуальной почве: это беспрецедентный ресурс по обеспечению общественной безопасности, который предоставляет общественности доступ к данным о лицах, совершивших преступления на сексуальной почве в США. Сайт публикует самую последнюю информацию, предоставленную каждой юрисдикцией.

Бесплатные источники данных: здоровье

Управление по контролю за продуктами и лекарствами США: здесь вы найдете сжатые  данные из базы Drugs@FDA.

Юнисеф: собирает данные о положении детей и женщин во всем мире. Наборы данных включают точную, репрезентативную информацию об исследовании домашних хозяйств на национальном уровне.

Всемирная организация здравоохранения: статистика по питанию, болезням и здоровью в более чем 150 странах.

Healthdata.gov: данные о здравоохранении в США, собранные за последние 125 лет, включая заявки на получение медицинской помощи, эпидемиологию и статистику населения.

Информационный центр здравоохранения и социального обеспечения NHS: данные о здоровье от Национальной службы здравоохранения Великобритании. Организация выпускает более 260 официальных и национальных статистических публикаций. Это включает в себя национальные сравнительные данные для вторичного использования, полученные на основе статистики в больницах, которые могут помочь лицам, принимающим решения, повысить качество и эффективность оказания первой помощи.

Бесплатные источники данных: финансово-экономические данные

Открытые данные Всемирного банка: образовательная статистика по всему от финансов до показателей предоставления услуг.

Экономические данные МВФ: невероятно полезный источник информации, который включает отчеты о глобальной финансовой стабильности, региональные экономические отчеты, международную финансовую статистику, курсы валют, направление бизнеса и многое другое.

База данных ООН Comtrade: свободный доступ к подробным данным о мировой торговле с визуализациями. UN Comtrade является хранилищем официальной статистики международной торговли и соответствующих аналитических таблиц. Все данные могут быть доступны через API.

Глобальные финансовые данные: обладая данными о более чем 60 000 компаний, охватывающих 300 лет, Глобальные финансовые данные представляют собой уникальный универсальный источник для анализа мировой экономики.

Google Finance: котировки и графики акций в режиме реального времени, финансовые новости, конвертации валют и т.д.

Google Public Data Explorer: предоставляет публичные данные и прогнозы от различных международных организаций и академических учреждений, включая Всемирный банк, ОЭСР, Евростат и Университет Денвера. Они могут отображаться в виде линейных диаграмм, гистограмм, диаграмм сечений или на картах.

Бюро экономического анализа США: официальная отраслевая и макроэкономическая статистика США, в первую очередь отчеты о валовом внутреннем продукте (ВВП) США и его различных единицах. Они также предоставляют информацию о личных доходах, корпоративных доходах и государственных расходах в своих национальных счетах доходов и продуктов (NIPA).

Finder Financial Data Finder в OSU: многочисленные ссылки на все, что связано с финансами, независимо от того, насколько они непонятны, включая онлайн-индикаторы мирового развития, открытые данные Всемирного банка, глобальные финансовые данные, статистические базы данных Международного валютного фонда и EMIS Intelligence.

Национальное бюро экономических исследований: макроданные, отраслевые данные, данные о производительности, торговле, международных финансах и многое другое.

Комиссия США по ценным бумагам и биржам: ежеквартальные наборы данных, полученных в результате корпоративных финансовых отчетов, представленных в Комиссию.

Визуализация экономики: визуализация данных по экономике.

Financial Times: предоставляет широкий спектр информации, новостей и услуг для мирового бизнес-сообщества.

Бесплатный источник данных: маркетинг и социальные сети

Amazon API: просматривайте общедоступные наборы данных веб-служб Amazon по категориям, чтобы получить массу информации. Amazon API Gateway позволяет разработчикам безопасно подключать веб-приложения и мобильные приложения к API-интерфейсам, работающим в Amazon Web (AWS) Lambda, Amazon EC2 или других общедоступных веб-службах, размещенных вне AWS.

Американское общество турагентов: ASTA – крупнейшая в мире ассоциация профессионалов в сфере туризма. Предоставляет информацию участникам, включая туристические агентства и компании, чьи продукты они продают, такие как туры, круизы, отели, прокат автомобилей и т. д.

Social Mention: платформа для поиска и аналитики в социальных сетях, которая объединяет созданный пользователями контент со всей вселенной в единый поток информации.

Google Trends: показывает частоту ввода определенных поисковых терминов на нескольких языках по отношению к общему количеству поисковых запросов по всему миру.

Facebook API: узнайте, как публиковать и получать данные Facebook с помощью Graph API.

API Twitter: платформа Twitter связывает ваш веб-сайт или приложение с глобальным диалогом, который происходит в Twitter.

Instagram API: платформа Instagram API может использоваться для создания высококачественных, аутентичных, неавтоматизированных приложений и сервисов.

API Foursquare: предоставляет вам доступ к базе данных мест мирового класса и дает возможность взаимодействовать с пользователями и продавцами Foursquare.

HubSpot: большое хранилище маркетинговых данных. Вы можете найти последние статистические и маркетинговые тенденции здесь. Сайт также предоставляет инструменты для маркетинга в социальных сетях, управления контентом, веб-аналитики, целевых страниц и оптимизации поисковых систем.

Moz: SEO-информация, включая исследование ключевых слов, построение ссылок, аудит сайтов и информацию об оптимизации страниц, чтобы помочь компаниям лучше понять свои рейтинги в поисковых системах и узнать, как их улучшить.

Институт контент-маркетинга: последние новости и исследования в области контент-маркетинга.

Бесплатные источники данных: журналистика и СМИ

The New York Times Developer Network: статьи Search Times с 1851 года по сегодняшний день, заголовки, резюме и ссылки на связанные мультимедиа. Вы также можете искать обзоры книг, списки событий в Нью-Йорке, обзоры фильмов, лучшие истории и многое другое.

Associated Press API: позволяет искать и загружать контент, используя ваши собственные инструменты редактирования, не посещая порталы AP. Предоставляет доступ  членам и сторонним лицам изображениям и видео AP.

Google Ngram Viewer: это онлайновая поисковая система, которая записывает частоты любого набора поисковых строк, разделенных запятыми, используя ежегодное количество n-грамм, найденное в печатных источниках между 1500 и 2019 годами в текстовом корпусе Google.

Wikipedia: предлагает бесплатные копии всего доступного контента, созданного заинтересованным пользователям.

FiveThirtyEight: это веб-сайт, который фокусируется на анализе опросов общественного мнения, политических, экономических и спортивных блогов. Данные и код на Github лежат в основе истории и взаимодействия FiveThirtyEight.

Google Scholar: бесплатный веб-поисковик, который индексирует полный текст или метаданные академической литературы в различных форматах и дисциплинах. Включает большинство рецензируемых онлайновых научных журналов и книг, материалы конференций, тезисы и диссертации, препринты, рефераты, технические доклады и другую академическую литературу, включая судебные заключения и патенты.

Бесплатные источники данных: недвижимость

Замки: успешное независимое частное агентство, основанное в 1981 году. Оно предлагает комплексное обслуживание, которое включает в себя продажу жилья, аренду и администрирование, а также опросы и оценки.

Gumtree: первый в Великобритании сайт бесплатных объявлений. Покупка и продажа предметов, автомобилей, имущества, а также поиск или предложение работы.

Джеймс Хейворд: обеспечивает инновационный подход к базам данных для продаж, аренды и управления жильем.

Lifull Home’s: сайт недвижимости Японии.

Immobiliare.it: сайт недвижимости Италии.

Subito: сайт недвижимости Италии.

Immoweb: ведущий сайт по недвижимости в Бельгии.

Бесплатные источники данных: бизнес-справочник и обзор

LinkedIn:  это сервис социальных сетей, ориентированный на бизнес и занятость, который работает через веб-сайты и мобильные приложения. Он имеет 500 миллионов членов в 200 странах, и вы можете найти бизнес-справочник здесь.

OpenCorporates: является крупнейшей в мире открытой базой данных компаний с более чем 100 миллионами компаний в аналогичном количестве юрисдикций. Основная цель – сделать деловую информацию более доступной для общественного блага, особенно для решения проблемы использования бизнеса в преступных или антиобщественных целях, например, в коррупции, отмывании денег и организованной преступности.

Желтые страницы: первоначальный источник для поиска и связи с местными сантехниками, обслуживающим персоналом, механиками, юристами, стоматологами и многим другим.

Craigslist: американский сайт объявлений с разделами, посвященными рабочим местам, жилью, знакомствам, разыскиваемым предметам, услугам, сообществу, концертам, резюме и доскам обсуждений.

GAF Master Elite Contractor: основанная в 1886 году, GAF стала крупнейшим производителем коммерческой и жилой кровли в Северной Америке. Успех в увеличении продаж компании до почти 3 миллиардов долларов США стал результатом неустанного стремления к качеству в сочетании с ведущим в отрасли опытом и комплексными решениями для кровельных покрытий. Джим Шнеппер является президентом GAF, дочерней компании Standard Industries. 

CertainTeed: здесь вы можете найти подрядчиков, монтажников или строителей в США и Канаде для вашего жилого или коммерческого проекта.

Manta: является одним из крупнейших онлайн-ресурсов, предлагающих продукты, услуги и образовательные возможности. Каталог Manta имеет миллионы уникальных посетителей каждый месяц, которые выполняют поиск в обширной базе данных по отдельным компаниям, отраслевым сегментам и конкретным географическим спискам.

EU-Startups: каталог стартапов в ЕС.

Ассоциация адвокатов Канзаса: справочник юриста. Канзасская коллегия адвокатов (KBA) была основана в 1882 году как добровольная ассоциация для профессиональных юристов и насчитывает более 7000 членов, включая адвокатов, судей, студентов юридических факультетов и юристов.

Бесплатные источники данных: другие сайты

Capterra: каталог бизнес-программ и обзоров.

Монстр: источник данных для работы и карьерных возможностей.

Glassdoor: справочник вакансий и инсайдерская информация о компаниях с отзывами сотрудников, персонализированными инструментами оплаты труда и многим другим.

Схема хорошего гаража: справочник по автосервису и ТО.

ОСМОЗ: информация об ароматах.

Octoparse: бесплатный инструмент для извлечения данных для сбора всех веб-данных, упомянутых выше в интернете.