Данные, которые мы не замечаем

Анализ сообществ по цифровым следам. Данные, которые мы не замечаем.

А также кейс sci-hub.

Илья Воронцов

Сколько школ меняет средний школьник?

Откуда взять данные?

Собрать для своей задачи

Пример: провести опрос

Кто-то уже собрал их для вашей задачи

Пример: PISA/TIMSS

Кто-то собрал их с другой целью

Пример: число кластеров (=классов) друзей школьника в соцсети

Почему у вас нет данных?

Провести опрос долго и дорого
Респонденты загадочно молчат
Все врут
Измеряемая характеристика слишком субъективна
Никто не заинтересовался тем же, чем вы

Прокси-характеристики

Как узнать возраст человека?

спросить у знакомых
вычислить из года окончания института
угадать по фотографии
посчитать средний возраст друзей

Прокси-характеристики

Как узнать число образованных людей?

опросить школы, ВУЗы и колледжи
опросить работодателей
провести всеобщую перепись населения
узнать у телефонного оператора, сколько абонентов пишет смс с грубыми ошибками

Прокси-характеристики

Как отфильтровать только самые важные исторические события?

опросить сотню историков
прочитать основные учебники
Для каждого события найти статью в википедии, посчитать количество прочтений за месяц, длину статьи и число её переводов на другие языки

Ошибки важнее, чем содержание

Какой из двух вариантов рукописи появился раньше?
Копия наследует ошибки старой версии и вносит новые
(Биологи так изучают эволюцию)
Кражу базы данных можно доказать по ошибкам

Оцифровать архив документов недостаточно. Оригиналы важны

Никогда не знаешь, какую характеристику надо запомнить

Содержание
Расположение текста на странице
Шрифт
Цвет чернил
Типа бумаги
В какой папке лежал документ

Ошибки важнее, чем содержание

Неповторимый оригинал

Жалкая копия

Как страшно жить!

Бегая вы помогаете потенциальному противнику. Strava

Да, это военная база в пустыне

Hummingbird Clock

Частота тока в электросети одинаковая по всей UK
Случайно колеблется от 49 до 51 Hz
На аудиозаписях шум слышен проводов
Вот уже много лет хранится график частоты в разные моменты времени
Итого: по аудиозаписи можно узнать, когда она сделана!

Тыц сюда

Timing attack. Взламываем пароль

Пароль qwerty

попытка	время ответа сервера
a	100±30 мс
b	100±30 мс
...	100±30 мс
q	115±30 мс
r	100±30 мс
...	100±30 мс

Timing attack. Взламываем пароль

Пароль qwerty

попытка	время ответа сервера
qa	115±30 мс
qb	115±30 мс
...	115±30 мс
qw	130±30 мс
qx	115±30 мс
...	115±30 мс

Стилометрия: за псевдонимом не спрятаться

На самом деле это Джоан Роулинг

Стилометрия

Who is Mr. Satoshi Nakamoto?

Стилометрия

Шекспир - один человек или несколько?

И это даже не big data.

Как изучать общество/сообщество

Google street view

Седан

выбор демократов

Пикап

вы на территории республиканцев

Google N-gram viewer

Genetics and cybernetics в англоязычном мире

Google N-gram viewer

Гонения на генетику в СССР

Второе пришествие кокаина:
наркостатистика в Google Books

https://vk.com/@sysblok-vtoroe-prishestvie-kokaina

Анализ логов веб-сервисов

Самые популярные запросы

что снится людям в Москве?

зимой или летом делают ремонт?

Самые посещаемые места

где собираются футбольные болельщики

что фоткают на Арбате

And much, MUCH more...

... а вот и пример ↓

Анализ логов sci-hub. Где и когда качают научные статьи

timestamp	doi	ip	user	country	city	lat	lng
2017.01.01 00:00:28	10.1016/j.ajodo.2004.08.024	46	48	Egypt	N/A	30.0527614	31.3641695
2017.02.02 21:13:37	10.1109/4.818917	1855983	2715037	Singapore	Singapore	N/A	N/A
2017.04.16 20:25:05	10.1016/j.jsg.2005.01.014	1752366	105597	Poland	Warszawa	52.2296756	21.0122287