Рассекречена программа XKeyscore по слежке за пользователями интернета

Газета The Guardian опубликовала еще несколько документов, полученых от Эдварда Сноудена и раскрывающих механизм слежки за пользователями интернета со стороны Агентства национальной безопасности США. На этот раз речь идет о программе по сбору, хранению и анализу данных XKeyscore, под действие которой попадают практически все интернет-пользователи в мире и которая учитывает «практически любую активность человека в онлайне».
Одна из презентаций XKeyscore (зеркало).
XKeyscore — это системный/аналитический фреймворк для глубокой инспекции HTTP-трафика. Позволяет находить цели по четким (адрес электронной почты) и мягким (контент) классификаторам, отслеживать активность объекта в реальном времени.
Система предоставляет доступ к «буферу» с примерно тремя сутками всего записанного нефильтрованного трафика.
С точки зрения инфраструктуры XKeyscore — массивный кластер под Linux, включающий в себя более 700 серверов, находящихся в 150 точках мира, в том числе в России и Украине.

Система может линейно масштабироваться путем добавления новых серверов и поддерживает механизм одновременного поиска в распределенной системе (Federated Query).

Уникальной особенностью системы XKeyscore является возможность автоматического извлечения метаданных из пользовательских сессий — и индексирования этой информации в базе данных.

Аналитик сам выбирает, какие метаданные индексировать. С помощью HTTP-парсера можно делать любые фильтры.

Например, можно отобразить все зашифрованные документы Word, которые отправлены по электронной почти из Ирана за последние три дня, или отобразить всех пользователей PGP в определенной стране. Или показать всех VPN-провайдеров в определенной стране и предоставить данные для расшифровки сессий (стр. 17 презентации). Или показать всех пользователей в стране Х, которые говорят на языке Y (по тегам HTML). Поиск осуществляется в реальном времени. Подобные методы фильтрации помогают аналитику выбрать объекты для дальнейшего отслеживания по четкому классификатору.
Система XKeyscore позволяет также осуществлять ретроспективный поиск в записанном архиве трафика и метаданных. Например, вывести все пользовательские сессии, в которых пользователь искал на Google Maps определенные координаты. Метаданные пользовательских сессий обычно хранятся в течение 30-ти дней. Собранная информация доступна четырем странам-партнерам США: это Великобритания, Австралия, Канада и Новая Зеландия.
Разработчики XKeyscore с гордостью заявляют, что благодаря оперативным данным из этой системы удалось арестовать более 300 террористов. Презентация датируется 2008 годом.