Global change

Уже несколько месяцев у нас разворачивается очередной "гейт", теперь республиканцы в Сенате озаботились тем, что консервативные сайты не получают достаточно высокого места в результатах гугло-поиска. Мне тоже так казалось. Я решил проверить, набрав первое, что пришло в голову - "gun control", и неожиданно для меня из девяти результатов на первой странице пять были из либеральных источников, пять из консервативных, и один (USA Today) нейтральный. Возможно, это как-то отражает политически актуальные темы, потому что в среднем консервативные источники в результатах поиска должны отражаться достаточно слабо (за исключением Fox News).




Об"яснений тут может быть два: или Гугл сознательно опускает вниз консервативные источники, или консервативные источники об"ективно проигрывают в дизайне контента, поднимающего веб-страницу вверх в результатах Гугло-поиска. Первое кажется мне весьма неправдоподобным: Гугл как и любая другая большая компания прежде всего заботится о процветании своего бизнеса, в противоположном случае он никогда бы не стал Гуглом. А вот про второе я прочитал интересную заметку о том, какие страницы действительно поднимаются вверх поиска.

Краткое содержание: существует около 200 основных параметров и более 1000 вспомогательных, влияющих на место страницы в поиске. Эти параметры включают:
- Число "качественных линков", ведущих на страницу (с этого показателя Гугл и начался);
- Скорость загрузки страницы;
- Новый контент;
- Количество рекламы;
- Качественная организация страницы;
- Оптимизация страницы для просмотра роботом Гугла;
............

То есть альтернативное об"яснение относительно небольшого представительства консервативных сайтов в поиске - рыночное: Гугл заинтересован в предоставлении наиболее релевантных результатов поиска, где релевантность определяется набором политически-нейтральных критериев. Консервативные сайты в среднем проигрывают в производстве такого контента.

На этом заметка останавливается, но без обоснованного предположения, почему консервативные сайты реже производят страницы, оптимизированные с точки зрения параметров Гугла, альтернативное об"яснение не может быть полным. У меня есть на этот счет предположение. Среди "программистских" специализацией есть одна, напрямую занимающаяся проблемой места веб-сайта в результатах поиска: SEO. Задача SEO - поднять популярность веб-сайта, при этом не нарвавшись на бан (например, невидимый текст на странице ее поднимет, но повысит вероятность бана). Предположение, что консервативные источники в среднем привлекают менее качественных программистов, может об"яснить ходшую оптимизацию их страниц. Такое предположение вполне подкрепляется данными о политической ориентации программистских специальностей:



Мне кажется логичным, что веб-сайт, специализирующийся на пропаганде консервативных ценностей будет менее привлекателен для либерально- или либертариански настроенного персонала и, соответственно, проиграет в качестве. Является ли это байесом - наверное, да. Должен ли Гугл ввести гандикап для консервативных сайтов? Это должны решить в Конгрессе, но такая мера будет явно не рыночной.

В заключение, эта история напрямую связана с Законом Гудхарта: "When a measure becomes a target, it ceases to be a good measure." < <когда показатель становится целью регулирования, он перестает быть хорошим показателем>. Поэтому я не считаю хорошей идеей открытие подробностей оптимизационного алгоритма поиска Гугла: это приведет к уничтожению релевантности этого алгоритма.

Нейча пишет, за спутниковые снимки снова будут брать деньги. Я помню, как Ландсатовские снимки стали бесплатными - то ли в конце Буша, то ли в начале Обамы. Тогда НАСА посчитало, что открытие архивов будет стоить сравнительно недорого, если принимать во внимание обслуживание платного доступа - и как пошли исследования и коммерческие продукты на основе снимков. Мы тогда на основе Landsat делали продукт для precision agriculture. Жалко, что это прикроется.

Пример лансдатовских снимков: Аральское море, 1977, 1998 и 2010.

IBM managed to develop speech recognition software with an error rate of 5.5%. Human's mean recognition error rate is 5.1% for comparison. 
Which reminds me of the Scots in a voice controlled elevator skit, hence I wonder: how will it deal with a multitude of accents such Russian?

Обрывочные мысли в связи с сетевым скандалом, обнаружившим, что создательница SciHub Александра Элбакян, цитируя друзей, "оказалась коммунисткой-сталинисткой, путинисткой и ватницей".

Я пишу статью, посылаю редактору, тот пересылает ее соответствующему ассоциированному редактору, в свою очередь, тот шлет статью ревьюерам, я получю статью назад, исправляю, снова возвращаю в систему, ее опять рев"юируют и принимают. До этого момента издательство тратится только на поддержку онлайн-системы приема статей. Готовая статья издательством верстается, судя по качеству работы, в стране третьего мира, и ставится в онлайн-доступ. Основные затраты этого процесса идут на деньги университетов, т.е. студентов и налогоплательщиков. Почему при этом издательство хочет, чтобы мой коллега заплатил за доступ к этой статье $50 а не $5 или даже $.5, как она стоит на самом деле, я понимаю - потому, что издательство ответственно перед акционерами за максимизацию прибыли. Но в результате - библиотека Гарварда в 2012 об"явила, что больше не может поддерживать подписку на журналы, а Elsevier об"явил о 37% годовой прибыли. При этом Elsevier подал на Элбакян в суд, требуя по $150000 за каждую статью на SciHub.

Как это связано с "коммунист-ватник"? Видимо, так: капиталист по-хорошему позавидует Elsevier и пойдет копить денег на покупку какого-нибудь продукта с неэластичним спросом. Лекарства, говорят, выгодны. Либертарианец будет ждать, пока свободный рынок переправит неэластичный спрос в эластичный :-) А коммунист вспомнит слова Маркса: "Обеспечьте 10 процентов, и капитал согласен на всякое применение, при 20 процентах он становится оживлённым, при 50 процентах положительно готов сломать себе голову, при 100 процентах он попирает все человеческие законы, при 300 процентах нет такого преступления, на которое он не рискнул бы, хотя бы под страхом виселицы" и пойдет грабить награбленное.

Это, конечно, шуточки, но человек - штука сложная и все мы в чем-то коммунисты и ватники. Особенно когда закон оказывается на стороне явно несправедливых действий.

Основная проблема новых возобновляемых источников энергии - низкая плотность энергии, что иллюстрируется этим графиком. По осям: плотность населения, потребление энергии на человека. Секущие: розовые - изолинии плотности потребляемой энергии, зеленые - изолинии типичной плотности различных видов производимой энергии. Для теоретической возможности полного перехода энергетики на возобновляемую, страна на графике должна находиться существенно ближе к началу координат, чем соответствующая изолиния. Поясняющая статья.

 Количество проектов (D) и медианная сумма (B), собранная через experiment.com. В среднем собирается порядка $3500 (медиана), но можно собрать и за миллион.  Here

Вот аналогичные данные по Миссури (из Университета Миссури): процент площади под ГМ кукурузой растет

а применение пестицидов уменьшается слабо:

Тестирую набор инструментов для анализа речи из Стенфорда. Результаты классификации текста по положительной/отрицательной окразке показали, что искусственный интеллект вполне дошел до уровня среднего американца.

Бедняжка окончил МГУ...
I graduated from Moscow State University. - Negative
I graduated from Harvard. - Positive

Логично...
I sell sexual slaves. - Positive
Ivan sells sexual slaves. - Neutral

Разве можно верить атеистам?
I am an atheist. - Negative

И политическое:
Do you consider necessary the preservation of the Union of Soviet Socialist Republics as a renewed federation of equal sovereign republics in which the rights and freedom of an individual of any nationality will be fully guaranteed? - Negative

Плотность распределения числа ссылок и длин заголовка статей для 20000 наиболее часто цитируемых статей 2010-го года

 Увидел, как в http://schegloff.livejournal.com/952219.html спорят о теме, которую я называю "как врать с помощью карт". В оригинальной записи  golos_dobra  приводит карту ET/P, то есть отношения испарения к осадкам - это один из индексов сухости - для территории США. После этого он - совершенно справедливо - отмечает, что четкое разделение страны на западную и восточную части теплыми и холодными частями цветовой гаммы (он ее ошибочно называет "радужной") есть результат произвольного назначения цветов разным величинам отношения ET/P. Если зеленый цвет прийдется на 0,95 - 1,05 вместо 0,7 - 0,79 (а первое более очевидно), то страна разделится совсем по-другому. Вывод тут таков, что можно использовать только непрерывную цветовую гамму, а составители карты ничего в настоящей науке не понимают.

В ответ, schegloff замечает, что существует корреляция положения вышеупомянутой границы с резким падением  плотности населения и предполагает, что составители карты - не дураки, и подогнали легенду под карту плотности населения - потому, что людям ведь надо пить, вот они и селятся там, где воды много:

На самом деле, цветовая гамма первой карты отражает переход между экорегионами США - грубо говоря,  уменьшение осадков есть причина того, что леса (в восточной части) сменяются прериями (на западе). Это определяет и доступность водных и природных ресурсов для хозяйственной деятельности, в конечном итоге контролируя освоение территории населением.

То есть существует скрытая переменная, с которой не-специалисты незнакомы. Недавно я на похожее у Иванова-Петрова наткнулся - там голосование за республиканцев и демократов связывалось с границей распространения оледенения. 

Даже не знаю, какой из выводов тут сделать: 
1. Человеку свойственно не только находить закономерности там, где их нет, но и находить их неправильно там, где они существуют,
или
2. Дискретную цветовую гамму стоит использовать там, где автор хочет показать существование границ, за которыми следует качественный скачек в значениях зависимой переменной.

PS Граница леса и степи хорошо видна при пересечении страны с запада на восток в менее населенных частях, где леса не вырублены под ведение сельского хозяйства. Ширина переходного участка между бескрайними степями и бескрайними же лесами составляет хорошо если 50 километров.