Global change

Гугл-гейт

Wed, 14 Aug 2019 14:26:00 GMT

Уже несколько месяцев у нас разворачивается очередной "гейт", теперь республиканцы в Сенате озаботились тем, что консервативные сайты не получают достаточно высокого места в результатах гугло-поиска. Мне тоже так казалось. Я решил проверить, набрав первое, что пришло в голову - "gun control", и неожиданно для меня из девяти результатов на первой странице пять были из либеральных источников, пять из консервативных, и один (USA Today) нейтральный. Возможно, это как-то отражает политически актуальные темы, потому что в среднем консервативные источники в результатах поиска должны отражаться достаточно слабо (за исключением Fox News).

Об"яснений тут может быть два: или Гугл сознательно опускает вниз консервативные источники, или консервативные источники об"ективно проигрывают в дизайне контента, поднимающего веб-страницу вверх в результатах Гугло-поиска. Первое кажется мне весьма неправдоподобным: Гугл как и любая другая большая компания прежде всего заботится о процветании своего бизнеса, в противоположном случае он никогда бы не стал Гуглом. А вот про второе я прочитал интересную заметку о том, какие страницы действительно поднимаются вверх поиска.

Краткое содержание: существует около 200 основных параметров и более 1000 вспомогательных, влияющих на место страницы в поиске. Эти параметры включают:
- Число "качественных линков", ведущих на страницу (с этого показателя Гугл и начался);
- Скорость загрузки страницы;
- Новый контент;
- Количество рекламы;
- Качественная организация страницы;
- Оптимизация страницы для просмотра роботом Гугла;
............

То есть альтернативное об"яснение относительно небольшого представительства консервативных сайтов в поиске - рыночное: Гугл заинтересован в предоставлении наиболее релевантных результатов поиска, где релевантность определяется набором политически-нейтральных критериев. Консервативные сайты в среднем проигрывают в производстве такого контента.

На этом заметка останавливается, но без обоснованного предположения, почему консервативные сайты реже производят страницы, оптимизированные с точки зрения параметров Гугла, альтернативное об"яснение не может быть полным. У меня есть на этот счет предположение. Среди "программистских" специализацией есть одна, напрямую занимающаяся проблемой места веб-сайта в результатах поиска: SEO. Задача SEO - поднять популярность веб-сайта, при этом не нарвавшись на бан (например, невидимый текст на странице ее поднимет, но повысит вероятность бана). Предположение, что консервативные источники в среднем привлекают менее качественных программистов, может об"яснить ходшую оптимизацию их страниц. Такое предположение вполне подкрепляется данными о политической ориентации программистских специальностей:

Мне кажется логичным, что веб-сайт, специализирующийся на пропаганде консервативных ценностей будет менее привлекателен для либерально- или либертариански настроенного персонала и, соответственно, проиграет в качестве. Является ли это байесом - наверное, да. Должен ли Гугл ввести гандикап для консервативных сайтов? Это должны решить в Конгрессе, но такая мера будет явно не рыночной.

В заключение, эта история напрямую связана с Законом Гудхарта: "When a measure becomes a target, it ceases to be a good measure." < <когда показатель становится целью регулирования, он перестает быть хорошим показателем>. Поэтому я не считаю хорошей идеей открытие подробностей оптимизационного алгоритма поиска Гугла: это приведет к уничтожению релевантности этого алгоритма.

comments

В цветущей Сахаре

Fri, 05 Oct 2018 22:05:02 GMT

"Зеленая Сахара" - популярное название влажного периода Северной Африки. На месте пустыни в то время простирались леса и саванна с богатым животным и растительным миром, поддерживающий значительное население. Влажный период климата закончился около 5.5 тысяч лет назад; ведущим фактором здесь было изменение наклона земной оси. Однако традиционно считалось, что непосредственным триггером опустынивания был перевыпас скота скотоводческими племенами, перебросивший систему в новый аттрактор. Но на днях Нейча опубликовала забавное исследование, в котором утверждается прямо противоположное: традиционные технологии выпаса скота увеличивали устойчивость экосистемы саванны по сравнению с "природной" и привели к замедлению появления пустыни на несколько сотен лет.

comments

Sat, 28 Apr 2018 15:28:55 GMT

Нейча пишет, за спутниковые снимки снова будут брать деньги. Я помню, как Ландсатовские снимки стали бесплатными - то ли в конце Буша, то ли в начале Обамы. Тогда НАСА посчитало, что открытие архивов будет стоить сравнительно недорого, если принимать во внимание обслуживание платного доступа - и как пошли исследования и коммерческие продукты на основе снимков. Мы тогда на основе Landsat делали продукт для precision agriculture. Жалко, что это прикроется.

Пример лансдатовских снимков: Аральское море, 1977, 1998 и 2010.

comments

Критическое мышление

Wed, 17 Jan 2018 02:37:36 GMT

Один комментарий к недавней записи мне показался интересным: "Советская школа (что бы под ней не понимать) как раз учила тому, что называется критическим мышлением (рассказы о том, как терзали докладчиков на семинарах Зельдовича, Ландау или Гельфанда, общеизвестны)." Я думаю, здесь проявляется разница между российским пониманием критического мышления с упором на критику других с западным critical thinking с упором на критический подход к собственному анализу. Как говорит известный анекдот про вышеупомянутую школу Ландау:

«Когда Нильс Бор выступал в ФИАН, то на вопрос о том, как удалось ему создать первоклассную школу физиков, он ответил: «По-видимому, потому, что я никогда не стеснялся признаваться своим ученикам, что я дурак...». Переводивший речь Нильса Бора Е.М. Лифшиц донёс эту фразу до аудитории в таком виде: «По-видимому, потому, что я никогда не стеснялся заявить своим ученикам, что они дураки...» ...Сидевший в зале П.Л. Капица глубокомысленно заметил, что это не случайная оговорка. Она фактически выражает принципиальное различие между школами Бора и Ландау, к которой принадлежит и Е.М. Лифшиц».

comments

Speech recognition

Tue, 14 Mar 2017 13:30:01 GMT

IBM managed to develop speech recognition software with an error rate of 5.5%. Human's mean recognition error rate is 5.1% for comparison.
Which reminds me of the Scots in a voice controlled elevator skit, hence I wonder: how will it deal with a multitude of accents such Russian?

comments

Research in post-truth era

Wed, 01 Feb 2017 13:32:21 GMT

Одна из замечательных сторон жизни ученого - возможность исследовать даже негативные стороны окружающей жизни. Для меня одним из самых интересных side projects было исследование климатического скептицизма - чему весьма поспособствовали приходящие в мой журнал скептики, приносящие знания о современных лидерах скептицизма. А сейчас трампизм только начинает жить, как Анналы Американской Ассоциации Географов уже об"явили call for papers для специального выпуска "управление окружающей средой в эпоху популизма и авторитаризма".

Themes for the special issue could include, but are not limited to:
• The funding, conduct, and communication of environmental research and analysis in a ‘post-truth’ era;
• The relationships between ‘post-truth’ and populist and authoritarian politics;
• The political implications of rural-urban linkages and disparities;
• The place of populism in different political formations and implications for environmental governance (e.g., left- vs. right-wing populisms);
• Contemporary politics of extraction, energy, and climate in populist and/or authoritarian formations;
• Relationships among environmental governance, racialized landscapes, and decolonial politics;
• Nationalism and resurgent tropes of bodies politic, contagion, and disease;
• The roles, strategies, and tactics of social movements;
• Efforts to theorize just, democratic environmental governance;
• Links between environmental governance and identities, including generational differences and religious affiliations;
• Changes in environmental conditions due to governance changes;

comments

Копирайт

Thu, 05 Jan 2017 17:50:39 GMT

Обрывочные мысли в связи с сетевым скандалом, обнаружившим, что создательница SciHub Александра Элбакян, цитируя друзей, "оказалась коммунисткой-сталинисткой, путинисткой и ватницей".

Я пишу статью, посылаю редактору, тот пересылает ее соответствующему ассоциированному редактору, в свою очередь, тот шлет статью ревьюерам, я получю статью назад, исправляю, снова возвращаю в систему, ее опять рев"юируют и принимают. До этого момента издательство тратится только на поддержку онлайн-системы приема статей. Готовая статья издательством верстается, судя по качеству работы, в стране третьего мира, и ставится в онлайн-доступ. Основные затраты этого процесса идут на деньги университетов, т.е. студентов и налогоплательщиков. Почему при этом издательство хочет, чтобы мой коллега заплатил за доступ к этой статье $50 а не $5 или даже $.5, как она стоит на самом деле, я понимаю - потому, что издательство ответственно перед акционерами за максимизацию прибыли. Но в результате - библиотека Гарварда в 2012 об"явила, что больше не может поддерживать подписку на журналы, а Elsevier об"явил о 37% годовой прибыли. При этом Elsevier подал на Элбакян в суд, требуя по $150000 за каждую статью на SciHub.

Как это связано с "коммунист-ватник"? Видимо, так: капиталист по-хорошему позавидует Elsevier и пойдет копить денег на покупку какого-нибудь продукта с неэластичним спросом. Лекарства, говорят, выгодны. Либертарианец будет ждать, пока свободный рынок переправит неэластичный спрос в эластичный :-) А коммунист вспомнит слова Маркса: "Обеспечьте 10 процентов, и капитал согласен на всякое применение, при 20 процентах он становится оживлённым, при 50 процентах положительно готов сломать себе голову, при 100 процентах он попирает все человеческие законы, при 300 процентах нет такого преступления, на которое он не рискнул бы, хотя бы под страхом виселицы" и пойдет грабить награбленное.

Это, конечно, шуточки, но человек - штука сложная и все мы в чем-то коммунисты и ватники. Особенно когда закон оказывается на стороне явно несправедливых действий.

comments

Еще про почту

Tue, 01 Nov 2016 11:57:35 GMT

Сразу возник вопрос, откуда у него данные - ведь для грамотного исследования нужно огромное количество имейлов. Как оказалось, что-то есть в открытом доступе, потом ушедший на пенсию профессор подарил всю свою почту университету на исследования, но самый большой набор в пол-миллиона писем передала фирма, скупающая обанкторившиеся бизнесы Силиконовой долины.

comments

В дополнение

Fri, 09 Sep 2016 20:24:24 GMT

Основная проблема новых возобновляемых источников энергии - низкая плотность энергии, что иллюстрируется этим графиком. По осям: плотность населения, потребление энергии на человека. Секущие: розовые - изолинии плотности потребляемой энергии, зеленые - изолинии типичной плотности различных видов производимой энергии. Для теоретической возможности полного перехода энергетики на возобновляемую, страна на графике должна находиться существенно ближе к началу координат, чем соответствующая изолиния. Поясняющая статья.

comments

Корреляция спортивных и научных достижений

Fri, 19 Aug 2016 21:35:45 GMT

Интересный график с данными Лондонской Олимпиады, показывающий зависимость между числом завоеванных медалей и числом научных публикаций по странам. Площадь круга соответствует ВНП страны. Отсюда.

comments

Научный крауд-фандинг

Fri, 04 Mar 2016 15:29:01 GMT

Количество проектов (D) и медианная сумма (B), собранная через experiment.com. В среднем собирается порядка $3500 (медиана), но можно собрать и за миллион. Here

comments

ГМО-3

Sun, 24 Jan 2016 15:40:12 GMT

Как и обещал, update. Я ничего в ГМО не понимаю, поэтому могу ошибаться, но в результате обсуждений и чтения у меня сложилось вот такое ощущение:

1. "Снижение применения пестицидов в разы" - лукавство, жизнь сложнее. Применение одного класса пестицидов снижается, другого увеличивается или не изменяется.

2. ГМ - организмы можно модифицировать, улучшая их потребительские качества (мне привели пример оптимизации кукурузы для переваривания свиньями), устойчивость к гербицидам (как следствие, можно применять большие дозы гербицидов для борьбы с сорняками) и устойчивость к повреждению насекомыми-вредителями (как следствие, можно применять меньшие дозы инсектицидов).

3. На практике, применение гербицидов с ГМ-растениями по сравнению с не-ГМ примерно то же (иногда слегка снижается, иногда слегка увеличивается). Важно также, что с ГМ-культурами применение гербицидов становется проще для фермеров. Однако, если я правильно понимаю, новый режим обработки гербицидами вызвал эволюцию сорных растений в сторону устойчивости к (обычно применяемым?) гербицидам - то, что анти-гмошники называют "суперсорняки".

4. Применение инсектицидов снижается радикально, в разы. Однако есть важный момент: для того, чтобы предотвратить эволюцию насекомых-вредителей в сторону устойчивости к ГМ-организмам, необходимо создавать для них "резервации " (refuge) из тех же не-ГМ культур. В США есть требование к фермерам 20% кукурузного поля отделять под не-ГМ кукурузу (я не понимаю, однако, как это сочетается с тем, что более 90% кукурузы в США - ГМ). В Европе то ли требования мягче, то ли они в каких-то странах не соблюдаются, в результате уже появился вредитель ГМО.

5. Главный итог появления ГМ - организмов - увеличение урожайности и прибыли фермеров, а не "снижение химии". Хорошо или плохо увеличение и удешевление с/х производства? Этот вопрос гораздо сложнее, я даже боюсь к нему подступаться. Я могу найти причины "за" и "против".

comments

В продолжение про ГМ

Sat, 23 Jan 2016 23:07:13 GMT

Вот аналогичные данные по Миссури (из Университета Миссури): процент площади под ГМ кукурузой растет

а применение пестицидов уменьшается слабо:

comments

ГМО

Sat, 23 Jan 2016 22:47:02 GMT

Во френдленте издеваются над комментаторами Шарова - те его молотят за апологетику ГМО. Действительно, в основном ~~идиотские~~ странные записи, но у меня возник вопрос. Вот Шаров пишет: "Для справки: технологии ГМО требуют, как минимум, в несколько раз меньшее количество средств защиты растений, чем обычные. Более того, так как применение средств защиты растений при ГМО технологии идет на ранней стадии вегетации, то в собираемых сельхозпродуктах, как минимум, в 10 раз меньше химического счастья: пестицидов, фунгицидов, гербицидов." Я у многих такое видел, но на сколько применение средств защиты растений снизилось в реальности?

Вот США, кукуруза, которая хороша тем, что процент ГМ увеличивается с практически нуля в 1990-м до 90%+ сейчас; динамика: здесь и здесь.

Если Шаров прав, то за 25 лет должно "в разы", т.е. минимум в два раза уменьшится применение "химии". Для примера взял гербициды, смотрю NASS: в 90-м гербициды применялись на 92% площади, в 2014-м на 97%. Общее применение гербицидов: снижение с 207 млн фунтов до 175 млн фунтов, на 15%. По весу на акр с теми же данными есть уже готовое по Вайомингу:

Это, конечно, грубая прикидка, но явного уменьшения применения гербицидов "в разы" не просматривается. У меня есть такие гипотезы:
1 - ГМ сорта в реальных условиях менее защищены, чем при их испытаниях
2 - Вместо радикального снижения применения гербицидов, фермеры предпочитают увеличивать урожайность
3 - Сорняки со временем приспосабливаются к ГМ сортам
4 - Я в чем-то ошибаюсь

Update: получил ссылку на мета-анализ, в котором в среднем раскход пестицидов на 37% падает - а урожай растет на 20+%, то есть моя гипотеза (2) вроде бы подтверждается. http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0111629#s3
Проблема в том, что тут все публикации комком, а хотелось бы знать, что происходит в реальной жизни при долголетней практике применения. И ведь такие данные есть.

comments

Turing test

Thu, 07 Jan 2016 18:43:14 GMT

Тестирую набор инструментов для анализа речи из Стенфорда. Результаты классификации текста по положительной/отрицательной окразке показали, что искусственный интеллект вполне дошел до уровня среднего американца.

Бедняжка окончил МГУ...
I graduated from Moscow State University. - Negative
I graduated from Harvard. - Positive

Логично...
I sell sexual slaves. - Positive
Ivan sells sexual slaves. - Neutral

Sexual slaves sold Ivan. - Negative

Разве можно верить атеистам?

Ann is Christian. - Positive

Baba is Muslim. - Neutral

I am an atheist. - Negative

И политическое:
Do you consider necessary the preservation of the Union of Soviet Socialist Republics as a renewed federation of equal sovereign republics in which the rights and freedom of an individual of any nationality will be fully guaranteed? - Negative

comments

Communicating science to public

Tue, 01 Dec 2015 13:29:50 GMT

I polymers in before them, which makes them porous (). Then I them and how much they store in #emojiresearch

Here's more

Interestingly, when scientists take on the task of simplifying their writing, the result is even less comprehensible. Which reminds me анекдот про "как коляску не пытаюсь собрать, все пулемет получается."

comments

На статьи с коротким названием больше ссылаются

Wed, 26 Aug 2015 15:58:04 GMT

Плотность распределения числа ссылок и длин заголовка статей для 20000 наиболее часто цитируемых статей 2010-го года

comments

Труднее всего писать про Дмитрия Менделеева

Wed, 26 Aug 2015 15:33:18 GMT

"The most error-strewn article, that on Dmitry Mendeleev, co-creator of the periodic table, illustrates this. Michael Gordin, a science historian at Princeton University who wrote a 2004 book on Mendeleev, identified 19 errors in Wikipedia and 8 in Britannica. These range from minor mistakes, such as describing Mendeleev as the 14th child in his family when he was the 13th, to more significant inaccuracies. Wikipedia, for example, incorrectly describes how Mendeleev's work relates to that of British chemist John Dalton. "Who wrote this stuff?" asked another reviewer. "Do they bother to check with experts?"

Из статьи Nature, 2005, сравнивающей качество научных статей в Википедии и Encyclopedia Britannica

comments

Спор математиков о географии

Fri, 03 Jul 2015 14:01:01 GMT

Увидел, как в http://schegloff.livejournal.com/952219.html спорят о теме, которую я называю "как врать с помощью карт". В оригинальной записи golos_dobra приводит карту ET/P, то есть отношения испарения к осадкам - это один из индексов сухости - для территории США. После этого он - совершенно справедливо - отмечает, что четкое разделение страны на западную и восточную части теплыми и холодными частями цветовой гаммы (он ее ошибочно называет "радужной") есть результат произвольного назначения цветов разным величинам отношения ET/P. Если зеленый цвет прийдется на 0,95 - 1,05 вместо 0,7 - 0,79 (а первое более очевидно), то страна разделится совсем по-другому. Вывод тут таков, что можно использовать только непрерывную цветовую гамму, а составители карты ничего в настоящей науке не понимают.

В ответ, schegloff замечает, что существует корреляция положения вышеупомянутой границы с резким падением плотности населения и предполагает, что составители карты - не дураки, и подогнали легенду под карту плотности населения - потому, что людям ведь надо пить, вот они и селятся там, где воды много:

На самом деле, цветовая гамма первой карты отражает переход между экорегионами США - грубо говоря, уменьшение осадков есть причина того, что леса (в восточной части) сменяются прериями (на западе). Это определяет и доступность водных и природных ресурсов для хозяйственной деятельности, в конечном итоге контролируя освоение территории населением.

То есть существует скрытая переменная, с которой не-специалисты незнакомы. Недавно я на похожее у Иванова-Петрова наткнулся - там голосование за республиканцев и демократов связывалось с границей распространения оледенения.

Даже не знаю, какой из выводов тут сделать:
1. Человеку свойственно не только находить закономерности там, где их нет, но и находить их неправильно там, где они существуют,
или
2. Дискретную цветовую гамму стоит использовать там, где автор хочет показать существование границ, за которыми следует качественный скачек в значениях зависимой переменной.

PS Граница леса и степи хорошо видна при пересечении страны с запада на восток в менее населенных частях, где леса не вырублены под ведение сельского хозяйства. Ширина переходного участка между бескрайними степями и бескрайними же лесами составляет хорошо если 50 километров.

comments

Всюду жизнь

Fri, 17 Apr 2015 13:22:22 GMT

На конференции. Когда б вы знали из какого сора...

comments

О роли теории

Wed, 18 Mar 2015 14:48:08 GMT

У Иванов-Петров интересная ссылка на работу про отличия русской школы географического районирования. Ссылка начинается так:

"Есть дисертация; автор - Смирнягин Л.В., географ, специалист по районированию, принадлежит к русской школе, а его тема - районирование США. Потому он о всех этих вопросах высказывается яснее прочих - что для других смутные подозрения, для него - очевидность, подкрепленная списком сеток районирования с авторами. Для начала там шикарный пример сохранения границ. Севернее границы висконсинского оледенения голосуют за республиканцев, южнее - за демократов. Сей фокус получает некоторое объяснение, а потом - несколько кусков про то, как выглядит ситуация в американской географии, где традиционно районы считаются необъективными, это всего лишь мнения исследователей относителньо комплексов признаков, с точки зрения другой школы, где районы считаются объективно существующими."

Для интересующегося политикой США человека очевидно, что утверждение "Севернее границы висконсинского оледенения голосуют за республиканцев, южнее - за демократов" для времени, когда Смирнягин писал свою диссертацию (80-е годы) неверно. Более того, ознакомление с электоральными картами 20-го века показывает, что оно вообще неверно. Я думаю, что автор принял наблюдение знаменитого американского историка Тернера о совпадении границ оледенения с картой голосования в США в конце 19-го века в качестве общей закономерности - и, как говорил начальник лаборатории, в которой 30 лет назад я писал свою диссертацию, "если модель расходится с данными, тем хуже для данных". По-моему, в этом преклонении перед теорией есть что-то отличающее не только русскую школу географического районирования, но и русскую науку в целом.
Тут я, конечно, как представитель русской научной школы, пытаюсь вывести закономерность из частного случая.

Граница оледенения	Выборы 1888-го года	Выборы 1988-го года

comments

Влияние уровня преступности до цунами на смертность во время цунами

Mon, 08 Dec 2014 22:12:23 GMT

Районы с более высоким уровнем преступности имели более высокий уровень смертности во время и после цунами (oстальные переменные контролировались). Авторы связывают это со снижением уровня поддержки и доверия между соседями. Данные по цунами 11 марта 2011 в Японии (3.11 tsunami).

comments

Happy GIS day - 2

Wed, 19 Nov 2014 19:49:22 GMT

Мой вклад в День ГИС: 25 карт, которые могут изменить ваше представление о мире.
Для затравки: страны, с которыми не воевала Великобритания (таких стран 22 - я так понимаю, на карте отмечены современные страны, на территории которых не было британских оккупационных частей).

comments

Happy GIS day!

Wed, 19 Nov 2014 19:08:55 GMT

Сегодня отмечается день геоинформационных систем (GIS) - традиционный день организации событий для знакомства широкой публики с географией вообще и с представлением пространственно-распределенной информации на карте в особенности. В связи с этим весьма интересна карта распределения посвященных GIS событий по миру.
Видно, что и Россия не осталась в стороне - на ее территории происходит целых два события. Кстати, карта кликабельна

comments

Ph.D. для чайников

Fri, 24 Jan 2014 18:11:29 GMT

Link

comments