Mastodon 的「去中心化」所导致的……?

看到 @durian@moresci.sale 写的论文导读。在 Mastodon 的去中心化网络里,用户之间的关联状况,其实比 twitter 更加高度集中。

Raman, Aravindh, Sagar Joglekar, Emiliano De Cristofaro, Nishanth Sastry, and Gareth Tyson. 2019. “Challenges in the Decentralised Web: The Mastodon Case.” Pp. 217–229 in Proceedings of the Internet Measurement Conference, IMC ’19. New York, NY, USA: Association for Computing Machinery.
研究人员爬取了在2017年4月到2018年7月期间的1750个实例,涵盖了23.9万用户和六千七百万条嘟嘟。基于这些数据,构建了用户相互关注的网络,以及实例之间的连接网络。

通过分析这些网络,论文发现了长毛象的中心化趋势。以下结果是基于搜集到的样本,不是全长毛象数据。

1. 用户方面,大约50%的用户都集中在10%的实例里面,因此少数的管理员在长毛象联邦中拥有过量的影响力。开放注册的实例拥有的用户比邀请注册实例里的更多,但是,邀请注册实例的用户平均嘟嘟数量差不多是开放实例用户嘟嘟数量的两倍(187嘟/人 vs. 95嘟/人)。不管哪种实例,都有中心化趋势,服从幂律(power law),前5%的实例容纳了约95%的嘟嘟;

2. 内容方面,只要关掉最大的10个实例,跨站时间轴上62.69%的嘟嘟都会消失。有些实例带有话题标签,研究发现,科技相关实例占据了55.2%的实例,却只容纳20.8%的用户和24.5%的嘟嘟。相比之下,虽然只有12.3%的实例是跟色情相关,但是却吸引了61%的全网用户;

3. 服务器方面,大部分实例都集中在少数的自治系统(Autonomous System, AS)上,主要在日美法德四国。最大的三个AS就有62%的实例。比如亚马逊AS上集中了62%的用户,尽管上面只有6%的实例。关注网络上,92%的用户是连接在一起的,但在极端情况下,只要五个AS崩坏,就会把相互连接的用户数量减到46%。

作者还分析了网络结构的强度。虽然长毛象分成了很多独立的实例,但是用户之间是高度连接的,跟推特相比,长毛象的连接更加脆弱,只要破坏少量的重要节点(高关注用户)就能够极大破坏原本的连接,相比之下,推特的关注网络就比较稳健。

伦理声明:研究通过了大学伦理审查,只收集了公共嘟嘟,并进行了匿名处理,论文结果不包括任何的嘟文内容分析。

实际使用中,也有类似的感觉,Mastodon 用户互相 follow 所形成的网络,比 twiiter 更加纵向化。大家相对更集中关注一些较活跃的用户,而在用户网络的末梢,横向的互相关注相对较少,尤其是不同实例之间的关注,更是如此。

但我觉得这种状况,是和 Mastodon(以及整个 ActivityPub)目前的设计机制有关。最近自己架设实例时,看了一下 Mastodon 和 Pleroma 的后台数据库,架构上有一些莫名其妙的地方:

( btw,我的新帐号: @fivestone@fivest.one

在当前实例里访问其它实例的文章时,系统要先把其它实例的文章(以及图片附件)复制到当前实例的服务器(而且是和本地用户的文章放在同一个数据表里……),才能被本地用户读取。本地用户所看到的,并不是其它实例的原始数据,而是被保存在本地实例的镜像。

当一个实例的用户 follow 其它实例的用户时,两个实例的数据库把外来实例用户的信息和 public key,保存在各自的数据库里(也是本地用户和外来用户存在同一个数据表里……)。当外来实例的用户发布新文章时,外来实例的服务器会把这条新文章,主动 push 到订阅了它的那些服务器里存起来。

我能看出这样做的一些好处,譬如减少了实例之间的重复通信、避免最终用户和外来实例间的翻墙屏蔽、增强安全性……etc。然而,一切外来实例的文字和图片,都要先保存到本地服务器,才能被阅读,由此导致的,就是用户在随意浏览外面实例的历史文章时,体验非常不友好

界面里显示的外部实例用户的 following 和 followers 数量,也仅仅是当前实例里和这个用户有关联的用户的数量,而不是这个用户在所有实例的真正总关联数。

不仅是外面实例陌生人的信息,不能直接看到;连已经 follow 的用户,在 follow 之前所写的文章,也不能在系统里直接看到。一定要再打开一个浏览器页面,访问对方在其自己实例上的页面,才能浏览。对历史信息的转发和回复也非常不便。

当用户在 Mastodon 界面中,点开一个陌生人的帐号时,有三种情况:

  1. 陌生人也在同一个实例。此时用户可以直接看到陌生人的所有历史文章;
  2. 陌生人在其它实例,但之前曾经被用户实例里的其它用户 follow 过。此时用户可以直接看到,从这个实例里第一次有人 follow 开始,陌生人发过的所有文章。再之前的文章,则必须打开外置浏览器才能查看;
  3. 陌生人在其它实例,之前用户所在实例并没有人 follow 过他。此时用户完全不能直接看到陌生人的任何历史文章,只能通过打开外置浏览器查看。

不能方便地查看一个人以前发过的文章,也就自然没有兴趣去 follow 他。这就导致了两种「集中化」的关联:

  1. 在同一实例内部的人,由于可以互相看到历史文章,所以更方便互相 follow;
  2. 一些已经被实例里其它人 follow 过的「热门用户」,他们的文章更容易被这个实例里的其它用户看到,从而更容易被 follow。

而与之相对的,就是不同实例之间从没 follow 过的陌生人之间,其横向关联度急剧下降。

如果换一种架构模式,每个实例把自己用户的文章都做出静态缓存;然后用户访问外来实例时,直接访问对方服务器的页面,这样的话,情况会不会好很多?

我的技术水平不够,不能再深入分析对比这些机制的优劣了。但这些,其实和「去中心化」本身,并没有直接的联系。「去中心化」和「中心化」的区别,其实仅仅是后台服务器由谁去建,以及随之带来的审查和信息自由度方面的不同。普通用户在使用中,其实是不应该感受到 Mastodon 和 Twitter 的差别的。我们所面对的,并不是「去中心化」带来的问题,而是在做一套新的「去中心化」架构时,所没能解决好的技术问题。那些「中心化」的服务,也有很多因为设计的不如 twitter 理想,而最终倒闭了。目前而言,Mastodon 的架构还远称不上完美,有很多不足,或者让用户觉得不习惯的地方。但这些问题,其实只属于某个产品设计上的问题,而不应该归咎于「去中心化」

个人 VPS 上的服务安装(未完稿)

这篇文章要讨论的是,如何在一台轻量级的 VPS 服务器上,基于自己的域名,同时安装如今各种流行,去中心化的网络服务:

  • 个人博客:Wordpress
  • ActivityPub 社交网络:Pleroma 或 Mastodon
  • Matrix 聊天服务器:Synapse 或 Dendrite
  • 个人网盘和在线办公套件:Nextcloud

然而,原本我一直在用 Linode 每月 5 美元,1C1G(1个CPU,1G内存)的服务器,打算安装的服务,也是基于这个级别的配置。然而弄到一半,突然被乔乔推荐了 Contabo 每月 5 欧元(要一次缴一年,不然有额外费用),4C8G 的服务器。虽然实际速度和网速,并不比 Linode 或 Vultr 好多少,但 8G 内存,选择各种服务的余地可就大多了。所以我整理出来的 1C1G 方案,自己并没有在用……原因我后面会说。

之前也犹豫,既然同样价钱都能 4C8G 了,那为啥还要写 1C1G 的方案?很快大家的配置也都会变高级了吧?但想想也未必,还是整理一下吧。


这篇文章讨论如何在轻量级服务器里塞进各种服务。——前提是这台服务器,假定只会有你一个人在用,最多加上你的闺蜜和男朋友。我并不知道几十个用户的 Mastodon 会有怎样的开销,至少在 1C1G 上这样做非常不靠谱。我所面向的,只是两三个好友自用的私人 VPS 而已。

这篇文章不是写给小白用户的。整个系统还是很复杂的。指望有一个教程,或者一个 docker-compose,能够让完全不懂 Linux 的用户,通过逐行复制命令,就能搞定所有的安装,目前还不现实。你至少要有在完全理解的基础上,用 LNMP 搭出 Wordpress 的能力。所以我也没必要把用过的每一条命令,都放在这篇文章里。——对于每一项服务,我会尽量给出相关靠谱攻略的链接,并且讨论一下里面的坑,和我个人所作的选择。

所以,其实这篇文章本质上就一句话:

是的,这些服务都可以装到一台机器上,不冲突。我弄过了,没问题,你们放心慢慢弄吧。


安装环境:一台 1C1G(或更好的) VPS 服务器,一个你自己的域名。

Continue reading

hello fediverse

当我说 mastodon 难部署的时候,并不是作为一个建站小白说的。用自己的域名和大约每月5刀的服务器,我可以很轻松地搭建一个 mastodon 实例,用 docker 部署则更简单。——如果我对这个服务器没其它需求的话。

问题在于,对于大多数有建站情操和能力的人来说,建站优先级最高的未必是 mastodon,而是 wordpress 啊。把这两套系统同时塞进一个服务器,理论上是能做到的,但其麻烦程度让我实在没欲望去折腾。而为这两个系统买两个服务器,又总觉得很耻辱,和小白们每个服务交一份钱有啥区别……

另一方面,尽管 mastodon 存在单用户模式,但真的建了实例只有自己一个人用的话,整套 mastodon 程序功能其实是很冗余的。所以对于个人用户而言,要做的可能并不是自建 mastodon 实例,而是寻找其它可以通过 ActivityPub 协议,和 Fediverse 用户进行沟通的程序。——目前似乎还没有太理想的。 write.as 正在做,我去试了试, 用户可以在 Fediverse 上 follow @fivestone@write.as ;wordpress 也有类似的插件(等我先给自己域名申请 SSL ……)。但似乎都只能让 Fediverse 用户「订阅」这个站点,而不能反向和他们回复沟通。

所以还要继续关注 Fediverse 的新进展。据说 nextcloud 已经可以支持 ActivityPub 和 mastodon 沟通了。——网上的免费服务器没这个功能,需要自建 nextcloud 然后挂载相关服务,哪位愿意折腾试试靠谱不?但似乎 nextcloud 还不支持发布 blog??(怒吼:为什么,明明这个更容易啊)。不然 nextcloud 就已经很一站化了。

笔记软件 Joplin

Joplin 当作笔记软件很久了,个么正式安利一下。

我用笔记软件基本是为了个人写作、记录想法、以及同步查看一些文本资料。对于富文本编辑、Web Clip、以及团队协作,完全没需求。最初用的是 Evernote,但自从印象笔记分裂那会儿,就基本放弃了。Onenote 这种连 Ctrl a 都不能用的笔记更是看了一眼就放弃。后来用了很长时间的 Simplenote,——这个确实不错,即使现在我也会向人推荐。只是如今对于把数据交给服务商而自己无法控制备份,越来越难以容忍,而且 Joplin 的一些特性确实感觉更舒服一些。

Joplin 的优点:

  • 不依赖于单一的服务器。笔记存储方式包括本机存储(不同步、或者手动用网盘同步),和多种网盘同步:Dropbox、Onedrive、Nextcloud、WebDAV(如墙内的坚果云)。而且同步时是从笔记软件直接访问网盘,不需要专门在电脑上安装网盘的客户端。
  • 各个平台的客户端种类完备:Win、Mac、Linux、Android、iphone……
  • 支持笔记文本加密,防止通过直接访问网盘或本地文件夹看到笔记内容。
  • 支持 markdown,软件界面还算友好,关键是可以调用其它外置编辑器来写作。也有 Web Clip 插件以及支持贴图,但我没用过这方面功能。
  • 支持多个笔记本,笔记本之间支持多层树结构。方便管理,支持 tag。
  • 开源。

缺点:

  • 缺少一个单纯通过 web 浏览器访问笔记的方式。如果没有任何电脑或手机客户端的话,很难通过直接访问网盘,来查看笔记。网盘上的笔记文件通常是加密的,即使不加密,每条笔记的文件名也是编码过的,并不能直观地从文件夹里找到文件。我问过开发组,能不能改成用可识别文本,直观显示文件名,被回复无法做到;虽然我觉得技术上应该是可行的。因为这个缘故,我到现在还同时在用着 Simplenote,以便偶尔在公用电脑上处理一些笔记。
    • Update:经推友推荐,发现已经有人做了通过浏览器访问 Joplin 笔记的服务器程序,基于 Python 开发,也已经有 Docker 的部署版本。但对一般用户而言,自建这种 web 服务器的门槛还是太高了。

天真的程序员?

关于比尔盖茨的全球疫苗计划,指责的声音一直都有。除去那些太脑残的,譬如盖茨想要「净化人类」的阴谋论不提。从学术角度对疫苗计划的运作过程、以及计划本身的批判也有很多,其角度包括:

  • 为了推广疫苗计划,疫苗的有效性是否被夸大,以及副作用被忽视。
  • 疫苗厂商的利益链条。
  • 用贫困国家的人民来试药,从而为发达国家提供更完善的疫苗。
  • 以及从更学术的角度分析这种疫苗观背后的「优生劣汰」思路是否合理,是否把白人关于「健康」的观念强加给不同的文化……

其中大部分问题确实存在,是资本主义在项目运作中,展现出的血腥丑恶一面。但要是根据这个认为比尔盖茨在这个过程中有白人至上的统治阴谋,我觉得还是想多了。


我想说的是另外一个事情。相对于其它群体,程序员(我说的不是社畜),是不是对构建一个自我想象中的美好世界,有着更多的天真和热情?某种意义上,程序员每日接触的算法、架构,是和真实世界脱节的,而通过设计这种架构中而得到的正反馈和成就感,会在性格上造成什么样的影响?

因为我也想过,如果我在完全不影响生计的情况下,还有几亿闲钱,会去做什么。很可能我会去雇人设计一个开放式的互联网社交体系,去替代当前这个从 Facebook 到 Wechat 都无比糟糕的社交生态圈。设计出来的东西可能未必有人会用,但至少要让想用的人,有那么一套完备的方案。过去十几年资本对 Facebook 的追捧,导致互联网由开放转向封闭,是我一直耿耿于怀的事。互联网本来可以有另一种不一样的未来,一种更符合程序员对这个世界的期望的未来。对这种未来的完善,因为资本的转向而被中止。很多人「解释」说,这种状况是必然发生的,因为人类就是愿意像 Facebook 那样,把自己的现实社交方式复刻到互联网上。但我并不能确定,这个过程是真的必然如此,还是只是对偶然性事件的事后解释。我只是觉得自己的这种「天真」,和比尔盖茨的疫苗世界,其实有点像。

Master Go

所以关于围棋彻底输给AI这件事,我感伤的点在哪里呢?

这本来就是意料之中的事。相对于「围棋爱好者」的身份,我也毫无疑问更贴近于「科学教徒/程序猿」。在AlphaGo的对局中,也出现了很多人类千年以来未曾想到的下棋思路,通过分析这些思路,就像很多文章总结的,人类和AI一起迎来围棋的新世界。

这个新世界的问题在于,这些新的,更牛逼的招数,各种数据搜集深度学习的算法,和人类的思路渐渐是两回事了。没有人,也没有一台计算机(未来或许有),能够用一名棋手能够理解的方式,讲述它为什么选择这样落子。虽然AlphaGo的算法也是由人类设计,但是,就好像面对奥数题,先用微积分得出答案,再根据答案揣度出一个小学生能理解的思路,又或者通过证明费马大定理和谷山志村猜想等价来证明前者(这个例子我似乎不应该这么用…)一样,在这里,我们所期待的,我们想要欣赏到的,解决问题时迸出的思维火花,让位给另一种更有效的思维方式。

我们日常生活里,能够通过正常人类的理性思维,分析抉择的机会已经不多了。那些我们思考着的,往往让位给资本,让位给专制甚至民主,让位给不成熟的感情(好吧这些是吐槽),让位给大数据,让位给学习算法……当然「让位」本身也是一种理性的选择,因为它们确实更有效,但在这个过程中,我们引以为荣引以为乐的思维体操,似乎渐渐地变成第二等的东西。无疑AI可以帮助我们释放自己,去更多的领域发展,但如果新的领域里更有效的仍然是AI,如果最终我们周围的事物99%都是由AI的逻辑决定,只剩下一些艺术神马的让人类互相自慰的东西,即使这一切都还在人类掌控之中,那时会是种怎样的寂寞?

嗯,就yy到这里。其实我也不确定围棋所代表的「正常人类思维」究竟指什么,以及是不是其实放弃了也无所谓。但这种把什么都能写成寂寞的感觉真好玩。

20170105

—————-
8月在德里,和几个印度人聊天,对方也是天天泡网络的现代同龄白领,天文地理历史政治娱乐宗教什么都能聊起来,而且确实没什么种族信仰之间的隔阂,聊的很开心。

后来我问他们:「你们平时棋牌娱乐是什么?」
「就是国际象棋。」
「哦……」
「国际象棋是印度发明的哟!」
「好吧。(确实如此)」
「中国呢?」
「(装逼)听说过围棋么?」
「没。」
给他们看图片。
「黑白棋?」
「不是……」介绍规则,「AlphaGo你们总该听过吧?应该是半年前的特大新闻了,人工智能blahblah……」
「没有哦。」
「好吧……」

所以也不用想太多。

—————-
顺便推荐安安猪的《波士顿围棋故事》六篇,讲述在波士顿下围棋的老外们,很好玩。

关于跑步APP

帮人填的调查问卷,答案顺手抄过来。

性别:……

年龄:……

参与跑步的时间:4年以上

跑步的时间段:晚上6~12点,偶尔下午

跑步频率:每周大于4次

跑步距离:5~10公里

跑步的环境:首选跑步机,偶尔户外

每年在跑步装备上的花费:¥1000-2000

目前使用的跑步APP:RunKeeper(搭配的Google Map在国内会漂移和被墙,所以在国内陌生地段需要看着地图跑时,偶尔也用咕咚)

跑步时主要关注的数据:距离、速度、时间、心率、温度、卡路里

跑步APP哪些功能会吸引你:跑步功能、数据分析、好友动态、线上马拉松、丰富的活动、装备购买

您希望跑步APP有哪些功能:

1. 可以在屏幕的不同部分自定义显示的内容:时间、距离、速度、平均速度、配速、心率……这些我都想同时看到,但目前没有一款APP能做到,反倒是Garmin早期的几款手持登山GPS界面做的不错,屏幕上八个格子,每个都可以定义显示内容。

2. 可以自定义语音提示的频率(每过几分钟 or 每隔几百米)和内容。

3. 手机的GPS偶尔会突然偏移到几百米甚至几公里以外,这个不是APP的责任,但希望APP能智能识别,或者让用户手动删除个别的偏移点,不要让一瞬间的误差毁了整段行程的数据。

4. 数据导出功能。(所有需要记录用户数据的软件都应该提供数据导出)

Macbook Pro 三系统 Mac + Win + Linux 安装攻略

Macbook Pro 三系统 Mac + Win + Linux 安装攻略

前几天把笔记本清空重装,顺便整理一下 Macbook Pro 装三系统的攻略。这个应该是最简单的方案了,不用装 rEFIt 引导分区,也不用再手动运行 GRUB 修复 Linux 或 Windows 的引导。

0.1 技术思路,简要地说,就是 Macbook 用 GPT 管理硬盘分区,但 Windows 的 MBR 只能识别 GPT 的前四个分区。所以先在 Mac OS 下用 BootCamp 划出 Mac 以外的分区,然后先用 Linux 安装盘的工具把整个硬盘分区,把 Win 装到第四个分区,再安装 Linux 顺便用 GRUB 自动引导 Win 。

0.2 Win 和 Linux 都是用光盘安装,没有光驱的机器,请去自行查询如何用 ISO 制作 Macbook 的 USB 安装盘——其实满复杂的,新人建议去找个外置光驱……

0.3 安装环境:
Macbook Pro 5.5(2009年款,另外附上作为非果粉当年的吐槽评测
Mac OS X 10.8 Mountain Lion(10.6 Snow Leopard 之后的都可以,之前的没试过)
Windows 7,XP 也可以
Ubuntu 12.04 LTM —— 推荐新人和懒人用这个版本。最新的12.10安装盘内置的 partman 分区软件在 Mac 下会报错。也可以用其它发行版如 Xubuntu 12.04 之类,但 Xubuntu 安装盘自带的 GRUB 包好像不全,安装过程中建议把网络连上自动更新,否则引导程序可能会自动安装失败,可以事后手动安装,但不叫做简单了。

1 安装 Mac OS,安装前用 Mac 安装盘里的【磁盘工具】,把要安装的硬盘设成一个分区(Mac OS),分区方式选择 Guid 。 / 没有安装盘的,也可以找个移动硬盘,Guid 分区后把现有系统映像过去,用移动硬盘启动,Guid 现有分区后,再映像回来。——总之就是确保 Mac OS 所在硬盘是 Guid 格式的分区,不然 BootCamp 不能通过。已有 Guid 系统的可以直接到下一步。

2 Mac OS下,放入 Windows 安装盘( BootCamp 要检测到 Win 安装盘才工作),【应用程序 – 实用工具 – BootCamp】,选择安装 Win ,划分区,系统重启时按【Option】键进入 Mac 引导界面,按退出键退出 Win 安装盘,插入 Linux 安装盘。

3 从 Linux 安装盘启动,不要直接安装,选择【Try Ubuntu】,打开【终端 Terminal】,输入【sudo gparted】,在 gparted 中将现有硬盘分区:

如图,sda1 和 sda2 是 Mac OS 的系统分区,不要动,后面有1个(BootCamp做的 Win 分区)或2个(可能有的 Mac 会留个系统恢复区)分区,把这些全部删除,重新添加分区;

sda3 是我硬盘中最大的分区,作为三个系统共同的数据分区,可以格式化成 ext2(推荐,Mac和Win都要装驱动识别、后期还要在Linux下调整权限)、NTFS、或者FAT32(其实这个最方便,但有单个文件4G的限制);

sda4 是给 Windows 留的分区,建议格式化为 FAT32,在Win安装界面下再重新格为 NTFS(如果直接格 NTFS,安装Win时可能不识别)。另外传说 Win 一定要装在第4个分区,装在第3个会引导失败,我以前试过一个好像也没问题,懒得多试了;

sda5 是Ubuntu分区,这后面的分区Win都无法访问了。随便你格式化成 ext2/3/4、ReiserFS 都可以。如果不需要数据分区的话,把 Linux 装到 sda3 也无所谓;

sda6 是Linux的交换分区,内存够大的话,没有也可以。

点击【√】确认所有修改,退出系统,关机。

4 开机,按【Option】,换碟,从 Win 安装盘启动,安装 Windows 时选择高级自定义分区,分区界面里只显示前四个分区(后面的显示未分配,不要动),把第4个分区格式化,安装 Win 到第4个分区。和一般装Win时一样,过程中会重启几次,直到 Win 全部装完。关机。

5 开机,换 Linux 安装盘,安装 Ubuntu 。安装类型选择【Something else】,打开分区软件,挂载要安装的 Linux 分区( /dev/sda5 → / 、 /dev/sda3 → /home or /data )。最下面的Boot Loader安装位置,确认是 /dev/sda 。

安装完成,每次开机时按【Option】键,选择启动 Mac OS 还是 Windows(可以在 Mac 或 Win 的 BootCamp 设置默认),选择 Win 后进入 Linux 的 Grub 菜单,选择进入 Linux 还是 Windows(可以在 Linux 里更改默认项和等待时间;另外从 Grub 里启动 Mac OS 似乎不管用的,以后可以研究或者直接删掉)。

好久没写技术帖了。