关于6月7日论坛卡顿 SDG助手相关情况说明

老阿发 · 发表于 2023-6-8 16:01:33

空巢老人发表于 2023-06-08 15:57
虽然看不懂也没用过，但是还是支持一下

感谢老哥支持

可以用用看

来自苹果APP客户端

hid_ogu9sc · 发表于 2023-6-8 17:37:43

来自安卓APP客户端

TNTTVSGOU · 发表于 2023-6-8 19:01:03

那个magicmark感觉像从百度复制了一堆毫不相关的文案，楼主说了15-600s刷新论坛页面然后提前关键词，那不就是我在浏览器刷新然后ctrl+f寻找关键词么？若这样算网络爬虫那十几个人同时搜索（我记搜索引擎都是网络爬虫）负载难道不比楼主的刷新负载大么？

来自安卓APP客户端

老阿发 · 发表于 2023-6-8 19:36:11

TNTTVSGOU 发表于 2023-06-08 19:01
那个magicmark感觉像从百度复制了一堆毫不相关的文案，楼主说了15-600s刷新论坛页面然后提前关键词，那不就是我在浏览器刷新然后ctrl+f寻找关键词么？若这样算网络爬虫那十几个人同时搜索（我记搜索引擎都是网络爬虫）负载难道不比楼主的刷新负载大么？

对一看你是明事理的感谢支持

来自苹果APP客户端

richthofen · 发表于 2023-6-8 19:54:05

楼主的特斯拉是韭菜王models么

来自安卓APP客户端

zhangwei123 · 发表于 2023-6-8 19:59:25

我说咋回事还以为是网速卡了

来自苹果APP客户端

TTJ-火车头 · 发表于 2023-6-8 20:43:36

好

来自安卓APP客户端

马格靶子效应器 · 发表于 2023-6-8 21:36:56

TTJ-火车头发表于 2023-06-08 20:43
好

感谢支持

来自苹果APP客户端

starstreak · 发表于 2023-6-8 22:07:22

magicmark 发表于 2023-06-08 09:56
你通过程序自动获取论坛网页并解析提取数据，这种行为实际上是网络爬虫行为。因为你的这种行为严重影响了论坛的正常运营，我站在技术的角度，向公众科普这是一种可能破坏网络资源、影响公众访问和论坛正常运营的行为。
尽管你一再否认这是网络爬虫行为，但你无法解释或反驳你的程序已经实现了自动获取网页和解析提取数据，这两个元素是定义网络爬虫的最基本要素。
我并没有断章取义或误导，我是在积极保护论坛的正常运行，而不像你一样，贴出违反规则的爬虫行为却不承认。这就是你的行为造成的结果，我们必须正视这个问题

我用坛友能听懂的话来解释下你的逻辑：你指着一把98K说你能开火，所以你一定也是马克沁！

来自安卓APP客户端

老阿发 · 发表于 2023-6-8 22:09:48

richthofen 发表于 2023-06-08 19:54
楼主的特斯拉是韭菜王models么

哈哈哈哈是

来自苹果APP客户端

老阿发 · 发表于 2023-6-8 22:10:00

starstreak 发表于 2023-06-08 22:07
我用坛友能听懂的话来解释下你的逻辑：你指着一把98K说你能开火，所以你一定也是马克沁！

没错

来自苹果APP客户端

太灰狼 · 发表于 2023-6-8 22:32:39

TNTTVSGOU 发表于 2023-06-08 19:01
那个magicmark感觉像从百度复制了一堆毫不相关的文案，楼主说了15-600s刷新论坛页面然后提前关键词，那不就是我在浏览器刷新然后ctrl+f寻找关键词么？若这样算网络爬虫那十几个人同时搜索（我记搜索引擎都是网络爬虫）负载难道不比楼主的刷新负载大么？

是的，就是这么回事，不过这种自动定时获取的功能实现就是所谓的“爬虫”，爬虫其实不是什么高端神秘的玩意儿，所谓爬虫攻击那是指频率，大量的访问请求干扰数据库正常工作，像我平时做报表，那么多的报表、通报，其实都是靠爬虫去爬这个数据的，真要我一个个去搜，累死人。但是我是设置每天早上爬取一次昨天的数据，就像你正常去访问搜索，并下载相关资料，没啥影响，问题在于频率的问题，这是关键，假如，我是说假如论坛的服务器抗压能力不行，很有可能那这个小程序就会对论坛的运行造成一定的影响，所以说这个小程序究竟有没有对论坛造成负面影响，取决于这个小程序的访问频率以及论坛的抗压能力

来自安卓APP客户端

太灰狼 · 发表于 2023-6-8 22:35:52

TNTTVSGOU 发表于 2023-06-08 19:01
那个magicmark感觉像从百度复制了一堆毫不相关的文案，楼主说了15-600s刷新论坛页面然后提前关键词，那不就是我在浏览器刷新然后ctrl+f寻找关键词么？若这样算网络爬虫那十几个人同时搜索（我记搜索引擎都是网络爬虫）负载难道不比楼主的刷新负载大么？

他说得理论是对的，说实话用爬虫去获取数据，这并不是什么违法的行为。如你说的，你去CTRL+F搜索，就是模仿你这个行为，据你设定的要素自动的去访问网站获取数据并反馈，这种行为就是所谓的爬虫。

来自安卓APP客户端

太灰狼 · 发表于 2023-6-8 22:36:43

starstreak 发表于 2023-06-08 22:07
我用坛友能听懂的话来解释下你的逻辑：你指着一把98K说你能开火，所以你一定也是马克沁！

你这个理解歪哪儿去了

来自安卓APP客户端

太灰狼 · 发表于 2023-6-8 22:55:09

重申一下我的观点，根据上面的讨论内容，小程序根据指定要素自动访问并获取相关数据，这种行为本身就是爬虫。爬虫不是什么神秘高端玩意儿，比如上面一位用户说的，自己ctrl+f搜索获取数据，这种人工行为转为自动访问搜索并获取数据，其实就是爬虫，所以所谓的爬虫行为本身其实并不会对论坛造成影响。所谓的爬虫攻击，那是短时间内高频率的访问，堵塞影响访问数据，影响论坛的正常运行，这才是是攻击行为。
开发者开发的这个小程序，对用户是非常友好的，省时省力，方便快捷，这是运用爬虫的意义。如果说设定访问频率合理，那就不会对论坛造成影响，更不造成所谓的攻击。
我个人工作，每天会做很多报表，发很多通报，就是爬虫去获取的，设定每天早上爬取一次前一天的指定数据，方便快捷。所以开发者要想辟谣也很简单，和论坛管理员确认一下，不是小程序的访问对论坛造成的影响。何必在这里争吵呢？而且又不在点子上。
以上为个人观点。

来自安卓APP客户端

九屿川 · 发表于 2023-6-8 23:15:03

省流：楼主点小程序占用不了多少资源，但有心之人夸大其词试图掩盖论坛自身的问题

来自苹果APP客户端

TNTTVSGOU · 发表于 2023-6-8 23:28:44

太灰狼发表于 2023-06-08 22:35
他说得理论是对的，说实话用爬虫去获取数据，这并不是什么违法的行为。如你说的，你去CTRL+F搜索，就是模仿你这个行为，据你设定的要素自动的去访问网站获取数据并反馈，这种行为就是所谓的爬虫。

但是负载很小吧？我以前用Python爬小说一秒都是十几个链接，挂了一晚上爬了一千五百多本，这个才最低15s一次

来自安卓APP客户端

老阿发 · 发表于 2023-6-8 23:32:29

太灰狼发表于 2023-06-08 22:55
重申一下我的观点，根据上面的讨论内容，小程序根据指定要素自动访问并获取相关数据，这种行为本身就是爬虫。爬虫不是什么神秘高端玩意儿，比如上面一位用户说的，自己ctrl+f搜索获取数据，这种人工行为转为自动访问搜索并获取数据，其实就是爬虫，所以所谓的爬虫行为本身其实并不会对论坛造成影响。所谓的爬虫攻击，那是短时间内高频率的访问，堵塞影响访问数据，影响论坛的正常运行，这才是是攻击行为。
开发者开发的这个小程序，对用户是非常友好的，省时省力，方便快捷，这是运用爬虫的意义。如果说设定访问频率合理，那就不会对论坛造成影响，更不造成所谓的攻击。
我个人工作，每天会做很多报表，发很多通报，就是爬虫去获取的，设定每天早上爬取一次前一天的指定数据，方便快捷。所以开发者要想辟谣也很简单，和论坛管理员确认一下，不是小程序的访问对论坛造成的影响。何必在这里争吵呢？而且又不在点子上。
以上为个人观点。

帖子贴出的数据写的很明确了，最高15秒一次的访问频率，27KB/s的最高发送数据量，0.3的QPS，100多M的数据存储。你觉得对于一个20多万用户2万多日活的的DZ，这访问频次算高吗？

来自苹果APP客户端

老阿发 · 发表于 2023-6-8 23:33:20

太灰狼发表于 2023-06-08 22:55
重申一下我的观点，根据上面的讨论内容，小程序根据指定要素自动访问并获取相关数据，这种行为本身就是爬虫。爬虫不是什么神秘高端玩意儿，比如上面一位用户说的，自己ctrl+f搜索获取数据，这种人工行为转为自动访问搜索并获取数据，其实就是爬虫，所以所谓的爬虫行为本身其实并不会对论坛造成影响。所谓的爬虫攻击，那是短时间内高频率的访问，堵塞影响访问数据，影响论坛的正常运行，这才是是攻击行为。
开发者开发的这个小程序，对用户是非常友好的，省时省力，方便快捷，这是运用爬虫的意义。如果说设定访问频率合理，那就不会对论坛造成影响，更不造成所谓的攻击。
我个人工作，每天会做很多报表，发很多通报，就是爬虫去获取的，设定每天早上爬取一次前一天的指定数据，方便快捷。所以开发者要想辟谣也很简单，和论坛管理员确认一下，不是小程序的访问对论坛造成的影响。何必在这里争吵呢？而且又不在点子上。
以上为个人观点。

你说的和管理确认早就确认过了这些内容也和他都说过了可是他现在只有攻击我的服务器和造谣抹黑了

你看看他自己算的那几个数

来自苹果APP客户端

老阿发 · 发表于 2023-6-8 23:38:22

TNTTVSGOU 发表于 2023-06-08 23:28
但是负载很小吧？我以前用Python爬小说一秒都是十几个链接，挂了一晚上爬了一千五百多本，这个才最低15s一次

所以说和他站一边这几个人，不断的无视关键数据，一味自说自话抹黑造谣泼脏水

来自苹果APP客户端

老阿发 · 发表于 2023-6-8 23:39:41

TNTTVSGOU 发表于 2023-06-08 23:28
但是负载很小吧？我以前用Python爬小说一秒都是十几个链接，挂了一晚上爬了一千五百多本，这个才最低15s一次

我给他们列数据、举例子、打比方

都被无视，只是一直说，你占用资源啦你这是爬虫行为你把论坛弄卡啦我真没招了

来自苹果APP客户端

太灰狼 · 发表于 2023-6-8 23:41:22

TNTTVSGOU 发表于 2023-06-08 23:28
但是负载很小吧？我以前用Python爬小说一秒都是十几个链接，挂了一晚上爬了一千五百多本，这个才最低15s一次

对的，一般来说，个人挂爬虫负载很小。但我不太清楚楼主开发的程序到底是怎么设定爬虫的，如果说每个人的小程序都是独立设定要素去爬取，举例子，假如论坛用户有1000人，那这个1000人不可能同时上网，也不可能每个人不停的在搜索访问，对论坛的压力是分散的，如果1000人都用爬虫哪怕是30秒一次，那就等于论坛凭空多了1000人，而且这1000人在不停的每隔30秒去访问这个论坛，比较原来论坛预计的访问压力，那肯定是大了很多倍；如果这个小程序是先广义爬取一次，数据保存到自己的库里，用户的小程序端是在小程序开发者的库里面获取，那对论坛啥影响都没有。这只是一个简单的比喻。
所以论坛管理方不参与进来讨论，这个真的没有意义。反正我认为合理运用爬虫本身无害，不用这玩意儿多少人得秃头啊？

来自安卓APP客户端

太灰狼 · 发表于 2023-6-8 23:44:26

小阿发发表于 2023-06-08 23:33
你说的和管理确认早就确认过了这些内容也和他都说过了可是他现在只有攻击我的服务器和造谣抹黑了你看看他自己算的那几个数

我觉得您和他说的说法都是正确的，但讨论的点不对，歪了，重点不在于这个行为是不是爬虫，而是您的访问对论坛的运行有没有造成压力。

来自安卓APP客户端

太灰狼 · 发表于 2023-6-8 23:47:47

小阿发发表于 2023-06-08 23:32
帖子贴出的数据写的很明确了，最高15秒一次的访问频率，27KB/s的最高发送数据量，0.3的QPS，100多M的数据存储。你觉得对于一个20多万用户2万多日活的的DZ，这访问频次算高吗？

单次访问自然不大，微乎其微，但在于使用的用户有多少吧？您这边的数据是这么回事，论坛那边的数据以及运维抗压能力才是至关重要的。所以就得请论坛方过来辟谣。

来自安卓APP客户端

老阿发 · 发表于 2023-6-8 23:59:24

太灰狼发表于 2023-06-08 23:41
对的，一般来说，个人挂爬虫负载很小。但我不太清楚楼主开发的程序到底是怎么设定爬虫的，如果说每个人的小程序都是独立设定要素去爬取，举例子，假如论坛用户有1000人，那这个1000人不可能同时上网，也不可能每个人不停的在搜索访问，对论坛的压力是分散的，如果1000人都用爬虫哪怕是30秒一次，那就等于论坛凭空多了1000人，而且这1000人在不停的每隔30秒去访问这个论坛，比较原来论坛预计的访问压力，那肯定是大了很多倍；如果这个小程序是先广义爬取一次，数据保存到自己的库里，用户的小程序端是在小程序开发者的库里面获取，那对论坛啥影响都没有。这只是一个简单的比喻。
所以论坛管理方不参与进来讨论，这个真的没有意义。反正我认为合理运用爬虫本身无害，不用这玩意儿多少人得秃头啊？

我说的内容你怎么还是无视呢？我的服务器15秒向论坛发送一次GET 您能看懂这句话吗？

来自苹果APP客户端

老阿发 · 发表于 2023-6-9 00:01:32

太灰狼发表于 2023-06-08 23:41
对的，一般来说，个人挂爬虫负载很小。但我不太清楚楼主开发的程序到底是怎么设定爬虫的，如果说每个人的小程序都是独立设定要素去爬取，举例子，假如论坛用户有1000人，那这个1000人不可能同时上网，也不可能每个人不停的在搜索访问，对论坛的压力是分散的，如果1000人都用爬虫哪怕是30秒一次，那就等于论坛凭空多了1000人，而且这1000人在不停的每隔30秒去访问这个论坛，比较原来论坛预计的访问压力，那肯定是大了很多倍；如果这个小程序是先广义爬取一次，数据保存到自己的库里，用户的小程序端是在小程序开发者的库里面获取，那对论坛啥影响都没有。这只是一个简单的比喻。
所以论坛管理方不参与进来讨论，这个真的没有意义。反正我认为合理运用爬虫本身无害，不用这玩意儿多少人得秃头啊？

“如果这个小程序是先广义爬取一次，数据保存到自己的库里，用户的小程序端是在小程序开发者的库里面获取，那对论坛啥影响都没有。”我明确说了，模式就这么个模式，但也没有保存任何论坛数据，谢谢你

来自苹果APP客户端