SDGun

 找回密码
 立即注册
搜索
查看: 2558|回复: 81

[讨论] 关于6月7日论坛卡顿 SDG助手相关情况说明

    [复制链接]

27

主题

459

帖子

1万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
12119
发表于 2023-6-8 09:11:05 | 显示全部楼层 |阅读模式
本帖最后由 小阿发 于 2023-6-8 09:59 编辑


    再重申:小程序没有使用爬虫技术,没有获取非公开页面,更没有带来服务器负担。

     某些带节奏的老哥我虽然不知道你是为了体现自己有文化还是有什么别的深层目的,但请别误导在这个领域不专业的其他人,利用大量业余时间维护圈子不容易,请别伤了热爱的人的心,谢谢。



—————-

    大家好,我是【SDG助手】小程序的开发者,小阿发。

    注意到今天论坛发布关于6月7日和近期论坛卡顿的公告,并且有部分水友对SDG助手提出相关疑问和善意提醒,本人将SDG助手程序开发及相关情况和证明说明如下:


    我是90后,66玩具伴随我长大,随着时间流逝和政策原因这些玩具慢慢消失,2017年偶然在淘宝我入手了人生第一把水弹:仁祥沙鹰,开启了我踏入水弹的新世界;2022年10月又是偶然机会我发现了SDGun论坛,抱着学习和交流的态度我注册了账号;
    半年多的论坛使用,我问过2B问题,买过潮玩高价,提过奇思妙想,还被大佬怒喷过,新手经历的问题我也都经历个遍,性格使然这些问题我也都解决了个遍。

    2023年过年期间,由于疫情和放假,每天消耗在论坛和玩具上的时间大大增加,了解了论坛从发起到核爆再到改版的不易,但是同时也逐渐发现了论坛使用的一些问题:
1、搜索功能是我最常用的功能,但不好用,无法分区搜索、模糊搜索功能鸡肋等等;
2、没有专门的测评区,测评质量参差不齐,我发过G17手拉系列非常详细的测评,但很快就沉下去找不到了,对新手很不友好;
3、关注功能鸡肋,关注了别人但是他发帖我仍然需要跨多个界面去找。
4、经常错过好价,为了时刻盯着本地好价要不断地打开APP不断地搜索……

    于是我萌生了一个念头,开发一个程序来解决这些问题,让我自己和大家更好的使用论坛。

    2023年2月,我开始自学javascript、html、css、微信小程序语言,着手开发这款小程序,并招募了第一批测试的小伙伴:

http://app.sdgun.com.cn/mag/circle/v1/show/wapShowView?content_id=305394&p_u=256411&topic_share=1&themecolor=000000&show_type=1

    经过不断研究,发现论坛本体是基于Discuz!3.4假设的,APP是某外包公司基于Discuz二次开发的成品,并且架设在阿里云服务器上,手机版网页端也是模板二次开发而来,但使用体验更好一些。所谓的论坛卡顿、服务器问题、各种报错提示均是由于上述二次开发成品APP的问题造成的;Discuz本身是国内最优秀的论坛管理软件,大家熟知的3DM、SIS、某榴社区等均是基于Discuz架设。
    那么直接访问论坛的Discuz原始页面其实就可以解决目前遇到的大部分卡顿问题,这些原始页面是公开的并且通过百度就可以找得到,这也就是SDG小程序的诞生和其技术原理。

    2023年2月底,小程序的最初两个基本功能开发完毕,进入测试阶段。第一个功能是通过每15秒到10分钟的间隔,刷新获取一次论坛页面,看是否有新帖发布,如果有,就获取题目并向设置了相关关键词的用户推送,的所谓【交易助手】功能;第二个功能类似,获得新帖的作者,并向关注了作者的用户推送,即【真·关注】功能。

    2023年3月18日,经过30多位水友无私的测试和提供意见,【SDG助手】小程序正式上线。我本人自掏腰包制作了一批奖杯和购买了一些水弹礼品发给参与内测和公测的水友。
   3月底根据论坛最火的激光头图制作了我们自己的Logo。


   
    小程序上线至今已经经历了100多个版本迭代,3000多位用户,具备了10多项各类功能,但使用人数最多最频繁的还是起初的两个功能:交易助手和关注功能。我也在继续不断开发和完善,经常关注我的朋友知道,下一步打算建设一个SDWiki,便于新手快速入门和方便大佬查阅信息。

    同时我也打心底非常希望论坛越办越好,水弹圈子越高越好,一个圈子只有信息透明通畅了,才能更好的吸纳新人,只有不断进入的新鲜血液,才能带动圈子的发展;论坛的建设和发展是圈子迈出的关键一步。
   

讲了这么多小程序的来源,说一下程序的运行逻辑和几个澄清:

1、SDG助手是否会对论坛服务器造成压力?是否是网络爬虫?
    小程序服务器对论坛的访问方式及在最频繁时【仅仅只有每15秒1~2次的GET请求】;普通用户使用论坛时,单单打开APP或发布、回复帖子等其中一个行为,就需要在1~2秒内向论坛发送5~20个GET和POST请求。
    这绝不属于网络爬虫技术,网络爬虫是什么请自行百度学习。同时也更没有用到抓包,什么是抓包也请百度。
    和普通的用户行为对比之下,SDG助手小程序对论坛服务器的负载微乎其微。
    小程序推送、搜索等行为均在我个人架设的服务器和腾讯官方服务器上完成,对论坛服务器完全无影响。
    同时,由于使用SDG助手的用户不再为了时刻盯着某类帖子频繁进行搜索了,反而一定程度上降低了论坛服务器压力,将其转移至我的服务器了。因为论坛目前大约有几十万帖子,几次搜索就基本相当于把这几十万数据都跑一遍(特别是当搜索结果较少时),这是非常耗费服务器资源的行为,SDG助手的功能减少了用户这种行为的频繁发生。

2、你怎么证明你没对服务器造成影响?
    首先,论坛服务器卡顿时,我的小程序也不能正常工作。最近一次4月22日论坛崩溃时,导致SDG助手也崩溃了;所以我没必要占用论坛资源或破坏论坛服务器。
    其次,SDG助手目前是非常轻量级的程序,处理能力和发送能力极其有限,相对于论坛这种中大型服务器根本造不成压力。具体数据看图就行:



   
    最后,就算我是功利的,那也得靠论坛发展好了,有更多人加入,我的程序才有更多人用,我没任何理由破坏论坛服务器。

3、你获取论坛信息,侵犯了论坛版权?
    小程序获取的所有信息,都在公开渠道可以获取,我没有绕过任何屏蔽和限制获取任何信息。
     对于论坛内容的获取,全部明确指明了来源和作者,并且只发给关注了对应关键词的特定用户,非公开展示,不存在任何侵权行为。




4、你的程序看广告才能用,你为什么要盈利?
    首先,小程序本身所有功能永久免费,唯一收入来源是广告,而且并没有盈利,到现在都是亏钱的。
    服务器每天都有费用,并且我已经花费了大量时间和精力制作这个程序,并且造成了一定开支,我没有理由始终自己往里垫钱吧。


   
    而且,如果你说的盈利是指这些的话:


    是不是论坛开始接广告的时候你都气疯了?
    那我告诉你我已经靠这个小程序的盈利开上特斯拉了呢下一步买房指日可待


    今天这个澄清和辟谣发的感觉很累,这个圈子,有的人在利用自身能力努力改变和完善,有的人在利用自己无知寻开心和刺激,还有的人在利用别人的热爱给自己谋蝇头小利。只能说人各有志。


    最后还是感谢始终支持我的大家,是你们的不断支持和鼓励让我有动力把这个程序做下去维护下去。
    我也不会辜负大家期望和当初的承诺,本程序永久免费使用,若当我无法再继续运营,会将全部源代码公开,大家可自行假设使用。

最后的最后仍然是:
微信搜索 SDG助手 或 扫描下方二维码 使用


对本程序感兴趣的,有建议意见的也可加QQ群,本群防水,不得讨论发射器相关内容


自由之翼 开始探索

1821

主题

7143

帖子

4万

积分

金属狂潮

Rank: 8Rank: 8

积分
43808
发表于 2023-6-8 09:16:17 来自手机 | 显示全部楼层
用别骂,骂别用。最看不得有些人端起碗来吃饭,放下筷子骂娘。
自由之翼 开始探索

27

主题

459

帖子

1万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
12119
 楼主| 发表于 2023-6-8 09:16:51 来自手机 | 显示全部楼层
马格靶子效应器 发表于 2023-06-08 09:16
用别骂,骂别用。最看不得有些人端起碗来吃饭,放下筷子骂娘。

感谢一如既往支持
自由之翼 开始探索

7

主题

95

帖子

3029

积分

收割者

Rank: 5Rank: 5

积分
3029
发表于 2023-6-8 09:23:04 来自手机 | 显示全部楼层
具体到你提到的例子:

1. "使用 GET 请求访问网址":这是网络爬虫最基本的行为。爬虫通过向目标服务器发起 HTTP GET 请求,来获取网页的 HTML 数据。

2. "提取帖子数据":在获取了 HTML 数据之后,网络爬虫需要解析这些数据,以提取有价值的信息。这个过程一般需要用到 HTML 解析器以及正则表达式等工具。

所以,你描述的这个行为就是网络爬虫从发送 GET 请求,获取 HTML 数据,到解析数据,提取有价值信息的过程。
自由之翼 开始探索

98

主题

2213

帖子

5万

积分

地狱烈火

Rank: 9Rank: 9Rank: 9

积分
52103
发表于 2023-6-8 09:29:51 来自手机 | 显示全部楼层
请问可以定做个这个激光头的logo玩?仅自用
自由之翼 开始探索

19

主题

99

帖子

2953

积分

重炮手

Rank: 4

积分
2953
发表于 2023-6-8 09:31:45 来自手机 | 显示全部楼层
虽然但是,我点进这个帖子就经历了六次加载失败切了两次网才进来
自由之翼 开始探索

27

主题

459

帖子

1万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
12119
 楼主| 发表于 2023-6-8 09:42:42 来自手机 | 显示全部楼层
隔壁小刘 发表于 2023-06-08 09:29
请问可以定做个这个激光头的logo玩?仅自用

自用可以
自由之翼 开始探索

27

主题

459

帖子

1万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
12119
 楼主| 发表于 2023-6-8 09:43:18 来自手机 | 显示全部楼层
magicmark 发表于 2023-06-08 09:23
具体到你提到的例子:

1. "使用 GET 请求访问网址":这是网络爬虫最基本的行为。爬虫通过向目标服务器发起 HTTP GET 请求,来获取网页的 HTML 数据。

2. "提取帖子数据":在获取了 HTML 数据之后,网络爬虫需要解析这些数据,以提取有价值的信息。这个过程一般需要用到 HTML 解析器以及正则表达式等工具。

所以,你描述的这个行为就是网络爬虫从发送 GET 请求,获取 HTML 数据,到解析数据,提取有价值信息的过程。

你打开我帖子也有这两个行为 阁下如何解释
自由之翼 开始探索

7

主题

95

帖子

3029

积分

收割者

Rank: 5Rank: 5

积分
3029
发表于 2023-6-8 09:44:31 来自手机 | 显示全部楼层
至于你有没有用爬虫,有没有违法网站规定请看下图。robots.txt 是一个由网站管理员创建并放在网站根目录下的文件,用于告诉搜索引擎和其他网络爬虫哪些页面可以抓取,哪些页面不可以抓取。这个标准被称为 "Robots Exclusion Protocol" 或 "robots.txt 协议"。

自由之翼 开始探索

27

主题

459

帖子

1万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
12119
 楼主| 发表于 2023-6-8 09:46:07 来自手机 | 显示全部楼层
magicmark 发表于 2023-06-08 09:23
具体到你提到的例子:

1. "使用 GET 请求访问网址":这是网络爬虫最基本的行为。爬虫通过向目标服务器发起 HTTP GET 请求,来获取网页的 HTML 数据。

2. "提取帖子数据":在获取了 HTML 数据之后,网络爬虫需要解析这些数据,以提取有价值的信息。这个过程一般需要用到 HTML 解析器以及正则表达式等工具。

所以,你描述的这个行为就是网络爬虫从发送 GET 请求,获取 HTML 数据,到解析数据,提取有价值信息的过程。

言论自由你想怎么说就怎么说 但请别用你的片面和你自己的标准误导别人 没有任何一个人和机构敢说这两条就能认定是网络爬虫了
自由之翼 开始探索

7

主题

95

帖子

3029

积分

收割者

Rank: 5Rank: 5

积分
3029
发表于 2023-6-8 09:46:52 来自手机 | 显示全部楼层
当爬虫以高频率(例如每秒)访问一个论坛网站时,它实际上是在发送大量的请求到服务器。服务器需要处理所有这些请求,包括返回请求的数据,这需要消耗服务器的资源,如处理器的计算能力、内存和网络带宽等。
如果爬虫的请求过于频繁,可能会导致服务器资源过载。首先,服务器需要处理的请求数量可能会超出其处理能力,这可能会导致服务器响应变慢,甚至崩溃。此外,由于大量的数据传输,可能会消耗掉服务器的网络带宽,导致其他用户的访问速度变慢。这些都可能对服务器的性能产生负面影响,影响到所有用户的使用体验。
在用户角度看,这可能表现为页面加载变慢,请求超时,或者是页面功能异常等问题。用户可能会感到论坛变得卡顿,甚至可能因此无法正常使用论坛。这对用户体验产生负面影响,可能导致用户离开论坛,影响到论坛的用户基数和活跃度。
此外,过于频繁的爬虫请求也可能被服务器视为恶意行为,比如 DDoS 攻击
因此,进行网络爬虫操作时,应遵循一定的原则和礼节,以免对服务器产生过大的负担。这包括尊重和遵守 robots.txt 文件.
同时您的小程序产品是创新的,是一个帮助大家的产品,但是请不要影响论坛的正常运行.
自由之翼 开始探索

27

主题

459

帖子

1万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
12119
 楼主| 发表于 2023-6-8 09:49:05 来自手机 | 显示全部楼层
magicmark 发表于 2023-06-08 09:44
至于你有没有用爬虫,有没有违法网站规定请看下图。robots.txt 是一个由网站管理员创建并放在网站根目录下的文件,用于告诉搜索引擎和其他网络爬虫哪些页面可以抓取,哪些页面不可以抓取。这个标准被称为 "Robots Exclusion Protocol" 或 "robots.txt 协议"。

“用于告诉【搜索引擎和其他网络爬虫】哪些页面可以抓取,哪些页面不可以抓取。”
不属于网络爬虫,再说一遍,你这孩子咋又开始断章取义了呢,咱俩的技术讨论已经变味了所以,这次回复我就到此为止了,之后所有内容都是你对我错,可以了吧。
自由之翼 开始探索

1821

主题

7143

帖子

4万

积分

金属狂潮

Rank: 8Rank: 8

积分
43808
发表于 2023-6-8 09:54:18 来自手机 | 显示全部楼层
magicmark 发表于 2023-06-08 09:46
当爬虫以高频率(例如每秒)访问一个论坛网站时,它实际上是在发送大量的请求到服务器。服务器需要处理所有这些请求,包括返回请求的数据,这需要消耗服务器的资源,如处理器的计算能力、内存和网络带宽等。
如果爬虫的请求过于频繁,可能会导致服务器资源过载。首先,服务器需要处理的请求数量可能会超出其处理能力,这可能会导致服务器响应变慢,甚至崩溃。此外,由于大量的数据传输,可能会消耗掉服务器的网络带宽,导致其他用户的访问速度变慢。这些都可能对服务器的性能产生负面影响,影响到所有用户的使用体验。
在用户角度看,这可能表现为页面加载变慢,请求超时,或者是页面功能异常等问题。用户可能会感到论坛变得卡顿,甚至可能因此无法正常使用论坛。这对用户体验产生负面影响,可能导致用户离开论坛,影响到论坛的用户基数和活跃度。
此外,过于频繁的爬虫请求也可能被服务器视为恶意行为,比如 DDoS 攻击
因此,进行网络爬虫操作时,应遵循一定的原则和礼节,以免对服务器产生过大的负担。这包括尊重和遵守 robots.txt 文件.
同时您的小程序产品是创新的,是一个帮助大家的产品,但是请不要影响论坛的正常运行.

人家说的很清楚了15秒访问一次,你怎么还在这带节奏,我看你也听懂技术的,难不成论坛就是你搞瘫痪的然后在这找替罪羊?
自由之翼 开始探索

7

主题

95

帖子

3029

积分

收割者

Rank: 5Rank: 5

积分
3029
发表于 2023-6-8 09:56:10 来自手机 | 显示全部楼层
小阿发 发表于 2023-06-08 09:49
“用于告诉【搜索引擎和其他网络爬虫】哪些页面可以抓取,哪些页面不可以抓取。”
不属于网络爬虫,再说一遍,你这孩子咋又开始断章取义了呢,咱俩的技术讨论已经变味了所以,这次回复我就到此为止了,之后所有内容都是你对我错,可以了吧。

你通过程序自动获取论坛网页并解析提取数据,这种行为实际上是网络爬虫行为。因为你的这种行为严重影响了论坛的正常运营,我站在技术的角度,向公众科普这是一种可能破坏网络资源、影响公众访问和论坛正常运营的行为。
尽管你一再否认这是网络爬虫行为,但你无法解释或反驳你的程序已经实现了自动获取网页和解析提取数据,这两个元素是定义网络爬虫的最基本要素。
我并没有断章取义或误导,我是在积极保护论坛的正常运行,而不像你一样,贴出违反规则的爬虫行为却不承认。这就是你的行为造成的结果,我们必须正视这个问题
自由之翼 开始探索

177

主题

1676

帖子

1万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
16029
发表于 2023-6-8 09:59:51 来自手机 | 显示全部楼层
刚试了试,挺好用的,针对性比较强。挣钱可以,能得到相应的服务就行,顶你
自由之翼 开始探索

27

主题

459

帖子

1万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
12119
 楼主| 发表于 2023-6-8 10:02:28 来自手机 | 显示全部楼层
magicmark 发表于 2023-06-08 09:56
你通过程序自动获取论坛网页并解析提取数据,这种行为实际上是网络爬虫行为。因为你的这种行为严重影响了论坛的正常运营,我站在技术的角度,向公众科普这是一种可能破坏网络资源、影响公众访问和论坛正常运营的行为。
尽管你一再否认这是网络爬虫行为,但你无法解释或反驳你的程序已经实现了自动获取网页和解析提取数据,这两个元素是定义网络爬虫的最基本要素。
我并没有断章取义或误导,我是在积极保护论坛的正常运行,而不像你一样,贴出违反规则的爬虫行为却不承认。这就是你的行为造成的结果,我们必须正视这个问题

嗯 你说的都对
自由之翼 开始探索

7

主题

95

帖子

3029

积分

收割者

Rank: 5Rank: 5

积分
3029
发表于 2023-6-8 10:03:24 来自手机 | 显示全部楼层

嗯,你知错就改就是好孩子
自由之翼 开始探索

44

主题

1247

帖子

2万

积分

金属狂潮

Rank: 8Rank: 8

积分
26087
QQ
发表于 2023-6-8 10:12:50 来自手机 | 显示全部楼层
顶,小程序很好用,已经捡了好多漏了
云端的人

27

主题

459

帖子

1万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
12119
 楼主| 发表于 2023-6-8 10:43:10 来自手机 | 显示全部楼层
好想组SE~ 发表于 2023-06-08 10:12
顶,小程序很好用,已经捡了好多漏了

感谢支持
自由之翼 开始探索

27

主题

459

帖子

1万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
12119
 楼主| 发表于 2023-6-8 12:14:40 来自手机 | 显示全部楼层
sacai 发表于 2023-06-08 09:59
刚试了试,挺好用的,针对性比较强。挣钱可以,能得到相应的服务就行,顶你

自由之翼 开始探索

119

主题

936

帖子

1万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
18998
发表于 2023-6-8 13:02:25 来自手机 | 显示全部楼层
magicmark 发表于 2023-06-08 09:56
你通过程序自动获取论坛网页并解析提取数据,这种行为实际上是网络爬虫行为。因为你的这种行为严重影响了论坛的正常运营,我站在技术的角度,向公众科普这是一种可能破坏网络资源、影响公众访问和论坛正常运营的行为。
尽管你一再否认这是网络爬虫行为,但你无法解释或反驳你的程序已经实现了自动获取网页和解析提取数据,这两个元素是定义网络爬虫的最基本要素。
我并没有断章取义或误导,我是在积极保护论坛的正常运行,而不像你一样,贴出违反规则的爬虫行为却不承认。这就是你的行为造成的结果,我们必须正视这个问题

是的,行为就是这么个行为,老哥说的很简洁明了了
自由之翼 开始探索

119

主题

936

帖子

1万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
18998
发表于 2023-6-8 13:08:55 来自手机 | 显示全部楼层
马格靶子效应器 发表于 2023-06-08 09:54
人家说的很清楚了15秒访问一次,你怎么还在这带节奏,我看你也听懂技术的,难不成论坛就是你搞瘫痪的然后在这找替罪羊?

我觉得这个@magicmark 老哥的回复,条理清晰,逻辑严密,表述准确。都是是在分析问题,并得出结论,哪里看出带节奏了?反而你这条反咬一口的像带节奏
自由之翼 开始探索

27

主题

459

帖子

1万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
12119
 楼主| 发表于 2023-6-8 13:16:10 来自手机 | 显示全部楼层
本帖最后由 小阿发 于 2023-6-8 13:20 编辑

1、他说我使用了爬虫技术,我澄清说没有使用。
2、他要求我提供技术路线,我讲明了是http get请求论坛页面的方式。
3、他说我这种技术路线是爬虫,因为爬虫也是http请求,我解释说你但凡访问服务器都要发送http请求,况且我访问频次比一般用户都低,不是爬虫。
4、他要我提供访问频次证据,我在帖子里就有图,但又发给他了:每秒27KB的访问、0.3的QPS,怎么也不能说是爬虫吧,爬虫不可能这么低的流量和调用吧。
5、他继续说 那你也存储论坛信息了,要不数据怎么进入的小程序。我贴出图,服务器总容量一共100多M,肯定没存储论坛信息吧。
6、他继续说 就是爬虫就是爬虫,你这就是违规违法。我只好说,你觉得违规你别用了。他也不行,还非要用。
这不是带节奏是啥?我还能怎么办呢?
至今我不明白,依照他的理解第三方程序只要发起远程请求并本地处理就叫做爬虫,那浏览器也是爬虫,app也是爬虫,所有联网程序的后端都是爬虫?
自由之翼 开始探索

27

主题

459

帖子

1万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
12119
 楼主| 发表于 2023-6-8 13:20:40 来自手机 | 显示全部楼层
gggg哦 发表于 2023-06-08 13:08
我觉得这个@magicmark 老哥的回复,条理清晰,逻辑严密,表述准确。都是是在分析问题,并得出结论,哪里看出带节奏了?反而你这条反咬一口的像带节奏

我替他回复你了
自由之翼 开始探索

7

主题

95

帖子

3029

积分

收割者

Rank: 5Rank: 5

积分
3029
发表于 2023-6-8 13:21:41 来自手机 | 显示全部楼层
小阿发 发表于 2023-06-08 13:16
本帖最后由 小阿发 于 2023-6-8 13:20 编辑

1、他说我使用了爬虫技术,我澄清说没有使用。
2、他要求我提供技术路线,我讲明了是http get请求论坛页面的方式。
3、他说我这种技术路线是爬虫,因为爬虫也是http请求,我解释说你但凡访问服务器都要发送http请求,况且我访问频次比一般用户都低,不是爬虫。
4、他要我提供访问频次证据,我在帖子里就有图,但又发给他了:每秒27KB的访问、0.3的QPS,怎么也不能说是爬虫吧,爬虫不可能这么低的流量和调用吧。
5、他继续说 那你也存储论坛信息了,要不数据怎么进入的小程序。我贴出图,服务器总容量一共100多M,肯定没存储论坛信息吧。
6、他继续说 就是爬虫就是爬虫,你这就是违规违法。我只好说,你觉得违规你别用了。他也不行,还非要用。
这不是带节奏是啥?我还能怎么办呢?
至今我不明白,依照他的理解第三方程序只要发起远程请求并本地处理就叫做爬虫,那浏览器也是爬虫,app也是爬虫,所有联网程序的后端都是爬虫?

不要混淆概念,100MB可以存储的数据,是你爬虫爬过处理后的数据,光html代码数据都能保存100多MB,可见你所爬取的量不小。现在被发现是爬虫、没有官方论坛授权,就进行违规爬虫行为。我的帖子也帮你分析出了,你爬虫对于论坛流量的影响。
自由之翼 开始探索

7

主题

95

帖子

3029

积分

收割者

Rank: 5Rank: 5

积分
3029
发表于 2023-6-8 13:22:09 来自手机 | 显示全部楼层
小阿发 发表于 2023-06-08 13:16
本帖最后由 小阿发 于 2023-6-8 13:20 编辑

1、他说我使用了爬虫技术,我澄清说没有使用。
2、他要求我提供技术路线,我讲明了是http get请求论坛页面的方式。
3、他说我这种技术路线是爬虫,因为爬虫也是http请求,我解释说你但凡访问服务器都要发送http请求,况且我访问频次比一般用户都低,不是爬虫。
4、他要我提供访问频次证据,我在帖子里就有图,但又发给他了:每秒27KB的访问、0.3的QPS,怎么也不能说是爬虫吧,爬虫不可能这么低的流量和调用吧。
5、他继续说 那你也存储论坛信息了,要不数据怎么进入的小程序。我贴出图,服务器总容量一共100多M,肯定没存储论坛信息吧。
6、他继续说 就是爬虫就是爬虫,你这就是违规违法。我只好说,你觉得违规你别用了。他也不行,还非要用。
这不是带节奏是啥?我还能怎么办呢?
至今我不明白,依照他的理解第三方程序只要发起远程请求并本地处理就叫做爬虫,那浏览器也是爬虫,app也是爬虫,所有联网程序的后端都是爬虫?

让你提供技术路线,就是为了,让你自己承认你使用了爬虫技术
自由之翼 开始探索

27

主题

459

帖子

1万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
12119
 楼主| 发表于 2023-6-8 13:25:19 来自手机 | 显示全部楼层
magicmark 发表于 2023-06-08 13:21
不要混淆概念,100MB可以存储的数据,是你爬虫爬过处理后的数据,光html代码数据都能保存100多MB,可见你所爬取的量不小。现在被发现是爬虫、没有官方论坛授权,就进行违规爬虫行为。我的帖子也帮你分析出了,你爬虫对于论坛流量的影响。

哥们 我环境不要占空间吗?不懂就别说了好吗?我27k的数据流量不要向前端发送吗?你根本没做过程序,别搞了。
自由之翼 开始探索

7

主题

95

帖子

3029

积分

收割者

Rank: 5Rank: 5

积分
3029
发表于 2023-6-8 13:28:47 来自手机 | 显示全部楼层
小阿发 发表于 2023-06-08 13:25
哥们 我环境不要占空间吗?不懂就别说了好吗?我27k的数据流量不要向前端发送吗?你根本没做过程序,别搞了。

你用的云开发哪来的环境,使用的云存储,不想多说什么了。去进行程序取证不太好,因为会让你下不了台哥们。
自由之翼 开始探索

27

主题

459

帖子

1万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
12119
 楼主| 发表于 2023-6-8 13:29:42 来自手机 | 显示全部楼层
magicmark 发表于 2023-06-08 13:22
让你提供技术路线,就是为了,让你自己承认你使用了爬虫技术

你自称科技公司老板,有钱有闲,也对我的程序提出这么大的质疑,那你来做你口中的合规合法版本,你做出来我立即停用我的,可以吧?而且你也别用我的程序了,你认为违规的事情你别助长。

这么一说,你每次都装看不见,这不就属于端起碗来吃饭,放下筷子骂娘吗?
自由之翼 开始探索

27

主题

459

帖子

1万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
12119
 楼主| 发表于 2023-6-8 13:30:34 来自手机 | 显示全部楼层
magicmark 发表于 2023-06-08 13:28
你用的云开发哪来的环境,使用的云存储,不想多说什么了。去进行程序取证不太好,因为会让你下不了台哥们。

你笑死我了 没用云开发 也没用云存储 你啥都不懂还在这说呢 我都不想打击你了
自由之翼 开始探索

27

主题

459

帖子

1万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
12119
 楼主| 发表于 2023-6-8 13:31:32 来自手机 | 显示全部楼层
magicmark 发表于 2023-06-08 13:28
你用的云开发哪来的环境,使用的云存储,不想多说什么了。去进行程序取证不太好,因为会让你下不了台哥们。

到现在你都不敢提供id给我 边用边骂 哎
自由之翼 开始探索

7

主题

95

帖子

3029

积分

收割者

Rank: 5Rank: 5

积分
3029
发表于 2023-6-8 13:34:52 来自手机 | 显示全部楼层
别让自己下不了台
自由之翼 开始探索

27

主题

459

帖子

1万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
12119
 楼主| 发表于 2023-6-8 13:42:13 来自手机 | 显示全部楼层
magicmark 发表于 2023-06-08 13:34
别让自己下不了台

看吧 一个口口声声说爬虫违规违法的人 开始篡改别人的代码了 原来这就是友商啊 怪不得往我这泼脏水
自由之翼 开始探索

353

主题

1214

帖子

3万

积分

金属狂潮

Rank: 8Rank: 8

积分
32134
发表于 2023-6-8 13:46:51 来自手机 | 显示全部楼层
自由之翼 开始探索

7

主题

95

帖子

3029

积分

收割者

Rank: 5Rank: 5

积分
3029
发表于 2023-6-8 13:48:25 来自手机 | 显示全部楼层
小阿发 发表于 2023-06-08 13:42
看吧 一个口口声声说爬虫违规违法的人 开始篡改别人的代码了 原来这就是友商啊 怪不得往我这泼脏水

什么时候改你代码了?开玩笑呢,还友商。
自由之翼 开始探索

27

主题

459

帖子

1万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
12119
 楼主| 发表于 2023-6-8 13:49:02 来自手机 | 显示全部楼层
magicmark 发表于 2023-06-08 13:34
别让自己下不了台

你的微信openID是okK845NgEy6Cnpa**********后面隐去

目前正在向我的服务器发送各类非法请求,已经造成大量负载,和你之前攻击论坛的手段基本如出一辙,向论坛管理汇报了。
自由之翼 开始探索

407

主题

7172

帖子

10万

积分

地狱烈火

Rank: 9Rank: 9Rank: 9

积分
102604
发表于 2023-6-8 13:49:34 来自手机 | 显示全部楼层
安装一个试一试
初来乍到,请多关照

7

主题

95

帖子

3029

积分

收割者

Rank: 5Rank: 5

积分
3029
发表于 2023-6-8 13:49:38 来自手机 | 显示全部楼层
小阿发 发表于 2023-06-08 13:49
你的微信openID是okK845NgEy6Cnpa**********后面隐去

目前正在向我的服务器发送各类非法请求,已经造成大量负载,和你之前攻击论坛的手段基本如出一辙,向论坛管理汇报了。

开始胡言乱语了哈哈哈哈
自由之翼 开始探索

7

主题

95

帖子

3029

积分

收割者

Rank: 5Rank: 5

积分
3029
发表于 2023-6-8 13:50:24 来自手机 | 显示全部楼层
小阿发 发表于 2023-06-08 13:49
你的微信openID是okK845NgEy6Cnpa**********后面隐去

目前正在向我的服务器发送各类非法请求,已经造成大量负载,和你之前攻击论坛的手段基本如出一辙,向论坛管理汇报了。

你被揭穿手段了,就开始乱讲话啦。急了哈哈
自由之翼 开始探索

27

主题

459

帖子

1万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
12119
 楼主| 发表于 2023-6-8 13:50:33 来自手机 | 显示全部楼层
magicmark 发表于 2023-06-08 13:48
什么时候改你代码了?开玩笑呢,还友商。

你发的图上都暴露了 哥们 搞了半天原来论坛是你搞的鬼啊
自由之翼 开始探索

27

主题

459

帖子

1万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
12119
 楼主| 发表于 2023-6-8 13:51:52 来自手机 | 显示全部楼层
自由之翼 开始探索

7

主题

95

帖子

3029

积分

收割者

Rank: 5Rank: 5

积分
3029
发表于 2023-6-8 13:51:55 来自手机 | 显示全部楼层
小阿发 发表于 2023-06-08 13:49
你的微信openID是okK845NgEy6Cnpa**********后面隐去

目前正在向我的服务器发送各类非法请求,已经造成大量负载,和你之前攻击论坛的手段基本如出一辙,向论坛管理汇报了。

我的帖子已经分析出你的爬虫,对论坛造成的损失,请你去看看
自由之翼 开始探索

27

主题

459

帖子

1万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
12119
 楼主| 发表于 2023-6-8 13:55:30 来自手机 | 显示全部楼层
magicmark 发表于 2023-06-08 13:51
我的帖子已经分析出你的爬虫,对论坛造成的损失,请你去看看

我看了 只能说很好笑
自由之翼 开始探索

27

主题

459

帖子

1万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
12119
 楼主| 发表于 2023-6-8 13:55:57 来自手机 | 显示全部楼层
magicmark 发表于 2023-06-08 13:51
我的帖子已经分析出你的爬虫,对论坛造成的损失,请你去看看

你自称科技公司老板,有钱有闲,也对我的程序提出这么大的质疑,那你来做你口中的合规合法版本,你做出来我立即停用我的,可以吧?而且你也别用我的程序了,你认为违规的事情你别助长。

这么一说,你每次都装看不见,这不就属于端起碗来吃饭,放下筷子骂娘吗?
自由之翼 开始探索

0

主题

7

帖子

39

积分

初入沙场

Rank: 1

积分
39
发表于 2023-6-8 14:36:26 来自手机 | 显示全部楼层
wargame论坛可没有其他友商,就一个sdgun哦。那么这个第三方应用,投放爬虫的不就是这个什么小程序吗,没什么好说的好聊的,散了
自由之翼 开始探索

175

主题

998

帖子

1万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
18713
发表于 2023-6-8 14:42:40 来自手机 | 显示全部楼层
之前私信说商用那个logo的就是你小子呀
自由之翼 开始探索

65

主题

3271

帖子

4万

积分

金属狂潮

Rank: 8Rank: 8

积分
41576
发表于 2023-6-8 15:07:18 来自手机 | 显示全部楼层
自由之翼 开始探索

27

主题

459

帖子

1万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
12119
 楼主| 发表于 2023-6-8 15:52:29 来自手机 | 显示全部楼层
愁啥? 发表于 2023-06-08 14:42
之前私信说商用那个logo的就是你小子呀

哈哈哈哈哈 是的呢
自由之翼 开始探索

27

主题

459

帖子

1万

积分

云端的人

Rank: 7Rank: 7Rank: 7

积分
12119
 楼主| 发表于 2023-6-8 15:53:29 来自手机 | 显示全部楼层
Ward 发表于 2023-06-08 14:36
wargame论坛可没有其他友商,就一个sdgun哦。那么这个第三方应用,投放爬虫的不就是这个什么小程序吗,没什么好说的好聊的,散了

辛苦你了注册小号 连截图用的手机都没换
自由之翼 开始探索

1952

主题

8261

帖子

8万

积分

实习版主

Rank: 16Rank: 16Rank: 16Rank: 16

积分
83953
发表于 2023-6-8 15:57:07 来自手机 | 显示全部楼层
虽然看不懂也没用过,但是还是支持一下
自由之翼 开始探索
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver|手机版|小黑屋|SDgun ( 沪ICP备18021677号-1 沪B2-20201358号 )

< img src="" style="float:left;"/>

沪公网安备 31011202014568号

GMT+8, 2024-11-27 18:24 , Processed in 0.075606 second(s), 7 queries , Redis On.

Powered by Discuz! X3.4 Licensed

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表