囚妃传,创建和布置python机器学习服务,4步猜测网络暴力!,霰粒肿

频道:体育新闻 日期: 浏览:257

全文共4296字,估计学习时长10分钟或更长


风口浪尖蔡徐坤,引战实力太惊人


不黑不火,越黑越火。蔡徐坤,被各种高科技黑得五彩斑斓。

蔡徐坤,近年尖端流量鲜肉,于《偶像练习生》C位出道。因其剑眉星目、生性温顺、发量惊人,斩获大波重度迷妹。

本来饭圈和直男界两不相干,自从NBA颁发蔡徐坤形象大使的荣誉称号后,一大波女粉速速调集撑起胆汁反流了NBA在我国的商业地图。而虎扑直男们则不配合!经过技能戏弄蔡徐坤,以捍卫他们的“理想国”。

所以有人挖出蔡徐坤出道时打篮球的视频进行AI技能实践。


在各路大神手里,蔡徐坤被换成李云龙、苏大强、马云、华农兄弟、杨幂等一众论题人物的姣好容貌,鬼畜到不忍直视。

然鹅,换在六教师身上毫不违和,为咱们的齐天大圣赋予了今世偶像的精神风貌。


图片来历:B站《【ai换脸】假如六教师仿照蔡徐坤打篮球》UP主 :deepfake


此外,还有大神用Python爬虫,扒蔡徐坤条条转发量100万+背面流量造假的现实。

直男们换脸P图搞创造,粉丝们刷榜控评做推行。各自张力十足,不亦乐乎。

可是只需求一个导火线,圈地自嗨的各个阵营,就会浴血奋战,口水漫山遍野,走向网络暴力。

在蔡徐坤的evolution粉丝量打破700万大关的那天,微博表明染个黑发作为粉丝福利。本来仅仅投合粉丝的日常行为,不小心引来一位不知名正直boy的随口吐槽:


随后,这条微博引发不少大V共识转发,这个重视量仅200多的通明屁民的微博瞬间就炸了。

蔡徐坤或许底子没care这条微博,他的粉丝,包括各种看热闹的”黑粉“纷繁抱起了键盘。


他们视这条微博为一同严峻的网络暴力作业,振振有词“维权”。据不完全音讯,当日该网友收到三千多条言语凌辱、亲人问好、被人肉、挂相片、人身徐峥女儿徐小宝逝世进犯、p遗照……

最令人哭笑不得的是,和蔡徐坤似乎身处不同次元的潘长江教师,微博沦亡,被逼抱歉。原因竟仅仅由于在某综艺节目直言不认识蔡徐坤。


这或许是潘教师62岁以来最“被宠若惊”的一次。

蔡徐坤自己也很懵逼啊,粉丝真假参半,无事生非,自己处处背锅。他仅仅一个被本钱和流量挑选、包装起来的”产品“,某种意义上,他仅仅一个符号一般的存在。

真实应该担任是只管心情发泄的喷子和网络自身。


自动检测言辞仇视体系四步走,相关途径值得具有


以某博为代表的开放式交际媒体,以及各家新闻客户端,现已成了雅迪电动车怎样样网友们的泄粪(愤)场。这个打字不需求担任的时代,“键盘侠”群雄四起。

言语激战和作业发酵正为各途径所脍炙人口。为了论题和流量,相关途径关于买粉、控评等虚伪产业链缺少监管,在论题引荐和谈论操控上乃至有引导争端之嫌。

作为言辞的载体和操控中心,途径的公信力早已被流量踩在脚下。美国《纽约时报》早在十多年前发文表明:假如没有职业规划怎样写任何次序,博客圈终究将变成一个令人生厌的场所。


本来有才能操控言辞发酵的途径坐视不管,才是最大的网络暴力。

监督操控谩骂和进犯性言辞qq浏览器下载,本来是几行代码就能够轻松处理的作业。

本文介绍一个自动检测仇视言辞体系——运用scikit-learn构建,并经过Heroku上的Docker进行安置。作为线上留言板或谈论区的监管员,在网上谈论开端呈现进犯性、和谩骂性言语时能得到快速提示。及时采纳操控措施。

作业流程只需四步:

1. 用scikit-le上海富民专修学院arn练习并坚持运用一个猜想模型

2. 运用 firefly 创立API端点

3. 为此服务创立Docker容器

4. 在Heroku上安置容器


1. 树立猜想模型


数据集

此办法是依据戴维森、沃姆斯利、梅西和韦伯联合编撰的论文《自动化仇视言辞检测以及进犯性言语的问题》而树立,文章成果依据超越20000条已符号的推文所得。

将csv文件作为数据帧加载:

import pandas as pd
import re
df = pd.read_csv('labeled_data.csv', usecols=['class', 'tweet'])
df['tweet'] = df['tweet'].apply(lambda tweet: re.sub('[^A-Za-z]+', ' ', tweet.lower()))


终究一行经过将香克斯一切文本转换为小写并删去非字母字符来铲除推文列。

成果:

rt kxrxsxb all i want for my birffday is a big booty hoe she gotta
big booty so i call her big booty lyricsyouliketoscream
crangrape gt good pussy
rt burgerking chicken fries oreo shake perfection http t co pdiglrbhjz
just remember when having standards becomes cool again im gonna call a lot of you out for staying quiet like a bitch all this time
despite the zebra red囚妃传,创立和安置python机器学习服务,4步猜想网络暴力!,霰粒肿 rocke囚妃传,创立和安置python机器学习服务,4步猜想网络暴力!,霰粒肿t special portland beats鄂b those jersey shore floppers
my favorite dc restaurant is charlie palmers sweet me lissa sassylibrarian taotao salupa tingtingbabyyyy
now i seperate from niggas i don t trust niggas that ain t starve wit me and all the bitches i didn t fuc
bixxhmakemerich if u ask me every bitch gay or bi
lmaooo rt handsomeesco she a tranny if she can open a jar of pickles by herself 囚妃传,创立和安置python机器学习服务,4步猜想网络暴力!,霰粒肿
rt hitmanholl周芳芳霸座a rt ayeverb ok i m watching mook vs lux neither of them was good but mook won囚妃传,创立和安置python机器学习服务,4步猜想网络暴力!,霰粒肿 this wasn t close to 王浩老婆me vs hitm

这儿类特点能够假设为马龙白兰度三个类别值:仇视言辞为0,进犯性言语为1,两者均无为2。

模型练习

练习机器学习分类器之前,应先将推文文本转换为数字。能够运用scikit-learn中的TfidfVectorizer来完结这项使命,它将文本转换为术语频率乘以逆文档频率(tf-idf)值的矩阵,此办法适用于机器学习。别的,在这个进程中能够删去停用词(一些常用词例如:the,is等)。

关于文本囚妃传,创立和安置python机器学习服务,4步猜想网络暴力!,霰粒肿分类而言,支撑向量机(SVM)是一个牢靠的挑选。由于它们是二元分类器,咱们将运用One-Vs-Rest战略,其间关于每个类别,SVM都会将其独自区分隔。

经过运用scikit-learn的Pipeline功用并界说相应的进程能够在一个指令中履行文本向量化和SVM练习:

from sklearn.pipeline import make_pipeline
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.multiclass import OneVsRestClassifier
from sklearn.svm import SVC
from stop_words import get_stop_words
clf = make_pipeline(
TfidfVectorizer(stop_words=get_stop_words('en')),
OneVsRestClassifier(SVC(kernel='linear', probability=True)))
clf = clf.fit(X=df['tweet'], y=df['class']

这时,应该评价模型的功用,例如运用穿插验证办法核算分类目标。可是由于本教程侧重于模型安置,咱们将越过此进程(但在实践项目中请不要这样操作)。原文中描绘的参数调整或自然言语处理的其他技能也需求这样做。

模型的查验

现在能够测验一个测验文本,并让模型猜想概率:

text = "I hate you, please die!"
clf.predict_proba([text.lower()])
# Output:
array([0.64, 0.14, 0.22]

数组中的数字对应于三个类别的概率(仇视言辞,进犯性言语,两者均无)。

模型耐久化

运用joblib模块,能够将模型作为二进制目标保存到磁盘里,这样就能够在运用程序中加载和运用该模型。

from sklearn import externals
model_filename = 'hatespeech.joblib.z'
externals.job梭子蟹lib.dump(clf, model_filename)


2. 创立 REST API


创立API端点

Python文件app.py会加载模型并界说一个简略的模块级函数,该函数会对模型的predict_proba函数进行调用:

from sklearn import externals
model_filename = 'hatespeech.joblib.z'
clf = externals.joblib.load(model_filename)
def predict(text):
probas = clf.predict_proba([text.lower()])[0]
return {'hate speech': probas[0],
'offensive language': probas[1],
'neither': probas[2]}

现在,运用firefly,一个用作服务的轻量级的python模块。关于高档装备或在出产环境中运用而言,Flask或Falcon或许是更好的挑选,由于它们现已与大型社区树立了杰出的联系,所以在快速原型的制造中,咱们常常会运用firefly。

在指令行上运用firefly将predict函数绑定到localhost上的端口5000上:

$ firefly app.predict --bind 127.0.0.1:5000


在本地测验API

经过curl,能够向创立的端点宣布POST恳求并取得猜想:

$ curl -d '{"text": "Please respect each other."}' \ 
# Output:
{"hate speech": 0.04, "offensive language": 0.31, "neither": 0.65}

当然,老练的实践运用程序中会有许多的附加功用(日志记载,输入和输出验证,反常处理...)及作业进程(文档,版别操控,测验,监控...),但在这儿咱们只安置一个简略的原型。


3. 创立Docker容器


为何挑选Docker?这是由于Docker容器可在阻隔的环境中运转运用程序,它包括一切隶属项,并且能够作为映像发布,然后简化服务设置和扩展。

构建图画

有必要在名为Dockerfile的文件中装备容器的内容以及发动操作:

FROM python:3.6
RUN pip install scikit-learn==0.20.2 firefly-python==0.1.15
COPY app.py hatespeech.joblib.z ./
CMD firefly app.predict --bind 0.0.0.0:5000
EXPOSE 5000

前三行是将python:3.6作为根本图画,别的装置scikit-learn和firefly(与开发环境中的版别相同)并仿制内部的运用和模型文件。后两行则是Docker在发动容器时应履行的指令以及其应该显现的端口5000。

创立图画hatespeechdetect的构建进程经过以下办法发动:

$ docker build . -t hatespeechdetect


运转容器

run指令发动一个从图画派生的容器。别的,经过-poption将容器的端口5000绑定到主机的端口3000:

$ docker run -p 3000:5000 -d hatespeechdetect


运用猜想服务

现在,能够发送恳求并取得猜想:

$ curl -d '{"text": "You are fake news media! Crooked!"}' \ 
# Output:
{"hate speech": 0.08, "offensive language": 鹿晗父母相片0.76, "neither": 0.16}

在此示例中,容器是在本地运转。当然,实践意图是使其在永久方位运转,火山爆发并或许囚妃传,创立和安置python机器学习服务,4步猜想网络暴力!,霰粒肿经过在企业集群中发动多个容器来扩展服务。


4.安置为Heroku运用程序


让运用程序揭露可用的一种办法是运用途径作为服务,例如Heroku,它支撑Docker并供给免费的根本会员资历。要运用它,有必要注册一个帐户并装置Heroku CLI。

Heroku的运用程序容器揭露了一个动态端口,需求在咱们的Dockerfile中进行修改:有必要将端口5000更改为环境变量PORT:

CMD firefly app.predict --bind 0.0.0.0:$PORT

在此更改之后,咱们已准备好进行安置。在指令行中,登录到heroku(这将提示咱们在浏览器中输入凭证)并创立一个名为hate-speech-detector的运用程序:

$ heroku login
$ heroku create hate-speech-detector

然后登录到容器注册表。heroku容器:push 将依据当时目录中的Dockerfile构建一个映像,并将其发送到Heroku Container注册表。之后,能够将图画发布到运用程序:

$ heroku container:login
$ heroku co海莉ntainer:push web --app hate-speech-detector
$ heroku container:release web --app hate-speech-detector

和以往相同,输尿管结石API能够经过curl来处理。可是,这一次,该服务不是在本地运转,而是可供全世界运用!

$ curl -d ‘{“text”: “You dumb idiot!”}’
# Output:
{"hate speech": 0.26, "offensive language": 0.68, "neither": 0.06}

现在,缩放运用程序只需点击几下即可。此外,需求将服务连接到留言板,并且需超乳要设置触发阈值并施行警报。


读芯君开扒


蔡徐坤自身人畜无害,粉丝们的喜欢也无可厚非。不过粉丝们的团体控评、强制安利的群众运动却会大大鼓动心情。终究会演变为言语暴力、品德劫持要挟乃至人身损伤。


比方某ikun粉以割腕要挟某博主:”再黑蔡徐坤,我就自杀“。花季少女直播割腕鲜血直流。

粉丝和idol的“命运共同体”,不该该是损伤和被损伤的命运。不吹不黑,理性追星。

网上的热搜就像气球,不时爆破。不是明星越轨便是小三被打。谈论囚妃传,创立和安置python机器学习服务,4步猜想网络暴力!,霰粒肿区也是三教九流,一片昌盛。

看到美人自拍就在言语上情色意淫,一有地震洪水就责问明星捐款几许,还有各种阶层黑,城市瞧不起村庄,中产瞧不上贫农。这两天,作家编剧六六竟公开地域尬黑,网上唏嘘一片。



网络时代供给的技能和途径,应该是相等的。不该答应少量黑米粥的做法人的专横,也不该宣扬多数人的暴政。

人言可畏。

网络环境,是时分该管管了。


留言 点赞 重视

咱们一同共享AI学习与开展的干货

欢迎重视全途径AI垂类自媒体 “读芯术”

热门
最新
推荐
标签