Akamai支招：如何區(qū)分并管理網(wǎng)絡(luò)爬蟲的“惡”與“善”
互聯(lián)網(wǎng)充斥著來自搜索引擎、虛擬助理和聊天機(jī)器人等來源的自動化流量。但是，在高效的自動化流量的對立面是惡意爬蟲程序——惡意攻擊者使用這些軟件程序來自動發(fā)起攻擊。
Forrester最新發(fā)布的報告指出，“為了應(yīng)對這些最為復(fù)雜的爬蟲程序，安全專業(yè)人員需要爬蟲程序管理工具來對檢測方法進(jìn)行分層（比如針對用戶行為的統(tǒng)計分析）、收集生物統(tǒng)計信息以檢測異常以及不斷更新信譽(yù)評分。”
對此，環(huán)球網(wǎng)科技記者就“爬蟲的識別和管理”采訪了Akamai中國區(qū)企業(yè)事業(yè)部總經(jīng)理何銘（Jerry He）和Akamai大中華區(qū)產(chǎn)品市場經(jīng)理劉炅（John Liu）。
“管理”善意爬蟲和惡意爬蟲
Akamai大中華區(qū)產(chǎn)品市場經(jīng)理劉炅指出，互聯(lián)網(wǎng)流量中有40%的流量是bot（機(jī)器爬蟲或自動化軟件）產(chǎn)生的，其中包括惡意爬蟲和善意爬蟲，前者是通過遠(yuǎn)程自動化的方式，經(jīng)過互聯(lián)網(wǎng)對目標(biāo)的站點(diǎn)和網(wǎng)站進(jìn)行攻擊，以達(dá)到一些商業(yè)化的欺詐目的；后者指的是利用類似搜索引擎的軟件做一些增加搜索流量的工作。
惡意爬蟲的影響不能小覷，以游戲和電商行業(yè)為例，如果一些賬號經(jīng)常被惡意盜用或復(fù)制，用戶的抱怨和投訴便會增多，最終會對企業(yè)造成經(jīng)濟(jì)上損失。Ponemon Institute的調(diào)查顯示，由爬蟲引起的“撞庫”攻擊每年會給企業(yè)帶來高達(dá)270萬美元的損失，因此，對于企業(yè)而言，善意爬蟲和惡意爬蟲的區(qū)分就顯得格外重要。劉炅對記者表示，善意爬蟲其實(shí)有跡可循，“針對搜索引擎發(fā)出的爬蟲，我們可以定位它們的指紋腳本特征。另外，作為全球最大的智能邊緣平臺，Akamai本身已具備威脅情報及數(shù)據(jù)，可以據(jù)此判別爬蟲來源是有效IP還是惡意IP。惡意爬蟲也有自己的特征，比如較高的爬取頻率和在單位時間內(nèi)的較高抓取次數(shù)。”
在劉炅看來，爬蟲的攻擊演進(jìn)大概分為四個階段，“從簡單的IP、瀏覽器到模仿人的行為，爬蟲現(xiàn)在已發(fā)展到第四個階段，呈現(xiàn)分布式的攻擊特點(diǎn)——即利用更多的僵尸網(wǎng)絡(luò)發(fā)起攻擊，伴隨更多的擬人行為。”對此，Akamai開發(fā)出Bot Manager（爬蟲管理器）解決方案，用于幫助企業(yè)管理和甄別爬蟲流量。
就在三月，Akamai對Bot Manager進(jìn)行了升級，此舉更注重攻防能力的提升。具體而言，首先，新的產(chǎn)品更新提供了更多和更精準(zhǔn)的爬蟲檢測方法。例如，POW（Proof of Work）挑戰(zhàn)檢測方法可以在防護(hù)設(shè)備或防護(hù)端對網(wǎng)頁的請求端發(fā)出挑戰(zhàn)，通過檢測請求端的回應(yīng)，可以精準(zhǔn)地檢測“幕后操作手”是爬蟲還是真人。第二個特色是基于人工智能的評分機(jī)制，新的Bot Manager可以利用Akamai的云端數(shù)據(jù)和威脅情報對爬蟲流量進(jìn)行自動評分，并根據(jù)這些分值進(jìn)行更細(xì)粒度的防護(hù)。第三，新的Bot Manager增加了很多場景的支持，尤其是對于跨域的場景支持。最后，新的Bot Manager可以和Akamai的mPulse產(chǎn)品（主要對于真實(shí)用戶的檢測）進(jìn)行集成，進(jìn)而對爬蟲對網(wǎng)站性能產(chǎn)生的影響進(jìn)行可視化展現(xiàn)。
重災(zāi)區(qū)行業(yè)及應(yīng)對之策
“所以，只要與互聯(lián)網(wǎng)相關(guān)的企業(yè)就一定要有爬蟲防范意識，要隨時隨地去甄別這些爬蟲，并及時攔截惡意爬蟲流量。”對此何銘給出了自己的具體建議，“雖然很多企業(yè)都設(shè)有首席安全官職位，但爬蟲管理需要企業(yè)的綜合考量，而不是僅依靠某一個特定部門或職位。另外，管理爬蟲要考慮一些深層次的影響，因?yàn)榕老x的攻擊方式一直在變，企業(yè)需要一個很有經(jīng)驗(yàn)的廠商來幫助制訂應(yīng)對策略。”
全球在家辦公后 遭遇網(wǎng)絡(luò)攻擊的可能性增大
值得關(guān)注的是，隨著全球范圍內(nèi)居家辦公成為一種主流方式，辦公地點(diǎn)的變化對于網(wǎng)絡(luò)攻擊和防護(hù)而言也產(chǎn)生了新的問題。
對此，何銘表示，“從網(wǎng)絡(luò)環(huán)境的安全性來講，企業(yè)辦公場所通常比居家好。因此，員工居家辦公對于那些平日就躲在暗處的攻擊者，意味著更容易找到安全漏洞。另一方面，遠(yuǎn)程辦公讓企業(yè)對于突發(fā)事件的反應(yīng)和處理不如以往及時，因此攻擊者就更容易采取更惡劣的手段。所以，在當(dāng)前情況下，企業(yè)更要加強(qiáng)安全防護(hù)。”
“原來企業(yè)的辦公環(huán)境可能是一個內(nèi)網(wǎng)，而現(xiàn)在辦公室就是互聯(lián)網(wǎng)，這是一個最大的變化。隨著工作地點(diǎn)的分散，企業(yè)的業(yè)務(wù)系統(tǒng)便暴露在互聯(lián)網(wǎng)之上。這樣就會衍生出更多基于惡意爬蟲的攻擊方法，企業(yè)需要讓安全管理人員乃至所有員工重視自身的網(wǎng)絡(luò)安全。”劉炅進(jìn)一步補(bǔ)充道，“就Akamai來講，我們會針對各個企業(yè)安排相對應(yīng)的服務(wù)團(tuán)隊進(jìn)行7×24小時的值守，同時應(yīng)用各種先進(jìn)技術(shù)全方位保護(hù)企業(yè)免遭攻擊。”
【免責(zé)聲明】：
凡注明 “環(huán)球科技網(wǎng)” 字樣的圖片或文字內(nèi)容均屬于本網(wǎng)站專稿，如需轉(zhuǎn)載圖片請保留 “環(huán)球科技網(wǎng)” 水印，轉(zhuǎn)載文字內(nèi)容請注明來源“環(huán)球科技網(wǎng)”；凡本網(wǎng)注明“來源：XXX(非環(huán)球科技網(wǎng))”的作品，均轉(zhuǎn)載自其它媒體，轉(zhuǎn)載目的在于傳遞更多信息，并不代表本網(wǎng)贊同其觀點(diǎn)和對其作品內(nèi)容的實(shí)質(zhì)真實(shí)性負(fù)責(zé)，轉(zhuǎn)載信息版權(quán)屬于原媒體及作者。如轉(zhuǎn)載內(nèi)容涉及版權(quán)或者其他問題，請投訴至郵箱；1978751725@qq.com
本網(wǎng)公告
環(huán)球科技網(wǎng)從不發(fā)布負(fù)面新聞資訊，也絕不會發(fā)布負(fù)面信息。如發(fā)現(xiàn)負(fù)面信息鏈接請甄別是否為環(huán)球科技網(wǎng)所發(fā)。
本網(wǎng)系北京伯樂傳媒廣告有限公司主辦、所有。本網(wǎng)唯一域名（www.lzsczx.com），其它域名鏈接均為假冒。望廣大網(wǎng)民及企業(yè)主認(rèn)真甄別。
咨詢、采訪、合作、投稿等請致電：13911566744（含微信）
