首页>>人工智能->人工智能怎么摆脱算法(2023年最新整理)

人工智能怎么摆脱算法(2023年最新整理)

时间:2023-12-06 本站 点击:0

导读:很多朋友问到关于人工智能怎么摆脱算法的相关问题,本文首席CTO笔记就来为大家做个详细解答,供大家参考,希望对大家有所帮助!一起来看看吧!

人工智能需要什么基础?

1.高等数学基础知识

首先,你是零基础的话,就先将高等数学基础知识学透,从基础的数据分析、线性代数及矩阵等等入门,只有基础有了,才会层层积累,不能没有逻辑性的看一块学一块。

2.有一定的英语水平

试想,如果你连基础的英语单词都看不懂,还怎么写代码呢?毕竟代码都是由英文单词组成的。所以啊,把英文水平提升上来吧,这个非常非常重要的。

3.Python

Python具有丰富和强大的库。它常被昵称为胶水语言,能够把用其他语言制作的各种模块(尤其是C/C++)很轻松地联结在一起。比如3D游戏中的图形渲染模块,性能要求特别高,就可以用C/C++重写,而后封装为Python可以调用的扩展类库。这也是人工智能必备知识。

另外,还要提到的一点是:机器学习属于人工智能的一个分支,它是让机器能具备摆脱对人工指令的依赖,能按照一定的算法开展自主学习的能力,它的出现才真正让“人工智能”不枉智能二字。

可解释AI,如何打开算法的黑箱?

随着以机器学习为代表的新一代人工智能技术不断朝着更加先进、复杂、自主的方向发展,我们的经济和 社会 发展都纷纷迎来了变革性的机遇。但与此同时,AI算法的透明度、可解释性问题也为公众信任、公共安全等诸多领域带来了前所未有的挑战。

1月11日 14日,“腾讯 科技 向善创新周”在线上举办。“透明可解释AI——打开黑箱的理念与实践”专题论坛即聚焦于此。论坛发布了《可解释AI发展报告2022》,随后由专家学者(见文末)共同参与了圆桌讨论。以下为整理文章:

可解释AI的概念共识

姚新:

大家在讨论AI算法的透明性和可解释性的时候,首先应该考虑三个W的问题——Who,What和Why的问题。

首先,到底是对谁讲透明和可解释?因为从科学研究来说,任何一个研究都必须透明,都必须可解释,否则这个论文是发不出来的。所以我猜过去讲透明性和可解释性,可能不是对科学家来说的可解释性或者透明性,因为对科学家的透明性和可解释性,不一定对大众透明和可解释。第二是解释什么?解释模型做出来的结果还是解释这个模型的工作原理。第三,解释总是有一个目的,目的是要追责还是理解这个模型的科学原理。

根据对这三个W不同的答案,会得出非常不一样的透明性和可解释性,相应的解决办法可能也完全不一样。不管怎样,考虑透明性和可解释性的时候,首先大家要有一个概念上的共识,使得我们知道我们是讲同样一件事情,而不是用了同样一个名词,大家在不同的抽象层次讲不同的问题。

吴保元:

可解释是可信AI的重要组成部分,是可信的前提条件之一,但是相比于鲁棒性、公平性等可信特性,我觉得可解释不是独立存在的概念。就是姚老师刚才提到的,我们到底在解释什么?其他的特性都是有自己明确的数学定义,比如鲁棒性、公平性等,但是可解释性是没有的,因为我们单独提到它的时候,背后默认的更可能是对模型准确度的可解释性。或许这也可以解释为什么当前的可解释研究思路这么多,但是好像没有一个明确的框架,我觉得最主要的原因是它的解释对象不一样,没有办法统一到一起。

基于这种理解,我个人有一点小的想法,不应该把它称为可解释性,把它称为可解释力或许更准确。可解释性,大家可能误认为它是一种独立存在的性质;可解释力是一种可解释的能力,就像我们说的理解力、领导力等等,它是一种手段,一种行为,一种操作存在,需要跟别的绑在一起。我觉得以后提到它的时候,应该准确地描述它是针对什么特性的可解释力,而不是笼统地说可解释性如何。

可解释AI的价值何在?

朱菁:

人们对于人工智能系统可解释性、透明性的要求,大致有四个层次:

第一个针对的是直接用户,用户需要了解人工智能产品、服务背后的原理是什么,这是建立可信任AI的重要基础。可解释AI,实际上支撑了可信任AI。

第二个层次,对于政策和监管部门,他们希望通过解释原理来了解人工智能产品的公平性、可问责性,归因的过程是我们进一步问责、追究责任的基础。所以,可解释AI也与负责任的AI、可问责的AI是联系在一起的。

第三个层次就是技术工程与科学层次,我们希望了解为什么某些算法能够成功,它成功背后的奥秘是什么,它的应用范围是什么,它能否在更大的范围内使用这样一些算法或者是一些技术。

第四个是公众理解AI,如果 社会 大众大多数关心的话,他也能够在这方面了解相应的技术、系统大体的工作原理方式是什么。

何凤翔:

在现在的AI系统中,其实很多算法背后运作机制是未知的,是不清楚的,这种未知带来了未知的、难以管理的风险,包括安全性、鲁棒性、隐私保护、公平性等等。

这些点关系到了 社会 运转中非常关键、人命关天的领域,比如医疗、自动驾驶。这会带来很大的应用方面的困难,以及 社会 对AI的不信任。因为当AI算法运作机制是未知的时候,它的风险机制、风险大小、风险尺度就是未知的,我们就难以去管理风险,进而去控制风险。

可解释AI的挑战何在?

姚新:

原来我一个学生跟我做了一点关于公平性的工作,跟其他的文献发现的点非常一致,就是说模型的准确性和公平性之间是相互矛盾的。性能最好的模型从公平性的角度来说,按指标来测量不见得最好,你要把模型做得都是最公平,用指标来衡量的话,它的性能就会受到损失。实际上可解释性非常类似现在有各版的可解释性指标,但是要真正考虑这些指标的话,模型的性能总是会掉下来,要考虑在实际过程中怎么来找一个折中的方案。

吴保元:

针对可解释性本身的不可行、不可取,这也是值得我们思考的问题。比如说我们在研究犯罪率或者说疾病的传播率、发病率等,如果我们就拿现成的统计数据,比如在不同种族、不同地域采集的数据,很有可能会得出来某些种族或者某些地域犯罪率很高,这是因为数据采集的时候就是这样的。这样一来,如果可解释给出的类似结论被公开,可能会造成种族或者地域歧视。但实际上数据背后是我们在采集的时候没有采集其他特性,比如说为什么这个地域的传播率很高呢?很有可能是政府投入不足,或者说其他的因素。

所以这也启发我们可解释性本身它的可信性是什么,它的准确性,它的公平性,它是否忽略了某些特征,或者夸大了某些特征,它的鲁棒性,是不是把样本变化一点,它的可解释性截然相反,这些需要我们进一步思考。

另外,我跟很多研究可解释的专家聊过,他们的困惑在于现在的可解释性方法是不可印证的,甚至是矛盾的,这就引出了可解释性方法本身的可信度的问题。

何凤翔:

在我看来,理解深度学习算法的运作机制,大致有理论和实践两条路径。在理论方面,当前的研究无法完全解释理论上泛化性较差的深度模型为何能在多领域取得如此的成功。这种理论与实践的矛盾,就像曾经物理学中的乌云一样,反映出来了人们对于机器学习理解的缺失,而这是现在在理论上提升算法可解释性的一个难点。

而在实验角度上,很多实验学科中的做法可以作为对于机器学习研究的启发,比如说物理学、化学,以及刚才提到的医疗。比如说药物研发流程中的合格检验,要做双盲实验;在物理学、化学的研究中,对控制变量实验有严格要求。类似的机制是否能在AI研究中严格执行呢?我觉得这可能是另外一条路径。在我看来,现有的很多对于AI算法的解释是启发式的,而在关键领域中我们需要的是证据,这需要在理论和实验两方面做很多工作。

可解释AI如何实现?

朱菁:

前面很多专家都指出对于解释有不同的目标,不同的对象,不同的要求,所以实际上关于人工智能的可解释性问题可能是属于多元性的,就是要允许有多种不同层次不同方式的解释在这里面起作用,针对不同的领域、不同的对象,使用不同解释的方式。

当可解释性有它的局限或者和其他的目标、要求,需要做出权衡取舍的时候,我们想也可以从多个层面来进行替代性的,或者说是补偿性、补充性的策略。比方说针对监管部门,它对于可解释性的要求,和面向公众或者专家层面的,会有所不同,所以这个可以通过若干个层次,比如说监管部门的,行业的,市场的,以及传播普及层面的,对于安全性、鲁棒性要求更高一些,或者在专家层面上有更好的沟通理解,而对于 社会 公众而言,这里面就需要有一些转换,同时有需要一些权威部门,有公信力的部门,向 社会 做一些说明和认定。

姚新:

深度神经网络可以解决特别复杂的问题,我觉得现在大家用深度网络有一个原因,即所针对的问题本身可能就比较复杂。这是一个假设。假如这个假设是对的话,那么相应的可解释性不会特别好理解。因为需要对付这些复杂性,相应的模型就必然是要复杂。

所以我总觉得透明性、可解释性和性能之间是有一个固有的矛盾,如果现在把从技术上讨论的方向,是怎么找一个折中方案,根据不同的场景、可解释的目的,找不同折中方案,这样导致有可能会出来一些比较具体的技术,或者可以促进这些技术往落地的方向走。

吴保元:

我们尝试过一些从技术上可行的方案去量化各种可信特性,但是,要实现统一量化很困难,比如说公平性和鲁棒性都有不同的量化准则和指标。当把不同的特性简单组合到一起的时候很难优化,因为它们的准则是高度不对齐的,差异非常大,这就涉及怎么去对齐这些特性坐标。我认为想要找到一个全局坐标系是非常困难的。我们可以从局部出发,针对某种场景,比如医疗场景,首先把隐私性当做前提,在金融或者自动驾驶,我们把鲁棒性当做前提,然后再去研究其他特性,或许一步一步能够找到这种坐标系。

可解释AI的技术现状?

郑冶枫:

总体来说,因为我们现在还缺乏非常好的理论框架,所以可能针对问题,我们创造性地想一些算法,试图提高本身这个系统的可解释性,给大家举两个例子来说明一下我们天衍实验室在这方面的 探索 。

深度学习可能有千亿、万亿的参数,这对于医生来说太复杂了,他很难理解这个算法的底层原理,算法本身可能缺乏一个全局的可解释性。但是深度学习框架准确率非常高,所以我们不可能不用。而可解释性非常好的模型就是回归模型,这类模型主要的问题就是准确率太低。所以我们做了一个 探索 ,我们希望把这两个模型结合起来,它具有非常高的准确率,还有一定的可解释性,不是完全可解释性。

我们把这个混合模型用于疾病风险预测,就是根据病人历次的就诊记录,我们预测病人在未来6个月之内得某个重大疾病的概率,比如他得卒中的概率。病人每一次的就诊记录包含大量信息,这里面我们需要提取一些跟预测目标相关的重要信息,我们知道生物学习网络最擅长的就是自动特征学习。所以我们利用深度学习网络把一次就诊记录压缩成一个特征的向量,接着我们利用回归模型,把病人多次就诊记录综合起来预测未来6个月之内这个病人得脑卒中的风险。

杨强:

我们在审视各个算法和它对应的可解释性的关联问题上,发现一个有趣的现象,比方说在机器学习里面,深度学习就是属于效率非常高的,但是它却对应的可解释性很差。同样,线性模型没有那么高,但是它的可解释性相对强一些,树状模型也是,因果模型更是这样。所以往往我们确实得做一个取舍,就是我们在可解释这个维度和高效率这个维度,在这个空间里面选择哪一个点,现在并没有在两个维度都高的这样一个算法。

可解释AI的行业实践

郑冶枫:

各行业对可解释性和透明性的要求不同,我结合医疗AI这个场景给大家分享一下我的体会和理解。大家知道医疗在全世界范围内都是被强监管的领域,一款医疗产品要上市必须拿到医疗器械注册证,辅助诊断算法AI产品属于三类医疗医疗,也就是监管最严格的级别,所以我们要披露的信息很多,大致包括数据集和临床算法验证两方面。前者主要强调数据集的公平多样性和广泛覆盖性,后者则重视披露我们的算法真正在临床试验中、真正临床应用的时候它的性能。

此外,我们的测试样本也需要有很好的多样性,覆盖不同医院,不同区域,不同病人群体、厂商、扫描参数等等。临床实验更加严格,首先我们要固化算法的代码,在临床试验期间是不能改代码的,因为你不能一边做实验一边改代码,这就失去了临床试验的意义。

所以医疗AI的监管是非常强的,药监局需要我们披露很多信息,提高医疗AI产品的透明性,它有非常严格甚至苛刻的书面要求。因为我们知道智能学习网络天然不具有很好的解释性,虽然你可以做一些中间增强,可以一定程度上改善这些事情,监管也可以理解这个解释性差一点,正因为解释性差,要求的透明性就越高。

何凤翔:

我觉得提供AI系统的说明书有两个路径:第一个路径从生成AI系统的过程出发。这一点现在有一些实践,比如开源代码,说明使用了什么数据,数据是如何使用的、如何预处理的。这会提升人们对AI的信任和理解,这也像刚才郑老师提到,申请医疗相关的资质的时候,我们需要把生产细节汇报给相关机构。

第二种方式就是从生成的AI系统所做出的预测以及决策的指标来入手做算法的说明书。比方对AI系统做一些测评。对于刚才我们提到的指标,包括可解释性、鲁棒性、准确性、隐私保护、公平性,找到一些比较好的量化指标、找到一些评测算法,把这些指标作为AI系统的使用说明书。

可解释AI的未来发展

杨强:我期待在未来人工智能的治理,在人工智能,人和机器这种和谐共存,共同解决我们要解决问题的前提下,会越来越成熟。我是非常看好这个领域的。

朱菁:我期待这个领域进一步的探讨,不同领域的学者都能够参与进来。比如说像我自己做的主要是哲学, 科技 哲学。在 科技 哲学,实际上对于解释有将近一百年的积累和 探索 ,这里面应该有很多可以发掘借鉴的资源,参与到目前这样一个很有意思很有挑战性的话题里面。

何凤翔:AI本身是一个跨学科领域,它可能会用到很多数学、统计、物理、计算机等各个知识的领域,今天提到的很多点,包括隐私保护、公平性,很多也是来源于人文学科、法律、 社会 学这些方面。所以这就意味着研究可信AI以及可解释性等等方面会需要各个学科领域的人合作起来一起去做的一件事情,会非常需要大家的通力合作,共同推进这个领域的发展。

姚新:对于做研究来说,我希望将来可以有一点聚焦的讨论。我刚才讲的3W,到底我们要解决透明性、可解释性的哪一部分,对谁而言。假如对医疗而言,是对法规的制定者来说还是对医生来说,还是对病人来说,还是对这个系统的开发者来说?我觉得在这里面有非常多可以发挥自己的想象力和能力的地方。

郑冶枫:对算法人员来说,当然我们希望将来科学家们找到非常好的,具有良好可解释性,同时准确性非常高的算法,真正做到鱼和熊掌兼得。

人工智能如何入门?

人工智能入门需要掌握这些知识:

1.基础数学知识:线性代数、概率论、统计学、图论

2.基础计算机知识:操作系统、linux、网络、编译原理、数据结构、数据库

3.编程语言基础:C/C++、Python、Java

4.人工智能基础知识:ID3、C4.5、逻辑回归、SVM、分类器、等算法的特性、性质、和其他算法对比的区别等内容。

5.工具基础知识:opencv、matlab、caffe等

要进入人工智能行业,首先要有一定的数学功底,因为人工智能不同于app开发,网页开发、游戏开发等传统的互联网职位,先看看51cto学院人工智能的课程,会有不少帮助。人工智能是从数学中的“逼近理论”逐步演化而来的,当今人工智能所使用的方法,最开始的时候大部分是数学家为了逼近某些比较难表示的非线性函数而使用的。后来随着计算机性能的提高,计算机工作者,统计学家,开始尝试用这套“逼近理论”解决一些分类问题。逐步发展成为现在的人工智能局面。现在属于人工智能行业发展初期,各种可用的api函数都比较少,所以自己编写算法是必须要会的。

“人工智能”一词最初是在1956 年Dartmouth学会上提出的。从那以后,研究者们发展了众多理论和原理,人工智能的概念也随之扩展。人工智能(Artificial Intelligence),英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器,该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。人工智能从诞生以来,理论和技术日益成熟,应用领域也不断扩大,可以设想,未来人工智能带来的科技产品,将会是人类智慧的“容器”。

人工智能是对人的意识、思维的信息过程的模拟。人工智能不是人的智能,但能像人那样思考、也可能超过人的智能。

人工智能应该怎么学?

这是人工智能的的全部课程,要是感兴趣的话可以了解一下:

第一阶段

前端开发 Front-end Development

1、桌面支持与系统管理(计算机操作基础Windows7)

2、Office办公自动化

3、WEB前端设计与布局

4、javaScript特效编程

5、Jquery应用开发

第二阶段

核心编程 Core Programming

1、Python核心编程

2、MySQL数据开发

3、Django 框架开发

4、Flask web框架

5、综合项目应用开发

第三阶段

爬虫开发 Reptile Development

1、网络爬虫开发

2、爬虫项目实践应用

3、机器学习算法

4、Python人工智能数据分析

5、python人工智能高级开发

第四阶段

人工智能 PArtificial Intelligence

1、实训一:WEB全栈开发

2、实训二:人工智能终极项目实战

人工智能的思维方式

最近研究量化投资,人工智能,大数据等高大上的感念。

一个重要感悟:核心逻辑都是统计学,没有什么神奇的。

人工智能,真好人的智能不一样。

简单而言人工智能,就是通过核心算法,分析海量数据,发现底层规律,做出更好的决策。

人工智能=核心算法+海量数据

这里说的是重复工作,不一定是低端。

过去基金经理一个重要工作,分析公司数据,然后投资决策。

现在人工智能,可以根据制定的规则去海量数据中分析出符合要求的公司,快速准确。

那么大量分析统计数据的基金经理必然是被淘汰,至于工作中复制粘贴重复工作的人,更是必然失业。

人人工智能,关键是核心算法,使用什么样的方法去处理数据分析数据。

人生也是一样,牛逼的人一般都有自己的核心算法,遇到不一样的事情,都能快速找到解决方案,例如特斯拉的第一性原理。

遇到困难问题,去找最根本的问题,然后解决,而不是考虑非重要问题。

人工智能第二关键点是海量数据。

未来数据就是战略资源,如同现在的石油资源一样。

你有在好的算法没有海量数据给你去回测,你是永远无法知道哪里有问题如何改进的。

人生也是一样,你获取了人生大智慧,如何为人处世,但是概念只是感念,只有不断发现问题,改正错误才可以不断进步的。

世界是变化的,但很多是不变的。

例如投资市场风云变幻,各种高大上概念,各种投资。

但是恐惧贪婪的人性不会改变。

所以投资中不要被自己恐惧贪婪带走,追随最基本的常识。有价值的东西在低价买入,高价卖出必然获利。

人生复杂,但是核心重要的知识也不是很多的。

人工智能的数据、算法和处理,三者缺一不可

        有人认为,数据就宛如人工智能的汽油,重点应该是干净的数据、数据科学和对数据含义的深刻理解。

        有些人说,没有来龙去脉的数据是没有意义的,这些数据的来龙去脉可以是其他数据、模型/算法或处理流程。

        让我们以一种简洁的方式探究这些人工智能的要素,以发现每种视角的优点。

数据

        数据是起点,因为它是非常有用的资产。

        不管真假,人们都认为数据承载着知识,而利用这些知识将有利于那些善于研究数据的人。

        对人工智能来说,从数据开始,并通过从中学习来利用优势,是有意义的。在数据量大、速度快的时代,使用数据来训练人工智能十分便捷。

        企业在商业智能方面有着悠久的历史,很多工作都围绕着数据展开。对于人工智能来说也没什么不同。

        原始数据一般通过数据采集获得,随后的数据清洗、数据标注相当于对数据进行加工,然后输送到人工智能算法和模型里进行调用。

        人工智能训练所用的数据如果没有保证足够的多样化和无偏性,就有可能产生人为的”AI偏见”等问题。

        国内的京东众智、百度众包、觉醒向量等都是专注于AI数据的智能众包平台。

算法

        理解算法相对于自然环境下的静态数据的优势是很重要的。

        事实上,组织可以通过优化其业务的算法获得优势。找到合适的公式、统计模型或预测是真正的商业艺术。

        这些算法受到组织的保护,通常被认为是成功的秘密武器。

        虽然它们依赖于干净的数据,但数学或逻辑中隐含的规则才是许多行业的真正区别所在。

        如果没有精算师和他们宝贵的算法,保险业将何去何从?人工智能也不例外。

        机器学习的常用算法包括决策树、随机森林算法、逻辑回归、SVM、朴素贝叶斯、K最近邻算法、K均值算法、Adaboost算法、神经网络、马尔可夫。

        人工智能的算法按照模型训练方式和解决任务的不同可以分为好几类,其中需要考虑的因素包括数据本身的数量、质量和特点,具体业务场景中的问题,计算时间及精度要求等。

处理过程

        正确的步骤或任务、适当的方式对于取得的结果质量是至关重要的。

        无论处理过程(process)是静态的、可重复的,还是动态的、紧急的,都没有区别。

        知道下一步的最佳行动是获得最佳业务结果的关键。

        好的处理过程就是在正确的时间使用正确的数据和算法。

        由于流程的精确性,业务结果肯定是准确的,并且可以通过使用各种形式的监督的透明反馈周期进行适当的调整。

三者缺一不可?

        真正的结论是,要想获得长期的成功,你需要这三者。人们可以先从其中一个要素开始,接着添加其他要素。

        随着机器学习逐渐展现出其威力,许多人工智能项目都是从数据开始的。

        但随着人工智能的发展,算法和处理过程也将成为不可忽视的要素。

        基于数据的人工智能目前运行良好,随着问题的复杂性和范围的扩大,算法和处理流程的重要性将会凸显。

        如同三角形需要三条边来稳定形状,人工智能也将需要全部的三要素来完善自身。

来源(今日头条)

结语:以上就是首席CTO笔记为大家整理的关于人工智能怎么摆脱算法的相关内容解答汇总了,希望对您有所帮助!如果解决了您的问题欢迎分享给更多关注此问题的朋友喔~


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。
如若转载,请注明出处:/AI/14491.html