監督式學習

本條目需要补充更多来源。 (2019年2月21日) 请协助添加多方面可靠来源以改善这篇条目，无法查证的内容可能會因為异议提出而移除。

机器学习与数据挖掘
问题
分类 聚类 回归 异常检测 关联规则 强化学习 结构预测（英语：Structured prediction） 特征学习 在线学习（英语：Online machine learning） 無監督學習 半监督学习（英语：Semi-supervised learning） 语法归纳（英语：Grammar induction）
監督式學習 (分类 · 回归)
决策树 集成（装袋，提升，随机森林） k-NN 线性回归 朴素贝叶斯 神经网络 逻辑回归 感知器 支持向量机（SVM） 相关向量机（RVM）
聚类
BIRCH 层次（英语：Hierarchical clustering） k-平均 期望最大化（EM） DBSCAN OPTICS 均值飘移（英语：Mean shift）
降维
因子分析（英语：Factor analysis） CCA ICA LDA NMF（英语：Non-negative matrix factorization） PCA LASSO t-SNE（英语：t-distributed stochastic neighbor embedding）
结构预测（英语：Structured prediction）
概率图模型（贝叶斯网络，CRF, HMM）
异常检测
k-NN 局部离群因子（英语：Local outlier factor）
神经网络
自编码 深度学习 多层感知机 RNN 受限玻尔兹曼机 SOM CNN
强化学习
Q学习 SARSA（英语：State–action–reward–state–action） 时序差分学习（英语：Temporal difference learning） 深度强化学习
理论
偏差/方差困境（英语：Bias–variance tradeoff） 计算学习理论（英语：Computational learning theory） 经验风险最小化（英语：Empirical risk minimization） PAC学习（英语：Probably approximately correct learning） 统计学习 VC理论
查 论 编

監督式學習（英语：Supervised learning），是機器學習的一種方法，可以由訓練資料中學到或建立一個模式（函數 / learning model），並依此模式推測新的实例。^[1]訓練資料是由輸入物件（通常是向量）和預期輸出所組成。函數的輸出可以是一個連續的值（稱為迴歸分析），或是預測一個分類標籤（稱作分類）。

一個監督式學習者的任務在觀察完一些事先標記過的訓練範例（輸入和預期輸出）後，去預測這個函數對任何可能出現的輸入的输出。要達到此目的，學習者必須以"合理"（見歸納偏向）的方式從現有的資料中一般化到非觀察到的情況。在人類和動物感知中，則通常被稱為概念學習（concept learning）。

目录

• 
  1 回顧
  


• 
  2 經驗風險最小化
  


• 
  3 主動式學習
  


• 
  4 策略和演算法
  


• 
  5 應用
  


• 
  6 常見議題
  


• 
  7 參考文獻
  


• 
  8 外部連結
  

回顧

監督式學習有兩種形態的模型。最一般的，監督式學習產生一個全域模型，會將輸入物件對應到預期輸出。而另一種，則是將這種對應實作在一個區域模型。（如案例推論及最近鄰居法）。為了解決一個給定的監督式學習的問題（手寫辨識），必須考慮以下步驟：

1. 決定訓練資料的範例的形態。在做其它事前，工程師應決定要使用哪種資料為範例。譬如，可能是一個手寫字符，或一整個手寫的辭彙，或一行手寫文字。


2. 搜集訓練資料。這資料須要具有真實世界的特徵。所以，可以由人類專家或（機器或感測器的）測量中得到輸入物件和其相對應輸出。


3. 決定學習函數的輸入特徵的表示法。學習函數的準確度與輸入的物件如何表示是有很大的關聯度。傳統上，輸入的物件會被轉成一個特徵向量，包含了許多關於描述物件的特徵。因為维数灾难的關係，特徵的個數不宜太多，但也要足夠大，才能準確的預測輸出。


4. 決定要學習的函數和其對應的學習演算法所使用的資料結構。譬如，工程師可能選擇人工神經網路和決策樹。


5. 完成設計。工程師接著在搜集到的資料上跑學習演算法。可以藉由將資料跑在資料的子集（稱為驗證集）或交叉驗證（cross-validation）上來調整學習演算法的參數。參數調整後，演算法可以運行在不同於訓練集的測試集上

另外對於監督式學習所使用的辭彙則是分類。現著有著各式的分類器，各自都有強項或弱項。分類器的表現很大程度上地跟要被分類的資料特性有關。並沒有某一單一分類器可以在所有給定的問題上都表現最好，這被稱為‘天下沒有白吃的午餐理論’。各式的經驗法則被用來比較分類器的表現及尋找會決定分類器表現的資料特性。決定適合某一問題的分類器仍舊是一項藝術，而非科學。

目前最廣泛被使用的分類器有人工神經網路、支持向量機、最近鄰居法、高斯混合模型、朴素贝叶斯方法、決策樹和径向基函数分类。

經驗風險最小化

監督式學習的目標是在給定一個 (x, g（x）)的集合下，去找一個函數g。

假設符合g行為的樣本集合是從某個更大甚至是無限的母體中，根據某種未知的概率分布p，以独立同分布随机变量方式來取樣。則可以假設存在某個跟任務相關的损失函数 L

L:Y×Y→R+{displaystyle L:Ytimes Yto mathbb {R} ^{+}}

其中，Y是g的陪域，且L會對應到非負實數（L可能有其它限制）。如果預測出來g的值是z，但實際值是y，而L(z, y)這個量是其間的損失。

某個函數f的風險是定義成损失函数的期望值。如果機率分佈p是離散的（如果是連續的，則可採用定積分和機率密度函數），則定義如下：

R(f)=∑iL(f(xi),g(xi))p(xi){displaystyle R(f)=sum _{i}L(f(x_{i}),g(x_{i}));p(x_{i})}

現在的目標則是在一堆可能的函數中去找函數f^*，使其風險R(f^*)是最小的。

然而，既然g的行為已知適用於此有限集合(x₁, y₁), ..., x_n, y_n)，則我們可以求得出真實風險的近似值，譬如，其經驗風險為：

R~n(f)=1n∑i=1nL(f(xi),yi){displaystyle {tilde {R}}_{n}(f)={frac {1}{n}}sum _{i=1}^{n}L(f(x_{i}),y_{i})}

選擇會最小化經驗風險的函數f^*就是一般所知的經驗風險最小化原則。統計學習理論則是研究在什麼條件下經驗風險最小化才是可行的，且預斯其近似值將能多好？

主動式學習

一個情況是，有大量尚未標示的資料，但去標示資料則是很耗成本的。一種方法則是，學習演算法會主動去向使用者或老師去詢問標籤。
這種形態的監督式學習稱為主動式學習。既然學習者可以選擇例子，學習中要使用到的例子個數通常會比一般的監督式學習來得少。
以這種策略則有一個風險是，演算法可能會專注在於一些不重要或不合法的例子。

策略和演算法

• 人工神經網路


• 案例推论


• 
  決策樹學習


• 最近鄰居法


• 支持向量機


• 隨機森林


• 學習自動機

應用

• 生物資訊學


• 
  化學資訊學
  
  • 定量構效關係
  
  


• 手寫辨識


• 資訊檢索


• 
  電腦視覺中的物件識別


• 光學字元識別


• 偵測垃圾郵件


• 模式識別


• 語音識別


• 预测虚假财务报告

常見議題

• 計算學習理論


• 歸納偏向


• 
  過適現象


• 变形空间（英语：Version space）

參考文獻

1. 
   ^ Stuart J. Russell, Peter Norvig (2010) Artificial Intelligence: A Modern Approach, Third Edition, Prentice Hall ISBN 9780136042594.
   

外部連結

• 
  Matlab SUrrogate MOdeling Toolbox - SUMO Toolbox - Matlab code for Active Learning + Model Selection + Supervised Learning (Surrogate Modeling)

查 论 编 電腦科學的主要领域 注：该模板大致遵循ACM-2012计算分类系统。 电脑硬件 印刷电路板 外部设备 集成电路 超大规模集成电路 绿色计算 電子設計自動化 系统架构组织 電腦系統架構 嵌入式系统 实时计算 网络 网络传输协议 路由 网络拓扑 网络服务 软件组织 直譯器 中间件 虛擬機器 操作系统 软件质量 软件符号和工具 编程范型 编程语言 編譯器 领域特定语言 軟體框架 集成开发环境 软件配置管理 函式庫 软件开发 软件开发过程 需求分析 软件设计 软件部署 軟體維護 开源模式 计算理论 自动机 可计算性理论 计算复杂性理论 量子计算 数值计算方法 计算机逻辑 形式语义学 算法 算法分析 算法设计 随机化算法 计算几何 计算数学 离散数学 概率 统计学 数学软件 数理逻辑 集合论 数论 图论 类型论 范畴论 信息论 数值分析 数学分析 信息系统 数据库管理系统 電腦數據 企业信息系统（英语：Enterprise information system） 社会性软件 地理信息系统 决策支持系统 过程控制 数据挖掘 數位圖書館 系统平台 數位行銷 万维网 信息檢索 安全 密码学 形式化方法 入侵检测系统 网络安全 信息安全 人机交互 计算机辅助功能 用户界面 可穿戴计算机 普适计算 虚拟现实 聊天機器人 并发性 并发计算 并行计算 分布式计算 多线程 多元處理 人工智能 自动推理 计算语言学 计算机视觉 进化计算 专家系统 自然语言处理 机器人学 机器学习 監督式學習 無監督學習 强化学习 交叉驗證 计算机图形学 计算机动画 可视化 渲染 修飾照片 圖形處理器 混合现实 虚拟现实 图像处理 图像压缩 实体造型 应用计算 电子商务 企业级软件 计算数学 计算物理学 计算化学 计算生物学 計算社會科學 医学信息学 数字艺术 電子出版 網絡戰 电子游戏 文字处理器 運籌學 教育技术学 生物信息学 认知科学 文件管理系统（英语：Document management system） 分类 主题 专题 维基共享

This page is only for reference, If you need detailed information, please check here