機械学習

機械学習(ML)は、統計的手法を用いて明示的にプログラムすることなく、データからコンピュータシステムに「学習する」(例えば、特定のタスクのパフォーマンスを徐々に向上させる)能力を与える人工知能の分野です。

1959年、アーサー・サミュエルによって名器の学習が始まりました。 機械学習では、データを基にしてモデルを構築することで、データ駆動型の予測や決定を行うことで厳密に静的なプログラム命令に従うアルゴリズムが克服できるように、データから学び、予測を行うアルゴリズムの研究と構築を探求しています。 機械学習は、優れた性能を持つ明示的なアルゴリズムを設計およびプログラミングすることが困難または実行不可能なさまざまなコンピューティングタスクに採用されています。 電子メールフィルタリング、ネットワーク侵入者の検出、コンピュータビジョンなどのアプリケーションの例があります。

機械学習は計算統計と密接に関連しており(また、しばしば重複する)、コンピュータの使用による予測作成にも重点を置いています。 数学的最適化と強く結びついており、手法、理論、応用分野を分野に提供しています。 後者のサブフィールドは探索的データ分析に重点を置いており、教師なし学習として知られています。

データ分析の分野では、機械学習は複雑なモデルやアルゴリズムを考案して予測に役立つ方法です。 商業的には予測分析と呼ばれています。 これらの分析モデルにより、研究者、データ科学者、エンジニア、アナリストは、信頼できる再現可能な意思決定と結果を生み出し、過去の関係やデータの傾向から学ぶことで「隠された洞察」を明らかにすることができます。

概要
Tom M. Mitchellは、機械学習の分野で研究されたアルゴリズムについて、広く引用され、より正式な定義を提供している:「コンピュータプログラムは、タスクEのあるクラスのクラスに関して性能Eを学習し、 Tで、Pによって測定されるように、経験Eで改善する。 機械学習が関わるタスクのこの定義は、認知的にフィールドを定義するのではなく、基本的に操作上の定義を提供します。 これはAlan Turingの論文 “Computing Machinery and Intelligence”の中で提案されている。 「マシンは私たち(思考主体として)できることはできますか?」という質問に置き換えられます。 Turingの提案では、思考機械が持つことができるさまざまな特性と、それを構築する際のさまざまな影響が明らかになりました。

機械学習のタスク

機械学習のタスクは、通常、いくつかの広いカテゴリに分類されます。

教師あり学習:コンピュータには、 “教師”によって与えられた入力例と望ましい出力が提示され、目的は入力を出力にマッピングする一般的な規則を学習することです。 特殊なケースとして、入力信号は部分的にしか利用できないか、特別なフィードバックに制限されている可能性があります。
半教師あり学習:コンピュータには、不完全なトレーニング信号しか与えられません。いくつか(多くの場合、多くの)目標出力が欠けているトレーニングセットです。
能動的学習:コンピュータは、(予算に基づいて)限定されたインスタンスのセットに対してのみトレーニングラベルを取得することができ、ラベルを取得するためにオブジェクトの選択を最適化する必要があります。 対話的に使用される場合、これらをラベル付けのためにユーザに提示することができる。
教師なし学習:ラーニングアルゴリズムにはラベルは付いておらず、入力の中で構造を見つけるためにそれをそのまま残す。 教師なし学習は、それ自体で目標(データの隠れたパターンを発見する)または終わりに向かう手段(フィーチャラーニング)である可能性があります。
強化学習:データ(報酬と罰の形)は、車両の運転や対戦相手との対戦など、動的な環境でのプログラムの行動へのフィードバックとしてのみ与えられます。

機械学習アプリケーション
機械学習タスクの別の分類は、機械学習システムの所望の出力を考慮するときに生じる。
分類では、入力は2つ以上のクラスに分割され、学習者は、これらのクラスの1つまたは複数(マルチラベル分類)に目に見えない入力を割り当てるモデルを生成する必要があります。 これは通常、監督の方法で取り組まれています。 スパムフィルタリングは分類の一例であり、入力は電子メール(またはその他の)メッセージであり、クラスは「スパム」および「スパムではない」です。
回帰では、監督上の問題もあり、出力は離散ではなく連続的である。
クラスタリングでは、一連の入力をグループに分割する必要があります。 分類とは異なり、グループは事前に分かっていないため、通常これは監督されていないタスクになります。
密度推定は、ある空間における入力分布を求める。
次元性の低下は、それらを低次元の空間にマッピングすることによって入力を単純化します。 トピックモデリングは関連する問題であり、プログラムには人間の言語文書のリストが与えられ、どの文書が類似のトピックをカバーしているかを知ることが任されている。

機械学習の問題の他のカテゴリの中でも、学習することを学ぶことは、以前の経験に基づいて誘導バイアスを学習することです。 ロボット学習のために開発された発達的学習は、自律的な自己探求や人間教師との社会的相互作用、能動学習、成熟、モーターなどのガイダンスメカニズムを使用して、斬新なスキルのレパートリーを累積的に獲得する学習状況の独自のシーケンス(カリキュラムとも呼ばれる)相乗効果、および模倣。

歴史と他の分野との関係
コンピュータゲームと人工知能の分野におけるアメリカのパイオニアであるArthur Samuelは、1959年に「機械学習」という言葉を作り出しました。 科学的な努力として、機械学習は人工知能の探求から生まれました。 既にAIの初期学問分野では、データから機械を学ぶことに興味があった研究者もいました。 彼らは、さまざまな象徴的な方法と、その後「ニューラルネットワーク」と呼ばれるものを用いて問題にアプローチしようと試みた。 これらは主にパーセプトロンおよび他のモデルであり、後に統計の一般化された線形モデルの再考であることが判明した。 確率論的推論も、特に自動化された医療診断に用いられた。

しかし、知識ベースの論理的アプローチに重点を置くことは、AIと機械学習の間に亀裂を生じさせました。 確率論的システムは、データ取得と表現の理論的および実践的問題に悩まされていました。 1980年までに、エキスパートシステムがAIを支配するようになり、統計は不合理でした。 シンボリック/知識ベースの学習の作業はAI内で継続され、帰納的論理プログラミングに至りましたが、パターン認識や情報検索では統計的な研究がAIの分野外になりました。 ニューラルネットワーク研究は、AIとコンピュータ科学によって同じ時期に放棄されました。 このラインも、Hopfield、Rumelhart、Hintonなどの他の分野の研究者たちによってAI / CSフィールドの外で、「接続主義」として継続されました。 彼らの主な成功は、1980年代半ばに、逆伝播の再興をもたらしました。

別の分野として再編成された機械学習は、1990年代に始まりました。 この分野は、人工知能を達成することから実用的な性質の解決可能な問題に取り組むという目標を変えました。 それは、AIから継承した象徴的なアプローチから、統計や確率論から借りられた方法やモデルに焦点を移しました。 また、デジタル化された情報の利用可能性が高まり、インターネットを介して配布する機能も恩恵を受けました。

機械学習とデータマイニングでは、同じ方法を使用して重複することがよくありますが、機械学習は予測に重点を置いていますが、トレーニングデータから学習された既知の特性に基づいてデータマイニングはデータの未知のプロパティの検出に重点を置いています。データベースにおける知識発見の分析ステップ)。 データマイニングでは、多くの機械学習方法が使用されますが、目標は異なります。 一方、機械学習では、データマイニング手法を「教師なし学習」として、あるいは学習者の精度を向上させるための前処理ステップとして採用しています。 これらの2つの研究コミュニティ(多くの場合、別々の会議と別個のジャーナルを持つECML PKDDは大きな例外です)の混乱の多くは、彼らが扱う基本的な仮定から来ています。機械学習では、パフォーマンスは通常、既知の知識を再現し、知識発見とデータマイニング(KDD)では、未知の知識を発見することが重要な課題です。 知られている知識に関して評価されると、知覚されていない(教師なし)方法は他の教師付き方法よりも容易に優れているが、典型的なKDDタスクでは、学習データが入手できないため教師付き方法は使用できない。

機械学習はまた、最適化と緊密な関係を持っています。多くの学習問題は、トレーニングセットのある種の損失関数の最小化として定式化されています。 損失関数は、訓練されているモデルの予測と実際の問題のインスタンスとの間の不一致を表現する(例えば、分類では、インスタンスにラベルを割り当てたい、モデルは事前に割り当てられたラベルを正しく予測するように訓練される例)。 2つのフィールドの違いは、一般化の目標から生まれます。最適化アルゴリズムはトレーニングセットの損失を最小限に抑えることができますが、機械学習は見えないサンプルの損失を最小限に抑えることに関係しています。

統計との関係
機械学習と統計は密接に関連した分野です。 マイケル・I・ジョーダンによれば、方法論的原理から理論的ツールまでの機械学習の考え方は、統計的に長い歴史を持っています。 また、データ・サイエンスという用語を全体の分野を呼び出すためのプレースホルダーとして提案しました。

Leo Breimanは、データモデルとアルゴリズムモデルの2つの統計モデリングのパラダイムを区別しました。ここで、「アルゴリズムモデル」とは、ランダムフォレストのような機械学習アルゴリズムです。

統計学者の中には機械学習の手法を採用しており、統計学習と呼ばれる複合的な分野につながっています。

理論
学習者の中心的な目的は、その経験から一般化することです。 この文脈における一般化は、学習データセットを経験した後、目に見えない新しい例/タスクについて学習機械が正確に実行する能力である。 トレーニングの例は、一般的に知られていない確率分布(発生空間の代表とみなされる)から来ており、学習者は新しい空間で十分に正確な予測を生成できるように、この空間に関する一般的なモデルを構築する必要があります。

機械学習アルゴリズムの計算解析とその性能は、計算学習理論として知られる理論コンピュータ科学の枝である。 訓練セットは有限であり、未来は不確実であるため、学習理論は通常アルゴリズムの性能を保証しない。 その代わりに、パフォーマンスに対する確率的な限界がかなり一般的です。バイアス分散分解は、汎化誤差を定量化する1つの方法です。

一般化の文脈における最良の性能のためには、仮説の複雑さは、データの基礎となる関数の複雑さと一致しなければならない。 仮説が関数よりも複雑でない場合、モデルはデータにアンダーフィットを持つ。 それに応答してモデルの複雑さが増すと、訓練誤差は減少する。 しかし、その仮説が複雑すぎると、モデルは過大な影響を受けやすくなり、一般化は貧弱になる。

パフォーマンスの限界に加えて、計算学習の理論家は学習の時間の複雑さと可能性を研究します。計算学習理論では、計算が多項式時間で実行可能であれば実行可能であると考えられる。 時間複雑度の結果は2種類あります。 正の結果は、ある種の関数を多項式時間で学習できることを示しています。 否定的な結果は、特定のクラスが多項式時間で学習できないことを示している。

アプローチ

決定木の学習
ディシジョンツリー学習は、ディシジョンツリーを予測モデルとして使用します。このモデルは、ある項目に関する観測値をその項目の目標値に関する結論にマッピングします。

関連ルール学習
アソシエーションルールラーニングは、大規模データベース内の変数間の興味深い関係を発見する方法です。

人工ニューラルネットワーク
通常「ニューラルネットワーク」(NN)と呼ばれる人工ニューラルネットワーク(ANN)学習アルゴリズムは、生物学的ニューラルネットワークによって曖昧に触発される学習アルゴリズムである。 計算は、相互接続された人工ニューロン群の観点から構成され、接続主義的な計算手法を用いて情報を処理する。 現代のニューラルネットワークは、非線形統計データモデリングツールです。これらは、通常、入力と出力の複雑な関係をモデル化したり、データのパターンを見つけたり、観測変数間の未知の結合確率分布で統計構造を捕捉するために使用されます。

深い学習
ここ数年のハードウェア価格の下落と個人用GPUの開発は、人工ニューラルネットワークの複数の隠れ層からなる深い学習という概念の発展に貢献しています。 このアプローチは、人間の脳が光と音を視覚と聴覚に処理する方法をモデル化しようとします。 深い学習の成功したアプリケーションには、コンピュータビジョンと音声認識があります。

帰納論理プログラミング
帰納論理プログラミング(ILP)は、入力例、背景知識、および仮説の統一表現として論理プログラミングを使用するルール学習へのアプローチです。 既知の背景知識の符号化と、事実の論理データベースとして表される一連の例が与えられると、ILPシステムは、すべての正の例および負の例を伴わない仮説化された論理プログラムを導出する。 帰納的プログラミングは、機能プログラムなどの仮説(論理プログラミングだけでなく)を表現するためのあらゆる種類のプログラミング言語を考慮する関連分野です。

サポートベクターマシン
サポートベクトルマシン(SVM)は、分類および回帰に使用される関連の監督された学習方法のセットです。 SVM学習アルゴリズムは、2つのカテゴリのうちの1つに属するとマークされた一連のトレーニング例が与えられると、新しい例が1つのカテゴリに属する​​かどうかを予測するモデルを構築する。

クラスタリング
クラスタ分析とは、一連の観測をサブセット(クラスタと呼ばれる)に割り当てることで、同じクラスタ内の観測値があらかじめ指定された基準に従って類似し、異なるクラスタからの観測値が異なるようにします。 異なるクラスタリング技法は、データの構造について異なる仮定を立て、しばしばいくつかの類似性メトリックによって定義され、例えば内部コンパクト(同じクラスタのメンバ間の類似性)および異なるクラスタ間の分離によって評価される。 他の方法は、推定された密度およびグラフ接続性に基づく。 クラスタリングは教師なし学習の方法であり、統計的データ分析のための一般的な手法です。

ベイジアンネットワーク
ベイジアンネットワーク、信念ネットワークまたは有向非周期的グラフモデルは、有向非周期グラフ(DAG)を介してランダム変数の集合およびそれらの条件付き独立性を表す確率的グラフモデルである。 例えば、ベイジアンネットワークは、疾患と症状との確率的関係を表すことができる。 症状を考えると、ネットワークを使用して、さまざまな疾患の存在の可能性を計算することができます。 推論と学習を行う効率的なアルゴリズムが存在する。

表現学習
主に教師なし学習アルゴリズムであるいくつかの学習アルゴリズムは、訓練中に提供される入力のより良い表現を発見することを目的としている。 古典的な例には、主成分分析とクラスタ分析が含まれます。 表現学習アルゴリズムは、しばしば、情報を入力に保存しようとするが、分類や予測を実行する前の前処理ステップとして有用であるように変換し、未知のデータ生成分布からの入力の再構成を可能にする。その配布の下では妥当ではない構成に対して必ずしも忠実ではありません。

マニホールド学習アルゴリズムは、学習された表現が低次元であるという制約の下でそうすることを試みる。 スパースコーディングアルゴリズムは、学習された表現が疎である(多くのゼロを有する)という制約の下でそうしようとする。 多次元部分空間学習アルゴリズムは、(高次元の)ベクトルに再構成することなく、多次元データのテンソル表現から低次元表現を直接学習することを目的としています。 ディープ・ラーニング・アルゴリズムは、より低いレベルのフィーチャの観点から定義されたより高いレベルの、より抽象的なフィーチャを用いて、複数レベルの表現またはフィーチャの階層を発見する。 インテリジェントマシンは、観察されたデータを説明するバリエーションの根本的な要因を解消する表現を学ぶものであると主張されている。

類似性とメトリックの学習
この問題では、学習機械に、類似したとみなされる対の例とあまり似ていない対の対が与えられる。 新しいオブジェクトが類似しているかどうかを予測できる類似関数(または距離メトリック関数)を学習する必要があります。 推奨システムで使用されることがあります。

スパース辞書学習
この方法では、データは基底関数の線形結合として表され、係数はスパースであると仮定される。xをd次元のデータとし、Dをn行n列の行列とする。ここで、Dの各列は基底関数を表す。 rはDを用いてxを表す係数である。数学的には、疎辞書学習は、  ここで、rは疎である。 一般的に言えば、nはdよりも大きいと仮定され、疎な表現の自由を可能にする。

疎な表現と一緒に辞書を学ぶことは強くNP困難であり、近似的に解くことも難しい。 疎辞書学習のための一般的な発見的方法は、K-SVDである。

スパース辞書学習は、いくつかのコンテキストで適用されています。 分類において、問題は、以前に見えなかったデータムがどのクラスに属するかを決定することである。 各クラスの辞書が既に構築されているとします。 次に、新しいデータムがクラスに関連付けられ、対応する辞書ではまばらに表現されるのが最良です。 スパース辞書学習も画像のノイズ除去に適用されています。 重要なアイデアは、きれいな画像パッチを画像辞書でまばらに表現することができますが、ノイズではできないということです。

遺伝的アルゴリズム
遺伝的アルゴリズム(GA)は、自然選択のプロセスを模倣する検索ヒューリスティックであり、与えられた問題に対する良好な解を見つけるために、新しい遺伝子型を生成するために突然変異およびクロスオーバーなどの方法を使用する。 機械学習では、遺伝的アルゴリズムが1980年代と1990年代に使用されていました。 逆に、機械学習技術は、遺伝的アルゴリズムおよび進化的アルゴリズムの性能を改善するために使用されてきた。

ルールベースの機械学習
ルールベースの機械学習は、知識を格納、操作、または適用するための「ルール」を識別、学習、または展開するあらゆる機械学習方法の一般的な用語です。 ルールベースの機械学習者の特徴を定義することは、システムによって捕捉された知識を集合的に表す一連の関係ルールの識別および利用である。 これは、予測を行うためにどのインスタンスにも普遍的に適用できる単一モデルを一般的に特定する他の機械学習者とは対照的です。 ルールベースの機械学習アプローチには、分類器システムの学習、関連ルール学習、および人工免疫システムが含まれる。

学習分類システム
学習分類システム(LCS)は、発見コンポーネント(典型的には遺伝的アルゴリズム)を学習コンポーネント(教師あり学習、強化学習、または教師なし学習のいずれかを行う)と組み合わせるルールベースの機械学習アルゴリズムのファミリです。 彼らは、予測を行うために知識をまとめて格納して適用するコンテキスト依存のルールのセットを特定しようとしている。

アプリケーション
機械学習のアプリケーションには次のものがあります。

農業
自動定理証明
アダプティブウェブサイト
効果的なコンピューティング
バイオインフォマティクス
脳 – 機械インターフェース
ケミインフォマティクス
DNA配列の分類
コンピュータ解剖学
コンピューターネットワーク
通信
物体認識を含むコンピュータビジョン
クレジットカード詐欺の検出
一般的なゲームのプレー
情報検索
インターネット不正検出
計算言語学
マーケティング
機械学習制御
機械の知覚
医療診断の自動化
計算経済学
保険
自然言語処理
自然言語理解
最適化とメタヒューリスティック
オンライン広告
推薦システム
ロボットの動き
サーチエンジン
感情分析(または意見採掘)
シーケンスマイニング
ソフトウェア工学
音声認識と手書き認識
金融市場分析
構造健全性モニタリング
構文パターン認識
時系列予測
ユーザー行動分析
機械翻訳

2006年、オンライン映画会社Netflixは、ユーザーの好みをよりよく予測し、既存のCinematch映画推薦アルゴリズムの精度を少なくとも10%改善するためのプログラムを見つけるために、最初の “Netflix Prize”コンテストを開催しました。 Big ChaosとPragmatic Theoryチームと共同で、AT& T Labs-Researchの研究者から構成された共同チームが、2009年に100万ドルで大賞を獲得するアンサンブルモデルを構築しました。 賞金が授与された直後に、Netflixは、視聴者の視聴率が視聴パターンの最良指標ではないことを認識し(「すべてが推奨」)、それに従って推奨エンジンを変更しました。

2010年、ウォールストリート・ジャーナルは会社「Rebellion Research」と金融危機を予測するための機械学習の使用について書いた。

2012年、Sun Microsystemsの創立者であるVinod Khoslaは、今後20年以内に医師の仕事の80%が医学診断ソフトウェアの自動学習に失われると予測しました。

2014年には、機械学習アルゴリズムが美術史に応用され、美術絵画を研究し、以前は認識されなかったアーティスト間の影響を明らかにしたと報告されています。

制限事項
機械学習はいくつかの分野で変容してきましたが、パターンを見つけるのは難しく、十分なトレーニングデータが得られないことが多いため、効果的な機械学習は困難です。 その結果、多くの機械学習プログラムはしばしば期待値を達成できません。 これには、適切なデータの欠如、データへのアクセスの欠如、データの偏見、プライバシーの問題、不適切に選択されたタスクやアルゴリズム、ツールと人の間違い、リソースの不足、評価の問題などがあります。

2018年、ウバーの自家用車は、事故で死亡した歩行者を検出することができませんでした。 IBM Watsonシステムで医療学習に機械学習を使用しようとする試みは、長年に渡って何十億という投資をしても実現できませんでした。

バイアス
特に機械学習のアプローチは、異なるデータバイアスに悩まされる可能性があります。 現在の顧客のみでトレーニングされた機械学習システムでは、トレーニングデータで表されていない新しい顧客グループのニーズを予測できない場合があります。 人工データを訓練すると、機械学習はすでに社会に存在しているのと同じ憲法上の無意識の偏りを拾う可能性が高い。 データから学習された言語モデルは、人間のような偏見を含むことが示されている。 犯罪リスク評価に使用される機械学習システムは、黒人に対して偏見があることが判明しています。 2015年、Googleの写真はゴリラとして黒人をタグ付けすることがよくありましたが、2018年にはまだ解決されていませんでしたが、グーグルがトレーニングデータからすべてのゴリラを取り除くための回避策を使用していたため、すべて。 他の多くのシステムでは、白人ではない人物の認識に関する同様の問題が発見されています。 2016年、マイクロソフトはTwitterから学んだチャットボットをテストし、人種差別主義や性差別主義の言葉を素早く取り上げました。 このような課題のために、機械学習を効果的に使用するには、他の分野で採用するには時間がかかることがあります。

モデルアセスメント
分類マシン学習モデルは、トレーニングおよびテストセット(従来の2/3トレーニングセットおよび1/3テストセット指定)でデータを分割し、トレーニングモデルのパフォーマンスを評価するHoldoutメソッドなどの精度推定技術によって検証することができます。テストセット。 比較すると、N倍交差検証方法は、k番目のインスタンスがモデルの学習に使用され、k番目のインスタンスはトレーニングモデルの予測能力をテストするために使用されるk個のサブセットのデータをランダムに分割します。 ホールドアウトおよびクロスバリデーションの方法に加えて、データセットからの置換を伴うn個のインスタンスをサンプリングするブートストラップを使用して、モデルの正確性を評価することができます。

全体の正確さに加えて、研究者は、感度および特異性をそれぞれ真陽性率(TPR)および真陰性率(TNR)を頻繁に報告する。 同様に、調査者はFalse Positive Rate(FPR)とFalse Negative Rate(FNR)を報告することがあります。 しかし、これらの比率は、分子と分母を明らかにしない比率です。 Total Operating Characteristic(TOC)は、モデルの診断能力を表す有効な方法です。TOCは、前述のレートの分子と分母を示しているため、TOCは、一般的に使用される受信者動作特性(ROC)およびROC関連曲線下面積(AUC)より多くの情報を提供します。

倫理
機械学習は、倫理的な質問のホストを提起する。 バイアスによって収集されたデータセットで訓練されたシステムは、使用時にこれらのバイアスを呈し(アルゴリズムバイアス)、したがって文化的偏見をデジタル化する可​​能性がある。 たとえば、人種差別的雇用政策を採用している企業からの雇用データを使用すると、過去の成功した応募者との類似性から求人者を評価してバイアスを複製する機械学習システムにつながる可能性があります。 したがって、システムによって使用されるアルゴリズムルールのデータと文書の責任ある収集は、機械学習の重要な部分です。

言語にはバイアスが含まれているため、言語コーパスで訓練された機械は必然的に偏見も学ぶでしょう。

個人的な偏見に関係しない、倫理的な挑戦の他の形態は、医療でより多く見られます。 ヘルスケアの専門家の間では、これらのシステムが一般の利益のために設計されていない可能性があるが、収入生成機として懸念されている。 これは、特に健康管理を改善する永続的な倫理的ジレンマが存在するが、利益も増加している米国では真実である。 例えば、アルゴリズムは、患者に不必要なテストや投薬を提供するように設計されており、アルゴリズムの所有者がステークインを保持しています。医療従事者は医療専門家に診断、治療、さらには計画を立てる大きなツールを提供するために、患者のための回復経路であるが、これは以前に言及された個人的な偏見が生じるまでは起こらず、これらの「貪欲」バイアスが扱われる。

ソフトウェア
さまざまな機械学習アルゴリズムを含むソフトウェアスイートには、次のものがあります。

フリーでオープンソースのソフトウェア
CNTK
Deeplearning4j
エルキ
H2O
Mahout
マレット
mlpack
MXNet
OpenNN
オレンジ
シキット学習
将軍
Spark MLlib
TensorFlow
Torch / PyTorch
Weka / MOA
ヨレカ

フリーおよびオープンソース版のプロプライエタリなソフトウェア
KNIME
RapidMiner

独自のソフトウェア
Amazon Machine Learning
アンコスナレッジSTUDIO
アヤスディ
IBMデータサイエンスエクスペリエンス
Google Prediction API
IBM SPSS Modeler
KXENモデラー
LIONsolver
Mathematica
MATLAB
Python
Microsoft Azureマシンの学習
ニューラルデザイナー
NeuroSolutions
Oracleデータマイニング
Oracle AIプラットフォーム・クラウド・サービス
RCASE
SASエンタープライズマイナー
シーケンスL
Splunk
STATISTICAデータマイナー