biaya yang super Yahoo TensorFlow dengan Apache Spark

Yahoo, Model Apache Spark warga dan pengembang CaffeOnSpark, yang membuatnya lebih mudah bagi pengembang membangun model pembelajaran dalam di Caffe untuk skala dengan pemrosesan paralel, buka sumber proyek baru yang disebut TensorFlowOnSpark. Pasangan dari Spark dan TensorFlow harus membuat kerangka pembelajaran yang mendalam lebih menarik untuk pengembang yang menciptakan model-model yang perlu dijalankan pada cluster komputasi besar.

Bagi mereka yang dikategorikan keluar selama ledakan besar-data, Apache Spark adalah sebuah kerangka kerja open source yang dirancang untuk meningkatkan efisiensi komputasi paralel. Mengikuti langkah-langkah dari alat-alat seperti Hadoop, Spark memungkinkan bagi perusahaan seperti Netflix untuk memproses sejumlah besar data pengguna untuk menawarkan rekomendasi di skala.

kerangka pembelajaran mesin seperti TensorFlow dan Caffe bantuan orang Google menciptakan model pembelajaran yang mendalam tanpa ketat keterampilan-set spesialis pembelajaran mesin. Perpustakaan open source ada pada tingkat yang lebih tinggi dari abstraksi yang memungkinkan pengembang untuk membuat model tanpa tersesat dalam gangguan menciptakan jalan kembali.

Tentu, Spark dan pembelajaran mesin pergi tangan-di-tangan. Dalam pembelajaran khususnya bersandar berat pada sejumlah besar menghitung sebagai penopang. Yahoo menciptakan CaffeOnSpark untuk digunakan sendiri. Tapi pencampuran Caffe dan Spark hanya menguntungkan sebagian masyarakat pembelajaran mesin. TensorFlow tetap kerangka paling populer, sehingga Yahoo memutuskan untuk membawa pasangan yang sama untuk itu dan mudah-mudahan mengambil beberapa hormat pengembang sepanjang jalan.

Yahoo dieksplorasi alat yang ada seperti SparkNet dan TensorFrame untuk menjembatani kesenjangan antara TensorFlow dan Spark, tapi akhirnya memutuskan bahwa mereka bisa berbuat lebih baik. Hasilnya adalah alat yang memungkinkan pengembang untuk dengan cepat mengubah program TensorFlow ada mereka untuk bekerja dengan TensorFlowOnSpark.

kerangka pembelajaran dalam adalah hal aneh suku di antara para pengembang. Skymind ini Deeplearning4j adalah kerangka open source yang ditulis untuk Java dengan integrasi Spark, tetapi perpustakaan akhirnya jatuh di tempat keenam untuk popularitas. MXNet di sisi lain dikenal karena kemampuannya untuk skala di banyak GPU. Hanya saja kemampuan yang menarik mendukung Amazon dan akhirnya membantu MXNet menjadi bagian dari inkubator Apache.

Meskipun TensorFlowOnSpark telah bersumber terbuka, Yahoo memiliki rencana untuk terus melakukan perbaikan untuk alat. Jika Anda tertarik untuk menguji itu, Anda bisa mendapatkan semuanya di Yahoo GitHub.