StackOverflowでしばらく調査して、複数の区切り文字を含む文字列をvector< string >
に分割するための優れたアルゴリズムを見つけました。私はまたいくつかの方法を見つけました:
ブーストの方法:
boost::split(vector, string, boost::is_any_of(" \t"));
getline
メソッド:
std::stringstream ss(string);
std::string item;
while(std::getline(ss, item, ' ')) {
vector.Push_back(item);
}
boostのトークン化方法:
char_separator<char> sep(" \t");
tokenizer<char_separator<char>> tokens(string, sep);
BOOST_FOREACH(string t, tokens)
{
vector.Push_back(t);
}
そしてクールなSTLの方法:
istringstream iss(string);
copy(istream_iterator<string>(iss),
istream_iterator<string>(),
back_inserter<vector<string> >(vector));
およびShadow2531のメソッド(リンクされたトピックを参照)。
それらのほとんどは このトピック から来ました。しかし、残念ながら、彼らは私の問題を解決しません。
Boostの分割は使いやすいですが、ビッグデータ(最良の場合は約1.5 * 10 ^ 6の単一要素)と約10個の区切り文字を使用すると、非常に遅くなります。
getline
、STL、およびShadow2531のメソッドには、区切り文字として1つの文字しか使用できないという問題があります。もう少し必要です。
Boostのトークン化は、速度の面でさらに恐ろしいものです。文字列を1.5 * 10 ^ 6の要素に分割するには、10個の区切り文字で11秒かかりました。
だから私は何をすべきかわかりません:私は複数の区切り文字を持つ本当に速い文字列分割アルゴリズムが欲しいです。
Boostの分割は最大ですか、それともそれを行う方法はありますかより速く?
2つのことが頭に浮かびます。
find
する代わりに、ビットセットを使用してメンバーシップをテストしてみてください。これらのアイデアを適用する簡単な試みは次のとおりです。
#include <vector>
#include <bitset>
#include <iostream>
#include <boost/algorithm/string/split.hpp>
#include <boost/algorithm/string/classification.hpp>
#include <boost/timer.hpp>
using namespace std;
size_t const N = 10000000;
template<typename C>
void test_custom(string const& s, char const* d, C& ret)
{
C output;
bitset<255> delims;
while( *d )
{
unsigned char code = *d++;
delims[code] = true;
}
typedef string::const_iterator iter;
iter beg;
bool in_token = false;
for( string::const_iterator it = s.begin(), end = s.end();
it != end; ++it )
{
if( delims[*it] )
{
if( in_token )
{
output.Push_back(typename C::value_type(beg, it));
in_token = false;
}
}
else if( !in_token )
{
beg = it;
in_token = true;
}
}
if( in_token )
output.Push_back(typename C::value_type(beg, s.end()));
output.swap(ret);
}
template<typename C>
void test_strpbrk(string const& s, char const* delims, C& ret)
{
C output;
char const* p = s.c_str();
char const* q = strpbrk(p+1, delims);
for( ; q != NULL; q = strpbrk(p, delims) )
{
output.Push_back(typename C::value_type(p, q));
p = q + 1;
}
output.swap(ret);
}
template<typename C>
void test_boost(string const& s, char const* delims)
{
C output;
boost::split(output, s, boost::is_any_of(delims));
}
int main()
{
// Generate random text
string text(N, ' ');
for( size_t i = 0; i != N; ++i )
text[i] = (i % 2 == 0)?('a'+(i/2)%26):((i/2)%2?' ':'\t');
char const* delims = " \t[],-'/\\!\"§$%&=()<>?";
// Output strings
boost::timer timer;
test_boost<vector<string> >(text, delims);
cout << "Time: " << timer.elapsed() << endl;
// Output string views
typedef string::const_iterator iter;
typedef boost::iterator_range<iter> string_view;
timer.restart();
test_boost<vector<string_view> >(text, delims);
cout << "Time: " << timer.elapsed() << endl;
// Custom split
timer.restart();
vector<string> vs;
test_custom(text, delims, vs);
cout << "Time: " << timer.elapsed() << endl;
// Custom split
timer.restart();
vector<string_view> vsv;
test_custom(text, delims, vsv);
cout << "Time: " << timer.elapsed() << endl;
// Custom split
timer.restart();
vector<string> vsp;
test_strpbrk(text, delims, vsp);
cout << "Time: " << timer.elapsed() << endl;
// Custom split
timer.restart();
vector<string_view> vsvp;
test_strpbrk(text, delims, vsvp);
cout << "Time: " << timer.elapsed() << endl;
return 0;
}
これをBoost1.46.1でコンパイルし、GCC4.5.1を-O4
フラグが有効になっています:
注:カスタム関数によって空のトークンが削除されるため、出力にわずかな違いがあります。ただし、このコードを使用する場合は、このコードをニーズに合わせて調整できます。
Pabloとlarsmansの回答の最良の部分を組み合わせるには、(offset, size)
ペアを使用して部分文字列を格納し、strcspn
を使用してすべてのエントリのエクステントを取得します。