Что такое SQLOS?

Если кратко, то это уровень абстракции между между OS и “верхними слоями” SQL Server’a.

http://blogs.msdn.com/b/sqlosteam/archive/2010/06/23/sqlos-resources.aspx

http://blogs.msdn.com/b/slavao/archive/2005/07/20/441058.aspx